全文检索框架haystack和搜索引擎whoosh的使用

认识全文检索和搜索引擎以及相应的安装配置

1、认识全文检索和搜索引擎

全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理。

haystack：全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎，点击查看官方网站。

whoosh：纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用，点击查看whoosh文档。

jieba：一款免费的中文分词包，如果觉得不好用可以使用一些收费产品。

在天天生鲜项目中的商品搜索就用到全文检索haystack和搜索引擎whoosh，下面是分析图，本文以天天生鲜为例介绍haystack和whoosh

2、安装和配置

1) 安装python包。

pip install django-haystack

pip install whoosh

2) 在settings.py文件中注册应用haystack并做如下配置。

# 全文检索框架的配置

HAYSTACK_CONNECTIONS = {

'default': {

#使用whoosh引擎

'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine', ## 搜索引擎的路径

#索引文件路径

'PATH': os.path.join(BASE_DIR, 'whoosh_index'),

}

}

#当添加、修改、删除数据时，自动生成索引

HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

3、索引文件的生成

1) 在goods应用目录下新建一个search_indexes.py文件，在其中定义一个商品索引类。

# 定义索引类

from haystack import indexes

# 导入你的模型类

from goods.models import GoodsSKU

# 指定对于某个类的某些数据建立索引

# 索引类名格式:模型类名+Index

class GoodsSKUIndex(indexes.SearchIndex, indexes.Indexable):

# 索引字段 use_template=True指定根据表中的哪些字段建立索引文件的说明放在一个文件中

text = indexes.CharField(document=True, use_template=True)

def get_model(self):

# 返回你的模型类

return GoodsSKU

# 建立索引的数据

def index_queryset(self, using=None):

return self.get_model().objects.all()

2) 在templates下面新建目录search/indexes/goods。

3) 在此目录下面新建一个文件goodssku_text.txt并编辑内容如下。

## 指定根据表中哪些字段建立索引

{{ object.name }} ## 根据商品的名称建立索引

{{ object.desc }} ## 根据商品的简介建立索引

{{ object.goods.detail }} ## 根据商品的详情建立索引

4) 使用命令生成索引文件。

python manage.py rebuild_index

建立成功后自动生成 whoosh_index 文件

全文索引的使用

1、使用全文检索

1)表单搜索时设置表单内容如下。

点击标题进行提交时，会通过haystack搜索数据。

2）配置dailyfresh下的url

3） 全文检索结果。

搜索出结果后，haystack会把搜索出的结果传递给templates/search目录下的search.html，传递的上下文包括：

query：搜索关键字

page：当前页的page对象 –>遍历page对象，获取到的是SearchResult类的实例对象，对象的属性object才是模型类的对象。

paginator：分页paginator对象

通过HAYSTACK_SEARCH_RESULTS_PER_PAGE 可以控制每页显示数量。

下面设计templates/search目录下的search.html

{% extends 'base_detail_list.html' %}

{% block title %}天天生鲜-商品列表{% endblock title %}

{% block main_content %}

{% endblock main_content %}

search.html

在表单中搜索草莓：

2、改变分词方式

1) 安装jieba分词模块

pip install jieba

2）找到Python安装目录下的haystack目录

C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Lib\site-packages\haystack\backends>

3）在上面的目录中创建ChineseAnalyzer.py文件

import jieba

from whoosh.analysis import Tokenizer, Token

class ChineseTokenizer(Tokenizer):

def __call__(self, value, positions=False, chars=False,

keeporiginal=False, removestops=True,

start_pos=0, start_char=0, mode='', **kwargs):

t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)

seglist = jieba.cut(value, cut_all=True)

for w in seglist:

t.original = t.text = w

t.boost = 1.0

if positions:

t.pos = start_pos + value.find(w)

if chars:

t.startchar = start_char + value.find(w)

t.endchar = start_char + value.find(w) + len(w)

yield t

def ChineseAnalyzer():

return ChineseTokenizer()

4）复制whoosh_backend.py文件，改为如下名称

whoosh_cn_backend.py

5）打开复制出来的新文件，引入中文分析类，内部采用jieba分词

from .ChineseAnalyzer import ChineseAnalyzer

6）更改词语分析类

查找

analyzer=StemmingAnalyzer() ## 第164行

改为

analyzer=ChineseAnalyzer()

7）修改settings.py文件中的配置项

8）重新创建索引数据

python manage.py rebuild_index