1 分词器的组成
ES的分词器主要由三部分组成：
（1）原始文本处理-charactor filters
对原始文本进行处理。
（2）切词-tokenizer
按照规则进行切词。
（3）单词处理-token filters
将切词获取的单词进行加工。如大小写转化，删除stopwords,增加同义词等。
2 自定义分词
下面是一个自定义分词器的案例，自定义分词器的以上三部分内容。
# custom_analyzer - 自定义分词器的名称
# char_filter - 原始文本预处理
# tokenizer - 按照指定的规则切词
# filter - 将切词后的结果进行加工# _english_ 英文停用词，如 a,an,thePUT /test_analyzer_index_001
{"settings": {"analysis": {"analyzer": {"custom_analyzer":{ "type":"custom", "char_filter":["emoticons"],"tokenizer": "threeVerticalLine","filter":["english_stop"]}},"char_filter": {"emoticons":{ "type" : "mapping","mappings" : [":) => _happy_",":( => _sad_"]}},"tokenizer": {"threeVerticalLine":{"type":"pattern","pattern":"(\\|\\|\\|)"}},"filter": {"english_stop":{"type":"stop","stopwords":"_english_"}}}},"mappings": {"dynamic": "strict","properties": {"remark": {"type": "text","analyzer": "custom_analyzer","search_analyzer": "custom_analyzer"}}}
}analyzer 用于指定对插入ES中的数据使用的分词器
search_analyzer 用于指定查询入参使用的分词器
3 测试分词效果
3.1 测试分词
POST test_analyzer_index_001/_analyze
{"analyzer": "custom_analyzer","text": "进口药品|注册证H20130650|||进口药品注册证h20130650|||h20130650_haha_a_the|||tom :)|||jack :(|||a|||an|||the"
}或者
POST test_analyzer_index_001/_analyze
{"field":"remark","text": "进口药品|注册证H20130650|||进口药品注册证h20130650|||h20130650_haha_a_the|||tom :)|||jack :(|||a|||an|||the"
}分词结果如下所示。
{"tokens" : [{"token" : "进口药品|注册证H20130650","start_offset" : 0,"end_offset" : 17,"type" : "word","position" : 0},{"token" : "进口药品注册证h20130650","start_offset" : 20,"end_offset" : 36,"type" : "word","position" : 1},{"token" : "h20130650_haha_a_the","start_offset" : 39,"end_offset" : 59,"type" : "word","position" : 2},{"token" : "tom _happy_","start_offset" : 62,"end_offset" : 68,"type" : "word","position" : 3},{"token" : "jack _sad_","start_offset" : 71,"end_offset" : 78,"type" : "word","position" : 4}]
}由结果可知，分词时，先按照emoticons规则进行了原始文本处理，然后根据threeVerticalLine规则进行分词（即使用"|||"分词），最后根据english_stop规则对英文停用词进行去除。
3.2 测试查询
下面来测试下查询效果。
3.2.1 插入数据
PUT /test_analyzer_index_001/_doc/1
{"remark": "进口药品|注册证H20130650|||进口药品注册证h20130650|||h20130650_haha_a_the|||tom :)|||jack :(|||a|||an|||the"
}3.2.2 查询所有数据
GET /test_analyzer_index_001/_search
{"query": {"match_all": {}}
}结果如下
{"hits" : [{"_index" : "test_analyzer_index_001","_type" : "_doc","_id" : "1","_score" : 1.0,"_source" : {"remark" : "进口药品|注册证H20130650|||进口药品注册证h20130650|||h20130650_haha_a_the|||tom :)|||jack :(|||a|||an|||the"}}]}
}3.2.3 term查询
term 查询对输入不做分词，会将输入作为一个整体，到倒排索引中查找准确的词项。
（1）场景1-可召回插入的数据
GET /test_analyzer_index_001/_search
{"query": {"term": {"remark": "进口药品注册证h20130650"}}
}（2）场景2-查询结果为空
以下查询结果为空，因为”进口药品|注册证H20130650|||进口药品注册证h20130650|||h20130650_haha_a_the|||tom :)|||jack :(|||a|||an|||the“在新增ES倒排索引时会进行分词，将”tom :)“转化为了”tom _happy_“，因此在倒排索引中存储的值为分词后的值：”tom _happy_“，因此使用”tom :)“查询不到数据。
GET /test_analyzer_index_001/_search
{"query": {"term": {"remark": "tom :)"}}
}3.2.4 match查询
match 查询对输入的查询条件进行分词，生成一个供查询的词项列表，然后每个词项逐个进行底层的查询，最终将结果进行合并。
（1）场景1-可召回插入的数据
分词后的入参为 ”进口药品|注册证H20130650“、”tom _happy_“ 和 ”jack _sad_“。
GET /test_analyzer_index_001/_search
{"query": {"match": {"remark": "进口药品|注册证H20130650|||tom :)|||jack :("}}
}（2）场景2-可召回插入的数据
分词后的入参为”tom _happy_“ 。
GET /test_analyzer_index_001/_search
{"query": {"match": {"remark": "tom :)"}}
}
