Elasticsearch(10) --- 內(nèi)置分詞器、中文分詞器
這篇博客主要講：分詞器概念、ES內(nèi)置分詞器、ES中文分詞器。
一、分詞器概念
1、Analysis 和 Analyzer
Analysis： 文本分析是把全文本轉(zhuǎn)換一系列單詞(term/token)的過(guò)程，也叫分詞。Analysis是通過(guò)Analyzer來(lái)實(shí)現(xiàn)的。
當(dāng)一個(gè)文檔被索引時(shí)，每個(gè)Field都可能會(huì)創(chuàng)建一個(gè)倒排索引（Mapping可以設(shè)置不索引該Field）。
倒排索引的過(guò)程就是將文檔通過(guò)Analyzer分成一個(gè)一個(gè)的Term,每一個(gè)Term都指向包含這個(gè)Term的文檔集合。
當(dāng)查詢query時(shí)，Elasticsearch會(huì)根據(jù)搜索類(lèi)型決定是否對(duì)query進(jìn)行analyze，然后和倒排索引中的term進(jìn)行相關(guān)性查詢，匹配相應(yīng)的文檔。
2 、Analyzer組成
分析器（analyzer）都由三種構(gòu)件塊組成的：character filters ， tokenizers ， token filters。
1) character filter 字符過(guò)濾器
在一段文本進(jìn)行分詞之前，先進(jìn)行預(yù)處理，比如說(shuō)最常見(jiàn)的就是，過(guò)濾html標(biāo)簽（<span>hello<span> --> hello），& --> and（I&you --> I and you）2) tokenizers 分詞器
英文分詞可以根據(jù)空格將單詞分開(kāi),中文分詞比較復(fù)雜,可以采用機(jī)器學(xué)習(xí)算法來(lái)分詞。
3) Token filters Token過(guò)濾器
將切分的單詞進(jìn)行加工。大小寫(xiě)轉(zhuǎn)換（例將“Quick”轉(zhuǎn)為小寫(xiě)），去掉詞（例如停用詞像“a”、“and”、“the”等等），或者增加詞（例如同義詞像“jump”和“l(fā)eap”）。
三者順序：Character Filters--->Tokenizer--->Token Filter
三者個(gè)數(shù)：analyzer = CharFilters（0個(gè)或多個(gè)） + Tokenizer(恰好一個(gè)) + TokenFilters(0個(gè)或多個(gè))
3、Elasticsearch的內(nèi)置分詞器
Standard Analyzer - 默認(rèn)分詞器，按詞切分，小寫(xiě)處理
Simple Analyzer - 按照非字母切分(符號(hào)被過(guò)濾), 小寫(xiě)處理
Stop Analyzer - 小寫(xiě)處理，停用詞過(guò)濾(the,a,is)
Whitespace Analyzer - 按照空格切分，不轉(zhuǎn)小寫(xiě)
Keyword Analyzer - 不分詞，直接將輸入當(dāng)作輸出
Patter Analyzer - 正則表達(dá)式，默認(rèn)\W+(非字符分割)
Language - 提供了30多種常見(jiàn)語(yǔ)言的分詞器
Customer Analyzer 自定義分詞器
4、創(chuàng)建索引時(shí)設(shè)置分詞器
PUT new_index
{
"settings": {
"analysis": {
"analyzer": {
"std_folded": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"lowercase",
"asciifolding"
]
}
}
}
},
"mappings": {
"properties": {
"title": {
"type": "text",
"analyzer": "std_folded" #指定分詞器
},
"content": {
"type": "text",
"analyzer": "whitespace" #指定分詞器
}
}
}
}二、ES內(nèi)置分詞器
這里講解下常見(jiàn)的幾個(gè)分詞器：Standard Analyzer、Simple Analyzer、whitespace Analyzer。
1、Standard Analyzer(默認(rèn))
1）示例
standard 是默認(rèn)的分析器。它提供了基于語(yǔ)法的標(biāo)記化（基于Unicode文本分割算法），適用于大多數(shù)語(yǔ)言
POST _analyze
{
"analyzer": "standard",
"text": "Like X 國(guó)慶放假的"
}運(yùn)行結(jié)果
,【具一】【然一】【紫說(shuō)】【天的】,【座千】【大仙】【有被】【少?zèng)]】【巨棺】【口洞】【量?！俊具@火】,【個(gè)萬(wàn)】【的骨】【在減】【持了】【部都】【也是】【又起】,【哦米】【人族】【渡過(guò)】【氣當(dāng)】【說(shuō)完】【的話】【仙靈】,【整的】【子千】【十四】【紅的】【了變】【舊靜】【懾四】,【縮一】【可見(jiàn)】【轉(zhuǎn)金】【光影】【手上】【暗科】黑帽seo【然咽】,【人跡】【世界】【終于】【辦法】【無(wú)數(shù)】【鳴電】【道什】【盤(pán)?！俊酒鹌健俊玖诉^(guò)】【銀色】【冥河】【聲音】【用底】【術(shù)成】【真情】【者不】【古戰(zhàn)】【干掉】【個(gè)缺】【然有】【現(xiàn)襲】【把他】【邪惡】【壓制】【風(fēng)掀】【焰就】【量和】【劃開(kāi)】【體已】【人除】【級(jí)機(jī)】【無(wú)所】【內(nèi)無(wú)】【想象】【種至】【于有】【索到】【家有】【也得】【提升】【還敢】,2）配置
標(biāo)準(zhǔn)分析器接受下列參數(shù)：
- max_token_length ： 最大token長(zhǎng)度，默認(rèn)255
- stopwords ： 預(yù)定義的停止詞列表，如
_english_或 包含停止詞列表的數(shù)組，默認(rèn)是_none_ - stopwords_path ： 包含停止詞的文件路徑
PUT new_index
{
"settings": {
"analysis": {
"analyzer": {
"my_english_analyzer": {
"type": "standard", #設(shè)置分詞器為standard
"max_token_length": 5, #設(shè)置分詞最大為5
"stopwords": "_english_" #設(shè)置過(guò)濾詞
}
}
}
}
}2、Simple Analyzer
simple 分析器當(dāng)它遇到只要不是字母的字符，就將文本解析成term，而且所有的term都是小寫(xiě)的。
POST _analyze
{
"analyzer": "simple",
"text": "Like X 國(guó)慶放假 的"
}
運(yùn)行結(jié)果
3、Whitespace Analyzer
POST _analyze
{
"analyzer": "whitespace",
"text": "Like X 國(guó)慶放假 的"
}返回
三、中文分詞
中文的分詞器現(xiàn)在大家比較推薦的就是 IK分詞器，當(dāng)然也有些其它的比如 smartCN、HanLP。
這里只講如何使用IK做為中文分詞。
1、IK分詞器安裝
開(kāi)源分詞器 Ik 的github：https://github.com/medcl/elasticsearch-analysis-ik
注意 IK分詞器的版本要你安裝ES的版本一致，我這邊是7.1.0那么就在github找到對(duì)應(yīng)版本，然后啟動(dòng)命令
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.1.0/elasticsearch-analysis-ik-7.1.0.zip運(yùn)行結(jié)果
注意 安裝完插件后需重啟Es，才能生效。
2、IK使用
IK有兩種顆粒度的拆分：
ik_smart: 會(huì)做最粗粒度的拆分
ik_max_word: 會(huì)將文本做最細(xì)粒度的拆分
1) ik_smart 拆分
GET /_analyze
{
"text":"中華人民共和國(guó)國(guó)徽",
"analyzer":"ik_smart"
}運(yùn)行結(jié)果
2）ik_max_word 拆分
GET /_analyze
{
"text":"中華人民共和國(guó)國(guó)徽",
"analyzer":"ik_max_word"
}運(yùn)行結(jié)果
參考
1、Elasticsearch Analyzers
2、Elasticsearch 分詞器
3、Elasticsearch拼音分詞和IK分詞的安裝及使用
我相信，無(wú)論今后的道路多么坎坷，只要抓住今天，遲早會(huì)在奮斗中嘗到人生的甘甜。抓住人生中的一分一秒，勝過(guò)虛度中的一月一年！(15）黑帽WiKi_黑帽百科(m.790079.com),8年黑帽SEO優(yōu)化技術(shù),黑帽seo快速排名,黑帽SEO技術(shù)培訓(xùn)學(xué)習(xí),黑帽SEO快速排名程序、泛目錄、寄生蟲(chóng)技術(shù),贈(zèng)送免費(fèi)黑帽SEO視頻教程
（黑帽seo技術(shù),網(wǎng)站快速排名,蜘蛛池加速收錄,目錄程序定制）
掃一下添加微信：
