如何改进hanlp命名实体识别

可以通过改进HanLP的词典、增加训练数据、改进算法等方式来提高HanLP命名实体识别的准确性。例如，可以增加新的词典来覆盖更多的实体，并且可以使用更多的训练数据来训练HanLP，从而使其更好地识别实体。此外，也可以尝试使用不同的机器学习算法来优化HanLP命名实体识别的性能。

关于ES的搜索，小白暂且简单的归纳如下:

    新增文档时涉及分词、构建索引

    查询时涉及分词、查询索引、相关度评分

那么接下来，小白就从分词、索引、相关度评分三个方面开始瞎掰了...

    分词是指将文本转换成一系列单词（term or token）的过程，也可以叫做文本分析，在es里面称为Analysis。

    分词机制：

        Character Filter：对原始文本进行处理，例如 去除html标签、替换字符等

        Tokenizer：将原始文本进行分词，例如 小白最帅 =>小白，最，帅

        Token Filters：分词后的关键字进行加工，例如 转小写、删除语气词、近义词和同义词等

        在进行Tokenizer之前对对原始文本进行处理，例如 去除html标签、替换字符等

        不过进行处理后，会影响后续Tokenizer解析的position和offset

        HTML Strip         =>    去除html标签和转换html实体

        Mapping             =>    字符串替换 *** 作

        Pattern Replace =>    正则匹配替换

        将原始文本进行分词，例如 小白最帅 =>小白，最，帅

        Elasticsearch自带的分词器：

      【分词器（Analyzer）】            【特点】

        standard（es默认）                    支持多语言，按词切分并做小写处理

        simple                                          按照非字母切分，小写处理

        whitespace                                  按照空格来切分

        stop                                             去除语气助词，如the、an、的、这等

        keyword                                       不分词

        pattern                                         正则分词，默认\w+,即非字词符号做分割符

        language                                     常见语言的分词器（30+）

        常见中文分词器：

      【名称】            【介绍】                                                   【特点】

        IK             实现中英文单词切分                                         自定义词库 

        https://github.com/medcl/elasticsearch-analysis-ik

        Jieba        python流行分词系统，支持分词和词性标注     支持繁体、自定义、并行分词

        http://github.com/sing1ee/elasticsearch-jieba-plugin

        Hanlp        由一系列模型于算法组成的java工具包            普及自然语言处理在生产中应用

        https://github.com/hankcs/HanLP

        THULAC    清华大学中文词法分析工具包                         具有中文分词和词性标注功能

        https://github.com/microbun/elasticsearch-thulac-plugin

        分词后的关键字进行加工，例如 转小写、删除语气词、近义词和同义词等

        lowercase    =>   将所有term转换为小写

        stop             =>   删除stop words

        ngram          =>   和Edge NGram连词分割

        synonym      =>   添加近义词的term

    提到ES中的索引，就算没用过，估计也听过，就是倒排索引，当然ES中不可能不涉及正排索引。

    通俗地来讲，正排索引是通过key找value，倒排索引则是通过value找key。举个例子，如果要查找图书馆中名为【水浒传】的书籍时，提前建立正排索引会提高查询效率；如果要查找图书馆中所有包含词语【英雄】的书籍时，提前建立倒排索引会提高查询效率，而正排索引需要遍历所有的书籍内容。

    记录文档id到文档内容or单词的关联关系，比如：

    【DocId】                   【content】

            1            =>         小白最帅（小白、最、帅）

            2            =>         小黑最帅（小黑、最、帅）

            3            =>         拳打小白（拳打、小白）

    备注：IK分词器中提供了两个分词算法 ik_smart 和 ik_max_word

               其中 ik_smart 为最少切分，ik_max_word为最细粒度划分

               本小节分词采用的是 ik_smart

    记录单词到文档id的关联关系，包含：

        1、Term DicTionary（单词词典）：记录所有文档的单词，一般比较大

        2、Posting List（倒排链表）：记录单词倒排列表的关联信息

    以第1节中文档【小白最帅】和【拳打小白】中的【小白】为例：

        Term DicTionary：小白

        Posting List：

        【DocId】          【TF】        【Position】       【Offset】

                1                     1                      0                   <0-2>

                3                     1                      1                   <2-4>

        DocId：文档id，指向文档的原始信息                           

        TF：单词频率，记录该词在文档中出现的次数，用于后续相关性评分

        Position：位置，记录文档中字段分词后，单词所在的位置，从0开始

        Offset：偏移量，记录单词在文档中开始和结束位置，用于高亮显示等，从0开始

        不是很恰当的说，索引的建立，标志着key的创建，再让key和value之间建立联系，就可以让原本直接查找value，变成了先去查找key，再直接定位到对应的value，属于典型的空间换时间或者说是先栽树、再乘凉。

        下面这个数据结构图，不管是java开发还是大数据开发，估计都看烂了。。。

        备注：每个文档字段都有自己的倒排索引

    相关性描述的是“语句”与“某个文档”匹配的程度。ES 会对每个匹配查询的结果进⾏计算，得出_score，_score 的评分越高，相关度就越高，那这个计算就需要一个算法。在ES5之前默认的算法是TF/IDF，ES5之后默认采用的是BM25，BM25是对TF/IDF的改进，所以这里小白直接以BM25为主来叨叨。

    在进行相关度计算之前，会先有一个过程叫Boolean Model，之后再使用TFNORM/IDF算法。

        简单来说，Boolean Model就是根据查询条件，对文档进行一个快速的筛选，不涉及相关度计算。

        即词频长度(Term Frequency Norm)，单个term在文档中出现的频率，并结合字段长度，出现次数越高，字段长度越低，分越高

        计算公式：

        tfNorm(t in d) = (freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength))

        freq：term出现频率

        k1  ：这个参数控制着词频结果在词频饱和度中的上升速度 。 默认值为1.2。值越小饱和度变化越快，值越大饱和度变化越慢

        b    ：这个参数控制着字段长归一值所起的作用 ， 0.0会禁用归一化，1.0会启用完全归一化。默认值为0.75

        fieldLength：字段长度

        avgFieldLength：平均字段长度

        即逆向文档频率(inversed document frequency)，单个term在所有文档里出现的频率，出现次数越高，分越低。

        计算公式：

        idf(t) = log(1 + (docCount - docFreq + 0.5) / (docFreq + 0.5))

        docCount ：索引中文档数量

        docFreq   ：包含该词的文档数

        此公式将出现频率较高的词的得分降低。比如，“的”、“了”等词语在各文档中出现频率较高，但是并没有太大的参考意义，所以降低其得分。

        然后，将上面两个算法的得分相乘，则是一个term的最终得分。

        单个term：_score(单) = idf(t) * tfNorm(t in d)

        多个term：_score(多) = 多个_score(单)的和

    最后，我们在Kibana中通过explain查询语句来看一哈【所用索引和数据为下一节中的内容】：

ES(五) ElasticSearch+Kibana+IK 安装—ES集群                                          ES(七) Demo-商品搜索

---