paoding分词 怎么按照自己的想法定义词典

弄了很久 可以出来所有结果了问题是1、我想输入 '穿越小说' 让它搜索包括'穿越' 和'小说' 的内容，结果是搜索不到2、我输入'穿越 小说'加了空格 就可以搜索到我想要的结果还有我在任意一个词典文件中加入两行穿越小说------解决方案--------------------------------------------------------paoding 分词器 它是一个按语义进行分词的像 穿越小说 它可能就分成 穿越 和 小说 两个关键字，而当你输入“穿越小说”作为关键字进行搜索的话，肯定是搜索不到含有'穿越' 和'小说' 的内容文件，因为索引文件中没有“穿越小说”这个关键字，只有当你输入'穿越' 或'小说' 作为关键字才能搜到相应的内容。还有就是字母或数字，它会把它们作为整体作为一个关键字如： 文件的内容是 111111 aabc ,经过paoding 分词器后，你只有输入 111111 或 aabc 作为关键字，才能搜索到这个文件，而输入 1 作为关键字,是搜索不到该文件的。。------解决方案--------------------------------------------------------在paoding 的t-base 词典里加入穿越小说 四个字 然后clear 一下项目就加载进去了 我至今没找到更好的办法 我就这样做的------解决方案--------------------------------------------------------

中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块。不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性、句法树等模块的效果。当然分词只是一个工具，场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。竹间智能在构建中文自然语言对话系统时，结合语言学不断优化，训练出了一套具有较好分词效果的算法模型，为机器更好地理解中文自然语言奠定了基础。在此，对于中文分词方案、当前分词器存在的问题，以及中文分词需要考虑的因素及相关资源，竹间智能自然语言与深度学习小组做了些整理和总结。中文分词根据实现原理和特点，主要分为以下2个类别：

1、基于词典分词算法也称字符串匹配分词算法。该算法是按照一定的策略将待匹配的字符串和一个已建立好的“充分大的”词典中的词进行匹配，若找到某个词条，则说明匹配成功，识别了该词。常见的基于词典的分词算法分为以下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。基于词典的分词算法是应用最广泛、分词速度最快的。很长一段时间内研究者都在对基于字符串匹配方法进行优化，比如最大长度设定、字符串存储和查找方式以及对于词表的组织结构，比如采用TRIE索引树、哈希索引等。

2、基于统计的机器学习算法这类目前常用的是算法是HMM、CRF、SVM、深度学习等算法，比如stanford、Hanlp分词工具是基于CRF算法。以CRF为例，基本思路是对汉字进行标注训练，不仅考虑了词语出现的频率，还考虑上下文，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果。NianwenXue在其论文《Combining Classifiers for Chinese Word Segmentation》中首次提出对每个字符进行标注，通过机器学习算法训练分类器进行分词，在论文《Chinese word segmentation as character tagging》中较为详细地阐述了基于字标注的分词法。常见的分词器都是使用机器学习算法和词典相结合，一方面能够提高分词准确率，另一方面能够改善领域适应性。

---