数据挖掘 – 词干对术语频率的影响？

概述术语频率(TF)和反向文档频率(IDF)如何受到停止词删除和词干的影响？ 谢谢！ tf是术语频率 idf是逆文档频率,它是通过将文档总数除以包含该项的文档数得到的,然后取该商的对数. 词干效应是对从同一词干派生的所有单词进行分组(例如：播放,播放,…),这种分组会增加此词干的出现,因为频率是用词干计算的, 例如,如果您有2个文档： 第一个包含’游戏’2次和’玩’5次, 第二个文件包含“播放”3次和 术语频率(TF)和反向文档频率(IDF)如何受到停止词删除和词干的影响？

谢谢！

解决方法 tf是术语频率
IDf是逆文档频率,它是通过将文档总数除以包含该项的文档数得到的,然后取该商的对数.

词干效应是对从同一词干派生的所有单词进行分组(例如：播放,播放,…),这种分组会增加此词干的出现,因为频率是用词干计算的,
例如,如果您有2个文档：
第一个包含’游戏’2次和’玩’5次,
第二个文件包含“播放”3次和“播放”1次
如果你搜索’play’而没有阻止第二个文件将是第一个,因为它更多地出现’play’这个词,而如果你做了词干,那么两个词在词干后都会’播放’,第一个文件将是首先它包含干play播放7次,第二个文件包含干play播放4次.

关于停用词删除,它经常在所有文档中找到,并且不被视为任何一个的关键字,它将具有高频率而没有任何场景.

总结

以上是内存溢出为你收集整理的数据挖掘 – 词干对术语频率的影响？全部内容，希望文章能够帮你解决数据挖掘 – 词干对术语频率的影响？所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。