python文本数据相似度的度量

概述编辑距离编辑距离，又称为Levenshtein距离，是用于计算一个字符串转换为另一个字符串时，插入、删除和替换的次数。例如，将\'dad\'转换为\'bad\'需要一次替换 *** 作，编辑距离为1。

编辑距离

编辑距离，又称为Levenshtein距离，是用于计算一个字符串转换为另一个字符串时，插入、删除和替换的次数。例如，将'dad'转换为'bad'需要一次替换 *** 作，编辑距离为1。

nltk.metrics.distance.edit_distance函数实现了编辑距离。

from nltk.metrics.distance import edit_distancestr1 = 'bad'str2 = 'dad'print(edit_distance(str1,str2))

N元语法相似度

n元语法只是简单地表示文本中n个标记的所有可能的连续序列。n元语法具体是这样的

import nltk#这里展示2元语法text1 = 'ChIEf Executive Officer'#bigram考虑匹配开头和结束，所有使用pad_right和pad_leftceo_bigrams = nltk.bigrams(text1.split(),pad_right=True,pad_left=True)print(List(ceo_bigrams))[(None,'ChIEf'),('ChIEf','Executive'),('Executive','Officer'),('Officer',None)]

2元语法相似度计算

import nltk#这里展示2元语法def bigram_distance(text1,text2):  #bigram考虑匹配开头和结束，所以使用pad_right和pad_left  text1_bigrams = nltk.bigrams(text1.split(),pad_left=True)    text2_bigrams = nltk.bigrams(text2.split(),pad_left=True)    #交集的长度  distance = len(set(text1_bigrams).intersection(set(text2_bigrams)))    return distancetext1 = 'ChIEf Executive Officer is manager'text2 = 'ChIEf Technology Officer is technology manager'print(bigram_distance(text1,text2)) #相似度为3

jaccard相似性

jaccard距离度量的两个集合的相似度，它是由 （集合1交集合2）/（结合1交结合2）计算而来的。

实现方式

from nltk.metrics.distance import jaccard_distance#这里我们以单个的字符代表文本set1 = set(['a','b','c','d','a'])set2 = set(['a','e','g','a'])print(jaccard_distance(set1,set2))

0.6666666666666666

masi距离

masi距离度量是jaccard相似度的加权版本，当集合之间存在部分重叠时，通过调整得分来生成小于jaccard距离值。

from nltk.metrics.distance import jaccard_distance,masi_distance#这里我们以单个的字符代表文本set1 = set(['a',set2))print(masi_distance(set1,set2))

0.6666666666666666
0.22000000000000003

余弦相似度

nltk提供了余弦相似性的实现方法，比如有一个词语空间

word_space = [w1,w2,w3,w4]text1 = 'w1 w2 w1 w4 w1'text2 = 'w1 w3 w2'#按照word_space位置，计算每个位置词语出现的次数text1_vector = [3,1,1]text2_vector = [1,0]

[3,1]意思是指w1出现了3次，w2出现了1次，w3出现0次，w4出现1次。

好了下面看代码，计算text1与text2的余弦相似性

from nltk.cluster.util import cosine_distancetext1_vector = [3,0]print(cosine_distance(text1_vector,text2_vector))

0.303689376177

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持编程小技巧。

您可能感兴趣的文章:Python下载网络文本数据到本地内存的四种实现方法示例 总结

以上是内存溢出为你收集整理的python文本数据相似度的度量全部内容，希望文章能够帮你解决python文本数据相似度的度量所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。