如何使用nltk计算中文的tf-idf值

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• 前言
• • `
• 一、nltk
• 二、计算中文的tf-idf
• 计算语料库中"one"的tf值
• 计算语料库中"one"的idf值
• 计算语料库中"one"的tf-idf值

---

前言 `

提示：以下是本篇文章正文内容，下面案例可供参考

一、nltk

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、计算中文的tf-idf

代码如下（示例）：

import nltk
nltk.download(‘punkt’)
import jieba
from nltk.text import TextCollection
from nltk.tokenize import word_tokenize

with open(‘华为数据.csv’,encoding=‘utf-8-sig’) as file_object:
text = file_object.read().encode()

sentences = text.split()
sent_words = [list(jieba.cut(sent0)) for sent0 in sentences]
corpus = [" ".join(sent0) for sent0 in sent_words]
print(‘词料：’, corpus)

计算语料库中"one"的tf值

tf = corpus.tf(‘耳机’, corpus) # 1/12
print(tf)

计算语料库中"one"的idf值

idf = corpus.idf(‘耳机’) # log(3/1)
print(idf)

计算语料库中"one"的tf-idf值

tf_idf = corpus.tf_idf(‘耳机’, corpus)
print(tf_idf)

**报错了**

Traceback (most recent call last):
  File "D:/GSdmm/if.py", line 16, in 
    tf = corpus.tf('耳机', corpus)  # 1/12
AttributeError: 'list' object has no attribute 'tf'

Process finished with exit code 1