如何用 Python 中的 NLTK 对中文进行分析和处理

一、NLTK进行分词

用到的函数：

nltk.sent_tokenize(text) #对文本按照句子进行分割

nltk.word_tokenize(sent) #对句子进行分词

二、NLTK进行词性标注

用到的函数：

nltk.pos_tag(tokens)#tokens是句子分词后的结果，同样是句子级的标注

三、NLTK进行命名实体识别（NER）

用到的函数：

nltk.ne_chunk(tags)#tags是句子词性标注后的结果，同样是句子级

上例中，有两个命名实体，一个是Xi,这个应该是PER，被错误识别为GPE了； 另一个事China，被正确识别为GPE。

四、句法分析

nltk没有好的parser，推荐使用stanfordparser

但是nltk有很好的树类，该类用list实现

可以利用stanfordparser的输出构建一棵python的句法树

由于nltk文件过大，第一次下载失败后，以后每次打开都显示“由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败”，让我很是苦恼。

于是，我按照上面博客所说，到github下载了nltk压缩包，并解压。

把packages里的文件复制到D:\Ancoada3\nltk_data文件夹下

(packages里的每个文件夹下还有压缩包，也都要“解压到当前文件夹”下)。

在pycharm下运行下面代码：

from nltk.book import *

登录后复制

运行以后报错了：

根据错误信息，我到IDLE里输入以下命令：

>>>import nltk

>>>nltk.download('gutenberg')

登录后复制

又出现了以下错误：

注：如果import nltk提示“找不到”的话，打开cmd，到安装python的根目录下输入pip install nltk。

我按照网上说的关闭代理服务器，但还是没有解决。

我又重新看了一次报错信息，注意到：

发现它是到以上目录搜索nltk_data，于是我把nltk_data文件夹移动到D盘根目录下。

pycharm下重新运行from

---