python3怎么使用结巴分词

下面这个程序是对一个文本文件里的内容进行分词的程序：test.py

[python] view plain copy

#!/usr/bin/python

#-*- encoding:utf-8 -*-

import jieba                                                    #导入jieba模块

def splitSentence(inputFile, outputFile):

fin = open(inputFile, 'r')                                  #以读的方式打开文件

fout = open(outputFile, 'w')                                #以写得方式打开文件

for eachLine in fin:

line = eachLine.strip().decode('utf-8', 'ignore')       #去除每行首尾可能出现的空格，并转为Unicode进行处理

wordList = list(jieba.cut(line))                        #用结巴分词，对每行内容进行分词

outStr = ''

for word in wordList:

outStr += word

outStr += '/ '

fout.write(outStr.strip().encode('utf-8') + '\n')       #将分词好的结果写入到输出文件

fin.close()

fout.close()

splitSentence('myInput.txt', 'myOutput.txt')

写完程序之后，在Linux重点输入：python test.py即可运行程序进行分词。

输入的文件内容如下所示：

经过结巴分词后，输出结果如下所示：

注意：第11行的 jieba.cut()返回的结构是一个可迭代的generator，可以用list(jieba.cut(...))转化为list

点击window->Preference->PyDev->Eidtor->interpreter-Python选择下面的Libraries，选择New Folder，将结巴的安装目录加入即可

在Linux下使用easy_install一般安装在/usr/local/lib/Python2.7/dist-packages/jieba-0.31-py2.7.egg点击确定就可以在Eclipse中使用了，enjoying it！

---