python实现统计汉字／英文单词数的正则表达式

概述思路•使用正则式\"(?x)(?:[\\w-]+|[\\x80-\\xff]{3})\"获得utf-8文档中的英文单词和汉字的列表。•使用dictionary来记录每个单词／汉字出现的频率，如果出现过则＋1，如果没出现则置1。•将dictiona 思路

•使用正则式 "(?x) (?: [\w-]+ | [\x80-\xff]{3} )"获得utf-8文档中的英文单词和汉字的列表。
•使用dictionary来记录每个单词／汉字出现的频率，如果出现过则＋1，如果没出现则置1。
•将dictionary按照value排序，输出。

源码
复制代码 代码如下:
#!/usr/bin/python
# -*- Coding: utf-8 -*-
#
#author: rex
#blog: http://iregex.org
#filename counter.py
#created: Mon Sep 20 21:00:52 2010
#desc: convert .py file to HTML with VIM.

import sys
import re
from operator import itemgetter

def readfile(f):
with file(f,"r") as pfile:
return pfile.read()

def divIDe(c,regex):
#the regex below is only valID for utf8 Coding
return regex.findall(c)


def update_dict(di,li):
for i in li:
if di.has_key(i):
di[i]+=1
else:
di[i]=1
return di

def main():

#receive files from bash
files=sys.argv[1:]

#regex compile only once
regex=re.compile("(?x) (?: [\w-]+ | [\x80-\xff]{3} )")

dict={}

#get all words from files
for f in files:
words=divIDe(readfile(f),regex)
dict=update_dict(dict,words)

#sort dictionary by value
#dict is Now a List.
dict=sorted(dict.items(),key=itemgetter(1),reverse=True)

#output to standard-output
for i in dict:
print i[0],i[1]


if __name__=='__main__':
main()

Tips

由于使用了files=sys.argv[1:] 来接收参数，因此./counter.py file1 file2 ...可以将参数指定的文件的词频累加计算输出。

可以自定义该程序。例如，
•使用
复制代码 代码如下:
regex=re.compile("(?x) ( [\w-]+ | [\x80-\xff]{3} )")
words=[w for w in regex.split(line) if w]


这样得到的列表是包含分隔符在内的单词列表，方便于以后对全文分词再做 *** 作。

•以行为单位处理文件，而不是将整个文件读入内存，在处理大文件时可以节约内存。
•可以使用这样的正则表达式先对整个文件预处理一下，去掉可能的HTML Tags: content=re.sub(r"<[^>]+","",content)，这样的结果对于某些文档更精确。 总结

以上是内存溢出为你收集整理的python实现统计汉字／英文单词数的正则表达式全部内容，希望文章能够帮你解决python实现统计汉字／英文单词数的正则表达式所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。