从python中的字符串中删除控制字符

从python中的字符串中删除控制字符

Unipre中有 数百个
控制字符。如果您要清理来自Web或其他可能包含非ASCII字符的其他来源的数据，则需要Python的unipredata模块。该

unipredata.category(…)

函数返回任何字符的unipre类别代码（例如，控制字符，空格，字母等）。对于控制字符，类别始终以“
C”开头。

此代码段从字符串中删除所有控制字符。

import unipredatadef remove_control_characters(s):    return "".join(ch for ch in s if unipredata.category(ch)[0]!="C")

---

unipre类别的示例：

>>> from unipredata import category>>> category('r')      # carriage return --> Cc : control character'Cc'>>> category('')      # null character ---> Cc : control character'Cc'>>> category('t')      # tab --------------> Cc : control character'Cc'>>> category(' ')       # space ------------> Zs : separator, space'Zs'>>> category(u'u200A') # hair space -------> Zs : separator, space'Zs'>>> category(u'u200b') # zero width space -> Cf : control character, formatting'Cf'>>> category('A')       # letter "A" -------> Lu : letter, uppercase'Lu'>>> category(u'u4e21') # 両 ---------------> Lo : letter, other'Lo'>>> category(',')       # comma  -----------> Po : punctuation'Po'>>>