NLP文本预处理的三大流程

NLP文本预处理的三大流程 文本预处理的流程

先去除文本中的无关元素

将文本行拆分为单词或字符词元

※※制作字典，给每个token加上indices

---

整个nlp其实就是把文本中的字词符号等看作是带有时序的变量，而文本预处理就是把这些变量做成可以进行训练的东西。