您如何建议过滤包含在庞大列表中定义的令人反感的单词的评论

您如何建议过滤包含在庞大列表中定义的令人反感的单词的评论

您可能需要为此使用一些自然语言处理库。如果您要比较注释中的每个 M 词和列表中 N个 令人反感的词，那么您的算法复杂度将

O(MN) =O(N^2)

很高。

看一下Lucene堆栈，您可能会发现一些非常好的主意，例如，如何标记注释并通过删除无意义的单词来减少输入。

也请看以下论文：“区分事实信息与带有新闻报道中的单词或短语的侮辱性或侮辱性消息”