关于这种聚合的文档上有一个警告,内容涉及超大索引[1]的自由文本字段上的RAM使用。在大索引上,它对于词汇量较小的低基数字段(例如,标签)有效,但许多自由文本术语和许多文档的组合却很浪费内存。您可以查看在为Field
字段加载FieldData缓存[2]时指定一个过滤器,以修整低频项的长尾(例如doc频率<2),这将减少RAM开销。
在分析仅匹配的顶级文档样本中的重要术语之前,我使用了该算法的变体,并且此方法所需的RAM更少,因为仅从磁盘读取了前N个文档并标记了令牌(使用TermVectors或Analyzer)。但是,目前,Elasticsearch中的实现依赖于FieldData缓存并查找所有匹配文档的术语。
还有一件事-
当您说要“比较指定文档的正文”时,请注意,通常的 *** 作方式是将一组文档与背景进行比较,而不仅仅是一个。所有分析均基于文档频率计数,因此,对于仅包含一个文档的样本集,所有术语的前景频率均为1,这意味着您缺乏加强任何分析的证据。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)