在具有特定结果集的elasticsearch中按多列分组

在具有特定结果集的elasticsearch中按多列分组

您可以使用子聚合来实现。从ES
6.1开始，

composite

聚合也可以派上用场（尽管仍处于试验阶段）。

查询可能如下所示：

POST bidder_server_stats/doc/_search{  "size": 0,  "aggs": {    "by bc": {      "terms": {        "field": "bc"      },      "aggs": {        "by log_dt_st": {          "terms": { "field": "log_dt_st"          },          "aggs": { "sum(avg_price)": {   "sum": {     "field": "avg_price"   } }          }        }      }    }  }}

响应看起来像这样：

{  ...  "aggregations": {    "by bc": {      "doc_count_error_upper_bound": 0,      "sum_other_doc_count": 0,      "buckets": [        {          "key": "2513",          "doc_count": 2,          "by log_dt_st": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 0, "buckets": [   {     "key": 1528439776073,     "key_as_string": "2018-06-08T06:36:16.073Z",     "doc_count": 2,     "sum(avg_price)": {       "value": 16.800000190734863     }   } ]          }        },        {          "key": "2514",          "doc_count": 1,          "by log_dt_st": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 0, "buckets": [   {     "key": 1528439776073,     "key_as_string": "2018-06-08T06:36:16.073Z",     "doc_count": 1,     "sum(avg_price)": {       "value": 10     }   } ]          }        }      ]    }  }}

片刻考虑：

• bc

  应该具有

  keyword

  类型（以便能够对其进行

  terms

  聚合）

• terms

  默认情况下，聚合仅返回前10个存储桶；您可能对此聚合感兴趣，

  size

  并且有

  sort

  多种选择

更新 ：响应评论中的问题，因为它将改善答案。

我们可以在结果集中添加更多字段而不将它们添加到聚合中吗？

不，不是直接。像在SQL中一样，

GROUP BY

返回的所有字段都应该是

GROUP BY

函数的一部分或集合。

除了聚合，很少有其他方法可以实际获取更多数据：

• 搜索结果本身（

  hits

  部分）；

• top_hits

  聚合，它允许给定存储桶具有一些最相关的文档。

我们可以添加多少个子聚合？

我找不到任何相关的文档或配置设置来确定答案。然而，有

index.max_docvalue_fields_search

，默认设置为

100

在动态索引设置。由于聚合使用

doc_values

，我想说大约100个存储桶聚合是一个合理的上限。

我相信这里的限制是您的Elasticsearch集群的实际性能。

我们可以将所有结果字段都放在同一个存储桶中吗？

可以做到，但可能没有效率。您可以使用聚合

script

模式

terms

。查询可能如下所示：

POST bidder_server_stats/doc/_search{  "size": 0,  "aggs": {    "via script": {      "terms": {        "script": {          "source": "doc['bc'].value +':::'+ doc['log_dt_st'].value ",          "lang": "painless"        }      },      "aggs": {        "sum(avg_price)": {          "sum": { "field": "avg_price"          }        }      }    }  }}

结果将如下所示：

{  ...  "aggregations": {    "via script": {      "doc_count_error_upper_bound": 0,      "sum_other_doc_count": 0,      "buckets": [        {          "key": "2513:::2018-06-08T06:36:16.073Z",          "doc_count": 2,          "sum(avg_price)": { "value": 16.800000190734863          }        },        {          "key": "2514:::2018-06-08T06:36:16.073Z",          "doc_count": 1,          "sum(avg_price)": { "value": 10          }        }      ]    }  }}

为了执行此聚合，Elasticsearch将必须为与查询匹配的每个文档计算存储桶值，这相当于SQL中的完整扫描。相反，聚合更像是索引查找，因为它们使用

doc_values

数据表示形式，该数据结构使这些查找有效。

在某些情况下，

script

存储桶可能是一种解决方案，但其范围非常有限。如果您对

script

基于解决方案感兴趣，那么还可以考虑脚本化的度量标准聚合。

希望有帮助！

更新：从ES 6.1开始，可以进行

composite

聚合

在Elasticsearch 6.1

composite

中添加了聚合。从6.3开始，它仍然标记为实验性的（因此API可能会更改，或者将来可能会完全删除此功能）。

这种情况下的查询如下所示：

POST bidder_server_stats/doc/_search{  "size": 0,  "aggs": {    "my composite": {      "composite": {        "sources": [          { "bc": {   "terms": {     "field": "bc"   } }          },          { "log_dt_st": {   "terms": {     "field": "log_dt_st"   } }          }        ]      },      "aggs": {        "sum(avg_price)": {          "sum": { "field": "avg_price"          }        }      }    }  }}

以及响应：

{  "aggregations": {    "my composite": {      "after_key": {        "bc": "2514",        "log_dt_st": 1528439776073      },      "buckets": [        {          "key": { "bc": "2513", "log_dt_st": 1528439776073          },          "doc_count": 2,          "sum(avg_price)": { "value": 16.800000190734863          }        },        {          "key": { "bc": "2514", "log_dt_st": 1528439776073          },          "doc_count": 1,          "sum(avg_price)": { "value": 10          }        }      ]    }  }}