druid 和my sql 的区别

druid 和my sql 的区别,第1张

MySqlStatementParser parser = new MySqlStatementParser(sql)

SQLStatement statement = parser.parseStatement()

MySqlInsertStatement insert = (MySqlInsertStatement)statement

然后使用解析得到的 insert ,就可以获得原始insert语句的各个部分:

List<SQLExpr>columns = insert.getColumns() // 获得所有列名

insert.getQuery()// 如果是 insert into select 语句,则可以获取 select查询

如果是批量插入的insert:insert into tab(id,name) values(1,'a'),(2,'b'),(3,'c')

则可以使用:

List<ValuesClause>vcl = insert.getValuesList()

获得素有的 values 子句部分。

非批量插入,则可以使用:

List<SQLExpr>valuse = insert.getValues().getValues()

获得 values 子句。

on duplicate 部分可以使用下面的语句获取:

List<SQLExpr>dku = insert.getDuplicateKeyUpdate()

获得了这些,就而已重组得到原始SQL语句,并且对其进行各种改写。

本文的demo示例均来源于官网。

Druid的查询是使用Rest风格的http请求查询服务节点,客户端通过发送Json对象请求查询接口。可以使用shell脚本查询或通过Google的ARC插件构造Post请求进行查询。

Shell脚本

其中<queryable_host>:<port>为broker、historical或realtime进程所在机器的ip和提供服务的端口,query_json_file为json配置文件路径。

ARC插件

[图片上传失败...(image-5a63a0-1626656067202)]

不同的查询场景使用不同的查询方式。Druid有很多查询类型,对于各种类型的查询类型的配置可以通过配置不同的Query实现。Druid的查询类型,概括为以下3类:

1.聚合查询:时间序列查询(Timeseroes),Top查询(TopN),GroupBy查询(GroupBy)

2.元数据查询:时间范围(Time Boundary),段元数据(Segment Metadata),数据源(DataSource)

2.Search查询(Search)

一般聚合查询使用的较多,其他类型的查询方式使用场景较少且较简单,可直接参考官网给出的demo即可查询;本文主要介绍聚合查询。一般情况下,Timeseries和TopN查询性能优于GroupBy,GroupBy查询方式最灵活但是最耗性能。Timeseries查询性能明显优于GroupBy,因为聚合不需要其他GroupBy其他维度;对于Groupby和排序在一个单一维度的场景,TopN优于GroupBy。

一条Druid query中主要包含以下几种属性:

2.1 granularity简介

2.1.1 简单的聚合粒度

简单的聚合粒度有:all、none、second、minute、fifteen_minute、thirty_minute、hour、day、week、month、quarter、year;简单聚合粒度的查询取决于druid存储数据的最小粒度,如果构建数据的最小粒度是小时,使用minute粒度去查询,结果数据也是小时粒度的数据。

假设存储在Druid中的数据使用毫秒粒度构建,数据格式如下:

提交一个小时粒度的groupBy查询,查询query如下:

提交一个小时粒度的groupBy查询,查询query如下:

按小时粒度进行的groupby查询结果中timestamp值精确到小时,比小时粒度更小粒度值自动补填零,以此类推按天查询,则小时及小粒度补零。timestamp值为UTC。查询结果如下:

如若指定聚合粒度为day,则按照天为单位对数据进行聚合,查询结果如下:

如若聚合粒度设置为none,则按照druid中build数据的最小粒度查询数据,即不进行聚合,如bulid数据的粒度是ms,则聚合出来的结果也是毫秒:

如若将聚合粒度设置为all,则返回数据的长度为1,即把查询时间段的数据做一个汇总:

可指定一定的时间段进行聚合,返回UTC时间;支持可选属性origin;不指定时间,默认的开始时间=1970-01-01T00:00:00Z;

持续时间段2小时,从1970-01-01T00:00:00开始:

时间聚合粒度的特例,方便使用,如年、月、日、小时等,日期标准是ISO 8601。无特别指定的情况下,year从1月份开始,month从1号开始,week从周一开始。

一般的格式为:其中timeZone可选,默认值是UTC;origin可选,默认1970-01-01T00:00:00;

period的一般写法为:

如提交一个1d作为聚合粒度的groupby查询的query:

查询得到的结果为:

官网给出的例子是以美国洛杉矶的时区为准,一般中国的时区这样使用,更多时区可移步该链接查询:

一个filter即一个json对象,代表一个过滤条件,等价于mysql中的一个where条件;过滤器的类型主要有:Selector filter,Regular expression filter(正则表达式过滤)、Logical expression filters(AND、OR、NOT)、In filter、Bound filter、Search filter、JavaScript filter、Extraction filter;

等价于 WHERE <dimension_string>= '<dimension_value_string>'

json格式:

类似Selector过滤器,只不过过滤使用的是正则表达式;正则表达式为标准的java正则表达式规范;

aggregations即汇总数据记性druid之前提供的一个数据采集一种聚合方式。常用的聚合类型主要有:count,sum,min/max,approximate,miscellaneous;

2.3.1 Count aggregator

符合查询条件的行数,类似mysql中的count计算:

Note: Druid进行Count查询的数据量并不一定等于数据采集时导入的数据量,因为Druid在采集数据查询时已经按照相应的聚合方式对数据进行了聚合。

2.3.2 Sum aggregator

与底层druid表中的字段类型一致。

longSum

2.4 聚合查询

2.4.1 Timeseries query

query

2.4.2 TopN query

TopN查询根据规范返回给定维度的有序的结果集,从概念上来讲,TopN查询被认为单维度、有序的类似分组查询。在某些情况下,TopN查询比分组查询(groupby query)快。TopN查询结果返回Json数组对象。TopN在每个节点将顶上K个结果排名,在Druid默认情况下最大值为1000。在实践中,如果你要求前1000个项顺序排名,那么从第1-999个项的顺序正确性是100%,其后项的结果顺序没有保证。你可以通过增加threshold值来保证顺序准确。

java程序很大一部分要 *** 作数据库,为了提高性能 *** 作数据库的时候,有不得不使用数据库连接池。

数据库连接池有很多选择,c3p、dhcp、proxool等,druid作为一名后起之秀,凭借其出色的性能,也逐渐印入了大家的眼帘。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/7428369.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-05
下一篇 2023-04-05

发表评论

登录后才能评论

评论列表(0条)

保存