大数据术语之ClickHouse

大数据术语之ClickHouse

Clickhouse
    ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），
能够使用SQL查询实时生成分析数据报告。
    特点：
    1.列式存储
    2.DBMS的功能
    3.多样化引擎
    4.高吞吐写入能力(顺序追加)
    5.数据分区与线程级并行
    6.单表数据处理能力强
数据类型
    整型范围（-2n-1~2n-1-1）：Int8 Int16 Int32 Int64
    无符号整型范围（0~2n-1）：UInt8 UInt16 UInt32 UInt64
    浮点型：Float32 - float Float64 – double
    布尔型: 可以使用 UInt8 类型，取值限制为0或1。
    Decimal型:
        有三种声明：
        ➢ Decimal32(s)，相当于 Decimal(9-s,s)，有效位数为 1~9
        ➢ Decimal64(s)，相当于 Decimal(18-s,s)，有效位数为 1~18
        ➢ Decimal128(s)，相当于 Decimal(38-s,s)，有效位数为 1~38
    字符串: String
    枚举类型：Enum8和Enum16类型
    日期类型：
        ➢ Date 接受年-月-日的字符串比如 ‘022-01-12’
        ➢ Datetime 接受 年-月-日 时:分:秒的字符串比如 ‘022-01-12 20:50:10’
        ➢ Datetime64 接受 年-月-日 时:分:秒.亚秒 的字符串比如 ‘2022-01-12 20:50:10.66’
    Array(T)：由 T 类型元素组成的数组。

数据引擎
    表引擎是 ClickHouse 的一大特色。可以说，表引擎决定了如何存储表的数据。包括：
        ➢ 数据的存储方式和位置，写到哪里以及从哪里读取数据。
        ➢ 支持哪些查询以及如何支持。
        ➢ 并发数据访问。
        ➢ 索引的使用（如果存在）。
        ➢ 是否可以执行多线程请求。
        ➢ 数据复制参数。
    表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎，以及引擎使用的相关参数。
TinyLog
    以文件的形式保存在磁盘，不支持索引，没有并发控制，一般保存少量数据的小表，生产环境上作用有限。可以用于平时练习测试用。
    create table t_tinylog ( id String, name String) engine=TinyLog;
Memory
    内存引擎，数据以未压缩的原始形式直接保存在内存当中，服务器重启数据就会消失。读写 *** 作不会相互阻塞，不支持索引。简单查询下有
非常非常高的性能表现（超过 10G/s）。一般用到它的地方不多，除了用来测试，就是在需要非常高的性能，同时数据量又不太大（上限大概 1 亿行）的场景。
MergeTree
    ClickHouse 中最强大的表引擎当属 MergeTree（合并树）引擎及该系列（*MergeTree）中的其他引擎，支持索引和分区，地位可以相当于 
innodb之于Mysql。而且基于MergeTree，还衍生除了很多小弟，也是非常有特色的引擎。
创建表语句:
    create table t_order_mt(
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
    ) engine =MergeTree
    partition by toYYYYMMDD(create_time)
    primary key (id)
    order by (id,sku_id);

ReplacingMergeTree(去重的功能)
    ReplacingMergeTree 是 MergeTree 的一个变种，它存储特性完全继承 MergeTree，只是多了一个去重的功能。 尽管 MergeTree 可以设置主键，
但是 primary key 其实没有唯一约束的功能。如果你想处理掉重复的数据，可以借助这个 ReplacingMergeTree。
    通过测试得到结论
        1 实际上是使用 order by 字段作为唯一键
        2 去重不能跨分区
        3 只有合并才会进行去重
        4 认定重复的数据保留，版本字段值最大的
        5 如果版本字段相同则按插入顺序保留最后一笔    
手动合并命令            
 OPTIMIZE TABLE t_order_rmt FINAL;

SummingMergeTree
    对于不查询明细，只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree 的话，无论是存储空间的开销，
还是查询时临时聚合的开销都比较大。
ClickHouse 为了这种场景，提供了一种能够“预聚合”的引擎 SummingMergeTree。

案例演示
create table t_order_smt(
id UInt32,
sku_id String,
total_amount Decimal(16,2) ,
create_time Datetime 
) engine =SummingMergeTree(total_amount)
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

insert into t_order_smt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

手动合并命令            
 OPTIMIZE TABLE t_order_smt FINAL;

通过结果可以得到以下结论：
    1 以 SummingMergeTree（）中指定的列作为汇总数据列；
    2 可以填写多列必须数字列，如果不填，以所有非维度列且为数字列的字段为汇总数
    据列；
    3 以order by的列为准，作为维度列；
    4 其他的列按插入顺序保留第一行；
    5 不在一个分区的数据不会被聚合；