2020-03-30

2020-03-30 Hive 有四种表的类型

1. 内部表(管理表)
   由Hive完全管理表和数据的生命周期。默认创建的表是内部表。
   删除表的时候，数据和元数据都被删除。
2. 外部表
   删除外部表时只删除元数据，不会删除它关联的数据文件。外部表更加安全和灵活，易于数据的共享。
3. 分区表
   根据业务编码、日期、其他类型等维度创建分区表，在一个表对应的目录下，一个分区对应一个目录。
   单表数据量巨大，而且查询又经常限定某一个类别，那么可以将表按照该类别进行分区，以提高数据查询效率，减少资源开销。
4. 分桶表
   对表的某个字段做哈希，将哈希值相同的行分配到相同的表中。适合用来数据抽样。

 这4种类型用以满足不同的业务场景，简化使用方式，提高生产速度。作为一个经验法则，如果所有的处理都由hive完成，应该使用管理表；外部表可以用于从hive导出数据提供其他应用程序使用。

Hive中sort by、order by、cluster by、distribute by的区别

• sort by: 会在每个 reducer 中对数据进行排序，也就是执行一个局部排序过程，保证每个 reducer 输出的数据都是有序的。这样可以提高后续全局排序的过程。
• order by: 对查询结果做全局排序，因此会有一个所有数据经过一个 reducer 处理的过程。计算规模较大，时间可能会很长。在严格(strict)模式下需要加上LIMIT子句。
• cluster by: 当distribute by和sort by字段相同时，可使用cluster by方式替代。排序只能是升序排序，不能指定排序规则为ASC或者DESC。此外，cluster by可以用来创建分桶表。
• distribute by: 控制 map 的输出在 reducer 中是如何划分的。如果我们想让同一年的数据一起处理，那么就可以使用distribute by来保证具有相同年份的数据分发到同一个 reducer 中进行处理。通常会跟sort by一起使用。

Hive 中的数据类型：

1、简单数据类型：
(1)整型，如：tinyint，smallint，int，bigint。
(2)字符串类型，如：string。
(3)时间戳类型(java.sql.Timestamp)
(4)布尔型。
(5)浮点型，如：float，double。

2、集合数据类型：
(1)映射，关键字：map。
(2)结构体，关键字：struct。
(3)数组，关键字：array。

3、null类型：在hive中底层是用'N'来存储的，可以通过alter table tableName set serdeproperties('serialization.null.format'='a'来设置。

 构建一张包含各种数据类型的表：

CREATE TABLE employee (
     name STRING,
     salary FLOAT,
     subordinates ARRAY
     deductions MAP,
     address STRUCT);

Hive 数据倾斜

 Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个 reducer 运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些key所在的reducer 所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。

如何避免数据的倾斜：

(1)给key一个随机的值，打散key。

(2)Hive中的参数调节：①hive.map.aggr = true。②hive.groupby.skewindata = true。作用：有数据倾斜的时候进行负载均衡，当选项设定位true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合 *** 作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By Key 分布到 Reduce 中(这个过程可以保证相同的 Group By Key 被分布到同一个Reduce中)，最后完成最终的聚合 *** 作。

(3)SQL语句的调节：1、选用join key分布最均匀的表作为驱动表。2、大小表join的时候，让维度较小的表先进内存。3、大表join的时候，把空值的key变成一个字符串加上一个随机数，把倾斜的数据分到不同的reduce上。4、count distinct大量相同特殊值。