Hive的调优策略

Hive的调优策略

1.Featch抓取，某些情况可以不用MapReduce计算

2.开启Hive的本地模式，小数据在本地处理即可

3.开启Hive的并行执行

4.Hive的严格模式

        （1）分区表，只用where过滤分区字段

        （2）order by，必须使用limit

        （3）限制笛卡尔积的查询

5.JVM的重用，同一个job重新使用N次

6.开启Hive的推测执行

7.数据压缩（gzip，lzo，snappy，bzip2）

8.表的优化

        （1）小表join大表 Mapjoin

        （2）大表join大表-空key过滤，空key转换

        （3）行、列过滤