Hive中的多种优化方案

Hive中的多种优化方案

文章目录

• 企业级优化
• 1、Fetch抓取
• 2、本地模式
• 3、执行计划
• 4、表的优化
• • 4.1 小表大表join
  • 4.2 大表join大表
  • • • 空key过滤
      • 空key转换
      • Sort Merge Bucket join(SMB)
  • 4.3 MapJoin
  • 4.4 Group by
  • 4.5 Count(Distinct) 去重统计
  • 4.6 行列过滤
• 5、合理设置Map和Reduce数
• • 5.1 复杂文件增加Map数
  • 5.2 小文件合并
  • 5.3 合理设置Reduce数
• 6、并行执行<