Apache 框架版本

Apache 框架版本

框架版本选型：

1. Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂使用，技术实力雄厚，有专业的运维人员）
2. CDH6.3.2：国内使用最多的版本，但CM不开源，但其实对中、小公司使用来说没有影响（建议使用）10000美金一个节点CDP7.0
3. HDP：开源，可以进行二次开发，但是没有CDH稳定，国内使用较少
4. Azkaban、hive、kylin需要重新编译

ProductOldNewChange DescHadoop2.7.23.1.3

• HDFS的web端口由50070变为9870
• 客户端访问端口号：9820｜8020｜9000

Zookeeper3.4.103.5.7Mysql5.6.245.7.16

• 原生json支持：不需遍历所有字符，通过虚拟列的功能对json数据行索引
• 多源复制，多主一从
• InnoDB优化

HIve1.2.13.1.2(不在支持mr引擎)Flume        1.7.01.9.0Kafka0.11-0.2_2.11-2.4.1

• 0.9版本前，offset保存在zookeeper中，0.9后consumer自己维护offset
• 允许使用者从最近的副本中获取

kafka Eagle1.3.71.4.5Azkaban2.5.93.84.4集成给用户打电话的功能Spark        2.1.13.0.0不支持Scala 2.11.X，升级为2.12.XHbase1.3.12.0.5Phoenix4.14.15.0.0支持Apache Hbase 2.0Redis3.2.53.2.5Canal        1.1.21.1.2ElasticSearch+Kibana6.3.16.3.1