大数据入门最全组件思维导图

写在前面的话

标题党一回，加了“最全”二字。敲出此二字时，脸上有点热乎乎地。突然想起了马老师的视频，人活着就是要脸皮厚，不要这也不好意思，那也不好意思。你怎么好意思活着呢？

概述

近期计划整理一系列文章作为内部培训的讲稿，主要分享如何从0到1一步一步完成企业级大数据平台搭建，初步梳理提纲如下：

• 大数据平台组件思维导图
• 大数据平台框架及架构
• 大数据平台组件选型方法及思路
• 大数据平台规模评估及硬件配置
• 大数据平台部署及实施
• 大数据平台存储及HDFS
• 大数据平台数仓及Hive／HBase
• 大数据平台资源管理及YARN
• 大数据平台批处理Spark
• 大数据平台即时查询Impala、Trino/Presto
• 大数据平台实时计算Spark Structed Streaming／Flink、Materialize
• 大数据平台消息管道Kafka
• 大数据平台查询引擎及Phoinex／Presto／Dreamio
• 大数据平台采集及DataX／Canal／Streamsets／Debezium
• 大数据平台搜索及Elasticsearch
• 大数据平台多维实时查询Snappydata／Clickhouse
• 大数据平台展示及Kibana／Davinci、DataEase

思维导图

花了一个午休时间，整理了大数据平台常用及不常用的100+组件的思维导图；一级节点分类为了保持两字词，强制缩写了部分词语，或者生硬的换了其他表达方式。该思维导图按采集、存储、计算、查询、搜索、基设、监控、运维、安全、测试、治理、展示、BI等维度对大数据开源组件及少数商用组件进行分类；有些组件具有多种类别属性、有些分类名为了保持名词整齐导致含义不不准确，所以有些组件的分类难免牵强。后续将陆续完善。
思维导图地址：
https://www.processon.com/view/5d54aa6be4b04399f5a52d23#map
Processon持续维护地址：
最全大数据入门组件-持续更新
pdf版百度网盘：链接: https://pan.baidu.com/s/19wq_I7tzt29ropSC-UF7Eg 提取码: hy8d

更新计划

删除受众较少的冷门组件，只保留Apache、大企业及Star在800以上组件
梳理同类组件选型分析、压测对比
整理企业级大数据平台建设流程及思路
重点整理常用大数据组件的生产级部署、调优、监控运维、架构原理、案例实战
经过检验，无重大错误后，上传至github维护

原文地址

• 最全大数据开源组件思维导图

对于文中任何疑问，欢迎加微信讨论：