奈学大数据研发工程师学习收获笔记

1、大数据基础平台、大数据能力开放平台、大数据交易平台的搭建与优化；
2、基于大数据平台(Hadoop)的数据仓库工具Hive/Spark/Hbase, ETL调度工具，数据同步工具的开发、使用、集成和自动化运维，以及多租户与权限控制策略的实现；
3、研发基于大数据平台的数据仓库平台产品；
4、参与大数据平台的容量规划、持续交付、业务监控、应急响应，保证平台正常运行。
5、利用大数据相关技术实现对数据的加工、分析、挖掘、处理、及数据可视化等相关工作。
6、推动团队内成员技术经验分享，关注相关前沿技术研究，通过新技术服务团队和业务。
大数据开发工程师需要具备大数据基础知识、大数据平台知识和大数据场景知识三方面的知识结构。大数据基础知识：数学基础、统计学基础和计算机基础。数学基础是大数据从业者重要的基础，因为大数据的核心是算法设计，而数学是算法设计的基础。统计学基础知识也是大数据从业者必须掌握的内容，包括基本的统计方法、绘制方法、统计算法等内容。计算机基础则包括 *** 作系统（Linux）、计算机网络、数据结构、算法设计、数据库等内容。