成为一个大数据开发工程师的学习步骤--文字版

成为一个大数据开发工程师的学习步骤--文字版

本博客搬运自我知乎所出视频成为一个大数据开发工程师的学习步骤？ - 知乎大数据的学习是有条件限制的，首先你需要是一名普通的工程师，如果你是Java工程师的话更好，但如果你是小…https://www.zhihu.com/question/67872368/answer/416481734

P1:江南无所有，聊赠一枝春，大家好，欢迎来到恒生课程。本期我们站在一个开发者的角度来回答题主的问题：成为一个大数据开发工程师的学习步骤。

P2:在回答问题之前，先做一个简单的自我介绍，我目前就职于恒生财富经纪业务群，从毕业到现在已经在大数据领域浸淫了四年，从事过税务，教育，交通等政务大数据项目，也考取或参加了多个相关的技术考试和技术竞赛。说到这里讲个题外话，我觉得一个IT新人应该找出或挤出时间多参加参加考证，培训，竞赛等，一方面可以有面包，另一方面更重要的是可以开阔一个人的视野，提升一个人的能力，就像雷布斯说的那样：最好的投资就是投资自己

P3:回到这里，那么成为一个大数据开发工程师的学习步骤是哪些呢，我根据自己这几年从大学小白到现在(害羞)，提出自己的看法：分为四步，即认识大数据，学习大数据，开发大数据以及最后的成就大数据

P4:《孙子兵法·谋攻篇》有云知己知彼者，百战不殆。当你点开这个视频就意味着你对自己有了一定了解和认识，那么我们就需要来知一知这个”大数据开发工程师”

P5:首先我们先了解下大数据，领域外的很多朋友估计都听过大数据，云什么的，就连我从事建筑的哥哥都问我你能不能用大数据测测哪个基金值得买。但是很多人只知道名字，却难以明白深意概念和逻辑用途，所以我们来了解了解它

        *什么是大数据：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集                                     合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力                                     的海量、高增长率和多样化的信息资产
 *为什么要用大数据：因为当前业务普遍有存不了，算不动，装不下的困境
            *大数据地位：已上升到国家战略层次，如当下火热的政务云，万物互联

P6:大数据我们简单了解了，那么大数据开发工程师呢？大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。岗位要求是能够熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，综上所述该岗位对于技术要求是较高的，看完上述的介绍，大家可能对大数据开发工程师这一职业感到厉害，也可能感到体量太大， 难以下手，尤其是对于小白。不过不用太过于慌，上述是我综合多家大型企业的招聘要求做的一个罗列。属于中等需求，实际上由于侧重点的不同，这一职业还可以细分为ETL工程师，平台运维工程师，数据挖掘师等

P7:所以这里就引出了我们这里极为关键也极为万事开头难的一步：学习大数据

P8:对于新手小白，我的建议是先别一口吃个胖子，可以从上述的细分行业入手，选择当下最适合你入门的，比如你的业务能力+sql+数仓建设强，那可以先做数据分析，比如你对hadoop以及市面上的商业云生态产品极为熟悉，可以做平台开发/运维，至于我，我当时是会一点sql，会一点java，会一点shell就先做了大数据ETL工程师。鉴于大家当前的技术能力和爱好行业不同，我就把一些必须要掌握的东西先列上，大家可以先按照此步骤学起来

P9:第一阶段：学会Linux系统：掌握shell编程，掌握Linux并发，掌握Linux系统运维，因为基本上大数据的所有生态组件和数据文件都是部署在Linux系统的，Linux是大数据的最基础技术，最少也要掌握常用的50个命令

P10:学习方法：先从头至尾学会安装部署Linux服务器，再搭建一个MySQL数据库，部署java，python等应用，编写shell脚本等。后面再试着搭建集群，这样流程搞一套基本上就是打好linux基础了

P11:第二阶段：学会数据库：掌握sql语言,推荐MySQL，Hive，spark，oceanbase这些都是兼容Mysql的，掌握数据库之前的异构同步：用navicat，mysqldump，kettle等，掌握数仓建设，三范式建模等，大数据本质上也是数据，只不过是不同的数据库底层架构和计算逻辑，但只有你掌握了RDBMS，才能更加清楚的明白MapReduce，Hive,spark

P12: 学习方法：自己搭建数据库进行学习，可以pg，oracle，mysql，sqlserver等都用一遍

P13: 第三阶段：学会python，java，scala等语言，数据同步，数据分析

P14:这三个语言你必须要掌握一个，推荐python，很多用sql难以跑出来的数据分析在python里都可以做，python的强大我就无需赘言了，而且现在很多大数据工具和平台对python的适配也在逐步增长，比如MapReduce，数据流任务等，当然如果想更进一步，java最好也要掌握，至少达到能看到代码的程度，因为如果你偏向于ETL和平台这块，那么java将是你最好的武器。学习方法：这个看个人吧，我建议是前期通过书籍，视频来认识学习，后期精通就需要靠项目里的学习了，在项目里学习也是最快的，能达到的学习成果就是能自己用java或者python写出一个mapreduce或者udf，至于这两个是什么，下面会介绍到

P15:第四阶段：学习hadoop生态，第四阶段也是学习的最后一个阶段了，到这里你基本上就掌握了大数据的所有的基础技能了，现在就开始迈向大数据吧，如果一开始你的工作是在阿里云，腾讯云这些，那恭喜你你可以更简单快速的了解大数据生态和使用他们，但相对的你对他们的底层原理和逻辑架构远没有开源云hadoop来的深刻，所以学习的话我建议用hadoop，可以自己搭建一套组件：掌握Hive数仓的存储架构，数据集成；掌握storm，flink的流式数据传输和计算;掌握GreenPlum和ES的架构原理和调用用法，掌握hdfs,yarn,mapreduce,spark等等的生态作用

P16:学习方法：上面的生态组件建议每个都试着去学习下，至少也要把云平台的如hive，hdfs等相关吃透学透，如果你至少单纯的想做数据分析和数据挖掘，那么就最低只需要学会hivesql就可以，但是对你的其他技术要求比较高，比如算法和建模，总之没有一个行业是可以想赚的多又能少费力的。

P17:知行合一，学以致用，前面经过四个阶段的学习，我们已经是初步掌握了大数据技能，那么如何成为一个大数据开发工程师呢，

P18:那就是深化思想：摆除传统的数据处理思维，深化集群分布式并发，深化MPP架构，深化MapReduce思维

P19:此外参与到项目中，学到的知识始终是纸上谈兵，付出实践才是最大的进步，也能在项目中学的更多，更深。找到项目：复盘项目，可以复盘一些市面上的大型项目，论证自己所处的角色和工作。进入项目：对于应届生，公司对你的要求不会太高，掌握上面的技术和做过一些学校项目就基本稳进从而参与到大数据项目中；对于半道换行的可以从数据分析，数据挖掘，数仓建设这一块入手，这些行业对大数据技术要求没其他职位那么高，后面再慢慢拓展深度和宽度

P20:我一直认为学习大数据的最高境界就是奔向他，与大数据彼此成就，而不是仅仅做一个利用于大数据的大数据开发工程师

P21:心得:我与大多数人选择大数据行业的初衷都一样：能赚大钱，有挑战性。可在我逐步揭开他神秘面纱的过程中，我发现我被他神奇的逻辑思维和严谨的原理架构所吸引，把一个sql从两天跑完到十几秒就能跑完只是他的基 *** ，星辰大海才是他的极限，于是在某一刻我爱上了大数据，这就是转变思维，从利用他到爱上他，那么如何达到互相成就呢

P22：保持技术饥渴: 活到老，学到老热爱接触新鲜事物并学习

        *注重积累：我喜欢把学到的知识和从事过的写成博客，目前已在CSDN上写了一百余篇，排                             名也从几千万到现在的六千，这些既是我的宝贵财富，也能偶尔帮助下IT网友，                              收到点赞时还能有一点点成就感
        *注重成长：学而时习之，不亦说乎，始终保持着学习的饥渴度才能适应当前日新月异的技术                              变革，立足于潮涌前头
  *有理想有追求: 技术与业务决定了你的能力，但志向也决定了能到达的高度

P23：我的视频至此也就结束了，感谢大家的观看，在我写下这些文字时，从两千年诗画江南走出来的扬州目前正在遭受着疫情的困扰，还出现了重症，虽然这是一个普学视频，但也惟愿以此祝福可爱的扬州早日走出阴霾，天下三分明月夜，二分无赖是扬州，扬州加油！再次感谢观看！

成为一个大数据开发工程师的学习步骤？ - 知乎l