大数据工程师需要学习哪些?

Java ：只要了bai解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。

Kafka：这是个比较好用的队列工具。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点。

零基础学习Java的学习路线是什么样的呢？下面，就给大家介绍一下。
第一阶段：Java 基础以及 Web 开发基础—小程序项目阶段。让学习者可掌握Java 基本面向对象知识、Java 常用集合的使用、JDBC 与 MySQL 基础、HTML/CSS/JavaScript 前端基础技术、 Servlet 编写服务端程序等，同时熟练使用 IDEA 开发工具，能实现简单的小程序;
第二阶段Java 高级基础 SSM 前端框架 代码管理 持续集成，是进阶阶段。让学习者可以深入理解 Java 面向对象相关知识点，可以胜任Java 初级软件工程师、Web 初级前端开发工程师、初级 BI 工程师等岗位。
第三阶段微服务与分布式解决方案。让学习者掌握Linux、Docker、Vue、SpringBoot、Shiro、分布式事务的使用等，可以熟练使用Docker 完成项目部署，胜任Java 中级开发工程师等岗位;
第四阶段大型互联网解决方案。让学习者掌握JUC、Zookeeper、Dubbo、MySQL 高级、MyCat和微信小程序以及微信支付的开发等内容，可以胜任Java 高级软件工程师等岗位。
以上就是给大家分享的Java学习路线，其实，对于初学者而言，除了要在学习过程中打牢基础之外，实战项目经验的积累也非常重要，毕竟我们学习Java的目的就是为了学成后能更好的就业，而想要成为符合企业需求的Java开发工程师，那么，项目实战经验必不可少。

其他信息：

相信很多同学都知道，2022年江苏专转本将要进行大改革。那么江苏2022专转本大概要多少分？其实很多同学至今都未搞懂转本的考试形式，今天就给大家解读一下江苏2022专转本新政策！ 一、江苏2022专转本大概要多少分？ 江苏2022专转本大概要200分左右就可以。考试总分为500分。大学语文或高等数学150分、英语或日语120分、专业综合230分(其中专业基础理论150分, *** 作技能80分)，满分500分。 二、江苏2022专转本类型 江苏省的专转本分为三年制专转本和五年制专转本。 1、三年制专转本 （1）招生对象：三年制大专在校三年级学生，即大三。 （2）报名与考试时间：一般在每年一月中上旬报名，三月中旬考试。 （3）考试科目：2022年新改革。分专业大类来考。一般统考高数/语文（根据专业类别不同来选择），英语四级/日语四级折算成英语成绩，专业综合理论和专业综合技能。 满分500分。高数150,语文150，英语120,日语120,专业综合理论150和专业综合技能80。 2、五年制专转本 （1）招生对象：五年制高职（高师）在校五年级学生。 （2）报名和考试时间：每年的3初到3月中旬，考试时间为4月中旬以后。 （3）考试科目： 非师范类：一门公共英语，两门专业课，每门100分，总分300分。 英语：总分100分，主考阅读理解、完形填空、单选、翻译、文章写作，无听力题。 专业1：总分100分，主考专业基础知识 专业2：总分100分，主考专业基础知识 师范类：师范类“专转本”专业文化考试科目安排：小学教育（语文）、美术学、音乐学、体育教育专业的考试科目包括大学语文、大学英语、教育学心理学基本原理三门；小学教育（数学）专业的考试科目包括高等数学、大学英语、教育学心理学基本原理三门；学前教育专业的考试科目包括大学语文、大学英语、幼儿教育学心理学基本原理三门。 报考师范类“专转本”学前教育、美术学、音乐学、体育教育专业的考生还须参加江苏第二师范学院、南通大学、盐城师范学院、常州工学院和泰州学院5所学校联合统一组织的专业加试。 三、江苏2022专转本考试内容 1、财经类 考试科目：高等数学+专业课。 专业课基础理论考试： 课程A：经济学基础 约35% 课程B：财会基础 约65% *** 作技能考试： 技能一：Excel基本技能 约125% 技能二：常用单据 *** 作技能 约125% 技能三：经济法案例分析技能 约25% 技能四：企业运营分析技能 约25% 技能五：商务文书写作技能 约25% 适用专业：会计学、审计学、财务管理、金融工程、金融学、经济学、国际经济与贸易、经济与金融 、贸易经济、能源经济、投资学、保险学、经济统计学。 2、管理类 考试科目：大学语文/高等数学+专业课。 专业课基础理论考试： 课程A：管理学基础 50% 课程B：经济学基础 50% *** 作技能考试： 技能一：调查研究能力 20% 技能二：数据分析能力 20% 技能三：应用文写作能力 20% 技能四：计算机应用能力 20% 技能五：项目设计能力 20% 技能六：营销策划能力 20% 技能七：危机公关能力 20% 技能八：人际交流能力 20% 适用专业：信息管理与信息系统、工程管理、工程造价、邮政管理、工商管理、市场营销、人力资源管理、资产评估、文化产业管理、体育经济与管理、农林经济管理、公共事业管理、行政管理、物流管理、物流工程、工业工程、电子商务、酒店管理、 旅游管理、社会工作。 3、电子信息类 考试科目：高等数学+专业课。 专业课基础理论考试： 课程A：电路基础 40% 课程B：模拟电子技术 30% 课程C：数字电子技术 30% *** 作技能考试： 技能一：常用电子仪器仪表的使用 10% 技能二：电子元器件的识别和检测 10% 技能三：电子电路识图 20% 技能四：电子元器件的手工装配与焊接 40% 技能五：电路系统功能检测调试 20% 适用专业：测控技术与仪器、微电子科学与工程、光电信息科学与工程、农业电气化、电气工程及其自动化、电子信息工程、电子科学与技术、通信工程、信息工程、电子信息科学与技术、自动化、建筑电气与智能化。 4、计算机类 考试科目：高等数学+专业课。 专业课基础理论考试： 课程A：计算机应用基础 60% 课程B：信息技术导论 40% *** 作技能考试： 技能一：程序设计（C语言）40% 技能二：数据库（MySQL) 20% 技能三：UML建模 10% 技能四：局域网搭建 10% 技能五： *** 作系统配置与管理（Windows10) 10% 技能六：Linux配置管理(CentOS7) 10% 适用专业：遥感科学与技术、计算机科学与技术、软件工程、网络工程、信息安全、物联网工程、数字媒体技术、地理信息科学。 5、机械工程类 考试科目：高等数学+专业课。 专业课基础理论考试： 课程A：机械制图 15% 课程B：工程力学 30% 课程C：机械设计基础 40% 课程D：金属材料及热处理 15% *** 作技能考试： 技能一：机械图样绘制与识读技能 20% 技能二：机械CAD软件绘图技能 20% 技能三：机械零件加工技能 20% 技能四：机械零部件装配技能 20% 技能五：零件测量与公差配合应用技能 10% 适用专业：机械工程、机械设计制造及其自动化、材料成型及控制工程、机械电子工程、车辆工程、汽车服务工程、农业机械化及其自动化、材料科学与工程、新能源材料与器件、新能源科学与工程、机器人工程。 关于政策可以仔细看下上方汇总分析。以上就是有关“江苏2022专转本大概要多少分？”的相关内容，希望对大家有所帮助！

一、什么是大型网站运维

首先明确一下，全文所讲的”运维“是指：大型网站运维，与其它运维的区别还是蛮大的；然后我们再对大型网站与小型网站进行范围定义，此定义主要从运维复杂性角度考虑，如网站规范、知名度、服务器量级、pv量等考虑，其它因素不是重点；因此，我们先定义服务器规模大于1000台，pv每天至少上亿（至少国内排名前10），如sina、、，renrencom等等；其它小型网站可能没有真正意义上的运维工程师，这与网站规范不够和成本因素有关，更多的是集合网络、系统、开发工作于一身的“复合性人才”，就如有些公司把一些合同采购都纳入了运维职责范围，还有如IDC网络规划也纳入运维职责。所以，非常重要一定需要明白：运维对其它关联工种必须非常了解熟悉：网络、系统、系统开发、存储，安全,DB等；我在这里所讲的运维工程师就是指专职运维工程师。

我们再来说说一般产品的“出生”流程：

1、首先公司管理层给出指导思想，PM定位市场需求（或copy成熟应用）进行调研、分析、最终给出详细设计。

2、架构师根据产品设计的需求，如pv大小预估、服务器规模、应用架构等因素完成网络规划,架构设计等（基本上对网络变动不大，除非大项目）

3、开发工程师将设计code实现出来、测试工程师对应用进行测试。

4、好，到运维工程师出马了，首先明确一点不是说前三步就与运维工作无关了，恰恰相反，前三步与运维关系很大：应用的前期架构设计、软/硬件资源评估申请采购、应用设计性能隐患及评估、IDC、服务性能安全调优、服务器系统级优化（与特定应用有关）等都需运维全程参与，并主导整个应用上线项目；运维工程师负责产品服务器上架准备工作，服务器系统安装、网络、IP、通用工具集安装。运维工程师还需要对上线的应用系统架构是否合理、是否具备可扩展性、及安全隐患等因素负责，并负责最后将产品（程序）、网络、系统三者进行拼接并最优化的组合在一起，最终完成产品上线提供用户使用，并周而复使：需求->开发（升级）->测试->上线（性能、安全问题等之前预估外的问题随之慢慢就全出来了）在这里提一点：网站开发模式与传统软件开发完全不一样，网站一天开发上线1~5个升级版本是家常便饭，用户体验为王嘛，如果某个线上问题像M$需要1年解决，用户早跑光了；应用上线后，运维工作才刚开始，具体工作可能包括：升级版本上线工作、服务监控、应用状态统计、日常服务状态巡检、突发故障处理、服务日常变更调整、集群管理、服务性能评估优化、数据库管理优化、随着应用PV增减进行应用架构的伸缩、安全、运维开发工作：

a、尽量将日常机械性手工工作通过工具实现（如服务监控、应用状态统计、服务上线等等），提高效率。

b、解决现实中服务存在的问题，如高可靠性、可扩展性问题等。

c、大规模集群管理工具的开发，如1万台机器如何在1分钟内完成密码修改、或运行指定任务？2000台服务器如何快速安装 *** 作系统？各分布式IDC、存储集群中数PT级的数据如何快速的存储、共享、分析？等一系列挑战都需运维工程师的努力。

在此说明一下其它配合工种情况，在整个项目中，前端应用对于网络/系统工程师来说是黑匣子，同时开发工程师职责只是负责完成应用的功能性开发，并对应用本身性能、安全性等应用本身负责，它不负责或关心网络/系统架构方面事宜，当然软/硬件采购人员等事业部其它同事也不会关心这些问题，各司其职，但项目的核心是运维工程师~！所有其它部门的桥梁。

上面说了很多，我想大家应该对运维有一些概念了，在此打个比方吧，如果我们是一辆高速行驶在高速公路上的汽车，那运维工程师就是司机兼维修工，这个司机不简单，有时需要在高速行驶过程中换轮胎、并根据道路情况换档位、当汽车速度越来越快，汽车本身不能满足高速度时对汽车性能调优或零件升级、高速行进中解决汽车故障及性能问题、时刻关注前方安全问题，并先知先觉的采取规避手段。这就是运维工作~！

最后说一下运维工程师的职责：”确保线上稳定“，看似简单，但实属不容易，运维工程师必须在诸多不利因素中进行权衡：新产品模式对现有架构及技术的冲击、产品高频度的升级带来的线上BUG隐患、运维自动化管理承度不高导致的人为失误、IT行业追求的高效率导致流程执行上的缺失、用户增涨带来的性能及架构上的压力、IT行业宽松的技术管理文化、创新风险、互联网安全性问题等因素，都会是网站稳定的大敌，运维工程师必须把控好这最后一关，需具体高度的责任感、原则性及协调能力，如果能做到各因素的最佳平衡，那就是一名优秀的运维工程师了。

另外在此聊点题外话，我在这里看到有很多人要sina、、,51com等聊自已的运维方面的经验，其实这对于它们有点免为其难：

a、各公司自已网络架构、规模、或多或少还算是公司的核心秘密，要保密，另外，对于大家所熟知的通用软件、架构，由于很多公司会根据自已实际业务需要，同时因为原版性能、安全性、已知bug、功能等原因，进行过二次开发（如apache,php,mysql）， *** 作系统内核也会根据不同业务类型进行定制的，如某些应用属于运算型、某些是高IO型、或大存储大内存型。根据这些特点进行内核优化定制，如sina就在memcache上进行过二次开发，搞出了一个MemcacheDB，具体做得如何我们不谈，但开源了，是值得称赞的，国内公司对于开源基本上是索取，没有贡献；另外，服务器也不是大家所熟知的型号，根据业务特点，大部份都是找DELL/HP/ibm进行过定制；另外，在分布式储存方面都有自已解决方案，要不就是使用现成开源hadoop等解决方案，或自已开发。但90%都是借鉴googleGFS的思想:分布式存储、计算、大表。

c、如上面所讲，目前大型网站运维还处于幼年时期理念和经验都比较零散，没有成熟的知识体系，可能具体什么是运维，大家都要先思索一番，或压根没想过，真正讨论也只是运维工作的冰山一角，局限于具体技术细节，或某某著名网站大的框架，真正运维体系化东西没有，这也许是目前网上运维相关资料比较少的原故吧。或者也是国内运维人员比较难招，比较牛的运维工程师比较少见的原因之一吧。

二、运维工作师需要什么样的技能及素质

做为一名运维工程师需要什么样的技能及素质呢，首先说说技能吧，如大家上面所看到，运维是一个集多IT工种技能与一身的岗位，对系统->网络->存储->协议->需求->开发->测试->安全等各环节都需要了解一些，但对于某些环节需熟悉甚至精通，如系统(基本 *** 作系统的熟悉使用,nix,windows)、协议、系统开发(日常很重要的工作是自动运维化相关开发、大规模集群工具开发、管理）、通用应用（如lvs、ha、webserver、db、中间件、存储等）、网络,IDC拓朴架构；

技能方面总结以下几点：

1、开发能力，这点非常重要，因为运维工具都需要自已开发，开发语言：c/c++（必备其中之一）、perl、python、php（其中之一）、shell（awk,sed,expect等），需要有过实际开发经验，否则工作会非常痛苦。

2、通用应用方面需要了解： *** 作系统（目前国内主要是linux、bsd）、webserver相关(nginx,apahe,php,lig>

3、系统、网络、安全，存储，CDN，DB等需要相当了解，知道其相关原理。

个人素质方面：

1、沟通能力、团队协作：运维工作跨部门、跨工种工作很多，需善于沟通、并且团队协作能力要强；这应该是现代企业的基本素质要求了，不多说。

2、工作中需胆大心细：胆大才能创新、不走寻常路，特别对于运维这种新的工种，更需创新才能促进发展；心细，运维工程师是网站admin,最高线上权限者，一不小心就会遗憾终生或打入十八层地狱。

3、主动性、执行力、精力旺盛、抗压能力强：由于IT行业的特性，变化快；往往计划赶不上变化，运维工作就更突出了，比如国内各大公司服务器往往是全国各地，哪里便宜性价比高，就那往搬，进行大规模服务迁移（牵扯的服务器成百上千台），这是一个非常头痛的问题；往往时间非常紧迫，如限1周内完成，这种情况下，运维工程师的主动性及执行力就有很高的要求了：计划、方案、服务无缝迁移、机器搬迁上架、环境准备、安全评估、性能评估、基建、各关联部门扯皮,7X24小紧急事故响应等。

4、其它就是一些基本素质了：头脑要灵光、逻辑思维能力强、为人谦虚稳重、亲和力、乐于助人、有大局观。

5、最后一点，做网站运维需要有探索创新精神，通过创新型思维解决现实中的问题，因为这是一个处于幼年的职业（国外也一样，但比国内起步早点），没有成熟体系或方法论可以借鉴，只能靠大家自已摸索努力。

三、怎样才算是一个合格的运维工程师

1、保证服务达到要求的线上标准，如999%；保证线上稳定，这是运维工程师的基本责职所在。

2、不断的提升应用的可靠性与健壮性、性能优化、安全提升；这方面非常考验主动性、和创新思维。

3、网站各层面监控、统计的覆盖度，软件、硬件、运行状态，能监控的都需要监控统计，避免监控死角、并能实时了解应用的运转情况。

4、通过创新思维解决运维效率问题；目前各公司大部份运维主要工作还是依赖人工 *** 作干预，需要尽可能的解放双手。

5、运维知识的积累与沉淀、文档的完备性，运维是一个经验性非常强的岗位，好的经验与陷阱都需积累下来，避免重复性范错。

6、计划性和执行力；工作有计划，计划后想法设法达到目标，不找借口。

以上只是技术上的一些层面，当然个人意识也是很重要的。

四、运维职业的迷惘、现状与发展前景

运维岗位不像其它岗位，如研发工程师、测试工程师等，有非常明确的职责定位及职业规划，比较有职业认同感与成就感；而运维工作可能给人的感觉是哪方面都了解一些，但又都比上专职工程师更精通、感觉平时被关注度比较低（除非线上出现故障），慢慢的大家就会迷惘，对职业发展产生困惑,为什么会有这种现象呢？除了职业本身特点外，主要还是因为对运维了解不深入、做得不深入导致；其实这个问题其它岗位也会出现，但我发现运维更典型，更容易出现这个问题；

针对这个问题我谈一下网站运维的现状及发展前景（也在思考中，可能不太深入全面，也请大家斧正补充）

运维现状：

2、技术层次比较低；主要处于技术探索、积累阶段，没有型成体系化的理念、技术。

3、体力劳动偏大；这个问题主要与第二点有关系，很多事情还是依靠人力进行，没有完成好的提练，对于大规模集群没有成熟的自动化管理方法，在此说明一下，大规模集群与运维工作是息息相关的如果只是百十来台机器，那就没有运维太大的生存空间了。

4、优秀运维人才的极度缺乏；目前各大公司基本上都靠自已培养，这个现状导致行业内运维人才的流动性非常低，非常多好的技术都局限在各大公司内部，如google50万台机器科学的管理,或者国内互联公司top10的一些运维经验，这些经验是非常有价值的东西并决定了一个公司的核心竞争力；这些问题进而导致业内先进运维技术的流通、贯通、与借签，并最终将限制了运维发展。

5、很多优秀的运维经验都掌握在大公司手中；这不在于公司的技术实力，而在于大公司的技术规模、海量PV、硬件规模足够大，如可怕的流量、51com海量数据~~~~这些因素决定了他们遇到的问题都是其它中/小公司还没有遇到的，或即将遇到。但大公司可能已有很好的解决方案或系统。

发展前景：

1、从行业角度来看，随着中国互联网的高速发展（目前中国网民已跃升为全球第一）、网站规模越来越来大、架构越来越复杂；对专职网站运维工程师、网站架构师的要求会越来越急迫,特别是对有经验的优秀运维人才需求量大，而且是越老越值钱；目前国内基本上都是选择毕业生培养（限于大公司），培养成本高，而且没有经验人才加入会导致公司技术更新缓慢、影响公司的技术发展；当然，毕业生也有好处：白纸一张，可塑性强，比较认同并容易融入企业文化。

2、从个人角度，运维工程师技术含量及要求会越来越高，同时也是对公司应用、架构最了解最熟悉的人、越来越得到重视。

3、网站运维将成为一个融合多学科（网络、系统、开发、安全、应用架构、存储等）的综合性技术岗位，给大家提供一个很好的个人能力与技术广度的发展空间。

4、运维工作的相关经验将会变得非常重要，而且也将成为个人的核心竞争力，具备很好的各层面问题的解决能力及方案提供、全局思考能力等。

5、特长发控和兴趣的培养；由于运维岗位所接触的知识面非常广阔，更容易培养或发挥出个人某些方面的特长或爱好，如内核、网络、开发、数据库等方面，可以做得非常深入精通、成为这方面的专家。

6、如果真要以后不想做运维了，转到其它岗位也比较容易，不会有太大的局限性。当然了，你得真正用心去做。

7、技术发展方向、网站/系统架构师。

---