大数据人才发展与就业前景，你了解多少？

 2023年，教育部再次公布关于2023年度普通高等学校本科专业备案和审批结果，两百多所高校新增备案“数据科学与大数据技术”专业。这是从16年教育部公布15年新增备案开始，大数据类专业持续新增获批的第四年，截至目前，全国已有四百多所高校获批并争相开设大数据类专业，其次是人工智能类专业：机器人工程、智能科学与技术、智能制造工程，及网络空间安全等专业。

市场对人才需求迫切

大数据与人工智能不仅在互联网公司的战略规划中频繁出现，同时在我国国务院和其他国家的政府报告中多次被提及。大数据、物联网、人工智能、网络安全等新领域人才虽是刚性需求，但供给仍严重不足。

据职业社交平台LinkedIn发布的《2023年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营、数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。

根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

大数据的应用范围广泛，将近50%的企业将大数据运用在企业工商信息管理方面，社会保障占据339%、劳动就业占据327%、市政管理占据294%、教育科研方面分别占据29%，发展形势一片大好，在各行业都有应用。

大数据行业方向学习

一

数据存储和管理

大数据都是从数据存储开始。这意味着从大数据框架Hadoop开始。它是由Apache Foundation开发的开源软件框架，用在计算机集群上分布式存储非常大的数据集。

显然，存储对于大数据所需的大量信息至关重要。但更重要的是，需要有一种方式来将所有这些数据集中到某种形成/管理结构中，以产生洞察力。因此，大数据存储和管理是真正的基础，而没有这样的分析平台是行不通的。在某些情况下，这些解决方案包括员工培训。

二

数据清理

在企业真正处理大量数据以获取洞察信息之前，先需要对其进行清理、转换并将其转变为可远程检索的内容。大数据往往是非结构化和无组织的，因此需要进行某种清理或转换。

在这个时代，数据的清理变得更加必要，因为数据可以来自任何地方：移动网络、物联网、社交媒体。并不是所有这些数据都容易被“清理”，以产生其见解，因此一个良好的数据清理工具可以改变所有的差异。事实上，在未来的几年中，将有效清理的数据视为是一种可接受的大数据系统与真正出色的数据系统之间的竞争优势。

三

数据挖掘

一旦数据被清理并准备好进行检查，就可以经由数据挖掘开始搜索过程。这就是企业进行实际发现、决策和预测的过程。

数据挖掘在很多方面都是大数据流程的真正核心。数据挖掘解决方案通常非常复杂，但力求提供一个令人关注和用户友好的用户界面，这说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们的确需要工作人员开发查询，所以数据挖掘工具的能力并不比使用它的专业人员强。

四

数据可视化

数据可视化是企业的数据以可读的格式显示的方式。这是企业查看图表和图形以及将数据放入透视图中的方法。

数据的可视化与科学一样，是一种艺术形式。而大数据公司将拥有越来越多的数据科学家和高级管理人员，很重要的一点是可以为员工提供更加广泛的可视化服务。销售代表、IT支持、中层管理等这些团队中的每一个成员都需要理解它，因此重点在于可用性。但是，易于阅读的可视化有时与深度特征集的读取不一致，这成为了数据可视化工具的一个主要挑战。

大数据的就业前景了解

由于大数据所创造的价值非常大，也将让企业更加愿意为相关的人才付出更高的薪资。目前，具备一年工作经验的从业者月薪已经达到15k左右。具备3-5年经验的从业者年薪已经达到30-50万左右。大数据的就业前景非常值得期待，入行大数据也需要趁早。

大数据的就业方向有许多，主要可分为三大类：

1大数据开发方向：大数据工程师，大数据开发工程师，大数据维护工程师，大数据研发工程师，大数据架构师等

2数据挖掘，数据分析和机器学习方向：大数据分析师，大数据高级工程师，大数据分析师专家，大数据挖掘师，大数据算法师等

3大数据运维和云计算方向：大数据运维工程师等

当下正是金九银十的求职季，作为高薪的大数据行业，以下就业岗位与相对薪酬可作为有意愿从事大数据行业人员的从业参考。

1、ETL研发

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

所需技能：ETL工程师是从事系统编程、数据库编程与设计，要掌握各种常用的编程语言的专业技术人员。因此从事ETL研发首先一定要具有优秀的编程能力，其次要熟悉主流数据库技术，如oracle、Sql server、PostgeSQL等。并且得会数据etl开发工具，如Datastage,Congos,Kettle等。

2、Hadoop开发

Hadoop的核心是HDFS和MapReduceHDFS提供了海量数据的存储，MapReduce提供了对数据的计算。Hadoop开发人员利用Hadoop来对数据进行必要的处理。

所需技能：

回答于 2023-04-03

详情该链接由问题回答方推荐

物联网应用技术就业方向有：手机、通信、医疗、家用电器、安防等众多行业，例如三星、西门子、飞利浦、通用电器、思科、华为、大唐电信等IT知名企业目前正在招聘物联网工程师。物联网工程师，其实很多公司都在招聘，去各大招聘网站搜搜就知道，不过很多公司招聘名称可能不是招物联网工程师，物联网概念是新的，但涉及的一些核心技术是很早就有的，可以看下自己的优势，嵌入式技术，传感技术，RFID技术，哪个自己更擅长，可以在招聘网站搜这样的一些关键词。

物联网专业属于较新的专业，智联招聘的数据专家郝建老师进行了分析：按照目前的职位需求和人才供给情况，以及这些行业的普及程度，到2015年，也就是这些专业的第一批学生毕业那一年，人才需求量最高的会是物联网。

物联网就业岗位：射频识别开发工程师、物联网/嵌入式硬件开发工程师、物联网/嵌入式硬件测试工程师、物联网/嵌入式硬件驱动工程师、

物联网/嵌入式系统软件工程师、物联网系统集成工程师等。

就业方向：自动化企业、智能家电、智能家居、工业控制企业、数字娱乐公司、汽车、医疗、航空航天、环境保护、智能物流等领域。

国内应用的例子有很多，比如：浦东机场的围界报警、世博会的安全报警等；中国移动的M2M业务，煤气、水电费自动收费等等。食品安全追溯、危险品运输车辆监测系统等等。

这是在飞瑞敖物联网信息论坛拷贝的几段内容，详细内容你可以去看看了解一下。

1、首席数据官(CDO)

首席数据官的工作内容非常多，职责也很复杂，他们负责公司的数据框架搭建、数据管理、数据安全保证、商务智能管理、数据洞察和高级分析。因此，首席数据师必须个人能力出众，同时还需要具备足够的领导力和远见，找准公司发展目标，协调应变管理过程。

2、营销分析师/客户关系管理分析师

客户忠诚度项目、网络分析和物联网技术积攒了大量的用户数据，很多先进公司已经在使用相关策略来支持公司的发展计划。尤其是市场部门能够运用这些数据进行更有针对性的营销。营销分析师能够发挥他们在Excel和SQL等数据分析工具方面的专业特长，对客户进行细分，确保数字化营销能够到达目标客户群体。

3、数据工程师

随着Hadoop和非结构化数据仓库的流行，所有分析功能的第一要务就是要得到正确的数据。高水平的工程师需要掌握数据管理技能，熟悉提取转换加载过程，很多公司都急需这样的人才。事实上，很多首席数据官甚至认为，数据工程师才是大数据相关行业中最重要的职位。

4、商务智能开发工程师

商务智能开发工程师的最基本职能，是管理结构数据从数据库分配至终端用户的过程。商务智能(BI)曾经只是商务金融的基础，现在已经独立出来，成为了单独的部门，很多商务智能团队正在搭建自服务指示板，这样运营经理就能快速且有效地获取高性能数据，评价公司运营情况。

5、数据可视化

随着指示板和可视化工具的增多，商务智能“前端”研发工程师需要更熟练掌握Tableau、QlikView/QlikSense、SiSense和Looker。能够使用d3js在网络浏览器中制作数据可视化的研发工程师也越来越受到公司欢迎。很多大公司开出的年薪已经超过了7万5千英镑，平均日薪500多英镑。

6、大数据工程师

正如上文提到过的，数据工程师的工作是负责管理公司的数据，包括数据的收集，存储、处理和分析。大数据工程师需要能够搭建并维护大型异构数据框架，这些数据通常是在MongoDB等NoSQL数据库中。很多公司采用Hadoop框架和很多Hadoop次级软件包，如Hive(数据软件)，Pig(数据流语言)和Spark(多编程模型)。

物联网工程专业毕业生能在设计院、咨询公司、建筑工程公司、物业及能源管理、建筑节能设备及产品制造生产企业等单位从事。物联网工程的市场庞大，因此就业前景也非常好。

毕业生可从事信息传播时代内容方面的深度、综合、跨学科的信息传播工作，同时也能在新闻传播技术方面从事，物联网工程专业就业方向有哪些。

典型应用

智慧控制系统，包括AI、语音识别、手势交互等，安全系统，提供通讯、数据存储安全安全保障，视频云，提供大数据量的图像、以及图像识别服。智能家居才刚刚兴起，物联网10时代的核心将会是技术，国内绝大部分传统厂商比较缺乏的是软硬结合的开发实力。

因此在这一阶段，氦氪想做的是先用一整套高效快速的解决方案帮助厂商们打好地基。而在智能家居市场的地基初步打好后，物联网20时代的核心会转移到服务上。

比如，电商、音乐、社交方面的互联网服务，数据运营中心，提供数据存储、挖掘、智能算法等服务，协助市场运营、了解用户偏好等。

大数据工程师工作内容取决于你工作在数据流的哪一个环节。

从数据上游到数据下游，大致可以分为：

数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面

工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。

具体说说吧，

数据采集：

业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。

数据清洗：

原始的日志，数据是千奇百怪的

一些字段可能会有异常取值，即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。

一些日志的字段信息可能是多余的，下游不需要使用到这些字段做分析，同时也为了节省存储开销，需要删除这些多余的字段信息。

一些日志的字段信息可能包含用户敏感信息，需要做脱敏处理。如用户姓名只保留姓，名字用''字符替换。

数据存储：

清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。

数据分析统计：

数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

数据可视化：

用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据~

当然，大数据平台(如CDH、FusionInsight等)搭建与维护，也可能是大数据工程师工作内容的一部分喔~

希望对您有所帮助！~

---