大数据网络工程师主要干什么的呀？

大数据就业方向主要有，互联网，物联网，人工智能，金融，体育，在线教育，交通，物流，电商等。

大数据已经从概念走向落地，2019年中低端IT工程师，紧随浪潮加速向大数据转型。企业对大数据人才，争夺直接进入白热化阶段。

因此对于想学IT技术的人而言，建议直接选择学习大数据技术，是符合潮流和就业需求的选择。现在的社会是一个高速发展的社会，科技发达，信息流通。人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

行业竞争

有人把数据比喻为蕴藏能量的煤矿，煤炭按照性质有焦煤，无烟煤，肥煤，贫煤等分类。而露天煤矿深山煤矿的挖掘成本又不一样，与此类似大数据并不在大，而在于有用。价值含量，挖掘成本比数量更为重要。

对于很多行业而言，利用这些大规模数据是赢得竞争的关键。当下大数据方面的就业主要有三大方向，一是数据分析类大数据人才，二是系统研发类大数据人才，三是应用开发类大数据人才。他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。对于求职者来说，大数据只是所从事事业的一个方向。

大数据工程师工作内容取决于你工作在数据流的哪一个环节。

从数据上游到数据下游，大致可以分为：

数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面

工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。

具体说说吧，

数据采集：

业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。

数据清洗：

原始的日志，数据是千奇百怪的

一些字段可能会有异常取值，即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。

一些日志的字段信息可能是多余的，下游不需要使用到这些字段做分析，同时也为了节省存储开销，需要删除这些多余的字段信息。

一些日志的字段信息可能包含用户敏感信息，需要做脱敏处理。如用户姓名只保留姓，名字用''字符替换。

数据存储：

清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。

数据分析统计：

数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

数据可视化：

用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据~

当然，大数据平台(如CDH、FusionInsight等)搭建与维护，也可能是大数据工程师工作内容的一部分喔~

希望对您有所帮助！~

大数据工程师有不少细分方向，不同的方向需要具备不同的知识结构，通常情况下大数据工程师分为四个具体的工作领域，分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维，其中大数据平台研发工程师的数量占比较少，属于大数据领域的高端人才，往往从业者在研究生期间主攻的方向就是大数据平台研发。

大数据应用开发工程师是大数据领域一个比较热门的岗位，由于目前大数据正在处在落地应用的阶段，所以有大量的传统应用需要进行大数据改造，因此大数据应用开发岗位有较多的人才需求。这个岗位需要掌握的知识结构包括大数据平台体系结构，比如目前常见的Hadoop、Spark平台，以及众多组件的功能和应用，另外还需要掌握至少一门编程语言，比如Java、Python、Scala等，这些编程语言是可以开发落地应用的。

大数据分析工程师是大数据领域非常重要的岗位，因为大数据的核心之一是数据价值化，而数据价值化的核心则在于数据的分析和应用，所以数据分析是大数据应用的一个重点所在。大数据分析工程师需要掌握的知识结构包括算法设计、编程语言以及呈现工具，算法设计是大数据分析师需要掌握的重点内容，而编程语言的作用则是完成算法的实现。另外，大数据分析师还需要掌握一些常见的分析工具，比如一些常见的BI工具，在一些比较简单的场景下BI工具能完成大量的工作，并生成呈现界面。看一个使用Python中scipy库的应用：

大数据运维工程师的主要工作内容是搭建大数据平台、部署大数据功能组件、配置网络环境和硬件环境、维护大数据平台，大数据运维工程师需要具备的知识结构包括计算机网络、大数据平台体系结构、编程语言（编写运维脚本）等，通常情况下，大数据运维工程师也需要对数据库有深入的了解。

大数据是我的主要研究方向之一，目前我也在带大数据方向的研究生，我会陆续在头条写一些关于大数据方面的文章，感兴趣的朋友可以

以上就是关于大数据工程师需要具备哪些知识全部的内容，包括:大数据工程师需要具备哪些知识、大数据开发工程师是做什么、大数据开发工程师以后可以从事哪些岗位等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！