大数据都需要学什么？

首先我们要了解Java语言和Linux *** 作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的排队买票你知道不数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以 *** 作它，因为它们都是用JVM的。

导读随着大数据的普及商用化，很多人说大数据工程师会在35岁失业，那么是真是假呢今天我们就来对现行的大数据工程师就业现状和前景做个简单分析，希望对大家有所帮助。

从现在的市场环境情况看，大数据工程师不会失业，并且没有减少反而越来越多了，因为使用大数据的公司越来越多。提问者担心的是搭建大数据平台的工作都没了，大数据工程师还干什么其实现实中大数据工程师并不是在搭建平台这个壳，而是在搭建平台上的数据内容。

早期的大数据工程师

可能在提问者的意识里认为大数据工程师熟练掌握各种分布式系统原理，顺手就写一个mapreduce程序来计算，精通使用hadoop，spark，flink，kafka各种架构原理，然后在集群遇到问题迅速调参数进行修复。能用大数据生态的各种组件组建起来搭建各种data
pipeline的方式实现大数据平台。这种确实是在还没有商业数据平台的时候大数据工程师的日常工作。总结主要工作：

维护hadoop等分布式平台，特别是在遇到系统高峰时能稳定系统完成数据加工需要比较深的分布式系统设计原理

根据业务发展使用大数据生态的各种组件组建起来搭建各种data pipeline，从数据采集，同步到加工(即所谓的ETL工作)

搭建分析师、运营和产品经理等大数据查询和提数平台

搭建大数据报表展现系统

在商业大数据平台上工作的大数据工程师

但是大数据商业平台出来后，和云上的组件打通后形成了闭环(特别是阿里云上的RDS可以直接导入数据到MaxComputer中)，比如原来至少需要一个调度平台(haoop时代)来调度数据引擎上的脚本，以完成数据从业务库同步到大数据平台，再调度完成后面的各种计算任务。这在以前至少需要一个调度平台，大数据平台，数据同步系统。但是现在全部都集成在一起来，且分布式系统放在云上会形成了资源d性网络，避免了因数据的峰值而造成的高难度维护工作也基本不需要了。其他的查询、取数和展现系统云上也都齐全，直接用就行。

从上面可以看出原来的大数据工程师的工作，基本上被简化只剩下了数据加工部分了。

加工数据一开始的时候都是需要写mapreduce程序，并且需要很了解hadoop系统，防止写出烂程序，导致出现数据倾斜，没加取数范围限制等问题，导致一个任务堵塞整个集群。这个阶段确实需要专业的工程师来干，但是后来出现了hive，直接降级成了业务同学也能用的SQL。而且商业大数据平台会做大数据平台执行引擎，对烂脚本的优化做了很多，防止很绝大部分的问题，更不会出现上面的问题了。实际上现在大部分的数据工程师90%的时间都在用SQL。是真的不怎么需要了解底层原理。

这也说明大数据工程师的范围缩减了很多，基本只剩下了设计数据模型做基础的数据加工。这部分难度也不再是脚本的编写，而是数据模型的架构质量，这时候要求的是对业务的熟悉程度和数据模型的知识。所以渐渐的大数据工程师开始兼并了一些数据分析师的工作，来设计各种业务指标。甚至有时候运营需要的指标体系都是大数据工程师直接出的了。但是反过来数据分析不能做数据工程师的工作，因为有数据建模技术壁垒和复杂数据加工技术壁垒。

结论

当一个职位的难度系数下降后，它就会横向发展兼并上下游的职位的工作，最终那个难度系统最大的职位会留下，其他的出局。

所以从上面的论述，我认为普通的大数据工程师岗位不会减少，并且以后可能会兼并了数据分析师，但是长期可能会被算法工程师给兼并。原来掌握分布式系统开发的工程师规模缩减，并单独出来形成分布式系统工程师，在那些做商用大数据平台公司中继续开发。

以上就是小编今天给大家整理发布的关于大数据工程师就业现状和前景的相关内容，希望对大家有所帮助。

随着互联网时代的到来，人们愈发认识到现代科技与计算机技术的重要性，无论是互联网头部企业对IT技术的研发应用还是普通企业的发展需要都可以看出IT行业正处于如日中天的发展态势下，行业竞争同样十分激烈随着人工智能、物联网的发展、大数据人才急剧增加，所以大数据行业的就业前景一片光明。大数据专业的前景还是非常广阔的，虽然大数据专业的设立时间比较短，但是目前从就业情况来看，大数据专业已经在诸多专业当中脱颖而出了，这足以说明产业领域对于大数据专业人才的需求是非常旺盛的，而且随着大数据技术开始全面落地，未来产业领域会持续释放出大量的大数据相关岗位。

这里介绍一下大数据要学习和掌握的知识与技能：

①java：一门面向对象的计算机编程语言，具有功能强大和简单易用两个特征。

②spark：专为大规模数据处理而设计的快速通用的计算引擎。

③SSM：常作为数据源较简单的web项目的框架。

④Hadoop：分布式计算和存储的框架，需要有java语言基础。

⑤spring cloud：一系列框架的有序集合，他巧妙地简化了分布式系统基础设施的开发。

⑤python：一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。

互联网行业目前还是最热门的行业之一，学习IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的，发展前景非常好，普通人也可以学习。

想要系统学习，你可以考察对比一下开设有相关专业的热门学校，好的学校拥有根据当下企业需求自主研发课程的能力，建议实地考察对比一下。

祝你学有所成，望采纳。

北大青鸟学生课堂实录

花开半夏
面向物联网的21个开源软件项目有哪些,物联网开源平台搭建
admin 07-26 04:41 166次浏览
2019独角兽企业重金招聘Python工程师标准
51CTOcom直译物联网市场呈现碎片化、无定形化、不断变化的特征，其性质通常只需关注互 *** 作性。 难怪开源在这方面不俗。 ——客户犹豫不决，害怕将物联网的未来寄托在可能难以定制或互联的专有平台上。
本文介绍了主要的开源软件项目，重点讨论了面向家庭和工业自动化的开源技术。 我们忽略了专注于垂直领域的物联网项目，如Automotive Grade Linux和Dronecode。 我们还忽略了面向互联网的开源 *** 作系统发行版，包括Brillo、Contiki、Mbed、OpenWrt、Ostro、Riot和Ubuntusnappping。这次，我们将智能
这里介绍的21个项目包括由Linuxfoundation管理的两个大型项目： Allseen(Alljoyn )和ocf (iotivity )，以及物联网传感器的端点和网关我还介绍了几个专门针对物联网生态系统特定领域的小项目。 我们曾介绍过更多的项目，但越来越难分清物联网软件和普通软件的区别。 从嵌入式环境到云，越来越多的项目都带有物联网元素。
您声称这21个项目都是开源的，但请确保完整的名称不在本文的范围内。 它们至少在生态系统的一个部分运行Linux，大多数都完全支持Linux，从开发环境到云/服务器、网关和传感器端点部件。 大多数组件都有可以在Linux开发板(如Raspberry Pi和BeagleBone )上运行的组件，大多数都支持Arduino。
物联网领域仍然有很多专有技术，特别是在自上而下的企业平台上。 但是，其中也提供了部分开放访问权限。 例如，威瑞森的ThingSpace针对4G智慧城市APP应用，拥有一套免费的开发API，支持开发板，尽管核心平台本身是独一无二的。 相似的是，亚马逊的AWS物联网工具包包括部分开放的设备SDK和开源入门工具包。
其他主要的专有平台包括苹果的HomeKit和微软的Azure物联网工具包。 在拥有230个成员的Thread Group中，该组织监督基于6LoWPAN的对等Thread网络协议。 Thread Group由谷歌的母公司Alphbet旗下的Nest设立，没有提供像AllSeen和OCF那样全面的开源框架。 但是，它与Brillo相关，也与Weave物联网通信协议相关。 5月，Nest发布了名为OpenThread的开源版Thread。
介绍21个面向物联网的开源软件项目。
AllseenAlliance(Alljoyn ) )。
由Allseenalliance(asa )监管的AllJoyn互 *** 作系统框架可能是市场上采用最广泛的开源物联网平台。
Bug Labs dweet和freeboard
bugglas是从制造基于模块化Linux的有bugh的硬件设备开始的，但很久以前就演变成了与硬件无关的企业级物联网平台。 Bug Labs提供“dweet”消息、警告系统和“freeboard”物联网设计APP。 dweet使用HAPI Web API和JSON来帮助发布和描述数据。 freeboard是一种拖放式工具，用于设计物联网仪表板和可视元素。
DeviceHive
DataArt基于AllJoyn的设备管理平台可以运行在许多云服务上，包括Azure、AWS、Apache Mesos和OpenStack。 DeviceHive专注于使用ElasticSearch、Apache Spark、Cassandra和Kafka，分析大数据。 有些网关组件可以在运行Ubuntu Snappy Core的任何设备上运行。 模块化网关软件与DeviceHive云软件和物联网协议配合使用，作为Snappy Core服务进行部署。
DSA
分布式服务架构(DSA )便于集中式设备的互 *** 作性、逻辑和APP应用。 DSA项目正在构建分布式服务链接(DSLinks )库，以支持协议转换以及与第三方数据源的数据集成。 DSA提供了一个可扩展的网络拓扑，其中包括多个DSLinks，用于在连接到分层代理分层结构的物理互联网边缘设备上运行。
EclipseIOT(Kura ) )。
Eclipse基金会的物联网主要围绕基于Java/OSGi的Kura API容器和聚合平台，支持在服务网上运行的m2m APP应用。 Kura基于Eurotech的Everywhere Cloud物联网框架往往与Apache Camel集成，后者是基于Java的基于规则的路由和中介引擎。 Eclipse物联网子项目包括Paho消息传递协议框架、面向轻量级服务器的Mosquitto MQTT体系结构和Eclipse SmartHome框架。 有些项目实现名为Californium的基于Java的受限APP应用协议(CoAP )。
Kaa
CyberVision支持的Kaa项目为云互联的大型物联网提供了可扩展的端到端物联网框架。
该平台包括一种支持REST的服务器功能，可用于服务、分析和数据管理，通常部署成由Apache Zookeeper协调的节点集群。Kaa的端点SDK支持Java、C++和C开发，负责处理客户机/服务器通信、验证、加密、持久性和数据编排。SDK包括针对特定服务器、支持GUI的模式，这些模式可转换成物联网物件绑定。模式治理语义，并抽象一组迥异设备的功能。
Macchinaio
Macchinaio提供了一种“支持Web、模块化、可扩展的”JavaScript和C++运行时环境，可用于开发在Linux开发板上运行的物联网网关应用程序。Macchinaio支持一系列广泛的传感器和连接技术，包括Tinkerforge bricklet、XBee ZB传感器、GPS/GNSS接收器、串行和GPIO联网设备以及方向感应器。
GE Predix
GE面向工业物联网的平台即服务(PaaS)软件基于Cloud Foundry。它增添了资产管理、设备安全、实时预测分析，并支持不同数据的采集、存储和访问。GE Predix是GE为内部运营而开发的，它已成为最成功的企业物联网平台之一，收入大约60亿美元。GE最近与HPE达成了合作伙伴关系，HPE将把Predix整合到自己的服务中。
Home Assistant
这个作为后起之秀的草根项目提供了一种面向Python的家居自动化方法。
Mainspring
M2MLabs的基于Java的框架针对远程监控、车队管理和智能电网等应用领域中的M2M通信。与许多物联网框架一样，Mainspring高度依赖REST Web服务，并提供了设备配置和建模工具。
Node-RED
这种面向Nodejs开发人员的可视化布线工具拥有基于浏览器的数据流编辑器，可用于设计物联网节点当中的数据流。然后，节点可以迅速部署成运行时环境，并使用JSON来存储和共享。端点可以在Linux开发板上运行，支持的云包括Docker、IBM Bluemix、AWS和Azure。
Open Connectivity Foundation(IoTivity)
英特尔和三星支持的开放互联联盟(OIC)组织和UPnP论坛组成的这个组织正在努力成为物联网方面领先的开源标准组织。OCF的开源IoTivity项目依赖充分利用的JSON和CoAP。
openHAB
OpenIoT
这款基于Java的OpenIoT中间件旨在使用一种公用云计算交付模式，为开放、大规模的物联网应用提供便利。除了表示物联网物件的本体、语义模型和标注外，该平台还包括传感器和传感器网络中间件。
OpenRemote
OpenRemote为家庭和楼宇自动化而设计，它以广泛支持众多智能设备和网络规范而出名，比如1-Wire、EnOcean、 xPL、Insteon和X10等规范。规则、脚本和事件都得到支持，还有基于云的设计工具，可用于用户界面、安装、配置、远程更新及诊断。
OpenThread
这是Nest最近从基于6LoWPAN的物联网Thread无线网络标准分离出来的开源项目，它还得到了ARM、Microchip旗下的Atmel、Dialog、高通和德州仪器的支持。OpenThread实现了所有Thread网络层，还实现了Thread的端点设备、路由器、Leader和边界路由器等角色。
Physical Web/Eddystone
谷歌的Physical Web让蓝牙低能耗(BLE)信标可以将URL发送到智能手机。它针对谷歌的Eddystone BLE信标经过了优化，这提供了除苹果的iBeacon之外的一种开放技术。其想法是，行人可以与任何具有BLE功能的支持性设备(比如汽车停放计时器、标牌或零售产品)联系。
PlatformIO
基于Python的PlatformIO包括IDE、项目生成器和基于Web的库管理器，它是为访问来自基于微控制器的Arduino和基于ARM Mbed的端点的数据设计的。它为200多种板卡提供了预先配置的设置，并与Eclipse、Qt Creator及其他IDE整合起来。
The Thing System
这种基于Nodejs的智能家居“监管”软件声称支持真正的自动化，而不是简单的通知。其自学习人工智能软件可处理许多协同式M2M *** 作，不需要由人干预。缺少云组件恰恰提供了更好的安全性、隐私性和控制性。
ThingSpeak
成立五年的ThingSpeak项目专注于传感器日志、位置跟踪、触发器及提醒以及分析。ThingSpeak用户可以使用用于物联网分析和可视化的MATLAB版本，不需要向Mathworks购买许可证。
Zetta
Zetta是一种面向服务器的物联网平台，利用Nodejs、REST和WebSockets构建而成，奉行基于数据流的“响应式编程”开发理念，用Siren超媒体API连接起来。设备被抽取成REST API，用云服务连接起来，这些服务包括可视化工具，并支持Splunk之类的机器分析工具。该平台可将Linux和Arduino开发板之类的端点与Heroku之类的云平台连接起来，以便构建地理分布式网络。
转载于:>