大数据有哪些职位和工作机会？

下面是比较热门的几个大数据岗位：

1、首席数据官（CDO）

首席数据官的工作内容非常多，职责也很复杂，他们负责公司的数据框架搭建、数据管理、数据安全保证、商务智能管理、数据洞察和高级分析。因此，首席数据师必须个人能力出众，同时还需要具备足够的领导力和远见，找准公司发展目标，协调应变管理过程。

2、营销分析师/客户关系管理分析师

客户忠诚度项目、网络分析和物联网技术积攒了大量的用户数据，很多先进公司已经在使用相关策略来支持公司的发展计划。尤其是市场部门能够运用这些数据进行更有针对性的营销。营销分析师能够发挥他们在Excel和SQL等数据分析工具方面的专业特长，对客户进行细分，确保数字化营销能够到达目标客户群体。

3、数据工程师

随着Hadoop和非结构化数据仓库的流行，所有分析功能的第一要务就是要得到正确的数据。高水平的工程师需要掌握数据管理技能，熟悉提取转换加载过程，很多公司都急需这样的人才。事实上，很多首席数据官甚至认为，数据工程师才是大数据相关行业中最重要的职位。

4、商务智能开发工程师

商务智能开发工程师的最基本职能，是管理结构数据从数据库分配至终端用户的过程。商务智能（BI）曾经只是商务金融的基础，现在已经独立出来，成为了单独的部门，很多商务智能团队正在搭建自服务指示板，这样运营经理就能快速且有效地获取高性能数据，评价公司运营情况。

5、数据可视化

随着指示板和可视化工具的增多，商务智能“前端”研发工程师需要更熟练掌握Tableau、QlikView/QlikSense、SiSense和Looker。能够使用d3js在网络浏览器中制作数据可视化的研发工程师也越来越受到公司欢迎。很多大公司开出的年薪已经超过了7万5千英镑，平均日薪500多英镑。

6、大数据工程师

正如上文提到过的，数据工程师的工作是负责管理公司的数据，包括数据的收集，存储、处理和分析。大数据工程师需要能够搭建并维护大型异构数据框架，这些数据通常是在MongoDB等NoSQL数据库中。很多公司采用Hadoop框架和很多Hadoop次级软件包，如Hive（数据软件），Pig（数据流语言）和Spark（多编程模型）。

　一、hadoop
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。
二、HPCC
HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。
三、Storm
Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、 Admaster等等。
Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和 *** 作。
四、Apache Drill
为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel。该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。
通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。
五、RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
六、 Pentaho BI
Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。
Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

可以设置自带合计行。
Qlik报表开发主要有两个流程：
1、把数据导入到qlik，可以从MySQL、Oracle、CSV等各种地方导入，具体方法官方文档介绍，以后会简单的分享下Oracle导入
2、开发展示逻辑，把导入的数据展示到前端进行可视化，这个可视化是qlik自带了的，只需要配置开发简单的判断条件就行了。
把数据导入到qlik，官方文档中称之为脚本函数。注意（敲小黑板了），官方文档中对于脚本代码开发，分为两类:
1、可视化脚本开发
2、脚本开发。

---