安装介质：
jdk-8u162-linux-x64targz 提取码：2bh8
hadoop-273targz 提取码：d4g2
scala-2126tgz 提取码：s2ly
spark-210-bin-hadoop27tgz 提取码：5kcf
准备3台Linux主机，按照下面的步骤在每台主机上执行一遍，设置成如下结果：
安装Linux *** 作系统比较简单，这里不再详细。参考：《 Linux从入门到精通1：使用 VMware Workstation 14 Pro 安装 CentOS 7 详细图文教程 》
编辑hosts配置文件：# vi /etc/hosts，追加3行：
测试主机名是否可用：
（1）使用ssh-keygen工具生成秘钥对：
（2）将生成的公钥发给三台主机：master、slave1、slave2：
（3）测试秘钥认证是否成功：
由于各个主机上的时间可能不一致，会导致执行Spark程序出现异常，因此需要同步各个主机的时间。在实际生成环境中，一般使用时间服务器来同步时间，但是搭建时间服务器相对较为复杂。这里介绍一种简单的方法来快速同步每台主机主机的时间。我们知道，使用date命令可以设置主机的时间，因此这里使用putty的插件MTPuTTY来同时向每一台主机发送date命令，以到达同步时间的目的。
（1）使用MTPuTTY工具连接三台主机，点击MTPuTTY工具的Tools菜单下的“Send script…”子菜单，打开发送脚本工具窗口。
（2）输入命令：date -s 2018-05-28，然后回车（注意：一定要回车，否则只发送不执行），在下面服务器列表中选择要同步的主机，然后点击“Send script”，即可将时间同步为2018-05-28 00:00:00。
使用winscp工具将JDK安装包 jdk-8u144-linux-x64targz 上传到/root/tools/目录中，该目录是事先创建的。
进入/root/tools/目录，将jdk安装包解压到/root/training/目录中，该目录也是事先创建的。
使用winscp工具将Hadoop安装包 hadoop-273targz 上传到master节点的/root/tools/目录中，该目录是事先创建的。
进入/root/tools/目录，将hadoop安装包解压到/root/training/目录中，该目录也是事先创建的。
进入Hadoop配置文件目录：
(1) 配置hadoop-envsh文件：
(2) 配置hdfs-sitexml文件：
(3) 配置core-sitexml文件：
(4) 配置mapred-sitexml文件：
将模板文件mapred-sitexmltemplate拷贝一份重命名为mapred-sitexml然后编辑：
(5) 配置yarn-sitexml文件：
(6) 配置slaves文件：
将master上配置好的Hadoop安装目录分别复制给两个从节点slave1和slave2，并验证是否成功。
第一次启动需要输入yes继续。
启动成功后，使用jps命令查看各个节点上开启的进程：
使用命令行查看HDFS的状态：
使用浏览器查看HDFS的状态：
使用浏览器查看YARN的状态：
(1) 在HDFS上创建输入目录/input：
(2) 将本地数据文件datatxt上传至该目录：
(3) 进入到Hadoop的示例程序目录：
(4) 执行示例程序中的Wordcount程序，以HDFS上的/input/datatxt作为输入数据，输出结果存放到HDFS上的/out/wc目录下：
(5) 查看进度和结果：
可以通过终端打印出来的日志信息知道执行进度：
执行结束后可以在HDFS上的/out/wc目录下查看是否有_SUCCESS标志文件来判断是否执行成功。
如果执行成功，可以在输出目录下看到_SUCCESS标志文件，且可以在part-r-00000文件中查看到wordcount程序的结果：
由于Scala只是一个应用软件，只需要安装在master节点即可。
使用winscp工具将Scala安装包上传到master节点的/root/tools目录下：
进入/root/tools目录，将Scala安装包解压到安装目录/root/training/：
将Scala的家目录加入到环境变量PATH中：
使环境变量生效：
输入scala命令，如下进入scala环境，则证明scala安装成功：
我们先在master节点上配置好参数，再分发给两个从节点slave1和slave2。
使用winscp工具将Spark安装包上传到master节点的/root/tools目录下：
进入/root/tools目录，将Spark安装包解压到安装目录/root/training/下：
注意：由于Spark的命令脚本和Hadoop的命令脚本有冲突（比如都有start-allsh和stop-allsh等），
所以这里需要注释掉Hadoop的环境变量，添加Spark的环境变量：
按Esc:wq保存退出，使用source命令使配置文件立即生效：
进入Spark的配置文件目录下：
(1) 配置spark-envsh文件：
(2) 配置slaves文件：
将master上配置好的Spark安装目录分别复制给两个从节点slave1和slave2，并验证是否成功。
启动后查看每个节点上的进程：
使用浏览器监控Spark的状态：
使用spark-shell命令进入SparkContext（即Scala环境）：
启动了spark-shell之后，可以使用4040端口访问其Web控制台页面(注意：如果一台机器上启动了多个spark-shell，即运行了多个SparkContext，那么端口会自动连续递增，如4041,4042,4043等等)：
注意：由于我们将Hadoop从环境变量中注释掉了，这时只能手动进入到Hadoop的sbin目录停止Hadoop：
Spark中常用的端口总结：① 零基础大数据开发课程大纲哪里正规
这个我知道，可以去魔据，不错，一般要五个月左右，每家有所不同，而且和你的自身基础情况都有很大的关系，没基础的话五个月也就足够了。
② 培训课程开发都包括哪些步骤
行业通用步骤：
1、选题--你想解决什么问题
2、调研
3、素材准备
4、资料分析
5、课程大纲制作--核心
6、课程内容编写--关键
7、补充素材
8、PPT制作
我自己的步骤：
1、编写课程研发时间进度表（什么时候完成思路，什么时候完成大纲，什么时候完成素材的搜集及准备，什么时候完成内容编写，什么时候完成课件制作）--这是第一步，而且自认为很实用
2、思路---核心（课程的亮点在哪里？需要包含哪些内容，天马行空想到啥就写下来）
3、大纲---关键（对思路进行粗加工，进行分类整理，同时补充）
4、素材
5、内容编写
6、PPT课件制作
课程基本上是一气呵成，不拖泥带水，这样可以确保高效完成，而不是东整整，西弄弄。这是自己开发70多门课程的一点感悟，不一定适合，但可以作为借鉴。
③ IT研发项目管理培训大纲
课程主要内容：
一、 竞争环境下的项目管理
1、中国高科技行业现状与格局
2、中国项目管理有哪些问题和表现
3、水落石出的红海
4 项目管理在企业中所处的位置：做正确的事情（战略）、正确地做事（项目管理）、找合适的人做合适的事（人力资源管理）
二、项目管理概述
1 项目管理的前世今生
2主要项目管理思想及体系、模型
3 什么是项目
课堂练习识别项目和作业
4 什么是项目管理
5 三重约束的关系
6 项目生命周期的意义
课堂讨论：敏捷的迭代开发与项目生命周期的关系
7 典型的研发组织模式：职能型、项目型、矩阵式
8 矩阵式组织运作容易出现的问题和原因分析
案例分析：华为IPD组织结构
9．五个过程组的作用
10．项目管理关键的九大方面（PMP九大知识领域）
课堂研讨：项目启动时遇到的问题，如何避免“师出无名”
三、 范围管理
课堂研讨：项目计划基于何处而来？产品规划？客户需求？……多和少的后果
1 范围规划和定义
2 成功的产品开发团队具备的典型特征
3 WBS——项目计划的源头和基础
a)实例讲解研发项目中WBS度的把握
b)WBS辅助工具的使用——练习：用即时贴完成WBS
c)实景演练——手机研发项目WBS如何规划
4．范围控制手段——计划变更控制
a) 课堂研讨：变更是否都要接受？变更管理实例讲解
b) 变更控制流程
四、 时间管理
1．关于时间与进度的案例分析
2．时间管理步骤
3．基于WBS的活动定义
4．活动的排序——网络图
a) 紧前关系——活动依赖关系
b) 如何找关键路径
5．资源估算和工期估算
6．PERT中的工期三点估算法
五、 成本管理
1 成本管理过程
2．正确认识成本的三个公式
3 成本计划——项目资源的规划、估算与预算
4 成本控制工具——挣值管理法
六、 质量管理
1．正确理解什么是质量
2．质量的九大属性
3 质量管理过程——预防、保证、监控
4．质量成本的构成
案例分享——企业常见的七种浪费
5．什么是“增值活动”
6 常用质量工具——帕累托图、鱼骨图……
七、 沟通管理
1 分组游戏并解析：项目组是如何沟通的
2 沟通管理过程
案例研讨： Scrum项目如何进行有效的沟通
3 项目沟通规划
案例分享：项目沟通过程中最常见的问题
4 项目组如何进行组内沟通，如何与客户沟通，如何与高层沟通
5 项目经理的领导风格、影响力及冲突管理
八、人力资源管理
1 正确的理解人在项目中的重要性——人口、人力和人才的转换关系
案例分享——霍桑实验的意义
2．人力资源如何规划——找合适的人做合适的事
3 职责分派矩阵的应用
4 人员招募三种方式
5．团队建设工具、手段
案例分析——“一群人”和“团队”的区别，高效团队有哪些特点？
九、风险管理
1 风险和问题的区别
2 风险的定性分析
3 发生概率、影响程度
4 风险管理识别工具和方法
案例分析：风险决策工具——决策树法
5．风险监测与控制
案例分析：六顶思考帽
1 风险控制练习
中铁建败走麦城？——中铁建沙特麦加轻轨项目巨亏4153亿元
十、 综合管理
研讨：如果管理不好，世界将会怎样？
1 项目综合管理概貌
2 为什么会出现“该管的时候不管、不该管的时候乱管”
3 项目的分层实施与分层监控
4 情景化解读——SARS中的危机管理
5 项目收尾如何收尾
十一、 项目管理如何落地及见效
1、 如何搭建项目管理流程
2、 如何设定项目管理度量、评价指标
3、 演示并分享：某通信企业的研发项目管理流程及模版
4、 真实模拟公司中的一个项目如何按项目管理来实施
课程特点：
1 建立项目管理工作思维方式；
2 正确使用项目管理的技术和方法；
3 掌握项目风险控制和管理的要旨；
分享IT行业内各企业项目管理成功案例、经验和教训，通过现场互动帮助学员理清适合自己企业的项目管理思路；
王道海 企业运营、项目管理、流程管理专家、信产部认证培训讲师
信产部信息化管理师资质认证讲师、CPMP国家项目管理认证讲师
教育：北京理工大学 、项目管理PMP资质认证 、六西格玛绿带。
职务：在搜狐、北大方正、大唐移动等著名互联网企业担任项目经理、产品经理、运营总监等职位。
现任天下伐谋咨询高级合伙人，互联网研究学院院长
④ 谁那有完整的vr培训课程大纲
完整的vr培训课程大纲：
一、Unity3D程序开发基础
主要是学习1C#语法基础 2OOP（面向对象） 3网络通信 4内存管理从基础讲解C#语言，熟悉字段、属性、接口、委托、事件，掌握C#面向对象编程的核心思想。让学员掌握Unity3d各个方面的知识和基本使用方法，为后面深入的学习打下良好基础。
二、初级阶段
1U3D初识 2Unity3D开发环境使用 3物体系统，粒子系统使用 4灯光，地形系统使用 5GUI以及NGUI插件介绍 6常用组件，以及脚本绑定 7伪2D游戏的制作。熟练掌握编辑器元素包括地形、光照和阴影、 摄像机和天空盒的使用与游戏设定，物理引擎、粒子系统，输入与控制的脚本开发和GUI、NGUI插件的使用，构建网络游戏框架。
三、高级阶段
1Unity3D物体系统高级部分 2Untiy3D动画系统高级部分 3常规设计模式4动画，跟随等相关插件学习 5第1，3人称项目讲解在原来的学习基础上，深入学习Unity3D物体系统、动画系统的高级部分，例如骨骼的绑定，动画角色的创建等。配合游戏案例进行深度讲解，让你充分了解动画的制作过程。
四、跨平台发布
1IOS版发布 2安卓版发布 3网页版发布 4PC版发布掌了解不同平台的资源要求范围、资源表现形式、资源的具体优化方向和最终呈现效果，掌握客户端游戏发布、网页游戏发布、Android平台发布与上架、IiOS平台发布及上架以及其他平台发布介绍，提高成品游戏的可利用率。
五、项目实战
1设计模式 2Socket 3通信协议 4XML与SQLite 5对象池技术 6全局事件技术 7伪2D飞行类 8FPS射击类 9MMORPG学生根据自己实际情况选择对应课题或者做提供的课题，由学生自己来动手完成一个完整项目，让学生实际感受并把控整个项目，培养学生的独立思考及解决问题的能力，以快速的适应实际工作需求。
⑤ 高级大数据开发课程大纲那个最好
魔据条件不错，基础教育不错，有经验真正做到为学生负责到底，其它的，说实在的真的不敢保证。未来一定是大数据时代，现在选择还不迟，只要努力一定会有更好的发展前景，希望你能为有一个好的前程。
⑥ 大数据培训课程大纲去哪里学
大数据开发工程师课程体系——Java部分。
第一阶段：静态网页基础
1、学习Web标准化网页制作，必备的HTML标记和属性
2、学习HTML表格、表单的设计与制作
3、学习CSS、丰富HTML网页的样式
4、通过CSS布局和定位的学习、让HTML页面布局更加美观
5、复习所有知识、完成项目布置
第二阶段：JavaSE+JavaWeb
1、掌握JAVASE基础语法
2、掌握JAVASE面向对象使用
3、掌握JAVASEAPI常见 *** 作类使用并灵活应用
4、熟练掌握MYSQL数据库的基本 *** 作，SQL语句
5、熟练使用JDBC完成数据库的数据 *** 作
6、掌握线程，网络编程，反射基本原理以及使用
7、项目实战 + 扩充知识：人事管理系统
第三阶段：前端UI框架
1、JAVASCRIPT
2、掌握Jquery基本 *** 作和使用
3、掌握注解基本概念和使用
4、掌握版本控制工具使用
5、掌握easyui基本使用
6、项目实战+扩充知识：项目案例实战
POI基本使用和通过注解封装Excel、druid连接池数据库监听,日志Log4j/Slf4j
第四阶段：企业级开发框架
1、熟练掌握spring、spring mvc、mybatis/
2、熟悉struts2
3、熟悉Shiro、redis等
4、项目实战：内容管理系统系统、项目管理平台流程引擎activity，爬虫技术nutch,lucene，webService CXF、Tomcat集群 热备 MySQL读写分离
以上Java课程共计384课时，合计48天！
大数据开发工程师课程体系——大数据部分
第五阶段：大数据前传
大数据前篇、大数据课程体系、计划介绍、大数据环境准备&搭建
第六阶段：CentOS课程体系
CentOS介绍与安装部署、CentOS常用管理命令解析、CentOS常用Shell编程命令、CentOS阶段作业与实战训练
第七阶段：Maven课程体系
Maven初识:安装部署基础概念、Maven精讲:依赖聚合与继承、Maven私服:搭建管理与应用、Maven应用:案列分析、Maven阶段作业与实战训练
第八阶段：HDFS课程体系
Hdfs入门:为什么要HDFS与概念、Hdfs深入剖析:内部结构与读写原理、Hdfs深入剖析:故障读写容错与备份机制、HdfsHA高可用与Federation联邦、Hdfs访问API接口详解、HDFS实战训练、HDFS阶段作业与实战训练
第九阶段：MapRece课程体系
MapRece深入剖析:执行过程详解、MapRece深入剖析:MR原理解析、MapRece深入剖析:分片混洗详解、MapRece编程基础、MapRece编程进阶、MapRec阶段作业与实战训练
第十阶段：Yarn课程体系
Yarn原理介绍:框架组件流程调度
第十一阶段：Hbase课程体系
Yarn原理介绍:框架组件流程调度、HBase入门:模型坐标结构访问场景、HBase深入剖析:合并分裂数据定位、Hbase访问Shell接口、Hbase访问API接口、HbaseRowkey设计、Hbase实战训练
第十二阶段：MongoDB课程体系
MongoDB精讲:原理概念模型场景、MongoDB精讲:安全与用户管理、MongoDB实战训练、MongoDB阶段作业与实战训练
第十三阶段：Redis课程体系
Redis快速入门、Redis配置解析、Redis持久化RDB与AOF、Redis *** 作解析、Redis分页与排序、Redis阶段作业与实战训练
第十四阶段：Scala课程体系
Scala入门:介绍环境搭建第1个Scala程序、Scala流程控制、异常处理、Scala数据类型、运算符、Scala函数基础、Scala常规函数、Scala 类、Scala类、Scala对象、Scala特征、Scala模式匹配、Scala阶段作业与实战训练
第十五阶段：Kafka课程体系
Kafka初窥门径:主题分区读写原理分布式、Kafka生产&消费API、Kafka阶段作业与实战训练
第十六阶段：Spark课程体系
Spark快速入门、Spark编程模型、Spark深入剖析、Spark深入剖析、SparkSQL简介、SparkSQL程序开发光速入门、SparkSQL程序开发数据源、SparkSQL程序开DataFrame、SparkSQL程序开发DataSet、SparkSQL程序开发数据类型、SparkStreaming入门、SparkStreaming程序开发如何开始、SparkStreaming程序开发DStream的输入源、SparkStreaming程序开发Dstream的 *** 作、SparkStreaming程序开发程序开发--性能优化、SparkStreaming程序开发容错容灾、SparkMllib 解析与实战、SparkGraphX 解析与实战
第十七阶段：Hive课程提体系
体系结构机制场景、HiveDDL *** 作、HiveDML *** 作、HiveDQL *** 作、Hive阶段作业与实战训练
第十八阶段：企业级项目实战
1、基于美团网的大型离线电商数据分析平台
2、移动基站信号监测大数据
3、大规模设备运维大数据分析挖掘平台
4、基 于互联网海量数据的舆情大数据平台项目
以上大数据部分共计学习656课时，合计82天！
0基础大数据培训课程共计学习130天。
以上是我们加米谷的大数据培训课程大纲！
⑦ 如何开发企业培训课程
首先，从确定课程的需求、授课的对象入手。 开发课程前，先仔细考虑开发内该课程的目标是容什么？将来的听课对象是谁？他们的问题在哪里？他们对课程内容的掌握程度如何？等问题，以使你的课程开发能有的放矢。最好的方法是和将来的授课对象，以及授课对象的上司进行沟通，充分了解上述问题的答案，做到胸有成竹。
其次，要确定《课程大纲》和《时间表》。 根据前期沟通的结果，以及要求和现状之间的差距，从而确定《课程大纲》。就笔者的经验看，确定《课程大纲》时，可以参考市场上其他顾问公司提供类似课程的大纲介绍。这样可以开阔思路，取长补短。
同时，《时间表》的确定也是尤为重要的。所谓《时间表》是对整个课程各部分内容所授课时间的长短。
⑧ 5前端开发培训课程大纲是怎样的
学习HTML5，可以了解HTML5课程大纲，分阶段学习，详细的阶段学习课程阅读如下：
第一阶段：PCterminal
PC端页面重构
1、认知行业、岗位、部分专业术语，就业趋势与行业未来展望；
2、HTML5核心元素及布局应用；
3、CSS3核心属性及布局应用；
4、图形、图像软件的使用（PS,FW,AI）；
5、浏览器兼容及解决方案；
6、整合、滑动门及宽高自适应等高级应用技术；
7、初步接触JS。
PC端交互开发（原生JS）
1、javascript基础语法和变量、控制语句、循环语句、函数、事件处理、数组、常见排序算法；
2、DOM *** 作和BOM *** 作；
3、定时器、Cookie本地存储、内置对象、正则表达式、闭包、JS面向对象语法、JSON、堆栈结构；
4、Ajax动态读取数据、异步 *** 作、与DOM、JSON的结合使用；
5、各种主流浏览器兼容性处理；
6、单例、工厂、代理、观察者等设计模式；
7、ECMA60新特性介绍。
PC端交互开发 （JQuery）
1、初识jQuery、jQuery的优势、jQuery框架核心功能、最容易混淆的几个概念。
2、jQuery各种选择器的使用，及选择器的应用优化；
3、Dom节点 *** 作、插入、删除、复制、移动节点等 *** 作；
4、事件处理、事件处理模型、事件处理机制、jQuery事件封装机制、jQuery事件应用；
5、jQuery中的动画、动画时间的概念、基本动画方法、复杂动画方法、停止动画与参数说明、jQuery动画的队列问题；
6、表单开发，设计可用性表单、表单验证、增强型表单；
7、Ajax、XML>
最近在为eclipse配置maven和scala插件，昨天捣鼓了一天，今天终于把问题解决，其实也不是解决问题，只是重新启动新的eclipse，然后插件全部都重新装，由于之前装的插件顺序也比较混乱，只是要用什么，就装了一下的，导致eclipse崩溃。
eclipse 37(indigo)，由于37版本是最新的，所以插件有可能不稳定，会导致一些意想不到的错误。
1安装maven插件
安装插件有好几种方法，一种是在help->Eclipse marketplace 查找m2e，另一种是在help->Install New Software
说明：网上也有人说因为eclipse是最新版，可能你下的m2e插件不稳定，导致在Install New SoftWare的时候安装不了。查看jboss的官方博客，已经有新版的m2e插件出现在marketplace中。
一般来说，都是调用外部的settingsxml文件，这个时候就需要在window->preferences->maven->user settings选择你本地的文件。
2安装scala插件
3安装jetty插件
maven项目比较推崇jetty服务器，在eclipse里用命令运行，平时能查看源码，但是debug的时候，会导致找不到maven 仓库里的源码（不知道大家有没有遇到过类似的问题）。
解决办法：安装jetty插件，在help->Eclipse Marketplace 输入jetty，安装下，之后debug就能解决这个问题的。这样会有另一个问题的发生，因为在pom里配置jetty插件需要配置系统变量如下：
<systemProperties>
<systemProperty>
<name>CONFIG_DIR_PATH</name>
<value>${basedir}/config</value>
</systemProperty>
</systemProperties>
这样用命令行：mvn jetty:run 就可以读到系统变量，但是用eclipse jetty插件就会导致找不到CONFIG_DIR_PATH。
参考>
在WEB-INF下建一个名字为jetty-webxml或者web-jettyxml，格式如下：
<xml version="10" encoding="UTF-8" >
<!DOCTYPE Configure PUBLIC "-//Mort Bay Consulting//DTD Configure//EN"
">
<Configure class="orgeclipsejettywebappWebAppContext">
<Call class="javalangSystem" name="setProperties">
<Arg>
<New class="javautilProperties">
<Call name="putAll">
<Arg>
<Call class="javalangSystem" name="getProperties" />
</Arg>
</Call>
<Call name="setProperty">
<Arg>CONFIG_DIR_PATH</Arg>
<Arg>/config/config</Arg>
</Call>
</New>
</Arg>
</Call>
</Configure>
4安装svn插件
安装这个都没有问题，地址：>
安装成功之后，你都可以在window->show view 看到已经安装的插件。
问题1：创建scala project失败
Message：Unhandled event loop exception
Exception Stack Trace:
javalangNullPointerException
at scalatoolseclipsewizardsNewApplicationPagesetVisible(NewApplicationPagescala:40)
at orgeclipsejfacewizardWizardDialogupdateForPage(WizardDialogjava:1260)
at orgeclipsejfacewizardWizardDialogaccess$4(WizardDialogjava:1239)
at orgeclipsejfacewizardWizardDialog$8run(WizardDialogjava:1228)
at orgeclipseswtcustomBusyIndicatorshowWhile(BusyIndicatorjava:70)
at orgeclipsejfacewizardWizardDialogshowPage(WizardDialogjava:1226)
at orgeclipsejfacewizardWizardDialognextPressed(WizardDialogjava:915)
at orgeclipsejfacewizardWizardDialogbuttonPressed(WizardDialogjava:428)
at orgeclipsejfacedialogsDialog$2widgetSelected(Dialogjava:624)
at orgeclipseswtwidgetsTypedListenerhandleEvent(TypedListenerjava:240)
at orgeclipseswtwidgetsEventTablesendEvent(EventTablejava:84)
at orgeclipseswtwidgetsWidgetsendEvent(Widgetjava:1053)
at orgeclipseswtwidgetsDisplayrunDeferredEvents(Displayjava:4165)
at orgeclipseswtwidgetsDisplayreadAndDispatch(Displayjava:3754)
at orgeclipsejfacewindowWindowrunEventLoop(Windowjava:825)
at orgeclipsejfacewindowWindowopen(Windowjava:801)
at orgeclipseuiinternalhandlersWizardHandler$NewexecuteHandler(WizardHandlerjava:257)
at orgeclipseuiinternalhandlersWizardHandlerexecute(WizardHandlerjava:277)
at orgeclipseuiinternalhandlersHandlerProxyexecute(HandlerProxyjava:293)
at orgeclipsecorecommandsCommandexecuteWithChecks(Commandjava:476)
at orgeclipsecorecommandsParameterizedCommandexecuteWithChecks(ParameterizedCommandjava:508)
at orgeclipseuiinternalhandlersHandlerServiceexecuteCommand(HandlerServicejava:169)
at orgeclipseuiinternalhandlersSlaveHandlerServiceexecuteCommand(SlaveHandlerServicejava:241)
at orgeclipseuiinternalactionsCommandActionrunWithEvent(CommandActionjava:157)
at orgeclipsejfaceactionActionContributionItemhandleWidgetSelection(ActionContributionItemjava:584)
at orgeclipsejfaceactionActionContributionItemaccess$2(ActionContributionItemjava:501)
at orgeclipsejfaceactionActionContributionItem$5handleEvent(ActionContributionItemjava:411)
at orgeclipseswtwidgetsEventTablesendEvent(EventTablejava:84)
at orgeclipseswtwidgetsWidgetsendEvent(Widgetjava:1053)
at orgeclipseswtwidgetsDisplayrunDeferredEvents(Displayjava:4165)
at orgeclipseswtwidgetsDisplayreadAndDispatch(Displayjava:3754)
at orgeclipseuiinternalWorkbenchrunEventLoop(Workbenchjava:2701)
at orgeclipseuiinternalWorkbenchrunUI(Workbenchjava:2665)
at orgeclipseuiinternalWorkbenchaccess$4(Workbenchjava:2499)
at orgeclipseuiinternalWorkbench$7run(Workbenchjava:679)
at orgeclipsecoredatabindingobservableRealmrunWithDefault(Realmjava:332)
at orgeclipseuiinternalWorkbenchcreateAndRunWorkbench(Workbenchjava:668)
at orgeclipseuiPlatformUIcreateAndRunWorkbench(PlatformUIjava:149)
at orgeclipseuiinternalideapplicationIDEApplicationstart(IDEApplicationjava:123)
at orgeclipseequinoxinternalappEclipseAppHandlerun(EclipseAppHandlejava:196)
at orgeclipsecoreruntimeinternaladaptorEclipseAppLauncherrunApplication(EclipseAppLauncherjava:110)
at orgeclipsecoreruntimeinternaladaptorEclipseAppLauncherstart(EclipseAppLauncherjava:79)
at orgeclipsecoreruntimeadaptorEclipseStarterrun(EclipseStarterjava:344)
at orgeclipsecoreruntimeadaptorEclipseStarterrun(EclipseStarterjava:179)
at sunreflectNativeMethodAccessorImplinvoke0(Native Method)
at sunreflectNativeMethodAccessorImplinvoke(NativeMethodAccessorImpljava:39)
at sunreflectDelegatingMethodAccessorImplinvoke(DelegatingMethodAccessorImpljava:25)
at javalangreflectMethodinvoke(Methodjava:597)
at orgeclipseequinoxlauncherMaininvokeFramework(Mainjava:622)
at orgeclipseequinoxlauncherMainbasicRun(Mainjava:577)
at orgeclipseequinoxlauncherMainrun(Mainjava:1410)
at orgeclipseequinoxlauncherMainmain(Mainjava:1386)
Session Date:
eclipsebuildId=M20120208-0800
javaversion=160_26
javavendor=Oracle Corporation
BootLoader constants: OS=win32, ARCH=x86_64, WS=win32, NL=en_US
Framework arguments: -product orgeclipseepppackagejeeproduct
Command-line arguments: -os win32 -ws win32 -arch x86_64 -product orgeclipseepppackagejeeproduct
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。1、数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。
2、数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。
3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。
4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。; 函数文本最大的优势就是可以像字符串或者对象等其他文本（literal）一样传送它 这种特性为构建高度紧凑和可重用代码提供无限的可能性 我们的第一个高阶函数 当我们将一个函数文本传送给一个方法的时候 我们最主要的是一个接收方法参数的方法（这个确实很绕 _ |||） 这类方法就叫做高阶函数 上文Swing例子中提到的 addActionListener 方法恰好属于这类 我们还可以定义自己的高阶函数来为自己提供许多便利 让我们看一个简单的例子 def measure[T]（func:=>T） T { val start = System nanoTime（） val result = func val elapsed = System nanoTime（） start; print（ The execution of this call took: %s ns format（elapsed）） result } 在这个例子中 我们声明了一个名为measure的方法用来计算这个名为func的函数文本的回调所需要的时间 func 方法的签名（signature）是它不接收任何参数并且返回一个泛型类型T 正如你所看到的 Scala中的函数并不一定需要参数尽管它们能够 而且往往也含有参数 现在我们可以向 measure 方法中传递任何函数文本（或者方法） def myCallback = { Thread sleep（ ） I just took a poewrnap } val result = measure（myCallback） > The execution of this call took: ns 从概念的角度讲我们所做的 就是将计算方法调用时间和实际的运算区分开来 我们构造了两块可以重用 松散耦合 类似于拦截器（interceptor）的代码块（measure和myCallback） 通过高阶函数实现重用 先看一个假设的例子 两个可重用构造略紧耦合 def doWithContact（fileName:String handle:Contact => Unit） Unit = { try { val contactStr = io Source fromFile（fileName） mkString val contact = AContactParser parse（contactStr） handle（contact） } catch { case e: IOException => println（ couldn t load contact file: + e） case e: ParseException => println（ coulnd t parse contact file: + e） } } doWithContact 方法从文件中读取电子名片之类的然后将数据提供给一个解析器（parser）将数据转化成为联系领域的对象 然后这个对象被传递给一个函数文本回调 handle doWithContact 方法 很函数文本均返回 Unit 类型 等同于java中的返回void的方法 现在 我们可以定义各种各样的可以传递给 doWithContact 的回调函数 val storeCallback = （c:Contact） => ContactDao save（c） val sendCallback = （c:Contact） => { val msgBody = nvert（c） RestService send（msgBody） } val bineCallback = （c:Contact） => { storeCallback（c） sendCallback（c） } doWithContact（ custerX vcf storeCallback） doWithContact（ custerY vcf sendCallback） doWithContact（ custerZ vcf bineCallback） doWithContact（ custerZ vcf bineCallback） 回调函数也可以通过内联传递 doWithContact（ custerW vcf （c:Contact） => ContactDao save（c）） Java 中的高阶函数 java 中的等效实现看起来十分相似 使用目前的语法建议 public interface Block<T> { void apply（T t） } public void doWithContact（String fileName Block<Contact> block） { try { String contacStr = FileUtils readFileToString（new File（fileName）） Contact apply（contact） block apply（contact） } catch （IOException e） { System out println（ cloudn t load contact file: + e getMessage（）） } catch （ParseException e） { System out println（ cloudn t parse contact file: + e getMessage（）） } } //usage doWithContact（ custerX vcf c > ContactDao save（c） ） 使用高阶函数的益处 正如你见到的 函数帮助我们干净地将对象的创建和处理区分开来 通过这种方法 新的业务逻辑处理对象就可以轻易的添加进来而没有必要同对象创建逻辑相耦合 结果就是 我们通过使用高阶函数来使我们的代码保持DRY（Dont t Repeat Yourself） 因而 程序员可以从一个非常细粒度的代码重用中获得最佳利益 lishixinzhi/Article/program/Java/hx/201311/26551
Scala提供了很多学习材料帮助你学习核心语言内容，有很多在线的教程、示例和项目可以去研究。但是Scala提供的最重要的一个工具是交互模式（REPL）。REPL是一个交互式解释器，可以即时编译、运行代码并返回结果。假定你已经在机器上装好了Scala，也设置了正确的路径，那么在命令行下运行scala命令就可以启动Scala REPL。启动Scala REPL后屏幕上会输出如下内容：
后面的代码示例中，我会用scala>提示这是输入到REPL的内容。接下来的一行是REPL的输出。我们在REPL里快速做几个例子，看看会得到什么输出。
你应该注意到了在我们输入解释器的每个语句后，它会输出一行信息，类似res0: javalangString = Hello。输出的第一部分是REPL给表达式起的变量名。在这几个例子里，REPL为每个表达式定义了一个新变量（res0到res3）。输出的第二部分（：后面的部分）是表达式的静态类型。第一个例子的类型是javalangString，最后一个例子的类型则是scalautilmatchingRegex。输出的最后一部分是表达式求值后的结果的字符串化显示。一般是对结果调用toString方法得到的输出，JVM给所有的类都定义了toString方法。
图21 REPL的返回值
如你所见，REPL是一种测试Scala语言及其类型系统的强有力手段。不仅如此，大部分构建工具都提供了机制让你能加载当前工程的classpath，然后启动REPL。这意味着你可以在REPL里访问工程中引用的库和你自己的代码。你能够在REPL里调用API和访问远端服务器。这是很棒的快速测试Web服务或REST API的方法，也导向我称为实验驱动开发（Experiment Driven Development）的方法。
211 实验驱动开发
实验驱动开发就是开发者在写测试或生产代码前，先花点时间在交互环境或REPL里做实验。这可以给你时间全面理解你需要打交道的软件或库的外部接口，并对其API的优点和缺点得到点切身体会。这是学习新发布的Web服务或RESTful API或最新的Apache库的极好办法，甚至可以用来学习你同事刚刚写出来的东西。在理解了API是怎么工作后，你就能更好地写自己的代码，或者开始写测试，如果你遵循测试驱动开发的话。
现在推动开发人员拥抱测试驱动开发（TDD）的呼声很高。TDD要求开发者先写单元测试，然后写实现类。在你开始写测试前，你并不总是很清楚自己的API要定义成什么样的。TDD的一个组成部分就是通过写测试来定义API，这样你可以在（用户的）上下文里来看你的代码，可以感觉一下你自己愿意不愿意用你自己写的API。由于表达力（较差）的原因，强类型语言在应用TDD时可能会比动态语言碰到更多麻烦。实验驱动开发将“定义API”这个步骤向前期推动一步，提前到了写测试代码之前。REPL帮助开发者确保其设计的API在类型系统里能表达得出来。
Scala是一种语法非常灵活的强类型语言，因此有时候需要用点手段欺骗类型系统才能达成你真正想要的API设计。因为很多开发者缺乏强类型理论基础，所以经常需要更多的实验。实验驱动设计（Experiment Driven Design）让你在REPL里结合类型系统进行实验，以便为你的API提炼出最有效的类型定义。实验驱动设计主要用在给代码里添加大特性或领域对象的时候，不适合在添加新方法或者修bug时使用。
实验驱动设计在你定义领域特定语言时（DSL）也能帮上大忙。领域特定语言是用于特定领域的伪编程语言，这种语言专门用来解决手头的某个领域，比如说，从数据库里查询数据。DSL可以是内部的，在很多Scala库里都能看到的；也可以是外部的，比如SQL。在Scala社区，库开发者圈子里非常流行为自己的库创建一种DSL。比如Scala的actors库定义了一种线程安全的发送和接收消息的DSL。
用Scala定义DSL的挑战之一在于有效地利用类型系统。设计良好的类型安全的DSL不仅应该富有表达力、易读，而且应该能在编译期而不是运行期捕捉到很多编程错误。同时静态类型信息也可以极大地提高性能。REPL不仅能用来实验怎样表达一个特定领域，而且能帮助你确定你得表达式是否能编译。进行Scala开发时，有些人采用下面这种创造性的流程。
在REPL里实验API设计。
把能工作的API拷贝到项目文件。
为API写单元测试。
修改代码直到测试通过。
有效地使用实验驱动开发能够极大地提高你的API的质量。也会帮你在推进过程中更适应Scala的语法。不过这种做法有个大问题，就是并非所有能用Scala表达的API都能在REPL里表达。这是因为REPL是积极（eagerly）解析输入，即时解释执行的。
212 绕过积极（eaglerly）解析
Scala REPL尝试尽可能快地解析输入。这个特点加上其他一些限制，意味着有些东西很难甚至是无法在REPL里表达的。其中一个难以表达的重要的功能是伴生对象和伴生类。
伴生对象和伴生类是一组用完全一样的名字定义的对象和类。用文件编译的方式很容易实现，就像这样简单的声明对象和类：
这些语句在REPL里也能执行，但是它们不会像真的伴生类那样起作用。为证明这一点，我们来做一些只有伴生对象能做，普通对象做不了的事：访问类的私有变量。
为了解决这个问题，我们需要把这些对象嵌入解释器里某个能访问到的其他作用域里。我们现在来把它们放入某个作用域里，以便能同时解释/编译类和伴生对象。
我们在这创建了一个holder对象。这给了我们一个可访问的作用域，也把REPL的编译推迟到holder对象关闭的时候。这样我们就可以在REPL里测试/定义伴生对象了。
即使绕过了积极解析，也还有一些语言特性无法在REPL里重现。大多数这种问题都跟包、包对象、包可见性约束等问题有关。尤其是你无法像在源代码文件里一样有效地在REPL里创建包和包对象。这也意味着其他跟包有关的语言特性，特别是使用private关键字实现的可见性限制也无法在REPL里表达。包通常用来为你的代码设定命名空间，以便与你可能使用的其他类库分开。通常情况下你不需要在REPL里用到它，但是可能有些时候你需要把玩一些Scala的高级特性，比如包对象和隐式解析（implicit resolution），这时你可能会想做点实验驱动开发。但是这种场景下，你无法在REPL里去表达。
请不要绝望。如我之前说过的，大部分构建工具可以让你启动一个针对你当前工程的Scala REPL。作为最后的手段，你可以在Scala文件里把玩那些高级概念，重编译然后重启REPL会话。
另外还有个工具叫做JRebel，它可以动态地在运行中的JVM里重载类文件。JRebel团队非常慷慨地为Scala中的使用提供了免费许可。利用这工具结合某种形式的持续编译—大部分Scala构建工具都提供的这一特性—你可以在修改工程文件后立刻在REPL会话里得到修改后的行为。对于maven-scala-plugin。Simple Build Tool提供了CC任务来做持续编译。不管用哪种构建工具都必须和JRebel类加载器集成以便实现动态类重载。这个技巧有点过于细节，而且可能会变，所以如果需要帮助请参考你用的构建工具的文档或者JRebel网站。
在尝试创建大而复杂的系统前，你可以先利用REPL来实验Scala代码，获得一些真实的感觉。软件开发中，在开发一个新特性前，对当前系统得到一个稍微深入一些的理解（而不只是草草看过）往往是很重要的。Scala REPL可以让你投入最少的时间达成对系统的理解，还可以提高你的开发技巧。本书全文穿插着很多REPL的例子，因为它是教学Scala的最好工具。我经常完全通过REPL运行示例，而不是采用Java开发时的标准做法，先写main方法或者单元测试。
REPL也是开始学习面向表达式编程的极佳方法。
map
将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。
输入分区与输出分区一对一，即：有多少个输入分区，就有多少个输出分区。
hadoop fs -cat /tmp/lxw1234/1txthello worldhello sparkhello hive //读取HDFS文件到RDDscala> var data = sctextFile("/tmp/lxw1234/1txt")data: orgapachesparkrddRDD[String] = MapPartitionsRDD[1] at textFile at :21 //使用map算子scala> var mapresult = datamap(line => linesplit("\\s+"))mapresult: orgapachesparkrddRDD[Array[String]] = MapPartitionsRDD[2] at map at :23 //运算map算子结果scala> mapresultcollectres0: Array[Array[String]] = Array(Array(hello, world), Array(hello, spark), Array(hello, hive))flatMap
属于Transformation算子，第一步和map一样，最后将所有的输出分区合并成一个。
/使用flatMap算子scala> var flatmapresult = dataflatMap(line => linesplit("\\s+"))flatmapresult: orgapachesparkrddRDD[String] = MapPartitionsRDD[3] at flatMap at :23 //运算flagMap算子结果scala> flatmapresultcollectres1: Array[String] = Array(hello, world, hello, spark, hello, hive)使用flatMap时候需要注意：
flatMap会将字符串看成是一个字符数组。
看下面的例子：
再看：
scala> datamap(x => xsplit("\\s+"))collectres34: Array[Array[String]] = Array(Array(hello, world), Array(hello, spark), Array(hello, hive), Array(hi, spark)) scala> dataflatMap(x => xsplit("\\s+"))collectres35: Array[String] = Array(hello, world, hello, spark, hello, hive, hi, spark)这次的结果好像是预期的，最终结果里面并没有把字符串当成字符数组。
这是因为这次map函数中返回的类型为Array[String]，并不是String。
flatMap只会将String扁平化成字符数组，并不会把Array[String]也扁平化成字符数组。
distinct
对RDD中的元素进行去重 *** 作。
scala> dataflatMap(line => linesplit("\\s+"))collectres61: Array[String] = Array(hello, world, hello, spark, hello, hive, hi, spark) scala> dataflatMap(line => linesplit("\\s+"))distinctcollectres62: Array[String] = Array(hive, hello, world, spark, hi)欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）