大数据与云计算应该怎么学？

大数据与云计算应该怎么学？

学习大数据必须掌握的技术

Hadoop

高效、可靠、可伸缩的Hadoop——能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。hadoop擅长日志分析，facebook就用Hive来进行日志分析。

Hive

Hive是建立在Hadoop上的数据仓库基础构架。hive的工作模式是:提交一个任务，等到任务结束时被通知，而不是实时查询。相对应的是，类似于Oracle这样的系统当运行于小数据集的时候，响应非常快。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL）——这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

难易程度分析：

Spark

Spark使用简单，而且可以支持所有重要的大数据语言，如Scala、Python、Java、R等。同时，它还拥有强大的生态系统，且成长迅速，对microbatching/batching/SQL的支持也很简单。最重要的是，Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Python

Python的特点是面向对象的解释性的脚本语言，支持多态、继承等高级概念，在Python里使用OOP十分容易 没有C++、Java那样复杂。Python的使用是完全免费的，同时对用户的提问提出快速的支持。

大数据的基础知识，科普类的，自己去买本书就行了，大数据时代这样的书很多介绍的大数据的。
另外大数据的技术，如数据采集，数据存取，基础架构，数据处理，统计分析，数据挖掘，模型预测，结果呈现。
当然一些大数据的一些基础知识，比如java和hadoop等等，这个基本得自学。大学里面最接近这些的也就是计算机类专业。
云计算的话，需要学习的知识应该包括但不限于：1、网络通信知识，包括互联网基础建设相关的所有知识；2、虚拟化知识，应该了解硬件运行原理以及虚拟化实现技术；3、数据库技术；4、网络存储技术；5、网络信息安全技术，最起码得明白什么是iso 17799；6、电子商务；7、容灾及备份技术；8、JAVA编程技术；9、分布式软件系统架构。。。

云计算大数据培训怎么学？

云计算大数据培训这一块的话，只有两种方式可以去学习，其中一种是自学，那么自学的话，自己要给自己编一个大纲和一个进程，也就意味着自己要学什么学什么内容，以及未来的就业方向，要比较明白和清楚。第二种就是通过相关的培训机构去学习相关的云计算和大数据之间的关联，那么他们是有一个老师，也就是导师，在前面引导着你去学习哪些内容？最终可能会推荐你去就业，或者是满足你想要学习的内容。

云计算，大数据怎么区分？

云计算是基于it基础设施的交付和使用模式，大数据就是利用大数据应用与分析，大数据是在云计算的基础上运用

如何结合大数据与云计算

由云计算提供的d性和按需配置，为让企业组织能够试验和尝试解决大数据的新方法提供了核心力量。
企业可以根据供应的基础设施，用不同的迭代方式尝试和 *** 纵他们的数据。基础设施不再限制用什么来处理数据。这些相同的灵活性使企业即使有高可变负载的情况下也不会超支。

云计算与大数据的关系

云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。
大数据正是因为数据的爆发式增长带来的一个新的课题内容，如何存储如今互联网时代所产生的海量数据，如何有效的利用分析这些数据等等。
他俩之间的关系你可以这样来理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。

首先，云计算的崛起牵动了大数据的发展，资源整合，高效利用，推动社会发展是他们的价值，早在2006年谷歌就提出了大数据的概念。

云计算与大数据谁是胜者

都有发展之道，都有潜力，要说谁是胜者还是拭目以待！

云计算 物联网 大数据
1、云计算
一般来讲云计算，云端即是网络资源，从云端来按需获取所需要的服务内容就是云计算。云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用IT基础设施。广义的云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。
2、物联网
简单理解：物物相连的互联网，即物联网。物联网在国际上又称为传感网，这是继计算机、互联网与移动通信网之后的又一次信息产业浪潮。世界上的万事万物，小到手表、钥匙，大到汽车、楼房，只要嵌入一个微型感应芯片，把它变得智能化，这个物体就可以“自动开口说话”。再借助无线网络技术，人们就可以和物体“对话”，物体和物体之间也能“交流”，这就是物联网。随着信息技术的发展，物联网行业应用版图不断增长。如：智能交通、环境保护、 工作、公共安全、平安家居、智能消防、工业监测、老人护理、个人健康、花卉栽培、水系监测、食品溯源等。大的理想就是智慧地球，目前实际生活中存在并在建设的智慧城市都是物联网炒的概念。
3、大数据
大数据(big data)，就是指种类多、流量大、容量大、价值高、处理和分析速度快的真实数据汇聚的产物。大数据或称巨量资料或海量数据资源，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
大数据的4V特点：Volume、Velocity、Variety、Veracity。
即：数量Volume、多样性Variety、速度Velocity、和真实性Veracity。
4、大数据，云计算，物联网和移动互联网的关系
物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层（数据海洋），是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。云计算与物联网推动大数据发展。

无所谓谁赢谁输，因为两者不是竞争者，而是相辅相成，现在云计算和大数据都很火，很成功。

python 云计算与大数据 工作强度大么

一般吧，这个主要还是看公司，有的公司进度排的比较紧那就强度大点儿。

Hadoop到底是个啥？
答：Hadoop是基于廉价设备利用集群的威力对海量数据进行安全存储和高效计算的分布式存储和分析框架，Hadoop本身是一个庞大的项目家族，其核心 家族或者底层是HDFS和MapReduce，HDFS和MapReduce分别用来实现对海量数据的存储和分析，其它的项目，例如Hive、HBase 等都是基于HDFS和MapReduce，是为了解决特定类型的大数据处理问题而提出的子项目，使用Hive、HBase等子项目可以在更高的抽象的基础上更简单的编写分布式大数据处理程序。Hadoop的其它子项目还包括Common, Avro, Pig, ZooKeeper, Sqoop, Oozie 等，随着时间的推移一些新的子项目会被加入进来，一些关注度不高的项目会被移除Hadoop家族，所以Hadoop是一个充满活力的系统。
Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
ApachePig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
ApacheHBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务 ApacheMahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
ApacheCassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与AmazonDynamo的完全分布式的架构于一身 Apache Avro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制 ApacheAmbari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
ApacheChukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供Hadoop 进行各种 MapReduce *** 作。
ApacheHama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
ApacheFlume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
ApacheGiraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和Google 的 Pregel。
ApacheOozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。
ApacheCrunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库 ApacheWhirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
ApacheBigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
ApacheHCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
ClouderaHue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化 *** 作和管理。

Hadoop处在云计算三层模型中的PaaS这一层。
Hadoop处在云计算三层模型中的PaaS这一层。PaaS是指平台即服务。把服务器平台作为一种服务提供的商业模式，通过网络进行程序提供的服务称之为SaaS，是云计算三种服务模式之一。

Hadoop现在已经广泛应用于包
括
FaceBook,Twitter,
Yahoo!
等公司，通常情况下这些机群包括数以千计的服务器和数以万计的CPU。
Hadoop
作为基础云计算平台
，包括了超过
100
个的用户可配置参数
(
版本
0192)
，
而这些参数中很大一部分对所部署的
Hadoop
系统性能具有极大的影响。
平台即服务
(PaaS）主要关注软件框架或服务，提供在基础设施中进行“云”计算所用的
API。Apache
Hadoop作为PaaS构建在虚拟主机上，作为云计算平台。
基于Hadoop,用户可编写处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。Hadoop
已被全球几大IT公司用作其云计算环境中的重要基础软件，如:雅虎正在开发基于Hadoop的开源项目Pig,
这是一个专注于海量数据集分析的分布式计算程序。

这篇文章主要为大家展示了“Hadoop报错怎么办”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让：西昆云我带领大家一起研究并学习一下“Hadoop报错怎么办”这篇文章吧。

显然这是没有设置JAVA_HOME环境变量引起的。但是在设置了JAVA_HOME环境变量后仍报这个错误。 启动脚本无法读到这个环境变量，查资料后，通过在$HADOOP_HOME/libexec/hadoop-configsh中加入export JAVA_HOME=/PATH/TO/JDK后解决。
为何脚本不能读取系统设置的JAVA_HOME环境变量，还需要研读启动脚本来找到原因。

执行/start-allsh启动hadoop集群时报WARN utilNativeCodeLoader: Unable to load native-hadoop library for your platform using builtin-java classes where applicable

本地库不存在，或者本地库与当前 *** 作系统的版本不一致的时候会报这个错误。hadoop官网下载的hadoop版本带的native库文件是32位的。 如果部署在64bit系统上，需要重新编译来解决。另外遇到过重新编译64位native库文件后仍然报这个错误，执行bash -x start-allsh，跟踪报错原因，在发现启动时在$HADOOP_HOME/lib目录中寻找native库文件，而native库文件默认存放在$HADOOP_HOME/lib/native目录中。暂时把库文件拷贝到lib目录下解决了该问题。不过正确的应该是通过定义native库文件路径的方式来解决，具体定义的位置没有找到。等找到后补上。

原因：namenode、datanode节点主机系统时间不一致引起

解决：配置ntp服务，定时同步时钟，使集群各节点服务器时间保持一致。

华为云提供的大数据MRS服务可以提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。当前性价比很高，最小规格集群已经低至199元/小时，还有买10个月送2个月的活动。

在华为云社区找到了一个介绍MRS服务的云图说，可以MRS云图说。也可以到华为云MRS官方介绍页去看看。

在学习了hadoop22一个月以来，我重点是在学习hadoop22的HDFS。即是hadoop的分布式系统，看了很久的源代码看的我真的想吐啊，感觉看源码还是没什么劲，于是心血来潮看到可百度的网盘挺有意思（其实我一直都在用百度的网盘)对里面的功能的实现很好奇，于是我就突发奇想，能不能用hadoop来做个呢？答案是肯定的。于是我就开始了，但是实际中，没有人用hadoop来做网盘，因为hadoop不适合存放小文件。当然办法总是有的，比如小文件可以存入HBase中。hadoop220这个版本与hadoop1的版本有不同，且在源码上也有很大的差别。引入了Yarn这个资源管理框架，目前YARN可以管理的资料类型包括了CPU和内存，未来可能会加入对磁盘和网络等类型的支持。目前YARN可以支持的框架包括：MapReduce（批处理框架）、Storm（流式处理框架，项目为Stormon YARN，主要由Hortonworks在推进。正式版本未出但可用，yahoo和淘宝等在内部已经大规模使用）、Spark（内存处理框架，项目为Spark on YARN，主要由Cloudera在推进。正式版本未出但可用，淘宝等在内部也已经大规模使用）。
正在YARN上开发且未来比较靠谱的框架有：Tez（DAG框架，继承自MapReduce，性能有巨大提升）、Hoya（将HBase运行在YARN上，主要由Hortonworks在推进）。
二、设计与实现
采用了Struts2+tomcat7+mysql+Ajax+hadoop22来部署架构整个系统。
21 架构
Struts2确实在网页的开发阶段比起单纯的jsp和servlet又更上一层楼。本人也只是了解Struts2那么一点。发现有项目驱动可能学习某个知识点更快，你们说呢？tomcat是众所周知的，用作web服务器。mysql在这里我只用作登录验证。Ajax则主要是负责在上传的时候显示进度条的作用。hadoop22主要提供HDFS分布式存储。并且用到了其相关的Jar。
其实无论是百度的网盘，还是360网盘，还是华为网盘，其无非都是类似于像Hadoop这样的做分布式存储，前台展现给客户。分布式存储有的是用openstack。还有的像淘宝的TFS，华为的自己开发的云端系统，华为OceanStor CloudStor CSS云存储等等吧。。
22 本系统实现的功能
（1）显示用户系统下所有文件列表
（2）实现上传、下载、重命名、删除文件功能
（3）实现客户端音频(多数格式的)音乐播放功能<暂不支持视频播放>
（4）实现在线预览的功能
（5）实现在线文本文档的浏览功能
三、Hadoop22分布式云盘的界面
1、欢迎页面
2、登录页面
3、系统主界面
4、文件上传界面
5、预览
6、音乐播放
7、文本预览
四、总结
作为研究生，本应该研究研究理论性的东西，说实话，理论这东西不读个博士什么的我个人觉得在短暂的这两年多时间里，可能研究不出什么玩意来。纯属个人意见，呵呵。这个系统还是有一些BUG的。以后有时间还的继续修改。我还是对大数据很感兴趣，但是如何 *** 纵大数据呢？光靠Hadoop是远远不够的，还可以结合数据挖掘，数据仓库，算法等去捣鼓捣鼓可能有效。这个系统算作本人的个人作品吧，麻雀虽小，但还是五脏俱全。主要是一段时间不写点程序，有点不舒服的感觉。呵呵。另外我想说hadoop2源码太多了，哎，慢慢看吧，不结合实战练习的话，没多大效果我觉得。现在还有很多课要上，恩多论文要看。在过两个月，所有的课程终于结束了

---