企业一般需要什么样的服务器

在选择云服务器之前，我们应该先弄明白自己需要一台什么样的云服务器。包括它的使用场景，配置情况等。

如果你做的是一个小型的个人网站并且访问量小，那么你可以选择一台低配置的云服务器ECS就能暂时满足你的要求（通常1核2G）目前阿里云的1核2G1M带宽是918元/年。对于电商类型网站，建议至少2核4G以上。随着后面网站的发展情况，你也可以随时进行升级配置，这也是云服务器的优势所在。当然，如果你希望网站运行和访问速度更快，可以适当提高配置。

如果你要做一个多媒体型的高并发应用，这时候除了云服务器ECS（建议4核以上），同时你还要搭配对象存储OSS购买。对象存储OSS是专门用来承载、视频等文件的。以及还要配合内容分发网络CDN和负载均衡SLB，有这几个服务的完美配合，就能大大加快访问速度，减少用户等待时间。

更高需求的，比如，对于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景，则可以选择阿里云服务器ECS大数据类型实例规格族。大数据型实例规格族适合有大数据计算与存储分析需求的行业客户，例如互联网行业、金融行业等。

对于机器学习和深度学习等AI应用，可以选择购买GPU计算型实例，可以搭建基于TensorFlow框架等的AI应用。GPU计算型适用于图形处理、云游戏云端实时渲染、AR/VR的云端实时渲染等瘦终端场景。

我认为比较靠谱的几家云服务器：
阿里云
优点：品牌大，捆绑淘宝、支付宝等，账号注册和支付方便，产品线完善，自主化程度高；
缺点：售后服务时效性差，工单响应速度经常是半小时以上；磁盘IO是鸡肋；用的人多，公说公有理婆说婆有理；
腾讯云：
优点：同阿里，品牌大有资源，捆绑qq，产品线同样完善；
缺点：技术较阿里差些，像有些能平滑升级的腾讯目前无法实现，售后是缺点，但相对阿里云要好些
小鸟云：
优点：服务器稳定、带宽畅通，产品比较专一和专业，是行业新贵，服务水平是最大亮点；
缺点：新品牌，产品单一；
Ucloud：
优点：产品线全，服务够专业；
缺点：价格较高，属于资本劣势了，以游戏云发家，适合大型用户。
总价：小鸟云综合各方面都不错，可以选择。

这篇文章主要为大家展示了“Hadoop报错怎么办”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让：西昆云我带领大家一起研究并学习一下“Hadoop报错怎么办”这篇文章吧。

显然这是没有设置JAVA_HOME环境变量引起的。但是在设置了JAVA_HOME环境变量后仍报这个错误。 启动脚本无法读到这个环境变量，查资料后，通过在$HADOOP_HOME/libexec/hadoop-configsh中加入export JAVA_HOME=/PATH/TO/JDK后解决。
为何脚本不能读取系统设置的JAVA_HOME环境变量，还需要研读启动脚本来找到原因。

执行/start-allsh启动hadoop集群时报WARN utilNativeCodeLoader: Unable to load native-hadoop library for your platform using builtin-java classes where applicable

本地库不存在，或者本地库与当前 *** 作系统的版本不一致的时候会报这个错误。hadoop官网下载的hadoop版本带的native库文件是32位的。 如果部署在64bit系统上，需要重新编译来解决。另外遇到过重新编译64位native库文件后仍然报这个错误，执行bash -x start-allsh，跟踪报错原因，在发现启动时在$HADOOP_HOME/lib目录中寻找native库文件，而native库文件默认存放在$HADOOP_HOME/lib/native目录中。暂时把库文件拷贝到lib目录下解决了该问题。不过正确的应该是通过定义native库文件路径的方式来解决，具体定义的位置没有找到。等找到后补上。

原因：namenode、datanode节点主机系统时间不一致引起

解决：配置ntp服务，定时同步时钟，使集群各节点服务器时间保持一致。

根据需要选择服务器配置：
1、根据企业的需求选择合适的线路
国内常用的线路是电信线路和网通线路，其中河南以及河南以北地区以网通为主，河南以及以南以网通为主，同等线路之间访问速度比较快，反之则访问速度比较慢，而双线线路则解决解决这一问题，所以可以根据企业的需求选择单线路或者双线路。
2、根据需求选择共享带宽或者是独立带宽
顾名思义，共享带宽是指和机房内的其他服务器共同使用一定的带宽，一般是100M独享带宽是指独自使用一定的带宽。如果企业网站属于下载类、、访问量比较高的网站，可以选择独享带宽。如果网站是普通的文字类网站则可以选择共享带宽，在共享情况下一般带宽也可以达到10M或者10M以上。
3、硬件配置方面，选择高性能的硬件配置
至于服务器配置，可以选择较为经济的配置，如酷睿E5700、inter 四核 Q9300等，如果选择比较高端的，如Intel Xeon E5-2609 至强四核、Intel XEON E5620 至强四核八线程等，结合企业的需求进行选择。
4、选择正规的IDC商，省去很多后期麻烦
正规的IDC商一般都有营业执照、ICP证、ISP证等证件，之所以挑选正规的IDC商是因为服务器不是一般的电脑，需要24小时开机，对环境要求也比较高，并且运行过程中出现问题需要及时解决，一旦出现服务器不能正常运行了，不仅影响网站优化，还易降低用户体验，严重时可导致网站被k,需要很长时间才能恢复。而正规的IDC上都是有很高的信誉保障的，机房都有专业技术人员值班。

Hadoop处在云计算三层模型中的PaaS这一层。
Hadoop处在云计算三层模型中的PaaS这一层。PaaS是指平台即服务。把服务器平台作为一种服务提供的商业模式，通过网络进行程序提供的服务称之为SaaS，是云计算三种服务模式之一。

文 | 翟周伟
本文节选自《Hadoop核心技术》一书。
Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国内外的hadoop应用现状。
国外Hadoop的应用现状
1Yahoo
Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop机器总节点数目超过42000个，有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点(每个节点双路4核心CPUboxesw，4×1TB磁盘，16GBRAM)。总的集群存储容量大于350PB，每月提交的作业数目超过1000万个，在Pig中超过60%的Hadoop作业是使用Pig编写提交的。
Yahoo的Hadoop应用主要包括以下几个方面：
支持广告系统
用户行为分析
支持Web搜索
反垃圾邮件系统
会员反滥用
内容敏捷
个性化推荐
同时Pig研究并测试支持超大规模节点集群的Hadoop系统。
2Facebook
Facebook使用Hadoop存储内部日志与多维数据，并以此作为报告、分析和机器学习的数据源。目前Hadoop集群的机器节点超过1400台，共计11200个核心CPU，超过15PB原始存储容量，每个商用机器节点配置了8核CPU，12TB数据存储，主要使用StreamingAPI和JavaAPI编程接口。Facebook同时在Hadoop基础上建立了一个名为Hive的高级数据仓库框架，Hive已经正式成为基于Hadoop的Apache一级项目。此外，还开发了HDFS上的FUSE实现。
3A9com
A9com为Amazon使用Hadoop构建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同时使用Java和StreamingAPI分析处理每日数以百万计的会话。A9com为Amazon构建的索引服务运行在100节点左右的Hadoop集群上。
4Adobe
Adobe主要使用Hadoop及HBase，同于支撑社会服务计算，以及结构化的数据存储和处理。大约有超过30个节点的Hadoop-HBase生产集群。Adobe将数据直接持续地存储在HBase中，并以HBase作为数据源运行MapReduce作业处理，然后将其运行结果直接存到HBase或外部系统。Adobe在2008年10月就已经将Hadoop和HBase应用于生产集群。
5CbIR
自2008年4月以来，日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop来构建图像处理环境，用于图像产品推荐系统。使用Hadoop环境生成源数据库，便于Web应用对其快速访问，同时使用Hadoop分析用户行为的相似性。
6Datagraph
Datagraph主要使用Hadoop批量处理大量的RDF数据集，尤其是利用Hadoop对RDF数据建立索引。Datagraph也使用Hadoop为客户执行长时间运行的离线SPARQL查询。Datagraph是使用AmazonS3和Cassandra存储RDF数据输入和输出文件的，并已经开发了一个基于MapReduce处理RDF数据的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDFrb以及自己开发的RDFgrid框架来处理RDF数据，主要使用HadoopStreaming接口。
7EBay
单集群超过532节点集群，单节点8核心CPU，容量超过53PB存储。大量使用的MapReduce的Java接口、Pig、Hive来处理大规模的数据，还使用HBase进行搜索优化和研究。
8IBM
IBM蓝云也利用Hadoop来构建云基础设施。IBM蓝云使用的技术包括：Xen和PowerVM虚拟化的Linux *** 作系统映像及Hadoop并行工作量调度，并发布了自己的Hadoop发行版及大数据解决方案。
9LastFm
LastFm主要用于图表计算、专利申报、日志分析、A/B测试、数据集合并等，也使用Hadoop对超过百万的曲目进行大规模的音频特征分析。
节点超过100台机器，集群节点配置双四核XeonL5520@227GHzL5630@213GHz，24GB内存，8TB(4×2TB)存储。
10LinkedIn
LinkedIn有多种硬件配置的Hadoop集群，主要集群配置如下：
800节点集群，基于Westmere的惠普SL170X与2×4的核心，24GB内存，6×2TBSATA。
1900节点集群，基于Westmere的超微-HX8DTT，与2×6的核心，24GB内存，6×2TBSATA。
1400节点集群，基于SandyBridge超微与2×6的核心，32GB内存，6×2TBSATA。
使用的软件如下：
*** 作系统使用RHEL63。
JDK使用SUNJDK160_32。
Apache的Hadoop0202的补丁和ApacheHadoop的104补丁。
Azkaban和Azkaban用于作业调度。
Hive、Avro、Kafka等。
11MobileAnalyticTV
主要使用Hadoop应用在并行化算法领域，涉及的MapReduce应用算法如下。
信息检索和分析。
机器生成的内容——文档、文本、音频、视频。
自然语言处理。
项目组合包括：
移动社交网络。
网络爬虫。
文本到语音转化。
音频和视频自动生成。
12Openstat
主要利用Hadoop定制一个网络日志分析并生成报告，其生产环境下超过50个节点集群(双路四核Xeon处理器，16GB的RAM，4～6硬盘驱动器)，还有两个相对小的集群用于个性化分析，每天处理约500万的事件，每月15亿美元的交易数据，集群每天产生大约25GB的报告。
使用的技术主要包括：CDH、Cascading、Janino。
13Quantcast
3000个CPU核心，3500TB存储，每日处理1PB以上的数据，使用完全自定义的数据路径和排序器的Hadoop调度器，对KFS文件系统有突出贡献。
14Rapleaf
超过80个节点的集群(每个节点有2个双核CPU，2TB×8存储，16GBRAM内存);主要使用Hadoop、Hive处理Web上关联到个人的数据，并引入Cascading简化数据流穿过各种处理阶段。
15WorldLingo
硬件上超过44台服务器(每台有2个双核CPU，2TB存储，8GB内存)，每台服务器均运行Xen，启动一个虚拟机实例运行Hadoop/HBase，再启动一个虚拟机实例运行Web或应用程序服务器，即有88台可用的虚拟机;运行两套独立的Hadoop/HBase机群，它们各自拥有22个节点。Hadoop主要用于运行HBase和MapReduce作业，扫描HBase的数据表，执行特定的任务。HBase作为一种可扩展的、快速的存储后端，用于保存数以百万的文档。目前存储了1200万篇文档，近期的目标是存储45亿篇文档。
16格拉斯哥大学的TerrierTeam
超过30个节点的实验集群(每节点配置XeonQuadCore24GHz，4GB内存，1TB存储)。使用Hadoop促进信息检索研究和试验，特别是用于TREC，用于TerrierIR平台。Terrier的开源发行版中包含了基于HadoopMapReduce的大规模分布式索引。
17内布拉斯加大学的HollandComputingCenter
运行一个中等规模的Hadoop机群(共计16PB存储)用于存储和提供物理数据，以支持紧凑型μ子螺旋型磁谱仪(CompactMuonSolenoid，CMS)实验的计算。这需要一类能够以几Gbps的速度下载数据，并以更高的速度处理数据的文件系统的支持。
18VisibleMeasures
将Hadoop作为可扩展数据流水线的一个组件，最终用于VisibleSuite等产品。使用Hadoop汇总、存储和分析与网络视频观众收看行为相关的数据流。目前的网格包括超过128个CPU核心，超过100TB的存储，并计划大幅扩容。
国内Hadoop的应用现状
Hadoop在国内的应用主要以互联网公司为主，下面主要介绍大规模使用Hadoop或研究Hadoop的公司。
1百度
百度在2006年就开始关注Hadoop并开始调研和使用，在2012年其总的集群规模达到近十个，单集群超过2800台机器节点，Hadoop机器总数有上万台机器，总的存储容量超过100PB，已经使用的超过74PB，每天提交的作业数目有数千个之多，每天的输入数据量已经超过7500TB，输出超过1700TB。
百度的Hadoop集群为整个公司的数据团队、大搜索团队、社区产品团队、广告团队，以及LBS团体提供统一的计算和存储服务，主要应用包括：
数据挖掘与分析。
日志分析平台。
数据仓库系统。
推荐引擎系统。
用户行为分析系统。
同时百度在Hadoop的基础上还开发了自己的日志分析平台、数据仓库系统，以及统一的C++编程接口，并对Hadoop进行深度改造，开发了HadoopC++扩展HCE系统。
2阿里巴巴
阿里巴巴的Hadoop集群截至2012年大约有3200台服务器，大约30000物理CPU核心，总内存100TB，总的存储容量超过60PB，每天的作业数目超过150000个，每天hivequery查询大于6000个，每天扫描数据量约为75PB，每天扫描文件数约为4亿，存储利用率大约为80%，CPU利用率平均为65%，峰值可以达到80%。阿里巴巴的Hadoop集群拥有150个用户组、4500个集群用户，为淘宝、天猫、一淘、聚划算、CBU、支付宝提供底层的基础计算和存储服务，主要应用包括：
数据平台系统。
搜索支撑。
广告系统。
数据魔方。
量子统计。
淘数据。
推荐引擎系统。
搜索排行榜。
为了便于开发，其还开发了WebIDE继承开发环境，使用的相关系统包括：Hive、Pig、Mahout、Hbase等。
3腾讯
腾讯也是使用Hadoop最早的中国互联网公司之一，截至2012年年底，腾讯的Hadoop集群机器总量超过5000台，最大单集群约为2000个节点，并利用Hadoop-Hive构建了自己的数据仓库系统TDW，同时还开发了自己的TDW-IDE基础开发环境。腾讯的Hadoop为腾讯各个产品线提供基础云计算和云存储服务，其支持以下产品：
腾讯社交广告平台。
搜搜(SOSO)。
拍拍网。
腾讯微博。
腾讯罗盘。
QQ会员。
腾讯游戏支撑。
QQ空间。
朋友网。
腾讯开放平台。
财付通。
手机QQ。
QQ音乐。
4奇虎360
奇虎360主要使用Hadoop-HBase作为其搜索引擎socom的底层网页存储架构系统，360搜索的网页可到千亿记录，数据量在PB级别。截至2012年年底，其HBase集群规模超过300节点，region个数大于10万个，使用的平台版本如下。
HBase版本：facebook089-fb。
HDFS版本：facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要为了优化减少HBase集群的启停时间，并优化减少RS异常退出后的恢复时间。
5华为
华为公司也是Hadoop主要做出贡献的公司之一，排在Google和Cisco的前面，华为对Hadoop的HA方案，以及HBase领域有深入研究，并已经向业界推出了自己的基于Hadoop的大数据解决方案。
6中国移动
中国移动于2010年5月正式推出大云BigCloud10，集群节点达到了1024。中国移动的大云基于Hadoop的MapReduce实现了分布式计算，并利用了HDFS来实现分布式存储，并开发了基于Hadoop的数据仓库系统HugeTable，并行数据挖掘工具集BC-PDM，以及并行数据抽取转化BC-ETL，对象存储系统BC-ONestd等系统，并开源了自己的BC-Hadoop版本。
中国移动主要在电信领域应用Hadoop，其规划的应用领域包括：
经分KPI集中运算。
经分系统ETL/DM。
结算系统。
信令系统。
云计算资源池系统。
物联网应用系统。
E-mail。
IDC服务等。
7盘古搜索
盘古搜索(目前已和即刻搜索合并为中国搜索)主要使用Hadoop集群作为搜索引擎的基础架构支撑系统，截至2013年年初，集群中机器数量总计超过380台，存储总量总计366PB，主要包括的应用如下。
网页存储。
网页解析。
建索引。
Pagerank计算。
日志统计分析。
推荐引擎等。
即刻搜索(人民搜索)
即刻搜索(目前已与盘古搜索合并为中国搜索)也使用Hadoop作为其搜索引擎的支撑系统，截至2013年，其Hadoop集群规模总计超过500台节点，配置为双路6核心CPU，48G内存，11×2T存储，集群总容量超过10PB，使用率在78%左右，每天处理读取的数据量约为500TB，峰值大于1P，平均约为300TB。
即刻搜索在搜索引擎中使用sstable格式存储网页并直接将sstable文件存储在HDFS上面，主要使用HadoopPipes编程接口进行后续处理，也使用Streaming接口处理数据，主要的应用包括：
网页存储。
解析。
建索引。
推荐引擎。
end

在学习了hadoop22一个月以来，我重点是在学习hadoop22的HDFS。即是hadoop的分布式系统，看了很久的源代码看的我真的想吐啊，感觉看源码还是没什么劲，于是心血来潮看到可百度的网盘挺有意思（其实我一直都在用百度的网盘)对里面的功能的实现很好奇，于是我就突发奇想，能不能用hadoop来做个呢？答案是肯定的。于是我就开始了，但是实际中，没有人用hadoop来做网盘，因为hadoop不适合存放小文件。当然办法总是有的，比如小文件可以存入HBase中。hadoop220这个版本与hadoop1的版本有不同，且在源码上也有很大的差别。引入了Yarn这个资源管理框架，目前YARN可以管理的资料类型包括了CPU和内存，未来可能会加入对磁盘和网络等类型的支持。目前YARN可以支持的框架包括：MapReduce（批处理框架）、Storm（流式处理框架，项目为Stormon YARN，主要由Hortonworks在推进。正式版本未出但可用，yahoo和淘宝等在内部已经大规模使用）、Spark（内存处理框架，项目为Spark on YARN，主要由Cloudera在推进。正式版本未出但可用，淘宝等在内部也已经大规模使用）。
正在YARN上开发且未来比较靠谱的框架有：Tez（DAG框架，继承自MapReduce，性能有巨大提升）、Hoya（将HBase运行在YARN上，主要由Hortonworks在推进）。
二、设计与实现
采用了Struts2+tomcat7+mysql+Ajax+hadoop22来部署架构整个系统。
21 架构
Struts2确实在网页的开发阶段比起单纯的jsp和servlet又更上一层楼。本人也只是了解Struts2那么一点。发现有项目驱动可能学习某个知识点更快，你们说呢？tomcat是众所周知的，用作web服务器。mysql在这里我只用作登录验证。Ajax则主要是负责在上传的时候显示进度条的作用。hadoop22主要提供HDFS分布式存储。并且用到了其相关的Jar。
其实无论是百度的网盘，还是360网盘，还是华为网盘，其无非都是类似于像Hadoop这样的做分布式存储，前台展现给客户。分布式存储有的是用openstack。还有的像淘宝的TFS，华为的自己开发的云端系统，华为OceanStor CloudStor CSS云存储等等吧。。
22 本系统实现的功能
（1）显示用户系统下所有文件列表
（2）实现上传、下载、重命名、删除文件功能
（3）实现客户端音频(多数格式的)音乐播放功能<暂不支持视频播放>
（4）实现在线预览的功能
（5）实现在线文本文档的浏览功能
三、Hadoop22分布式云盘的界面
1、欢迎页面
2、登录页面
3、系统主界面
4、文件上传界面
5、预览
6、音乐播放
7、文本预览
四、总结
作为研究生，本应该研究研究理论性的东西，说实话，理论这东西不读个博士什么的我个人觉得在短暂的这两年多时间里，可能研究不出什么玩意来。纯属个人意见，呵呵。这个系统还是有一些BUG的。以后有时间还的继续修改。我还是对大数据很感兴趣，但是如何 *** 纵大数据呢？光靠Hadoop是远远不够的，还可以结合数据挖掘，数据仓库，算法等去捣鼓捣鼓可能有效。这个系统算作本人的个人作品吧，麻雀虽小，但还是五脏俱全。主要是一段时间不写点程序，有点不舒服的感觉。呵呵。另外我想说hadoop2源码太多了，哎，慢慢看吧，不结合实战练习的话，没多大效果我觉得。现在还有很多课要上，恩多论文要看。在过两个月，所有的课程终于结束了

华为云提供的大数据MRS服务可以提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。当前性价比很高，最小规格集群已经低至199元/小时，还有买10个月送2个月的活动。

在华为云社区找到了一个介绍MRS服务的云图说，可以MRS云图说。也可以到华为云MRS官方介绍页去看看。

---