HDFS 架构

HDFS 架构,第1张

HDFS 涉及两个重要进程:NameNode、DataNode。
他们一般都部署单独部署在不同服务器上,运行 NameNode 的服务器是主服务器,运行 DataNode 的服务器是从服务器。主服务器只有一个,从服务器有多个。
这种一主多从的架构基本适用于所有分布式系统或框架。可重复使用的架构方案叫作架构模式,一主多从可谓是大数据领域的最主要的架构模式。主服务器只有一台,掌控全局。从服务器有很多台,负责具体的事情。这样很多台服务器可以有效组织起来,对外表现出一个统一又强大的存储计算能力。

DataNode 负责文件数据的存储和读写 *** 作,HDFS 将文件数据分割成若干数据块(Block),每个 DataNode 存储一部分数据块,这样文件就分布存储在整个 HDFS 服务器集群中。应用程序客户端(Client)可以并行对这些数据块进行访问,从而使得 HDFS 可以在服务器集群规模上实现数据并行访问,极大地提高了访问速度。

在实践中,HDFS 集群的 DataNode 服务器会有很多台,一般在几百台到几千台这样的规模,每台服务器配有数块磁盘,整个集群的存储容量大概在几 PB 到数百 PB。

NameNode 负责整个分布式文件系统的元数据(MetaData)管理,也就是文件路径名、数据块的 ID 以及存储位置等信息,相当于 *** 作系统中文件分配表(FAT)的角色。HDFS 为了保证数据的高可用,会将一个数据块复制为多份(默认3份),并将多份相同的数据块存储在不同的机架的服务器上。这样当有磁盘损坏,或者某个 DataNode 服务器宕机,甚至某个交换机宕机时,系统能通过其备份的数据块进行查找。

处理客户端的请求。

客户端向 HDFS 上传文件。

客户端向 HDFS 读取文件。

像 NameNode 这样主从服务器管理同一份数据的场景,如果从服务器错误地以为主服务器宕机而接管集群管理,会出现主从服务器一起对 DataNode 发送指令,进而导致集群混乱,也就是所谓的“脑裂”。这也是这类场景选举主服务器时,引入 ZooKeeper 的原因。

你好我来解答下你的问题
你的理解基本上是正确的服务器的硬盘大小决定了你所能放置的网站数据的多少但是一个网站需要多大的服务器空间这个就没有固定的标准了而是与网站的类型与规模有关一般情况下如果放小型的个人网站或者是企业网站有几百M的容量就够用了但如果是下载站或者是网站的话可能需要几百G或者上千G的空间容量现在服务器默认配置的硬盘一般都是320G以上如果有需要更大容量的也可以换硬盘
海腾数据杨闯为我解答希望以上回答对你有帮助若有服务器相关问题需要帮忙的可以来找我

服务器标准电源没有特别的标准,每个厂商都会按照机器的最大配置来配电源的。

服务器电源一般在750W以上,常见的种类为750W,800W,950W,1000W及1200W。

扩展资料

服务器电源就是指使用在服务器上的电源(POWER),它和PC(个人电脑)电源一样,都是一种开关电源。服务器电源按照标准可以分为ATX电源和SSI电源两种。ATX标准使用较为普遍,主要用于台式机、工作站和低端服务器;而SSI标准是随着服务器技术的发展而产生的,适用于各种档次的服务器。

在购买服务器时要注意一下本机电源,起码应该关注如下两点:

1电源的品质,包括输出功率、效率、纹波噪音、时序、保护电路等指标是否达标或者满足需要;

2注意电源生产厂家的信誉、规模和支持力度,信誉比较好、规模较大、支持及时的厂家,比如台达、全汉、新巨等等,一般质量较可靠,在性价比方面也会好很多。

电源指标:

功率的选择:市场上常见的是300W和400W两种,对于个人用户来说选用300W的已经够用,而对于服务器来说,因为要面临升级以及不断增加的磁盘阵列,就需要更大的功率支持它,为此使用400W电源应该是比较合适的。

安规认证:只有严格地考虑到产品品质、消费者的安全、健康等因素,对产品按不同的标准进行严格的检测,才能通过国际合格认证,安规认证是我们选购电源的重要指标,这应该是我们选择电源时最重要的一点。因为它关系着我们的安全和健康。不好的电源噪声很大,对人的身体有影响。在这方面省下几百块钱是得不偿失的。电源都要求通过3C认证。(3C认证是"中国国家强制性产品认证(China Compulsory Cerlification)"的简称。实际上是将CCEE(中国电子电工产品安全认证)、CCIB(中国进口电子产品安全认证)、EMC(电磁兼容性认证)三证合一,在2003年5月1日后强制执行3C认证。)

电压保持时间:对于这个参数主要是考虑UPS的问题,一般的电源都能满足需要,但是如果UPS质量不可靠的话,最好选一个电压保持时间长的电源。

冗余电源选择:这主要针对对系统稳定性要求比较高的服务器,冗余一般有二重冗余和三重冗余。

参考资料来源:百度百科:服务器电源

1PB=1024TB=1,125,899,906,842,624(2的50次方)字节(Byte)。

Petabyte(PB)=1024TB相当于50%的全美学术研究图书馆藏书资讯内容。

1KB (Kilobyte 千字节)=1024B,1MB (Megabyte 兆字节 简称“兆”)=1024KB;1GB (Gigabyte 吉字节 又称“千兆”)=1024MB,1TB (Terabyte 万亿字节 太字节)=1024GB,其中1024=2^10 ( 2 的10次方);1PB(Petabyte 千万亿字节 拍字节)=1024TB,1EB(Exabyte 百亿亿字节 艾字节)=1024PB,

1ZB (Zettabyte 十万亿亿字节 泽字节)= 1024 EB,1YB (Yottabyte 一亿亿亿字节 尧字节)= 1024 ZB;1BB (Brontobyte 一千亿亿亿字节)= 1024 YB

扩展资料:


一般来说数字、字母、英文符号占1Byte,汉字以及中文符号占2Byte。

2009年09月30日 阿尔卡特-朗讯宣布,旗下贝尔实验室的科学家们最近将光传输的速度首次提高到了100Pb/s以上(1Pb=1024Tb),在7000多千米的距离上每秒钟传送了相当于大约400部DVD**的数据,约等于从法国巴黎横跨大西洋到达美国芝加哥。

这是迄今为止跨洋光传输的最高速度记录,比当今最高级的商用海底电缆快了十倍之多。

参考资料:

百度百科——pb


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13311709.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-12
下一篇 2023-07-12

发表评论

登录后才能评论

评论列表(0条)

保存