存储服务器是一种主要负责存储和管理数据的服务器。这包括存储文件、备份数据以及为其他服务器和客户端提供数据访问等任务。存储服务器使用多种存储技术,例如直连存储(DAS)、网络附加存储(NAS)和存储区域网络(SAN)等。
计算服务器是主要负责处理数据的服务器。这包括运行应用程序、执行计算以及为其他服务器和客户端提供计算资源等任务。计算服务器可以有不同的形式,例如物理服务器、虚拟机或云实例。
存储服务器和计算服务器相互连接并协同工作以提供完整的解决方案。数据存储在存储服务器中,然后由计算服务器进行处理,然后将输出存储回存储服务器,依此类推。
存储服务器和计算服务器之间的确切关系可能因组织的具体需求而异,但一般来说,存储服务器用于存储和管理数据,而计算服务器用于处理和分析数据。
在许多情况下,单个服务器可以同时提供计算和存储功能,称为融合基础架构。这些服务器通常包括 CPU 和内存等计算资源,以及磁盘驱动器或 SSD 等存储资源,并且可以作为一个单元进行管理。
存储服务器和计算服务器都是用于支持不同类型工作负载的服务器类型,但它们具有不同的主要功能和特性。
相似之处:
存储服务器和计算服务器都是在网络环境中使用的服务器,它们使用标准网络协议与其他服务器和客户端进行通信。
存储服务器和计算服务器都是更大系统的一部分,该系统包括硬件、软件和网络基础设施。
存储服务器和计算服务器都可以具有内置的冗余和高可用性功能,以确保数据和服务的可用性。
区别:
存储服务器的主要功能是存储和管理数据,而计算服务器的主要功能是处理和分析数据。
存储服务器通常使用直连存储 (DAS)、网络附加存储 (NAS) 和存储区域网络 (SAN) 等存储技术来存储数据,而计算服务器则使用 CPU 和内存等计算技术来执行计算。
存储服务器用于长期存储数据,通常具有较大的存储容量;而计算服务器用于实时处理数据,通常具有多CPU、大内存等高性能硬件。
存储服务器针对数据保留、备份和数据可访问性进行了优化,而计算服务器针对计算能力进行了优化,例如高速 CPU、大内存和多核。
综上所述,存储服务器和计算服务器的主要区别在于它们的主要功能,存储服务器用于存储数据,计算服务器用于处理数据。它们共同提供了一个完整的解决方案,它们之间的具体关系楼主
您好,很高兴为您解答,在选择空间的时候,一定要很了解您的网站情况,根据您的网站情况才能确定使用多在的空间大小及空间类型的,一台服务器的容量由硬盘决定的,可以根据不同的需求来配置不同大小的硬盘
如果是公司企业产品展示类型的网站,虚拟主机或者VPS就可以了,一般公司网站空间在500M左右,以防上传资料空间不足,若是门户及商城类的网站,因为信息量大及多,尽量选择VPS或者服务器,一般VPS容量在20-40G不等,若您的网站是下载及影视音乐站,我建议您使用独立服务器,因为这种类型的网站对带宽及配置要求比较高,而虚拟主机及VPS配置和带宽都是共享的,不能满足用户需求
以上是个人观点,如果有相关方面的问题找我一,HDFS的基本特征与构架
1基本特征
(1)大规模数据分布存储能力:以分布式存储能力和良好的可扩展性。(基于大量分布节点上的本地文件系统,构建一个逻辑上具有巨大容量的分布式文件系统,并且整个文件系统的容量可随集群中节点的增加而线性扩展)
(2)高并发访问能力:提供很高的数据访问宽带(高数据吞吐率),并且可以把带宽的大小等比例扩展到集群中的全部节点上
(3)强大的容错能力:(设计理念中硬件故障被视作常态)保证在经常有节点发生硬件故障的情况下正确检测硬件故障,并且能自动从故障中快速恢复,确保数据不丢失(采用多副本数据块形式存储)
(4)顺序式文件访问:(大数据批处理都是大量简单数据记录的顺序处理)对顺序读进行了优化,支持大量数据的快速顺序读出,代价是对于随机的访问负载较高
(5)简单的一致性模型(一次写多次读):支持大量数据的一次写入,多次读取;不支持已写入数据的更新 *** 作,但允许在文件尾部添加新的数据
(6)数据块存储模式:默认的块大小是64MB。好处:减少元数据的数量,允许这些数据块通过随机方式选择节点,分布存储在不同地方
2基本框架与工作过程
(1)基本组成结构与文件访问过程
[1]HDFS;一个建立在一组分布式服务器节点的本地文件系统之上的分布式文件系统(采用经典主-从结构)
[2]主控节点NameNode:
1)是一个主服务器,用来管理整个文件系统的命名空间和元数据,以及处理来自外界的文件访问请求
2)保存了文件系统的三中元数据
命名空间:整个分布式文件系统的目录结构
数据块与文件名的映射表
每个数据块副本的位置信息,每一个数据块默认有3个副本
[3]从节点DataNode:
1)用来实际存储和管理文件的数据块
2)为了防止数据丢失,每个数据块默认有3个副本,且3个副本会分别复制在不同节点上,以避免一个节点失效造成一个数据块的彻底丢失
[4]程序访问文件时,实际文件数据流并不会通过NameNode传送,而是从NameNode获得所需访问数据块的存储位置信息后,直接去访问对应的DataNode获取数据
[5]设计好处:
1)可以允许一个文件的数据能同时在不同DataNode上并发访问,提高数据访问的速度
2)减少NameNode的负担,避免使NameNode成为数据访问瓶颈
[6]基本访问过程:
1)首先,用户的应用程序通过HDFS的客户端程序将文件名发送至NameNode
2)NameNode接收到文件名之后,在HDFS目录中检索文件名对应的数据块,再根据数据块信息找到保存数据块的DataNode地址,讲这些地址回送到客户端
3)客户端接收到这些DataNode地址之后,与这些DataNode并行的进行数据传输 *** 作,同时将 *** 作结果的相关日志提交到NameNode
2数据块
(1)为了提高硬盘的效率,文件系统中最小的数据读写单元是数据块
(2)HDFS数据块的默认大小是64MB,实际部署中,可能会更多
(3)将数据块设置大的原因是减少寻址开销的时间
(4)当应用发起数据传输请求:
[1]NameNode首先检索文件对应的数据块信息,找到数据块对应的DataNode
[2]DataNode根据数据块信息在自身的存储中寻找相应的文件,进而与应用程序之间交换数据
[3]因为检索过程是但进行,所以要增加数据块大小,这样就可以减少寻址的频度和时间开销
3命名空间
(1)文件命名遵循“目录/子目录/文件”格式
(2)通过命令行或者是API可以创建目录,并且将文件保存在目录中。可以对文件进行创建,删除,重命名 *** 作
(3)命令空间由NameNode管理。所有对命名空间的改动都会被记录
(4)允许用户配置文件在HDFS上保存的副本数量,保存的副本数称作“副本因子”
4通信协议
(1)采用TCP协议作为底层的支撑协议
(2)应用协议
[1]应用可以向NameNode主动发起TCP连接
[2]应用和NameNode交互协议称为Client协议
[3]NameNode和DataNode交互的协议称为DataNode协议
(3)用户和DataNode的交互是通过发起远程调用(RPC),并由NameNode响应来完成的。另外,NameNode不会主动发起远程过程调用请求
5客户端:是用户和HDFS通信最常见的渠道,部署的HDFS都会提供客户端
二,HDFS可靠性设计
1HDFS数据块多副本存储设计
(1)采用了在系统中保存多个副本的方式保存数据,且同一个数据块的多个副本会存放在不同节点上
(2)优点:
[1]采用多副本,可以让客户从不同数据块中读取数据,加快传输速度
[2]HDFS的DataNode之间通过网络传输数据,如果采用多个副本可以判断数据传输是否出错
[3]多副本可以保证某个DataNode失效的情况下,不会丢失数据
2可靠性的设计实现
(1)安全模式:
[1]HDFS启动时,NameNode进入安全模式
[2]处于安全模式的NameNode不能做任何文本 *** 作,甚至内部的副本创建不允许
[3]NameNode需要和各个DataNode通信,获得其中保存的数据块信息,并对数据块信息进行检查
[4]只有通过了NameNode检查,一个数据块被认为安全。当被认为安全的数据块所占比例达到某个阈值,NameNode退出
(2)SecondaryNmaeNode
[1]使用它来备份NameNode元数据,以便在其失效时能从中恢复出其上的元数据
[2]它充当NameNode的一个副本,本身并不处理任何请求。
[3]作用:周期性保存NameNode的元数据
(3)心跳包和副本重新创建
[1]心跳包:位于HDFS核心的NameNode,通过周期性的活动检查DataNode的活动
[2]检测到DataNode失效,保存在其上的数据不可用。则其上保存的副本需要重新创建这个副本,放到另外可用的地方
(4)数据一致性
[1]采用了数据校验和机制
[2]创建文件时,HDFS会为这个文件生成一个校验和,校验和文件和文件本身保存在同一空间上,
[3]传输数据时会将数据与校验和一起传输,应用收到数据后可以进行校验
(5)租约
[1]防止同一个文件被多个人写入数据
[2]NameNode保证同一个文件只会发放一个允许的租约,可以有效防止出现多人写入的情况
(6)回滚
三,HDFS文件存储组织与读写
1文件数据的存储组织
(1)NameNode目录结构
[1]借助本地文件系统来保存数据,保存文件夹位置由配置选项({dfsnamedir}/{/tmp/dfs/name})决定
[2]在NameNode的${dfsnamedir}之下有3个文件夹和1个文件:
1)current目录:
文件VERSION:保存了当前运行的HDFS版本信息
FsImages:是整个系统的空间镜像文件
Edit:EditLog编辑文件
Fstime:上一次检查点时间
2)previouscheckpoint目录:和上一个一致,但是保存的是上一次检查点的内容
3)image目录:旧版本的FsImage存储位置
4)in_uselook:NameNode锁,只在NameNode有效(启动并且能和DataNode正常交互)时存在。
(2)DataNode目录结构
[1]借助本地文件系统来保存数据。保存文件夹位置由配置选项{dfsdatadir}决定
[2]在其之下有4个子目录和2个文件
1)current目录:已经成功写入的数据块,以及一些系统需要的文件
a)文件VERSION:保存了当前运行的HDFS版本信息
b)subdirXX:当同一目录下文件超过一定限制,新建一个目录,保存多出来的数据块和元数据
2)tmp目录和blockBeingWritten目录:正在写入的数据块,是HDFS系统内部副本创建时引发的写入 *** 作对应的数据块
3)detach目录:用于DataNode升级
4)Storage目录:防止版本不同带来风险
5)in_userlock文件:DataNode锁。只有在DataNode有效时存在。
(3)CheckPointNode目录结构:和上一个基本一致
2数据的读写过程
(1)数据读取过程
[1]首先,客户端调用FileSystem实例的open方法,获得这个文件对应的输入流,在HDFS中就是DFSInputStream
[2]构造第一步的输入流时,通过RPC远程调用NameNode可以获得NameNode中此文件对应的数据块保存位置,包括这个文件副本的保存位置(注:在输入流中会按照网络拓扑结构,根据与客户端距离对DataNode进行简单排序)
[3]-[4]获得此输入流后,客户端调用READ方法读取数据。输入流选择最近的DFSInputStream会根据前面的排序结果,选择最近的DataNode建立连接并读取数据。
[5]如果已达到数据块末端,关闭这个DataNode的连接,然后重新查找下一个数据块
[6]客户端调用close,关闭输入流DFSInputStream
(2)数据输入过程
[1]-[2]:客户端调用FileSystem实例的create方法,创建文件。检查后,在NameNode添加文件信息,创建结束之后,HDFS会返回一个输出流DFSDataOutputStream给客户端
[3]调用输出流的write方法向HDFS中对应的文件写入数据。
数据首先会被分包,这些分包会写入一个输出流的内部队列Data队列中,接收完整数据分包,输出流回想NameNode申请保存文件和副本数据块的若干个DataNode
[4]DFSDataOutputStream会(根据网络拓扑结构排序)将数据传输给距离上最短的DataNode,这个节点接收到数据包后传给下一个。数据在各节点之间通过管道流通,减少传输开销
[5]数据节点位于不同机器上,数据需要通过网络发送。(为保证数据节点数据正确,接收到数据的节点要向发送者发送确认包)
[6]执行3-5知道数据全部写完,DFSDataInputStream继续等待知道所有数据写入完毕并确认,调用complete方法通知NameNode文件写入完成
[7]NameNode接收到complete消息之后,等待相应数量的副本写入完毕后,告知客户端
传输过程,当某个DataNode失效,HDFS执行:
1)关闭数据传输的管道
2)将等待ACK队列的数据放到Data队列头部
3)更新正常DataNode中所有数据块版本。当失效的DataNode重启,之前的数据块会因为版本不对被清除
4)在传输管道中删除失效的DataNode,重新建立管道并发送数据包
4HDFS文件系统 *** 作命令
(1)HDFS启动与关闭
[1]启动过程:
1)进入到NameNode对应节点的Hadoop安装目录
2)执行启动脚本:bin/start-dfssh
[2]关闭过程:bin/stop-dfssh
(2)文件 *** 作命令格式与注意事项
[1]基本命令格式:
1)bin/hadoop dfs-cmd <args> args-> scheme://authority/path
2)args参数基本格式前面是scheme,authority是机器地址和对应端口
a)本地文件,scheme是file
b)HDFS上文件,scheme是hdfs
(3)文件 *** 作基本格式
[1]hadoop dfs-cat URL [URL ]
[2]作用:将参数所指示文件内容输出到stdout组成不同,用途不同,性质不同。
1、组成不同:磁盘阵列通过把数据放在多个硬盘上,输入输出 *** 作能以平衡的方式交叠,改良性能。因为多个硬盘增加了平均故障间隔时间(MTBF),储存冗余数据也增加了容错。存储服务器通常是独立的单元。有的时候它们会被设计成4U机架式。或者也可以由两个箱子组成一个存储单元以及一个位于附近的服务器。
2、用途不同:存储服务器用于提供存储数据的服务。RAID技术用于高了数据存取速度、实现了对数据的冗余保护。
3、性质不同:磁盘阵列是一种方法,存储服务器是物理设备。独立磁盘冗余阵列(RAID)是把相同的数据存储在多个硬盘的不同的地方的方法。存储服务器是指为特定目标而设计,因此配置方式也不同。它可能是拥有一点额外的存储,也可能拥有很大的存储空间的服务器。Windows Server 2012 R2供给非常丰富的新增和增强功用和特性,规模掩盖服务器虚拟化、存储、软件界说网络、服务器办理和自动化、Web和应用程序渠道、拜访和信息保护、虚拟桌面根底结构等。win2012 server r2的文件服务器高可用装备能够协助用户在一台服务器宕机的时分,另一台能够持续为用户服务。
1、首先装置“DFS复制”与“DFS命名空间”,点击“下一步”,断定挑选内容项;
2、装置完结,点击“封闭”,点击“工具”挑选“DFS Management”;
3、右击“命名空间”挑选“新建命名空间(N)”,指定命名空间服务器的核算机名,下一步,点击“创立”;
4、如果在完成高可用一台DFS服务器是不行的,这时分需求再增加一台服务器,右击新建的命名空间,点击“增加命名空间服务器(N)”,经过编辑设置能够设置权限,点击“断定”
5、这时分咱们来拜访一下同享一下,能够正常拜访,装备成功。分布式文件系统(DFS,Distributed File System)是文件服务非常重要的一个功能,DFS使用户更加容易访问和管理物理上跨网络分布的文件。
通过DFS,可以将同一网络中的不同计算机上的共享文件夹组织起来,形成一个单独的、逻辑的、层次式的共享文件系统。
在文件服务中直接添加DFS分布式文件系统即可
打开服务器管理可以看到文件服务多了DFS管理右键命名空间,可以打开新建命名空间向导来新建命名空间服务器。
接着是命名空间的名字
系统默认会在C盘新建一个名为DFSRoots的共享文件夹,点击编辑,可以手动设置共享文件夹的本地路径和共享文件夹的访问权限
我们主要研究的是基于域环境的命名空间选择第一项就可以了,
默认命名空间的类型是windows server 2000模式,如果启用
windows server 2008模式的话可以支持基于访问权限的枚举和增强可伸缩性
但是林功能级别必须windows server2003及以上并且域功能必须是windows server 2008
及以上才能够支持这个功能的启用。
点击创建就可以,自动创建域命名空间了!
打开DFS管理变可以看到我们新建的命名服务器了
可以手动添加服务器上已经共享的文件夹统一到命名空间,手动分别在C盘和D盘手动创建
共享文件--测试、测试2,
然后在命名空间根域选择新建文件夹,点击添加,服务器会自动显示已经共享的文件夹供我们添加。
创建好以后可以看到我们的根域下面多了两个命名空间
接着用客户机打开根域,确定是可以访问命名空间共享的,说明我们的创建是没问题的。
这样就可以很方便的将零散的共享集合起来,方便用户访问!
关于DFS默认只有域管理组的可以管理,可以手动指派用户和组来管理,比如添加CC用户。
最后说一下关于基于域的命名空间和独立命名空间有什么差别!
独立命名空间存储他们在主机服务器注册表中的配置信息。
基于域的命名空间存储在活动目录数据库中的信息。
这个区别影响连接到DFS根的根目标数量。
独立DFS根只能包含一个单一根目标,而基于域的DFS根只包含通过多个服务器分离的多个根目标。
本文出自 “紫柒” 博客,请务必保留此出处
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)