分散式、集中式和分布式。

分散式、集中式和分布式。,第1张

1、分散式

分散式,顾名思义,用户只负责管理自己的计算机系统,各自独立的系统之间没有资源或信息

的交换或共享。

这样的缺点就是数据容易造成重复存储,不仅如此,人手一份的数据很容易造成数据的不一致

性,同时造成硬件、支持和运营维护等成本的大量增加。故而,早早退出历史舞台。

2、集中式

在集中式环境中,用一台计算机保存一个企业组织的全部数据,而用户则通过终端(包含键盘

和显示器的端设备,通过通信链路发送和接收数据)连接到这台计算机系统并与之通信,从而达到

访问数据的目的。

集中式的优点在于控制成本低,实现了数据共享以及消除了数据的冗余和不一致性。但其缺点

亦是十分明显的,那就是一旦存储数据的主机挂掉了,所有数据将难以访问,所有系统陷于瘫痪,

岂不日了狗了。

3、分布式

(将一个系统拆分成多个子系统并散布到不同设备,通过通信协议连接起来)

分布式属于分散式和集中式的混合,它由一个又一个连接起来的独立计算机组成。分布式系统

与计算机网络的主要区别是,分布式环境中资源以透明的方式供用户使用。啥意思呢?例如当用户

打开并编译某一个文件时,无需知道其出身于何处,用起来就像是自己的一样。而在网络环境中,

用户必须知道哪台远程主机保存该文件,然后找到该远程主机与之建立连接,再传送该文件到本地

主机进行编并段耐辑。

分布式系统是网络的一种特例,它与计算机网络的主要不同是软件而不是硬件。

4、分散式、集中式以及分布式三种模式的描述

例如:我所工作的地方是一个软件园绝春中的一座大楼,而这座大楼的整个温度调节问题由某一物业

公司搞定。现在,摆在他们面前存在多种选择方案。

第一种:分散式,即大楼中的各个公司自己决定温度如何控制,当然也可以选择啥也不做。这样

就会导致各个楼层的温度有较大差别,对于物业而言,也很难管理。

第二种:集中燃陆式,即物业决定温度。这样以来,物业轻松了,而各个楼层的办公人员就要哭了。

第三种:分布式,即物业和办公人员都具有一定的温度调节能力。

数据库与hadoop与分布式文件系统的区别和联系

1. 用向外扩展代替向上扩展

扩展商用关系型数据库的代价是非常昂贵的。它们的设计更容易向上扩展。要运行一个更大

的数据库,就需要买一个更大的机器。事实上,往往会看到服务器厂商在市场上将其昂贵的高端机

标称为“数据库级的服务器”。不过有时可能需要处理更大的数据集,却找不到一个足够大的机器。

更重要的是,高端的机器对于许多应用并不经济。例如,性能4倍于标准PC的机器,其成本将大大

超过将同样的4台PC放在一个集群中。Hadoop的设计就是为了能够在商用PC集群上实现向外扩展

的架构。添加更多的资源,对于Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至

数百台计算机。事实上,如果不是为了开发目的,没有理由在单个服务器上运行Hadoop。

2. 用键/值对代替关系表

关系数据库的一个基本原则是让数据按某种模式存放在具有关系型数据结构的表中。虽然关

系模型具有大量形式化的属性,但是许多当前的应用所处理的数据类型并不能很好地适合这个模

型。文本、图片和XML文件是最典型的例子。此外,大型数据集往往是非结构化或半结构化的。

Hadoop使用键/值对作为基本数据单元,可足够灵活地处理较少结构化的数据类型。在hadoop中,

数据的来源可以有任何形式,但最终会转化为键/值对以供处理。

3. 用函数式编程(MapReduce)代替声明式查询(SQL )

SQL 从根本上说是一个高级声明式语言。查询数据的手段是,声明想要的查询结果并让数据库引擎

判定如何获取数据。在MapReduce中,实际的数据处理步骤是由你指定的,它很类似于SQL

引擎的一个执行计划。SQL 使用查询语句,而MapReduce则使用脚本和代码。利用MapReduce可

以用比SQL 查询更为一般化的数据处理方式。例如,你可以建立复杂的数据统计模型,或者改变

图像数据的格式。而SQL 就不能很好地适应这些任务。

4.

分布式文件系统(dfs)和分布式数据库都支持存入,取出和删除。但是分布式文件系统比较暴力,

可以当做key/value的存取。分布式数据库涉及精炼的数据,传统的分布式关系型数据库会定义数据元

组的schema,存入取出删除的粒度较小。

分布式文件系统现在比较出名的有GFS(未开源),HDFS(Hadoop distributed file system)。

分布式数据库现在出名的有Hbase,oceanbase。其中Hbase是基于HDFS,而oceanbase是自己内部

实现的分布式文件系统,在此也可以说分布式数据库以分布式文件系统做备碧乎基础存储。

共享文件与分布式文件系统的区别

分布式文件系统(Distributed File System,DFS)

如果局域网中有多台服务器,并且共享文件夹也分布在不同的服务器上,这就不慧运利于管理员的管理和用户的访问。而使用分布式文件系统,系统管理员就可以把不同服务器上的共享文件夹组织在一起,构建成一个目录树。这在用户看来,所有共享文件仅存储在一个地点,只需访问一个共享的DFS根目录,就能够访问分布在网络上的文件或文件夹,而不必知道这些文件的实际物理位置。

ftp server和分布式文件系统的区别

换个思路,使用mount --bind把目录加载过来就可以了 先将数据盘挂载 mount /dev/sdb1 /mnt/d 在ftp目录下建一个文件夹data mount --bind /mnt/d data

FTP server和分布式文件系统的区别, 分布式文件系统和分布式数据库有什么不同

分布式文件系统(dfs)和分布式数据库都支持存入,取出和删除。但是分布式文件系统比较暴力,可以当做key/value的存取。分布式数据库涉及精炼的数据,传统的分布式关系型数据库会定义数据元组的schema,存入取出删除的粒度较小。

分布式文件系统现在比较出名的有GFS(未开源),HDFS(Hadoop distributed file system)。分布式数据库现在出名的有Hbase,oceanbase。其中仿悉Hbase是基于HDFS,而oceanbase是自己内部实现的分布式文件系统,在此也可以说分布式数据库以分布式文件系统做基础存储。

hadoop是分布式文件系统吗

是的

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统。

1.分布式文件系统

多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统。

分布式文件系统是分布式系统的一个子集,它们解决的问题就是数据存储。换句话说,它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。

分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理来自网络和其它地方的超大规模数据提供所需的扩展能力。

2.分离元数据和数据:NameNode和DataNode

存储到文件系统中的每个文件都有相关联的元数据。元数据包括了文件名、i节点(inode)数、数据块位置等,而数据则是文件的实际内容。

在传统的文件系统里,因为文件系统不会跨越多台机器,元数据和数据存储在同一台机器上。

为了构建一个分布式文件系统,让客户端在这种系统中使用简单,并且不需要知道其他客户端的活动,那么元数据需要在客户端以外维护。HDFS的设计理念是拿出一台或多台机器来保存元数据,并让剩下的机器来保存文件的内容。

NameNode和DataNode是HDFS的两个主要组件。其中,元数据存储在NameNode上,而数据存储在DataNode的集群上。NameNode不仅要管理存储在HDFS上内容的元数据,而且要记录一些事情,比如哪些节点是集群的一部分,某个文件有几份副本等。它还要决定当集群的节点宕机或者数据副本丢失的时候系统需要做什么。

存储在HDFS上的每份数据片有多份副本(replica)保存在不同的服务器上。在本质上,NameNode是HDFS的Master(主服务器),DataNode是Slave(从服务器)。

文件系统与数据库系统的区别和联系

其区别在于:

(1)

文件系统用文件将数据长期保存在外存上,数

据库系统用数据库统一存储数据。

(2)

文件系统中的程序和数据有一

定的联系,数据库系统中的程序和数据分离。

(3)

文件系统用 *** 作系

统中的存取方法对数据进行管理,数据库系统用

DBMS

统一管理和控

制数据。

(4)

文件系统实现以文件为单位的数据共享,数据库系统实

现以记录和字段为单位的数据共享。

其联系在于:

(1)

均为数据组织的管理技术。

(2)

均由数据管理软

件管理数据,程序与数据之间用存取方法进行转换。

(3)

数据库系统

是在文件系统的基础上发展而来的。

数据库系统和文件系统的区别与联系

文件系统和数据库系统之间的区别:

(1) 文件系统用文件将数据长期保存在外存上,数据库系统用数据库统一存储数据;

(2) 文件系统中的程序和数据有一定的联系,数据库系统中的程序和数据分离;

(3) 文件系统用 *** 作系统中的存取方法对数据进行管理,数据库系统用DBMS统一管理和控制数据;

(4) 文件系统实现以文件为单位的数据共享,数据库系统实现以记录和字段为单位的数据共享。

文件系统和数据库系统之间的联系:

(1) 均为数据组织的管理技术;

(2) 均由数据管理软件管理数据,程序与数据之间用存取方法进行转换;

(3) 数据库系统是在文件系统的基础上发展而来的。

什么是Hadoop分布式文件系统

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。

Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统,与MapReduce和Google档案系统的概念类似。

HDFS(Hadoop 分布式文件系统)是其中的一部分。

一台一台的电脑上你都装好了hadoop,每台电脑有相同的用户名,密码。饥租然后其中一台电脑作为master其余电脑作为slave(这个要在安装hadoop后进行配置)。在master这台电脑上启动hadoop,其余的电脑也就都跟着启动了。这样当你把文件导入到hadoop的时候,这个文件是分布的存储在你的这些hadoop电脑上的,至于怎么存,存在哪几台电脑,我们是不需要关心的,会自动给桥敏我们处理。这就是所谓的hadoop分布敏肢枝式文件系统。希望能帮到你~~~:)


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/12147616.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-21
下一篇 2023-05-21

发表评论

登录后才能评论

评论列表(0条)

保存