数据库与hadoop与分布式文件系统的区别和联系

数据库与hadoop与分布式文件系统的区别和联系

1 用向外扩展代替向上扩展

扩展商用关系型数据库的代价是非常昂贵的。它们的设计更容易向上扩展。要运行一个更大

的数据库，就需要买一个更大的机器。事实上，往往会看到服务器厂商在市场上将其昂贵的高端机

标称为“数据库级的服务器”。不过有时可能需要处理更大的数据集，却找不到一个足够大的机器。

更重要的是，高端的机器对于许多应用并不经济。例如，性能4倍于标准PC的机器，其成本将大大

超过将同样的4台PC放在一个集群中。Hadoop的设计就是为了能够在商用PC集群上实现向外扩展

的架构。添加更多的资源，对于Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至

数百台计算机。事实上，如果不是为了开发目的，没有理由在单个服务器上运行Hadoop。

2 用键/值对代替关系表

关系数据库的一个基本原则是让数据按某种模式存放在具有关系型数据结构的表中。虽然关

系模型具有大量形式化的属性，但是许多当前的应用所处理的数据类型并不能很好地适合这个模

型。文本、和XML文件是最典型的例子。此外，大型数据集往往是非结构化或半结构化的。

Hadoop使用键/值对作为基本数据单元，可足够灵活地处理较少结构化的数据类型。在hadoop中，

数据的来源可以有任何形式，但最终会转化为键/值对以供处理。

3 用函数式编程（MapReduce）代替声明式查询（SQL ）

SQL 从根本上说是一个高级声明式语言。查询数据的手段是，声明想要的查询结果并让数据库引擎

判定如何获取数据。在MapReduce中，实际的数据处理步骤是由你指定的，它很类似于SQL

引擎的一个执行计划。SQL 使用查询语句，而MapReduce则使用脚本和代码。利用MapReduce可

以用比SQL 查询更为一般化的数据处理方式。例如，你可以建立复杂的数据统计模型，或者改变

图像数据的格式。而SQL 就不能很好地适应这些任务。

4

分布式文件系统（dfs）和分布式数据库都支持存入，取出和删除。但是分布式文件系统比较暴力，

可以当做key/value的存取。分布式数据库涉及精炼的数据，传统的分布式关系型数据库会定义数据元

组的schema，存入取出删除的粒度较小。

分布式文件系统现在比较出名的有GFS（未开源），HDFS（Hadoop distributed file system）。

分布式数据库现在出名的有Hbase，oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部

实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。

共享文件与分布式文件系统的区别

分布式文件系统(Distributed File System，DFS)

如果局域网中有多台服务器，并且共享文件夹也分布在不同的服务器上，这就不利于管理员的管理和用户的访问。而使用分布式文件系统,系统管理员就可以把不同服务器上的共享文件夹组织在一起，构建成一个目录树。这在用户看来，所有共享文件仅存储在一个地点，只需访问一个共享的DFS根目录，就能够访问分布在网络上的文件或文件夹，而不必知道这些文件的实际物理位置。

ftp server和分布式文件系统的区别

换个思路，使用mount --bind把目录加载过来就可以了 先将数据盘挂载 mount /dev/sdb1 /mnt/d 在ftp目录下建一个文件夹data mount --bind /mnt/d data

FTP server和分布式文件系统的区别, 分布式文件系统和分布式数据库有什么不同

分布式文件系统（dfs）和分布式数据库都支持存入，取出和删除。但是分布式文件系统比较暴力，可以当做key/value的存取。分布式数据库涉及精炼的数据，传统的分布式关系型数据库会定义数据元组的schema，存入取出删除的粒度较小。

分布式文件系统现在比较出名的有GFS（未开源），HDFS（Hadoop distributed file system）。分布式数据库现在出名的有Hbase，oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。

hadoop是分布式文件系统吗

是的

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。

1分布式文件系统

多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。

分布式文件系统是分布式系统的一个子集，它们解决的问题就是数据存储。换句话说，它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。

分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理来自网络和其它地方的超大规模数据提供所需的扩展能力。

2分离元数据和数据：NameNode和DataNode

存储到文件系统中的每个文件都有相关联的元数据。元数据包括了文件名、i节点(inode)数、数据块位置等，而数据则是文件的实际内容。

在传统的文件系统里，因为文件系统不会跨越多台机器，元数据和数据存储在同一台机器上。

为了构建一个分布式文件系统，让客户端在这种系统中使用简单，并且不需要知道其他客户端的活动，那幺元数据需要在客户端以外维护。HDFS的设计理念是拿出一台或多台机器来保存元数据，并让剩下的机器来保存文件的内容。

NameNode和DataNode是HDFS的两个主要组件。其中，元数据存储在NameNode上，而数据存储在DataNode的集群上。NameNode不仅要管理存储在HDFS上内容的元数据，而且要记录一些事情，比如哪些节点是集群的一部分，某个文件有几份副本等。它还要决定当集群的节点宕机或者数据副本丢失的时候系统需要做什么。

存储在HDFS上的每份数据片有多份副本(replica)保存在不同的服务器上。在本质上，NameNode是HDFS的Master(主服务器)，DataNode是Slave(从服务器)。

文件系统与数据库系统的区别和联系

其区别在于：

(1)

文件系统用文件将数据长期保存在外存上，数

据库系统用数据库统一存储数据。

(2)

文件系统中的程序和数据有一

定的联系，数据库系统中的程序和数据分离。

(3)

文件系统用 *** 作系

统中的存取方法对数据进行管理，数据库系统用

DBMS

统一管理和控

制数据。

(4)

文件系统实现以文件为单位的数据共享，数据库系统实

现以记录和字段为单位的数据共享。

其联系在于：

(1)

均为数据组织的管理技术。

(2)

均由数据管理软

件管理数据，程序与数据之间用存取方法进行转换。

(3)

数据库系统

是在文件系统的基础上发展而来的。

数据库系统和文件系统的区别与联系

文件系统和数据库系统之间的区别：

（1） 文件系统用文件将数据长期保存在外存上，数据库系统用数据库统一存储数据；

（2） 文件系统中的程序和数据有一定的联系，数据库系统中的程序和数据分离；

（3） 文件系统用 *** 作系统中的存取方法对数据进行管理，数据库系统用DBMS统一管理和控制数据；

（4） 文件系统实现以文件为单位的数据共享，数据库系统实现以记录和字段为单位的数据共享。

文件系统和数据库系统之间的联系：

（1） 均为数据组织的管理技术；

（2） 均由数据管理软件管理数据，程序与数据之间用存取方法进行转换；

（3） 数据库系统是在文件系统的基础上发展而来的。

什么是Hadoop分布式文件系统

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统，与MapReduce和Google档案系统的概念类似。

HDFS（Hadoop 分布式文件系统）是其中的一部分。

分部式数据库是数据库的一种，是数据库技术和网络技术的结合产物各有优点和缺点分布式数据库分为逻辑上分部物理上分布及逻辑上分布物理上集中两种 是的,分布式数据文件便于数据库的管理维护

分部式数据库是数据库的一种，是数据库技术和网络技术的结合产物各有优点和缺点分布式数据库分为逻辑上分部物理上分布及逻辑上分布物理上集中两种 是的,分布式数据文件便于数据库的管理维护

分部式数据库是数据库的一种，是数据库技术和网络技术的结合产物各有优点和缺点分布式数据库分为逻辑上分部物理上分布及逻辑上分布物理上集中两种是的,分布式数据文件便于数据库的管理维护

分部式数据库是数据库的一种，是数据库技术和网络技术的结合产物各有优点和缺点分布式数据库分为逻辑上分部物理上分布及逻辑上分布物理上集中两种是的,分布式数据文件便于数据库的管理维护

一个分布式数据库在用户面前为单个逻辑数据库，但实际上是由存储在多台计算机上的一组数据库组成

在几台计算机上的数据库通过网络可同时修改和存取，每一数据库受它的局部的DBMS控制

分布式数据库中每一个数据库服务器合作地维护全局数据库的一致性

在系统中的每一台计算机称为结点

如果一结点具有管理数据库软件，该结点称为数据库服务器

如果一个结点为请求服务器的信息的一应用，该结点称为客户

在ORACLE客户，执行数据库应用，可存取数据信息和与用户交互

在服务器，执行ORACLE软件，处理对ORACLE数据库并发、共享数据存取

ORACLE允许上述两部分在同一台计算机上，但当客户部分和服务器部分是由网连接的不同计算机上时，更有效

分布处理是由多台处理机分担单个任务的处理

在ORACLE数据库系统中分布处理的例子如：客户和服务器是位于网络连接的不同计算机上

单台计算机上有多个处理器，不同处理器分别执行客户应用

SQLNET是ORACLE网络接口，允许运行在网络工作站的ORACLE工具和服务器上，可存取、修改、共享和存储在其它服务器上的数据

SAQLNET可被认为是网络通信的程序接口

SQLNET利用通信协议和应用程序接口（API）为OARCLE提供一个分布式数据库和分布处理

SQLNET驱动器为在数据库服务器上运行的ORACLE进程与ORACLE工具的用户进程之间提供一个接口

参与分布式数据库的每一服务器是分别地独立地管理数据库，好像每一数据库不是网络化的数据库

每一个数据库独立地被管理，称为场地自治性

场地自治性有下列好处：◆系统的结点可反映公司的逻辑组织

◆由局部数据库管理员控制局部数据，这样每一个数据库管理员责任域要小一些，可更好管理

◆只要一个数据库和网络是可用，那么全局数据库可部分可用

不会因一个数据库的故障而停止全部 *** 作或引起性能瓶颈

◆故障恢复通常在单个结点上进行

◆每个局部数据库存在一个数据字典

◆结点可独立地升级软件

可从分布式数据库的所有结点存取模式对象，因此正像非分布的局部的DBMS，必须提供一种机制，可在局部数据库中引用一个对象

分布式DBMS必须提供一种命名模式，以致分布式数据库中一个对象可在应用中唯一标识和引用

一般彩在层次结构的每一层实施唯一性

分布式DVMS简单地扩充层次命名模型，实施在网络上唯一数据库命名

因此一个对象的全局对象名保证在分布式数据库内是唯一

ORACLE允许在SQL语句中使用佤对象名引用分布式数据库中的模式对象（表、视图和过程）

在ORACLE中，一个模式对象的全局名由三部分组成：包含对象的模式名、对象名、数据库名、其形式如：SCOTT

EMP@SALES

DIVISION3

ACME

COM其中SCOTT为模式名,EMP为表名,@符号之后为数据库名

一个远程查询为一查询,是从一个或多个远程表中选择信息,这些表驻留在同一个远程结点

一个分布式查询可从两个或多个结点检索数据

一个分布式更新可修改两个或两个以上结点的数据

一个远程事务为一个事务,包含一人或多个远程语句,它所引用的全部是在同一个远程结点上

一个分布式事务中一个事务,包含一个或多个语句修改分布式数据库的两个或多个不同结点的数据

在分布式数据库中,事务控制必须在网络上直辖市,保证数据一致性

两阶段提交机制保证参与分布式事务的全部数据库服务器是全部提交或全部回滚事务中的语句

ORACLE分布式数据库系统结构可由ORACLE数据库管理员为终端用户和应用提供位置透明性,利用视图、同义词、过程可提供ORACLE分布式数据库系统中的位置透明性

ORACLE允许在SELECT(查询)、INSERT、UPDATE、DELETE、SELECTFORUPDATE和LOCKTABLE语句中引用远程数据

对于查询，包含有连接、聚合、子查询和SELECTFORUPDATE，可引用本地的、远程的表和视图

对于UPDATE、INSERT、DELETE和LOCKTABLE语句可引用本地的和远程的表

注意在引用LONG和LONGRAW列、序列、修改表和封锁表时，必须位于同一个结点

ORACLE不允许作远程DDL语句

在单场地或分布式数据库中，所有事务都是用COMMIT或ROLLBACK语句中止

ORACLE提供两种机制实现分布式数据库中表重复的透明性：表快照提供异步的表重复；触发器实现同步的表的重复

在两种情况下，都实现了对表重复的透明性

（1） 应用目标不同。并行数据库系统的目标是充分发挥并行计算机的优势，利用系统中的各个处理机结点并行完成数据库任务，提高数据库系统的整体性能。分布式数据库系统主要目的在于实现场地自治和数据的全局透明共享，而不要求利用网络中的各个结点来提高系统处理性能。

（2） 实现方式不同。在具体实现方法上，并行数据库系统与分布式数据库系统也有着较大的不同。在并行数据库系统中，为了充分利用各个结点的处理能力，各结点间可以采用高速网络连接。结点键的数据传输代价相对较低，当某些结点处于空闲状态时，可以将工作负载过大的结点上的部分任务通过高速网传送给空闲结点处理，从而实现系统的负载平衡。

但是在分布式数据库系统中，为了适应应用的需要，满足部门分布特点的需要，各结点间一般采用局域网或广域网相连，网络带宽较低，颠倒点的通信开销较大。因此，在查询处理时一般应尽量减少结点间的数据传输量。

（3） 各结点的地位不同。在并行数据库系统中，各结点是完全非独立的，不存在全局应用和局部应用的概念，在数据处理中只能发挥协同作用，而不能有局部应用。在分布式数据库系统中，各结点除了能通过网络协同完成全局事务外，各结点具有场地自治性，每个场地使独立的数据库系统。每个场地有自己的数据库、客户、CPU等资源，运行自己的DBMS，执行局部应用，具有高度的自治性。

特点：数据独立性与位置透明性 数据独立性是数据库方法追求的主要目标之一，分布透明性指用户不必关心数据的逻辑分区，不必关心数据物理位置分布的细节，有了分布透明性用户的应用程序书写起来就如同数据没有分布一样。当数据从一个场地移到另一个场地时不必改写应用程序。

目的：集中和节点自治相结合 在分布式数据库中，局部共享即在局部数据库中存储局部场地上各用户的共享数据这些数据是本场地用户常用的。全局共享即在分布式数据库的各个场地也存储可供网中其它场地的用户共享的数据，支持系统中的全局应用。

以上就是关于数据库与hadoop与分布式文件系统的区别和联系全部的内容，包括:数据库与hadoop与分布式文件系统的区别和联系、分布式数据库和集中式数据库的区别是什么、分布式数据库和集中式数据库的区别是什么(分布式数据库属于)等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！