数据库与hadoop与分布式文件系统的区别和联系

数据库与hadoop与分布式文件系统的区别和联系

1. 用向外扩展代替向上扩展

扩展商用关系型数据库的代价是非常昂贵的。它们的设计更容易向上扩展。要运行一个更大

的数据库，就需要买一个更大的机器。事实上，往往会看到服务器厂商在市场上将其昂贵的高端机

标称为“数据库级的服务器”。不过有时可能需要处理更大的数据集，却找不到一个足够大的机器。

更重要的是，高端的机器对于许多应用并不经济。例如，性能4倍于标准PC的机器，其成本将大大

超过将同样的4台PC放在一个集群中。Hadoop的设计就是为了能够在商用PC集群上实现向外扩展

的架构。添加更多的资源，对于Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至

数百台计算机。事实上，如果不是为了开发目的，没有理由在单个服务器上运行Hadoop。

2. 用键/值对代替关系表

关系数据库的一个基本原则是让数据按某种模式存放在具有关系型数据结构的表中。虽然关

系模型具有大量形式化的属性，但是许多当前的应用所处理的数据类型并不能很好地适合这个模

型。文本、图片和XML文件是最典型的例子。此外，大型数据集往往是非结构化或半结构化的。

Hadoop使用键/值对作为基本数据单元，可足够灵活地处理较少结构化的数据类型。在hadoop中，

数据的来源可以有任何形式，但最终会转化为键/值对以供处理。

3. 用函数式编程（MapReduce）代替声明式查询（SQL ）

SQL 从根本上说是一个高级声明式语言。查询数据的手段是，声明想要的查询结果并让数据库引擎

判定如何获取数据。在MapReduce中，实际的数据处理步骤是由你指定的，它很类似于SQL

引擎的一个执行计划。SQL 使用查询语句，而MapReduce则使用脚本和代码。利用MapReduce可

以用比SQL 查询更为一般化的数据处理方式。例如，你可以建立复杂的数据统计模型，或者改变

图像数据的格式。而SQL 就不能很好地适应这些任务。

4.

分布式文件系统（dfs）和分布式数据库都支持存入，取出和删除。但是分布式文件系统比较暴力，

可以当做key/value的存取。分布式数据库涉及精炼的数据，传统的分布式关系型数据库会定义数据元

组的schema，存入取出删除的粒度较小。

分布式文件系统现在比较出名的有GFS（未开源），HDFS（Hadoop distributed file system）。

分布式数据库现在出名的有Hbase，oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部

实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。

共享文件与分布式文件系统的区别

分布式文件系统(Distributed File System，DFS)

如果局域网中有多台服务器，并且共享文件夹也分布在不同的服务器上，这就不利于管理员的管理和用户的访问。而使用分布式文件系统,系统管理员就可以把不同服务器上的共享文件夹组织在一起，构建成一个目录树。这在用户看来，所有共享文件仅存储在一个地点，只需访问一个共享的DFS根目录，就能够访问分布在网络上的文件或文件夹，而不必知道这些文件的实际物理位置。

ftp server和分布式文件系统的区别

换个思路，使用mount --bind把目录加载过来就可以了 先将数据盘挂载 mount /dev/sdb1 /mnt/d 在ftp目录下建一个文件夹data mount --bind /mnt/d data

FTP server和分布式文件系统的区别, 分布式文件系统和分布式数据库有什么不同

分布式文件系统（dfs）和分布式数据库都支持存入，取出和删除。但是分布式文件系统比较暴力，可以当做key/value的存取。分布式数据库涉及精炼的数据，传统的分布式关系型数据库会定义数据元组的schema，存入取出删除的粒度较小。

分布式文件系统现在比较出名的有GFS（未开源），HDFS（Hadoop distributed file system）。分布式数据库现在出名的有Hbase，oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。

hadoop是分布式文件系统吗

是的

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。

1.分布式文件系统

多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。

分布式文件系统是分布式系统的一个子集，它们解决的问题就是数据存储。换句话说，它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。

分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理来自网络和其它地方的超大规模数据提供所需的扩展能力。

2.分离元数据和数据：NameNode和DataNode

存储到文件系统中的每个文件都有相关联的元数据。元数据包括了文件名、i节点(inode)数、数据块位置等，而数据则是文件的实际内容。

在传统的文件系统里，因为文件系统不会跨越多台机器，元数据和数据存储在同一台机器上。

为了构建一个分布式文件系统，让客户端在这种系统中使用简单，并且不需要知道其他客户端的活动，那幺元数据需要在客户端以外维护。HDFS的设计理念是拿出一台或多台机器来保存元数据，并让剩下的机器来保存文件的内容。

NameNode和DataNode是HDFS的两个主要组件。其中，元数据存储在NameNode上，而数据存储在DataNode的集群上。NameNode不仅要管理存储在HDFS上内容的元数据，而且要记录一些事情，比如哪些节点是集群的一部分，某个文件有几份副本等。它还要决定当集群的节点宕机或者数据副本丢失的时候系统需要做什么。

存储在HDFS上的每份数据片有多份副本(replica)保存在不同的服务器上。在本质上，NameNode是HDFS的Master(主服务器)，DataNode是Slave(从服务器)。

文件系统与数据库系统的区别和联系

其区别在于：

(1)

文件系统用文件将数据长期保存在外存上，数

据库系统用数据库统一存储数据。

(2)

文件系统中的程序和数据有一

定的联系，数据库系统中的程序和数据分离。

(3)

文件系统用 *** 作系

统中的存取方法对数据进行管理，数据库系统用

DBMS

统一管理和控

制数据。

(4)

文件系统实现以文件为单位的数据共享，数据库系统实

现以记录和字段为单位的数据共享。

其联系在于：

(1)

均为数据组织的管理技术。

(2)

均由数据管理软

件管理数据，程序与数据之间用存取方法进行转换。

(3)

数据库系统

是在文件系统的基础上发展而来的。

数据库系统和文件系统的区别与联系

文件系统和数据库系统之间的区别：

（1） 文件系统用文件将数据长期保存在外存上，数据库系统用数据库统一存储数据；

（2） 文件系统中的程序和数据有一定的联系，数据库系统中的程序和数据分离；

（3） 文件系统用 *** 作系统中的存取方法对数据进行管理，数据库系统用DBMS统一管理和控制数据；

（4） 文件系统实现以文件为单位的数据共享，数据库系统实现以记录和字段为单位的数据共享。

文件系统和数据库系统之间的联系：

（1） 均为数据组织的管理技术；

（2） 均由数据管理软件管理数据，程序与数据之间用存取方法进行转换；

（3） 数据库系统是在文件系统的基础上发展而来的。

什么是Hadoop分布式文件系统

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统，与MapReduce和Google档案系统的概念类似。

HDFS（Hadoop 分布式文件系统）是其中的一部分。

使用计算机后，随着数据处理量的增长，产生了数据管理技术。

数据管理技术的发展与计算机硬件（主要是外部存储器）系统软件及计算机应用的范围有着密切的联系。

数据管理技术的发展经历了以下四个阶段：人工管理阶段、文件系统阶段、数据库阶段和高级数据库技术阶段。

数据管理的诞生

数据库的历史可以追溯到五十年前，那时的数据管理非常简单。

通过大量的分类、比较和表格绘制的机器运行数百万穿孔卡片来进行数据的处理，其运行结果在纸上打印出来或者制成新的穿孔卡片。

而数据管理就是对所有这些穿孔卡片进行物理的储存和处理。

然而，1950 年雷明顿兰德公司（Remington Rand Inc）的一种叫做Univac I 的计算机推出了一种一秒钟可以输入数百条记录的磁带驱动器，从而引发了数据管理的革命。

1956 年IBM生产出第一个磁盘驱动器—— the Model 305 RAMAC。

此驱动器有50 个盘片，每个盘片直径是2 英尺，可以储存5MB的数据。

使用磁盘最大的好处是可以随机存取数据，而穿孔卡片和磁带只能顺序存取数据。

1951： Univac系统使用磁带和穿孔卡片作为数据存储。

数据库系统的萌芽出现于二十世纪60 年代。

当时计算机开始广泛地应用于数据管理，对数据的共享提出了越来越高的要求。

传统的文件系统已经不能满足人们的需要，能够统一管理和共享数据的数据库管理系统（DBMS）应运而生。

数据模型是数据库系统的核心和基础，各种DBMS软件都是基于某种数据模型的。

所以通常也按照数据模型的特点将传统数据库系统分成网状数据库、层次数据库和关系数据库三类。

最早出现的网状DBMS，是美国通用电气公司Bachman等人在1961年开发的IDS（Integrated Data Store）。

1964年通用电气公司（General ElectricCo.）的Charles Bachman 成功地开发出世界上第一个网状DBMS也即第一个数据库管理系统——集成数据存储（Integrated Data Store IDS），奠定了网状数据库的基础，并在当时得到了广泛的发行和应用。

IDS 具有数据模式和日志的特征，但它只能在GE主机上运行，并且数据库只有一个文件，数据库所有的表必须通过手工编码生成。

之后，通用电气公司一个客户——BF Goodrich Chemical 公司最终不得不重写了整个系统，并将重写后的系统命名为集成数据管理系统（IDMS）。

网状数据库模型对于层次和非层次结构的事物都能比较自然的模拟，在关系数据库出现之前网状DBMS要比层次DBMS用得普遍。

在数据库发展史上，网状数据库占有重要地位。

层次型DBMS是紧随网络型数据库而出现的，最著名最典型的层次数据库系统是IBM 公司在1968 年开发的IMS（Information Management System），一种适合其主机的层次数据库。

这是IBM公司研制的最早的大型数据库系统程序产品。

从60年代末产生起，如今已经发展到IMSV6，提供群集、N路数据共享、消息队列共享等先进特性的支持。

这个具有30年历史的数据库产品在如今的WWW应用连接、商务智能应用中扮演着新的角色。

1973年Cullinane公司（也就是后来的Culli软件公司），开始出售Goodrich公司的IDMS改进版本，并且逐渐成为当时世界上最大的软件公司。

网状数据库和层次数据库已经很好地解决了数据的集中和共享问题，但是在数据独立性和抽象级别上仍有很大欠缺。

用户在对这两种数据库进行存取时，仍然需要明确数据的存储结构，指出存取路径。

而后来出现的关系数据库较好地解决了这些问题。

1970年，IBM的研究员E.F.Codd博士在刊物《munication of the ACM》上发表了一篇名为“A Relational Model of Data for Large Shared Data Banks”的论文，提出了关系模型的概念，奠定了关系模型的理论基础。

尽管之前在1968年Childs已经提出了面向 *** 的模型，然而这篇论文被普遍认为是数据库系统历史上具有划时代意义的里程碑。

Codd的心愿是为数据库建立一个优美的数据模型。

后来Codd又陆续发表多篇文章，论述了范式理论和衡量关系系统的12条标准，用数学理论奠定了关系数据库的基础。

关系模型有严格的数学基础，抽象级别比较高，而且简单清晰，便于理解和使用。

但是当时也有人认为关系模型是理想化的数据模型，用来实现DBMS是不现实的，尤其担心关系数据库的性能难以接受，更有人视其为当时正在进行中的网状数据库规范化工作的严重威胁。

为了促进对问题的理解，1974年ACM牵头组织了一次研讨会，会上开展了一场分别以Codd和Bachman为首的支持和反对关系数据库两派之间的辩论。

这次著名的辩论推动了关系数据库的发展，使其最终成为现代数据库产品的主流。

1969年Edgar F.“Ted” Codd发明了关系数据库。

1970年关系模型建立之后，IBM公司在San Jose实验室增加了更多的研究人员研究这个项目，这个项目就是著名的System R。

其目标是论证一个全功能关系DBMS的可行性。

该项目结束于1979年，完成了第一个实现SQL的 DBMS。

然而IBM对IMS的承诺阻止了System R的投产，一直到1980年System R才作为一个产品正式推向市场。

IBM产品化步伐缓慢的三个原因：IBM重视信誉，重视质量，尽量减少故障；IBM是个大公司，官僚体系庞大，IBM内部已经有层次数据库产品，相关人员不积极，甚至反对。

然而同时，1973年加州大学伯克利分校的Michael Stonebraker和Eugene Wong利用System R已发布的信息开始开发自己的关系数据库系统Ingres。

他们开发的Ingres项目最后由Oracle公司、Ingres公司以及硅谷的其他厂商所商品化。

后来，System R和Ingres系统双双获得ACM的1988年“软件系统奖”。

1976年霍尼韦尔公司(Honeywell)开发了第一个商用关系数据库系统——Multics Relational Data Store。

关系型数据库系统以关系代数为坚实的理论基础，经过几十年的发展和实际应用，技术越来越成熟和完善。

其代表产品有Oracle、IBM公司的 DB2、微软公司的MS SQL Server以及Informix、ADABAS D等等。

1974年IBM的Ray Boyce和Don Chamberlin将Codd关系数据库的12条准则的数学定义以简单的关键字语法表现出来，里程碑式地提出了SQL(Structured Query Language)语言。

SQL语言的功能包括查询、 *** 纵、定义和控制，是一个综合的、通用的关系数据库语言，同时又是一种高度非过程化的语言，只要求用户指出做什么而不需要指出怎么做。

SQL集成实现了数据库生命周期中的全部 *** 作。

SQL提供了与关系数据库进行交互的方法，它可以与标准的编程语言一起工作。

自产生之日起，SQL语言便成了检验关系数据库的试金石，而SQL语言标准的每一次变更都指导着关系数据库产品的发展方向。

然而，直到二十世纪七十年代中期，关系理论才通过SQL在商业数据库Oracle和DB2中使用。

1986年，ANSI把SQL作为关系数据库语言的美国标准，同年公布了标准SQL文本。

SQL标准有3个版本。

基本SQL定义是ANSⅨ3135-89，“Database Language - SQL with Integrity Enhancement”[ANS89]，一般叫做SQL-89。

SQL-89定义了模式定义、数据 *** 作和事务处理。

SQL- 89和随后的ANSⅨ3168-1989，“Database Language-Embedded SQL”构成了第一代SQL标准。

ANSⅨ3135-1992[ANS92]描述了一种增强功能的SQL，叫做SQL-92标准。

SQL-92包括模式 *** 作，动态创建和SQL语句动态执行、网络环境支持等增强特性。

在完成SQL-92标准后，ANSI和ISO即开始合作开发SQL3标准。

SQL3的主要特点在于抽象数据类型的支持，为新一代对象关系数据库提供了标准。

1976年IBM E.F.Codd发表了一篇里程碑的论文“R系统：数据库关系理论”，介绍了关系数据库理论和查询语言SQL。

Oracle的创始人Ellison非常仔细地阅读了这篇文章，被其内容震惊，这是第一次有人用全面一致的方案管理数据信息。

作者E.F.Codd 1966年就发表了关系数据库理论，并在IBM研究机构开发原型，这个项目就是R系统，存取数据表的语言就是SQL。

Ellison看完后，敏锐意识到在这个研究基础上可以开发商用软件系统。

而当时大多数人认为关系数据库不会有商业价值。

Ellison认为这是他们的机会：他们决定开发通用商用数据库系统Oracle，这个名字来源于他们曾给中央情报局做过的项目名。

几个月后，他们就开发了Oracle 1.0。

但这只不过是个玩具，除了完成简单关系查询不能做任何事情，他们花相当长的时间才使Oracle变得可用，维持公司运转主要靠承接一些数据库管理项目和做顾问咨询工作。

而IBM却没有计划开发，为什么蓝色巨人放弃了这个价值上百亿的产品，原因有很多：IBM的研究人员大多是学术出身，他们最感兴趣的是理论，而非推向市场的产品，从学术上看，研究成果应公开发表论文和演讲能使他们成名，为什么不呢？还有一个很主要的原因就是IBM当时有一个销售得还不错的层次数据库产品IMS。

直到1985年IBM才发布了关系数据库DB2 ，Ellision那时已经成了千万富翁。

Ellison曾将IBM 选择Microsoft 的MS-DOS作为IBM-PC机的 *** 作系统比为：“世界企业经营历史上最严重的错误，价值超过了上千亿美元。”IBM发表R系统论文，而且没有很快推出关系数据库产品的错误可能仅仅次之。

Oracle的市值在1996年就达到了280亿美元。

随着信息技术和市场的发展，人们发现关系型数据库系统虽然技术很成熟，但其局限性也是显而易见的：它能很好地处理所谓的“表格型数据”，却对技术界出现的越来越多的复杂类型的数据无能为力。

九十年代以后，技术界一直在研究和寻求新型数据库系统。

但在什么是新型数据库系统的发展方向的问题上，产业界一度是相当困惑的。

受当时技术风潮的影响，在相当一段时间内，人们把大量的精力花在研究“面向对象的数据库系统(object oriented database)”或简称“OO数据库系统”。

值得一提的是，美国Stonebraker教授提出的面向对象的关系型数据库理论曾一度受到产业界的青睐。

而Stonebraker本人也在当时被Informix花大价钱聘为技术总负责人。

然而，数年的发展表明，面向对象的关系型数据库系统产品的市场发展的情况并不理想。

理论上的完美性并没有带来市场的热烈反应。

其不成功的主要原因在于，这种数据库产品的主要设计思想是企图用新型数据库系统来取代现有的数据库系统。

这对许多已经运用数据库系统多年并积累了大量工作数据的客户，尤其是大客户来说，是无法承受新旧数据间的转换而带来的巨大工作量及巨额开支的。

另外，面向对象的关系型数据库系统使查询语言变得极其复杂，从而使得无论是数据库的开发商家还是应用客户都视其复杂的应用技术为畏途。

二十世纪六十年代后期出现了一种新型数据库软件：决策支持系统(DSS)，其目的是让管理者在决策过程中更有效地利用数据信息。

于是在1970年，第一个联机分析处理工具——Express诞生了。

其他决策支持系统紧随其后，许多是由公司的IT部门开发出来的。

1985年，第一个商务智能系统(business intelligence)由Metaphor计算机系统有限公司为Procter &Gamble公司开发出来，主要是用来连接销售信息和零售的扫描仪数据。

同年， Pilot软件公司开始出售第一个商用客户/服务器执行信息系统——mand Center。

同样在这年，加州大学伯克利分校Ingres项目演变成Postgres，其目标是开发出一个面向对象的数据库。

此后一年， Graphael公司开发了第一个商用的对象数据库系统—Gbase。

1988年，IBM公司的研究者Barry Devlin和Paul Murphy发明了一个新的术语—信息仓库，之后，IT的厂商开始构建实验性的数据仓库。

1991年，W.H. Bill Inmon出版了一本“如何构建数据仓库”的书，使得数据仓库真正开始应用。

1991： W.H.“Bill” Inmon发表了”构建数据仓库”

二十世纪九十年代，随着基于PC的客户/服务器计算模式和企业软件包的广泛采用，数据管理的变革基本完成。

数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。

Inter的异军突起以及XML语言的出现，给数据库系统的发展开辟了一片新的天地。

一、文件系统与数据库系统的区别：

1、数据存储方法不同：

文件系统使用文件将数据长期保存在外部内存中，数据库系统将数据与数据库统一存储，程序与文件系统中的数据有一定的连接，数据库系统中的程序与数据分离.

2、数据管理的方法不同：

文件系统采用 *** 作系统中的访问方法对数据进行管理，数据库系统使用DBMS统一管理和控制数据。

3、数据共享程度不同：

文件系统实现需要基于文件的数据共享，数据库系统实现的记录和字段作为数据共享的单位。文件系统面向某一应用程序，共享性差，冗余度大，数据独立性差。

4、数据库独立性不同：

数据库系统面向现实世界，共享性高，冗余度小，具有较高的物理独立性和一定的逻辑独立性。

二、文件系统与数据库系统的联系：

1、文件系统于数据库系统都是计算机系统中管理数据库的软件。解析文件系统是 *** 作系统的重要组成部分。

2、而DBMS是独立于 *** 作系统的软件，文件管理都是DBMS在 *** 作系统的基础上实现的。数据库系统的组织和存储是通过 *** 作系统中的文件系统来实现的。

3、数据库系统主要管理数据库的存储、事务以及对数据库的 *** 作。文件系统是 *** 作系统管理文件和存储空间的子系统，主要是分配文件所占的簇、盘块或者建立FAT、管理空间空间等。

4、通常，数据库系统会调用文件系统来管理自己的数据文件，但某些数据库系统能够自行管理数据文件，即使在裸机上也是如此。文件系统是 *** 作系统所必需的，数据库系统只需要用于数据库管理和应用。

扩展资料：

文件系统和数据库系统的用途：

文件系统将数据组织到单独的数据文件中，实现了记录中的结构，但整体是非结构化的，而数据库系统实现了整个数据的结构，这是数据库的主要特征之一，也是数据库的主要特征之一。数据库系统和文件系统之间的本质区别。在文件系统中，数据冗余大。浪费了存储空间。容易造成数据不一致。

数据库系统中，数据是面向整个系统，数据可以被多个用户、多个应用共享使用，减少了数据冗余。

文件系统中的文件为特定应用程序提供服务，当您要修改数据的逻辑结构时，必须修改应用程序，修改文件结构的定义，数据和程序之间缺乏独立性，并且在通过DBMS的两级图像实现了数据的物理独立性和逻辑独立性。将数据的定义与程序分开，减少了应用程序的维护和修改。

文件系统和数据库系统均可以长期保存数据，由数据管理软件管理数据，数据库系统是在文件系统基础上发展而来。

参考资料来源：百度百科-数据库系统

参考资料来源：百度百科-文件系统

---