dfs什么时候需要在ad里配置site

数据库与hadoop与分布式文件系统的区别和联系

1 用向外扩展代替向上扩展
扩展商用关系型数据库的代价是非常昂贵的。它们的设计更容易向上扩展。要运行一个更大
的数据库，就需要买一个更大的机器。事实上，往往会看到服务器厂商在市场上将其昂贵的高端机
标称为“数据库级的服务器”。不过有时可能需要处理更大的数据集，却找不到一个足够大的机器。
更重要的是，高端的机器对于许多应用并不经济。例如，性能4倍于标准PC的机器，其成本将大大
超过将同样的4台PC放在一个集群中。Hadoop的设计就是为了能够在商用PC集群上实现向外扩展
的架构。添加更多的资源，对于Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至
数百台计算机。事实上，如果不是为了开发目的，没有理由在单个服务器上运行Hadoop。
2 用键/值对代替关系表
关系数据库的一个基本原则是让数据按某种模式存放在具有关系型数据结构的表中。虽然关
系模型具有大量形式化的属性，但是许多当前的应用所处理的数据类型并不能很好地适合这个模
型。文本、和XML文件是最典型的例子。此外，大型数据集往往是非结构化或半结构化的。
Hadoop使用键/值对作为基本数据单元，可足够灵活地处理较少结构化的数据类型。在hadoop中，
数据的来源可以有任何形式，但最终会转化为键/值对以供处理。
3 用函数式编程（MapReduce）代替声明式查询（SQL ）
SQL 从根本上说是一个高级声明式语言。查询数据的手段是，声明想要的查询结果并让数据库引擎
判定如何获取数据。在MapReduce中，实际的数据处理步骤是由你指定的，它很类似于SQL
引擎的一个执行计划。SQL 使用查询语句，而MapReduce则使用脚本和代码。利用MapReduce可
以用比SQL 查询更为一般化的数据处理方式。例如，你可以建立复杂的数据统计模型，或者改变
图像数据的格式。而SQL 就不能很好地适应这些任务。
4
分布式文件系统（dfs）和分布式数据库都支持存入，取出和删除。但是分布式文件系统比较暴力，
可以当做key/value的存取。分布式数据库涉及精炼的数据，传统的分布式关系型数据库会定义数据元
组的schema，存入取出删除的粒度较小。
分布式文件系统现在比较出名的有GFS（未开源），HDFS（Hadoop distributed file system）。
分布式数据库现在出名的有Hbase，oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部
实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。

共享文件与分布式文件系统的区别

分布式文件系统(Distributed File System，DFS)
如果局域网中有多台服务器，并且共享文件夹也分布在不同的服务器上，这就不利于管理员的管理和用户的访问。而使用分布式文件系统,系统管理员就可以把不同服务器上的共享文件夹组织在一起，构建成一个目录树。这在用户看来，所有共享文件仅存储在一个地点，只需访问一个共享的DFS根目录，就能够访问分布在网络上的文件或文件夹，而不必知道这些文件的实际物理位置。

ftp server和分布式文件系统的区别

换个思路，使用mount --bind把目录加载过来就可以了 先将数据盘挂载 mount /dev/sdb1 /mnt/d 在ftp目录下建一个文件夹data mount --bind /mnt/d data

FTP server和分布式文件系统的区别, 分布式文件系统和分布式数据库有什么不同

分布式文件系统（dfs）和分布式数据库都支持存入，取出和删除。但是分布式文件系统比较暴力，可以当做key/value的存取。分布式数据库涉及精炼的数据，传统的分布式关系型数据库会定义数据元组的schema，存入取出删除的粒度较小。
分布式文件系统现在比较出名的有GFS（未开源），HDFS（Hadoop distributed file system）。分布式数据库现在出名的有Hbase，oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。

hadoop是分布式文件系统吗

是的
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。
1分布式文件系统
多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。
分布式文件系统是分布式系统的一个子集，它们解决的问题就是数据存储。换句话说，它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。
分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理来自网络和其它地方的超大规模数据提供所需的扩展能力。
2分离元数据和数据：NameNode和DataNode
存储到文件系统中的每个文件都有相关联的元数据。元数据包括了文件名、i节点(inode)数、数据块位置等，而数据则是文件的实际内容。
在传统的文件系统里，因为文件系统不会跨越多台机器，元数据和数据存储在同一台机器上。
为了构建一个分布式文件系统，让客户端在这种系统中使用简单，并且不需要知道其他客户端的活动，那么元数据需要在客户端以外维护。HDFS的设计理念是拿出一台或多台机器来保存元数据，并让剩下的机器来保存文件的内容。
NameNode和DataNode是HDFS的两个主要组件。其中，元数据存储在NameNode上，而数据存储在DataNode的集群上。NameNode不仅要管理存储在HDFS上内容的元数据，而且要记录一些事情，比如哪些节点是集群的一部分，某个文件有几份副本等。它还要决定当集群的节点宕机或者数据副本丢失的时候系统需要做什么。
存储在HDFS上的每份数据片有多份副本(replica)保存在不同的服务器上。在本质上，NameNode是HDFS的Master(主服务器)，DataNode是Slave(从服务器)。

文件系统与数据库系统的区别和联系

其区别在于：
(1)
文件系统用文件将数据长期保存在外存上，数
据库系统用数据库统一存储数据。
(2)
文件系统中的程序和数据有一
定的联系，数据库系统中的程序和数据分离。
(3)
文件系统用 *** 作系
统中的存取方法对数据进行管理，数据库系统用
DBMS
统一管理和控
制数据。
(4)
文件系统实现以文件为单位的数据共享，数据库系统实
现以记录和字段为单位的数据共享。
其联系在于：
(1)
均为数据组织的管理技术。
(2)
均由数据管理软
件管理数据，程序与数据之间用存取方法进行转换。
(3)
数据库系统
是在文件系统的基础上发展而来的。

数据库系统和文件系统的区别与联系

文件系统和数据库系统之间的区别：
（1） 文件系统用文件将数据长期保存在外存上，数据库系统用数据库统一存储数据；
（2） 文件系统中的程序和数据有一定的联系，数据库系统中的程序和数据分离；
（3） 文件系统用 *** 作系统中的存取方法对数据进行管理，数据库系统用DBMS统一管理和控制数据；
（4） 文件系统实现以文件为单位的数据共享，数据库系统实现以记录和字段为单位的数据共享。
文件系统和数据库系统之间的联系：
（1） 均为数据组织的管理技术；
（2） 均由数据管理软件管理数据，程序与数据之间用存取方法进行转换；
（3） 数据库系统是在文件系统的基础上发展而来的。

什么是Hadoop分布式文件系统

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统，与MapReduce和Google档案系统的概念类似。
HDFS（Hadoop 分布式文件系统）是其中的一部分。

DFS（Distributed File System，分布式文件系统），可以将分布在多个服务器或客户机上的共享资源列表整合在一个DFS根目录中，这样用户无需知道或指定文件的实际物理位置就可以对它们进行访问，这无疑将简化资源共享的 *** 作步骤。 创建DFS根目录 依次单击“开始→管理工具→分布式文件系统”，打开“分布式文件系统”控制台。然后单击“ *** 作→新建 DFS根目录”命令，打开“新建根目录向导”对话框。接着单击“下一步”按钮，在打开的“根目录类型”对话框中点选“独立的根目录”单选框并单击“下一步”按钮。在“主服务器”对话框中键入一个正确的服务器名称（本例键入的是本机名称chhuian，也可以单击“浏览”按钮查找服务器），单击“下一步”按钮。在“根目录名称”对话框的“根目录名称”编辑框中键入一个已经共享出来的文件夹名称，在“注释”编辑框中键入一些描述性的语言（如“通过此根目录可以访问网络中的共享资源”），单击“下一步”按钮（如图）。 如果键入的共享文件夹不存在，则在打开的“根目录共享”对话框中会提示您指定共享不存在。这时可以单击“浏览”按钮，在打开的“浏览文件夹”对话框中指定创建共享文件夹的位置，单击“新建文件夹”按钮，命名为“DFS根目录”。依次单击“确定→下一步→完成”按钮结束创建（如图）。 小提示 为了保持根目录的整洁性，建议您事先建立一个空白文件夹并设置为共享（如“DFS根目录”）。然后在“根目录名称”编辑框中键入新建的共享文件夹名。重复上述步骤可以创建多个DFS根目录。 添加DFS链接 前面我们已经成功创建了DFS的根目录，然而现在这个根目录里面并没有任何共享资源。那么网络上其他机器的共享资源如何归于DFS根目录的旗下呢？这正是DFS可爱的地方。 打开“分布式文件系统”控制台，右击控制台树中的“\\chhuian\DFS根目录”目录，执行“新建链接”命令，打开“新建链接”对话框（如图3）。在“链接名称”编辑框中键入一个逻辑名称（如“个人公文包”），然后单击“浏览”按钮，从“网上邻居”中的共享文件夹列表中选中一个共享文件夹，然后依次单击“确定”按钮（如图4）。重复上述步骤将整个网络中所有的共享文件夹与根目录建立链接（如图）。 访问共享资源 将网络中所有可以共享的资源与DFS根目录建立链接后，我们就可以在任意一台电脑上通过UNC路径或“网上邻居”访问这些资源了。在任意一个Windows窗口的地址栏中键入Server的DFS根目录，如<\\chhuian\DFS根目录>，即可通过左窗格的目录树和右窗格中的资源列表访问网络中所有的共享资源，而我们根本不必关心所访问的资源到底来自网络上的哪台机器（如图）。 小提示 本文以Windows Server 2003为平台加以介绍的，DFS服务同样适用于基于Windows 2000 Server平台的网络环境，其设置方法与本文所述基本相同。

　近些年微软对其分布式文件系统（Distributed File SystemDFS）做了很多改良其中的一项技术对文件系统资源提供了统一视图DFS重新定向了来自UNC途径的请求其中一个网络驱动映射到请求资源所在的网络共享这样的结果是你可以添加文件服务器到网络或者不用影响用户访问文件的方式就能强化现有的文件服务器
重定向请求到文件实际位置的UNC途径就是DFS命名空间本质上DFS命名空间是为用户呈现文件服务器资源集中化视图的统一命名空间一个DFS命名空间由很多部分组成
DFS根
DFS命名空间本质上是分等级的最顶端的是DFS根在实际运用中可以认为根和命名空间是一样的因为根常用来指代整个命名空间DFS根是一个共享文件它必须存在于NTFS卷中
DFS根链接到一个或多个根目标而根目标则链接到一个文件服务器上的UNC共享一个DFS根可以链接的根目标数量由DFS根相关的命名空间类型决定DFS命名空间有两个类型独立命名空间和基于域的命名空间
独立命名空间存储他们在主机服务器注册表中的配置信息基于域的命名空间存储在活动目录数据库中的信息这个区别影响连接到DFS根的根目标数量独立DFS根只能包含一个单一根目标而基于域的DFS根只包含通过多个服务器分离的多个根目标
一个基于域的DFS根很明显这是基于域的因为这个根的名字（\\\namespace）反映了域的名字中心方格显示两个UNC途径并且两个途径都像根目标一样链接到DFS根


DFS命名空间里的文件或链接
在分级中的下一个元素是文件或链接（正如它有时候所指的）在DFS命名空间中的每个文件都映射到链接目标正如DFS根映射到根目标链接目标指向一个映射到物理文件夹的UNC共享
三个文件（文件文件和文件）都被定义在DFS根下（注意我已经选了文件）控制台的中央窗口列出了映射到文件的链接目标


如你所见这个链接目标不过是一个映射到共享文件的UNC途径另外要注意在控制台的中央窗口中为链接目标展示了各种各样的信息包括类型途径和提交状态
由于一个文件可以和不同服务器上的多个链接目标连接所以提交状态存在这样做了之后你可以为链接目标创建一个复制组且复制组会保持多种文件内容与其它文件之间的同步图展示的就是一个有多个链接目标的文件


两个链接目标的提交状态都是有效的（Enabled）这意味着DFS可以向任意一个目标指定资源请求因此如果一个文件服务器必须离线维修这个服务器的提交状态就变成无效而DFS会停止向该服务器发送请求直到提交状态再次变为有效
NTFS级别的DFS命名空间
上述因素组成了DFS命名空间在图中你可以看到NTFS级别的命名空间是什么样子的


注意名为Dfsroots的文件它下面的那个文件就叫Namespace（命名空间）当我创建根时DFS自动创建这些文件Namespace文件实际上是共享的但是文件系统隐藏了该共享
最后要注意在命名空间下面有到文件文件和文件的快捷键这些都是在DFS管理控制台中指定的目标文件在图的底部是这三个文件夹的另一个列表它实际上是在驱动C盘上的共享文件我刚刚提到的快捷键映射到这些共享文件夹

---