基于mogileFS搭建分布式文件系统--海量小文件的存储利器

1简介

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样。

当下我们处在一个互联网飞速发展的信息 社会 ，在海量并发连接的驱动下每天所产生的数据量必然以几何方式增长，随着信息连接方式日益多样化，数据存储的结构也随着发生了变化。在这样的压力下使得人们不得不重新审视大量数据的存储所带来的挑战，例如：数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可视化等一系列问题。

传统存储在面对海量数据存储表现出的力不从心已经是不争的事实，例如：纵向扩展受阵列空间限制、横向扩展受交换设备限制、节点受文件系统限制。

然而分布式存储的出现在一定程度上有效的缓解了这一问题，之所以称之为缓解是因为分布式存储在面对海量数据存储时也并非十全十美毫无压力，依然存在的难点与挑战例如：节点间通信、数据存储、数据空间平衡、容错、文件系统支持等一系列问题仍处在不断摸索和完善中。

2分布式文件系统的一些解决方案

Google Filesystem适合存储海量大个文件，元数据存储与内存中

HDFS（Hadoop Filesystem）GFS的山寨版，适合存储大量大个文件

TFS（Taobao Filesystem）淘宝的文件系统，在名称节点上将元数据存储与关系数据库中，文件数量不在受限于名称节点的内容空间，可以存储海量小文件LustreOracle开发的企业级分布式系统，较重量级MooseFS基于FUSE的格式，可以进行挂载使用MogileFS

擅长存储海量的小数据，元数据存储与关系型数据库中

1简介

MogileFS是一个开源的分布式文件系统，用于组建分布式文件集群，由LiveJournal旗下DangaInteractive公司开发，Danga团队开发了包括 Memcached、MogileFS、Perlbal等不错的开源项目：(注：Perlbal是一个强大的Perl写的反向代理服务器)。MogileFS是一个开源的分布式文件系统。

目前使用 MogileFS 的公司非常多,比如国外的一些公司,日本前几名的公司基本都在使用这个

国内所知道的使用 MogileFS 的公司有托管网站 yupoo又拍,digg, 土豆, 豆瓣,1 号店, 大众点评,搜狗,安居客等等网站基本很多网站容量，都超过 30T 以上。

2MogileFS特性

1) 应用层提供服务，不需要使用核心组件

2）无单点失败，主要有三个组件组成，分为tracker（跟踪节点）、mogstore（存储节点）、database（数据库节点）

3）自动复制文件，复制文件的最小单位不是文件，而是class

4）传输中立，无特殊协议，可以通过NFS或>应该不是一个太难的问题，首先只有20台机器，此次，从网络拓扑来说，服务器和PC机实际上并没有本质区别，你根本不用关心它是Server还是PC，既然我们有20台机器，那我们至少需要一个20口以上的交换机，如果满打满算，那就用24口的，但实际上32口的交换机并不会贵多少，为了以后考虑，不如买一个32的交换机，但另外一方面你要考虑这20台机器的距离，如果说20台机器比较密集，那么一台24口以上的交换机就能解决问题了，但是说20台机器很分散，比如隔了一个楼之类的情况，我们需要根据实际情况把20台机器分成几个大点，每一个点用一台小一点的交换机，比如8口，或者16口，然后将每个大点之间的交换机再统一连接到同一个交换机下，不管你的环境是如何的，思路其实就是这样，在尽可能节省经费（说白了就是少用设备）的情况下，保证网络的畅通，而实际上过多的交换机本身是个隐患，因为你后期还要维护，这将加大你维护的难度。
至于Server需要手机数据的问题，这其实是另一个Issue了，只要网络互通，任何一台机器都可以访问网内的其他机器，这和你中间有一个server没有任何关系，重点其实是你如何上传？手工？用工具？还是办公自动化系统？
我的建议是你首先需要脑子里有一个清晰的需求，就是这20台电脑你要怎么摆，剩下的事情才是想着如何最合理的连接它们。

数据服务器也称数据库服务器，用来存储数据和提供基本数据服务，包括基础地理信息、遥感图像源数据和各个专题成果数据等。本系统的数据服务器基于ArcSDE+Oracle而设计，各类数据实际上最后均以二维表的形式存储于Oracle数据库中，并具体存储在多张相互有一定关联的二维表中。

另外，本系统的数据库服务器在设计时实际上包括两个部分，即元数据库服务器和空间数据库服务器。

由于元数据的形式是与元数据内容标准相一致的数字形式，可以用多种方式建立、存储和使用，因此，我们在标准的HTML和文本形式保存基础上，还将这些非结构化的形式导入Oracle数据库中，采用结构化的关系数据库管理本次遥感综合调查元数据集，构成遥感综合调查元数据库。通过统一资源定位地址URL与Metadatabase中的URL元数据项相连，把基于Internet/Intranet的空间数据库与元数据库系统相结合，实现分布式异构数据的共享。在这样的共享机制下，元数据库就成了访问空间数据库的向导，应用服务器的每个请求，首先都要访问元数据库，确定请求的所需数据是否存在，并可访问遥感调查成果数据的格式、性质、应用方式等内容，实现高效地管理空间数据，适应网络上多用户的并发访问，保障数据的安全性。

由此，Browser/Server三层体系结构实现起来较Client/Server两层体系结构复杂得多，但只有采用这样的体系结构，才可以体现浙江省遥感调查成果类型繁多、数据量大、分布广的特点，满足多维、动态的应用分析需求，并可实现与其他领域的应用集成。另外，出于安全性的考虑，即使应用服务器可能受到某些“黑客”的袭击，采用数据服务器与网络访问处理相分离的方法，也可以把数据库服务器放在防火墙以内，使其不能被防火墙外的计算机访问，某种程度上起了内外网隔离的作用。

看着这个标题，别拿西红柿砸我呀，对于新手的你真的完全想明白这个问题了吗？不敢拍胸脯吧，那就还是跟我一起学一学吧。服务器是整个网络系统的核心，相当 于网络心脏，在网络系统中为其他设备提供全面而高效的网络服务。现代企业中服务器最常见的应用有Communication通信服务、 Presentation表达服务、Application应用服务、Storage存储服务和Database数据库服务五大服务。比如，银行系统、证 券系统、医院管理系统等每天都需要存储大量的数据，仅靠一台普通计算机是无法完成大量的数据变换和存储的，只有相对单机更高配置的服务器才能完成这些工 作。
实例：笔者曾在自己的局域网内做过实验，局域网内共40台计算机不含服务器，均安装的 Windows2000个人版 *** 作系统，所有单机计算机均为同一配置（联想开天4600品牌计算机）。在服务器出现故障时，笔者临时将SQL2000个人 版安装在一台单机上代用服务器，结果局域网内有一半计算机无法正常使用专用软件，软件提示无法连接数据库。这个最基本的实验可以说明只有服务器的高配置才 能保证网络内各类数据、通信等的正常运行。同理，各大网站也必须具备和工作需要匹配的高性能服务器以完成通信、应用、存储等各类服务。

数据的高速增长，尤其是非结构化数据的日益飙升，不但对存储的容量有了进一步的需求，同时对存储的性能和功能也提出了更高的要求，这使得原有的单一的SAN（存储区域网络）或NAS（网络附加存储）系统已经不能全面满足用户的需求。同时，网络存储经过这几年的发展，SAN与NAS的融合已经势在必行，尤其是IP SAN的出现，更为融合奠定了技术基础。

统一存储其实就是一种能够整合iSCSI、NAS与SAN的存储系统，也就是说，统一存储能够在多个不同平台和应用之间共享一套硬件。因此，统一存储对于企业和机构都有着很强的吸引力，它最大的优势在于，能够整合企业在存储设施上的不同需求，降低采购和维护成本。

单一平台
满足银行需求

美国堪萨斯州第一州立银行和信托公司（First State Bank & Trust）的存储需求在18个月间翻了一番，总存储量增至38TB，于是，他们选择了Pillar公司的Axiom统一存储系统。公司高级副总裁Harry M Wheeler说：“我们了解到了统一存储这个概念的价值，它既支持我们的虚拟化环境，同时又能跟上快速发展的步伐。此外，我们看到了Pillar的统一存储方法具有的额外价值，即运用服务质量（QoS）功能，确保我们那些最关键的应用程序具有最高级别的性能，又不必为资源争夺问题而 *** 心。这让我们既能够把存储系统整合到单一平台上，又能够确保需要时有足够的空间来进行扩展。”
Wheeler当初加盟这家银行时，银行的主要信息源在大型机上。不过，这些年来，应用程序扩展到了网络环境中，文件服务器成了存放银行关键应用系统的环境，比如支票影像、异地存款、客户查询和网上银行等应用系统。银行需要这样一项计划：万一发生灾难，能够尽快恢复服务器和文件数据。除了需要加强灾难恢复（DR）计划外，Wheeler还想对13台服务器进行虚拟化处理，旨在提高可用容量，降低总体拥有成本。
因此，这家金融机构与总部设在美国堪萨斯州Overland Park的技术集成商Choice Solutions紧密合作，评估了多款存储解决方案，包括EMC及其他厂商的解决方案。Wheeler表示，其他厂商大多偏爱采用多个设备，而不是统一架构。他说，他希望这一解决方案具有能够为应用程序设定优先级、易于使用、易于调整等优点。Wheeler说：“我们负责SAN的网络经理很喜欢Axiom解决方案设置好后可自动运行的特点。Pillar公司最终脱颖而出，是因为它的Axiom存储平台是为支持虚拟化环境而重新构建的。”
这家金融机构购买了一对Axiom系统，总容量达到5TB，如果需要的话，容量还可以扩展到1PB以上。该系统的部署增强了系统灾难恢复功能。在以前的灾难恢复测试中，由于该金融机构要完成恢复所有文件服务器的烦琐任务，恢复所有系统最多需要5天。Wheeler表示，时至今日，由于采用思杰的XenServer、Pillar的Axiom和InMage复制软件这一组合产品，他在短短两个小时内就能完成全面恢复测试。
第一州立银行和信托公司采用实时复制。由于有更多的容量可用，虚拟化项目也完成了。因而，服务器机房里面减少了15个机架的设备。
Wheeler说：“我们预计可以在5年内收回在Pillar上投入的成本。”

统一存储与虚拟化结合

虽然第一州立银行和信托公司没有选择EMC的统一存储，但美国匹兹堡技术学院（PTI）却选择了EMC的统一存储。PTI是一家私立职业学院，在宾夕法尼亚州西部地区有两个校区，它为7个系的2000多名学生提供准学士学位和证书课程。
PTI的选择可以归结为，为其99%的VMware虚拟化服务器基础架构选择EMC还是NetApp的产品。EMC的Celerra最终成为其统一存储架构的核心部件。该学院购买了一台Celerra NS-120，配备了30台450GB光纤通道驱动器、15台600GB光纤通道驱动器和6块70GB固态硬盘。
PTI的应用程序主管William Showers说：“我们需要闪存即固态硬盘，是因为它在读I/O *** 作方面大有潜力，因为VMware虚拟桌面基础架构（VDI）是一种读 *** 作非常频繁的工作负载，使用闪存让我们可以做到在特定数量的磁盘上运行的VDI实例比标准光纤通道磁盘上运行的实例多得多。”
PTI的EMC Celerra NS统一存储系统使用固态硬盘，用于VMware虚拟机和虚拟桌面，使用光纤通道驱动器用于学生档案、媒体服务、远程教育、SQL Server学生记录数据库和Exchange电子邮件等系统。使用VMware vSphere，PTI对其服务器基础架构的99%进行了虚拟化处理，现在10台物理机运行着300个VMware虚拟机。VMware View让PTI能够向教职员工提供100个虚拟桌面。PTI还使用EMC的CLARiiON CX3磁盘阵列用于虚拟机备份，使用CLARiiON AX4阵列用于存储安防视频。
William Showers说：“除了性能外，EMC解决方案还大大增强了简单性、高效性和灵活性。让我们特别满意的是，Celerra还有文件压缩和重复数据删除等功能，拥有多个RAID选项，还同时支持8Gbps光纤通道和万兆以太网。EMC与VMware的全面集成和一致性，也是促使我们决定采用EMC统一存储的一大因素。”
PTI在开展这个项目之前，已经在使用一台老化的CLARiiON CX3-20，但容量所剩无几，同时还过了保修期，IT人员每个月要来好几趟，执行一些基本的维护任务，比如给固件打补丁等。在升级EMC系统的同时，PTI使用VMware将约75台物理服务器整合成10台，但不是使用旧机器，而是购买了新机型，因为VMware需要的内存量很大，而新的服务器主机配备了32GB到96GB的内存。
该项目实施后，PTI再也不需要IT人员在晚上加班加点，更换失效的服务器或进行日常维护。倘若服务器有问题，它会进入维护模式，自动把所有虚拟机迁移到另一台服务器上，直到IT人员第二天上班后再来解决问题。这大大减少了IT人员的加班时间。
William Showers说：“借助共享存储上的VMware，我们部门的人就可以远程将虚拟机迁离某一台物理服务器，在正常工作时间对它进行更新或维护，然后把虚拟机再迁移回去。”
此外，学院里的老师需要远程访问高端编程、CAD、多媒体及其他应用软件，以便可以在家里给学生的作业打分，或者准备教案。而招生人员越来越需要共享记录学生活动、教学楼施工及其他大事的视频和照片，势必需要更多的场地和更灵活的架构。William Showers特别指出，这一切需要更多的服务器，势必需要极其庞大的电力和冷却设备。而他们除了没有升级电力和冷却系统所需的预算外，也没有足够的地方装得下更多的设备。据PTI声称，这个项目大概为它在新服务器、电力和冷却系统方面省下了数10万美元的费用。
William Showers说：“我们那台65千伏安UPS的用电负载从约75%降低到了约22%。VMware其实让我们避免了花费巨资来升级设施。”
显然，当前IT预算缩减的公司都面临着一个挑战：提供足够的存储容量以满足自己的要求。统一存储平台正好适合当前的环境，因为它的初始资本投资比较少，运营成本比较低，企业可以先小规模部署，然后慢慢扩展。统一存储还可以共享资源，针对不同的应用程序，结合使用文件存储和块存储。
统一存储是一项在不断发展的存储技术，对不同类型的IT项目来说准入门槛很低。把它添加到企业数据中心的存储基础架构中是个正确的选择。
“统一存储让我们能够把存储系统整合到单一平台上，又能够确保需要时有足够的空间来进行扩展。”
――美国堪萨斯州第一州立银行和信托公司高级副总裁Harry M Wheeler
“该项目实施后，我们再也不需要IT人员在晚上加班加点更换失效的服务器或进行日常维护了。”
――美国匹兹堡技术学院应用程序主管William Showers

链接一
统一存储及其应用
统一存储实际上是一种网络存储架构，它既支持基于文件的NAS存储，又支持基于块的SAN存储。这种多协议系统可以通过IP或光纤通道（FC），连接至服务器。在统一存储系统中，块访问通过光纤通道、SAS或基于以太网的iSCSI等接口来实现；文件访问是指使用基于以太网的CIFS或NFS访问存储系统中的文件系统。
统一存储要求实行统一管理，即一个存储系统要同时管理块数据和文件数据，如果没有统一管理，那么实现整合和简化的目标就会受到影响。一些厂商通过光纤通道和iSCSI来提供块存储，而另一些厂商则坚持只用iSCSI，因为它更容易实现。
统一存储有一些出色的用途：
● 在虚拟服务器环境下，统一存储系统可以满足快速配置虚拟机并运营的要求。它可以为虚拟机配置基于NFS的数据存储区，实现文件I/O，统一存储的块存储功能让真实设备映射（RDM）可将物理磁盘连接至虚拟机，以满足应用程序的需求。
● 如果某种类型的使用（如非结构化数据的文件存储）占主导地位，但仍需要一些块存储（比如Exchange数据库），那么统一存储系统允许将它们整合到单一平台上。
● 统一存储还为那些因需求发生变化而要稍稍改动存储的企业提供了出色的灵活性。
● 统一存储可以为所需的使用类型配置单一资源，包括块或文件。

链接二
统一存储平台的基本特点
1 易于管理。为了满足RAID、卷管理、文件系统创建、卷扩展和自动精简配置的需要，管理界面就要做到简单易用。只需要不到4个小时，就可以完成初始安装以及准备好为所有协议提供文件服务。不需要专门的IT管理员来配置、部署和管理。基于向导的安装和配置是标准工具。
2 扩展快速、容易。统一存储被认为是二级存储解决方案，现在作为SAN存储之外的一种选择，正进入到数据中心领域。这归功于高级软件功能，有些基于SAN的应用程序现在使用统一存储作为标准存储平台，如装有单一邮箱恢复和SQL数据库应用软件的Exchange邮件服务器，通过快照就能迅速完成测试，而不会干扰生产数据集。可以实施虚拟服务器功能，减少物理服务器的数量，并实施不同级别的RAID技术，以满足不同应用程序的需要。近来，企业还需要通过高级的存储和服务器虚拟化技术，对服务器/存储进行整合。企业可得益于VMware虚拟化技术和统一存储这对组合，从而减少物理服务器的数量，提高存储利用率。
3 高可靠性和高可用性。统一存储需要提供双头高可用性（dual-head HA，主动/主动）或N+1（主动/被动）机制，确保数据服务的高可用性。要满足数据中心的标准，真正的99999%可靠性是必要条件。这相当于全年停机时间只有5分钟。目前市面上的统一存储平台提供双RAID控制器、镜像缓存或非易失随机存储器（NVRAM）来保护数据。一些厂商实施的技术因扩展性问题而在性能上和存储容量上受到限制，只提供低成本的iSCSI目标系统，以及只为目标系统或虚拟磁带库（VTL）提供重复数据删除这个选项。这些不足会缩小为数据增长速度和存储容量扩展做规划时考虑的范围。如果不断部署存在所有这些局限的同一架构产品，就会面临NAS存储孤岛、数据中心场地出现不必要的扩展，还会显著增加运营和管理成本。

1、首先在
SQL
Server
2008中选择单击Microsoft
SQL
Server
2008
Management
Studio,会出现一个窗口。
2、在服务器名称中选择本机的服务器名字。然后单击连接按钮。就进入Microsoft
SQL
Server
2008
Management
Studio。
3、右键单击数据库，选择新建数据库，会出来一个窗口，在这个窗口里可以输入你要建的数据库的名称，同时也可以修改数据库的文件类型。
4、数据库的名称和类型都弄好后，点击下方的确定
按钮。数据库就建立了。
5、要是想删除自己不想要的数据库也很简单。鼠标右键点击自己不想要的数据库，然后选择删除
，那么该数据库就删除了。

---