分布式和集中式存储
集中存储的优缺点是，物理介质集中布放;视频流上传到中心对机房环境要求高，要求机房空间大，承重、空调等都是需要考虑的问题。
分布存储，集中管理的优缺点是，物理介质分布到不同的地理位置;视频流就近上传，对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署，设备价格和维护成本较低;小容量设备分布部署，对机房环境要求低。
链乔教育在线旗下学硕创新区块链技术工作站是中国教育部学校规划建设发展中心开展的“智慧学习工场2020-学硕创新工作站 ”唯一获准的“区块链技术专业”试点工作站。专业站立足为学生提供多样化成长路径，推进专业学位研究生产学研结合培养模式改革，构建应用型、复合型人才培养体系。浪潮的多节点服务器可以解决关于分布式存储的问题，像浪潮的英信服务器i48M6，就是一款专为全新高密度数据中心应用优化设计的多节点模块化服务器，它的扩展能力更高，可以解决海量存储问题。
《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐的IPFS 是一个分布式系统，用于存储和访问文件、网站、应用程序和数据。
而且，当您使用 IPFS 时，您不只是从其他人那里下载文件——您的计算机也有助于分发它们。当您在几个街区外的朋友需要相同的 Wikipedia 页面时，他们可能会像从您的邻居或任何使用 IPFS 的人那里一样从您那里获得它。
IPFS 不仅可以用于网页，还可以用于计算机可能存储的任何类型的文件，无论是文档、电子邮件，甚至是数据库记录。
可以从不由一个组织管理的多个位置下载文件：
最后一点实际上是 IPFS 的全名： InterPlanetary File System 。我们正在努力建立一个系统，该系统可以在不连贯或相隔很远的地方工作，就像行星一样。虽然这是一个理想主义的目标，但它让我们努力工作和思考，几乎我们为实现这一目标而创造的一切在家里也很有用。
IPFS 是一个点对点 (p2p) 存储网络。可以通过位于世界任何地方的对等点访问内容，这些对等点可能会传递信息、存储信息或两者兼而有之。IPFS 知道如何使用其内容地址而不是其位置来查找您要求的内容。
理解 IPFS 的三个基本原则：
这三个原则相互依赖，以启用 IPFS 生态系统。让我们从 内容寻址 和内容的唯一标识开始。
互联网和您的计算机上都存在这个问题！现在，内容是按位置查找的，例如：
相比之下，每条使用 IPFS 协议的内容都有一个 内容标识符 ，即 CID，即其 哈希值 。散列对于它所来自的内容来说是唯一的，即使它与原始内容相比可能看起来很短。
有向无环图 (DAG)
IPFS 和许多其他分布式系统利用称为有向无环图的数据结构 （打开新窗口），或 DAG。具体来说，他们使用 Merkle DAG ，其中每个节点都有一个唯一标识符，该标识符是节点内容的哈希。
IPFS 使用针对表示目录和文件进行了优化的 Merkle DAG，但您可以通过多种不同的方式构建 Merkle DAG。例如，Git 使用 Merkle DAG，其中包含许多版本的存储库。
为了构建内容的 Merkle DAG 表示，IPFS 通常首先将其拆分为 块 。将其拆分为块意味着文件的不同部分可以来自不同的来源并可以快速进行身份验证。
分布式哈希表 (DHT)
要查找哪些对等方正在托管您所追求的内容（ 发现 ），IPFS 使用分布式哈希表或 DHT。哈希表是值键的数据库。 分布式 哈希表是一种表在分布式网络中的所有对等方之间拆分的表。要查找内容，您需要询问这些同行。
libp2p项目 （打开新窗口）是 IPFS 生态系统的一部分，它提供 DHT 并处理对等点之间的连接和交谈。
一旦你知道你的内容在哪里（或者更准确地说，哪些对等点正在存储构成你所追求的内容的每个块），你就可以再次使用 DHT 来查找这些对等点的当前位置（ 路由 ）。因此，要获取内容，请使用 libp2p 查询 DHT 两次。
然而，这确实意味着 IPFS 本身并没有明确保护 有关 CID 和提供或检索它们的节点的知识。这不是分布式网络所独有的。在 d-web 和 legacy web 上，流量和其他元数据都可以通过可以推断出很多关于网络及其用户的方式进行监控。下面概述了这方面的一些关键细节，但简而言之：虽然 节点之间 的 IPFS 流量是加密的，但这些节点发布到 DHT 的元数据是公开的。节点宣布对 DHT 功能至关重要的各种信息——包括它们的唯一节点标识符 (PeerID) 和它们提供的数据的 CID——因此，关于哪些节点正在检索和/或重新提供哪些 CID 的信息是公开的可用的。
加密
网络中有两种类型的加密： 传输加密 和 内容加密 。
在两方之间发送数据时使用传输加密。阿尔伯特加密文件并将其发送给莱卡，莱卡在收到文件后对其进行解密。这会阻止第三方在数据从一个地方移动到另一个地方时查看数据。
内容加密用于保护数据，直到有人需要访问它。Albert 为他的每月预算创建了一个电子表格，并用密码保存它。当 Albert 需要再次访问它时，他必须输入密码才能解密文件。没有密码，Laika 无法查看该文件。
IPFS 使用传输加密，但不使用内容加密。这意味着您的数据在从一个 IPFS 节点发送到另一个节点时是安全的。但是，如果拥有 CID，任何人都可以下载和查看该数据。缺乏内容加密是一个有意的决定。您可以自由选择最适合您的项目的方法，而不是强迫您使用特定的加密协议。
如果您精通命令行并且只想立即启动并运行 IPFS，请遵循此快速入门指南。请注意，本指南假定您将安装 go-ipfs，这是用 Go 编写的参考实现。
ipfs将其所有设置和内部数据存储在称为 存储库的目录中。 在第一次使用 IPFS 之前，您需要使用以下ipfs init命令初始化存储库：
如果您在数据中心的服务器上运行，则应使用server配置文件初始化 IPFS。这样做会阻止 IPFS 创建大量数据中心内部流量来尝试发现本地节点：
您可能需要设置大量其他配置选项 — 查看完整参考 （打开新窗口）更多。
后面的散列peer identity:是您节点的 ID，与上面输出中显示的不同。网络上的其他节点使用它来查找并连接到您。如果需要，您可以随时运行ipfs id以再次获取它。
现在，尝试运行在ipfs init 那个样子ipfs cat /ipfs/ /readme。
您应该看到如下内容：
您可以 探索 存储库中的其他对象。特别是quick-start显示示例命令尝试的目录：
准备好将节点加入公共网络后，在另一个终端中运行 ipfs 守护程序，并等待以下所有三行显示您的节点已准备好：
记下您收到的 TCP 端口。如果它们不同，请在下面的命令中使用您的。
现在，切换回原来的终端。如果您已连接到网络，您应该能够在运行时看到对等方的 IPFS 地址：
这些是 /p2p/
现在，您应该能够从网络中获取对象了。尝试：
使用上述命令，IPFS 在网络中搜索 CIDQmSgv并将数据写入spaceship-launchjpg桌面上调用的文件中。
接下来，尝试将对象发送到网络，然后在您喜欢的浏览器中查看它。以下示例curl用作浏览器，但您也可以在其他浏览器中打开 IPFS URL：
您可以通过转到 来查看本地节点上的 Web 控制台localhost:5001/webui。这应该会d出一个这样的控制台：
Web 控制台显示可变文件系统 (MFS)中的文件。MFS 是内置于 Web 控制台的工具，可帮助您以与基于名称的文件系统相同的方式导航 IPFS 文件。
当您使用CLI 命令ipfs add 添加文件时，这些文件不会自动在 MFS 中可用。要查看您使用 CLI 添加的 IPFS 桌面中的文件，您必须将文件复制到 MFS：
—END—
开源协议：MIT License
开源地址：>分布式存储的六大优点
分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。优点如下：
1 高性能
一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度;一旦这些区域不再是热点，那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能，按照一定的策略，先将数据写入高速存储，再在适当的时间进行同步落盘。
2 支持分级存储
由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下，分层存储的优势可以发挥到最佳。解决了目前缓存分层存储最大的问题是当性能池读不命中后，从冷池提取数据的粒度太大，导致延迟高，从而给造成整体的性能的抖动的问题。
3 一致性
与传统的存储架构使用RAID模式来保证数据的可靠性不同，分布式存储采用了多副本备份机制。在存储数据之前，分布式存储对数据进行了分片，分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性，分布式存储通常采用的是一个副本写入，多个副本读取的强一致性技术，使用镜像、条带、分布式校验等方式满足租户对于可靠性不同的需求。在读取数据失败的时候，系统可以通过从其他副本读取数据，重新写入该副本进行恢复，从而保证副本的总数固定;当数据长时间处于不一致状态时，系统会自动数据重建恢复，同时租户可设定数据恢复的带宽规则，最小化对业务的影响。
4 容灾性
在分布式存储的容灾中，一个重要的手段就是多时间点快照技术，使得用户生产系统能够实现一定时间间隔下的各版本数据的保存。特别值得一提的是，多时间点快照技术支持同时提取多个时间点样本同时恢复，这对于很多逻辑错误的灾难定位十分有用，如果用户有多台服务器或虚拟机可以用作系统恢复，通过比照和分析，可以快速找到哪个时间点才是需要回复的时间点，降低了故障定位的难度，缩短了定位时间。这个功能还非
5 扩展性
6 存储系统标准化
分布式存储，无疑是云计算时代最受关注的一门技术。
到底什么是分布式存储？
简单来说，人多力量大，利用多个存储服务器构建存储池，满足互联网时代越来越多的存储需求。
互联网行业的发展，数据成指数级增长，人们对存储的需求越来越大，采用集中式的存储成为数据中心系统的瓶颈，不能满足大规模存储应用的需要。
受益于服务器技术的发展和成熟，与标准服务器的分布式存储开始出现，分布式存储开始被广泛的应用起来。
分布式存储就是将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备，实际上数据分散的存储在企业的各个角落。分布式存储的好处是提高了系统的可靠性、可用性和存取效率，还易于扩展。
为了便于大家理解，这里打个简单的比方。我们可以将数据比作成货物，存储比作成拉货的卡车货，直连存储就相当于用普通货车拉货。
随着存储需求的逐渐增多，为了提升拉货的效率，我们就得不断的对卡车进行升级，变成更大型的货车，才能满足需求，这种扩展就相当于Scale up（纵向扩展）方式。
Scale up的优势是扩展简单，成本增长较慢，但是扩展能力有限，很难满足大容量存储的需求。
于是随着业务量的持续增长，扩展单机能力已经不能解决当前的问题，需要Scale-out，这也就是分布式存储系统。
分布式存储就像我们的拉货的货车，改用一节一节连接起来的火车拉货，当不能满足存储需求的时候，我们只需要添加一节一节的车厢就能满足需求了。
分布式系统的出现是让企业客户可以用普通的服务器完成单个计算机无法完成的计算、存储任务。让企业用户可以利用更多的普通机器，处理更多的数据需求。
▉ 分布式存储的优势
最后我们来汇总看下分布式存储额优势：
1、易于扩展
得益于合理的分布式架构，分布式存储可预估并且d性扩展计算、存储容量和性能。
2、高性能
一个具有高性能的分布式存储通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。
3、支持分级存储
由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。
4、多副本一致性
与传统的存储架构使用RAID模式来保证数据的可靠性不同，分布式存储采用了多副本备份机制，最小化对业务的影响。
5、存储系统标准化
随着分布式存储的发展，存储行业的标准化进程也不断推进，分布式存储优先采用行业标准接口（SMI-S或OpenStackCinder）进行存储接入，用户可以实现跨不同品牌、介质地实现容灾，从侧面降低了存储采购和管理成本。
▉ 最后总结
分布式存储是一个大的概念，其包含的种类繁多，除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外，还包括分布式数据库和分布式缓存等。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）