什么是网络拓扑结构

集群强调高可用，分布式强调多业务协作
物理与逻辑
集群倾向于物理概念，即多台机器组成一个集群。这多台机器是否有合作关系并不能保证，比如我们会说我们公司的一个规模为1000台机器的物理集群部署在昌平，但是这1000台机器可能是给公司内不同的平台提供服务，但是从物理角度，由于都部署在一起，在同一个机房，就可以称之为集群。
分布式倾向于逻辑概念，即多个节点或程序为了一个共同的目标，部署在一个或者多个物理机器上。举个例子，一台物理机上装了一个Nginx，它连接的两个Tomcat也在这台物理机上，但是这个Nginx代表的服务，就可以称之为分布式。当然，为了安全性，稳定性等原因，我们并不建议把分布式部署在一个物理节点上。
发自简书App
冗余与分解
集群除了可以用来表示多个物理机器，还可以表示一种“冗余”的理念，即通过部署多个同样功能的节点，来实现扩展性与可用性的提升。举个例子，通过在不同节点上部署两个同样功能的server，来这样就算其中一个节点宕机，也能保证服务的可用性。而扩展性，比如一个server的qps可用承担到2000，但是随着用户群体的增加，qps需要达到3000，那么我们就可以通过增加一个Tomcat节点的方式来实现扩容。
分布式的分解与微服务的概念有点相近，即把一个系统的功能分布在不同节点上，每个节点都承担了不同的责任，这样分模块部署最主要的优势是业务隔离，即个别功能的问题或者改进不会影响其他模块，这样就算个别模块挂掉，其他模块也能够继续运作。举个例子，前些年春晚抢红包的时候，曾经由于瞬时间请求量太大导致把微信和支付宝给弄瘫痪了，但是大家都知道，瘫痪的只是红包部分的功能，微信的信息功能并不受影响，这就是分布式的好处。

sina

Bigtable 是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB 级的数据。Google 的很多项目使用Bigtable 存储数据，包括Web 索引、GoogleEarth、Google Finance。这些应用对Bigtable 提出的要求差异非常大，无论是在数据量上（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。
Bigtable 已经实现了下面的几个目标：适用性广泛、可扩展、高性能和高可用性,Bigtable 是一个稀疏的、分布式的、持久化存储的多维度排序Map。

图一：一个存储Web 网页的例子的表的片断。行名是一个反向URL。contents 列族存放的是网页的内容，anchor 列族存放引用该网页的锚链接文本（alex 注：如果不知道HTML 的Anchor，请Google一把）。CNN 的主页被Sports Illustrater和MY-look 的主页引用，因此该行包含了名为“anchor:cnnsicom”和“anchhor:mylookca”的列。每个锚链接只有一个版本（alex 注：注意时间戳标识了列的版本，t9 和t8 分别标识了两个锚链接的版本）；而contents 列则有三个版本，分别由时间戳t3，t5，和t6 标识。

行
Bigtable 通过行关键字的字典顺序来组织数据。表中的每个行都可以动态分区。每个分区叫做一个”Tablet”，Tablet 是数据分布和负载均衡调整的最小单位。

列族
Webtable 有个列族language，language 列族用来存放撰写网页的语言。
我们在language 列族中只使用一个列关键字，用来存放每个网页的语言标识ID。Webtable 中另一个有用的列族是anchor；这个列族的每一个列关键字代表一个锚链接，如图一所示。Anchor 列族的限定词是引用该网页的站点名；Anchor 列族每列的数据项存放的是链接文本。访问控制、磁盘和内存的使用统计都是在列族层面进行的。

时间戳
不同版本的数据通过时间戳来索引。Bigtable 时间戳的类型是64 位整型。
Bigtable 可以给时间戳赋值，用来表示精确到毫秒的“实时”时间；用户程序也可以给时间戳赋值。如果应用程序需要避免数据版本冲突，那么它必须自己生成具有唯一性的时间戳。数据项中，不同版本的数据按照时间戳倒序排序，即最新的数据排在最前面。为了减轻多个版本数据的管理负担，我们对每一个列族配有两个设置参数， Bigtable 通过这两个参数可以对废弃版本的数据自动进行垃圾收集。用户可以指定只保存最后n 个版本的数据，或者只保存“足够新”的版本的数据（比如，只保存最近7 天的内容写入的数据）。

Bigtable支持的其他特性
1、Bigtable 支持单行上的事务处理，利用这个功能，用户可以对存储在一个行关键字下的数据进行原子性的读-更新-写 *** 作。
2、Bigtable 允许把数据项用做整数计数器。
3、Bigtable 允许用户在服务器的地址空间内执行脚本程序
4、Bigtable 可以和MapReduce一起使用，MapReduce 是Google 开发的大规模并行计算框架。我们已经开发了一些Wrapper 类，通过使用这些Wrapper 类，Bigtable 可以作为MapReduce 框架的输入和输出。

Bigtable依赖于google的几项技术。用GFS来存储日志和数据文件；按SSTable文件格式存储数据；用Chubby管理元数据：
Bigtable是建立在其它的几个Google基础构件上的。BigTable 使用Google 的分布式文件系统(GFS)存储日志文件和数据文件。BigTable 集群通常运行在一个共享的机器池中，池中的机器还会运行其它的各种各样的分布式应用程序，BigTable 的进程经常要和其它应用的进程共享机器。BigTable 依赖集群管理系统来调度任务、管理共享的机器上的资源、处理机器的故障、以及监视机器的状态。
BigTable 内部存储数据的文件是Google SSTable 格式的。SSTable 是一个持久化的、排序的、不可更改的Map 结构，而Map 是一个key-value 映射的数据结构，key 和value 的值都是任意的Byte串，从内部看，SSTable 是一系列的数据块（通常每个块的大小是64KB，这个大小是可以配置的）。。SSTable 使用块索引（通常存储在SSTable 的最后）来定位数据块；在打开SSTable的时候，索引被加载到内存。每次查找都可以通过一次磁盘搜索完成：首先使用二分查找法在内存中的索引里找到数据块的位置，然后再从硬盘读取相应的数据块。也可以选择把整个SSTable 都放在内存中，这样就不必访问硬盘了。

BigTable 还依赖一个高可用的、序列化的分布式锁服务组件，叫做Chubby。Chubby有五个活跃副本，同时只有一个主副本提供服务，副本之间用Paxos算法维持一致性，Chubby提供了一个命名空间（包括一些目录和文件），每个目录和文件就是一个锁，Chubby的客户端必须和Chubby保持会话，客户端的会话若过期则会丢失所有的锁。

Bigtable 包括了三个主要的组件：链接到客户程序中的库、一个Master主服务器和多个Tablet片 服务器。
Bigtable会将表（table）进行分片，片（tablet）的大小维持在100-200MB范围，一旦超出范围就将分裂成更小的片，或者合并成更大的片。每个片服务器负责一定量的片，处理对其片的读写请求，以及片的分裂或合并。片服务器可以根据负载随时添加和删除。这里片服务器并不真实存储数据，而相当于一个连接Bigtable和GFS的代理，客户端的一些数据 *** 作都通过片服务器代理间接访问GFS。主服务器负责将片分配给片服务器，监控片服务器的添加和删除，平衡片服务器的负载，处理表和列族的创建等。注意，主服务器不存储任何片，不提供任何数据服务，也不提供片的定位信息。

客户端需要读写数据时，直接与片服务器联系。因为客户端并不需要从主服务器获取片的位置信息，所以大多数客户端从来不需要访问主服务器，主服务器的负载一般很轻。

Master 服务器主要负责以下工作：为Tablet 服务器分配Tablets、检测新加入的或者过期失效的Table 服务器、对Tablet 服务器进行负载均衡、以及对保存在GFS 上的文件进行垃圾收集。除此之外，它还处理对模式的相关修改 *** 作，例如建立表和列族。

我们使用一个三层的、类似B+树的结构存储Tablet 的位置信息。

第一层是一个存储在Chubby 中的文件，它包含了Root Tablet 的位置信息。这个Chubby文件属于Chubby服务的一部分，一旦Chubby不可用，就意味着丢失了root tablet的位置，整个Bigtable也就不可用了。
第二层是root tablet。root tablet其实是元数据表（METADATA table）的第一个分片，它保存着元数据表其它片的位置。root tablet很特别，为了保证树的深度不变，root tablet从不分裂。
第三层是其它的元数据片，它们和root tablet一起组成完整的元数据表。每个元数据片都包含了许多用户片的位置信息。

片的数据最终还是写到GFS里的，片在GFS里的物理形态就是若干个SSTable文件。下图展示了读写 *** 作基本情况。

BigTable和GFS的关系
集群包括主服务器和片服务器，主服务器负责将片分配给片服务器，而具体的数据服务则全权由片服务器负责。但是不要误以为片服务器真的存储了数据（除了内存中memtable的数据），数据的真实位置只有GFS才知道，主服务器将片分配给片服务器的意思应该是，片服务器获取了片的所有SSTable文件名，片服务器通过一些索引机制可以知道所需要的数据在哪个SSTable文件，然后从GFS中读取SSTable文件的数据，这个SSTable文件可能分布在好几台chunkserver上。
一个简化的Bigtable结构图：

结构图以Webtable表为例，表中存储了网易、百度和豆瓣的几个网页。当我们想查找百度贴吧昨天的网页内容，可以向Bigtable发出查询Webtable表的(combaidutieba, contents:, yesterday)。

假设客户端没有该缓存，那么Bigtable访问root tablet的片服务器，希望得到该网页所属的片的位置信息在哪个元数据片中。使用 METADATAWebtablecombaidutieba 为行键在root tablet中查找，定位到最后一个比它大的是 METADATAWebtablecombaidu>

分布式系统一定是由多个节点组成的系统。

其中，节点指的是计算机服务器，而且这些节点一般不是孤立的，而是互通的。

这些连通的节点上部署了我们的节点，并且相互的 *** 作会有协同。

分布式系统对于用户而言，他们面对的就是一个服务器，提供用户需要的服务而已，

而实际上这些服务是通过背后的众多服务器组成的一个分布式系统，因此分布式系统看起来像是一个超级计算机一样。

集群是指在几个服务器上部署相同的应用程序来分担客户端的请求。

它是同一个系统部署在不同的服务器上，比如一个登陆系统部署在不同的服务器上。

好比多个人一起做同样的事。

集群主要的使用场景是为了分担请求的压力。

但是，当压力进一步增大的时候，可能在需要存储的部分，比如mysql无法面对大量的“写压力”。

因为在mysql做成集群之后，主要的写压力还是在master的机器上，其他slave机器无法分担写压力，这时，就引出了“分布式”。

分布式是指多个系统协同合作完成一个特定任务的系统。

它是不同的系统部署在不同的服务器上，服务器之间相互调用。

好比多个人一起做不同的事。

分布式是解决中心化管理的问题，把所有的任务叠加到一个节点处理，太慢了。

所以把一个大问题拆分为多个小问题，并分别解决，最终协同合作。

分布式的主要工作是分解任务，把职能拆解。

分布式的主要应用场景是单台机器已经无法满足这种性能的要求，必须要融合多个节点，并且节点之间的相关部分是有交互的。

相当于在写mysql的时候，每个节点存储部分数据（分库分表），这就是分布式存储的由来。

存储一些非结构化数据：静态文件、、pdf、小视频 这些也是分布式文件系统的由来。

分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。

正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是 *** 作系统），而不是硬件。

扩展资料

分布式系统系统优点

1、经济：微处理机提供了比大型主机更好的性能价格比

2、速度：分布式系统总的计算能力比单个大型主机更强

3、固有的分布性：一些应用涉及到空间上分散的机器 

4、可靠性：如果一个机器崩溃,整个系统还可以运转 

5、渐增：计算能力可以逐渐有所增加

参考资料来源：百度百科—分布式系统

---