linux服务器集群技术现状与发展趋势

以下内容转自互联网集群系统主要分为两种：高可用性集群和高性能集群。高可用性集群的主要功能就是提供不间断的服务。有许多应用程序都必须一天二十四小时地不停运转，如所有的web服务器、工业控制器、ATM、远程通讯转接器、医学与军事监测仪以及股票处理机等。对这些应用程序而言，暂时的停机都会导致数据的丢失和灾难性的后果。高性能集群通过将多台机器连接起来同时处理复杂的计算问题。模拟星球附近的磁场、预测龙卷风的出现、定位石油资源的储藏地等情况都需要对大量的数据进行处理。传统的处理方法是使用超级计算机来完成计算工作，但是超级计算机的价格比较昂贵，而且可用性和可扩展性不够强，因此集群成为了高性能计算领域瞩目的焦点。集群系统采用的 *** 作系统主要有VMS、UNIX、WindowsNT和Linux。美国DEC公司（Digital Equipment Corporation）开发的VMScluster系统开发最早，技术也很成熟，应用也很广泛，但由于VMS *** 作系统只能在DEC公司的VAX系列和Alpha系列服务器上运行，VMScluster的应用受到很大限制。UNIX是服务器或工作站上普遍使用的 *** 作系统，它运行稳定、安全性也比较好，因此许多大的公司都采用了基于UNIX的集群系统解决方案，如DEC、 HP、SUN、IBM、NCR和DG等公司，其中在国内影响比较大的主要是DEC、HP、SUN和IBM。其中DEC公司的Trucluster系统提供了由4台Digital Alpha Server组成的集群系统，它集高可靠性、高可用性和易管理性于一身，是关键业务计算机系统的理想解决方案。基于WindowsNT的集群系统解决方案厂商主要有Mircrosoft和DEC。Microsoft于1995年就开始了集群系统的开发工作。 Windows 2000中已经增加了集群功能，该高可用性集群叫做WolfPack，也叫做Microsoft Cluster Server (MCS)。它主要是在企业级对基于Windows NT服务器的应用程序提供可用性和可升级性。WolfPack现在支持两个服务器，一个用来对用户提供服务，另一个作为备份服务器使用。 Microsoft下一步的目标是将WolfPack支持的节点数扩展到16个。Wolfpack的缺陷在于：它只提供了两个节点的失败恢复功能，而没有采用复杂的应用程序资源管理功能，因此在一定程度上影响了系统的高可用性、高可靠性和可升级性。Wolfpack不能支持多种 *** 作系统，而只能运行于 Windows NT *** 作系统上。由于WindowsNT *** 作系统本身在稳定性、大型并行计算上与UNIX系统存在较大差距，目前主要在中小型系统上应用。但是随着 WindowsNT系统走向成熟，基于WindowsNT的计算机集群系统将获得更广泛的应用。九十年代末期，Linux *** 作系统不断走向成熟，它的健壮性不断增强，并且提供了GNU软件和标准化的PVM、MPI消息传递机制，最重要的是Linux在普通PC机上提供了对高性能网络的支持，这样就大大推动了基于Linux的集群系统的发展。Turbolinux公司推出了能够显著地提高基于TCP/IP协议的多种网络服务的服务质量的高可用性集群系统Turbocluster。Red Hat也提供了基于Linux Virtual Server思想构建的高可用性集群系统Piranha。由Ericsson软件工程研究中心开发的高可用性集群系统Eddie的主要目的是提供一个商业级的，能提供较好的服务质量的web服务器的解决方案。Platform公司开发的高可用性集群系统Lsf提供了分布式集群系统的解决方案，通过将物理上分离的多个集群连接在一起使使多个同构或异构的计算机能够通过局域网或广域网共享计算资源，并能够为用户提供对资源的透明访问。高性能集群系统MOSIX为Linux核心增添了集群计算的功能。在MOSIX集群环境中，用户无需对应用程序进行修改，或将应用程序与库连接起来，或将应用程序分配到不同的节点上运行。MOSIX会自动将这些工作透明地交给别的节点来执行。日本的F5公司开发出了高可用性集群BIG-IP，它是使用于本地网络站点或数据中心的高可用的、智能化的负载平衡产品，它提供了对网络流量的自动和智能的管理。与前几种集群系统不同的是，BIG-IP向用户提供的是一个即插即用设备，而其它的提供的都是软件方法。IBM、Microsoft和Intel于2000年7月联合发布了一种高可用性服务器集群软件及硬件包，这种服务器集群的配置包括32台IBM Netfinity 8500R及Intel Pentium Ⅲ Xeon处理器，运行IBM的DB2 Universal Database和Microsoft Windows 2000 Advanced Server *** 作系统，每分钟可以执行440879次交易。这套系统面向数据密集的应用，特别是B2B、电子商务和企业资源规划领域。在科学计算领域中，人们开始把注意力投向通过普通PC机或工作站的集群来代替昂贵的超级计算机。比较成功的例子是高性能集群系统Beowulf，它最初是由NASA的Goddard Flight Center进行开发的，主要目的是支持大规模的科学计算问题，如地球和太空科学面临的一些计算问题。国内也有不少公司进行了集群系统的研究和开发工作。联想公司在1999年9月推出了用于分布式高性能计算的NS10000高性能集群服务器，该系统是一个四节点的系统，主要基于联想万全4500R服务器，以总体成本相对较低的设备组合，足以替代传统RISC小型机和中型机的工作，而价格仅为市场上同等性能小型机的1/2--1/4。朗新公司也推出了类似于Turbocluster的高可用性集群系统LongShine Cluster Server。1999年9月20日，中国第一家专业面向Linux高端应用市场的集群网络有限公司推出了国内首例Linux安全集群系统。它是国内第一个通过公安部认证的安全Linux系统，而其集群技术也已应用于诸多国际著名网站，如Linux的门户>

由二台或更多物理上独立的服务器共同组成的"虚拟"服务器称之为集群服务器 一项称做MicroSoft集群服务(MSCS)的微软服务可对集群服务器进行管理 一个SQL Server集群是由二台或更多运行SQL Server的服务器(节点)组成的虚拟服务器 如果集群中的一个节点发生故障 集群中的另一个节点就承担这个故障节点的责任

认为一个 SQL Server集群能够给集群中的两个节点带来负载平衡 这是一种常见的误解 虽然这似乎很有用 但却是不正确的 这也意味着集束SQL Server不能真正提高性能 集束SQL Server只能提供故障转移功能 故障转移就是当系统中的一台机器发生故障失去其功能时 另一台机器将接手运行它的SQL Server实例 这种功能失效可能是由于硬件故障 服务故障 人工故障或各种其它原因

为何要集束SQL Server环境

在实用性方面 集群SQL Server环境令人满意 在进行故障转移时 将数据库实例由一台服务器转移到另一台服务器的时间非常短暂 一般只需要 至 秒钟 虽然需要重建连接 但对数据库的终端用户而言 故障转移处理通常是透明的 低廉的故障转移成本还可帮助你对集群中的节点进行维护 而不会造成服务器完全无法访问

SQL Server集群类型

一共有两种类型的SQL Server集群 主动/被动集群和主动/主动集群 下面分别对它们进行说明(说明以两个节点的SQL Server集群为基础)

主动/被动集群

在这种类型的集群中 一次只有一个节点控制SQL Server资源 另一个节点一直处于备用模式 等待故障发生 进行故障转移时 备用的节点即取得SQL Server资源的控制权

优点 由于服务器上只有一个实例在运行 所以在进行故障转移时 不需要另外的服务器来接管两个SQL Server实例 性能也不会因此降低

缺点 由于虚拟服务器上只有一个SQL Server实例在运行 另一台服务器总是处理备用模式与空闲状态 这意味着你并没有充分利用你购买的硬件

主动/主动集群

在这种类型的集群中 集群中的每个节点运行一个独立且主动的SQL Server实例 发生节点故障时 另一个节点能够控制发生故障节点的SQL Server实例 然后这个正常的节点将运行两个SQL Server实例 它自己的实例和发生故障的实例

优点 通过这种配置 你能够充分利用你的硬件 在这样的系统中 两个服务器都在运行 而不是只有一台服务器运行 而另一台处于等待故障发生的备用模式 因此你能够充分利用你购买的机器

缺点 如果进行故障转移 一台服务器运行两个SQL Server实例 性能就会受到不利影响 然而 性能降低总比虚拟服务器完全失灵要强得多 这种配置的另一故障在于它要求购买的许可要比主动/被动集群多一些 因为集群在运行两个主动SQL Server实例 这要求你购买两个单独的服务器许可 在某些情况下 这也可能对你形成阻碍

集群考虑

在高实用性方面 集群SQL Server环境有一定的优势 然而 高实用性也确实伴随某种折衷

首先 建立一个集群SQL Server环境非常昂贵 这是因为集群中的节点必须遵照集群节点的兼容性列表 而且 还需要建立一个复杂的网络 机器的配置必须几乎相同 同时需要实现数据库文件磁盘子系统共享 存储区网络(SAN)是建立这种子系统的不错选择 但SAN并非必要 而且十分昂贵 另外 如果你正在运行一个主动/主动集群 你需要为集群中运行SQL Server实例的每台机器的处理器购买一个许可

lishixinzhi/Article/program/SQLServer/201311/22276

分类: 电脑/网络 >> 互联网
问题描述:

刚才访问一个BBS，它们正在进行集群测试，不知道这是干什么用的？请高手赐教，并用简单通俗的语言表达，好让我们这些门外汉明白一二。

解析:

随着计算机网络应用的日益复杂，在Inter上的流量也变得日益拥挤，尤其伴随着宽带应用的逐渐普及，对网络和服务器性能的要求也越来越高，目前针对不同的应用服务类型，有不同的优化解决方案，其中服务器集群技术是切实可行的方法之一。

负载平衡集群（Load Balance）和高可用集群（High Availability）是当前应用范围最广的两种服务器集群技术，尤其是基于Linux技术实现的上述两种集群方案，具有成本低、效率高、适用性好、便于优化的特点。不仅可以解决网络访问负载过重和突发请求并快速转移的问题，还可以大幅度提高服务器的可靠性，是当前企业、数据中心、网站的首选解决方案。

因此集群测试的作用是针对当前网络的主要应用，对集群系统进行Web、Mail、Ftp、StreamMedia等应用性能测试和综合优化试验，为集群系统开发、制造、销售企业提供第一手的性能技术资料，为开发企业节省大量的开发费用和测试费用，为系统集成企业提供选型的依据。

市面上存在两种数据库负载均衡的思路：1

基于数据库连接的负载均衡：例如总共有100个数据库连接，50个连接登录到数据库机器A，另外50个连接登录到数据库机器B，这样每个连接中接下来的所有请求全都是发往同一台数据库机器的

这种数据库负载均衡的思路模拟了WEB上的负载均衡方法，但是由于WEB连接是短时间连接(连接建立后，获取需要的HTML等资源后，连接马上被关闭)，而数据库连接是长时间连接(连接建立后，可长时间保持，客户可不停向数据库发送SQL请求，数据库做出回答，如此不断循环直到连接被人为或因错而断开为止)，因此这种数据库负载均衡思路存在着明显的缺点：有可能会发生绝大部分的请求压力都集中到某台数据库机器上去，从而使得负载均衡效果失效

2

基于批处理请求的负载均衡：在建立数据库连接的时候，会同时与每台数据库服务器建立连接，之后针对客户端的每次请求，都会根据负载均衡算法，独立地选出某个数据库节点来执行这个请求

此种思路符合数据库长时间连接的特征，不存在上面所述的基于连接的负载均衡方法的缺点

市面上的负载均衡厂商，既有基于连接的，也有基于批处理请求的，用户需仔细辨别才能找到自己想要的合适产品

集群是一种用于集团调度指挥通信的移动通信系统，主要应用在专业移动通信领域。

1、该系统具有的可用信道可被系统的全体用户共用，具有自动选择信道功能，它是共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信系统。

2、集群通信的最大特点是话音通信采用PTT，以一按即通的方式接续，被叫无需摘机即可接听，且接续速度较快，并能支持群组呼叫等功能，它的运作方式以单工、半双工为主，主要采用信道动态分配方式，并且用户具有不同的优先等级和特殊功能，通信时可以一呼百应。

3、集群系统控制器能把有限的信道动态地、自动地最佳分配给系统的所有用户，这实际上就是信道全利用度或我们经常使用的术语“信道共用”。

扩展资料：

集群通信系统是一种用于集团调度指挥通信的移动通信系统，主要应用在专业移动通信领域。

该系统具有的可用信道可为系统的全体用户共用，具有自动选择信道功能，它是共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信系统。

集群通信的最大特点是话音通信采用PTT(Push To Talk)，以一按即通的方式接续，被叫无需摘机即可接听，且接续速度较快，并能支持群组呼叫等功能，它的运作方式以单工、半双工为主，主要采用信道动态分配方式，并且用户具有不同的优先等级和特殊功能，通信时可以一呼百应。

追溯到它的产生，集群的概念确实是从有线电话通信中的“中继”概念而来。1908年，E．C．Mo1ina发表的“中继”曲线的概念等级，证明了一群用户的若干中继线路的概率可以大大提高中继线的利用率。

“集群”这一概念应用于无线电通信系统，把信道视为中继。“集群”的概念，还可从另一角度来认识，即与机电式(纵横制式)交换机类比，把有线的中继视为无线信道，把交换机的标志器视为集群系统的控制器，当中继为全利用度时，就可认为是集群的信道。

集群系统控制器能把有限的信道动态地、自动地最佳分配给系统的所有用户，这实际上就是信道全利用度或我们经常使用的术语“信道共用”。

参考资料来源：百度百科-集群

磁盘阵列（Redundant Arrays of Inexpensive Disks，RAID），有“价格便宜且多余的磁盘阵列”之意。原理是利用数组方式来作磁盘组，配合数据分散排列的设计，提升数据的安全性。磁盘阵列是由很多便宜、容量较小、稳定性较高、速度较慢磁盘，组合成一个大型的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。同时利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任一颗硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中。RAID技术主要包含RAID 0～RAID 7等数个规范，它们的侧重点各不相同，常见的规范有如下几种： RAID 0：RAID 0连续以位或字节为单位分割数据，并行读/写于多个磁盘上，因此具有很高的数据传输率，但它没有数据冗余，因此并不能算是真正的RAID结构。RAID 0只是单纯地提高性能，并没有为数据的可靠性提供保证，而且其中的一个磁盘失效将影响到所有数据。因此，RAID 0不能应用于数据安全性要求高的场合。 RAID 1：它是通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互 为备份的数据。当原始数据繁忙时，可直接从镜像拷贝中读取数据，因此RAID 1可以提高读取性能。RAID 1是磁盘阵列中单位成本最高的，但提供了很高的数据安全性和可用性。当一个磁盘失效时，系统可以自动切换到镜像磁盘上读写，而不需要重组失效的数据。 RAID 0+1: 也被称为RAID 10标准，实际是将RAID 0和RAID 1标准结合的产物，在连续地以位或字节为单位分割数据并且并行读/写多个磁盘的同时，为每一块磁盘作磁盘镜像进行冗余。它的优点是同时拥有RAID 0的超凡速度和RAID 1的数据高可靠性，但是CPU占用率同样也更高，而且磁盘的利用率比较低。 RAID 2：将数据条块化地分布于不同的硬盘上，条块单位为位或字节，并使用称为“加重平均纠错码（海明码）”的编码技术来提供错误检查及恢复。这种编码技术需要多个磁盘存放检查及恢复信息，使得RAID 2技术实施更复杂，因此在商业环境中很少使用。 RAID 3：它同RAID 2非常类似，都是将数据条块化分布于不同的硬盘上，区别在于RAID 3使用简单的奇偶校验，并用单块磁盘存放奇偶校验信息。如果一块磁盘失效，奇偶盘及其他数据盘可以重新产生数据；如果奇偶盘失效则不影响数据使用。RAID 3对于大量的连续数据可提供很好的传输率，但对于随机数据来说，奇偶盘会成为写 *** 作的瓶颈。 RAID 4：RAID 4同样也将数据条块化并分布于不同的磁盘上，但条块单位为块或记录。RAID 4使用一块磁盘作为奇偶校验盘，每次写 *** 作都需要访问奇偶盘，这时奇偶校验盘会成为写 *** 作的瓶颈，因此RAID 4在商业环境中也很少使用。 RAID 5：RAID 5不单独指定的奇偶盘，而是在所有磁盘上交叉地存取数据及奇偶校验信息。在RAID 5上，读/写指针可同时对阵列设备进行 *** 作，提供了更高的数据流量。RAID 5更适合于小数据块和随机读写的数据。RAID 3与RAID 5相比，最主要的区别在于RAID 3每进行一次数据传输就需涉及到所有的阵列盘；而对于RAID 5来说，大部分数据传输只对一块磁盘 *** 作，并可进行并行 *** 作。在RAID 5中有“写损失”，即每一次写 *** 作将产生四个实际的读/写 *** 作，其中两次读旧的数据及奇偶信息，两次写新的数据及奇偶信息。 RAID 6：与RAID 5相比，RAID 6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法，数据的可靠性非常高，即使两块磁盘同时失效也不会影响数据的使用。但RAID 6需要分配给奇偶校验信息更大的磁盘空间，相对于RAID 5有更大的“写损失”，因此“写性能”非常差。较差的性能和复杂的实施方式使得RAID 6很少得到实际应用。 RAID 7：这是一种新的RAID标准，其自身带有智能化实时 *** 作系统和用于存储管理的软件工具，可完全独立于主机运行，不占用主机CPU资源。RAID 7可以看作是一种存储计算机（Storage Computer），它与其他RAID标准有明显区别。除了以上的各种标准（如表1），我们可以如RAID 0+1那样结合多种RAID规范来构筑所需的RAID阵列，例如RAID 5+3（RAID 53）就是一种应用较为广泛的阵列形式。用户一般可以通过灵活配置磁盘阵列来获得更加符合其要求的磁盘存储系统。 RAID 5E(RAID 5 Enhencement): RAID 5E是在 RAID 5级别基础上的改进，与RAID 5类似，数据的校验信息均匀分布在各硬盘上，但是，在每个硬盘上都保留了一部分未使用的空间，这部分空间没有进行条带化，最多允许两块物理硬盘出现故障。看起来，RAID 5E和RAID 5加一块热备盘好象差不多，其实由于RAID 5E是把数据分布在所有的硬盘上，性能会与RAID5 加一块热备盘要好。当一块硬盘出现故障时，有故障硬盘上的数据会被压缩到其它硬盘上未使用的空间，逻辑盘保持RAID 5级别。 RAID 5EE: 与RAID 5E相比，RAID 5EE的数据分布更有效率，每个硬盘的一部分空间被用作分布的热备盘，它们是阵列的一部分，当阵列中一个物理硬盘出现故障时，数据重建的速度会更快。 开始时RAID方案主要针对SCSI硬盘系统，系统成本比较昂贵。1993年，HighPoint公司推出了第一款IDE-RAID控制芯片，能够利用相对廉价的IDE硬盘来组建RAID系统，从而大大降低了RAID的“门槛”。从此，个人用户也开始关注这项技术，因为硬盘是现代个人计算机中发展最为“缓慢”和最缺少安全性的设备，而用户存储在其中的数据却常常远超计算机的本身价格。在花费相对较少的情况下，RAID技术可以使个人用户也享受到成倍的磁盘速度提升和更高的数据安全性，现在个人电脑市场上的IDE-RAID控制芯片主要出自HighPoint和Promise公司，此外还有一部分来自AMI公司。 面向个人用户的IDE-RAID芯片一般只提供了RAID 0、RAID 1和RAID 0+1（RAID 10）等RAID规范的支持，虽然它们在技术上无法与商用系统相提并论，但是对普通用户来说其提供的速度提升和安全保证已经足够了。随着硬盘接口传输率的不断提高，IDE-RAID芯片也不断地更新换代，芯片市场上的主流芯片已经全部支持ATA 100标准，而HighPoint公司新推出的HPT 372芯片和Promise最新的PDC20276芯片，甚至已经可以支持ATA 133标准的IDE硬盘。在主板厂商竞争加剧、个人电脑用户要求逐渐提高的今天，在主板上板载RAID芯片的厂商已经不在少数，用户完全可以不用购置RAID卡，直接组建自己的磁盘阵列，感受磁盘狂飙的速度。 RAID 50：RAID50是RAID5与RAID0的结合。此配置在RAID5的子磁盘组的每个磁盘上进行包括奇偶信息在内的数据的剥离。每个RAID5子磁盘组要求三个硬盘。RAID50具备更高的容错能力，因为它允许某个组内有一个磁盘出现故障，而不会造成数据丢失。而且因为奇偶位分部于RAID5子磁盘组上，故重建速度有很大提高。优势：更高的容错能力，具备更快数据读取速率的潜力。需要注意的是：磁盘故障会影响吞吐量。故障后重建信息的时间比镜像配置情况下要长。

---