SMP(多处理系统):这种系统是在一台计算机里有多个CPU,CPU之间的地位是平等的，它们共享内存空间和I/O设备。其工作方法是由 *** 作系统负责将任务分解成多个并发进程，然后让其在不同的CPU上运行。
NUMA(非统一内存存取):这种系统可以让多处理计算机的CPU比SMP更高效地共享本地内存，CPU可以更快速地存取单一的内存区域，不过如需要也可以用间接方式存取其他区域的内存，这种方法是让某些CPU在给定范围的物理内存中有更大的优先使用权。
MPP(巨型并行处理):这种系统的节点都有自己的CPU，并有自己的专有资源。此种结构相对独立，但各个节点一般没有完全存取I/O的能力。
集群:集群系统是由独立的计算机组成，但有控制管理工具统一管理。
分布处理:它是比我们要构筑的集群系统更松散的连接，一般是任务在不同的地方完成，没有可以作为整体管理的单一实体。
以上的聚合方式有紧有疏，它们都有自己的适用范围，这里就不多说了，有兴趣可自己找些资料看，这里只是想让大家了解它所处的位置。
实现负载均衡的方法
集群的目的是共享和高效地利用资源，提供大型运算，提供负载均衡分配请求压力以及出现故障时能够进行切换实现高可用性。
限于篇幅，本文只对负载均衡的实现做些介绍(针对TurboLinux Cluster Server)。通过对相关软件的分析，实现集群负载的功能是通过流量管理实现的，具体有这样几种实现方法:直接路由(Direct forwarding)、网络地址转换(NAT)、隧道技术(Tunneling)。
直接路由(Direct forwarding)
当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此法，控制管理的计算机接收到请求包时直接送到参与集群的节点。优点是返回给客户的流量不经过控制主机，速度快开销少。
网络地址转换(NAT)
这种方法可能大家较熟悉，地址转换器有能被外界访问到的合法IP地址，它修改来自专有网络的流出包的地址，外界看起来包是来自地址转换器本身，当外界包送到转换器时，它能判断出应该将包送到内部网的哪个节点。优点是节省IP地址，能对内部进行伪装缺点是效率低，因为返回给请求方的流量经过转换器。
隧道技术(Tunneling)
这种方式是在集群的节点不在同一个网段时可用的转发机制，是将IP包封装在其他网络流量中的方法，为了安全的考虑，应该使用隧道技术中的VPN,也可使用租用专线。
集群所能提供的服务是基于TCP/IP的Web服务、Mail服务、News服务、DNS服务、Proxy服务器等等，下面我们将就具体的产品TurboLinux Cluster Server 来实现一个进行负载均衡集群系统，用于提供Web和FTP的服务。四台服务器的负载均衡实例
所提供的服务:Web、FTP。
系统的实现目的:做一个较完善负载均衡的系统，以便能用到其中的较多的功能。
采用设备状况:使用四台服务器，其中3台装TurboLinux Cluster Server,1台安装Windows 2000 Sever。系统安装1.在两台服务器上安装TurboLinux， apache和wu-ftpd也要安装，因为集群要提供这种服务,安装完后重启，挂接光驱在目录/mnt/cdrom下，执 行./TLCS-install,然后按提示完全安装。
MySQL 群集是一种技术，该技术允许在无共享的系统中部署“内存中”和“磁盘中”数据库的 Cluster 。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。MySQL Cluster 由一组计算机构成，每台计算机上均运行着多种进程，包括 MySQL 服务器，NDB Cluster 的数据节点，管理服务器，以及（可能存在的）专门的数据访问程序。管理服务器(MGM节点)负责管理 Cluster 配置文件和 Cluster 日志。Cluster 中的每个节点从管理服务器检索配置数据。当数据节点内出现新的事件时，节点将关于这类事件的信息传输到管理服务器，然后，将这类信息写入 Cluster 日志。
目前能够运行 MySQL Cluster 的 *** 作系统有 Linux、Mac OS X 和 Solaris，最新的版本已经支持 Windows *** 作系统。
MySQL 群集的数据节点之间的通信是不加密的，并且需要高速的带宽，所以建议把群集建立在一个高速局域网内，不建议跨网段、跨公网的部署这种系统体系。
MySQL 群集分为三种节点：管理节点，数据节点和SQL节点。
管理节点：主要用于管理各个节点，能够通过命令对某个节点进行重启、关闭、启动等 *** 作。也能够监视全部节点的工作状态。
数据节点：主要是对数据的存储，不提供其他的服务。
SQL节点：主要是对外提供SQL功能，类似一台普通的 MySQL Server。
而SQL节点和数据节点可以是同一台机器，也就是说这台机器即是SQL节点也是数据节点。它们只是逻辑关系上的划分，实际部署时，甚至所有的阶段都可以位于同一台物理机器上，只是配置较复杂些。
一、软件下载机器 *** 作环境
配置 MySQL 群集必需使用其群集版本，注意和 MySQL Server 版本的区别。本文以 Windows 平台下的 MySQL 群集版本 MySQL Cluster 7.1.3 为例（截至2010年6月初的最高版本），这是 MySQL Server 5.1 系列版本之一，添加了群集的功能。下载地址为：http://dev.mysql.com/downloads/cluster，选择 mysql-cluster-gpl-noinstall-7.1.3-win32.zip 文件，这是一个 for Windows 32位版本的、免安装的二进制版本。
根据自己的 *** 作系统的位数，也可以选择 64 位版本的。还有一个 27.2M 的 Windows(x86, 32-bit) 版本，下载下来需要自己编译，有经验的高级用户可以选用。
本实验在 2 台安装 Windows Server 2003(sp2) 的机器上进行。节点分配及 IP 配置如下：
第一台机器，IP 为 10.0.0.201，作为管理节点(MGM)，SQL节点1(SQL1)，数据节点1(NDBD1)。
第二台机器，IP 为 10.0.0.202，作为SQL节点2(SQL2)，数据节点2(NDBD2)。
管理节点最好不要与数据节点部署在同一台服务器上，否则可能会因为该数据节点服务器的当机，而导致管理节点服务器的问题，从而导致整个群集系统的崩溃。
二，配置管理节点：
在第一台机器上，建文件夹 D:\mysql-cluster，在其下建立文件 config.ini，内容如下：
[NDBD DEFAULT]
NoOfReplicas=1
[MYSQLD DEFAULT]
[NDB_MGMD DEFAULT]
[TCP DEFAULT]
# Managment Server
[NDB_MGMD]
hostname=10.0.0.201
# Storage Engines
[NDBD]
hostname=10.0.0.201
datadir= D:\data
[NDBD]
hostname=10.0.0.202
datadir= D:\data
# SQL Engines
[MYSQLD]
hostname=10.0.0.201
[MYSQLD]
hostname=10.0.0.202
Cluster 管理节点的默认端口是1186，数据节点的默认端口是 2202。从 MySQL 5.0.3开始，该限制已被放宽，Cluster 能够根据空闲的端口自动地为数据节点分配端口。如果你的版本低于5.0.22，请注意这个细节。
Cluster 管理节点作为一个服务端(通过运行 db_mgmd.exe 程序读取本配置文件来启动)，通过本机上的客户端 ndb_mgm.exe 来连接和 *** 作。
三、配置 MySQL 数据库服务器：
在2台机器上，分别依次 *** 作。
解压 mysql-cluster-gpl-noinstall-7.1.3-win32.zip 文件到 D:\mysql-cluster-gpl-noinstall-7.1.3-win32 文件夹下，把 D:\mysql-cluster-gpl-noinstall-7.1.3-win32\bin 加到 Windows 的系统 path 中。
打开DOS命令行窗口（配置完系统path后，在再次打开新的命令行窗口），执行以下语句，让 MySQL 作为 Windows 服务运行：
mysqld.exe -install mysql
再在 Windows 服务管理界面里，配置 mysql 服务，手动启动（不要自动启动）。
把 D:\mysql-cluster-gpl-noinstall-7.1.3-win32 下的某个备用的配置文件（例如my-small.ini）复制为 my.ini 文件。
建立 D:\tmp 文件夹。
四、配置SQL节点和数据节点：
在2台机器上，分别依次 *** 作。
建立文件夹 D:\data。
编辑 NySQL 配置文件 D:\mysql-cluster-gpl-noinstall-7.1.3-win32\my.ini，在 [mysqld] 节末尾加语句：
#SQL群集节点
ndbcluster
ndb-connectstring=10.0.0.201
有了 ndbcluster 语句，mysql 服务将作为群集的 SQL 节点启动。mysqld.exe 命令带参数 –ndbcluster 运行是一样的效果。
mysql 服务连接到数据节点的 2202 默认端口，或自动分配的别的可用端口。
（问题：SQL节点如何获得数据节点的IP地址？是否通过连接管理节点，取得所有数据节点的IP地址的列表？）
这里的连接字符串的值在 MySQL 服务启动时使用，用于连接到管理节点。
在末尾加语句：
#NDB集群节点
[mysql_cluster]
ndb-connectstring=10.0.0.201
注：好像以下形式也可：
[ndbd]
ndb-connectstring=10.0.0.201
这里的连接字符串的值在数据节点启动时使用，用于连接到管理节点。
五，启动群集各服务器
启动顺序依次是：管理节点、数据节点、SQL节点。
1，启动管理节点
在第一台服务器的DOS窗口，运行命令：
C:\>ndb_mgmd.exe -f d:\mysql-cluster.conf\config.ini –configdir=d:\mysql-cluster
注：如果不带 –configdir=d:\mysql-cluster 参数，将默认为 C:\mysql\mysql-cluster 文件夹。
屏幕显示：
C:\>ndb_mgmd.exe -f d:\mysql-cluster.conf\config.ini –configdir=d:\mysql-cluster
2010-06-10 01:16:57 [MgmtSrvr] INFO — NDB Cluster Management Server. mysql-5.1.44 ndb-7.1.3
2010-06-10 01:16:57 [MgmtSrvr] INFO — Reading cluster configuration from ‘d:\mysql-cluster.conf\config.ini'
2010-06-10 01:16:57 [MgmtSrvr] INFO — Got initial configuration from ‘d:\mysql-cluster.conf\config.ini', will try to set it when all ndb_mgmd(s) started
2010-06-10 01:16:57 [MgmtSrvr] INFO — Mgmt server state: nodeid 1 reserved for ip 10.0.0.201, m_reserved_nodes 1.
2010-06-10 01:16:57 [MgmtSrvr] INFO — Id: 1, Command port: *:1186
==INITIAL==
2010-06-10 01:16:57 [MgmtSrvr] INFO — Starting initial configuration change
2010-06-10 01:16:57 [MgmtSrvr] INFO — Configuration 1 commited
2010-06-10 01:16:57 [MgmtSrvr] INFO — Config change completed! New generation: 1
==CONFIRMED==
2，启动数据节点
分别在2台服务器的DOS窗口运行命令。
第一次，或初始化群集节点时，运行命令：
ndbd.exe –initial
初始化之后，只运行 ndbd.exe 即可。若带参数 –initial 运行，将使正常运行的群集系统中，数据节点的数据全部丢失。
数据节点依赖管理节点服务器，进行数据的自动复制和同步，使各个数据节点的数据保持一致，并在某个数据节点意外关闭又恢复后，进行数据的恢复重建。
3，启动SQL节点
有了 ndbcluster 语句，启动 mysql 服务，就启动了SQL节点。应在前2种节点启动后，分别在2台服务器上进行。
六、群集管理
在所有的数据节点和SQL节点未启动之前，运行群集管理节点服务的客户端 ndb_mgm.exe，只能获得以下信息：
C:\>ndb_mgm.exe
— NDB Cluster — Management Client –
ndb_mgm>show
Cluster Configuration
———————
[ndbd(NDB)] 2 node(s)
id=2 (not connected, accepting connect from 10.0.0.201)
id=3 (not connected, accepting connect from 10.0.0.202)
[ndb_mgmd(MGM)] 1 node(s)
id=1 @10.0.0.201 (mysql-5.1.44 ndb-7.1.3)
[mysqld(API)] 2 node(s)
id=4 (not connected, accepting connect from 10.0.0.201)
id=5 (not connected, accepting connect from 10.0.0.202)
ndb_mgm>
说明数据节点、SQL节点均未连接到管理节点服务。
在所有的数据节点和SQL节点正确启动之后，将获得以下信息：
ndb_mgm>show
Cluster Configuration
———————
[ndbd(NDB)] 2 node(s)
id=2 @10.0.0.201 (mysql-5.1.44 ndb-7.1.3, Nodegroup: 0, Master)
id=3 @10.0.0.202 (mysql-5.1.44 ndb-7.1.3, Nodegroup: 1)
[ndb_mgmd(MGM)] 1 node(s)
id=1 @10.0.0.201 (mysql-5.1.44 ndb-7.1.3)
[mysqld(API)] 2 node(s)
id=4 @10.0.0.201 (mysql-5.1.44 ndb-7.1.3)
id=5 @10.0.0.202 (mysql-5.1.44 ndb-7.1.3)
ndb_mgm>
关闭群集的DOS命令：
ndb_mgm -e shutdown
或在 ndb_mgm 环境下执行 shutdown 命令。
以上命令或关闭管理节点服务和所有的数据节点。随意、强行关闭群集系统（关机或关闭进程），会导致数据没有全部写回磁盘而导致的数据丢失。
关闭SQL节点的 mysqld 服务：
C:\>net stop mysql，或：
C:\>mysqladmin -u root shutdown
七、测试
正常运行的 MySQL 群集系统，通过SQL节点可以对数据节点进行数据库 *** 作，各数据节点可以自动进行数据同步。某一个数据节点关闭后，不影响SQL节点的使用。某些数据节点出错后，可以进行恢复。需要注意的是，SQL节点建立数据库时，必须选择“ndbcluster”数据库引擎。如果不选择“ndbcluster”引擎，建立的数据库将不会进入MySQL群集系统中，但是可以独立使用。
另外，每个 NDB 表必须有一个主键。如果在创建表时未定义主键，NDB Cluster 存储引擎将自动生成隐含的主键。该隐含的键也将占用空间，就像任何其他的表索引一样。由于没有足够的内存来容纳这些自动创建的键，出现问题并不罕见。
1、主要解决针对大型网站架构中持久化部分中，大量数据存储以及高并发访问所带来是数据读写问题。分布式是将一个业务拆分为多个子业务，部署在不同的服务器上。集群是同一个业务，部署在多个服务器上。2、着重对数据切分做了细致丰富的讲解，从数据切分的原理出发，一步一步深入理解数据的切分，通过深入理解各种切分策略来设计和优化我们的系统。这部分中我们还用到了数据库中间件和客户端组件来进行数据的切分，让广大网友能够对数据的切分从理论到实战都会有一个质的飞跃。
通过分布式+集群的方式来提高io的吞吐量，以及数据库的主从复制，主主复制，负载均衡，高可用，分库分表以及数据库中间件的使用。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）