mysql集群ndb和drdb那个比较好一些，我数据日访问量500w数据，数据达到T级别。哪位高手可以指导一下。

比较：

ndb是一种存储引擎，通常在mysql cluster中使用，MySQL Cluster 是一个基于NDB Cluster 存储引擎的完整的分布式数据库系统。

和Oracle Real Cluster Application 不太一样的是，MySQL Cluster 是一个Share Nothing 的架构

各个MySQLServer 之间并不共享任何数据，高度可扩展以及高度可用方面的突出表现是其最大的特色。

目前还是MySQL 家族中的一个新兴产品

优势：可用性非常高，性能非常好。每一分数据至少在不同主机上面存在一份拷贝，且

冗余数据拷贝实时同步。

劣势：维护较为复杂，产品还比较新，存在部分bug，目前还不一定适用于比较核心的

线上系统。

drdb是一种数据高可用 数据冗余方案

简单来说，DRBD 其实就是通过网络来实现块设备的数据镜像同步的一款开源Cluster

软件，也被俗称为网络RAID1

优势：软件功能强大，数据在底层快设备级别跨物理主机镜像，且可根据性能和可靠性

要求配置不同级别的同步。IO *** 作保持顺序，可满足数据库对数据一致性的苛刻要求。

劣势：非分布式文件系统环境无法支持镜像数据同时可见，性能和可靠性两者相互矛盾，

无法适用于性能和可靠性要求都比较苛刻的环境。维护成本高于MySQL Replication。

初步结论：楼主数据量大，还是超大，如果业务不是特别关键，建议用MySQL Cluster，遇到BUG也为MySQL Cluster提供些问题和建议，一起完善它。

如果业务又很关键，那还要具体分析，为什么要采用集群，是哪里存在瓶颈了，据我所了解，MYSQL如果是关键业务，数据量又大，访问量也大，今后还会更大，可能无限制增长，那还是从数据分割上下手。如果只是量大，但增长不会长期，那把服务器性能提升下得了，同时对数据库优化参数多研究下。硬件主要是CPU能力、内存大小，磁盘性能，磁盘做RAID10或RAID50是最好的，不要做RAID5或RAID1。

当然是DRDB。

对于MySQL数据库来说，从比较早的版本开始，MySQL就支持master-slave复制，这个特性是MySQL数据库非常重要，而且也应用比较广泛的特性。MySQL复制在读写分离，数据备份，可伸缩性等方面都有比较好的应用，并结合其他特性，也很容易实现高可用性。

DRBD也是官方推荐的可用于MySQL高可用方案之一，软件功能强大，数据可在底层快设备级别跨物理主机镜像，且可根据性能和可靠性要求配置不同级别的同步。IO *** 作保持顺序，可满足数据库对数据一致性的苛刻要求。

但非分布式文件系统环境无法支持镜像数据同时可见，性能和可靠性两者相互矛盾，无法适用于性能和可靠性要求都比较苛刻的环境，维护成本高于MySQL Replication。

常规架构--Master-slaves，是由一个Master到一个或多个Salve的架构模式，主要用于读压力大的应用数据库端廉价扩展解决方案，读写分离，Master主要负责写方面的压力。

Ambari是Apache的开源项目，它帮助用户在GUI页面上简单的部署、管理、监控Hadoop集群环境。Ambari支持的Hadoop组件包括HDFS、Hive、HBase、Spark、Yarn等，HortonWorks官方也是采用Ambari来完成自家HDP套件的安装、管理及监控的。除了预置的组件之外，Ambari还支持自定义组件的安装，同时，支持RESTful的API，继而可以通过命令行等方式调用Ambari来完成一些自动化的任务。

本文共分为两部分，第一部分介绍如何在Docker虚拟化环境中部署Ambari；第二部分介绍如何基于Ambari来部署和管理Hadoop集群。

### 环境信息

* Docker发行版：Docker for Mac

* Docker版本：17.06.2-ce

* Docker容器OS：Ubuntu 14.04

* Ambari版本：2.5.2.0

Docker环境准备

拉取Docker镜像：在宿主机上执行命令docker pull ubuntu:14.04从远端仓库中获取Ubuntu的镜像，也可以获取其他OS的镜像，本文以Ubuntu为例

启动Docker容器：执行如下命令，以ubuntu:14.04镜像为基础启动容器：

docker run -itd --name ambari_new -p 8080:8080 -p 3306:3306 -v /Users/yuxiaolei/Workspace/dockerShared:/dockerShared ubuntu:14.04 /bin/bash

由于Ambari启动Web程序的时候占用8080端口，因此要从Docker宿主机上访问Ambari页面，需要通过参数 -p 来制定端口映射；

作为新手，笔者在容器内部署好Ambari之后，才发现Web页面的8080端口和MySQL的3306端口（可选）没有暴露给Docker宿主机，也就没法从宿主机上通过浏览器来登陆Ambari，因此必须想办法在已有容器上开放端口。

有两个方法：

1）如果宿主机为Linux系统，则修改iptables防火墙来指定端口映射规则；

2）如果是非Linux系统，可以将已装Ambari的容器commit为新的镜像，再基于该镜像创建新的容器。此时，就可以在docker run命令中添加参数 -p 来指定端口映射了。

还有一个问题，Ambari将其数据存储在数据库中，支持MySQL、PostgreSQL等数据库；容器内安装MySQL之后，基于上一步创建的新容器里，会发现MySQL启动不起来，执行命令/etc/init.d/mysql restart启动失败，在/var/log/mysql/error.log日志文件中打印有170802 14:02:59 [ERROR] Fatal error: Can't open and lock privilege tables: Got error 140 from storage engine的错误，经过网上查资料，需要在创建容器的时候添加参数-v /var/lib/mysql将MySQL数据存储路径声明为数据卷，即可解决问题。

启动容器之后，执行命令docker exec -it ambari /bin/bash进入容器内部。

Ambari安装

配置Ubuntu的软件仓库源：

国内建议采用阿里云的软件源，在root账号下用vim打开/etc/apt/sources.list文件，删除文件所有内容，粘贴如下内容：

deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

执行命令apt-get update完成软件列表更新

安装Ambari所依赖的软件

apt-get install software-properties-common

sudo add-apt-repository ppa:webupd8team/java

sudo apt-get update

sudo apt-get install oracle-java8-installer

sudo apt-get install oracle-java8-set-default

完成安装之后，在 ~/.bashrc 文件末尾添加命令 `export JAVA_HOME=/usr/lib/jvm/java-8-oracle ` 以配置JAVA\_HOME 环境变量。

create database ambariuse ambariGRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root_password' WITH GRANT OPTIONFLUSH PRIVILEGESexit

由于Ambari的数据存储在MySQL数据库中，这里为Ambari单独创建了database，并为其赋了完全控制权限；说明：假设MySQL数据库root用户的密码为：root\_password

修改 `/etc/mysql/my.conf`，将`skip-external-locking`注释掉，并确保 `bind-address = 0.0.0.0` 配置，以使MySQL可被远程主机访问。

执行命令`/etc/init.d/mysql restart`重启MySQL 服务。

时间同步服务器ntp：执行命令apt-get install ntp安装ntp时间同步服务器，以便于集群环境中各节点的时钟一致；执行命令sudo service ntp restart重启ntp服务。

MySQL：执行命令apt-get install mysql-server安装MySQL服务器，安装完成后执行命令mysql -uroot -proot进入MySQL客户端，执行如下SQL代码：

Oracle JDK：逐条执行如下命令，以添加WebUpd8团队（https://launchpad.net/~webupd8team/+archive/ubuntu/java）提供的Oracle JDK仓库源，并从该仓库安装JDK：

下载Ambari仓库文件

进入cd /etc/apt/sources.list.d目录，执行命令wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.2.0/ambari.list从HortonWorks仓库中下载Ambari源文件，下载后切勿修改list文件名；

执行命令apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD以信任远端仓库的GPG签名

执行命令apt-get update更新Ambari软件源

执行命令apt-get install ambari安装Ambari套件，由于软件包较大（700多MB），这里情耐心等待，不过apt-get支持断点下载，网络终端后重新执行命令时不会从零开始下载

配置Ambari：

执行命令mysql -uroot -proot进入MySQL客户端，执行命令source ambari进入ambari的数据库，并执行命令source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql来完成Ambari的数据库表初始化 *** 作；

执行命令ambari-server setup启动Ambari的引导式配置 *** 作，根据指导做配置即可。需要注意的是，JDK不要选择由Ambari从网络下载，应该选择自定义路径，然后输入/usr/lib/jvm/java-8-oracle即可；

启动Ambari：执行命令ambari-server start，启动日志存储路径为/var/log/ambari-server/ambari-server.log

启动之后，由于我们之前做了Docker容器的端口映射，因此可以在宿主机上打开浏览器输入http://localhost:8080即可访问Ambari登陆页面

登陆用户名和密码均为admin，登陆之后就可以看到Ambari的首页了，如下图：

{% asset_img

---