Docker的mysql集群节点可以正常创建，但无法正常连接到宿主机的mysql应该如何解决？

Ambari是Apache的开源项目，它帮助用户在GUI页面上简单的部署、管理、监控Hadoop集群环境。Ambari支持的Hadoop组件包括HDFS、Hive、HBase、Spark、Yarn等，HortonWorks官方也是采用Ambari来完成自家HDP套件的安装、管理及监控的。除了预置的组件之外，Ambari还支持自定义组件的安装，同时，支持RESTful的API，继而可以通过命令行等方式调用Ambari来完成一些自动化的任务。

本文共分为两部分，第一部分介绍如何在Docker虚拟化环境中部署Ambari；第二部分介绍如何基于Ambari来部署和管理Hadoop集群。

### 环境信息

* Docker发行版：Docker for Mac

* Docker版本：17.06.2-ce

* Docker容器OS：Ubuntu 14.04

* Ambari版本：2.5.2.0

Docker环境准备

拉取Docker镜像：在宿主机上执行命令docker pull ubuntu:14.04从远端仓库中获取Ubuntu的镜像，也可以获取其他OS的镜像，本文以Ubuntu为例

启动Docker容器：执行如下命令，以ubuntu:14.04镜像为基础启动容器：

docker run -itd --name ambari_new -p 8080:8080 -p 3306:3306 -v /Users/yuxiaolei/Workspace/dockerShared:/dockerShared ubuntu:14.04 /bin/bash

由于Ambari启动Web程序的时候占用8080端口，因此要从Docker宿主机上访问Ambari页面，需要通过参数 -p 来制定端口映射；

作为新手，笔者在容器内部署好Ambari之后，才发现Web页面的8080端口和MySQL的3306端口（可选）没有暴露给Docker宿主机，也就没法从宿主机上通过浏览器来登陆Ambari，因此必须想办法在已有容器上开放端口。

有两个方法：

1）如果宿主机为Linux系统，则修改iptables防火墙来指定端口映射规则；

2）如果是非Linux系统，可以将已装Ambari的容器commit为新的镜像，再基于该镜像创建新的容器。此时，就可以在docker run命令中添加参数 -p 来指定端口映射了。

还有一个问题，Ambari将其数据存储在数据库中，支持MySQL、PostgreSQL等数据库；容器内安装MySQL之后，基于上一步创建的新容器里，会发现MySQL启动不起来，执行命令/etc/init.d/mysql restart启动失败，在/var/log/mysql/error.log日志文件中打印有170802 14:02:59 [ERROR] Fatal error: Can't open and lock privilege tables: Got error 140 from storage engine的错误，经过网上查资料，需要在创建容器的时候添加参数-v /var/lib/mysql将MySQL数据存储路径声明为数据卷，即可解决问题。

启动容器之后，执行命令docker exec -it ambari /bin/bash进入容器内部。

Ambari安装

配置Ubuntu的软件仓库源：

国内建议采用阿里云的软件源，在root账号下用vim打开/etc/apt/sources.list文件，删除文件所有内容，粘贴如下内容：

deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

执行命令apt-get update完成软件列表更新

安装Ambari所依赖的软件

apt-get install software-properties-common

sudo add-apt-repository ppa:webupd8team/java

sudo apt-get update

sudo apt-get install oracle-java8-installer

sudo apt-get install oracle-java8-set-default

完成安装之后，在 ~/.bashrc 文件末尾添加命令 `export JAVA_HOME=/usr/lib/jvm/java-8-oracle ` 以配置JAVA\_HOME 环境变量。

create database ambariuse ambariGRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root_password' WITH GRANT OPTIONFLUSH PRIVILEGESexit

由于Ambari的数据存储在MySQL数据库中，这里为Ambari单独创建了database，并为其赋了完全控制权限；说明：假设MySQL数据库root用户的密码为：root\_password

修改 `/etc/mysql/my.conf`，将`skip-external-locking`注释掉，并确保 `bind-address = 0.0.0.0` 配置，以使MySQL可被远程主机访问。

执行命令`/etc/init.d/mysql restart`重启MySQL 服务。

时间同步服务器ntp：执行命令apt-get install ntp安装ntp时间同步服务器，以便于集群环境中各节点的时钟一致；执行命令sudo service ntp restart重启ntp服务。

MySQL：执行命令apt-get install mysql-server安装MySQL服务器，安装完成后执行命令mysql -uroot -proot进入MySQL客户端，执行如下SQL代码：

Oracle JDK：逐条执行如下命令，以添加WebUpd8团队（https://launchpad.net/~webupd8team/+archive/ubuntu/java）提供的Oracle JDK仓库源，并从该仓库安装JDK：

下载Ambari仓库文件

进入cd /etc/apt/sources.list.d目录，执行命令wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.2.0/ambari.list从HortonWorks仓库中下载Ambari源文件，下载后切勿修改list文件名；

执行命令apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD以信任远端仓库的GPG签名

执行命令apt-get update更新Ambari软件源

执行命令apt-get install ambari安装Ambari套件，由于软件包较大（700多MB），这里情耐心等待，不过apt-get支持断点下载，网络终端后重新执行命令时不会从零开始下载

配置Ambari：

执行命令mysql -uroot -proot进入MySQL客户端，执行命令source ambari进入ambari的数据库，并执行命令source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql来完成Ambari的数据库表初始化 *** 作；

执行命令ambari-server setup启动Ambari的引导式配置 *** 作，根据指导做配置即可。需要注意的是，JDK不要选择由Ambari从网络下载，应该选择自定义路径，然后输入/usr/lib/jvm/java-8-oracle即可；

启动Ambari：执行命令ambari-server start，启动日志存储路径为/var/log/ambari-server/ambari-server.log

启动之后，由于我们之前做了Docker容器的端口映射，因此可以在宿主机上打开浏览器输入http://localhost:8080即可访问Ambari登陆页面

登陆用户名和密码均为admin，登陆之后就可以看到Ambari的首页了，如下图：

{% asset_img

那么Docker是什么呢?

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架包括系统。

这是对Docker的一个官方解释，简单说，有两个部分：

1) 对于应用程序，曾经我们需要为了不同的系统专门的调整应用程序的代码或者是构造相应的依赖包驱动等等，大大增加了开发量以及开发的难度。现在，Docker向不同的应用程序，提供了一个统一的环境。

2) 对于服务器，为了支持不同版本的应用，曾经可能需要在物理机上安装多个版本或者不同的GuestOS或者说虚拟机。这就大大占用了物理机的性能，影响了最终程序的表现，提高了资源的成本。

使用Docker容器的方式，对于应用程序，不需要开发多种多样的版本或者是针对OS每个版本的升级再进行代码方面的调整，实现了广泛的兼容性和开发的最简性。同时对于物理机，部署的环境“瘦身”也节约了更多的资源，将更多的资源用于提高应用程序本身的性能。

CoreOS是Docker的不二之选?

之前大概介绍了Docker，那么服务器上面还是需要最基本的应 *** 作系统才能支撑Docker容器，那么这么多中的Linux内核OS究竟哪一个好呢?笔者和很多Docker技术专家的的观点就是Core OS。

CoreOS是一个基于Linux 内核的轻量级 *** 作系统，为了计算机集群的基础设施建设而生，专注于自动化，轻松部署，安全，可靠，规模化。作为一个 *** 作系统，CoreOS 提供了在应用容器内部署应用所需要的基础功能环境以及一系列用于服务发现和配置共享的内建工具。

简单说，CoreOS去掉了大量的非必要的功能，只保留了Server端需要的最基本功能，真正意义做到了“轻量化”。

此外，CoreOS还做到了：整体系统升级/回滚方案容器化所有非系统应用、无包管理器集群化调度器Fleet分布式高可靠的KV存储系统ETCD

这些特性都让它成为Docker生态的首选 *** 作系统。不过最新的消息是，CoreOS不满足于做Docker生态下的一环，它正在推出自己的容器AppC计划，想对Docker来一招“釜底抽薪”。当然，现阶段并没有出现完全的两者 “分手”，所以对于普通使用者，并没有太大影响。

Docker+分布式数据库

数据库是每一个软件项目必须的一个部分，作为这样的一类底层基础软件，兼容性、通用性、易用度都是需要考虑的重点。非常遗憾的是，现在的 *** 作系统以及数据库都没有完全的实现完全的通用。特别对于NoSQL数据库这样的分布式系统，需要部署在多台物理机时，对于通用性要求就更高了。

目前，像SequoiaDB已经实现了自动化的安装，大大提升了部署的效率，但是考虑到部署之后的配置以及不同环境下的调试问题，仍然可能会耗费不小的人力物力。所以基于刚刚提到的Docker的优点，作为一个通用的基础软件，NoSQL数据库的Docker化就成了必须。

一个简单的例子，你可以用docker把数据库的数据与数据库程序本身分离开：用一个container A作为数据存储，然后另一个container B运行数据库。当你想升级数据库时，用新的container C替换掉container B即可。

Docker+分布式数据库的结合，带来诸多的好处：

1) 部署简单，使用镜像部署非常简单，特别是对集群环境，使用Docker镜像的部署还可以再数据库上提前集成Hadoop、Spark等架构，真正实现“一步到位”。

2) 方便应用的更新，应用的更新只需要考虑制作一个新的镜像就可以与容器适配，无需重新再调整与底层的配置。数据和程序的分离，这样升级替换等等都不会影响到数据。

3) *** 作简单方便，除了底层免除了复杂的与环境进行配置的工作， *** 作也更加方便，配置好的Docker镜像在部署时候只需要一条指令就可以了。

4) 开发、应用环境一致，Docker让数据库能做到 开发---测试---实施应用 三个阶段的环境是完全一致的。降低开发到应用过程中的工作量，开发出来就能保证实际应用环境上能同样的运行。

5) 系统稳定，因为Docker的隔离作用，将应用与OS独立开，这样能更好保证整个系统的稳定性。

6) 节省系统资源，系统只需要运行一个统一的环境就可以，不需要占用太多性能去支持运行环境本身，能将更多的系统资源投入到应用当中。

有了这些特性， Docker+数据库，将成为一个数据库发展的新方向，Docker这样的通用性和简单 *** 作解决方案，大大提高了数据库使用的效率，帮助使用者节约了大量成本。

Docker是如今技术圈的新潮流，开发人员是最乐见于Docker的这种应用部署模式，因为应用的生命周期起始于开发人员的开发系统，经过开发，测试，压力测试，等过程，最终应用发布到生产系统，并可能在不同的生产系统中迁移。应用开发人员对此都会有切身的体会，任何微小的运行环境的错误都会导致应用出现问题，尤其在讲究快速敏捷的今天，应用模块，新的代码，新的配置，被快速的加入应用的环境中，可能还没等写入到文档，新特性就已经被推送到生产上了。作为一个新的技术，笔者也希望更多的产品能加强与Docker的结合，帮助产品更好的使用。

博文出处：http://segmentfault.com/a/1190000002930030

linux系统下安装docker参考文章： https://www.jianshu.com/p/a217829aa32e

单机部署

集群部署

修改nginx配置文件 可以参考docker配置nginx( https://www.jianshu.com/p/543fad51d6eb )

修改springboot中的nacos配置

---