大数据常用同步工具

一、离线数据同步

DataX

阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单， *** 作简单通常只需要两步；

创建作业的配置文件（json格式配置reader,writer）；

启动执行配置作业。

非常适合离线数据，增量数据可以使用一些编码的方式实现，

缺点：仅仅针对insert数据比较有效，update数据就不适合。缺乏对增量更新的内置支持，因为DataX的灵活架构，可以通过shell脚本等方式方便实现增量同步。

参考资料：

github地址：https://github.com/alibaba/DataX

dataX3.0介绍：https://www.jianshu.com/p/65c440f9bce1

datax初体验：https://www.imooc.com/article/15640

文档：https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md

Sqoop

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

地址：http://sqoop.apache.org/

Sqoop导入：导入工具从RDBMS到HDFS导入单个表。表中的每一行被视为HDFS的记录。所有记录被存储在文本文件的文本数据或者在Avro和序列文件的二进制数据。

Sqoop导出：导出工具从HDFS导出一组文件到一个RDBMS。作为输入到Sqoop文件包含记录，这被称为在表中的行。那些被读取并解析成一组记录和分隔使用用户指定的分隔符。

Sqoop支持全量数据导入和增量数据导入（增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式）），同时可以指定数据是否以并发形式导入。

Kettle

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。

Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业，方便实现全量、增量数据同步。缺点是通过定时运行，实时性相对较差。

NiFi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。

NiFi基于Web方式工作，后台在服务器上进行调度。 用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、任务调度等组件。

几个核心概念：

Nifi 的设计理念接近于基于流的编程 Flow Based Programming。

FlowFile：表示通过系统移动的每个对象，包含数据流的基本属性

FlowFile Processor（处理器）：负责实际对数据流执行工作

Connection（连接线）：负责不同处理器之间的连接，是数据的有界缓冲区

Flow Controller（流量控制器）：管理进程使用的线程及其分配

Process Group（过程组）：进程组是一组特定的进程及其连接，允许组合其他组件创建新组件

参考资料

Nifi简介及核心概念整理

官方网站：http://nifi.apache.org/index.html

二、实时数据同步

实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。这里说个mysql数据库的同步组件，阿里的canal和otter

canal

https://github.com/alibaba/canal

数据抽取简单的来说，就是将一个表的数据提取到另一个表中。有很多的ETL工具可以帮助我们来进行数据的抽取和转换，ETL工具能进行一次性或者定时作业抽取数据，不过canal作为阿里巴巴提供的开源的数据抽取项目，能够做到实时抽取，原理就是伪装成mysql从节点，读取mysql的binlog，生成消息，客户端订阅这些数据变更消息，处理并存储。下面我们来一起搭建一下canal服务

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

基于日志增量订阅&消费支持的业务：

数据库镜像

数据库实时备份

多级索引 (卖家和买家各自分库索引)

search build

业务cache刷新

价格变化等重要业务消息

otter

https://github.com/alibaba/otter

otter是在canal基础上又重新实现了可配置的消费者，使用otter的话，刚才说过的消费者就不需要写了，而otter提供了一个web界面，可以自定义同步任务及map表。非常适合mysql库之间的同步。

另外：otter已在阿里云推出商业化版本 数据传输服务DTS， 开通即用，免去部署维护的昂贵使用成本。DTS针对阿里云RDS、DRDS等产品进行了适配，解决了Binlog日志回收，主备切换、VPC网络切换等场景下的同步高可用问题。同时，针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑，强烈推荐阿里云用户使用DTS产品。

安装须知

1、此安装包可在阿里云所有linux系统上部署安装，此安装包包含的软件及版本为：

nginx：1.0.15、1.2.5、1.4.4

apache：2.2.22、2.4.2

MySQL：5.1.73、5.5.35、5.6.15

php：5.3.18、5.4.23、5.5.7

php扩展：memcache、Zend Engine/ OPcache

ftp：（yum/apt-get安装）

phpwind：8.7 GBK

phpmyadmin：4.1.8

2、请使用最新的一键安装包脚本安装，以前老版本都存在bug，会导致安装异常以及安装的环境混乱。

3、执行一键安装包(./install.sh)，会自动清理之前一键安装包安装过的环境。

如果您已经安装过一键安装包，再次执行安装，如若有重要数据，请自行备份/alidata目录。

4、一键安装包会将软件安装在/alidata目录下。

如果您的系统不存在数据盘，则一键安装包会将软件安装到系统/alidata目录下。

如果您的系统存在数据盘，且还没有格式化挂载数据盘。则一键安装包会自动帮您格式化第一块数据盘，并挂载在/alidata目录下。

如果您的系统存在数据盘，且已格式化并挂载了第一块数据盘。一键安装包会将第一块数据盘再次挂载到/alidata目录下，并不影响您之前的挂载目录的使用。比如下图所示，安装前，已经挂载了mnt目录。安装后，一键安装包再次挂载/alidata目录。

如果您的系统存在数据盘，且已格式化数据盘，但没有挂载数据盘。一键安装包会将第一块数据盘挂载到/alidata目录下。

5、怎么样卸载一键安装包？

可以执行以下命令完成卸载：

chmod 777 -R sh-1.3.0/

cd sh-1.3.0/

./uninstall.sh

好了，下面来进行我们详细的安装步骤，come on ~~！

首先准备好连接linux服务器的工具，推荐用xshell和xftp。

xshell 是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。

下载地址：http://www.newhua.com/soft/36383.htm

Xftp 是一个基于 MS windows 平台的功能强大的SFTP、FTP 文件传输软件。

下载地址：http://www.newhua.com/soft/143.htm

根据上面提供的下载地址，首先安装xshell（基本上是点击Next直至安装 完成）：

点击Next-->此时选择“free for Home/School”(免费版)。

再点击Next-->Next-->Next-->install即可安装（还可以选择xshell安装后的语言环境，熟悉英文的朋友，可以选择English选项）。

点击finish完成xshell的安装。

然后我们可以看到以下界面。

接下来安装xftp（用于上传文件到linux服务器的小工具），安装xftp也是非常的简单，基本上也点击Next直至安装完成。

点击Next -->此时选择“free for Home/School”，(免费版)。

录点击Next -->Next -->Next-->install （还可以选择xshell安装后的语言环境，熟悉英文的朋友，可以选择English选项）。

点击finish完成安装。

然后我们可以看到以下界。

然后我们打开xshell， 设置云服务器登录信息。

设置服务器帐号密码。

设置字符集编码（如果不设置字符集编码，则中文字符将会在xshell中显示为乱码）。

设置好了就点击ok保存。

一切准备就绪，让我们连接看看云linux服务器的庐山真面目吧！

黑不隆冬的，啥都没有，这就是linux的shell啦。shell（壳）到底是什么东东呢？

* Shell是系统的用户界面，提供了用户与内核进行交互 *** 作的一种接口。它接收用户输入的命令并把它送入内核去执行。

linux作为服务器专用 *** 作系统，主要就是默默的待在机房提供各项网络服务的，为了节省系统资源，像windows那样华丽丽的用户桌面就默认不加载了。当然现在越来越多的用户使用linux作为日常家庭办公用 *** 作系统，所以就有了像gnome、kde这样超华丽的桌面。不过作为服务器使用还是推荐用命令行界面吧，毕竟省一点资源，网站打开可能会更快一点嘛！

打下面的命令去主目录（/home）看下

输入命令：cd

用xftp上传环境安装文件。

回到shell界面，用ll命令看下情况

输入命令：ll

是不是多了一个sh-1.3.0目录，1.3.0是我们的一键安装包的版本号。 请下载最新的版本安装，版本更新介绍，我们可以在change.log中查看。也希望大家多多反馈对于一键安装包的意见。（另外，熟悉linux的朋友，直接可以用wget命令下载我们的安装包，也不用安装Xftp，这样更加便捷。)

接下来按照说明，分步骤敲入安装命令（以下为redhat系统下安装示例）。

输入命令：chmod –R 777 sh-1.3.0

cd sh-1.3.0

./install.sh

出现了一个选择提示，进入web服务器的选择界面。

这里您可以根据需要选择apache或者nginx服务器，这里是2个服务器的介绍：

apache：http://baike.baidu.com/view/28283.htm

nginx：http://baike.baidu.com/view/926025.htm

引用：

在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx

0.8.46 + PHP 5.2.14 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。

这里我们选择nginx，输入1，回车（如果什么都不输入，直接回车，或者输入错误的字符，则默认选择nginx）

然后我们再选择要安装的nginx的版本（如果web服务器选择的是apache，这里提示信息则是要安装apache的版本），总共有1.0.15/1.2.5/1.4.4三个版本可以提供我们选择，这里我们选择1.2.5版本，则输入2，回车（如果什么都不输入，直接回车，或者输入错误的字符，则默认选择1.0.15版本）

然后我们再选择要安装的php的版本，总共有5.3.18/5.4.23/5.5.7三个版本可以提供我们选择，这里我们选择5.5.7版本，则输入3，回车（如果什么都不输入，直接回车，或者输入错误的字符，则默认选择5.3.18版本）

然后我们再选择要安装的mysql的版本，总共有5.1.73/5.5.35/5.6.15三个版本可以提供我们选择，这里我们选择5.1.73版本，则输入1，回车（如果什么都不输入，直接回车，或者输入错误的字符，则默认选择5.1.73版本）

然后可以看到我们刚才选择的版本如下，我们输入y或者Y进行安装。

到这里，我们就正式进入环境安装环节了。你可以泡杯茶休息下。一般这个过程会持续半个小时的样子。

注意：

1、请在网络通畅的情况下进行安装，不要强行终止安装过程（强行关闭安装窗口或者ctrl+c强行终止安装进程），则会导致安装失败，以及出现不可预知的安装异常！

2、安装前，最好能跟系统盘打上快照，如果异常，方便回滚系统。

为了防止断掉和服务器的连接，可以新开一个shell窗口，将鼠标挪到窗口标签栏，右击，如下图所示：

可以看到，新开了一个窗口。

输入top命令

可以看到一直在跳动的系统资源统计。

好了。做完了这一些就让我们静静的等待吧！程序正在自动编译安装服务！

到这个界面说明安装已经结束了，我们可以输入以下命令再次验证是不是已经安装成功：

输入命令 ：netstat -tunpl

我们可以看到正在运行状态的服务及端口：9000端口是php进程服务，3306端口是mysql服务，80端口是nginx服务，21端口是ftp服务。

如果看到以上信息，则说明安装没有异常。这里有一点需要注意的是，如果您选择安装的是apache，则没有上面的9000端口。为什么选择安装的是apache，就没有9000端口的php进程服务呢？这是因为nginx+php集成方式与apache+php集成方式不同，感兴趣的朋友可以自己入研究一下，这里就不再介绍。

大家有疑问了。那我怎么登录ftp和mysql呢？

在命令行里输入： cat account.log

看到了没

ftp的用户名是：www

mysql的用户名是：root

密码就在屏幕上了！

另外我们也可以cat /alidata/website-info.log中查看到刚才安装软件的版本信息。

好了。所有配置都已经完成了。是不是很简单！

接下来我们可以访问一下一键安装包默认安装的phpwind论坛以及phpmyadmin。

直接在浏览器中输入您的域名或者ip，如果是第一次访问phpwind，则会自动跳转到安装页面。

如果访问的时候卡主，不出来页面，则检查一下防火墙，并自行设置或者关闭防火墙。

点击“接受”进行安装。

然后选择数据库类型为mysql,数据库用户名和数据库密码填写account.log中的用户名和密码。然后根据自己的要求，设置好数据库名、管理员账号和密码等。

填写好信息后，点击下一步完成安装。

接下来我们访问phpmyadmin，在浏览器中键入我们的域名或者ip+phpmyadmin路径，即可访问我们安装的phpmyadmin。

输入mysql用户名以及密码，即可登录。

最后我们就可以在这里面 *** 作管理我们的mysql啦。

《高性能MySQL(第3版)》（施瓦茨 (Baron Schwartz)）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan.baidu.com/s/1sDHCWXED7csP03u-dwYB2Q

提取码：enz6

书名：高性能MySQL(第3版)

作者：施瓦茨 (Baron Schwartz)

译者：宁海元

豆瓣评分：9.3

出版社：电子工业出版社

出版年份：2013-5-1

页数：764

内容简介：

《高性能mysql(第3版)》是mysql 领域的经典之作，拥有广泛的影响力。第3 版更新了大量的内容，不但涵盖了最新mysql 5.5版本的新特性，也讲述了关于固态盘、高可扩展性设计和云计算环境下的数据库相关的新内容，原有的基准测试和性能优化部分也做了大量的扩展和补充。全书共分为16 章和6 个附录，内容涵盖mysql 架构和历史，基准测试和性能剖析，数据库软硬件性能优化，复制、备份和恢复，高可用与高可扩展性，以及云端的mysql 和mysql相关工具等方面的内容。每一章都是相对独立的主题，读者可以有选择性地单独阅读。

《高性能mysql(第3版)》不但适合数据库管理员（dba）阅读，也适合开发人员参考学习。不管是数据库新手还是专家，相信都能从本书有所收获。

作者简介：

关于作者

Baron Schwartz 是一位软件工程师，居住在弗吉尼亚州的Charlottesville，网络常用名是Xaprb，这是按照QWERTY 键盘的顺序在Dvorak 键盘上打出来的名字。在不忙于解决有趣的编程挑战时，Baron 会和他的妻子Lynn 以及小狗Carbon 一起享受闲暇的时光。他有一个软件工程方面的博客，地址是http://www.xaprb.com/blog/

Peter Zaitsev 曾经是MySQL AB 公司高性能组的经理，目前在运作mysqlperformance

blog.com 网站。他擅长于帮助那些每天有数以百万计访问量的网站的管理员解决问题，这些网站通常需要几百台机器来处理TB 级的数据。他常常为了解决一个问题而不停地升级硬件和软件（比如查询优化）。Peter 还经常在各种会议上演讲。

Vadim Tkachenko 曾经是MySQL AB 公司的性能工程师。作为一名在多线程编程和同步方面的专家，他的主要工作是基准测试、性能剖析，以及找出系统的性能瓶颈。他还在性能监控和调优方面做了一些工作，使得MySQL 在多核机器上有更好的可扩展性。

================================================================

译者简介

宁海元 有超过十年的数据库管理经验，从最初到SQL Server 2000到Oracle到MySQL，擅长数据库高可用架构，性能优化和故障诊断。2007年加入淘宝，带领淘宝DBA团队支撑了淘宝业务的快速增长，完成了数据库的垂直拆分、水平拆分，迁移到MySQL体系等主要工作。目前专注于无线数据领域。网络常用名NinGoo，个人博客：http://www.ningoo.net

周振兴 毕业于北京师范大学数学系，09年加入淘宝数据库团队负责MySQL运维管理工作，有丰富的MySQL性能优化、Troubleshooting经验，对MySQL主要模块的实现和原理有深入的研究，经历淘宝MySQL实例从30到3000的发展，对系统架构、高可用环境规划都有深入理解。个人博客：http://orczhou.com

彭立勋 2010年大学毕业后加入阿里巴巴运维部。作为一名MySQL DBA，在运维MySQL的过程中，对MySQL和InnoDB的一些功能和缺陷就进行了补充，编写了多主复制和数据闪回等补丁。目前在阿里集团核心系统研发部数据库组，专注于MySQL数据库相关的开发工作。后来一些补丁被MySQL之父Mony看中，成为MariaDB提交组（Maria-captains）成员，并且把多主复制，线程内存监控等补丁合并到了MariaDB 10.0版本。

翟卫祥 毕业于武汉大学，研究生阶段从事数据库相关研究。毕业后就职于阿里巴巴集团数据库技术团队至今，主要负责阿里内部MySQL代码分支维护，包括MySQL Bug Fix及新特性开发。对MySQL内核有一定的研究。

刘辉 2008年毕业于西安电子科技大学计算机系，硕士学位。2011年加入阿里巴巴集团数据库技术团队，花名希羽，MySQL内核开发工程师。

---