DATAX

DATAX

DATAX

一、DATAX简介

1.1、什么是dataX1.2、基本原理1.3、运行原理 二、快速入门

2.1、下载地址2.2、解压基本使用

一、DATAX简介 1.1、什么是dataX

DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据
库（ MySQL、Oracle等）、HDFS、Hive、ODPS、Hbase、FTP等各种异构数据源之间稳定高
效的数据同步功能。为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路,
DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要
将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。
1.2、基本原理

Reader：数据采集模块，负责采集数据源的数据，将数据发送给framework。Writer：数据写入模块，负责不断向framework取数据，并将数据写入到目的端。framework：用于连接reader和writer,作为两者的数据传输通道，并处理缓冲，
流控，并发，数据转换等核心技术问题 1.3、运行原理

Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。Task：由Job切分而来，是DataX作业的最小单元，每个Task负责一部分数据的同步工作。Schedule：将Task组成TaskGroup,单个TaskGroup的并发数量为5。TaskGroup ：负责启动 Task 二、快速入门 2.1、下载地址

下载地址：http:〃datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
源码地址：https:〃github.com/alibaba/DataX
环境要求：
	-LinuxQ
	-JDK(1.8以上，推荐1.8）
	-Python(推荐 Python2.6.X）
	 yum install -y python

2.2、解压基本使用

tar -zxvf XXX.gz -C /opt/install
cd /opt/install/datax
datax]$ python bin/datax.py ,/job/job.json