Kettle

Kettle

Kettle

Kettle简介Kettle使用

案例1. 转换：把数据库中表1的数据按id同步到表2，表2有相同id则更新数据案例2. 作业：使用作业执行上述转换 参考链接

Kettle简介

Kettle是一款开源的ETL工具，纯java编写，用于数据库间的数据迁移，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。


Kettle工程存储方式
（1）以XML形式存储
（2）以资源库方式存储(数据库资源库和文件资源库)

Kettle的两种设计


Kettle的结构


Kettle下载
下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/
下载好解压即可。
但需要JDK的环境以及环境配置（这个就是Java环境的配置即可，在命令行中输入java -version，javac能得到想要的结果即成功），需要mysql的驱动包（将mysql-connector-java-8.0.16.jar文件复制到kettle所安装的kettle-pdi-ce-7.1.0.0-12data-integrationlib下）。^{1
Kettle的目录文件，如下所示：}




Kettle启动，双击spoon.bat/spoon.sh。

Kettle界面：

Kettle使用 案例1. 转换：把数据库中表1的数据按id同步到表2，表2有相同id则更新数据

在mysql创建两个表，k1和k2，分别存放一些数据。



在kettle中文件—>新建—>转换，在主对象树中转换下选择DB连接—>右键—>新建



测试后出现上图表示连接成功，即可“确认”。

在核心对象中选择输入—>表输入，拖出



现在我们需要把输入k1的数据同步到k2输出的数据


双击插入/更新进行配置。

注：上述图片去掉age字段，因为表2没有age字段

在转换前需要先保存，运行结束后，我们可以在下方看到运行结果，其中有日志，数据预览等。

在更新的情况下，查看此时表k2的数据。

选择不更新（N）
表k2

案例2. 作业：使用作业执行上述转换

新建一个作业。
从左侧依次拖动 START 、转换、成功到右侧，并用线连接起来。
双击 START，配置（可以配置作业的运行间隔，每隔一段时间，可以把原表数据迁移到目标表。）
双击转换，选择之前新建的那个转换。
保存后，点击运行，就能运行这次作业。在下方执行结果，可以看到运行的日志。

参考链接

kettle入门实战
kettle教程
kettle的基础概念入门、下载、安装、部署

---

1. mysql时区设置 ↩︎