Kettle在linux环境的部署和使用

上一章讲了对Kettle的大致理解，各个组件的含义用处，以及Spoon的使用。这章就开始讲下Kettle在linux环境下的安装部署，和其中遇到的一些坑。

[root@test local]# chmod +x ./data-integration/*.sh

[root@test local]# yum install webkitgtk

上传你的ktr文件，然后运行pan.sh脚本即可

./data-integration/pan.sh -file=./xxx/test.ktr -level=Detailed

下面具体说明pan.sh的各个命令

首次接触学习的并不深入，如有错误请指出！

Kettle-linux部署方案

安装 包准备

1、jdk1.8

2、kettle8.1

3、linux可视化图形插件Window System

4、Xmanager。

安装 步骤

第一步

安装jdk1.8,并使用java -version 查看是否正确安装。

第二步

执行以下命令

yum groupinstall "X Window System"

第三步

data-integration下执行./kitchen.sh ，看是否会报错，如报错执行以下命令：

wget http://li.nux.ro/download/nux/dextop/el7/x86_64/nux-dextop-release-0-5.el7.nux.noarch.rpm

yum install -y epel-release

rpm -ivh nux-dextop-release-0-5.el7.nux.noarch.rpm

yum install webkitgtk

第四步

安装完成后再次查看./kitchen.sh

第五步

安装Xmanager,并配置spoon.sh路径。

到data-integration目录下执行./spoon.sh,呼出spoon界面完成。

Spoon集成化方案及问题

1、需要将以上yum安装的包打包并集成部署。

2、问题：./spoon.sh执行后，xmanager即呼出spoon界面。但是界面关闭后，后台进程就停止了。需要将kettle重新包装，保证进程持续进行。

安装JDK环境：根据自己的linux系统选择相应的版本，比如我的centos7是x64的，所以我选择jdk-8u74-linux-x64.tar.gz下载

下载下来以后，我们将其移到我们创建的一个目录中,存放tar包的目录为/usr/local/src/jdk,然后解压：

tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz

编辑 vi /etc/profile 文件

在文件后面添加：

export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

执行 . /etc/profile

配置成功后，关闭终端，重新进入，输入java –version 如果出现版本号什么的，就证明jdk安装成功

1. 将data-integration文件夹直接拷贝到/usr/local/kettle文件夹下面

cd /usr/local/kettle/data-integration 进入该目录

为所有.sh文件赋予执行权限

chmod +x *.sh

然后在终端键入./kitchen.sh 如果出现帮助信息，说明kettle安装成功

./kitchen.sh -----运行job

./span.sh -----运行转换

1. 在kettle下建立data 文件夹，用来存放转换和job文件

建立ktllog 文件夹，用来存放日志文件

建立ktlsh 文件夹，用来存放脚本文件

1. 在ktlsh文件夹中新建执行job的文件，

新建文件命令: touch xxx.sh

并赋予文件执行权限

chmod +x xxx.sh

编辑xxx.sh文件

Vi xxx.sh

输入 ：

#!/bin/sh

source /etc/profile 配置环境变量（使用crontab时候，由于crontab不识别系统的环境变量，所以需要我们这边再配置一遍）

ROOT_TOPDIR=/usr/local/kettle

Export ROOT_TOPDIR --设置kettle目录

$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要执行的job的文件（绝对路径）

保存!

可在ktlsh目录下直接执行./xxx.sh 文件运行

1. 配置crontab 定期执行作业或者转换

基本格式 :

*****command

分　时　日　月　周　命令

第1列表示分钟1～59 每分钟用*或者 */1表示 第2列表示小时1～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天） 第6列要运行的命令

在crontab中配置自动每天12点30分执行xxx.sh文件

编辑crontab : crontab –e

增加一行

30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh

如果要输出日志可

30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh >>/usr/local/kettle/ktllog/log01

如果ktllog下面不存在log01文件会自动创建

配置完后重启crontab服务：

Service crond restart

查看crontab服务

Service crond status

查看crontab中的内容

Crontab –1

---