linux部署kettle方案

Kettle-linux部署方案

安装 包准备

1、jdk1.8

2、kettle8.1

3、linux可视化图形插件Window System

4、Xmanager。

安装 步骤

第一步

安装jdk1.8,并使用java -version 查看是否正确安装。

第二步

执行以下命令

yum groupinstall "X Window System"

第三步

data-integration下执行./kitchen.sh ，看是否会报错，如报错执行以下命令：

wget http://li.nux.ro/download/nux/dextop/el7/x86_64/nux-dextop-release-0-5.el7.nux.noarch.rpm

yum install -y epel-release

rpm -ivh nux-dextop-release-0-5.el7.nux.noarch.rpm

yum install webkitgtk

第四步

安装完成后再次查看./kitchen.sh

第五步

安装Xmanager,并配置spoon.sh路径。

到data-integration目录下执行./spoon.sh,呼出spoon界面完成。

Spoon集成化方案及问题

1、需要将以上yum安装的包打包并集成部署。

2、问题：./spoon.sh执行后，xmanager即呼出spoon界面。但是界面关闭后，后台进程就停止了。需要将kettle重新包装，保证进程持续进行。

linux上使用crond定时执行kettle的job的解决方法：

一、部署kettle

1. 将pdi-ce-4.1.0-stable.zip上传到Linux服务器。

2. 使用unzip命令解压pdi-ce-4.1.0-stable.zip

unzip pdi-ce-4.1.0-stable.zip -d "/mnt/kettle"

3. 赋予解压目录下.sh文件的执行权力chmod +x *.sh

4.进入解压目录，键入“./kitchen.sh”回车，如果有帮助信息则表示kettle环境部署成功。

二、接着，编写执行kettle任务的shell脚本

创建test.sh，将以下内容复制粘贴到里面，然后入“chmod+x /mnt/kettle/*.sh”，赋予test.sh执行权限。

export JAVA_HOME=/usr/java/jre1.6.0_23

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

/mnt/kettle/data-integration/kitchen.sh -file=/mnt/kettle/test.kjb > /mnt/kettle/display.txt

说明：

前3行，设置Java环境变量的语句必不可少，因为crond是个守护进程，它不归属于任何用户，虽然之前以root身份配置了java的环境变量，但是crond一样找不到java命令，所以，当crond执行kettle任务时，需要动态设置java环境变量，crond才能找到java命令。

三、最后，使用crontab命令添加定时任务

1.在终端上，键入“crontab -e”，进入定时任务文件。

2.键入“a”，对文件进行编辑。

 输入如下内容： 23 11 10 02 * /mnt/kettle/test.sh

其中 23为分钟，11为小时，10为日，02为月，*为星期几，crontab命令的使用这里不再赘述。

3.键盘敲击exc，终端键入“:wq”，保存文件。

4.重启crond服务。

键入“cd /etc/init.d”，进入该目录。

键入“./crond restart”，重启crond服务。

5.等待执行结果。

6.执行成功，oh..nice!

我也是暑假才装的ubuntu 9.04，我装的是vista与Ubuntu双系统。一． .我推荐你下个UltraISO软件，做一个U盘启动，具体方法如下：在工具栏找到 启动，下拉框中选 写入硬盘映像 ，接下来选你的U盘盘符，写入方式选USB-HDD，等完成后一个启动U盘就做好了。安装的时候，开机时，按F12，不过不同的电脑可能不同，选USB启动。二. 分区问题 我帮你找了个很详细的教程一.挂载点

在Linux系统里面，“分区”，被称作“挂载点”，简单明了的说，“挂载点”意思就是：把一部分硬盘容量，“分”成一个文件夹的形式，用来干什么事情。这个文件夹的名字，就叫做：“挂载点”。所以，和Windows有着本质上的超级大的区别，你在任何linux发行版系统里面，绝对不会看到C盘，D盘，E盘这样的，你能看到的，只有“文件夹”形式存在的“挂载点”。

在Linux 系统里面，有一些已经定义好，用来干一些事情的挂载点，常见的“挂载点”有：

1. Boot

大家应该很常见这个英文，是引导的意思。对于Linux来讲，一部分容量，用来“挂载”Boot，就是用于存储系统的引导文件

2. / 或者 /ROOT

就一个符号，是Linux系统特有的，是“根目录”的意思。根目录，用来存储用户的一些基本配置文件，软件设置文件等等很多

3. home

“家”的意思，在Linux系统里面，它是用来存储用户的程序，文件，文档等等所有资源。因此，进行“分区” *** 作的时候，它是要分的很大很大很大的。

4. SWAP

这个，是Linux和Windows最大的区别了。Windows没这个东西，只有Linux才有。其实它也不是一个“挂载点”，为了菜鸟们理解方便，我这里姑且把它当作一种挂载点。SWAP分区，是让“内存”临时存储文件的专用空间。

小知识：对于大部分常见的Linux核心的系统，上述的 2，4.有它们2个“挂载点”，就够了。当然，Linux下还有其他很多“挂载点”，可以进行详细的设置，我说的2和4，只是必须的，一定要有的，最最基础的！没有它们2个挂载点，根本不能继续安装系统的！

5. usr

用来存放系统自带的，或者通过更新安装的软件的地方。

6. tmp

临时文件存储地方，大家可以理解为Windows下的：C:\Documents and Settings\Administrator\Local Settings\Temp 目录。^_^

7. 自行设置“挂载点”

咱们在Windows里面，可以通过“新建文件夹”来存储一类东西，当然在Linux下也行。除了这个方法，你也可以在“分区”的时候，自己设置一个“挂载点”（其实功能就等于建立个专门的地方，存放专门的东西”）

其他，还有很多很多。我不一一细说了，下面有张图，里面有各个文件夹对应的功能，存贮的东西。大家都可以在“分区”的过程中，手动“挂载”，设置具体容量。

二.Linux系统下，硬盘光驱等设备的命名规则

Linux 好像很喜欢“另类”，它对硬盘设备的命名方法，也和Windows有很大区别。在Linux系统里面，你的硬盘设备信息，是专门存储在“dev”这个挂载点里面的。上面我没有提到这个挂载点，大家知道就行了。后面会见到。它的硬盘命名方法是：

1. IDE 接口的硬盘，Linux下称为（或者说是显示为）：HD

2. SATA 硬盘或者 SCSI硬盘，称为： SD

3. 光驱，就是 CDROM 了。如果有多个光驱，是按数字命名排列的，比如：CDROM0,CDROM1,CDROM2

4. 硬盘里面的 Windows下的分区

以Ubuntu 8.04以上为例，它已经很好很好的支持 Windows分区类型（FAT32,FAT,NTFS）的读写 *** 作了。你系统安装好后，它就能自动识别这些Windows分区。它们会以“该分区的容量大小+分区卷标”，来标明，比如： 22.5G GAME, 30G System^^^这样。在你系统的“位置”里面，就能看到的。

5. 如果你有多硬盘………………

刚才说了，在Linux里面，硬盘被分为：HD 和 SD，那么，根据英文26个字母的顺序。第一块硬盘，就是 hda，那么，这块硬盘的第一个挂载点，就是 hda1，以此类推 hda2,hda3^^^

刚才说了，多块硬盘，是根据26个字母顺序排的，那么， hdb就是第二块硬盘了。这个应该很容易理解吧？它的“分区”，自然就是：hdb1,hdb2,hdb3……………………同样道理，大家应该能知道， sdb3，是什么意思了吧？

三.关于常见挂载点的容量设置

每个人的硬盘大小都不同，自然也没有“定论”了，我大致说下，大家可以根据自己实际情况，酌情考虑

1. boot

Linux系统，它的引导文件很小很小，这个boot挂载点，大家分 100M，就足够了（这个基本上能算是定论！不管你硬盘多大，就分这么多，足够足够了！等你安装完了系统，去看看它，其实就占 45M——50M）

小知识：BOOT挂载点，并不是必须的。但是个人建议，如果你要做双系统，最好是单独分出来，等你安装grub引导器的时候，把它安装到boot上，就是双系统了，这样做，目的就是更明确，更方便。

2. / （有些linux发行版，这个也写做：/root，功能道理是一样的）

刚才说过了，得大点，至少5G以上

3. home

刚才也说了，是要求最大最大最大的。。。。。。你就尽量分吧。嘿嘿！网上常见的，80的硬盘，分给它 70G的都有………………

4. SWAP

有一个不成文的小规律： 电脑内存，小于 1G的，SWAP分 512M；内存大于 1G的，分 1G就行。

5. TMP

临时存放些垃圾的，自己看着吧了。大不了用满了清理呗。

小知识：linux和windows不一样，垃圾很少很少，可以说是几乎没有，所以，在linux系统下，你完全不用考虑，系统垃圾文件的问题喔！所以，用linux，自然就不用天天吵着：我怎么清理垃圾阿！

6. usr

占你整个容量的 15%差不多吧。呵呵，自己酌情考虑，其实你不“挂载”这个都行的。

Linux的分区，之所以让大家头疼，就是因为它并不是给每个分区，分配一个“字母盘符”，而是通过具体的文件夹名字，来进行“挂载”，进行功能的区分。其实，大家在潜意识里，明白这些挂载点的意思，就行了。别非想着Windows，分区就得有个盘符。。。。。。。^_^想用Linux，很多观念都必须要改变滴~

四.实战 Ubuntu 8.04.1 硬盘分区

基础知识说完了，该进入正题了，以：Ubuntu 为例，来一步一步的图文说明分区过程。

硬盘“分区”，是Ubuntu系统安装过程的：第三步，前两步我实在觉得没必要说了。

1. 系统语言选择—— 都知道选择中文（简体）吧？而且默认就是，直接回车即可！

2. 选择时区 —— 默认就是 （SHANGHAI），会拼音的都明白。中国上海。直接回车

3. 开始头疼的硬盘分区

首先出现的是这个界面，我们选择“手动”

⑴ 这里，就是Ubuntu系统的“分区”软件界面了。每种Linux系统，都自带分区软件，他们的界面和使用方法，也大致相同，菜鸟们学会一种，就完全可以应付所有的了。虽然网上也有很多专门给Linux系统“分区”的第三方软件，但我个人还是推荐大家用系统自带的，方便，直接，快捷~

如图，下面列出了我的硬盘设备：dev/sda ，还用解释么？sda：“sata接口第一块硬盘”

⑵我们选中下面的“空闲空间”行，就能点击“新的分区”了。

⑶点击“新的分区”，我们来创建挂载点。界面如图，我逐个解释

★新分区的类型

boot 和 swap（交换分区）是主，其他的挂载点，都是逻辑。这个不解释了。当然不是定论

★新建分区容量： 自己填写吧

★新分区位置： 默认就行，选择“开始”

★用于

Linux的“分区”，也有很多种类，就像是Windows包括NTFS,FAT32。 现在这个时代，建议大家选择 Ext3 日志文件系统就行了。还有一种 R...FS，具体名字忘了，^_^，也可以。不过我都用Ext3，实质存放档案的分割区。事实上除了ext3外，GNU/Linux可以使用ext2、xfs、reiser及jfs等档案系统存放档案，每个档案系统都有其长短处，不过初学者先使用ext3。

一会儿要建立SWAP挂载点，就是在这里选择！别忘了！

★ 挂载点

不解释了，前面开始时候就介绍了，“分区”软件里面罗列了常见的：boot, /, home,usr,temp

看看，这里面已经提供了如下这些挂载点，大家直接选择就行了：

⑷第一步，建立 BOOT 挂载点的“分区”，看图吧，最直接

⑸第二步：建立 SWAP ，交换空间

⑹建立 /，根目录挂载点

⑺建立 HOME，用户挂载点

⑻到这里，最基本的，就建立忘了，教程里面，我就建立这几个，其他的，大家想建立，可以照猫画虎就行了，应该这个本事都具备吧？^_^ 看下面的图，是已经都挂载好的硬盘了。

4. 填写个人信息：用户名，密码（输入2遍），填写计算机名称

5. 开始“全自动”安装。。。。。。。。。

6. 最后重启，就装完系统拉！

其实我装的时候就分了/root boot swap home，总共我是分了20G。（Linux下可以打开FAT32，ntfs的盘就是xp下的盘，在xp下不能打开ext格式的盘） 三 关于怎么切换系统，开机的时候有 *** 作系统的选择，你可以选择windows或Linux。四 按步骤来的话一般是不会使文件丢失的，不要担心。当然可以用GHOST备份。五 分区的话可以用分区魔法师，文件不会丢失的。分区最好是空出一部分。（图传不上去，很抱歉，可以自己到网上搜索）

---