kettle怎么实现重复抽取更新数据

插入/更新

1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。

2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。下面为你实现了一套通用的数据库迁移流程。技术引导：实现之初，在kettle提供的例子中找到了一个类似的（samples\jobs\processalltables）。通过相关改造，终于达到目标。实现过程解剖：整套流程分为：2个job，4个trans。使用到的Trans插件：表输入、字段选择、复制记录到结果、从结果获取记录、设置变量、自定义java脚本、表输出。1.大job。2.要迁移的源库表名称获取，并设置到结果集，为下面的job使用。

3.配置子job为前面的每一条记录（即每个表）执行一次该子job4.下面是子job。5.获取记录中的表名称，并设置为到变量。6.读取当前表的结果信息，并在目标库中创建表（这个是难点）。因为只需要获取抓取要抽取表的结构信息，故在sql后面加上where1=2。下面代码是创建目标库表。Java代码publicbooleanprocessRow(StepMetaInterfacesmi,StepDataInterfacesdi)throwsKettleException{//First,getarowfromthedefaultinputhop//Object[]r=getRow()org.pentaho.di.core.database.DatabaseMetadbmeta=nulljava.util.Listlist=getTrans().getRepository().readDatabases()//3.x中获取资源库的所有数据库连接信息用getDatabases()if(list!=null&&!list.isEmpty()){for(inti=0i

linux 下，可以使用cli程序把csv文件导入到数据库。具体代码如下：

$ORACLE_HOME/bin/sqlplus -S username/password@instanceName > /dev/null 2>&1  <<!!

#对sqlplus作一些设置，使之只输出我们需要的文本

set echo off

set pagesize 0

set verify off

set feedback off

set termout off

set linesize 3000

set trimspool on

#查询输出到临时文件

spool /tmp/some_tmp.csv 

#select语句

select column1||','||column2||','||column3 ....

from some_table where condition

spool off

#这里可以添加多个查询,且每个查询可输出到不同的文件,如下面注释

#spool /tmp/some_tmp.csv 

#select column1||','||column2||','||column3 ....

#from some_table where condition

#spool off

set markup HTML off

quit

!!

#计算记录总行数，如果是0则不发邮件

NUM=`cat /tmp/some_tmp.csv | wc -l`

if[ $NUM -gt 0 ]

then

#先写excel的每列的title

echo 'Title_Of_Column1, Title_Of_Column2, ....Title_Of_ColumnN' > /tmp/attachement.csv

#数据正文

cat /tmp/some_tmp.csv >> /tmp/attachement.csv

#发邮件

(

echo "From: user@somehost.com"

echo "To: user1@somehost.com"

echo "MIME-Version: 1.0"

echo "Content-Type: multipart/mixed"

echo ' boundary="A_Boundary_Name_You_Can_Change_It"'

echo "Subject: Subject"

echo ""

echo ""

#附件分隔符，上面的boundary前面加--

echo "--A_Boundary_Name_You_Can_Change_It"

echo 'Content-Transfer-Encoding: x-uuencode'

echo 'Content-Type: text/csv'

echo '        name="attachement.csv"'

echo 'Content-Disposition: attachment'

echo '        filename="attachement.csv"'

echo ""

uuencode /tmp/attachement.csv attachement.csv

echo "--A_Boundary_Name_You_Can_Change_It"

#附件结束

) | mailx -t

fi

#删除临时文件

rm -f /tmp/*.csv

exit 0

---