kettle一个数据库表数据抽取到另一个数据库,中间想对几个字段下的值先进行解密再存到另一个数据库怎么做

kettle一个数据库表数据抽取到另一个数据库,中间想对几个字段下的值先进行解密再存到另一个数据库怎么做,第1张

Kettle学习一:简单的表输入输出

1.创建两个DB连接,test和test1,分别连接两个不同祥神衫的数据

2.拖拽表输入,字段转换,表输出图标到界面,并住shift键连接它们

3.表输入:用于查询出一个数据表中需要搬运的数据。

双击表输入——>选择需要搬运的瞎裤数谨腔据库(test)——>获取 SQL查询语句——>确定

需要在注册表中进行设置 TypeGuessRows 的配置,默认情况下,驱动程序会扫描前 8 行数据,来对数据类型渗饥进行采样。设置为 0 ,将对列的所有行进行扫描,如果前八行采样数据都是数值类型的话,设置 IMEX = 1 也不会将剩下的行的默认数据类型转换为文本,将保留数值类型,也就是把整个列当成数字类型对待,需要修改注册表的设置 TypeGuessRows 为 0。TypeGuessRows 在注册表的位置:

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Jet\4.0\Engines\睁纯Excel]

Windows 7等 64 系统:

[HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Microsoft\Jet\悉喊咐4.0\Engines\Excel]

linux 下,可以使用cli程序把csv文件导入到数据库。具体代码如下:

$ORACLE_HOME/bin/sqlplus -S username/password@instanceName > /dev/null 2>&1  <<!!

#对sqlplus作一些设置,使之只输出我们需要的文本

set echo off

set pagesize 0

set verify off

set feedback off

set termout off

set linesize 3000

set trimspool on

#查询输出到临时文件

spool /tmp/some_tmp.csv 

#select语句

select column1||','||column2||','||column3 ....

from some_table where condition

spool off

#这里可以添加多个查询,且每个查询可输出到不同的文件,如下面注释

#spool /tmp/some_tmp.csv 

#select column1||','||column2||','||column3 ....

#from some_table where condition

#spool off

set markup HTML off

quit

!!

#计算记录总行数,如果是0则不发邮件

NUM=`cat /tmp/some_tmp.csv 让喊冲| wc -l`

if[ $NUM -gt 0 ]

then

#先写excel的每列的title

echo 'Title_Of_Column1, Title_Of_Column2, ....Title_Of_ColumnN' > /tmp/attachement.csv

#数据正文

cat /tmp/some_tmp.csv >> /tmp/attachement.csv

#发邮件

(

echo "From: user@somehost.com"

echo "To: user1@somehost.com"

echo "MIME-Version: 1.0"

echo "Content-Type: multipart/mixed"

echo ' boundary="A_Boundary_Name_You_Can_Change_It"'

echo "Subject: Subject"

echo "坦歼"

echo ""

#附件分隔符,上面的boundary前面加--

echo "渗庆--A_Boundary_Name_You_Can_Change_It"

echo 'Content-Transfer-Encoding: x-uuencode'

echo 'Content-Type: text/csv'

echo '        name="attachement.csv"'

echo 'Content-Disposition: attachment'

echo '        filename="attachement.csv"'

echo ""

uuencode /tmp/attachement.csv attachement.csv

echo "--A_Boundary_Name_You_Can_Change_It"

#附件结束

) | mailx -t

fi

#删除临时文件

rm -f /tmp/*.csv

exit 0


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/8228906.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-14
下一篇 2023-04-14

发表评论

登录后才能评论

评论列表(0条)

保存