kettle 查询中的 数据库连接 怎样使用

你用的是kettle的新版吗？如果是的话你在表输入里选择数据库连接后，假如获取不到表信息，自己写select语句试试。

你用的是kettle的新版吗？如果是的话你在表输入里选择数据库连接后，假如获取不到表信息，自己写select语句试试。

Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，主要用于数据抽娶转换、装载。kettle兼容了市面上几十种数据库，故用kettle来做数据库的迁移视乎是个不错的选择。 kettle的数据抽取主要在于抽取数据，而没有考虑数据库的函数

#include "stdioh"

#include "stdlibh"

#include "stringh"

struct PCB {

char NAME[10]; /进程名/

int ROUND; /进程轮转时间片/

int REACHTIME; /进程到达时间/

int CPUTIME; /进程占用CPU时间/

int COUNT; /计数器/

int NEEDTIME; /进程完成还要的CPU时间/

char STATE; /进程的状态/

struct PCB NEXT; /链指针/

};

struct LINK { /PCB的链结构/

struct PCB RUN; /当前运行进程指针/

struct PCB READY; /就绪队列头指针/

struct PCB TAIL; /就绪队列尾指针/

struct PCB FINISH; /完成队列头指针/

};

void INIT(LINK ); /对PCB的链结构初始化/

void INSERT(LINK ); /将执行了一个单位时间片数且还未完成的进程的PCB插到就绪队列的队尾/

void FIRSTIN(LINK ); /将就绪队列中的第一个进程投入运行/

void PRINT(LINK ); /打印每执行一个时间片后的所有进程的状态/

void PR(PCB ); /打印一个进程的状态/

int CREATE(LINK ,int); /创建新的进程/

void ROUNDSCH(LINK ); /按时间片轮转法调度进程/

void main() {

LINK pcbs;

int i;

INIT(&pcbs);

i=0;

printf("创建5个进程\n\n");

while(i<5) {

if(CREATE(&pcbs,i+1)==1) {

printf("进程已创建\n\n");

i++;

}

else

printf("进程创建失败\n\n");

}

FIRSTIN(&pcbs);

ROUNDSCH(&pcbs);

}

void ROUNDSCH(LINK p) {

PCB pcb;

while(p->RUN!=NULL) {

pcb=(PCB )malloc(sizeof(PCB));

strcpy(pcb->NAME,p->RUN->NAME);

pcb->ROUND=p->RUN->ROUND;

pcb->REACHTIME=p->RUN->REACHTIME;

pcb->CPUTIME=p->RUN->CPUTIME;

pcb->COUNT=p->RUN->COUNT;

pcb->NEEDTIME=p->RUN->NEEDTIME;

pcb->STATE=p->RUN->STATE;

pcb->NEXT=p->RUN->NEXT;

pcb->CPUTIME++;

pcb->NEEDTIME--;

pcb->COUNT++;

if(pcb->NEEDTIME==0) {

pcb->NEXT=p->FINISH->NEXT;

p->FINISH->NEXT=pcb;

pcb->STATE='F';

p->RUN=NULL;

if(p->READY!=p->TAIL)

FIRSTIN(p);

}

else {

p->RUN=pcb;

if(pcb->COUNT==pcb->ROUND) {

pcb->COUNT=0;

if(p->READY!=p->TAIL) {

pcb->STATE='W';

INSERT(p);

FIRSTIN(p);

}

}

}

PRINT(p);

}

}

void INIT(LINK p) {

p->RUN=NULL;

p->TAIL=p->READY=(PCB )malloc(sizeof(PCB));

p->READY->NEXT=NULL;

p->FINISH=(PCB )malloc(sizeof(PCB));

p->FINISH->NEXT=NULL;

}

int CREATE(LINK p,int n) {

PCB pcb,q;

pcb=(PCB )malloc(sizeof(PCB));

flushall();

printf("请输入第%d个进程的名称：\n",n);

gets(pcb->NAME);

printf("请输入第%d个进程的轮转时间片数：\n",n);

scanf("%d",&(pcb->ROUND));

printf("请输入第%d个进程的到达时间：\n",n);

scanf("%d",&(pcb->REACHTIME));

pcb->CPUTIME=0;

pcb->COUNT=0;

printf("请输入第%d个进程需运行的时间片数：\n",n);

scanf("%d",&(pcb->NEEDTIME));

pcb->STATE='W';

pcb->NEXT=NULL;

if(strcmp(pcb->NAME,"")==0||pcb->ROUND<=0||pcb->NEEDTIME<=0) /输入错误/

return 0;

q=p->READY;

while(q->NEXT!=NULL&&q->NEXT->REACHTIME<=pcb->REACHTIME)

q=q->NEXT;

pcb->NEXT=q->NEXT;

q->NEXT=pcb;

if(pcb->NEXT==NULL)

p->TAIL=pcb;

return 1;

}

void FIRSTIN(LINK p) {

PCB q;

q=p->READY->NEXT;

p->READY->NEXT=q->NEXT;

q->NEXT=NULL;

if(p->READY->NEXT==NULL)

p->TAIL=p->READY;

q->STATE='R';

p->RUN=q;

}

void INSERT(LINK p) {

PCB pcb;

pcb=(PCB )malloc(sizeof(PCB));

strcpy(pcb->NAME,p->RUN->NAME);

pcb->ROUND=p->RUN->ROUND;

pcb->REACHTIME=p->RUN->REACHTIME;

pcb->CPUTIME=p->RUN->CPUTIME;

pcb->COUNT=p->RUN->COUNT;

pcb->NEEDTIME=p->RUN->NEEDTIME;

pcb->STATE=p->RUN->STATE;

pcb->NEXT=p->RUN->NEXT;

p->TAIL->NEXT=pcb;

p->TAIL=pcb;

p->RUN=NULL;

pcb->STATE='W';

}

void PRINT(LINK p) {

PCB pcb;

printf("执行一个时间片后的所有进程的状态：\n\n");

if(p->RUN!=NULL)

PR(p->RUN);

if(p->READY!=p->TAIL) {

pcb=p->READY->NEXT;

while(pcb!=NULL) {

PR(pcb);

pcb=pcb->NEXT;

}

}

pcb=p->FINISH->NEXT;

while(pcb!=NULL) {

PR(pcb);

pcb=pcb->NEXT;

}

}

void PR(PCB p) {

printf("进程名：%s\n",p->NAME);

printf("进程轮转时间片：%d\n",p->ROUND);

printf("进程到达时间：%d\n",p->REACHTIME);

printf("进程占用CPU时间：%d\n",p->CPUTIME);

printf("计数器：%d\n",p->COUNT);

printf("进程完成还要的CPU时间：%d\n",p->NEEDTIME);

printf("进程的状态：%c\n\n",p->STATE);

}

resultgetrows不是获取trans流程里面‘流动’的数据的。

trans里面有个‘复制记录到结果’插件，输出到里面的数据，通过resultgetrows就能获取。

关于日志控件的使用

在转换和作业中都有这个控件，叫写日志

看名字就知道，它是用来写日志的，平时用来调试或者记日志都可以使用，我一般用来看变量，或者一些内容输出。

日志控件，只有几个功能

可以配置日志级别、写日志、获取上游的字段

比如我们想看看上游到底输出的是什么内容，我们就可以输出看看

执行的时候，就会打印出上游的输出内容

这里不适用太多内容，简单输出几行就行了

接上面的例子，我们说，简单输出几行就行了，刚才我是直接在上游的SQL中加了限制，只返回3条记录，如果不控制的话，还可以在日志控件中进行设置

勾选下图的参数，就可以进行限制了

这个日志级别有点儿奇怪，感觉不能理解他的实际意义

它又很多个选项，按照常理来说，勾选那个“行级别日志”，会显示最相信的日志，但是，并没有什么用，或者是我理解错了，用的不对。

选了以后，连基本的输出内容都没有了，是不是很奇怪，

或者我理解的不太对

还有这个错误日志，勾选后，会把输出内容标红，即把日志控件输出的内容设置为错误信息，这个到可以理解，

使用日志控件，还可以输出变量信息，一般有这空标识的都是可以写变量的

我是测试下变量

执行后，就会输出变量的值

顺带说一下作业在执行的时候，也有日志级别，这个是可以控制的

如果选择行级别，的确会输出很多内容来，大家可以尝试下。

最近用到了kettle中的变量，说一下我碰到的一些问题

1、变量（variable）

这个是整个流程图

获取之前的查询结果，输出到文本文档，文档内容如下：

现在要查询CODE='02'，点击启动，填写值为02，如果不填值，会用默认值做查询

我们财务有一个需求，希望将整理好的一份供应商付款明细Excel文件，按供应商拆分成多个Excel文件，并发送给对应供应商的联系人。

供应商付款明细表格式如下：

另外有一份供应商联系人表存放每个供应商对应的联系人邮箱：

用户希望将供应商A的两行记录，拆分成一个独立的Excle文件，作为附件发送给供应商A的两个联系人aa1、aa2。将供应商B的一行记录，拆分成一个独立的Excle文件，作为附件发送给供应商B的两个联系人bb1、bb2。

作业中关联两个转换，T1转换用来获取原始文件内容参数中，T2转换用来将参数一行行写入到一个个独立Excel文件中。

下载pdi-ce-440-stablezip，解压到文件夹，打开data-integration中的Spoonbat

2

出现欢迎界面后来到Repository Connection窗口，选择建立一个新的repository，随后出现“资源库信息”窗口：

3

在“资源库信息”窗口中选择新建一个数据库连接，d出“Database Connection”窗口：

4

在其中输入Connection Name, Host Name, Database Name, Port Number, User Name,Password信息即可建立连接，完成之后在Repository Connection窗口以admin用户名登陆。

5

新建一个名为cscgTransTest的Transformation，从“核心对象”中将两个“表输入”和一个“插入/更新”拖入到cscgTransTest中，并建立它们之间的连接，如下图所示：

6

在cscgTransTest中建立一个新的数据库连接ttt，通过表输入“max_createtime”从目标数据库ttt中获取某个表中最新数据的建立时间：

SELECT max(trunc(createtime)) FROMumdatatoeventmedia

7

在cscgTransTest中建立一个新的数据库连接testdb，以表输入“max_createtime”的查询结果替代表输入“umdatatoeventmedia”中的变量，执行SQL语句从数据库testdb中获取需要插入或者更新到ttt数据库的数据

SELECT FROMumdatatoeventmedia where trunc(createtime) >= trunc()

8

在“插入/更新”中选择“数据库连接”、“目标模式”、“目标表”等信息，“用来查询的关键字”中的字段用来查询某条记录是否在目标表中存在，不存在则插入记录；如果存在，则继续比较其他字段是否与流里的字段值相同，如果相同则不执行任何 *** 作，如果不同则更新“更新字段”中所列字段。

“用来查询的关键字”所列字段是该表的primarykey，从而可以唯一标识一条记录。

9

分别为每一个表建立一个如上模式的转换步骤。

10

新建一个名为“cscgJobTest”的Job，在核心对象中将“START”和“Transformation”拖入cscgJobTest中，并建立两者之间的连接。

11

选中START中的“重复执行”，类型为“不需要定时”；在Transformation中将转换名设置为之前建立的“cscgTransTest”

12

点击“Run this Job”运行。Job和Transformation的执行结果如如下：

以上就是关于kettle 查询中的 数据库连接 怎样使用全部的内容，包括:kettle 查询中的 数据库连接 怎样使用、kettle 怎么获取 生成的主键值、kettle 正则表达式 获取文件名等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！