用kettle将mysql数据导入到hive中为什么执行效率很低

数据库机制不一样，整个库导入是不可能的。如果数据不多，你用 plsql developper 的tool->export tables 选择sql insert导出数据好了。这将生成一般的sql insert 语句。

java调用kettle数据库类型资源库中的ktr此问题在1个月前或许已经接触，单是一直木有怎么用到，就被耽搁至今；问题的解决要来源于网络，其实我还想说问题的解决的是要靠我们自己的思想，不过多的言情，我们接下来直接进入主题吧！环境：kettle-spoon4.2.0,oracle11g，myeclipse6.5，sqlserver2008前提：在kettle图形界面spoon里面已经做好了一个ktr转换模型，此时我的ktr信息如下图：Step1：在myeclipse创建project，导入kettle集成所需要的包Step2:重点解析与code源码//定义ktr名字privatestaticStringtransName="test1"//初始化kettle环境KettleEnvironment.init()//创建资源库对象，此时的对象还是一个空对象KettleDatabaseRepositoryrepository=newKettleDatabaseRepository()//创建资源库数据库对象，类似我们在spoon里面创建资源库DatabaseMetadataMeta=newDatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password")//资源库元对象,名称参数，id参数，描述等可以随便定义KettleDatabaseRepositoryMetakettleDatabaseMeta=newKettleDatabaseRepositoryMeta("enfo_bi","enfo_bi","kingdescription",dataMeta)//给资源库赋值repository.init(kettleDatabaseMeta)//连接资源库repository.connect("admin","admin")//根据变量查找到模型所在的目录对象RepositoryDirectoryInterfacedirectory=repository.findDirectory("/enfo_worker/wxj")//创建ktr元对象TransMetatransformationMeta=((Repository)repository).loadTransformation(transName,directory,null,true,null)//创建ktrTranstrans=newTrans(transformationMeta)//执行ktrtrans.execute(null)//等待执行完毕trans.waitUntilFinished()上面的两个步骤才可以确定是资源库中的那个路径下的ktr和我们用命令执行一样的-dir,-tran-job附上源码：packagekettleimportorg.pentaho.di.core.KettleEnvironmentimportorg.pentaho.di.core.database.DatabaseMetaimportorg.pentaho.di.core.exception.KettleExceptionimportorg.pentaho.di.repository.Repositoryimportorg.pentaho.di.repository.RepositoryDirectoryInterfaceimportorg.pentaho.di.repository.kdr.KettleDatabaseRepositoryimportorg.pentaho.di.repository.kdr.KettleDatabaseRepositoryMetaimportorg.pentaho.di.trans.Transimportorg.pentaho.di.trans.TransMeta/***Title:java调用kettle4.2数据库型资料库中的转换*Description:*Copyright:Copyright()2012*/publicclassExecuteDataBaseRepTran{privatestaticStringtransName="test1"publicstaticvoidmain(String[]args){try{//初始化kettle环境KettleEnvironment.init()//创建资源库对象，此时的对象还是一个空对象KettleDatabaseRepositoryrepository=newKettleDatabaseRepository()//创建资源库数据库对象，类似我们在spoon里面创建资源库DatabaseMetadataMeta=newDatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password")//资源库元对象,名称参数，id参数，描述等可以随便定义KettleDatabaseRepositoryMetakettleDatabaseMeta=newKettleDatabaseRepositoryMeta("enfo_bi","enfo_bi","kingdescription",dataMeta)//给资源库赋值repository.init(kettleDatabaseMeta)//连接资源库repository.connect("admin","admin")//根据变量查找到模型所在的目录对象,此步骤很重要。RepositoryDirectoryInterfacedirectory=repository.findDirectory("/enfo_worker/wxj")//创建ktr元对象TransMetatransformationMeta=((Repository)repository).loadTransformation(transName,directory,null,true,null)//创建ktrTranstrans=newTrans(transformationMeta)//执行ktrtrans.execute(null)//等待执行完毕trans.waitUntilFinished()if(trans.getErrors()>0){System.err.println("TransformationrunFailure!")}else{System.out.println("Transformationrunsuccessfully!")}}catch(KettleExceptione){e.printStackTrace()}}}

---