kettle连接hadoop配置hdfs文件数据导出

1、Win10本地安装JDK1.8环境，运行kettle 6.1。

2、在kettle中设置Active shim，在工具打开饥春“hadoop distribution”，选择hdp。将hadoop配置文件hdfs-site.xml、core-site.xml拷贝至本地.\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp23\下，修改本地core-site文件内fs.defaultFS的值，使用hdfs://192.168.85.129:8020。

3、配置hadoop cluster连接，在作业或转换“主对象树”选中“hadoop cluster”，右击“new cluster”，填写相关信息。遇到本机用户不能访问hdfs下/user目录权限，在/user目录新建本机用户zhengyuan目录，并授予zhengyuan用户拥有目录权限，参考： https://blog.csdn.net/weinierzui/article/details/77931346 ，测试ok保存。

4、新建转换，用hadoop file input组件访问hdfs，数据文件已传至zhengyuan目录下。在内容页签，设置分隔符为tab，格式选unix，在字段页签，加入读取数据的各列的名称、属性信息，这些列名和后面接数组件的字段配置映射时用到。神敬在文件页签-显示文件内容、字典页签-预览记录，多可以浏览数据文件内容，表明配置ok。

5、kettle加个表输出组件，配置接出数据源、数据表，配置映射，即可执行同步游肢慎，将hdfs文件数据解析同步存至外部数据源，比如mysql。此处只测了数据可以同步，生产中还需考虑调度及增量同步。

使用kettle导出文件时我们不免会因为纯拆当前使用的kettle版本过低的原因，导致数据量较大和汪的文件导出时报错，此下，解决方法1为升级kettle版本，做棚枣若无升级的必要时可采用方法2，方法2如下图所示

本人测试结果：源表数据依次被加载到以下几张表格中，且导出的数据与源表数据完全相同，不存在多出和少入的情况

gen_multi_sheet_excle转换内容如下氏旦：

gen_multi_sheet_excle对应的转换属性配置参数如下：敬羡（ 注意这一步一定不能少哦，之前我是经常歼稿扰忘记配置这个 ）sheetname：sheet页的名称；datatype：区分sheet页数据的类型数据。

---