datax读取多个文件

有可能是系统者核的原因。CSV文件中的数据读取到Excel表格中的方法。首先介绍下CS v的合并方法。第一部讲CSv全部放在一个文件夹。知埋并同时复制到C盘或搭嫌蚂者其他盘第一路径下，复制完毕，开始合并准备工作。

在datax-web中配置从ck读昌世取数据，在写入到ck失耐局肢败问题

解决，对比reader和writer中lib的区别；

此时将writer中lib下的所有jar拷贝一份到reader的libs下已解决此问题

cp $DATAX_HOME/plugin/腊盯writer/clickhousewriter/libs/gson-2.6.2.jar $DATAX_HOME/plugin/reader/clickhousereader/libs

cp $DATAX_HOME/plugin/writer/clickhousewriter/libs/jest-common-2.4.0.jar $DATAX_HOME/plugin/reader/clickhousereader/libs

cp $DATAX_HOME/plugin/writer/clickhousewriter/libs/guava-19.0.jar $DATAX_HOME/plugin/reader/clickhousereader/libs

重启datax_web

原因是因为使用Datax进行两个集群间的数据同步，在读取HDFS大文件数据时，存在出现数据丢失问题。从上文我们知道DataX的数据同步原碰稿理，就是将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件。为了适配各种异构的数亏核据存储介质，DataX源码在设计的时候针对不同的数销吵掘据源编写了相应的Reader插件和Writer插件。既然问题是在数据源读取就存在数据丢失的问题。

---