使用Spring Batch从HDFS读取文件

使用Spring Batch从HDFS读取文件

将

FlatFileItemReader

在Spring Batch的适用于任何Spring框架

Resource

的实现：

@Beanpublic FlatFileItemReader<String> itemReader() {    Resource resource; // get (or autowire) resource    return new FlatFileItemReaderBuilder<String>() .resource(resource) // set other reader properties .build();}

因此，如果您设法使一个

Resource

指向HDFS文件的句柄，您就可以完成。

现在，为了拥有HDFS资源，您可以：

• 将Spring用于Hadoop。一旦配置了HDFS文件系统，您就可以通过以下方式从应用程序上下文中获取资源：

  applicationContext.getResource("hdfs:data.csv");

• Resource

  使用Hadoop API来实现自己的实现（如Michael Simons的答案所示）。我看到有些人已经在这里做了

希望这可以帮助。