hadoop中的MultipleOutputFormat

hadoop中的MultipleOutputFormat

每个化简器使用OutputFormat写入记录。这就是为什么每个reducer会获得一组奇数和偶数文件的原因。这是设计使然，每个减速器都可以并行执行写入。

如果只需要单个奇数和单个偶数文件，则需要将mapred.reduce.tasks设置为1。但是性能会受到影响，因为所有映射器都将馈入单个reducer。

另一个选择是更改读取这些文件的过程以接受多个输入文件，或者编写将这些文件合并在一起的单独过程。