Flink读取文件目录问题解决方案,目录下的文件在上传中产生的临时文件报错等问题

Flink读取文件目录问题解决方案,目录下的文件在上传中产生的临时文件报错等问题

Flink读取文件目录：
因为目录下的文件可能会不断新增，在新增过程中文件处于传输阶段
会出现比如01.data文件正在上传，在hdfs中显示的是01.data._COPYING_文件，只有真正上传完成后才能读取，而不设置过滤器的话就会报错，会提示._COPYING_文件不存在，所以像这样的临时文件需要我们过滤掉, 目前默认过滤器已经满足了我们的需求：方案如下

    @Test
    public void flink_read_hdfs_dir_stream() throws Exception {
   
        StreamExecutionEnvironment env =