开发小计-hive数据异常（二）

开发小计-hive数据异常（二）

最近执行hive 脚本重跑数据的时候，出现数据重跑失败，创建的是外表。重跑数据报以下异常：

// ${hdfsPath} 为具体的hdfs 路径，此处做伪代码处理

INFO Failed with exception java.io.IOException: rename for src path: ${hdfsPath} to dest path:${hdfsPath} returned false
INFO FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. java.io.IOException: rename for src path:${hdfsPath} to dest path:${hdfsPath} returned false

​

以上错误基本信息是发生IO 异常，无法重命名hdfs 地址，重跑数据需要删除原始数据，应该是没有删除，所以执行以下命令进行数据删除

一、先查询目标dt 是否存在

    hadoop fs -ls    ${url} 

二、执行脚本删除

   hadoop fs -rm -r  ${url}

删除后重试成功