当运行 hadoop jar 运行任务时,如果系统有设置 hadoop_classpath,会将 hadoop_classpath 变量赋值给 classpath,所以只能通过 hadoop_classpath 来设置第三方依赖包。否则会出现如下异常:
Caused by: java.lang.ClassNotFoundException
如果用户依赖 和 hadoop 自带依赖,都有某个 jar,但是版本不同,可能会导致依赖冲突,可通过如下设置决定是先加载用户依赖,还是 hadoop 自带依赖:
# 先加载用户依赖,默认为 false
export HADOOP_USER_CLASSPATH_FIRST=true
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)