spark *** 作本地数据,hdfs数据,hudi数据遇到的问题

spark *** 作本地数据,hdfs数据,hudi数据遇到的问题,第1张

spark *** 作本地数据,hdfs数据,hudi数据遇到的问题

正常的spark加载本地文件问题:

首先是spark 产生的问题是:HADOOP没有配置环境变量

 没有配置HADOOP 的本地环境变量,导致本地IDEA上跑spark程序,老师出现异常
 将hadoop的安装目录配置到系统环境变量中的HADOOP下

配置完HADOOP 的本地环境变量,仍旧没有成功的加载到本地文件。

跑spark程序还是没有成功,日志上显示的信息有加载本地路径,还有hdfs路径,
此时由于之前 用spark链接过hdfs文件系统,在resource 下放过
有关hdfs的配置文件(xml格式的文件)。
将之前的那几个文件从resource中删除掉即可。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5676821.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存