正常的spark加载本地文件问题:
首先是spark 产生的问题是:HADOOP没有配置环境变量
没有配置HADOOP 的本地环境变量,导致本地IDEA上跑spark程序,老师出现异常 将hadoop的安装目录配置到系统环境变量中的HADOOP下
配置完HADOOP 的本地环境变量,仍旧没有成功的加载到本地文件。
跑spark程序还是没有成功,日志上显示的信息有加载本地路径,还有hdfs路径, 此时由于之前 用spark链接过hdfs文件系统,在resource 下放过 有关hdfs的配置文件(xml格式的文件)。 将之前的那几个文件从resource中删除掉即可。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)