spark怎样读取本地文件

spark怎样读取本地文件,第1张

默认是从hdfs读取陆指文件,也可以指定sc.textFile("路径").在路径前面加上hdfs://表示陆指从hdfs文件系统上读

本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本早悉配地文件系统读,如file:///home/user/spark/README.md

1、windows上spark shell读取本地文件时,需要在文件地址前加“file:///”

2、文本文件的后缀要有。

3、由芹肆于不知道默认读取位含辩置,因此建议使用绝对路径。

如读取嫌老轿本地文件HelloSpark.txt:


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/12133056.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-21
下一篇 2023-05-21

发表评论

登录后才能评论

评论列表(0条)

保存