方法:通过并行集合(数组),从文件系统中加载数据
1. 从文件系统中加载数据
-
本地文件加载: file:///
-
从本地文件word.text中把它从磁盘中加载进来,加载 到内存,生成一个RDD
- -
每一个RDD元素是字符串类型(文本文件每一行都是一个字符串)
-
三种表达方式等价,都是放在当前用户主目录下
2.通过并行集合(数组)创建RDD
SparkContext对象中的Parllelize方法
欢迎分享,转载请注明来源:内存溢出
方法:通过并行集合(数组),从文件系统中加载数据
1. 从文件系统中加载数据
本地文件加载: file:///
从本地文件word.text中把它从磁盘中加载进来,加载 到内存,生成一个RDD
-
每一个RDD元素是字符串类型(文本文件每一行都是一个字符串)
三种表达方式等价,都是放在当前用户主目录下
2.通过并行集合(数组)创建RDD
SparkContext对象中的Parllelize方法
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)