大数据RDD编程

大数据RDD编程,第1张

大数据RDD编程 RDD编程(1)——RDD创建:

方法:通过并行集合(数组),从文件系统中加载数据
1. 从文件系统中加载数据


  • 本地文件加载: file:///

  • 从本地文件word.text中把它从磁盘中加载进来,加载 到内存,生成一个RDD
    -

  • 每一个RDD元素是字符串类型(文本文件每一行都是一个字符串)

  • 三种表达方式等价,都是放在当前用户主目录下

2.通过并行集合(数组)创建RDD
SparkContext对象中的Parllelize方法

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5679290.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存