一、RDD *** 作(转换 *** 作filter,map,flatMap)
(1) filter(func)
(2) map(func)
- 分拆后返回的数据类型是列表类型
(3) flatMap(func)
- 先进行.map *** 作得到一个个列表(wordArray里包含3个元素,每个元素就是一个列表)
- 把每个列表都拍扁,原来wordArray中的每一个列表拍扁后分别对应三个元素,所以拍扁后会得到九个元素,九个元素组合在一起就是flatMap() *** 作的结果
(4) groupByKey(K,V)
- 是换行符
- K相同放到一个分组里,结果生成(K,ValueList)。把K相同的值归为一个列表。
(5) reduceByKey(func)
-
在groupByKey()的基础上进一步对值的列表进行一个计算(括号内的函数计算)
-
先得到groupByKey的结果
-
再进行括号内的函数 *** 作,累加
二、RDD *** 作(行动 *** 作)
例子:
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)