python – 使用数组对象计算Spark RDD中的不同文本

概述我有一个由文本数组组成的spark rdd(单词).举个例子, words.take(3) 会返回类似的东西. [ ["A", "B"], ["B", "C"], ["C", "A", "D"] ] 现在,我想找出文本的总数以及文本的唯一数量.如果RDD只有3个以上的记录, total_words = 7unique_words = 4 (only A, B,C,D) 现在为了获得总数,我做了类 我有一个由文本数组组成的spark rdd(单词).举个例子,

words.take(3)

会返回类似的东西.

[ ["A","B"],["B","C"],["C","A","D"] ]

现在,我想找出文本的总数以及文本的唯一数量.如果RDD只有3个以上的记录,

total_words = 7unique_words = 4 (only A,B,C,D)

现在为了获得总数,我做了类似的事情

text_count_rdd = words.map(lambda x: len(x))text_count_rdd.sum()

但我仍然坚持如何检索唯一的计数.

解决方法 只是flatMap,采取截然不同的计数：

words.flatMap(set).distinct().count()

总结

以上是内存溢出为你收集整理的python – 使用数组对象计算Spark RDD中的不同文本全部内容，希望文章能够帮你解决python – 使用数组对象计算Spark RDD中的不同文本所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。