如何在分区之间平衡我的数据？

如何在分区之间平衡我的数据？

我认为内存开销限制超出了问题，这是由于在提取过程中使用了DirectMemory缓冲区。我认为它已在2.0.0中修复。（我们遇到了同样的问题，但是当发现升级到2.0.0可以解决问题时，我们就不再进行深入研究了。不幸的是，我没有Spark问题编号来支持我。）

---

之后的不均匀分隔

repartition

令人惊讶。与https://github.com/apache/spark/blob/v2.0.0/core/src/main/scala/org/apache/spark/rdd/RDD.scala#L443对比。Spark甚至会在中生成随机密钥

repartition

，因此不会使用可能有偏差的哈希来完成。

我尝试了您的示例，并使用Spark 1.6.2和Spark 2.0.0获得了 完全相同的 结果。但不是来自Scala

spark-shell

：

scala> val data = sc.parallelize(1 to 3, 3).mapPartitions { it => (1 to it.next * 1000).iterator }data: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[6] at mapPartitions at <console>:24scala> data.mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeqres1: Seq[Int] = WrappedArray(1000, 2000, 3000)scala> data.repartition(3).mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeqres2: Seq[Int] = WrappedArray(1999, 2001, 2000)scala> data.repartition(6).mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeqres3: Seq[Int] = WrappedArray(999, 1000, 1000, 1000, 1001, 1000)scala> data.repartition(12).mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeqres4: Seq[Int] = WrappedArray(500, 501, 501, 501, 501, 500, 499, 499, 499, 499, 500, 500)

如此美丽的分区！

---

（对不起，这不是一个完整的答案。到目前为止，我只想分享我的发现。）