缓存有序的Spark DataFrame会创建不需要的作业

缓存有序的Spark DataFrame会创建不需要的作业,第1张

缓存有序的Spark DataFrame会创建不需要的作业

我提交了一个故障单,并且由于以下原因被关闭:

缓存需要支持RDD。这要求我们还知道支持分区,这对于全局顺序有些特殊:因为我们需要确定分区范围,所以它会触发作业(扫描)。



欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5666802.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存