spark中的广播变量broadcast

spark中的广播变量broadcast

使用广播变量来优化，广播变量的原理是：

在每一个Executor中保存一份全局变量，task在执行的时候需要使用和这一份变量就可以，极大的减少了Executor的内存开销。

Executor中task在执行的时候如果使用到了广播变量，会找Executor里面的BlockManager来获取广播变量。

如果BlockManager中没有这个关闭变量，会从driver端拉取关闭变量。

在Driver端也有一个blockManagerMaster，其他的task执行的时候直接使用blockmanager中的广播变量就可以。