spark报错问题

解决方法：

在任务执行中间，偶尔会出现 java.lang.RuntimeException: Executor is not registered 的报错。查看后主要原因是因为 NodeManager 在任务运行中挂掉重启以后，本来在它管理下的 Executor 没有办法重现注册导致的。但是看到 Spark 社区有人报这个bug，并且被标记为在 1.6.0 版本已经 fix 了。黑人问号脸。

参考解决方案： https://www.ibm.com/support/pages/spark-jobs-fail-due-executor-not-registered

参考：

Spark Shuffle FetchFailedException解决方案

spark 官方配置文档

FetchFailedException or MetadataFetchFailedException when processing big data set

在本地执行spark-submit报错/xxx/bin/spark-class: line 100: exec: : not found，度/谷连问题都找不到，只能自己定位了。过程略去，结论：本机上安装了2个版本的spark，配置混乱，导致环境变量spark_home和spark_conf_dir不对应。修改为对应即可。

---