关于spark RESTFUL API 的使用注意事项

关于spark RESTFUL API 的使用注意事项 Spark 监控信息 API 地址

https://spark.apache.org/docs/latest/monitoring.html#rest-api

要注意的是，当任务是运行在yarn集群上时，网址不再是localhost：4040，而是active-rm-address:port
后面的地址信息页不再是/api/v1，而是要加上代理路径/proxy/application_id/api/v1/…

给一个在yarn上获取StreamingBatch信息的使用示例：

http:///proxy/application_1616006606833_39775/api/v1/applications/application_1616006606833_39775/streaming/batches