SPARK集群启动与执行

SPARK集群启动与执行 SPARK程序的执行

./bin/spark-submit –class first ./testdata/firsrt-1.0-SNAPSHOT.jar

其中  –class代表运行程序当中的主方法，从这里执行程序   后面跟着的就是jar包，有时候会找不到类，可能就是打包出现了问题，重新打包一下

本地与集群的使用

1、Master: 61.130.109.202:64322 got disassociated, removing it   其中61.130.109.202是我自己的主机，并没有公网地址，阿里云服务器时无法访问到我的主机的，所以我的主机不能成为集群的一部分。

2、本地主机在上传Hadoop文件的时候，需要设置，sc.hadoopConfiguration.set(“dfs.client.use.datanode.hostname”,”true”)，因为在Hadoop集群配置的过程当中使用的是内网的ip，我的主机是连接不上的，所以需要将Hadoop传过来的文件地址以hostname返回，本地dns解析的时候将hostname解析成公网ip  即在本机的hosts当中设置

3、集群当中可能会出现连接不上的情况,这种情况下目前已知的有几种可能

• spark集群崩溃导致无法获取到其他服务器的数据
• hadoop集群崩溃导致spark无法向其中写入文件
• hadoop文件 *** 作权限的问题使得无法写入文件

这些都需要查看日志去注意无法连接的原因，注意端口之间是否连通