两台服务器手动部署大数据平台

两台服务器手动部署大数据平台,第1张

通过前面的介绍我们知道,Spark的客户端(Driver)有两种:Spark Submit和Spark Shell。这两种客户端相同点都是维护一个Spark Context对象,来向Spark集群提交任务;不同点是Spark Submit只能提交任务,不能交互,而Spark Shell是一个命令行工具,即可以提交任务,还可以人机交互。本节先来介绍Spark Submit客户端的使用。

例子:使用蒙特卡罗方法计算圆周率

如图所示,蒙特卡罗方法求圆周率,使用的是概率的思想:往正方形区域随机撒点,总点数记为P2,落在单位圆区域内的点数记为P1,单位圆的面积为π,正方形的面子为4,π = P1 / P2 4。这里的P1和P2均由随机实验中得到,实验的次数(P2)越多,得到的结果就越精确。

Spark提供的测试用例$SPARK_HOME/examples/jars/spark-examples_211-210jar中就有蒙特卡罗求圆周率的例子SparkPI,我们就使用它来介绍Spark Submit的使用。

(1)如果配置了基于Zookeeper的Spark HA,需要先启动Zookeeper服务器

(2)启动Spark集群

使用Spark Submit的命令格式如下:

(1)提交SparkPI任务,随机实验次数为100:

(2)提交SparkPI任务,随机实验次数为1000:

(3)提交SparkPI任务,随机实验次数为10000:

可以看到上面三次实验的结果分别是:

一般对于随机实验来说,试验次数越多结果越精确。但是不免存在误差。如果想要获取更精确的圆周率,你可以输入更多的次数进行测试。但这不是本文介绍的重点。

至此,使用Spark Submit客户端提交Spark任务的方法已经介绍完毕,祝你玩的愉快!

Spark的Web监控页面 在SparkContext中可以看到如下代码: 首先是创建一个Spark Application的Web监控实例对象: 然后bind方法会绑定一个web服务器: 可以看出我们使用Jetty服务器来监控程序的运行和显示Spark集群的信息的。

腾讯云。对于有开发需求的小伙伴来说,腾讯的云服务器性价比相对较高。比如腾讯云轻量级应用服务器2核4G 6M带宽80G SSD磁盘月流量1200G是个不错的选择,年费几百块钱,也是个实惠的价格。这种模式月流量1000以上,云学习和测试对于中小网站来说足够了。除了腾讯,每个人都可以享受阿里云的羊毛。阿里云目前有新用户免费试用活动。试行规则是个人免费一个月,企业免费一年。服务器阿里云ESC的性能很强,各种产品组成的系统足够强大,几乎可以满足各种需求。数据分析与挖掘,Hadoop和Spark集群,可以看看阿里的r6系列。多买多送有优惠也很划算。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/12991339.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-29
下一篇 2023-05-29

发表评论

登录后才能评论

评论列表(0条)

保存