sparkCore,sparkSql,sparkStreaming
2,wordCount(demo) 3,spark local 模式 3.1,spark-shellsc.textFile("../data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect3.2,监控页面(端口:4040)
http://172.16.60.196:4040/jobs/
3.3,提交命令./spark-submit --master local[2] --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-3.0.0.jar 104,standalone 模式 4.1,独立部署模式、主从模式 4.2,分发脚本
xsync
https://www.cnblogs.com/smandar/p/13898073.html
xcall
https://blog.csdn.net/eraining/article/details/108470060
6,部署模式对比
端口:
参考链接:
尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili制作不易,大家记得点个关注,一键三连呀【点赞、投币、收藏】感谢支持~众所期待,隆重推出!大数据领域中杀手级的应用计算框架:Spark视频教程。本套视频教程基于Scala 2.12版本,对Spark 3.0版本的核心模块进行了详尽的源码级讲解,授课图文并茂,资料详实丰富,带你领略不一样的技术风景线。课程内容涉及方方面面,函数式编程,你熟悉吗?认知心理学,你知道吗?工程化代码框架,你了解吗?在这套https://www.bilibili.com/video/BV11A411L7CK?p=1
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)