大数据-玩转数据-Spark-Structured Streaming 输出 *** 作(python版)

大数据-玩转数据-Spark-Structured Streaming 输出 *** 作(python版),第1张

数据-玩转数据-Spark-Structured Streaming 输出 *** 作(python版) 大数据-玩转数据-Spark-Structured Streaming 输出 *** 作(python版)

1、说明
Structured Streaming流计算过程定义的Dataframe/Dataset结果,通过writeStream()方法写入到输出接收器,接收器对应关系如下:

接收器 支持输出模式 File接收器 Append Kafka接收器 Append、Complete、Update Foreach接收器 Append、Complete、Update Console接收器 Append、Complete、Update Memory接收器 Append、Complete

writeStream()方法包括以下几个主要函数
format : 接收器类型
outputMode :输出模式
queryName :查询名称
trigger :触发间隔时间

2、socket输入File接收append模式代码

vi kafkastructuredwordCountresultsave1.py
					
										


					

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5704826.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存