sparksql支持delete *** 作么

sparksql支持delete *** 作么,第1张

本来基于 HDFS 的 spark/impala 的 sql-like 的语法是挺好用的,性能也很不错,无奈 hdfs 上的存储系统一般不支持 update/delete ,只支持 insert ,刚接触 Bigdata 、 DW 这一块,不是很了解这方面的技术 /产品,有什么推荐的吗?

目前有要求如下

分布式,方便扩展

sql-like 是最好的

需要支持 update/delete 等修改

尽量是开源免费,而且不那么小众的

目前我知道 GreenPlum , Any other ideas?

PS:没找到合适的节点。

通过JDBC直接读取数据库中的数据。当sparkjdbcinsert锁超时为了保证数据库内的数据不会减少或删除,可以通过JDBC直接读取数据库中的数据,这个特性是基于JdbcRDD实现。返回值作为DataFrame返回,这样可以直接使用SparkSQL并跟其他的数据源进行join *** 作。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/6800775.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-28
下一篇 2023-03-28

发表评论

登录后才能评论

评论列表(0条)

保存