datahub是什么?我刷MIUI时系统自带的一个程序,可以禁用吗?

datahub是什么?我刷MIUI时系统自带的一个程序,可以禁用吗?,第1张

先要理解Data和Hub这两个词的意思。Data数据,Hub中心,计算机中指集线器,就是用于将数据线集合到一起,并将信号放大的设备。DataHub即数据集线器,用于将数据信号进行转发、接收共享。是一个用于与计算机或其他支持的设备通信的软件模块,缺失会导致设备无法与手机进行通信。

Doris官网定义

mysql原始表结构

1.doris中关联mysql外表

结果如下:

2.doris中关联kafka导入数据

查看作业

State为RUNNING,表示已经成功。

停止作业

3.通过flink导入mysql数据到doris

方法1:通过mysql-cdc写入kafka,kafka关联doris表。

方法2:通过阿里云DTS->datahub,然后通过Flink写入kafka,再关联到doris外表

如何处理delete数据?对于方法1,需要手动的删除doris中的数据;对于方法2,可以通过dts_operation_flag字段来标示,dts_operation_flag可以为I/U/D,分别表示添加、更新和删除。那我们就只需要在doris表中添加一个dts_operation_flag字段来标示就可以了,查询数据的时候就不再查询等于D的值。

如何处理脏数据?delete doris中的数据,然后insert正确的值;还有个方法是将关联一个外表(这个是正确的值),然后再将doris中的表和外表中的值diff,将diff的值insert到doris中。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/bake/11451423.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-16
下一篇 2023-05-16

发表评论

登录后才能评论

评论列表(0条)

保存