cdc仓库是什么意思

cdc仓库是什么意思,第1张

cdc仓库:中央配送中心仓库。

CDC是指从源数据库捕获到数据和数据结构(也称为模式)的增量变更,近乎实时地将这些变更,传播到其他数据库或应用程序之处。

通过这种方式,CDC能够向数据仓库提供高效、低延迟的数据传输,以便信息被及时转换并交付给专供分析的应用程序。

在数据不断变化,且无法中断与在线数据库连接的情况下,对于各种时间敏感(time-sensitive)类信息的复制,往往也是云端迁移的重要组成部分。与批量复制相比,变更数据的捕获通常具有如下三项基本优势:

CDC通过仅发送增量的变更,来降低通过网络传输数据的成本。CDC可以帮助用户根据最新的数据做出更快、更准确的决策。例如,CDC会将事务直接传输到专供分析的应用上。CDC最大限度地减少了对于生产环境网络流量的干扰。

仓库由贮存物品的库房、运输传送设施(如吊车、电梯、滑梯等)、出入库房的输送管道和设备以及消防设施、管理用房等组成。是保管、储存物品的建筑物和场所的总称。

仓库按所贮存物品的形态可分为贮存固体物品的、液体物品的、气体物品的和粉状物品的仓库;按贮存物品的性质可分为贮存原材料的、半成品的和成品的仓库;按建筑形式可分为单层仓库、多层仓库、圆筒形仓库。

批发仓库主要是用于储存从采购供应库场调进或在当地收购的商品,这一类仓库一般贴近商品销售市场,规模同采购供应仓库相比一般要小一些,它既从事批发供货,也从事拆零供货业务。

采购供应仓库主要用于集中储存从生产部门收购的和供国际间进出口的商品,一般这一类的仓库库场设在商品生产比较集中的大、中城市,或商品运输枢纽的所在地。

cdc删除文件会同步吗:在进行数据ETL过程中,我们经常需要通过周期性的定时调度将业务数据按照T+1的方式同步到数据仓库中,进行数据分析处理,最终通过BI报表展示给最终用户。但这种方式实时性较差,用户往往只能看到昨天的数据,会影响用户决策的及时性;

而如果用户要近实时的查看报表,则需要将调度周期频率提高到小时或分钟,这对整个数据分析系统是个很大的考验;而上述过程也只适用于数据不断新增的情况,如果遇到业务数据修改、删除的过程,则只能每次全量同步覆盖;在面对上述数据同步过程中数据时效性要求高、历史数据会变更的问题,我们可以使用变化数据捕获技术进行数据的实时同步。

什么是变化数据捕获?

变化数据捕获 (Change Data Capture,缩写CDC) 是指识别和捕获对数据库中的数据所做的更改(包括数据或数据表的插入、更新、删除等),然后将这些更改按发生的顺序完整记录下来,并实时通过消息中间件传送到下游流程或系统的过程。通过这种方式,CDC能够向数据仓库提供高效、低延迟的数据传输,以便信息被及时转换并交付给专供分析的应用程序。

CDC具备哪些优点呢?

对于各种时间敏感类的数据很适合通过CDC的方式进行同步传输,其具备以下好处:

通过增量加载或将数据更改实时流式传输,而无需周期性调度执行批量加载更新 *** 作。

CDC实时同步传输数据,它利于不停机的数据库迁移,并支持实时分析,可以帮助用户根据最新的数据做出更快、更准确的决策。

CDC最大限度地减少了数据的传输网络流量,适合跨广域网传输数据。

CDC可以确保多个系统中的数据保持同步。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9926522.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-03
下一篇 2023-05-03

发表评论

登录后才能评论

评论列表(0条)

保存