如何利用Oracle golden gate 分发数据库同步消息至ActiveMQ

利用Oracle golden gate 分发数据库同步消息至ActiveMQ 引言

Oracle golden gate是甲骨文推出的一款数据库同步软件，可以实现异构数据库之间的亚秒级同步，它不仅仅支持Oracle，还支持Mysql和一些业界常用数据库。Ogg可以自动抽取表级数据的动态变化，直接将同步信息作用于目标数据库。然而，在某一些场景之中，我们并不需要将同步信息直接作用于目标数据库，而是将其保存在队列中，然后在队列中取出这些信息，完成一些下游系统的业务需求，这样可以让增量同步更加灵活。本篇文章主要讲述如何，配置Ogg来抽取源表的同步信息生成trail文件（Ogg专属同步文件），并利用分发器读取trail文件，适配成可以解析的xml，将其作为消息发送给队列。本文将不再讲诉一下关于安装的步骤，直接上干货。

OGG数据同步的重要概念 oracle归档和日志

Oacle归档模式是ORACLE热备份的必要条件，特别是7X24生产的数据库。可以这么认为：归档日志是增量同步的数据源，因此必须开启。可以通过下面的的指令查看是否开了归档：

SQL> archive log list

Ogg抽取进程

开启了归档和日志，ogg就有数据源来获取同步信息。而具体的工作是由Ogg抽取进程

如果binlog日志更新的话，则数据库一定会更新，只要监控binlog就可以。

中文乱码，应该是字符集（或者是校验字符集）的问题，可以更改一下试试。

mysql和sqlserver有很多地方不同，最好不要做异构同步，听说SyncNavigator这个工具可以做到异构数据库同步，你可以尝试一下。

CIMS是一个综合的计算机应用系统，由多个不同的功能系统组成，如ERP、PDMS等，这些系统因数据对象的不同有可能使用了不同的数据库系统。另外，企业实施CIMS工程一般都要经历几个发展阶段，由于技术或市场等原因，在不同时期配置的数据库系统可能会不一样。这样，在一个企业的CIMS中，难免会包含几种不同的数据库系统。这里所说的不同，可能是基于不同数据模型的DBMS，如关系型的或对象型的。也可能虽然都是关系型的，但不同商家的产品其SQL API不尽相同。这些就是CIMS中面临的异种数据库的集成问题。异种数据库集成的主要技术有以下几种：

1)数据的迁移和转换

利用数据转换程序，对数据格式进行转换，从而能被其它的系统接收。这种方法处理简单，已为大多数用户理解和接受。许多数据库管理系统DBMS都自带有一些数据转换程序，也为用户提供了方便。但这种方式当数据更新时会带来不同步的问题，即使人工定时运行转换程序也只能达到短期同步，这对于数据更新频繁而实时性要求很高的场合是不太适用。

2)使用中间件

中间件(middleware)是位于Client与Server之间的中介接口软件，是异构系统集成所需的粘接剂。现有的数据库中间件允许Client在异构数据库上调用SQL服务，解决异构数据库的互 *** 作性问题。功能完善的数据库中间件，可以对用户屏蔽数据的分布地点、DBMS平台、SQL方言/扩展、特殊的本地API等等差异。

使用中间件的异种数据库集成有以下几种方法：

（1）通用SQL API 即在Client端的所有应用程序都采用通用的SQL API访问数据库，而由不同的DBMS Server提供不同的数据库驱动程序，解决连接问题。通用的SQL API又可分为嵌入式SQL(ESQL——Embedded SQL)和调用级SQL(CLI——Call Layer Interface)。ESQL是将SQL嵌入到C、Pascal、COBOL等程序设计语言中，通过预编译程序进行处理，因而SQL的所有功能及其非过程性的特点得到继承。CLI则采用一个可调用的SQL API作为数据存取接口，它不需要预编译过程，允许在运行时产生并执行SQL语句。由于CLI更为灵活，现在应用较广，如Microsoft的ODBC、IBM的DRDA、Borland的IDAPI、Sybase的Open Client / Open Server等等。 来源：>

SQLSERVER 到SQLSERVER 同步方案，ORACLE 到 SQLSERVER 同步方案， ACCESS 到SQLSERVER/ORACLE 同步方案。

结合企业的实际应用实践经验，根据不同的应用类型，给出了相应的数据库实时同步应用的具体解决方案。

对于异构数据库系统，实现数据共享应当达到两点：

一是实现数据库转换；

二是实现数据的透明访问。

关于HKROnline SyncNavigator 注册机价格的问题

HKROnline SyncNavigator 841 非破解版 注册机 授权激活教程

最近一直在研究数据库同步的问题，在网上查了很多资料，也请教了很多人，找到了一种通过快照复制的方法。研究了一番后发现之前就是用的这个方法，效果不是很好，果断放弃。经过了一番寻觅和他人指点，最后从一位热心网友那里得知一款很好用的软件—— SyncNavigator。

好东西就要拿出来跟大家分享，所以今天向大家介绍一下这款软件，及其一些使用方法。下面先看看它有什么强大的功能吧！

SyncNavigator的基本功能：

自动同步数据/定时同步数据

无论是实时同步/24小时不间断同步，还是根据计划任务(每小时/每日/每周/等)定时自动同步都能完全胜任。

完整支持 Microsoft SQL Server

完整支持 Microsoft SQL Server 2000 2005 2008 数据库类型。并能在不同数据库版本之间相互同步数据。

支持 MySQL 41 以上版本

支持 MySQL 41 50 51 54 55。并能在不同数据库版本之间相互同步数据。

无人值守和故障自动恢复

当数据库故障或网络故障以后，无需人工干预(或 *** 作)自动恢复同步并确保数据完全准确，可靠。

同构数据库同步/异构数据库同步

SQL Server to SQL Server, MySQL to MySQL, SQL Server to MySQL 等都能轻松实现。

断点续传和增量同步

当同步完成(或中断)后，再次同步时能继续上一次的位置增量同步，避免每次都需要从头开始的问题。

软件特性DBSync数据同步工具是一款异构数据库之间数据同步的工具，目前支持的数据库有：access、sqlserver、oracle、db2、sybasease125,同时，该软件提供的ODBC的同步功能，可以间接实现对MYSQL,SYBASE,INTERBASE等其他数据库的支持,该版本实现了对二进制字段同步的支持，以后的版本中，会逐渐支持其他类型的数据库。DBsync还提供批量脚本更新的功能（参照界面中定义的规范），该工具可以实现计划、增量、两表记录保持一致等方式的同步 *** 作。DBSync同时提供给开发商二次开发的接口，开发商可以很方便地配置需要进行同步的数据。新增的快速事务处理功能，能提供百万级数据记录的同步能力。新加入的远程同步任务功能，可以和远程数据交换服务器组合成为全球数据交换系统;远程文件同步任务，和远程数据交换服务器配合，组成公司内部使用的可靠文件备份系统。其具体的功能包括：1)不同数据库表之间数据的同步或增量同步功能（以记录为单位）;2)数据同步以任务的方式定义（新增任务，删除任务，修改任务）；3)同步任务的调度（立即执行，定时，或以固定时间间隔方式执行）；4)每天执行结果的报告,也可以以实时的方式进行报表的查看；5)数据安全性（以事务的方式处理每一个同步任务）；6)同步任务的导入导出功能；7)以工作流的方式实现数据的同步（暂时未实现）;8)支持常用的数据库记录 *** 作（添加记录，修改记录，删除记录，执行存储过程）；

两条途径

1）免费，但不是很靠谱。

github 开源代码自己搜一下，有HANA 到 mysql的代码。仔细调试下，秒级估计很悬，但分钟级别的数据量不大的情况下还是有希望的。

2）收费，但功能很强大。

有第三方的工具专门干这个事情的，而且是log base的CDC，不需要在SAP和Hana 上安装任何agent。 同步速度基本都在1秒以内。

同步目标可以是常见的数据库（Oracle ，DB2，SQL server , PostgreSql) 数据仓库，数据湖，kafka，各种云平台（AWS，Google，Azure）阿里等各种数据中台。

以上就是关于如何利用Oracle golden gate 分发数据库同步消息至ActiveMQ全部的内容，包括:如何利用Oracle golden gate 分发数据库同步消息至ActiveMQ、mysql 如何做到 实时获取哪条数据被更新了、异种数据库集成的主要技术有哪些等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！