如何实现交易数据到大数据平台的实时同步

在企业级大数据平台的建设中，从传统关系型数据库（如Oracle）向Hadoop平台汇聚数据是一个重要的课题。目前主流的工具有Sqoop、DataX、Oracle GoldenGate for Big Data等几种。Sqoop使用sql语句获取关系型数据库中的数据后，通过hadoop的MapReduce把数据从关系型数据库中导入数据到HDFS，其通过指定递增列或者根据时间戳达到增量导入的目的，从原理上来说是一种离线批量导入技术；DataX 直接在运行DataX的机器上进行数据的抽取及加载，其主要原理为：通过Reader插件读取源数据，Writer插件写入数据到目标 ，使用Job来控制同步作业，也是一种离线批量导入技术；Oracle Goldengate for Big Data抽取在线日志中的数据变化，转换为GGS自定义的数据格式存放在本地队列或远端队列中，并利用TCP/IP传输数据变化，集成数据压缩，提供理论可达到9：1压缩比的数据压缩特性，它简化了向常用大数据解决方案的实时数据交付，可以在不影响源系统性能的情况下将交易数据实时传入大数据系统。对比以上工具及方法，结合数据处理的准确性及实时性要求，我们评估Oracle Goldengate for Big Data基本可以满足当前大数据平台数据抽取的需求。

其他指标都差不多，主要区别还是在“海量”这个方面。数据库就像一个池塘，一个湖的数据，大数据就类似一个大海的数据，处理的数量级、速度、效率都不是一个级别的。如果用数学的说法就是子集的概念，大数据包含数据库，数据库是大数据的子集。

源表和目标表 直接哈希分区 64个

目标表在关联字段建本地分区索引 ，分区键和索引键一样

目标表的分区最好分到多个表空间上

写个存储过程按分区扫源表， *** 作目标表（更新或插入）

开多个session调存储过程传分区为参数

以上就是关于如何实现交易数据到大数据平台的实时同步全部的内容，包括:如何实现交易数据到大数据平台的实时同步、数据库和大数据的区别、如何实现oracle数据库大数据增量 *** 作等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！