主从同步使得数据可以从一个数据库服务器复制到其他服务器上,在复制数据时,一个服务器充当主服务器(master),其余的服务器充当从服务器(slave)。因为复制是异步进行的,所以从服务器不需要一直连接着主服务器,从服务器甚至可以通过拨号断断续续地连接主服务器。通过配置文件,可以指定复制所有的数据库,某个数据库,甚至是某个数据库上的某个表。
使用主从同步的好处:
通过增加从服务器来提高数据库的性能,在主服务器上执行写入和更新,在从服务器上向外提供读功能,可以动态地调整从服务器的数量,从而调整整个数据库的性能。
提高数据安全-因为数据已复制到从服务器,从服务器可以终止复制进程,所以,可以在从服务器上备份而不破坏主服务器相应数据
在主服务器上生成实时数据,而在从服务器上分析这些数据,从而提高主服务器的性能
注意,mysql是异步复制的,而MySQL Cluster是同步复制的。有很多种主从同步的方法,但核心的方法有两种,Statement Based Replication(SBR)基于SQL语句的复制,另一种是Row Based Replication(RBR)基于行的复制,也可以使用Mixed Based Replication(MBR)。在mysql5.6中,默认使用的是SBR。而mysql 5.6.5和往后的版本是基于global transaction identifiers(GTIDs)来进行事务复制。当使用GTIDs时可以大大简化复制过程,因为GTIDs完全基于事务,只要在主服务器上提交了事务,那么从服务器就一定会执行该事务。
mysql-cdc-projects
以下是关于不同方法的一些基本总结
flexcdc
Flexviews中包含的CDC工具称为FlexCDC,FlexCDC是用PHP编写的。FlexCDC读取二进制日志 Binary Log以确定哪些行已经更改。因此,FlexCDC使用基于行的二进制日志(RBR)。如果没有MySQL 5.1或者没有使用RBR,那么可以设置一个专用的MySQL从站,它有log_slave_updates = 1和binlog_format = row来处理来自MySQL主站的SBR更改。
FlexCDC不实现完整的二进制日志解析器。而是调用“mysqlbinlog”实用程序,并处理该程序的可预测输出。
databus
从数据源中读取变化的数据,并且将这些数据序列化保存在内存中;
Maxwell是一个守护程序,一个应用程序,能够读取MySQL Binlogs然后作为JSON写入Kafka,Kinesis,RabbitMQ,Google Cloud Pub / Sub或Redis的应用程序,支持表和库过滤。
进制日志,java读取binlog
mysql-binlog-connector-java
( http://www.phpabc.cn/yi-gou-shu-ju-ku-biao-zai-xian-tong-bu.html )
主要有以下几个概念:
BinaryLogClient,使用binlog的客户端
Event,数据增删改查等都被抽象为一个事件
EventListener,事件监听者,当事件发生时得到通知
EventFilter,事件过滤器,这样EventListener就可以只监听符合条件的事件
使用mysql-binlog-connector-java的方法
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)