mysql主从同步如何同步已有的数据,(mysql数据库主从同步原理)

主从复制理论上支持无穷大的从库个数，实际情况下，受服务器带宽和读写能力的影响

请参考MySQL官方手册的建议：

理论上，通过使用单个主服务器/多从服务器设置，可以通过添加更多的从服务器来扩充系统，直到用完网络带宽，或者你的更新负载已经增长到主服务器不能处理的点。

在获得的收益开始吃平之前，为了确定可以有多少从服务器，以及可以将你的站点的性能提高多少，需要知道查询模式，并且要通过基准测试并根据经验确定一个典型的主服务器和从服务器中的读取（每秒钟读取量，或者max_reads）吞吐量和写（max_writes）吞吐量的关系。通过一个假设的带有复制的系统，本例给出了一个非常简单的计算结果。

假设系统负载包括10%的写和90%的读取，并且我们通过基准测试确定max_reads是1200_2×max_writes。换句话说，如果没有写 *** 作，系统每秒可以进行1,200次读取 *** 作，平均写 *** 作是平均读 *** 作所用时间的两倍，并且关系是线性的。我们假定主服务器和每个从服务器具有相同的性能，并且我们有一个主服务器和N个从服务器。那么，对于每个服务器（主服务器或从服务器），我们有：

reads=1200_2×writes

reads=9×writes/(N1)(读取是分离的,但是写入所有服务器)

9×writes/(N1)2×writes=1200

writes=1200/(29/(N1))

最后的等式表明了N个从服务器的最大写 *** 作数，假设最大可能的读取速率是每分钟1,200次，读 *** 作与写 *** 作的比率是9。

如上分析可以得到下面的结论：

·如果N=0（这表明没有复制），系统每秒可以处理大约1200/11=109个写 *** 作。

·如果N=1，每秒得到184个写 *** 作。

·如果N=8，每秒得到400个写 *** 作。

·如果N=17，每秒得到480个写 *** 作。

一般现在的终端（如pos机）都是通过物理介质（如识别卡物理介质，识别通信媒体物理介质等）实现数据的真正交互，比例POS机来讲吧，使用POS机的时候，都会通过物理介质去从库存管理子系统获得商品信息和客户充值信息，同时写入卡中充值和消费金额，在卡中扣款，生成消费记录，再上传给库存管理子系统，实现数据同步。
手持POS机有签到和签退两种状态。签到状态下，可以消费，机器不可以拿到异地使用，若要拿到异地使用，必须先签退。签退状态下，不可以消费，可以拿到异地使用。POS先进通讯界面，被动接收后台的指令并作出响应，即可以再重新使用POS机了。这就是POS机与服务器实现数据同步的原理。

它们的意思如下：

1、time-anistgov是美国标准技术院后期制定的的时间自动同步服务器的域名（即12961528）。

2、timewindowscom 是美国微软公司的时间自动同步服务器的域名，属于微软的校时服务器，windows计算机主要用它来校时。timewindowscom是与电脑窗口同步，也就是说与现在的时间同步。

3、timenistgov是美国标准技术院早期制定的时间自动同步服务器的域名（即1924324418），采用格灵威时间。windows计算机主要用它来校时。

timenistgov、timewindowscom都是早期就有的，后来美国标准技术院又新增了time-bnistgov、 time-anistgov、time-nwnistgov三个域名。根据个人电脑的IP地址的区域和区域设置分布不同，不同的服务器域名适用于不同区域。

扩展资料

时间同步的基本原理包括时间发出和接收时间信息的记录，并且对每一条信息增加一个“时间戳”。有了时间记录，接收端就可以计算出自己在网络中的时钟误差和延时。

收到的信息回应是与时钟当前的状态有关的。同步报文是从主时钟周期性发出的（一般为每两秒一次），它包含了主时钟算法所需的时钟属性。同步报文包含了一个时间戳，精确地描述了数据包发出的预计时间。

参考资料来源：百度百科-时间同步服务器

固定的芯片代码，你输入一串数字，它会有相应的数字去对应它，当银行服务器在密码器与yhk绑定的同时芯片内部的代源码同银行服务器同步，以后只需要给一串数字，经过密码器的编译会得到一个验证码，同银行服务器也会对这一串数字进行编译，也会得到一个验证码，将两者进行对此，相同，验证成功，不同，则验证失败。

Redis的主从同步分为：    完整重同步（full resynchronization）
                                          部分重同步（partial resynchronization）

有两种情况下是完整重同步：
                                slave连接上master第一次复制的时候；
                                如果当主从断线，重新连接复制的时候有可能是完整重同步

1从服务器连接主服务器，发送SYNC命令
2主服务器接收到SYNC命名后，开始执行bgsave命令生成RDB文件并使用缓冲区记录此后执行的所有写命令
3主服务器basave执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令
4从服务器收到快照文件后丢弃所有旧数据，载入收到的快照
5主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令
6从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令

 用于处理断线后重复制的情况，先介绍几个用于部分重同步的部分

runid(replication ID)，主服务器运行id，Redis实例在启动时，随机生成一个长度40的唯一字符串来标识当前节点
offset，复制偏移量。主服务器和从服务器各自维护一个复制偏移量，记录传输的字节数。当主节点向从节点发送N个字节数据时，主节点的offset增加N，从节点收到主节点传来的N个字节数据时，从节点的offset增加N
replication backlog buffer，复制积压缓冲区。是一个固定长度的FIFO队列，大小由配置参数repl-backlog-size指定，默认大小1MB。需要注意的是该缓冲区由master维护并且有且只有一个，所有slave共享此缓冲区，其作用在于备份最近主库发送给从库的数据

当slave连接到master，会执行PSYNC <runid> <offset>发送记录旧的master的runid（replication ID）和偏移量offset，这样master能够只发送slave所缺的增量部分。但是如果master的复制积压缓存区没有足够的命令记录，或者slave传的runid(replication ID)不对，就会进行完整重同步，即slave会获得一个完整的数据集副本
当slave断开重连后，会发送psync 命令给master。
master首先会对服务器运行进行判断，如果与自己相同就进行判断偏移量

master会判断自己的偏移量与slave的偏移量是否一致。

如果不一致，master会去缓冲区中判断slave的偏移量之后的数据是否存在。

如果存在就会返回+continue回复，表示slave可以执行部分同步了。

master发送断线后的写命令给slave

slave执行写命令

PSYNC命令执行完整重同步和部分重同步的流程图

命令传播

当完成数据同步之后，主从服务器的数据暂时达到一致状态，当主服务器执行了客户端的写命令之后，主从的数据便不再一致。为了能够使主从服务器的数据保持一致性，主服务器会对从服务器执行命令传播 *** 作，即 每执行一个写命令就会向从服务器发送同样的写命令

在命令传播阶段，从服务器会默认以每秒一次的频率向主服务器发送心跳检测REPLCONF ACK <replication_offset>其中replication_offset是当前从服务器的复制偏移量，该命令的作用有三个

检测主从服务器的网络连接状态
辅助实现min-slaves选项
检测命令丢失
>服务器是做服务用的设备。

工作原理：

放置在公共网络状态的环境里，全球任何一台连入互联网的终端机就可以连接到服务器，与服务器交互信息，也可以单方向的从服务器上获取信息，典型的服务就是IIS，服务器里安装IIS服务，就可将网站的内容放入服务器里，使全球的任何人只要打开这个网站的网址就可以打开网站，浏览、下载这个服务器上的网站信息。

企业级服务器适合运行在需要处理大量数据、高处理速度和对可靠性要求极高的金融、证券、交通、邮电、通信或大型企业。企业级服务器用于联网计算机在数百台以上、对处理速度和数据安全要求非常高的大型网络。企业级服务器的硬件配置最高，系统可靠性也最强。

发送邮件是通过smtp服务器协议的，与是pop还是imap无关。
已发送邮件同步到网页版的原理是，foxmail发信，邮件第一步肯定是传递到发信服务器里，通过发信服务器传递到对方收信服务器。 所以foxmail发的邮件肯定是通过服务器的，网页版保存的邮件也就是服务器里的邮件，只要不是特别去设置已发送邮件不保存在网页版，那么foxmail发送的邮件肯定是在网页版有保存的。

MySQL数据同步主要有三种方式:
1利用MySQL自身的数据库同步功能
2利用MySQL数据库的特性(数据库存在固顶目录,并且以文件形式存储),进行数据库目录同步以达到数据同步目的
3利用专用的MySQL数据库同步软件
1利用MySQL自身的数据库同步功能：
MySQL从32315版本以后提供数据库复制功能。利用该功能可以实现两个数据库同步，主从模式，互相备份模式的功能
数据库同步复制功能的设置都在mysql的设置文件中体现。mysql的配置文件（一般是mycnf），在unix环境下在/etc/mysql/mycnf或者在mysql用户的home目录下的mycnf。
windows环境中，如果c:根目录下有mycnf文件则取该配置文件。当运行mysql的winmysqladminexe工具时候，该工具会把c:根目录下的mycnf命名为mycnfbak。并在winnt目录下创建myini。mysql服务器启动时候会读该配置文件。所以可以把mycnf中的内容拷贝到myini文件中，用myini文件作为mysql服务器的配置文件。
设置方法：
设置范例环境：
*** 作系统：window2000professional
mysql：404-beta-max-nt-log
Aip:10101022
Bip:10101053
A:设置
1增加一个用户最为同步的用户帐号：
GRANTFILEONTObackup@'10101053'IDENTIFIEDBY‘1234’
2增加一个数据库作为同步数据库：
createdatabasebackup
B:设置
1增加一个用户最为同步的用户帐号：
GRANTFILEONTObackup@'10101022'IDENTIFIEDBY‘1234’
2增加一个数据库作为同步数据库：
createdatabasebackup
主从模式：A->B
A为master
修改Amysql的myini文件。在mysqld配置项中加入下面配置：
server-id=1
log-bin
#设置需要记录log可以设置log-bin=c:mysqlbakmysqllog设置日志文件的目录，
#其中mysqllog是日志文件的名称，mysql将建立不同扩展名，文件名为mysqllog的几个日志文件。
binlog-do-db=backup#指定需要日志的数据库
重起数据库服务。
用showmasterstatus命令看日志情况。
B为slave
修改Bmysql的myini文件。在mysqld配置项中加入下面配置：
server-id=2
master-host=10101022
master-user=backup#同步用户帐号
master-password=1234
master-port=3306
master-connect-retry=60预设重试间隔60秒
replicate-do-db=backup告诉slave只做backup数据库的更新
重起数据库
用showslavestatus看同步配置情况。
注意：由于设置了slave的配置信息，mysql在数据库目录下生成masterinfo
所以如有要修改相关slave的配置要先删除该文件。否则修改的配置不能生效。
双机互备模式。
如果在A加入slave设置，在B加入master设置，则可以做B->A的同步。
在A的配置文件中mysqld配置项加入以下设置：
master-host=10101053
master-user=backup
master-password=1234
replicate-do-db=backup
master-connect-retry=10
在B的配置文件中mysqld配置项加入以下设置：
log-bin=c:mysqllogmysqllog
binlog-do-db=backup
注意：当有错误产生时err日志文件。同步的线程退出，当纠正错误后要让同步机制进行工作，运行slavestart
重起AB机器，则可以实现双向的热备。
测试：
向B批量插入大数据量表AA（1872000）条
A数据库每秒钟可以更新2500条数据。
2数据库目录同步：
方法和文件同步一样,设置好需要同步的两个数据库目录就可以了!
缺点很明显,数据同步只能单向进行,可以作为备份方案
3用专用的MySQL同步软件进行同步 ：
这方面的软件有SQLBalance和MyReplicator,优点是方便直观,还有很多争强功能!
缺点和2一样,只能单项同步!
当然也可以修改镜像网站的程序为提交数据到母数据库,读取则在当前镜像下的数据,不过,修改起来麻烦!普通用户修改也非常难!呵呵,大家了解一下就可以!给大家一个思路!有能力的朋友可以试试阿!
4关于MySQL论坛的数据同步
由于数据来源的不可控制(不好表达),论坛数据是实时的,而且还要考虑来自镜像论坛的数据,如何实现镜像论坛与母论坛数据同步呢
用1中介绍的MySQL自带的数据库同步功能互相备份模式就可以实现的!
不过,具体的应用我没有测试!稳定性不敢保证!
有能力的朋友推荐用下面这种思路来同步,相对来说减少点效率,但能减少发生的错误!
比如镜像论坛数据同步:
1母论坛和镜像论坛的数据全写在母论坛数据库里,主从模式,读取只在本地读取,这个需要修改程序!
2每次写数据,都同时提交到两个数据库中,安全,但是效率很差,也得修改程序!
MSSQL
MSSQL数据同步利用数据库复制技术实现数据同步更新(来自网络,也是非常完美的教程)
复制的概念 ：
复制是将一组数据从一个数据源拷贝到多个数据源的技术，是将一份数据发布到多个存储站点上的有效方式。使用复制技术，用户可以将一份数据发布到多台服务器上，从而使不同的服务器用户都可以在权限的许可的范围内共享这份数据。复制技术可以确保分布在不同地点的数据自动同步更新，从而保证数据的一致性。
SQL复制的基本元素包括
出版服务器、订阅服务器、分发服务器、出版物、文章
SQL复制的工作原理
SQLSERVER主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器，负责发表数据。出版服务器把要发表的数据的所有改变情况的拷贝复制到分发服务器，分发服务器包含有一个分发数据库，可接收数据的所有改变，并保存这些改变，再把这些改变分发给订阅服务器
SQLSERVER复制技术类型
SQLSERVER提供了三种复制技术，分别是：
1、快照复制（呆会我们就使用这个）
2、事务复制
3、合并复制
只要把上面这些概念弄清楚了那么对复制也就有了一定的理解。接下来我们就一步一步来实现复制的步骤。
第一先来配置出版服务器
(1)选中指定[服务器]节点
(2)从[工具]下拉菜单的[复制]子菜单中选择[发布、订阅服务器和分发]命令
(3)系统d出一个对话框点[下一步]然后看着提示一直 *** 作到完成。
(4)当完成了出版服务器的设置以后系统会为该服务器的树形结构中添加一个复制监视器。同时也生成一个分发数据库(distribution)
第二创建出版物
(1)选中指定的服务器
(2)从[工具]菜单的[复制]子菜单中选择[创建和管理发布]命令。此时系统会d出一个对话框
(3)选择要创建出版物的数据库，然后单击[创建发布]
(4)在[创建发布向导]的提示对话框中单击[下一步]系统就会d出一个对话框。对话框上的内容是复制的三个类型。我们现在选第一个也就是默认的快照发布(其他两个大家可以去看看帮助)
(5)单击[下一步]系统要求指定可以订阅该发布的数据库服务器类型，SQLSERVER允许在不同的数据库如ORACLE或ACCESS之间进行数据复制。但是在这里我们选择运行"SQLSERVER2000"的数据库服务器
(6)单击[下一步]系统就d出一个定义文章的对话框也就是选择要出版的表
(7)然后[下一步]直到 *** 作完成。当完成出版物的创建后创建出版物的数据库也就变成了一个共享数据库。
第三设计订阅
(1)选中指定的订阅服务器
(2)从[工具]下拉菜单中选择[复制]子菜单的[请求订阅]
(3)按照单击[下一步] *** 作直到系统会提示检查SQLSERVER代理服务的运行状态，执行复制 *** 作的前提条件是SQLSERVER代理服务必须已经启动。
(4)单击[完成]。完成订阅 *** 作。
完成上面的步骤其实复制也就是成功了。但是如何来知道复制是否成功了呢？这里可以通过这种方法来快速看是否成功。展开出版服务器下面的复制——发布内容——右键发布内容——属性——击活——状态然后点立即运行代理程序接着点代理程序属性击活调度把调度设置为每一天发生，每一分钟，在0：00：00和23：59：59之间。接下来就是判断复制是否成功了打开C:/ProgramFiles/MicrosoftSQLServer/MSSQL/REPLDATA/unc/XIAOWANGZI_database_database下面看是不是有一些以时间做为文件名的文件夹差不多一分中就产生一个。要是你还不信的话就打开你的数据库看在订阅的服务器的指定订阅数据库下看是不是看到了你刚才所发布的表—
一个手工同步的方案
--定时同步服务器上的数据
--例子:
--测试环境,SQLServer2000,远程服务器名:xz,用户名为:sa,无密码,测试数据库:test
--服务器上的表(查询分析器连接到服务器上创建)
createtable[user](idintprimarykey,numbervarchar(4),namevarchar(10))
--以下在局域网(本机 *** 作)
--本机的表,state说明:null表示新增记录,1表示修改过的记录,0表示无变化的记录
ifexists(selectfromdbosysobjectswhereid=object_id(N'[user]')andOBJECTPROPERTY(id,N'IsUserTable')=1)
droptable[user]
GO
createtable[user]
(idintidentity(1,1),numbervarchar(4),namevarchar(10),statebit)
go
--创建触发器,维护state字段的值
createtriggert_stateon[user]
afterupdate
as
update[user]setstate=1
from[user]ajoininsertedbonaid=bid
whereastateisnotnull
go
--为了方便同步处理,创建链接服务器到要同步的服务器
--这里的远程服务器名为:xz,用户名为:sa,无密码
ifexists(select1frommastersysserverswheresrvname='srv_lnk')
execsp_dropserver'srv_lnk','droplogins'
go
execsp_addlinkedserver'srv_lnk','','SQLOLEDB','xz'
execsp_addlinkedsrvlogin'srv_lnk','false',null,'sa'
go
--创建同步处理的存储过程
ifexists(selectfromdbosysobjectswhereid=object_id(N'[dbo]
[p_synchro]')andOBJECTPROPERTY(id,N'IsProcedure')=1)
dropprocedure[dbo][p_synchro]
GO
createprocp_synchro
as
--setXACT_ABORTon
--启动远程服务器的MSDTC服务
execmasterxp_cmdshell'isql/S"xz"/U"sa"/P""/q"execmasterxp_cmdshell''netstartmsdtc'',no_output"',no_output
--启动本机的MSDTC服务
--execmasterxp_cmdshell'netstartmsdtc',no_output
--进行分布事务处理,如果表用标识列做主键,用下面的方法
--BEGINDISTRIBUTEDTRANSACTION
--同步删除的数据
deletefromsrv_lnktestdbo[user]
whereidnotin(selectidfrom[user])
--同步新增的数据
insertintosrv_lnktestdbo[user]
selectid,number,namefrom[user]wherestateisnull
--同步修改的数据
updatesrv_lnktestdbo[user]set
number=bnumber,name=bname
fromsrv_lnktestdbo[user]a
join[user]bonaid=bid
wherebstate=1
--同步后更新本机的标志
update[user]setstate=0whereisnull(state,1)=1
--COMMITTRAN
go
--创建作业,定时执行数据同步的存储过程
ifexists(SELECT1frommsdbsysjobswherename='数据处理')
EXECUTEmsdbdbosp_delete_job@job_name='数据处理'
execmsdbsp_add_job@job_name='数据处理'
--创建作业步骤
declare@sqlvarchar(800),@dbnamevarchar(250)
select@sql='execp_synchro'--数据处理的命令
@dbname=db_name()--执行数据处理的数据库名
execmsdbsp_add_jobstep@job_name='数据处理',
@step_name='数据同步',
@subsystem='TSQL',
@database_name=@dbname,
@command=@sql,
@retry_attempts=5,--重试次数
@retry_interval=5--重试间隔
--创建调度
EXECmsdbsp_add_jobschedule@job_name='数据处理',
@name='时间安排',
@freq_type=4,--每天
@freq_interval=1,--每天执行一次
@active_start_time=00000--0点执行

---