MYSQL怎么同步数据到ElasticSearch

MYSQL怎么同步数据到ElasticSearch,第1张

先假设有主机 A 和 B ( Linux 系统),主机 A 的 IP 分别是 1.2.3.4 (当然,也可以是动态的),主机 B 的 IP 是 5.6.7.8 。两个主机都装上了 PHP+Mysql ,现在 *** 作的是主机 A 上的资料,如果另外一个主机 B 想跟 A 的资料进行同步,应该怎么做呢?

OK,我们现在就动手。

首先,如果要想两个主机间的资料同步,一种方法就是主机 A 往主机 B 送资料,另外一种主法就是主机 B 到主机 A 上拿资料,因为 A 的 IP 是动态的(假设),所以我们就得从主机 A 往主机 B 送资料。

在主机 B 上创建一个 Mysql 账户。

# GRANT ALL ON test.* TO user@% IDENTIFIED BY "password"//创建用户 user,可以从任何机器访问到主机 B 上的 test 数据库

如果这里显示错误,先把 % 改为一个 IP ,然后再利用 phpMyAdmin 把 IP 改为 % ,测试无误后就可以写 php 程序。

<?

$link=mysql_pconnect("localhost","user","password")

mysql_pconnect("localhost","user","password")//连接本机(主机A)的数据库

mysql_select_db("test")//选择数据库test

$re=mysql_query("select * from table order by id desc")

$num=mysql_numrows($re)

if (!empty($num)) {

$id=mysql_result($re,0,"id")//获得本机table表的最大ID

}

mysql_close($link)//关闭与本机数据库的连接

$link=mysql_pconnect("5.6.7.8","test","test")

mysql_pconnect("5.6.7.8","test","test")//连接主机B的数据库

mysql_select_db("test")//选择数据库test,此数据库应该与主机A上test数据库的结构一样。

$re=mysql_query("select * from table order by id desc")

$num=mysql_numrows($re)

if (!empty($num)) {

$remote_id=mysql_result($re,0,"id")//获得主机Btable表的最大ID

}

if ($id>$remote_id) {

$result_id=$id-$remote_id//如果主机A中table的最大ID大于主机B中table表的最大ID,说明两个

} 的资料不同

mysql_close($link)//关闭主机B的数据库连接

$link=mysql_pconnect("localhost","user","password")

mysql_pconnect("localhost","user","password")

mysql_select_db("test")

if (empty($result_id)) $result_id=0

if (empty($remote_id)) $remote_id=0//如果主机B中的table的最大ID为空(里面没有资料),那么就等0

$re=mysql_query("select * from table limit $remote_id,$result_id")//取出主机A中table表与主机B中table表里不同的资料

$num=mysql_numrows($re)

if (!empty($num)) {

for ($i=0$i<$num$i++) {

$test[$i]=mysql_result($re,$i,"test")//把不同的资料放入一个数组里

}

}

mysql_close($link)//关闭主机A的数据库连接

$link=mysql_pconnect("5.6.7.8","user","password")

mysql_pconnect("5.6.7.8","user","pasword")

mysql_select_db("test")

for ($j=0$j<$i$j++) { //这里的i等于在比较主机A与主机B上table表不同资料的数量

mysql_query("insert into table (test) values(\'$test[$j]\')")

}

mysql_close($link)//关闭主机B的数据库连接

?>

这时就初步实现了 A 主机和 B 主机数据的同步,但现在还需要人手动每次去激活这个程序,有没有办法把它作为一个脚本一样的,放在 crontab 里面指定时间自动执行呢?

在安装 php 时会自动生一个叫 php 的可执行文件,一般在/你安装的 php 目录 /bin 下面,不过较底的版本好像没有,如果没有这个文件,你就得升级你的 php 。

#php -q test.php

php 原本是应用在网页应用的﹐因此它会送出 HTML 的 Header﹐但是在此我们是要将 php 用作 Shell Script﹐"-q" 就是表示不要送出 Header 的意思.

最后编辑 /etc/crontab 里的文件,加上下面这一句。

0 0 * * * root /home/httpd/html/test //每天晚上零点执/home/httpd/html/test文件(具体使用方法请查看cron的相关资料)

OK,到这里差不多就已完成 Mysql 数据的同步了,如果各位还有兴趣的话,可以想一个连编辑、删除都能同步的更好的办法。

这一需求在不同机器上的,

1,通过replication (master-slaves)实现了这两张表的复制功能,

2,mysql的版本是5.1.54,基于记录的复制(Row-Based Replication)。

3,但是在备库调用存储过程时出了问题,这个存储过程中使用了UUID_short()函数,在存储过程这个函数不能产生新值。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/7314335.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-04
下一篇 2023-04-04

发表评论

登录后才能评论

评论列表(0条)

保存