Mysql入门Ubuntu10下如何搭建MySQL Proxy读写分离探讨

概述介绍《Mysql入门Ubuntu10下如何搭建MySQL Proxy读写分离探讨》开发教程，希望对您有用。

《MysqL入门Ubuntu10下如何搭建MysqL Proxy读写分离探讨》要点：
本文介绍了MysqL入门Ubuntu10下如何搭建MysqL Proxy读写分离探讨，希望对您有用。如果有疑问，可以联系我们。

一、MysqL-Proxy基础MysqL教程

MysqL Proxy是一个处于你的ClIEnt端和MysqL server端之间的简单程序,它可以监测、分析或改变它们的通信.它使用灵活,没有限制,常见的用途包括：负载平衡,故障、查询分析,查询过滤和修改等等.MysqL教程

MysqL教程

(figure1：MysqL Proxy)MysqL教程

MysqL-Proxy, announced in June,is a binary application that sits between your MysqL clIEnt and server,and supports the embedded scripting language Lua. The proxy can  be used to analyze,monitor and transform communication,and supports a wIDe range of scenarios including:MysqL教程

load balancing and fail over handling query analysis and logging sql macros query rewriting executing shell commands

One of the more powerful features of MysqL Proxy is the ability to do "Read/Write Splitting". The basic concept is to have a master database handle transactional querIEs while slaves handle SELECT querIEs. Replication is used to synchronize the changes due to transactional querIEs with the slaves in the cluster. MysqL教程

MysqL-Proxy是处在你的MysqL数据库客户和服务端之间的程序,它还支持嵌入性脚本语言Lua.这个代理可以用来分析、监控和变换(transform)通信数据,它支持非常广泛的使用场景：MysqL教程

负载平衡和故障转移处理 查询分析和日志 sql宏(sql macros) 查询重写(query rewriting) 执行shell命令

MysqL Proxy更强大的一项功能是实现“读写分离(Read/Write Splitting)”.基本的原理是让主数据库处理事务性查询,而从数据库处理SELECT查询.数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库.MysqL教程

 MysqL教程

二、实战过程MysqL教程

测试环境：Ubuntu 10.04.2 LTS + MysqL5.1.41-3ubuntu12.10-logMysqL教程

192.168.1.147  proxy 代理 入口MysqL教程

192.168.1.126  master  主机 只写MysqL教程

192.168.1.145  slaver  从机 只读MysqL教程

程序上只需要链接到192.168.1.147,而192.168.1.126和192.168.1.145对于程序来说是透明的,你完全不需要理会,也不需要知道192.168.1.126和192.168.1.145,你对数据库的所有 *** 作都只对192.168.1.147进行 *** 作.MysqL教程

1.安装脚本luaMysqL教程

#apt-get install lua5.1MysqL教程

MysqL-Proxy的读写分离主要是通过rw-splitting.lua脚本实现的,因此需要安装lua.MysqL教程

2.安装配置MysqL-ProxyMysqL教程

#apt-get  MysqL-proxyMysqL教程

当前获取到的版本是：MysqL-proxy 0.8.0(查看版本命令：#MysqL-proxy -V)MysqL教程

3.修改rw-splitting.luaMysqL教程

 #vim /usr/share/MysqL-proxy/rw-splitting.luaMysqL教程

配置并使用rw-splitting.lua读写分离脚本,脚本目录是 /usr/share/MysqL-proxy,修改读写分离脚本rw-splitting.lua,修改默认连接数,进行快速测试,如果不修改连接数的话要达到连接数为4时才会启用读写分离.MysqL教程

-- connection poolMysqL教程

if not proxy.global.config.rwsplit thenMysqL教程

proxy.global.config.rwsplit = {MysqL教程

min_IDle_connections = 1,//默认为4MysqL教程

max_IDle_connections = 1,//默认为8MysqL教程

is_deBUG = falseMysqL教程

}MysqL教程

endMysqL教程

这是因为MysqL-proxy会检测客户端连接,当连接没有超过min_IDle_connections预设值时,不会进行读写分离,即查询 *** 作会发生到Master上.MysqL教程

4.新建文件夹/var/log/MysqL-proxy/和文件MysqL-proxy.logMysqL教程

 #mkdir /var/log/MysqL-proxyMysqL教程

 #vi MysqL-proxy.logMysqL教程

5.执行读写分离MysqL教程

#sudo MysqL-proxy --proxy-read-only-backend-addresses=192.168.1.145:3306 --proxy-backend-addresses=192.168.1.126:3306 --proxy-lua-script=/usr/share/MysqL-proxy/rw-splitting.lua >/var/log/MysqL-proxy/MysqL-proxy.log &MysqL教程

参数说明：MysqL教程

192.168.1.147  proxy 代理 入口MysqL教程

192.168.1.126  master  主机 只写MysqL教程

192.168.1.145  slaver  从机 只读MysqL教程

 当运行sudo MysqL-proxy 上面语句后,查询进程没有4040的时候,需要重启MysqL ( sudo /etc/init.d/MysqL restart) 之后再输入proxy设置.MysqL教程

6.查看进程端口MysqL教程

#netstat -antMysqL教程

#netstat CntlMysqL教程

MysqL教程

(figure2：端口)MysqL教程

tcp        0      0 0.0.0.0:4040            0.0.0.0:*               ListEN    MysqL教程

tcp        0      0 0.0.0.0:4041            0.0.0.0:*               ListEN    MysqL教程

7.查看数据库链接MysqL教程

MysqL> show processList\G;MysqL教程

MysqL教程

(figure3：进程)MysqL教程

可以看到,产生了一个新连接.如果想杀掉某个链接,可以使用MysqL>help kill查看kill的帮助信息,杀掉36进程的命令：MysqL>kill 36;MysqL教程

8.测试读写分离MysqL教程

1)在MysqL-proxy机子进入MysqLMysqL教程

#MysqL -u gaizai -p -P4040 -h 192.168.1.147MysqL教程

必须指定-h参数,不然报下面错误：MysqL教程

MysqL教程

(figure4：出错)MysqL教程

2)显示数据库列表：MysqL教程

MysqL> show databases;MysqL教程

如果你是搭建MysqL-Proxy成功的话,你上面查看到的数据库列表应该是192.168.1.145服务器上的数据库列表.(可以在145和126分别创建不同的数据库进行测试)MysqL教程

3)进入测试数据库：MysqL教程

MysqL> use weibo;MysqL教程

4)查询表记录：MysqL教程

MysqL>select * from blog;MysqL教程

5)插入一条记录：MysqL教程

MysqL> INSERT INTO `blog` (`TaskID`,`Content`,`Quote`,`Author`,`Time`,`Url`,`ImageUrl`,`Transmits`,`Comments`,`Hash`,`AddOn`) VALUES('10','fefef','efef',Now(),'http://www.cnblogs.com/zgx/archive/2011/09/13/2174823.HTML',NulL,'0','33333333',Now());MysqL教程

6)查询表记录：MysqL教程

MysqL>select * from blog;MysqL教程

对比两次查询表的记录,看记录是否有变化,我们插入了数据(确认插入成功),但两次的数据是没有变化的,这就对了,这就是读写分离了(我们读的是145的数据库,插入的是126的数据库,而我们的145与126又没有设置Replication；如果之前设置了,请先停止后进行测试)MysqL教程

注：有时候MysqL_proxy(38)库里会显示出数据,重启系统系统,重新启动MysqL后就没有此现象了.MysqL教程

7)进入主写服务器(192.168.1.126) 查看数据MysqL教程

#MysqL -u gaizai -p -h 192.168.1.126MysqL教程

MysqL> use weibo;MysqL教程

MysqL>select * from blog;MysqL教程

可以查看已经写入了一条记录.MysqL教程

8)进入从读服务器(192.168.1.145)MysqL教程

#MysqL -u gaizai -p -h 192.168.1.145MysqL教程

MysqL> use weibo;MysqL教程

MysqL>select * from blog;MysqL教程

因为没有数据显示,说明只能读,不能写.MysqL教程

在使用工具sqlyog执行查询时,在Proxy服务器上会自动显示下面的信息：MysqL教程

MysqL教程

(figure5：信息)MysqL教程

9.MysqL-Proxy+ReplicationMysqL教程

上面的测试只是测试了插入数据后,在没有进行Master与Slave的Replication设置的情况下,读取Master与Slave的数据是不同,如果想达到figure1的效果,我们还需要设置Master与Slave之间的数据复制(Replication),详情请参考：Ubuntu10下MysqL搭建Master SlaveMysqL教程

三、MysqL-Proxy命令MysqL教程

帮助命令：$MysqL-proxy --help-allMysqL教程

查看下MysqL Proxy的版本：$ MysqL-proxy -V MysqL教程

编译启动脚本：$vi /etc/init.d/MysqL-proxyMysqL教程

启动命令：$ /etc/init.d/MysqL-proxy startMysqL教程

停止命令：$ /etc/init.d/MysqL-proxy stopMysqL教程

重启命令：$ /etc/init.d/MysqL-proxy restartMysqL教程

 MysqL教程

四、注意事项MysqL教程

1.在启动MysqL-proxy的时候,可以把启动命令保存为文件：MysqL教程

建议使用配置文件的形式启动, 注意配置文件必须是660权限, 否则无法启动. 如果有多个Slave的话, proxy-read-only-backend-addresses参数可以配置多个以逗号分隔的IP:Port从库列表.MysqL教程

杀掉MysqL-proxy进程：# killall MysqL-proxy MysqL教程

新建一个文件：# vi /etc/MysqL-proxy.cnfMysqL教程

在文件中输入两个分隔符中间的内容：MysqL教程

------------------------------------------------------MysqL教程

[MysqL-proxy]MysqL教程

admin-username=viajarchenMysqL教程

admin-password=123123MysqL教程

admin-lua-script = /usr/share/MysqL-proxy//admin-sql.lua MysqL教程

proxy-backend-addresses=192.168.1.126:3306MysqL教程

proxy-read-only-backend-addresses=192.168.1.145:3306MysqL教程

proxy-lua-script=/usr/share/MysqL-proxy/rw-splitting.luaMysqL教程

log-file=/var/tmp/MysqL-proxy.logMysqL教程

log-level=deBUGMysqL教程

daemon=trueMysqL教程

keepalive=trueMysqL教程

max-open-files=1024MysqL教程

------------------------------------------------------MysqL教程

设置权限：# chmod 660 /etc/MysqL-proxy.cnfMysqL教程

或者#chmod +x /etc/init.d/MysqL-proxyMysqL教程

设置启动文件：# MysqL-proxy --defaults-file=/etc/MysqL-proxy.cnfMysqL教程

查看信息：# ps -ef | grep MysqL-proxy | grep -v grepMysqL教程

root      1869     1  0 18:16 ?        00:00:00 /usr/local/MysqL-proxy/libexec/MysqL-proxy --defaults-file=/etc/MysqL-proxy.cnfMysqL教程

root      1870  1869  0 18:16 ?        00:00:00 /usr/local/MysqL-proxy/libexec/MysqL-proxy --defaults-file=/etc/MysqL-proxy.cnfMysqL教程

查看日志：# tail -50f /var/tmp/MysqL-proxy.logMysqL教程

2.MysqL-proxy参数MysqL教程

--admin-address=host:port 指定一个mysqo-proxy的管理端口, 缺省是4041;MysqL教程

-P, --proxy-address=<host:port> 是MysqL-proxy 服务器端的监听端口, 缺省是4040;MysqL教程

-r, --proxy-read-only-backend-addresses=<host:port> 只读Slave的地址和端口, 缺省为不设置;MysqL教程

-b, --proxy-backend-addresses=<host:port> 远程Master地址和端口, 可设置多个做failover和load balance, 缺省是127.0.0.1:3306;MysqL教程

--defaults-file=<file>配置文件, 可以把MysqL-proxy的参数信息置入一个配置文件里;MysqL教程

--daemon MysqL-proxy以守护进程方式运行MysqL教程

--keepalive try to restart the proxy if it crashed, 保持连接启动进程会有2个, 一号进程用来监视二号进程, 如果二号进程死掉自动重启proxy.MysqL教程

Clog-level=deBUG定义log日志级别,由高到低分别有MysqL教程

(error|warning|info|message|deBUG)MysqL教程

--proxy-lua-script=file指定一个Lua脚本程序来控制MysqL-proxy的运行和设置,这个脚本在每次新建连接和脚本发生修改的的时候将重新调用.MysqL教程

--max-open-files：指定最大档案开启数为1024,否则会有【Could not raise RliMIT_NOfile to 8192,InvalID argument (22). Current limit still 1024.】的log讯息出现.MysqL教程

3.当MysqL主从复制在 show slave status\G 时出现Slave_IO_Running或Slave_sql_Running 的值不为YES时,需要首先通过 stop slave 来停止从服务器,然后再进行测试读写分离.MysqL教程

4.MysqL-Proxy的rw-splitting.lua脚本在网上有很多版本,但是最准确无误的版本仍然是源码包中所附带的lib/rw-splitting.lua脚本,如果有lua脚本编程基础的话,可以在这个脚本的基础上再进行优化；MysqL教程

5.MysqL-Proxy实际上非常不稳定,在高并发或有错误连接的情况下,进程很容易自动关闭,因此打开Ckeepalive参数让进程自动恢复是个比较好的办法,但还是不能从根本上解决问题,因此通常最稳妥的做法是在每个从服务器上安装一个MysqL-Proxy供自身使用,虽然比较低效但却能保证稳定性；MysqL教程

6.一主多从的架构并不是最好的架构,通常比较优的做法是通过程序代码和中间件等方面,来规划,比如单双server-ID号分开写入等方式来实现两个或多个主服务器；MysqL教程

7.MysqL-Cluster 的稳定性也不是太好；MysqL教程

8.Amoeba for MysqL 是一款优秀的中间件软件,同样可以实现读写分离,负载均衡等功能,并且稳定性要大大超过MysqL-Proxy,建议大家用来替代MysqL-Proxy,甚至MysqL-Cluster.MysqL教程

9.MysqL proxy不支持old_password.另外也可以通过查看密码长度的方式来判断:select length(password) from MysqL.user如果长度为16位则是old_password无疑.MysqL教程

10.   安装了MysqL-proxy实现读写分离,有master x 1,slave x 2.为了测试failover,停掉了一个slave,然后MysqL-proxy会一直报错,提示无法连接.这个情况比单点的MysqL还糟糕,挂掉一个就全挂掉!MysqL的工程师给提供了一段代码,替换掉：MysqL教程

src/network-MysqLd-proxy.c的NETWORK_MysqLD_PLUGIN_PROTO函数可以解决这个问题.network-MysqLd-proxy-function.c文件.MysqL教程

(经过测试：我停止掉slave数据库,proxy的查询就会转移到master上,当把slave启动后,proxy依然在读master,当有新的链接进来的时候才会去读取slave的数据)MysqL教程

11.   如果在MysqL-proxy的机器上也安装了MysqL的话,新手就会在这个时候混乱了,到底要如何进行测试和链接呢?比如使用命令：#MysqL -u gaizai -p -P4040 -h 192.168.1.147是表示登陆本机的4040端口,使用gaizai帐号,这个帐号可以不是本地MysqL的帐号,这样就比较容易区分了.MysqL教程

12.   在上述环境中,MysqL-proxy、MysqL-master、MysqL-slave三台服务器均存在单点故障.为了避免MysqL-proxy单点隐患有两种方法：一种方法是MysqL-proxy配合keepalived做双机,另一种方法是将MysqL-proxy和应用服务安装到同一台服务器上；为了避免MysqL-master单点故障可以使用DRBD+heartbear做双机；为了避免MysqL-slave单点故障可以添加多台MysqL-slave,MysqL-proxy会自动屏蔽后端发生故障的MysqL-slave.MysqL教程

13.   用sysbench (或者super-smack)测试MysqL性能：MysqL教程

#sysbench --test=oltp --MysqL-table-engine=innodb --oltp-table-size=1000 --MysqL-socket=/tmp/MysqL.sock --MysqL-password=123456 --MysqL-user=gaizai --MysqL-host=192.168.1.126 --MysqL-db=weibo --num-threads=15 prepareMysqL教程

#sysbench --test=oltp --MysqL-table-engine=innodb --oltp-table-size=1000 --MysqL-socket=/tmp/MysqL.sock --MysqL-password=123456 --MysqL-user=gaizai --MysqL-host=192.168.1.126 --MysqL-db=weibo --oltp-test-mode=complex runMysqL教程

14.   关于MysqL-proxy的启动和关闭的shell脚本的编写：MysqL教程

15.   读写分离不能回避的问题之一就是延迟,可以考虑Google提供的SemisyncReplicationDesign补丁.MysqL教程

16.   MysqL-Proxy缺省使用的是4040端口,如果你想透明的把3306端口的请求转发给4040的话,那么可以：iptables -t nat -I PREROUTING -s ! 127.0.0.1 -p tcp --dport 3306 -j REDIRECT --to-ports 4040如果想删除这条规则,可以把上面例子中的-I换成-D.参考链接MysqL教程

17.   当使用bigint 时,MysqL_insert_ID()存在问题,详情见手册,不过对于大多数人而言,bigint基本不会遇到,所以你可以无视这个问题)注：对于这两个问题,官方BUG库里有人给出了相应的补丁.MysqL教程

 MysqL教程

五、错误MysqL教程

在执行命令的时候出现了下面的错误：MysqL教程

MysqL教程

(figure6：错误信息)MysqL教程

Could not raise RliMIT_NOfile to 8192MysqL教程

这个一个警告级别的错误,意思是MysqL Proxy在你的系统上不能把open files limit提升到8192,不过没关系的,MysqL Proxy依然好好的运行在你的电脑上.MysqL教程

可以通过设置启动--max-open-files参数解决.MysqL教程

MysqL Proxy安装和使用(一)MysqL教程

MysqL proxy master and slave testMysqL教程

加入--max-open-files=8192后报下面的错误：MysqL教程

MysqL教程

(figure7：错误信息)MysqL教程

 MysqL教程

六、疑问与解答MysqL教程

1.当slave宕机后,MysqL-proxy是如何读取的?(经过测试：我停止掉slave数据库,当有新的链接进来的时候才会重新去读取slave的数据.有时可能需要重启下MysqL-proxy)MysqL教程

2.如何知道MysqL-proxy当前执行的select是在哪台机器上执行的?MysqL教程

3.当slave宕机一段时间后,如果再次同步master的缺失的数据?MysqL教程

4.当配置中设置了proxy-read-only-backend-addresses=192.168.1.145:3306MysqL教程

,192.168.1.147:3306类似这样的两个slave,如果两个slave的数据不同步,那么是怎么读取数据的?# tail -50f /var/tmp/MysqL-proxy.log测试MysqL教程

5.生产环境中除了进行程序调试外,其它不要开启mySQL查询日志,因为查询日志记录了客户端的所有语句,频繁的IO *** 作将会导致MysqL整体性能下降.如何设置呢?MysqL教程

6.MysqL-proxy.cnf文件中的管理员帐号和密码有什么用?使用命令进入管理MysqL教程

MysqL -u viajarchen -p -P 4041 -h 192.168.1.147 密码是123123MysqL教程

MysqL> select * from proxy_connections;MysqL教程

MysqL> select * from proxy_config;MysqL教程

MysqL教程

(figure8：信息)MysqL教程

7.关于MysqL-proxy的启动和关闭的shell脚本的编写?测试MysqL教程

8.对于/usr/share/MysqL-proxy/rw-splitting.lua脚本中的MysqL教程

local min_IDle_connections = 4 local max_IDle_connections = 8应该如何理解?min的话就是要达到这个值的时候才会读写分离,那么max的是什么意思呢?最大能有8个链接?MysqL教程

9.MysqLd是什么意思?是MysqL的守护进程!MysqL教程

10.HAProxy和keepalived怎么一起搭建使用?能解决什么问题?MysqL教程

总结

以上是内存溢出为你收集整理的Mysql入门Ubuntu10下如何搭建MySQL Proxy读写分离探讨全部内容，希望文章能够帮你解决Mysql入门Ubuntu10下如何搭建MySQL Proxy读写分离探讨所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。