redis怎样为第三方程序连接mysql的情况作缓存

对于变化频率非常快的数据来说，如果还选择传统的静态缓存方式（Memocached、FileSystem等）展示数据，可能在缓存的存取上会有很大的开销，并不能很好的满足需要，而Redis这样基于内存的NoSQL数据库，就非常适合担任实时数据的容器。但是往往又有数据可靠性的需求，采用MySQL作为数据存储，不会因为内存问题而引起数据丢失，同时也可以利用关系数据库的特性实现很多功能。所以就会很自然的想到是否可以采用MySQL作为数据存储引擎，Redis则作为Cache。而这种需求目前还没有看到有特别成熟的解决方案或工具，因此采用Gearman+PHP+MySQLUDF的组合异步实现MySQL到Redis的数据复制。MySQL到Redis数据复制方案无论MySQL还是Redis，自身都带有数据同步的机制，比较常用的MySQL的Master/Slave模式，就是由Slave端分析Master的binlog来实现的，这样的数据复制其实还是一个异步过程，只不过当服务器都在同一内网时，异步的延迟几乎可以忽略。那么理论上也可以用同样方式，分析MySQL的binlog文件并将数据插入Redis。但是这需要对binlog文件以及MySQL有非常深入的理解，同时由于binlog存在Statement/Row/Mixedlevel多种形式，分析binlog实现同步的工作量是非常大的。因此这里选择了一种开发成本更加低廉的方式，借用已经比较成熟的MySQLUDF，将MySQL数据首先放入Gearman中，然后通过一个自己编写的PHPGearmanWorker，将数据同步到Redis。比分析binlog的方式增加了不少流程，但是实现成本更低，更容易 *** 作。Gearman的安装与使用Gearman是一个支持分布式的任务分发框架。设计简洁，获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分：GearmanJobServer：Gearman核心程序，需要编译安装并以守护进程形式运行在后台GearmanClient：可以理解为任务的收件员，比如在后台执行一个发送邮件的任务，可以在程序中调用一个GearmanClient并传入邮件的信息，然后就可以将执行结果立即展示给用户，而任务本身会慢慢在后台运行。GearmanWorker：任务的真正执行者，一般需要自己编写具体逻辑并通过守护进程方式运行，GearmanWorker接收到GearmanClient传递的任务内容后，会按顺序处理。以前曾经介绍过类似的后台任务处理项目Resque。两者的设计其实非常接近，简单可以类比为：GearmanJobServer：对应Resque的Redis部分GearmanClient：对应Resque的Queue *** 作GearmanWorker：对应Resque的Worker和Job这里之所以选择Gearman而不是Resque是因为Gearman提供了比较好用的MySQLUDF，工作量更小。安装Gearman及PHPGearman扩展以下均以Ubuntu12.04为例。apt-getinstallgearmangearman-serverlibgearman-dev检查Gearman的运行状况：/etc/init.d/gearman-job-serverstatus*gearmandisrunning说明Gearman已经安装成功。PHP的Gearman扩展可以通过pecl直接安装peclinstallgearmanecho"extension=gearman.so">/etc/php5/conf.d/gearman.iniservicephp5-fpmrestart但是实测发现ubuntu默认安装的gearman版本过低，直接运行peclinstallgearman会报错configure:error:libgearmanversion1.1.0orlaterrequired因此Gearman+PHP扩展建议通过编译方式安装，这里为了简单说明，选择安装旧版本扩展：peclinstallgearman-1.0.3Gearman+PHP实例为了更容易理解后文Gearman的运行流程，这里不妨从一个最简单的Gearman实例来说明，比如要进行一个文件处理的 *** 作，首先编写一个GearmanClient并命名为client.php：addServer()$client->doBackground('writeLog','Logcontent')echo'文件已经在后台 *** 作'运行这个文件，相当于模拟用户请求一个Web页面后，将处理结束的信息返回用户：phpclient.php查看一下Gearman的状况：(echostatussleep0.1)|netcat127.0.0.14730可以看到输出为writeLog100.说明已经在Gearman中建立了一个名为writeLog的任务，并且有1个任务在队列等待中。而上面的4列分别代表当前的Gearman的运行状态：任务名称在等待队列中的任务正在运行的任务正在运行的Worker进程可以使用watch进行实时监控：watch-n1"(echostatussleep0.1)|nc127.0.0.14730"然后我们需要编写一个GearmanWorker命名为worker.php：addServer()$worker->addFunction('writeLog','writeLog')while($worker->work())functionwriteLog($job){$log=$job->workload()file_put_contents(__DIR__.'/gearman.log',$log."\n",FILE_APPEND|LOCK_EX)}Worker使用一个while死循环实现守护进程，运行phpworker.php可以看到Gearman状态变为：writeLog001同时查看同目录下gearman.log，内容应为从Client传入的值Logcontent。通过MySQLUDF+Trigger同步数据到GearmanMySQL要实现与外部程序互通的最好方式还是通过MySQLUDF（MySQLuserdefinedfunctions）来实现。为了让MySQL能将数据传入Gearman，这里使用了lib_mysqludf_json和gearman-mysql-udf的组合。安装lib_mysqludf_json使用lib_mysqludf_json的原因是因为Gearman只接受字符串作为入口参数，可以通过lib_mysqludf_json将MySQL中的数据编码为JSON字符串apt-getinstalllibmysqlclient-devwget/mysqludf/lib_mysqludf_json/archive/master.zipunzipmaster.zipcdlib_mysqludf_json-master/rmlib_mysqludf_json.sogcc$(mysql_config--cflags)-shared-fPIC-olib_mysqludf_json.solib_mysqludf_json.c可以看到重新编译生成了lib_mysqludf_json.so文件，此时需要查看MySQL的插件安装路径：mysql-uroot-pPASSWORD--execute="showvariableslike'%plugin%'"+---------------+------------------------+|Variable_name|Value|+---------------+------------------------+|plugin_dir |/usr/lib/mysql/plugin/|+---------------+------------------------+然后将lib_mysqludf_json.so文件复制到对应位置：cplib_mysqludf_json.so/usr/lib/mysql/plugin/最后登入MySQL运行语句注册UDF函数：CREATEFUNCTIONjson_objectRETURNSSTRINGSONAME'lib_mysqludf_json.so'安装gearman-mysql-udf方法几乎一样：apt-getinstalllibgearman-devwgetmake&&makeinstall登入MySQL运行语句注册UDF函数：CREATEFUNCTIONgman_do_backgroundRETURNSSTRINGSONAME'libgearman_mysql_udf.so'CREATEFUNCTIONgman_servers_setRETURNSSTRINGSONAME'libgearman_mysql_udf.so'最后指定Gearman服务器的信息：SELECTgman_servers_set('127.0.0.1:4730')通过MySQL触发器实现数据同步最终同步哪些数据，同步的条件，还是需要根据实际情况决定，比如将数据表data的数据在每次更新时同步，那么编写Trigger如下：DELIMITER$$CREATETRIGGERdatatoredisAFTERUPDATEONdataFOREACHROWBEGINSET@ret=gman_do_background('syncToRedis',json_object(NEW.idas`id`,NEW.volumeas`volume`))END$$DELIMITER尝试在数据库中更新一条数据查看Gearman是否生效。GearmanPHPWorker将MySQL数据异步复制到RedisRedis作为时下当热的NoSQL缓存解决方案无需过多介绍，其安装及使用也非常简单：apt-getinstallredis-serverpeclinstallredisecho"extension=redis.so">/etc/php5/conf.d/redis.ini然后编写一个GearmanWorker：redis_worker.php#!/usr/bin/envphpaddServer()$worker->addFunction('syncToRedis','syncToRedis')$redis=newRedis()$redis->connect('127.0.0.1',6379)while($worker->work())functionsyncToRedis($job){global$redis $workString=$job->workload() $work=json_decode($workString)if(!isset($work->id)){returnfalse}$redis->set($work->id,$workString)}最后需要将Worker在后台运行：nohupphpredis_worker.php&通过这种方式将MySQL数据复制到Redis，经测试单Worker基本可以瞬时完成。

1、发现服务器被入侵，应立即关闭所有网站服务，暂停至少3小时。这时候很多站长朋友可能会想，不行呀，网站关闭几个小时，那该损失多大啊，可是你想想，是一个可能被黑客修改的钓鱼网站对客户的损失大，还是一个关闭的网站呢?你可以先把网站暂时跳转到一个单页面，写一些网站维护的的公告。

2、下载服务器日志，并且对服务器进行全盘杀毒扫描。这将花费你将近1-2小时的时间，但是这是必须得做的事情，你必须确认黑客没在服务器上安装后门木马程序，同时分析系统日志，看黑客是通过哪个网站，哪个漏洞入侵到服务器来的。找到并确认攻击源，并将黑客挂马的网址和被篡改的黑页面截图保存下来，还有黑客可能留下的个人IP或者代理IP地址。

3、Windows系统打上最新的补丁，然后就是mysql或者sql数据库补丁，还有php以及IIS，serv-u就更不用说了，经常出漏洞的东西，还有就是有些IDC们使用的虚拟主机管理软件。

4、关闭删除所有可疑的系统帐号，尤其是那些具有高权限的系统账户!重新为所有网站目录配置权限，关闭可执行的目录权限，对图片和非脚本目录做无权限处理。

5、完成以上步骤后，你需要把管理员账户密码，以及数据库管理密码，特别是sql的sa密码，还有mysql的root密码，要知道，这些账户都是具有特殊权限的，黑客可以通过他们得到系统权限!

6、Web服务器一般都是通过网站漏洞入侵的，你需要对网站程序进行检查(配合上面的日志分析)，对所有网站可以进行上传、写入shell的地方进行严格的检查和处理。如果不能完全确认攻击者通过哪些攻击方式进行攻击，那就重装系统，彻底清除掉攻击源。

备份linux系统，不像Windows，Linux不限制根用户存取任何东西，因此，你完全可以把一个分区上每一个的文件放入一个TAR文件中。来实施这一方法，用这个成为根用户：

sudo su

接着去你的文件系统的根目录（在我们的例子中，我们使用它，不过你可以去你希望备份的任何地方，包括远程或可移动驱动器。）

cd /

然后，下面就是我用来备份我的系统的完整的命令：

tar cvpzf backup.tgz / --exclude=/proc --exclude=/lost+found --exclude=/backup.tgz --exclude=/mnt --exclude=/sys

接着，让我们稍微解释一下：

很明显，'tar'部分就是我们将要使用的软件。

'cvpfz'是我们给tar加的选项，像“创建一个压缩文档”（这是显然的），“保存权限”（以便使每一个相同的文件有相同的权限），以及“gzip”（缩减大小）。

接下来，是压缩文档将获得的名称，在我们的例子中是backup.tgz。

紧随其后的是我们想要备份的根目录。既然我们想备份所有东西：/

接着就是我们要剔除的目录了。我们不想备份每一样东西，因为包括有些目录不是非常有用。同时确保你没有把备份文件本身也加进去了，否则，你会得到怪异的结果的。你也许同样不打算把/mnt文件夹包括进来——如果你在那儿挂载了其他分区——否则最终你会把那些也备份的。同时确保你没有任何东西挂载在 /media(即没有挂载任何cd或可移动介质）。否则，剔除/media。

如果你想排除所有的其他分区，你可以使用 'l' 参数代替 --exclude, 上面的命令看起来象这样:

tar cvpzlf backup.tgz / --exclude=/lost+found --exclude=/backup.tgz

按：kvidell在论坛主题里建议也剔除/dev目录。不过，我有其他证据表明这样做是不明智的。

好了，如果命令适合你的话，敲击确定键（或者回车键，管它叫什么名字），然后什么都不用干，放松一下。备份也许会花上一段时间。

完了以后，在你的文件系统的根目录会有一个叫作backup.tgz的文件——很可能相当巨大。现在你可以把烧录到DVD上，或者移动到另一台机器，你可以做任何你想做的事情。

按2：在进程的最后，你也许会得到一条信息，写着“tar：由于先前错误的耽搁而存在错误”或者其他什么，不过大多数情况下你可以仅仅忽略它。

作为选择，你可以使用Bzip来压缩你的备份。这意味着较高的压缩比但是也意味着较低的速度。如果压缩比对你很重要，只需用“j”替换命令中的“z”， 同时给备份命一个相应的扩展名。这些会使命令变成这样：

tar cvpjf backup.tar.bz2 / --exclude=/proc --exclude=/lost+found --exclude=/backup.tar.bz2 --exclude=/mnt --exclude=/sys

2.1. 通过网络备份如果空白的文件系统太少了并且你又不能挂载其它的文件系统来保存备份文件，你有可能使用 netcat 来完成备份.

在接受端你必须设置 netcat 用于写备份文件，象这样:

nc -l -p 1024 >backup.tar.bz2

然后你传送 tar 命令，不带 'f' 参数通过 netcat 在发送端，象这样:

tar cvpj / | nc -q 0 1024

在上面的命令中 1024 仅仅是一个随机的端口号, 任何从 1024 或以上的都可以工作.

如果安全的通过网络备份不依赖文件系统完成备份. 事实上一个真正快的网络比写备份文件到磁盘要快.

在上面的讲述中 (由于我刚刚发呆,因此我不能证实它是可靠的) 是这个命令:

tar cvpj / | ssh "cat >backup.tar.bz2"

3. 恢复警告：看在上帝的份上，在这一部分请小心谨慎。如果你不理解你在这里干了什么，你可能最终毁坏了对你而言很重要的东西，所以请小心谨慎。 那么，我们将紧接着上一章的例子：在分区的根目录下的backup.tgz文件

再一次确保你是根用户以及备份文件在文件系统的根目录。

Linux美妙的地方之一就是这一项工作甚至可以在一个正在运行的系统上进行；没必要被引导cd或者任何东西搞得晕头转向。当然，如果你使你的系统无法被引导了。你也许别无选择，只能使用一张live-cd了，但是结果是一样的。你甚至可以在Linux系统正在运行的时候，移除它里面所有文件。可是我不告诉你那个命令！

好了，言归正传。这是我要用的命令：

tar xvpfz backup.tgz -C /

如果你使用 bz2

tar xvpfj backup.tar.bz2 -C /

警告：这会把你分区里所有文件替换成压缩文档里的文件！

只要敲一下确定／回车／你的兄弟／随便什么，然后去看焰火吧。同样，这会花一段时间。等它完成了，你就有了一个完全恢复的Ubuntu系统！只需确保在你做其他任何事情之前，重新创建你剔除的目录：

mkdir proc mkdir lost+found mkdir mnt mkdir sys etc...

当你重启以后，所以的事情都会和你备份的时候一模一样。

3.1. 恢复 GRUB那么，如果你想把你的系统移动到一块新硬盘上，或者，你想对你的GRUB做一些糟糕的事情（比方说，安装Windows），你也将需要重装GRUB。在这个论坛里，有不少如何做这个的非常好的指导，所以我不会从头重新做起。相反，看一下这里（论坛） 或者这儿:RecoveringUbuntuAfterInstallingWindows

在这个论坛主题中，提出了一些方法。我个人建议第二个，remmelt贴出来的，因为我发现它每次都管用。

对，就是那个！我希望它有帮助！

4. 其他方法也许你也想看一下这些能帮助你自动备份系统的程序

Partimage

Mondo Rescue

---