php实现mysql数据库分表分段备份

php实现mysql数据库分表分段备份,第1张

分卷导出思路:统计sql语句变量的长度,按1个字符当成1

字节比较,如果大于设定分卷大小,则写入一个sql文件(我也不知道这样统计是否稳当,这也是借鉴其他的人的)。

分卷导入思路:按行读取sql文件,将每一行当作完整的sql语句存到数组再循环执行插入数据库就可以了,但是在创建表语句分了多行,这个需要单独处理(就这个花了我好长时间的);

<?php

//宋正河

转载请注明出处

set_time_limit(0)

header('content-type:text/htmlcharset=utf-8')

mysql_connect('localhost','root','root')

mysql_select_db('test')

$table_array=get_tables('test')

mysql_query('set

names

utf8')

$filesize=1024*1024*4

$start=$_GET['start']?$_GET['start']:0

$part=$_GET['part']?$_GET['part']:'1'

$table_index=$_GET['table_index']?$_GET['table_index']:'0'

$table=$table_array[$table_index]

$num=200000000//这个数要足够大,可以是总记录数

$backupdata=''

if($start=='0'){

$query="SHOW

CREATE

TABLE

`{$table}`"

$result

=

mysql_query($query)

$row

=

mysql_fetch_row($result)

$backupdata

.=

"DROP

TABLE

IF

EXISTS

`{$table}`\n"

.

$row[1]

.

"\n\n"

}

$limit=($start=='0')?'':"

limit

$start,$num

"

$query="select

*

from

`{$table}`

$limit

"

$result=mysql_query($query)

$numfields

=

mysql_num_fields($result)

//统计字段数

while($row=mysql_fetch_row($result)){

$comma

=

''

//存储逗号

$backupdata_tmp

=

"INSERT

INTO

`{$table}`

VALUES

("

for($i=0

$i<$numfields

$i++){

$backupdata_tmp

.=

$comma

.

"'"

.

mysql_escape_string($row[$i])

.

"'"

$comma

=

','

}

$backupdata_tmp

.=

")\n"

if(strlen($backupdata)+strlen($backupdata_tmp)

>

$filesize){

//写入文件并跳转

$file='data/'.$table.'-'.$part.'.sql'

file_put_contents($file,$backupdata)

echo

$file.'

备份完成,程序继续进行!'

$part++

//分段

//表名

//起点

//跳转

sleep(3)

echo

"<script>location.href='?start={$start}&table_index={$table_index}&part={$part}'</script>"

exit

}

$backupdata.=$backupdata_tmp

$start++

}

if($backupdata){

$file='data/'.$table.'-'.$part.'.sql'

file_put_contents($file,$backupdata)

}

echo

$table.'备份完成!<br

/>'

sleep(2)

$table_index++

if($table_array[$table_index]){

echo

"<script>location.href='?table_index={$table_index}'</script>"

exit

}else{

echo

'恭喜你,数据库备份完毕!'

}

function

get_tables($db){

$tq

=

mysql_list_tables($db)

while($tr

=

mysql_fetch_row($tq)){

$arrtb[]

=

$tr[0]

}

return

$arrtb

}

?>

以上所述就是本文的全部内容了,希望大家能够喜欢。

mysql优化是一个大方向,大的是要分布式、读写分离,小的是对sql语句进行优化。不过大多问的也是对sql语句优化,网上很多资料,我就大体说说。

1、explain+索引。

在你要查询的语句前加explain,看下有没有用到索引,如果出现type为all的,则说明有必要添加下索引。(附多表查询速度比较:表关联>exists>in)慢查询优化是一大块。

2、预统计。

很经常需要对历史的数据进行过滤统计。比如移动需要统计上个月电话小时数超过N小时的人,那么如果直接取原始数据,那将很慢,此时如果每天晚上凌晨都对数据进行预统计,统计每个人每天电话时数,那再来过滤就很快。

3、分表分区。

分表分区也是为了提高搜索速度。例如,公交车的gps行驶记录,gps每隔15s报一次,一辆车一天运行12小时,一天就要插入4*60*12条记录,N辆车就要再乘,其数量极大,所以经常按月分表,分表里再按上报时间做日分区,这样就达到很大的优化,想查询某段时间,mysql很快就可以定位到。

4、表结构。

表结构很重要,经常需要多表关联查询一些字段,有时可以冗余下放到同一张表。

mysql优化很有意思,多去查阅些资料,多去尝试,对你有好处的。

我一般用二种方法:

1.SQL文件数据备份;

下载一个Navicat Premium,使用这个软件,正确连接并访问数据库,

点中你想要备份的数据库,按右键使用转存SQL文件,就会出现你要备份的提示框,保存即可;

若要导进则用运行SQL文件,非常方便的导入单个数据库的,但这种只适合于小数据量的数据库(50万条以下);

2.底层备份,但这种备份要求安装是同一版本的mysql才适合,否则会出现未知错误;

直接找到mysql安装目录,找到data文件夹全部拷呗到你想备份的地方即可,还原就拷回来即可。适合大数据量的备份方法!

3.至于楼主硬要用PHP备份数据的话,你可以参考phpadmin和dedecms程序备份数据的方法,但这种执行效率很低的!


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/7403074.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-05
下一篇 2023-04-05

发表评论

登录后才能评论

评论列表(0条)

保存