sqlite迁移至MysqL
一、 准备工作
相关sqlite语句
进入sqlite数据库，如数据库名为mobi.db
[root@localhost ~]# sqlite3 mobi.db
sqlite version 3.6.23.1
Enter ".help" for instructions
Enter sql statements terminated with a ";"
1）查看数据库
sqlite> .database
seq name file
--- --------------- ----------------------------------------------------------
0 main /root/mobi.dbbak
2）查看库里的表
sqlite> .tables
account_alias devprop selffund userdevbind
accountmap misc selfstock yybList
appupdate qs_qs sync_queue yybList2
3）查看表结构
sqlite> .schema devprop
CREATE table devprop(
devID varchar(48) primary key,
devprop text,
checksum varchar(16),
update_time varchar(16)
);
二、从sqlite dump出需要迁移的数据库。
把当前数据库导出文件名为mobi.sql
sqlite>.output mobi.sql
sqlite>.dump
三、遇到的第一个问题，MysqL比sqlite的表结构新，多了字段
导入MysqL数据库语句,并做相关修改
注意：如果你是把最新的MysqL表创建语句导入后，请检查该数据库里的表与sqlite里相同的表的字段是否一致，如果不一致先删除掉多余的字段后导数据，删除字段语句：alter table devprop drop column flag;
导完数据后，再加上该字段即可
四、遇到的第二个问题，MysqL导入里不允许表名以“”引住
[root@localhost ~]# vi mobi.sql
1）把里面的CREATE table相关语句查找出来去掉
2）删除INTO与VALUES之间的引号
sed -i 's/INTO "/INTO /g' mobi.sql && sed -i 's/" VALUES/ VALUES/g' mobi.sql
五、遇到的第三个问题，由于之前的程序开发不严谨居然用户里有转义字符（\ ）
INSERT INTO selfstock VALUES('身了Uk\','','1266411514',NulL);
在未处理这\特殊字符之前，MysqL里count出来的selfstock数与sqlite对比少了15w行，由于用户量过大这种错误提示较为难找，我的对比方法是先count看下两数据量是不是一致
不一致时
a) MysqL的日志开启出来（log_bin=MysqL-bin开启日志）
b) 过滤相关selfstock 表数据
msyql过滤
MysqLbinlog /var/lib/MysqL/MysqL-bin.000001 ｜grep selfstock > selfstock.MysqL 后面生成的日志追加至selfstock.MysqL
sqlite过滤
grep selfstock mobi.sql > selfstock.sqlite
对比相关数据
diff selfstock.sqlite selfstock.MysqL >diff.sql
1. 对比时使用到的shell正则：g/^$/d vi里去除空行，：1,$s/[0-9][0-9a-z]//g vi里去掉diff不必要的数据
MysqL在shell情况下导入时\这个转义字符时，须先将其转义：
sed -i 's#\#\\#g' mobi.sql
由于转义字符的原因对比少了15w数据，数据量过大检查并未发现明显错误，于是采用上面的对比方法找出，由于这个问题的出现，刚开始一直以为是乱码问题，搞得莫名其妙。
查看相关数据差异数据，重置MysqL日志reset master,查看MysqL日志名show binary logs
六、第四个问题MysqL插入用户时大小写忽略
由于导出MysqL在运行的表结构出来的时候不会保存控制表内容大小写
在建表时时候加以标识
CREATE table devprop(
devID varchar(48) binary primary key,
devprop text,
update_time varchar(16)
);
由于大小写的原因少了70多条数据
七、第五个问题，末尾空格用户
上面的问题都解决了之后，发现用户还是少了四条，实在不解于是再次采用对比方法，发现有用户是重名，对于MysqL来说，即前面的字符都一样但有个用户后面多了一个或多个空格如下：
INSERT INTO misc VALUES('18970171896 ','1267243148',NulL);
INSERT INTO misc VALUES('18970171896','1269091519',NulL);
由于此用户为不合法用户也就没有导入了。
补充知识及参考资料：
lower_case_table_names=1 MysqL默认表名区分大小写，列名不区分，默认值为1
http://firefore.com/2008/01/lower-case-table-names.html
http://www.linuxpig.com/2010/08/mysqlchaxunbuqufendaxiaoxiewentifenxihejiejue/
注意事项：需要把使用sqlite数据库的相关程序停止掉
[root@hxmobi-dell mobiauth]#ps aux|grep mobia
root 6303 0.0 0.0 4572 1008 ? S Nov20 0:00 sh /root/mobile/mobiauth/mobia.sh
root 16361 0.5 1.4 127884 58060 ? Sl Nov22 5:31 obj/mobia -abc
root 19997 0.0 0.0 4004 688 pts/1 S+ 10:42 0:00 grep mobia
[root@hxmobi-dell mobiauth]#kill -9 6303 16361
[root@hxmobi-dell db]# cd /root/mobile/mobiauth/config/db
[root@hxmobi-dell db]# cp mobi.ab mobi.ab-2010-11-23
拷贝完后把原sqlite认证程序启动。让用户可以登录，如果认证程序不停掉 *** 作sqlite数据库，会导致数据损坏问题
总结以上是内存溢出为你收集整理的转义字符导致sqlite迁移至mysql少了15w数据全部内容，希望文章能够帮你解决转义字符导致sqlite迁移至mysql少了15w数据所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）