insert into A select * from B
insert into A select * from C
insert into A select * from D
2、删除重复的记录只保留一行
delete from A where name in (select id from t1 group by id having count(id) >1)and rowid not in (select min(rowid) from t1 group by id having
count(*)>1)
3、记录一下这些重复的记录,
mysql -uroot -p123456 -Ddb01 -e 'select b.id from t1 b group by id having count(b.id) >1' | tail -n +2 >repeat.txt
删除全部重复的记录
delete from A where name in (select name from t1 group by name having count(name) >1)
再次插入多删的重复记录
#!/bin/sh
for id1 in `cat repeat.txt`do
mysql -uroot -p123456 -Ddb01 -e "insert into A select * from B where id='${id1}'"
done
insert into tablename values(value1,value2,...)insert into tablename(fieldname1,fieldname2,...) values(value1,value2,...)insert into tablename(fieldname1,fieldname2) select fieldname1,fieldname2 from tablename1以上基本上罗列了用insert插入数据的方法,当然你也可以用insert语句将几行同时插入到一个表中.如下所示:2.在mysql运行环境下,我们还可以用LOAD DATA 语句把文件里面的数据读取录入到表里面.一般来讲,因为此文件是由服务器在主机上直接读取的.所以你必须具有file权限且文件必须是完全可读.当你版本够新的话,你可以给出local,这样由于你是从客户机上读取该文件并将内容传送到服务器,你就不需要file权限.如果你没有给出local,则服务器按如下方法对其进行定位:1)如果你的filename为绝对路径,则服务器从根目录开始查找该文件.2)如果你的filename为相对路径,则服务器从数据库的数据目录中开始查找该文件.如果你给出了local,则文件将按以下方式进行定位:1)如果你的filename为绝对路径,则客户机从根目录开始查找该文件.2)如果你的filename为相对路径,则客户机从当前目录开始查找该文件.说了半天,也许你还不明白这具体的格式,看下面先:LOAD DATA [LOCAL] INFILE 'filename' into table tablename import_options [(fieldname_list)]import options的语法为:fieldsterminated by 'char'enclosed by 'char'escaped by 'char'linesterminated by 'string'下面我们对其进行一些说明:1)fields terminated by char 指定分隔列的字符.缺省时假定列值由制表符分隔.2)fields enclosed by char 指明列值应包括在指定的字符中.通常用引号.缺省时,假定列值不包括在任何字符中.3)fields escaped by char 表示用于转义特殊字符的转义符.缺省时表示无转义符4)lindes escaped by string 指定结束输入行的串(可以是多字符的).缺省时假定由换行符终止行需要注意的是转义字符的使用. 如:\' 表示单引号,\" 表示双引号 等等.另外还有一些选项这里没有具体谈到,如 ignore n lines 她可以控制文件的前n行不被读入数据库.详细请看mysql中文参考.说了上面这么多,给一行命令大家具体体会一下:load data [local] infile "sample.txt" into table sample fields terminated by "," enclosed by "\""3.在系统命令行下你可以用mysqlimport实用程序,她将文本文件的内容读取到已有表中(其实mysqlimport起的作用就是实现load data命令行的接口),调用完mysqlimport后她生成一个load data 语句.语法基本上和load data差不多:mysqlimport [options] sample_db filename同样,给条命令看一下吧:传统情况
我们先回顾一下,在没有 "立刻加列" 功能时,加列 *** 作是怎么完成的。我们也借此来熟悉一下本期的图例:
当进行 加列 *** 作 时,所有的数据行 都必须要 增加一段数据(图中的 列 4 数据)
如上一期图解所讲,当改变数据行的长度,就需要 重建表空间(图中灰蓝的部分为发生变更的部分)
数据字典中的列定义也会被更新
以上 *** 作的问题在于 每次加列 *** 作都需要重建表空间,这就需要大量 IO以及大量的时间
立刻加列
"立刻加列" 的过程如下图:
请点击输入图片描述
请点击输入图片描述
"立刻加列" 时,只会变更数据字典中的内容,包括:
在列定义中增加 新列的定义
增加 新列的默认值
"立刻加列" 后,当要读取表中的数据时:
由于 "立刻加列" 没有 变更行数据,读取的行数据只有 3 列
MySQL 会将 新增的第 4 列的默认值,追加到 读取的数据后
以上过程描述了 如何读取 在 "立刻加列" 之前写入的数据,其实质是:在读取数据的过程中,"伪造" 了一个新列出来
那么如何读取 在 "立刻加列" 之后 写入的数据呢 ? 过程如下图:
当读取 行 4 时:
请点击输入图片描述
请点击输入图片描述
通过判断 数据行的头信息中的instant 标志位,可以知道该行的格式是 "新格式":该行头信息后有一个新字段 "列数"
通过读取 数据行的 "列数" 字段,可以知道 该行数据中多少列有 "真实" 的数据,从而按列数读取数据
通过上图可以看到:读取 在"立刻加列" 前/后写入的数据是不同的流程
通过以上的讨论,我们可以总结 "立刻加列" 之所以高效的原因是:
在执行 "立刻加列" 时,不变更数据行的结构
读取 "旧" 数据时,"伪造" 新增的列,使结果正确
写入 "新" 数据时,使用了新的数据格式(增加了instant标志位 和 "列数" 字段),以区分新旧数据
读取 "新" 数据时,可以如实读取数据
那么 我们是否能一直 "伪造" 下去 ? "伪造" 何时会被拆穿 ?
考虑以下场景:
用 "立刻加列" 增加列 A
写入数据行 1
用 "立刻加列" 增加列 B
写入数据行 2
删除列 B
我们推测一下 "删除列 B" 的最小代价:需要修改 数据行中的instant标志位或 "列数" 字段,这至少会影响到 "立刻加列" 之后写入的数据行,成本类似于重建数据
从以上推测可知:当出现 与 "立刻加列" *** 作不兼容 的 DDL *** 作时,数据表需要进行重建,如下图所示:
请点击输入图片描述
请点击输入图片描述
扩展思考题:是否能设计其他的数据格式,取代instant标志位和 "列数" 字段,使得 加列/删列 *** 作都能 "立刻完成" ?(提示:考虑 加列 - 删列 - 再加列 的情况)
使用限制
在了解原理之后,我们来看看 "立刻加列" 的使用限制,就很容易能理解其中的前两项:
"立刻加列" 的加列位置只能在表的最后,而不能加在其他列之间
在元数据中,只记录了 数据行 应有多少列,而没有记录 这些列 应出现的位置。所以无法实现指定列的位置
"立刻加列" 不能添加主键列
加列 不能涉及聚簇索引的变更,否则就变成了 "重建" *** 作,不是 "立刻" 完成了
"立刻加列"不支持压缩的表格式
按照 WL 的说法:"COMPRESSED is no need to supported"(没必要支持不怎么用的格式)
总结回顾
我们总结一下上面的讨论:
"立刻加列" 之所以高效的原因是:
在执行 "立刻加列" 时,不变更数据行的结构
读取 "旧" 数据时,"伪造" 新增的列,使结果正确
写入 "新" 数据时,使用了新的数据格式 (增加了 instant 标志位 和 "列数" 字段),以区分新旧数据
读取 "新" 数据时,可以如实读取数据
"立刻加列" 的 "伪造" 手法,不能一直维持下去。当发生 与 "立刻加列" *** 作不兼容 的 DDL 时,表数据就会发生重建
回到之前遗留的两个问题:
"立刻加列" 是如何工作的 ?
我们已经解答了这个问题
所谓 "立刻加列" 是否完全不影响业务,是否是真正的 "立刻" 完成 ?
可以看到:就算是 "立刻加列",也需要变更 数据字典,那么 该上的锁还是逃不掉的。也就是说 这里的 "立刻" 指的是 "不变更数据行的结构",而并非指 "零成本地完成任务"
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)