高并发下数据库插入重复数据，有什么好方法

MySql避免重复插入记录的几种方法

本文章来给大家提供三种在mysql中避免重复插入记录方法，主要是讲到了ignore,Replace,ON DUPLICATE KEY UPDATE三种方法，有需要的朋友可以参考一下

方案一：使用ignore关键字

如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用：

复制代码 代码如下:

INSERT IGNORE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('test9@163.com', '99999', '9999')

这样当有重复记录就会忽略,执行后返回数字0

还有个应用就是复制表,避免重复记录：

复制代码 代码如下:

INSERT IGNORE INTO `table_1` (`name`) SELECT `name` FROM `table_2`

方案二：使用Replace

语法格式：

复制代码 代码如下:

REPLACE INTO `table_name`(`col_name`, ...) VALUES (...)

REPLACE INTO `table_name` (`col_name`, ...) SELECT ...

REPLACE INTO `table_name` SET `col_name`='value',

...算法说明：

REPLACE的运行与INSERT很相像,但是如果旧记录与新记录有相同的值，则在新记录被插入之前，旧记录被删除，即：

尝试把新行插入到表中

当因为对于主键或唯一关键字出现重复关键字错误而造成插入失败时：

从表中删除含有重复关键字值的冲突行

再次尝试把新行插入到表中

旧记录与新记录有相同的值的判断标准就是：

表有一个PRIMARY KEY或UNIQUE索引，否则，使用一个REPLACE语句没有意义。该语句会与INSERT相同，因为没有索引被用于确定是否新行复制了其它的行。

返回值：

REPLACE语句会返回一个数，来指示受影响的行的数目。该数是被删除和被插入的行数的和

受影响的行数可以容易地确定是否REPLACE只添加了一行，或者是否REPLACE也替换了其它行：检查该数是否为1（添加）或更大（替换）。

示例:

# eg:(phone字段为唯一索引)

复制代码 代码如下:

REPLACE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('test569', '99999', '123')

另外,在 SQL Server 中可以这样处理：

复制代码 代码如下:

if not exists (select phone from t where phone= '1') insert into t(phone, update_time) values('1', getdate()) elseupdate t set update_time = getdate() where phone= '1'

更多信息请看：http://dev.mysql.com/doc/refman/5.1/zh/sql-syntax.html#replace

方案三：ON DUPLICATE KEY UPDATE

如‍上所写，你也可以在INSERT INTO…..后面加上 ON DUPLICATE KEY UPDATE方法来实现。如果您指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则执行旧行UPDATE。

例如，如果列a被定义为UNIQUE，并且包含值1，则以下两个语句具有相同的效果：

复制代码 代码如下:

INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=`c`+1

UPDATE `table` SET `c`=`c`+1 WHERE `a`=1

如果行作为新记录被插入，则受影响行的值为1；如果原有的记录被更新，则受影响行的值为2。

注释：如果列b也是唯一列，则INSERT与此UPDATE语句相当：

复制代码 代码如下:

UPDATE `table` SET `c`=`c`+1 WHERE `a`=1 OR `b`=2 LIMIT 1

如果a=1 OR b=2与多个行向匹配，则只有一个行被更新。通常，您应该尽量避免对带有多个唯一关键字的表使用ON DUPLICATE KEY子句。

您可以在UPDATE子句中使用VALUES(col_name)函数从INSERT…UPDATE语句的INSERT部分引用列值。换句话说，如果没有发生重复关键字冲突，则UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函数特别适用于多行插入。VALUES()函数只在INSERT…UPDATE语句中有意义，其它时候会返回NULL。

复制代码 代码如下:

INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3), (4, 5, 6) ON DUPLICATE KEY UPDATE `c`=VALUES(`a`)+VALUES(`b`)

本语句与以下两个语句作用相同：

复制代码 代码如下:

INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=3

INSERT INTO `table` (`a`, `b`, `c`) VALUES (4, 5, 6) ON DUPLICATE KEY UPDATE c=9

注释：当您使用ON DUPLICATE KEY UPDATE时，DELAYED选项被忽略。

示例：

这个例子是我在实际项目中用到的：是将一个表的数据导入到另外一个表中，数据的重复性就得考虑(如下)，唯一索引为：email：

复制代码 代码如下:

INSERT INTO `table_name1` (`title`, `first_name`, `last_name`, `email`, `phone`, `user_id`, `role_id`, `status`, `campaign_id`)

SELECT '', '', '', `table_name2`.`email`, `table_name2`.`phone`, NULL, NULL, 'pending', 29 FROM `table_name2`

WHERE `table_name2`.`status` = 1

ON DUPLICATE KEY UPDATE `table_name1`.`status`='pending'

再贴一个例子：

复制代码 代码如下:

INSERT INTO `class` SELECT * FROM `class1` ON DUPLICATE KEY UPDATE `class`.`course`=`class1`.`course`

其它关键：DELAYED 做为快速插入，并不是很关心失效性，提高插入性能。

IGNORE 只关注主键对应记录是不存在，无则添加，有则忽略。

特别说明：在MYSQL中UNIQUE索引将会对null字段失效，也就是说(a字段上建立唯一索引)：

复制代码 代码如下:

INSERT INTO `test` (`a`) VALUES (NULL)

是可以重复插入的（联合唯一索引也一样）。

duplicate entry 翻译为：重复分录、重复条目

一、关键词解析：duplicate

音标：　英 ['djuːplɪkət] 　 　 美 ['duːplɪkət]

意思：　 　

n. 副本

adj. 完全一样的；复制的

v. 复制；重复

短语：

duplicate document 复印文件

duplicate key 配钥匙

keep a duplicate 保留副本

in duplicate 一式两份

例句：

The manager asks the secretary to duplicate the document.

经理让秘书复印这份文件。

It occurred to us that we were merely duplicating their research.

我们想到我们仅仅在重复他们的研究。

This form should be filled out in duplicate.

这种表格要填写一式两份。

二、关键词解析：entry

音标：英 ['entri] 　 　 美 ['entri] 　

意思：n. 进入；进入权；入口；条目

短语：

run-on entry 接排的词条

dictionary entry 字典中的条目

vocabulary entry 词条

at an entry 在某条目下

pass entry 入账

例句：

The entry of all expenditure is necessary.

把一切开支入账是必要的。

This dictionary has over 30,000 entries.

这本词典收词三万多条。

---