我怎样才能防止数据库条目的并发修改

1. 事实上，交易不帮你在这里多...除非你想有运行在多个HTTP请求（你很可能不希望）的交易。 有什么用在这些情况下是“乐观锁定”。 Django的ORM不支持，据我所知。但一直以来关于添加此功能。 那么，你是你自己的。基本上，你应该做的就是添加一个“版本”字段，你的模型，并把它传递给一个隐藏字段。正常周期的更新是： 读取数据并显示给 用户可以修改数据 用户发布的数据 该应用程序将其保存回数据库。 乐观锁，当你保存数据，你检查，如果你得到了从后面的版本是作为一个在数据库中，然后更新数据库和版本。如果它们不是，那有一直以来被加载的数据的变化。 你可以做到这一点与像一个单一的SQL调用：UPDATE ... WHERE version = 'version_from_user'

这个调用将更新数据库只有在版本仍然是

2. 我就是这样做的Django的乐观锁：updated = Entry.objects.filter(Q(id=e.id) &&Q(version=e.version))\

.update(updated_field=new_value, version=e.version+1)

if not updated:

raise ConcurrentModificationException()

上面列出的代码可以在自定义管理。 我提出以下假设： 筛选（）。update（）方法会导致在一个单一的数据库查询过滤器是懒惰 数据库查询是原子 这些假设都足以确保没有其他人之前已经更新了条目。如果有多个行被更新这样你的交易。 警告Django的文件： 请注意，update（）方法是 直接转换为SQL 这是一个批量 *** 作 直接更新。它不运行任何 保存（您的模型）的方法，或发出 该pre_save或post_save信号

3. 这个问题是有点老了，我的回答有点晚，但经过我的理解使用这个已被固定在Django 1.4：select_for_update(nowait=True)

看到文档 返回一个QuerySet，将锁定行，直到事务结束，产生一个SELECT ...有关支持的数据库UPDATE的SQL。 通常情况下，如果另一个事务已获得所选择的行上的锁，则查询将阻塞，直到锁被释放。如果这不是你想要的行为，请致电select_for_update（NOWAIT=TRUE）。这将使调用非阻塞的。如果已经获取了冲突的锁被另一个事务时的QuerySet进行评估，DatabaseError的将得到提升。 当然，这只会工作，如果后端支持的“选择更新”功能，这对于例如SQLite不。不幸的是：nowait=True不支持MySql的，有你有nowait=False，这只会阻塞，直到锁被释放。

4. 对于未来的参考，退房离开的时候（在浏览器中，例如崩溃）的页面，并锁定它锁定的方式，不留下永恒的锁，通过javascript的解锁的混合物。下

5. 你应该Django的交易中间件，至少，甚至不管这个问题。 至于你实际有编辑数据的问题...是的，使用锁。或： 检查什么版本正在更新对（这样做牢固，不能简单地破解系统说，他们正在更新的最新副本！），且仅当该版本是最新的更新。否则，返回一个新页面与原来的版本，他们编辑，他们提交的版本，和别人写的新版本（S）。问他们变成一体，完全取决于最新的版本。你可以尝试类似的diff +补丁工具集，但你需要有方法工作失败的案例，无论如何，所以开始了。此外，您将需要保存的版本历史记录，并允许管理员恢复的变化，在无意的情况下或向上，但你应该有反正。 有很可能是Django应用程序/库，做这个最适合你。

6. 为了安全起见，数据库需要支持事务。 如果字段是“自由形式”如文字等等，你需要允许可以编辑的字段（你不能有所有权的数据），你可以存储在变量中的原始数据。 当committs，检查输入数据从原始数据更改（如果不是，你不需要通过重写旧数据打扰DB） 如果原来在数据库中的当前数据是可以保存，如果它改变了你可以示区别，并问该怎么办。 如果字段是一个数字如账户余额，在商店等项目的数量，你可以自动处理它，如果你计算出原始值（存储开始时填写表单）和新的价值，你就可以开始一个事务读取当前值之间的差额新增的差别，然后结束交易。如果你不能有负值，则应该中止交易，如果结果为负，并告诉 我不知道Django的，所以我不能给你德cod3s .. )

7. 另一个需要注意的是这个词“原子”.a个原子，你的数据库的更改要么发生或无法快速搜索说明这个问题问Django中的原子 *** 作。

8. 上面的想法updated = Entry.objects.filter(Q(id=e.id) &&Q(version=e.version))\

.update(updated_field=new_value, version=e.version+1)

if not updated:

raise ConcurrentModificationException()

看起来不错，应该能正常运行，即使没有序列化的交易。 问题是如何将deafult。保存（）的行为，以不必须做人工管道来调用。update（）方法。 我看着自定义管理想法。 我的计划是覆盖被称为Model.save_base（）来执行更新的经理。 这是在Django 1.3当前代码def _update(self, values, **kwargs):

return self.get_query_set()._update(values, **kwargs)

什么需要恕我直言做的是这样的：def _update(self, values, **kwargs):

#TODO Get version field value

v = self.get_version_field_value(values[0])

return self.get_query_set().filter(Q(version=v))._update(values, **kwargs)

类似的事情需要发生的删除。但是删除是有点难度的Django是相当巫术在这方面通过django.db.models.deletion.Collector。 这是奇怪的，像Django的modren工具缺乏对Optimictic Concurency控制指导。 当我解开这个谜，我会更新这个帖子。希望解决方案将是不涉及万吨编码，怪异的意见，跳绳重要部分的Django等的一个很好的Python的方式

9. 从这里开始： 我假设将举行一个隐藏字段中你试图挽救细节的表格。def save(self):

if(self.id):

foo = Foo.objects.get(pk=self.id)

if(foo.timestamp >self.timestamp):

raise Exception, "trying to save outdated Foo"

super(Foo, self).save()

sqlserver

本身通过不同等级的锁处理并发控制。

有记录锁、页锁、表锁。

如果多个用户同时 *** 作一个记录，只有第一个能修改，后面的修改时处理等等状态。

但是在一般程序界面上，多个人同时打开了同一个记录要进行修改，数据库往往是保存最后一个修改的数据。可以在保存前做验证，如果发现打开的数据已改变（界面和数据库一不致了），则提示数据已改变，重新获取新数据，然后才能修改和保存。

现象

Sysbench对MySQL进行压测, 并发数过大(>5k)时, Sysbench建立连接的步骤会超时.

猜想

猜想: 直觉上这很简单, Sysbench每建立一个连接, 都要消耗一个线程, 资源消耗过大导致超时.

验证: 修改Sysbench源码, 调大超时时间, 仍然会发生超时.

检查环境

猜想失败, 回到常规的环境检查:

MySQL error log 未见异常.

syslog 未见异常.

tcpdump 观察网络包未见异常, 连接能完成正常的三次握手只观察到在出问题的连接中, 有一部分的TCP握手的第一个SYN包发生了重传, 另一部分没有发生重传.

自己写一个简单的并发发生器, 替换sysbench, 可重现场景. 排除sysbench的影响

猜想2

怀疑 MySQL 在应用层因为某种原因, 没有发送握手包, 比如卡在某一个流程上:

检查MySQL堆栈未见异常, 仿佛MySQL在应用层没有看到新连接进入.

通过strace检查MySQL, 发现 accept() 调用确实没有感知到新连接.

怀疑是OS的原因, Google之, 得到参考文档: A TCP “stuck” connection mystery【http://www.evanjones.ca/tcp-stuck-connection-mystery.html】

分析

参考文档中的现象跟目前的状况很类似, 简述如下:

正常的TCP连接流程:

Client 向 Server 发起连接请求, 发送SYN.

Server 预留连接资源, 向 Client 回复SYN-ACK.

Client 向 Server 回复ACK.

Server 收到 ACK, 连接建立.

在业务层上, Client和Server间进行通讯.

当发生类似SYN-flood的现象时, TCP连接的流程会使用SYN-cookie, 变为:

Client 向 Server 发起连接请求, 发送SYN.

Server 不预留连接资源, 向 Client 回复SYN-ACK, 包中附带有签名A.

Client 向 Server 回复ACK, 附带 f(签名A) (对签名进行运算的结果).

Server 验证签名, 分配连接资源, 连接建立.

在业务层上, Client和Server间进行通讯.

当启用SYN-cookie时, 第3步的ACK包因为 某种原因 丢失, 那么:

从Client的视角, 连接已经建立.

从Server的视角, 连接并不存在, 既没有建立, 也没有”即将建立” (若不启用SYN-cookie, Server会知道某个连接”即将建立”)

发生这种情况时:

若业务层的第一个包应是从 Client 发往 Server, 则会进行重发或抛出连接错误

若业务层的第一个包应是从 Server 发往 Client的, Server不会发出第一个包. MySQL的故障就属于这种情况.

TCP握手的第三步ACK包为什么丢失

参考文档中, 对于TCP握手的第三步ACK包的丢失原因, 描述为:

Some of these packets get lost because some buffer somewhere overflows.

我们可以通过Systemtap进一步探究原因. 通过一个简单的脚本:

probe kernel.function("cookie_v4_check").return

{

source_port = @cast($skb->head + $skb->transport_header, "struct tcphdr")->source

printf("source=%d, return=%d\n",readable_port(source_port), $return)

}

function readable_port(port) {

return (port &((1<<9)-1)) <<8 | (port >>8)

}

观察结果, 可以确认cookie_v4_check (syn cookie机制进行包签名检查的函数)会返回 NULL(0). 即验证是由于syn cookie验证不通过, 导致TCP握手的第三步ACK包不被接受.

之后就是对其中不同条件进行观察, 看看是哪个条件不通过. 最终原因是accept队列满(sk_acceptq_is_full):

static inline bool sk_acceptq_is_full(const struct sock  *sk){   return sk->sk_ack_backlog >sk-   >sk_max_ack_backlog}

恢复故障与日志的正关联

在故障处理的一开始, 我们就检查了syslog, 结论是未见异常.

当整个故障分析完成, 得知了故障与syn cookie有关, 回头看syslog, 里面是有相关的信息, 只是和故障发生的时间不匹配, 没有正关联, 因此被忽略.

检查Linux源码:

if (!queue->synflood_warned &&

sysctl_tcp_syncookies != 2 &&

xchg(&queue->synflood_warned, 1) == 0)

pr_info("%s: Possible SYN flooding on port %d. %s.

Check SNMP counters.\n",

proto, ntohs(tcp_hdr(skb)->dest), msg)

可以看到日志受到了抑制, 因此日志与故障的正关联被破坏.

粗看源码, 每个listen socket只会发送一次告警日志, 要获得日志与故障的正关联, 必须每次测试重启MySQL.

解决方案

这种故障一旦形成, 难以检测系统日志中只会出现一次, 在下次重启MySQL之前就不会再出现了Client如果没有合适的超时机制, 万劫不复.

解决方案:

1. 修改MySQL的协议, 让Client先发握手包. 显然不现实.

2. 关闭syn_cookie. 有安全的人又要跳出来了.

3. 或者调高syn_cookie的触发条件 (syn backlog长度). 降低系统对syn flood的敏感度, 使之可以容忍业务的syn波动.

有多个系统参数混合影响syn backlog长度, 参看【http://blog.dubbelboer.com/2012/04/09/syn-cookies.html】

下图为精华总结

请点击输入图片描述

---