一文搞懂 ， Linux内核—— 同步管理（下）

上面讲的自旋锁，信号量和互斥锁的实现，都是使用了原子 *** 作指令。由于原子 *** 作会 lock，当线程在多个 CPU 上争抢进入临界区的时候，都会 *** 作那个在多个 CPU 之间共享的数据 lock。CPU 0 *** 作了 lock，为了数据的一致性，CPU 0 的 *** 作会导致其他 CPU 的 L1 中的 lock 变成 invalid，在随后的来自其他 CPU 对 lock 的访问会导致 L1 cache miss（更准确的说是communication cache miss），必须从下一个 level 的 cache 中获取。

这就会使缓存一致性变得很糟，导致性能下降。所以内核提供一种新的同步方式：RCU（读-复制-更新）。

RCU 解决了什么

RCU 是读写锁的高性能版本，它的核心理念是读者访问的同时，写者可以更新访问对象的副本，但写者需要等待所有读者完成访问之后，才能删除老对象。读者没有任何同步开销，而写者的同步开销则取决于使用的写者间同步机制。

RCU 适用于需要频繁的读取数据，而相应修改数据并不多的情景，例如在文件系统中，经常需要查找定位目录，而对目录的修改相对来说并不多，这就是 RCU 发挥作用的最佳场景。

RCU 例子

RCU 常用的接口如下图所示：

为了更好的理解，在剖析 RCU 之前先看一个例子：

#include<linux/kernel.h>#include<linux/module.h>#include<linux/init.h>#include<linux/slab.h>#include<linux/spinlock.h>#include<linux/rcupdate.h>#include<linux/kthread.h>#include<linux/delay.h>structfoo{intastructrcu_headrcu}staticstructfoo*g_ptrstaticintmyrcu_reader_thread1(void*data)//读者线程1{structfoo*p1=NULLwhile(1){if(kthread_should_stop())breakmsleep(20)rcu_read_lock()mdelay(200)p1=rcu_dereference(g_ptr)if(p1)printk("%s: read a=%d\n",__func__,p1->a)rcu_read_unlock()}return0}staticintmyrcu_reader_thread2(void*data)//读者线程2{structfoo*p2=NULLwhile(1){if(kthread_should_stop())breakmsleep(30)rcu_read_lock()mdelay(100)p2=rcu_dereference(g_ptr)if(p2)printk("%s: read a=%d\n",__func__,p2->a)rcu_read_unlock()}return0}staticvoidmyrcu_del(structrcu_head*rh)//回收处理 *** 作{structfoo*p=container_of(rh,structfoo,rcu)printk("%s: a=%d\n",__func__,p->a)kfree(p)}staticintmyrcu_writer_thread(void*p)//写者线程{structfoo*oldstructfoo*new_ptrintvalue=(unsignedlong)pwhile(1){if(kthread_should_stop())breakmsleep(250)new_ptr=kmalloc(sizeof(structfoo),GFP_KERNEL)old=g_ptr*new_ptr=*oldnew_ptr->a=valuercu_assign_pointer(g_ptr,new_ptr)call_rcu(&old->rcu,myrcu_del)printk("%s: write to new %d\n",__func__,value)value++}return0}staticstructtask_struct*reader_thread1staticstructtask_struct*reader_thread2staticstructtask_struct*writer_threadstaticint__initmy_test_init(void){intvalue=5printk("figo: my module init\n")g_ptr=kzalloc(sizeof(structfoo),GFP_KERNEL)reader_thread1=kthread_run(myrcu_reader_thread1,NULL,"rcu_reader1")reader_thread2=kthread_run(myrcu_reader_thread2,NULL,"rcu_reader2")writer_thread=kthread_run(myrcu_writer_thread,(void*)(unsignedlong)value,"rcu_writer")return0}staticvoid__exitmy_test_exit(void){printk("goodbye\n")kthread_stop(reader_thread1)kthread_stop(reader_thread2)kthread_stop(writer_thread)if(g_ptr)kfree(g_ptr)}MODULE_LICENSE("GPL")module_init(my_test_init)module_exit(my_test_exit)

执行结果是：

myrcu_reader_thread2:reada=0myrcu_reader_thread1:reada=0myrcu_reader_thread2:reada=0myrcu_writer_thread:writetonew5myrcu_reader_thread2:reada=5myrcu_reader_thread1:reada=5myrcu_del:a=0

RCU 原理

可以用下面一张图来总结，当写线程 myrcu_writer_thread 写完后，会更新到另外两个读线程 myrcu_reader_thread1 和 myrcu_reader_thread2。读线程像是订阅者，一旦写线程对临界区有更新，写线程就像发布者一样通知到订阅者那里，如下图所示。

写者在拷贝副本修改后进行 update 时，首先把旧的临界资源数据移除（Removal）；然后把旧的数据进行回收（Reclamation）。结合 API 实现就是，首先使用 rcu_assign_pointer 来移除旧的指针指向，指向更新后的临界资源；然后使用 synchronize_rcu 或 call_rcu 来启动 Reclaimer，对旧的临界资源进行回收（其中 synchronize_rcu 表示同步等待回收，call_rcu 表示异步回收）。

为了确保没有读者正在访问要回收的临界资源，Reclaimer 需要等待所有的读者退出临界区，这个等待的时间叫做宽限期（Grace Period）。

Grace Period

中间的黄色部分代表的就是 Grace Period，中文叫做宽限期，从 Removal 到 Reclamation，中间就隔了一个宽限期，只有当宽限期结束后，才会触发回收的工作。宽限期的结束代表着 Reader 都已经退出了临界区，因此回收工作也就是安全的 *** 作了。

宽限期是否结束，与 CPU 的执行状态检测有关，也就是检测静止状态 Quiescent Status。

Quiescent Status

Quiescent Status，用于描述 CPU 的执行状态。当某个 CPU 正在访问 RCU 保护的临界区时，认为是活动的状态，而当它离开了临界区后，则认为它是静止的状态。当所有的 CPU 都至少经历过一次 Quiescent Status 后，宽限期将结束并触发回收工作。

因为 rcu_read_lock 和 rcu_read_unlock 分别是关闭抢占和打开抢占，如下所示：

staticinlinevoid__rcu_read_lock(void){preempt_disable()}

staticinlinevoid__rcu_read_unlock(void){preempt_enable()}

所以发生抢占，就说明不在 rcu_read_lock 和 rcu_read_unlock 之间，即已经完成访问或者还未开始访问。

Linux 同步方式的总结

资料免费领

学习直通车

写作本文档的目的，是为了解释为什么Linux既没有二进制内核接口，也没有稳定 的内核接口。这里所说的内核接口，是指内核里的接口，而不是内核和用户空间 的接口。内核到用户空间的接口，是提供给应用程序使用的系统调用，系统调用 在 历史 上几乎没有过变化，将来也不会有变化。我有一些老应用程序是在0.9版本 或者更早版本的内核上编译的，在使用2.6版本内核的Linux发布上依然用得很好 。用户和应用程序作者可以将这个接口看成是稳定的。

你也许以为自己想要稳定的内核接口，但是你不清楚你要的实际上不是它。你需 要的其实是稳定的驱动程序，而你只有将驱动程序放到公版内核的源代码树里， 才有可能达到这个目的。而且这样做还有很多其它好处，正是因为这些好处使得 Linux能成为强壮，稳定，成熟的 *** 作系统，这也是你最开始选择Linux的原因。

只有那些写驱动程序的“怪人”才会担心内核接口的改变，对广大用户来说，既 看不到内核接口，也不需要去关心它。

既然只谈技术问题，我们就有了下面两个主题：二进制内核接口和稳定的内核源 代码接口。这两个问题是互相关联的，让我们先解决掉二进制接口的问题。

假如我们有一个稳定的内核源代码接口，那么自然而然的，我们就拥有了稳定的 二进制接口，是这样的吗？错。让我们看看关于Linux内核的几点事实：

对于一个特定的内核，满足这些条件并不难，使用同一个C编译器和同样的内核配 置选项来编译驱动程序模块就可以了。这对于给一个特定Linux发布的特定版本提 供驱动程序，是完全可以满足需求的。但是如果你要给不同发布的不同版本都发 布一个驱动程序，就需要在每个发布上用不同的内核设置参数都编译一次内核， 这简直跟噩梦一样。而且还要注意到，每个Linux发布还提供不同的Linux内核， 这些内核都针对不同的硬件类型进行了优化（有很多种不同的处理器，还有不同 的内核设置选项）。所以每发布一次驱动程序，都需要提供很多不同版本的内核 模块。

相信我，如果你真的要采取这种发布方式，一定会慢慢疯掉，我很久以前就有过 深刻的教训…

如果有人不将他的内核驱动程序，放入公版内核的源代码树，而又想让驱动程序 一直保持在最新的内核中可用，那么这个话题将会变得没完没了。 内核开发是持续而且快节奏的，从来都不会慢下来。内核开发人员在当前接口中 找到bug，或者找到更好的实现方式。一旦发现这些，他们就很快会去修改当前的 接口。修改接口意味着，函数名可能会改变，结构体可能被扩充或者删减，函数 的参数也可能发生改变。一旦接口被修改，内核中使用这些接口的地方需要同时 修正，这样才能保证所有的东西继续工作。

举一个例子，内核的USB驱动程序接口在USB子系统的整个生命周期中，至少经历 了三次重写。这些重写解决以下问题：

这和一些封闭源代码的 *** 作系统形成鲜明的对比，在那些 *** 作系统上，不得不额 外的维护旧的USB接口。这导致了一个可能性，新的开发者依然会不小心使用旧的 接口，以不恰当的方式编写代码，进而影响到 *** 作系统的稳定性。 在上面的例子中，所有的开发者都同意这些重要的改动，在这样的情况下修改代 价很低。如果Linux保持一个稳定的内核源代码接口，那么就得创建一个新的接口 ；旧的，有问题的接口必须一直维护，给Linux USB开发者带来额外的工作。既然 所有的Linux USB驱动的作者都是利用自己的时间工作，那么要求他们去做毫无意 义的免费额外工作，是不可能的。 安全问题对Linux来说十分重要。一个安全问题被发现，就会在短时间内得到修 正。在很多情况下，这将导致Linux内核中的一些接口被重写，以从根本上避免安 全问题。一旦接口被重写，所有使用这些接口的驱动程序，必须同时得到修正， 以确定安全问题已经得到修复并且不可能在未来还有同样的安全问题。如果内核 内部接口不允许改变，那么就不可能修复这样的安全问题，也不可能确认这样的 安全问题以后不会发生。 开发者一直在清理内核接口。如果一个接口没有人在使用了，它就会被删除。这 样可以确保内核尽可能的小，而且所有潜在的接口都会得到尽可能完整的测试 （没有人使用的接口是不可能得到良好的测试的）。

如果你写了一个Linux内核驱动，但是它还不在Linux源代码树里，作为一个开发 者，你应该怎么做？为每个发布的每个版本提供一个二进制驱动，那简直是一个 噩梦，要跟上永远处于变化之中的内核接口，也是一件辛苦活。 很简单，让你的驱动进入内核源代码树（要记得我们在谈论的是以GPL许可发行 的驱动，如果你的代码不符合GPL，那么祝你好运，你只能自己解决这个问题了， 你这个吸血鬼把Andrew和Linus对吸血鬼的定义链接到这里>）。当你的代码加入 公版内核源代码树之后，如果一个内核接口改变，你的驱动会直接被修改接口的 那个人修改。保证你的驱动永远都可以编译通过，并且一直工作，你几乎不需要 做什么事情。

把驱动放到内核源代码树里会有很多的好处：

---