如何设置linux的共享内存

在 Linux 中设置共享内存的方法有很多种，下面是一种常用的方法：

使用shmget()函数创建一块共享内存，可以指定共享内存的大小和标识符。

使用shmat()函数将共享内存连接到进程的地址空间，返回指向共享内存的指针。

使用shmdt()函数断开与共享内存的连接。

使用shmctl()函数删除共享内存。

具体实现可以参考以下代码示例:

#include <sys/ipc.h>

#include <sys/shm.h>

#include <stdio.h>

int main() {

// 1. 创建共享内存

int shmid = shmget(IPC_PRIVATE, 100, 0666 | IPC_CREAT)

if (shmid <0) {

perror("shmget error")

return 1

}

// 2. 连接共享内存

void *shm = shmat(shmid, NULL, 0)

if (shm == (void *)-1) {

perror("shmat error")

return 1

}

// 使用共享内存

// ...

// 3. 断开连接

if (shmdt(shm) <0) {

perror("shmdt error")

return 1

}

// 4. 删除共享内存

if (shmctl(shmid, IPC_RMID, 0) <0) {

perror("shmctl error")

return 1

}

return 0

}

这是一个简单的示例，在这里我们创建了一个大小为100字节的共享内存，并使用shmget()、shmat()、shmdt()、shmctl()四个函数来创建、连接、断开连接、删除共享内存。

在实际应用中，我们需要根据需要来调整共享内存的大小，并在使用共享内存时进行相应的同步和互斥 *** 作来保证数据的安全性。

需要注意的是，在使用共享内存时，我们需要确保共享内存在进程全部退出后能够被释放，这可以通过在父进

程中删除共享内存来实现。另外在程序中也要考虑到异常处理，如果在程序运行过程中发生了异常，应该及时释放所占用的共享内存，以免造成资源浪费。

另外需要提醒的是，共享内存是一种高级的IPC(Inter-Process Communication)机制，使用时需要谨慎，避免出现数据竞争和死锁等问题。

关于 Linux 共享内存，写得最好的应该是宋宝华的 《世上最好的共享内存》 一文。

本文可以说是对这篇文章的学习笔记，顺手练习了一下 rust libc —— shichaoyuan/learn_rust/linux-shmipc-demo

按照宋宝华的总结，当前有四种主流的共享内存方式：

前两种方式比较符合传统的用法，共享内存做为进程间通信的媒介。

第三种方式更像是通过传递内存“句柄”进行数据传输。

第四种方式是为设备间传递数据设计，避免内存拷贝，直接传递内存“句柄”。

这里尝试了一下第二种和第三种方式。

这套 API 应该是最普遍的 —— shm_open + mmap，本质上来说 Aeron 也是用的这种方式（关于 Aeron 可以参考 我之前的文章 ）。

看一下 glibc 中 shm_open 函数的实现就一清二楚了：

shm_open 函数就是在 /dev/shm 目录下建文件，该目录挂载为 tmpfs，至于 tmpfs 可以简单理解为存储介质是内存的一种文件系统，更准确的理解可以参考官方文档 tmpfs.txt 。

然后通过 mmap 函数将 tmpfs 文件映射到用户空间就可以随意 *** 作了。

优点：

这种方式最大的优势在于共享的内存是有“实体”（也就是 tmpfs 中的文件）的，所以多个进程可以很容易通过文件名这个信息构建共享内存结构，特别适合把共享内存做为通信媒介的场景（例如 Aeron ）。

缺点：

如果非要找一个缺点的话，可能是，文件本身独立于进程的生命周期，在使用完毕后需要注意删除文件（仅仅 close 是不行的），否则会一直占用内存资源。

memfd_create 函数的作用是创建一个匿名的文件，返回对应的 fd，这个文件当然不普通，它存活在内存中。更准确的理解可以参考官方文档 memfd_create(2) 。

直观理解，memfd_create 与 shm_open 的作用是一样的，都是创建共享内存实体，只是 memfd_create 创建的实体是匿名的，这就带了一个问题：如何让其它进程获取到匿名的实体？shm_open 方式有具体的文件名，所以可以通过打开文件的方式获取，那么对于匿名的文件怎么处理呢？

答案是：通过 Unix Domain Socket 传递 fd。

rust 的 UDS 实现：

rust 在 std 中已经提供了 UDS 的实现，但是关于传递 fd 的 send_vectored_with_ancillary 函数还属于 nightly-only experimental API 阶段。所以这里使用了一个三方 crate —— sendfd ，坦白说可以自己实现一下，使用 libc 构建好 SCM_RIGHTS 数据，sendmsg 出去即可，不过细节还是挺多，我这里就放弃了。

这套 API 设计更灵活，直接拓展了我的思路，本来还是受限于 Aeron 的用法，如果在这套 API 的加持下，是否可以通过传递数据包内存块（fd）真正实现零拷贝呢？

优点：

灵活。

缺点：

无

linux 共享内存实现

说起共享内存，一般来说会让人想起下面一些方法：

1、多线程。线程之间的内存都是共享的。更确切的说，属于同一进程的线程使用的是同一个地址空间，而不是在不同地址空间之间进行内存共享；

2、父子进程间的内存共享。父进程以MAP_SHARED|MAP_ANONYMOUS选项mmap一块匿名内存，fork之后，其子孙进程之间就能共享这块内存。这种共享内存由于受到进程父子关系的限制，一般较少使用；

3、mmap文件。多个进程mmap到同一个文件，实际上就是大家在共享文件page cache中的内存。不过文件牵涉到磁盘的读写，用来做共享内存显然十分笨重，所以就有了不跟磁盘扯上关系的内存文件，也就是我们这里要讨论的tmpfs和shmem；

tmpfs是一套虚拟的文件系统，在其中创建的文件都是基于内存的，机器重启即消失。

shmem是一套ipc，通过相应的ipc系统调用shmget能够以指定key创建一块的共享内存。需要使用这块内存的进程可以通过shmat系统调用来获得它。

虽然是两套不同的接口，但是在内核里面的实现却是同一套。shmem内部挂载了一个tmpfs分区（用户不可见），shmget就是在该分区下获取名为"SYSV${key}"的文件。然后shmat就相当于mmap这个文件。

所以我们接下来就把tmpfs和shmem当作同一个东西来讨论了。

tmpfs/shmem是一个介于文件和匿名内存之间的东西。

一方面，它具有文件的属性，能够像 *** 作文件一样去 *** 作它。它有自己inode、有自己的page cache；

另一方面，它也有匿名内存的属性。由于没有像磁盘这样的外部存储介质，内核在内存紧缺时不能简单的将page从它们的page cache中丢弃，而需要swap-out；（参阅《linux页面回收浅析》）

对tmpfs/shmem内存的读写，就是对page cache中相应位置的page所代表的内存进行读写，这一点跟普通的文件映射没有什么不同。

如果进程地址空间的相应位置尚未映射，则会建立到page cache中相应page的映射；

如果page cache中的相应位置还没有分配page，则会分配一个。当然，由于不存在磁盘上的源数据，新分配的page总是空的（特别的，通过read系统调用去读一个尚未分配page的位置时，并不会分配新的page，而是共享ZERO_PAGE）；

如果page cache中相应位置的page被回收了，则会先将其恢复；

对于第三个“如果”，tmpfs/shmem和普通文件的page回收及其恢复方式是不同的：

page回收时，跟普通文件的情况一样，内核会通过prio_tree反向映射找到映射这个page的每一个page table，然后将其中对应的pte清空。

不同之处是普通文件的page在确保与磁盘同步（如果page为脏的话需要刷回磁盘）之后就可以丢弃了，而对于tmpfs/shmem的page则需要进行swap-out。

注意，匿名page在被swap-out时，并不是将映射它的pte清空，而是得在pte上填写相应的swap_entry，以便知道page被换出到哪里去，否则再需要这个page的时候就没法swap-in了。

而tmpfs/shmem的page呢？page table中对应的pte被清空，swap_entry会被存放在page cache的radix_tree的对应slot上。

等下一次访问触发page fault时，page需要恢复。

普通文件的page恢复跟page未分配时的情形一样，需要新分配page、然后根据映射的位置重新从磁盘读出相应的数据；

而tmpfs/shmem则是通过映射的位置找到radix_tree上对应的slot，从中得到swap_entry，从而进行swap-in，并将新的page放回page cache；

这里就有个问题了，在page cache的radix_tree的某个slot上，怎么知道里面存放着的是正常的page？还是swap-out后留下的swap_entry？

如果是swap_entry，那么slot上的值将被加上RADIX_TREE_EXCEPTIONAL_ENTRY标记（值为2）。swap_entry的值被左移两位后OR上RADIX_TREE_EXCEPTIONAL_ENTRY，填入slot。

也就是说，如果${slot} & RADIX_TREE_EXCEPTIONAL_ENTRY != 0，则它代表swap_entry，且swap_entry的值是${slot} >> 2；否则它代表page，${slot}就是指向page的指针，当然其值可能是NULL，说明page尚未分配。

那么显然，page的地址值其末两位肯定是0，否则就可能跟RADIX_TREE_EXCEPTIONAL_ENTRY标记冲突了；而swap_entry的值最大只能是30bit或62bit（对应32位或64位机器），否则左移两位就溢出了。

最后以一张图说明一下匿名page、文件映射page、tmpfs/shmem page的回收及恢复过程：

---