深入浅出iOS系统内核（3）— 内存管理

本文参考《Mac OS X and iOS Internals: To the Apple’s Core》 by Jonathan Levin

文章内容主要是阅读这本书的读书笔记，建议读者掌握《 *** 作系统》，了解现代 *** 作系统的技术特点，再阅读本文可以事半功倍。

虽然iOS系统内核使用极简的微内核架构，但内容依然十分庞大，所以会分

系统架构 、 进程调度 、 内存管理 和 文件系统 四个部分进行阐述。

*** 作系统管理所有的硬件资源， *** 作系统内核管理最核心的资源CPU和内存。上一篇阐述了Mach通过进程管理CPU，本文主要阐述XNU和Mach如何高效的管理内存

按照传统，栈一般都是保存自动变量，正常情况栈由系统管理，但是在iOS中某些情况下，程序员也可以选择用栈来动态分配内存，方法是使用鲜为人知的alloca( ) 这个函数的原型和malloc( )是一样的，区别在于这个函数返回的指针是栈上的地址而不是堆中的地址。

从实现角度，alloca( )从两方面优于malloc( )

堆是由C语言运行时维护的用户态数据结构，通过堆的使用，程序可以不用直接在页面的层次处理内存分配。Darwin的libC 采用了一个基于分配区域（allocation zone）的特殊分配算法

在iOS中内存的管理是由在Mach层中进行的，BSD只是对Mach接口进行了POSIX封装，方便用户态进程调用。

XNU内存管理的核心机制是虚拟内存管理，在Mach 层中进行的，Mach 控制了分页器，并且向用户态导出了各种 vm_ 和 mach_vm_ 消息接口。 为方便用户态进程使用BSD对Mach 调用进行了封装，通过current_map( ) 获得当前的Mach 内存映射，最后再调用底层的Mach 函数。

BSD 的malloc 系列函数<bsd/sys/malloch> 头文件中。函数名为_MALLOC、_FREE、_REALLOC、_MALLOC_ZONE、_FREE_ZONE

mcache机制是BSD 提供的基于缓存的非常高效的内存分配方法。默认实现基于mach zone，通过mach zone提供预分配好的缓存内存。

mcache具有可扩展架构，可以使用任何后端 slab 分配器。

使用mcache 机制的主要优点是速度：内存分配和维护是在每一个 CPU 自有的cache中进行的，因此可以映射到CPU的物理cache，从而极大地提升访问速度。

Mach VM层支持VM pressure 的机制，这个机制是可用RAM量低到危险程度的处置，下面我们会详细讲，这里不展开。

当RAM量低到危险时，Mach的pageout 守护程序会查询一个进程列表，查询驻留页面数，然后向驻留页面数最高的进程发送NOTE_VM_PRESSURE ，会在进程队列中发出一个事件。被选中的进程会响应这个压力通知，iOS中的运行时会调用 didReceiveMemoryWarning 方法。

然而有些时候这些 *** 作没有效果，当内存压力机制失败之后， 非常时间要用非常手段 ， Jetsam机制介入。

当进程不能通过释放内存缓解内存压力时，Jestam机制开始介入。这是iOS 实现的一个低内存清理的处理机制。也称为Memorystatus，这个机制有点类似于Linux的“Out-of-Memory”杀手，最初的目的就是杀掉消耗太多内存的进程。Memorystatus维护了两个列表：

在iOS的用户态可以通过 sysctl(2)查询这些列表，优先级列表可以在用户态进行设置。

在iOS 5中，Jestsam/Memorystatus 和默认的freezer 结合在一起，实现了对进程的冷冻而不是杀死。通过这种方式可以提供更好的用户体验，因为数据不会丢失，而且当内存情况好转时进程可以安全恢复。(感谢@易步指出本段错误)

用户态也可以通过pid_suspend( ) 和 pid_resume( )控制进程的休眠。

iOS 定义了 pid_hibernate，通过发送kern_hibernation_wakeup信号唤醒kernel_hibernation_thread 线程，这个线程专用于对进程冷冻 *** 作。

实际的进程休眠 *** 作是由jestsam_hibernate_top_proc 完成的，这个函数通过task_freeze冷冻底层的任务。

冷冻 *** 作需要遍历任务的vm_map，然后将vm_map 传递给默认的 freezer。

VM是Darwin系统内存管理的核心机制。

VM 机制主要通过内存对象（memory object）和分页器（pager）的形式管理内存。

Mach 虚拟内存的实现非常全面而且通用。这部分由两个层次构成：一层是和硬件相关的部分，另一层构建在这一层之上和硬件无关的公共层。OS X 和 iOS 使用的几乎一样的底层机制，硬件无关层以及之上的BSD 层中的机制都是一样的。

Mach 的 VM子系统可以说是和其要管理的内存一样复杂和充满了各种细节。然后从高层次看，可以看到两个层次：

虚拟内存这一层完全以一种机器无关的方式来管理虚拟内存。这一层通过几种关键的抽象表示虚拟内存：

Mach 允许使用多个分页器。事实上，默认就存在3~4个分页器。Mach 的分页器以外部实体的形式存在：是专业的任务，有点类似于其他系统上的内核交换（kernel-swapping）线程。Mach 的设计允许分页器和内核任务隔离开，设置允许用户态任务作为分页器。类似地，底层的后备存储也可以驻留在磁盘交换文件中（通过OS X 中的 default_pager 处理），可以映射到一个文件（由vnode_pager处理），可以是一个设备（由device_pager 处理）。注意：在Mach 中，每一个分页器处理的都是属于这个分页器的页面的请求，但是这些请求必须通过pageout 守护程序发出。这些守护程序（实际上就是内核线程）维护内核的页面表，并且判定哪些页面需要被清除出去。因此，这些守护程序维护的分页策略和分页器实现的分页 *** 作是分开的。

物理内存的页面处理的是虚拟内存到物理内存的映射，因为虚拟内存中的内容最终总要存储在某个地方。这一层面只有一个抽象，那就是pmap，不过这个抽象非常重要，因为提供了机器无关的接口。这个接口隐藏了底层平台的细节，底层的细节需要在处理器层次进行分页 *** 作，其中要处理的对象包括硬件页表项（page table entry，PTE）、翻译查找表（translation lookaside buffer，TLB）等。

每一个Mach 任务都要自己的虚拟内存空间，任务的struct task 中的 map 字段保存的就是这个虚拟内存空间。

vm_page_entry 中最关键的元素是vm_map_object，这是一个联合体，既可以包含另一个vm_map（作为子映射），也可以包含一个vm_object_t（由于这是一个联合体，所以具体的内容需要用布尔字段is_sub_map 来判断）。vm_object 是一个巨大的数据结构，其中包含了处理底层虚拟内存所需要的所有数据。vm_object的数据结构中的大部分字段都是用位表示的标志。这些字段表示了底层的内存状态（联动、物理连续和持久化等状态）和一些计数器（引用计数、驻留计数和联动计数等）。不过有3个字段需要特别注意：

memq：vm_page 对象的链表，每一项都表示一个驻留内存的虚拟内存页面。尽管一个对象可以表示一个单独的页面，但是多数情况下一个对象可以包含多个页面，所以每一个页面关联到一个对象时都会有一个偏移值

page：memory_object 对象，这是指向分页器的Mach 端口。分页器将未驻留内存的页面关联到后备存储，后备存储可以是内存映射的文件、设备和交换文件，后备存储保存了没有驻留内存的页面。换句话说，分页器（可以有多个）负责将数据从后备存储移入内存以及将数据从内存移出到后备存储。分页器对于虚拟内存子系统来说极为重要

internal：vm_page 中众多标志位之一，如果这个位为真，那么表示这个对象是由内核内部使用的。这个标志位的值决定了对象中的页面会进入哪一个pageout队列

尽管内核和用户空间一样，基本上只在虚拟地址空间内 *** 作，但是虚拟内存最终还是要翻译为物理地址的。机器的RAM 实际上是虚拟内存中开的窗口，允许程序访问虚拟内存是有限的，而且通常是不连续的区域，这些区域的上线就是机器上安装的内存。而虚拟内存中其他部分则要么延迟分配，要么共享，要么被交换到外部存储中，外部存储通常是磁盘。

然而虚拟内存和具体的底层架构相关。尽管虚拟内存和物理内存的概念在所有架构上本周都是一样的，但是具体的实现细节则各有千秋。XNU 构建与Mach 的物理内存抽象层之上，这个的抽象层成为pmap。pmap 从设计上对物理内存提供了一个统一的接口，屏蔽了架构相关的区别。这对于XNU来说非常有用，因为XNU支持的物理内存的架构包括以前的PowerPC，现在主要是Intel，然后在iOS 中还支持ARM。

Mach 的pmap 层逻辑上由一下两个子层构成：

Mach Zone的概念相当于Linux的内存缓存（memory cache）和Windows 的Pool。Zone 是一种内存区域，用于快速分配和是否频繁使用的固定大小的对象。Zone的API是内核内部使用的，在用户态不能访问。Mach中Zone的使用非常广泛。

所有的zone 内存实际上都是在调用zinit( )时预先分配好的（zinit( )通过底层内存分配器kernel_memory_allocate( )分配内存）zalloc( )实际上是对REMOVE_FROM_ZONE 宏的封装，作用是返回zone的空闲列表中的下一个元素（如果zone已满，则调用kernel_memory_allocate( )分配这个zone在定义的alloc_size字节）。zfree( ) 使用的是相反功能的宏 ADD_TO_ZONE。这两个函数都会执行合理数量的参数检查，不过这些检查帮助不大：过去zone分配相关的bug已经导致了数据可以被黑客利用的内存损坏。zalloc( ) 最重要的客户是内核中的kalloc( )，这个函数从kalloc系列zone中分配内存。BSD的mcache机制也会从自己的zone中分配内存。BSD内核zone也是如此，BSD内核zone直接构建与Mach的zone之上。

进程的内存需求早晚会超过可用的RAM，系统必须有一种方法能够将不活动的页面备份起来，并且从RAM中删除，腾出更多的RAM给活动的页面使用，至少暂时能够满足活动页面的需求。在其他 *** 作系统中，这个工作专门是由专门的内核线程完成的。在Mach 中，这些专门的任务称为分页器（pager），分页器可以是内核线程，设置建议是外部的用户态服务程序。

Mach分页器是一个内存管理器，负责将虚拟内存备份到某个特定类型的后备存储中。当内存容量不足，内存页面需要被交换出内存是，后备存储保存内存页面的内容：当换出的内存页面需要被使用时，将内存的页面恢复到RAM中。只有“脏”页面才需要进行上述的换出和换入，因为“脏”页面是在内存中修改过的页面，要从RAM中剔除时必须保存到磁盘中防止数据丢失。

要注意的是，这里提到的分页器仅仅实现了各自负责的内存对象的分页 *** 作，这些分页器不会控制系统的分页策略。分页策略是有vm_pageout 守护线程负责的。

iOS 和 OS X 中XNU 包含的分页器种类都是一样的。下表是XNU中的内存分页器的多种类型：

pageout 守护程序其实不是一个真的守护程序，而是一个线程。而且不是一般的线程：当kernel_bootstarp_thread( ) 完成内核初始化工作并且没有其他事情可做时，就调用vm_pageout( ) 成为了pageour 守护程序， vm_pageout( ) 永远不返回。这个线程管理页面交换的策略，判断哪些页面需要写回到其后备存储。

vm_pageout( ) 函数讲kernel_bootstrap_thread 线程转变为pageout 守护程序，这个函数实际上重新设置了这个线程。设置完成后，调用vm_pageout_continute( )，这个函数周期性地唤醒并执行vm_page_scan( )，维护4个页面表（称为页面队列）。系统中的每一个vm_page 都通过pageq字段绑定这4个队列中的一个：

垃圾回收线程(vm_pageout_garbage_collect( ))偶尔会被vm_pageout_scan( ) 通过其续体唤醒。垃圾回收机制线程处理4个方面的垃圾回收工作：

vm_pageout( ) 守护程序处理的只是交换的一个方向，从物理内存换出到后备存储。而另外一个方向是页面换入，则是发生在页面错误的时候处理的。这个逻辑非常复杂，简化为一下步骤：

页错误有很多种，上述只是其中一种，其他类型的也错误还包括：

VM系统是Mach中最重要最复杂而且最不好理解的子系统。Mach的内存管理核心是分页器，分页器允许将虚拟内存扩展到各种后背存储介质上：交换文件、内存映射文件、设备、甚至远程主机。

iOS中提高内存使用率的Freezer，以及处理内存耗尽的pageout守护程序。

>

对于零基础想小白，想要自学成为前端人才，可以看看以下书籍

《图解 >

作为一名程序员，选择Windows作为自己的开发平台无疑是一个正确的选择。但是，由于Windows开发人员数量的庞大，使得Windows开发人员的“价值”显得普遍没有Linux，Max等平台下的高。换句换说，就说庸庸碌碌之辈太多。从一个某某培训机构学上几个月的net的人就自称是Windows开发高手了，这当然会让人笑掉大牙。其次由于Microsoft的开发平台和工具通常很容易入手，所以使得许多程序员误以为这就是开发Windows应用，认为Windows开发理应简单。 作为一名学生，我从自己的角度谈谈如何真正成为一名Windows开发高手。注意，以下说讲的都是在自己的语言关已过的前提下，你应该熟练结构化程序设计，对面向对象程序设计有一定的理解。为什么不是精通面向对象？面向对象这潭水真的太深了，做了一辈子开发的程序员也许都不敢说自己完全掌握了面向对象程序设计精髓。 1>熟练掌握Windows SDK编程 掌握Windows SDK开发其实是对WIndows *** 作系统进行一次初步的探究。虽然MFC已经将SDK进行了很好的封装，但是想要真正掌握Windows程序设计的精髓，还是要从SDK开始。如果初学者一开始就拿着一本《深入浅出MFC》来看的话，我相信是看不下去的。从C语言控制台编程跨向Windows程序设计其实是需要花一点功夫的。初学者往往在学习Windows程序设计时第一个不习惯的地方是大量MicroSoft定义的宏和结构体。这些“旁枝”往往成为初学者的一大障碍，是的初学者将精力往往放在了这些不重要的地方，而不是放在Windows消息机制，窗口架构等主要的地方。MFC这一点做的更为深入，所以建议初学者一定要从Windows SDK进行学些。 推荐读物： 《Windows程序设计》------经典中的经典，Windows开发人必备读物，由微软中国的员工翻译过来的，现在已经是第五版了。 《Windows核心编程》------站在一个更高的层次审视Windows。 2>熟练掌握MFC编程 有很多人说MFC已经过时了。的确，这一点不得不承认，Windows自从将重点放在net战略上后，基本上对传统C/C++开发这一块基本上属于放羊式管理。到现在为止都没有一套像样的界面库。那么，我们为什么还要学习MFC。 首先，学习MFC学习的是一种思想，是从Windows SDK结构化程序设计跨向面向对象程序设计的一个坚实的桥梁。虽然不能说这座桥梁有多么完美，但是历经了这么长时间的考验任然没有被淘汰，一定有它存在的价值。MFC的架构是我们必须要学习的地方，他是net Form开发的基础。也许有很多人一开始就进行net Form开发，C# ，VB用的很舒服，但是这仅仅是知其然不知其所以然。这样的开发者永远只是停留在表面，而不知道整个net Form的架构是怎样的。稍微遇上一些比较复杂的问题，就束手无策了。所以MFC是必须要掌握的。 其次，MFC是直接调用Win 32API对Windows进行 *** 作的，效率要比在虚拟机上运行的net高很多，其次C++语言的效率也是要高于C#的。这就是为什么和图形图像有关的编程一般都会选择C++了。在高性能的某块通常都会选择C/C++进行开发，C#，VB等来调用。并且net对传统Win32 API的调用是一度受限的。有的时候不得不用P/INVOKE的方式进行Win32 api的调用。 推荐读物：《VC++深入详解》--------孙鑫写的书，非常适合MFC的初学者。 《深入浅出MFC》---------侯捷大师对MFC做了一次完美的外科手术，读懂它，反复钻研咀嚼，你将会完全掌握MFC的精髓所在。 3>掌握Windows *** 作系统的核心机制 通过上面两步的学习，初学者应该已经对Windows有一定的了解了，初学者通过一种较为轻松的方式学习Windows。现在是时候对Windows进行一些深入的了解了。之前我们都是站在程序员的角度对Windows进行审视，角度可能有所单一。现在则是需要站在一名系统设计师的角度对Windows *** 作系统进行研究。 推荐读物：《深入解析Windows *** 作系统》------这本书是将带你全面的了解WIndows *** 作系统的各个方面 《Win32多线程程序设计》-----站在并发的角度更为深入的了解Windows机制。 读者在有了1，2的基础后学习3，相信不会有太大的难度。 4>掌握net 作为一名Windows程序员，net是你不得不去学习的一门技术。无论是学习还是工作你一定会遇到它。在有了以上基础的情况下，学习net是一件十分轻松的事。net平台下有众多语言可以选择，不过这里推荐大家首选C#，理由就不用多说了。看看每个月的编程语言排行榜就一目了然了。 推荐读物：《C#入门经典》-------Wrox公司的红宝书，讲的很全面。 《C#高级编程》--------同样是Wrox公司的书，讲的更加深入。 《C# via CLR》--------讲述net的核心机制。 《WPF高级编程》------新一代图形界面技术，你应该了解。 5>掌握Win32 asm 人都是希望自己能越来越牛，而不是永远停留在一个初级程序员的位置。如果你想真正掌握Windows真正成为一名计算机大牛的话，汇编是你必须要掌握的。 汇编是你进行Windows下的软件调试，逆向工程，商业破解，内核研究，设备驱动开发的基础。是否精通汇编语言是普通程序员和大牛之间的一道分水岭。

以上就是关于深入浅出iOS系统内核（3）— 内存管理全部的内容，包括:深入浅出iOS系统内核（3）— 内存管理、java编程有哪几本书比较适合初学者、学习前端，有什么好书推荐吗等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！