linux内核内存寻址在哪个文件

linux内核地址映射模型x86 CPU采用了段页式地址映射模型。进程代码中的地址为逻辑地址，经过段页式地址映射后，才真正访问物理内存。段页式机制如下图。 linux内核地址空间划分通常32位linux内核地址空间划分0~3G为用户空间，3~4G为内核空间。注意这里是32位内核地址空间划分，64位内核地址空间划分是不同的。 linux内核高端内存的由来当内核模块代码或线程访问内存时，代码中的内存地址都为逻辑地址，而对应到真正的物理内存地址，需要地址一对一的映射，如逻辑地址0xc0000003对应的物理地址为0×3，0xc0000004对应的物理地址为0×4，… …，逻辑地址与物理地址对应的关系为物理地址 = 逻辑地址 0xC0000000逻辑地址物理内存地址0xc00000000×00xc00000010×10xc00000020×20xc00000030×3… … 0xe00000000×20000000……0xffffffff0×40000000 ??显然不能将内核地址空间0xc0000000 ~ 0xfffffff全部用来简单的地址映射。因此x86架构中将内核地址空间划分三部分：ZONE_DMA、ZONE_NORMAL和ZONE_HIGHMEM。ZONE_HIGHMEM即为高端内存，这就是内存高端内存概念的由来。在x86结构中，三种类型的区域如下：ZONE_DMA 内存开始的16MBZONE_NORMAL 16MB~896MBZONE_HIGHMEM 896MB ~ 结束 linux内核高端内存的理解前面我们解释了高端内存的由来。 linux将内核地址空间划分为三部分ZONE_DMA、ZONE_NORMAL和ZONE_HIGHMEM，高端内存HIGH_MEM地址空间范围为0xF8000000 ~ 0xFFFFFFFF（896MB～1024MB）。那么如内核是如何借助128MB高端内存地址空间是如何实现访问可以所有物理内存？当内核想访问高于896MB物理地址内存时，从0xF8000000 ~ 0xFFFFFFFF地址空间范围内找一段相应大小空闲的逻辑地址空间，借用一会。借用这段逻辑地址空间，建立映射到想访问的那段物理内存（即填充内核PTE页面表），临时用一会，用完后归还。这样别人也可以借用这段地址空间访问其他物理内存，实现了使用有限的地址空间，访问所有所有物理内存。如下图。例如内核想访问2G开始的一段大小为1MB的物理内存，即物理地址范围为0×80000000 ~ 0x800FFFFF。访问之前先找到一段1MB大小的空闲地址空间，假设找到的空闲地址空间为0xF8700000 ~ 0xF87FFFFF，用这1MB的逻辑地址空间映射到物理地址空间0×80000000 ~ 0x800FFFFF的内存。映射关系如下：逻辑地址物理内存地址0xF87000000×800000000xF87000010×800000010xF87000020×80000002… …0xF87FFFFF0x800FFFFF当内核访问完0×80000000 ~ 0x800FFFFF物理内存后，就将0xF8700000 ~ 0xF87FFFFF内核线性空间释放。这样其他进程或代码也可以使用0xF8700000 ~ 0xF87FFFFF这段地址访问其他物理内存。从上面的描述，我们可以知道高端内存的最基本思想：借一段地址空间，建立临时地址映射，用完后释放，达到这段地址空间可以循环使用，访问所有物理内存。看到这里，不禁有人会问：万一有内核进程或模块一直占用某段逻辑地址空间不释放，怎么办？若真的出现的这种情况，则内核的高端内存地址空间越来越紧张，若都被占用不释放，则没有建立映射到物理内存都无法访问了。

32位linux不打开PAE，则最多只能识别出4GB内存，若打开PAE，则最多可以识别出64GB内存。但是 32位系统下的进程一次最多只能寻址4GB的空间。

64位linux则没有32位系统的限制。因此对于内存大于4GB的机器来说，最好安装64位系统。

简单介绍下如何让redhat 5-32位支持4G以上内存。

步骤1：

安装kernel-PAE.i686 内核包，让系统内核支持PAE物理地址扩展。

rpm-ivh kernel-PAE-2.6.18-53.el5.i686.rpm 安装的时候会报如下警告。

将安装命令由原本的rpm-ivh ****.rpm 改为rpm -ivh ****.rpm –force --nodeps就可以了，nodeps的意思是忽视依赖关系。因为各个软件之间会有或多或少的存在关联，有了这两个设置选项就忽略了这些依赖关系，强制安装。

步骤2：

设置linux系统启动加加载内核，让系统启用PAE的内核

[root@wangdm~ 12:40 #11]# /boot/grub/grub.conf

#grub.conf generated by anaconda

#

#Note that you do not have to rerun grub after making changes to this file

#NOTICE: You have a /boot partition. This means that

# all kernel and initrd paths arerelative to /boot/, eg.

# root (hd0,0)

# kernel /vmlinuz-version roroot=/dev/sda3

# initrd /initrd-version.img

#boot=/dev/sda

default=0(将default=1修改为default=0就可以了)

timeout=5

splashimage=(hd0,0)/grub/splash.xpm.gz

hiddenmenu

#升级后的系统引导

titleRed Hat Enterprise Linux Server

RedHat Enterprise Linux Server (2.6.18-53.el5PAE)

root (hd0,0)

kernel /vmlinuz-2.6.18-53.el5PAE roroot=LABEL=/ rhgb quiet

initrd /initrd-2.6.18-53.el5PAE.img

#升级前的系统引导，将其注释掉

#titleRed Hat Enterprise Linux Server (2.6.18-194.el5)

# root (hd0,0)

# kernel /vmlinuz-2.6.18-194.el5 roroot=LABEL=/ rhgb quiet

# initrd /initrd-2.6.18-194.el5.img

保存后重启linux，系统内核就能最大支持64G内存了。

通过查,cat/boot/config-*|grep PAE可以查看当前的支持情况如下图显示。

Concepts overview — The Linux Kernel documentation

Linux中的内存管理是一个复杂的系统，经过多年的发展，它包含越来越多的功能，以支持从 MMU-less microcontrollers 到 supercomputers 的各种系统。

没有MMU内存管理的系统被称为 nommu ，它值得写一份专门的文档进行描述。

尽管有些概念是相同的，这里我们假设MMU可用，CPU可以将虚拟地址转换为物理地址。

计算机系统中的物理内存是有限资源，即便支持内存热插拔，其可以安装的内存也有限的。物理内存不一定必须是连续的；它可以作为一组不同的地址范围被访问。此外，不同的CPU架构，甚至同架构的不同实现对如何定义这些地址范围都是不同的。

这使得直接处理物理内存异常复杂，为了避免这种复杂性，开发了 虚拟内存 （virtual memory） 的概念。

虚拟内存从应用软件中抽象出物理内存的细节，只允许在物理内存中保留需要的信息 （demand paging） ，并提供一种机制来保护和控制进程之间的数据共享。

通过虚拟内存，每次内存访问都访问一个 虚拟地址 。当CPU对从系统内存读取（或写入）的指令进行解码时，它将该指令中编码的虚拟地址转换为内存控制器可以理解的物理地址。

物理内存被切分为 页帧 page frames 或 页 pages 。页的大小是基于架构的。一些架构允许从几个支持的值中选择页大小；此选择在内核编译时设置到内核配置。

每个物理内存页都可以映射为一个或多个 虚拟页（virtual pages） 。映射关系描述在 页表（page tables） 中，页表将程序使用的虚拟地址转换为物理内存地址。页表以层次结构组织。

最底层的表包含软件使用的实际内存页的物理地址。较高层的表包含较低层表页的物理地址。顶层表的指针驻留在寄存器中。

当CPU进行地址转换的时候，它使用寄存器访问顶级页表。

虚拟地址的高位，用于顶级页表的条目索引。然后，通过该条目访问下级，下级的虚拟地址位又作为其下下级页表的索引。虚拟地址的最低位定义实际页内的偏移量。

地址转换需要多次内存访问，而内存访问相对于CPU速度来说比较慢。为了避免在地址转换上花费宝贵的处理器周期，CPU维护着一个称为 TLB （Translation Lookaside Buffer）的用于地址转换缓存（cache）。通常TLB是非常稀缺的资源，需要大内存工作应用程序会因为TLB未命中而影响性能。

很多现代CPU架构允许页表的高层直接映射到内存页。例如，x86架构，可以通过二级、三级页表的条目映射2M甚至1G内存页。在Linux中，这些内存页称为 大页 （Huge） 。大页的使用显著降低了TLB的压力，提高了TLB命中率，从而提高了系统的整体性能。

Linux提供两种机制开启使用大页映射物理内存。

第一个是 HugeTLB 文件系统，即 hugetlbfs 。它是一个伪文件系统，使用RAM作为其存储。在此文件系统中创建的文件，数据驻留在内存中，并使用大页进行映射。

关于 HugeTLB Pages

另一个被称为 THP (Transparent HugePages) ，后出的开启大页映射物理内存的机制。

与 hugetlbfs 不同，hugetlbfs要求用户和/或系统管理员配置系统内存的哪些部分应该并可以被大页映射；THP透明地管理这些映射并获取名称。

关于 Transparent Hugepage Support

通常，硬件对不同物理内存范围的访问方式有所限制。某些情况下，设备不能对所有可寻址内存执行DMA。在其他情况下，物理内存的大小超过虚拟内存的最大可寻址大小，需要采取特殊措施来访问部分内存。还有些情况，物理内存的尺寸超过了虚拟内存的最大可寻址尺寸，需要采取特殊措施来访问部分内存。

Linux根据内存页的使用情况，将其组合为多个 zones 。比如， ZONE_DMA 包含设备用于DMA的内存， ZONE_HIGHMEM 包含未永久映射到内核地址空间的内存， ZONE_NORMAL 包含正常寻址内存页。

内存zones的实际层次架构取决于硬件，因为并非所有架构都定义了所有的zones，不同平台对DMA的要求也不同。

多处理器机器很多基于 NUMA （Non-Uniform Memory Access system - 非统一内存访问系统 ）架构。 在这样的系统中，根据与处理器的“距离”，内存被安排成具有不同访问延迟的 banks 。每个 bank 被称为一个 node ，Linux为每个 node 构造一个独立的内存管理子系统。 Node 有自己的zones集合、free&used页面列表，以及各种统计计数器。

What is NUMA?

NUMA Memory Policy

物理内存易失，将数据放入内存的常见情况是读取文件。读取文件时，数据会放入 页面缓存（page cache） ，可以在再次读取时避免耗时的磁盘访问。同样，写文件时，数据也会被放入 页面缓存 ，并最终进入存储设备。被写入的页被标记为 脏页（dirty page） ，当Linux决定将其重用时，它会将更新的数据同步到设备上的文件。

匿名内存 anonymous memory 或 匿名映射 anonymous mappings 表示没有后置文件系统的内存。这些映射是为程序的stack和heap隐式创建的，或调用mmap（2）显式创建的。通常，匿名映射只定义允许程序访问的虚拟内存区域。读，会创建一个页表条目，该条目引用一个填充有零的特殊物理页。写，则分配一个常规物理页来保存写入数据。该页将被标记为脏页，如果内核决定重用该页，则脏页将被交换出去 swapped out 。

纵贯整个系统生命周期，物理页可用于存储不同类型的数据。它可以是内核内部数据结构、设备驱动DMA缓冲区、读取自文件系统的数据、用户空间进程分配的内存等。

根据内存页使用情况，Linux内存管理会区别处理。可以随时释放的页面称为 可回收（reclaimable） 页面，因为它们把数据缓存到了其他地方（比如，硬盘），或者被swap out到硬盘上。

可回收页最值得注意的是 页面缓存 和 匿名页面 。

在大多数情况下，存放内部内核数据的页，和用作DMA缓冲区的页无法重用，它们将保持现状直到用户释放。这样的被称为 不可回收页（unreclaimable） 。

然而，在特定情况下，即便是内核数据结构占用的页面也会被回收。

例如，文件系统元数据的缓存（in-memory）可以从存储设备中重新读取，因此，当系统存在内存压力时，可以从主内存中丢弃它们。

释放可回收物理内存页并重新调整其用途的过程称为 (surprise!) reclaim 。

Linux支持异步或同步回收页，取决于系统的状态。

当系统负载不高时，大部分内存是空闲的，可以立即从空闲页得到分配。

当系统负载提升后，空闲页减少，当达到某个阈值（ low watermark ）时，内存分配请求将唤醒 kswapd 守护进程。它将以异步的方式扫描内存页。如果内存页中的数据在其他地方也有，则释放这些内存页；或者退出内存到后置存储设备（关联 脏页 ）。

随着内存使用量进一步增加，并达到另一个阈值- min watermark -将触发回收。这种情况下，分配将暂停，直到回收到足够的内存页。

当系统运行时，任务分配并释放内存，内存变得碎片化。

虽然使用虚拟内存可以将分散的物理页表示为虚拟连续范围，但有时需要分配大的连续的物理内存。这种需求可能会提升。例如，当设备驱动需要一个大的DMA缓冲区时，或当THP分配一个大页时。

内存地址压缩（compaction ） 解决了碎片问题。

该机制将占用的页从内存zone的下部移动到上部的空闲页。压缩扫描完成后，zone开始处的空闲页就并在一起了，分配较大的连续物理内存就可行了。

与 reclaim 类似， compaction 可以在 kcompactd守护进程中异步进行，也可以作为内存分配请求的结果同步进行。

在存在负载的机器上，内存可能会耗尽，内核无法回收到足够的内存以继续运行。

为了保障系统的其余部分，引入了 OOM killer 。

OOM killer 选择牺牲一个任务来保障系统的总体健康。选定的任务被killed，以期望在它退出后释放足够的内存以继续正常的 *** 作。

---