为什么linux kernel默认的页面大小是4K，而不是4M或8M

太多了，我就做一次搬运工了。

相信很多人在看内核内存管理部分的时候，都有这样一个疑问，为什么物理页面的大小选择4K，而不是大一些或者小一些呢？

这个问题没有固定的答案，仁者见仁智者见智，每个人的关注点不一样。所以这篇文章不是说给出一个固定的答案，更多的只是一篇讨论性的文章。

内核的页面大小首先跟CPU有关，不同的架构支持的页面大小也不相同，但有一个共同点，那就是肯定支持4K的页面大小。为什么处理器在设计

的时候会选择4K，而不是其他，这个只有熟悉CPU历史的人才能给出答案，本人才疏学浅，回答不上来，有兴趣的自己找一找。当然处理器的设计者在考虑页面

大小的时候，也不是凭空就选择了这个大小，除了历史因素，肯定综合了考虑了大页面、小页面的优缺点，所以这里主要列出这些优缺点，通过这些比较来发现内核

为什么将默认的页面大小选择为4K。

现在更多争论的是大页面还是维持现在的页面4K大小，所以小页面的情况我们就不考虑了，通过比较前两者也可以得出小页面的情况。支持大页面的人通常认为大页面有以下好处：

1、减小page table占用的内存。

假设内存一定的话，页面大小越大，管理页面占用的内存也越小。现在内核中每个页面假设是4K的话，这4K不是全都可用，还有一部分用作

struct

page（大约是64bytes），如果是2632的话，每个页还有一个page_cgroup（32bytes），也就是说内存大小的23%

(96/4096)会被内核固定使用。如果页面大小是4M的话，这个比率大约是00006%。假设内存时64G的话，页面大小是4K，管理页占用的内存

为1472G，而页面大小是4M，管理页面占用的内存为0393M。所以页面比较大时，节省的内存比较多。

2、提高TLB的命中率

每次访问内存的时候，都要将虚拟地址转换为物理地址，如果每次都访问页表的话，消耗比较大。因此，通常使用TLB来加速这个过程。但是

TLB的可以直接转换的地址范围是有限的（具体就是项数乘以页面大小），一旦出现TLB

miss，这时就必须去页表中查找。所以，如果是大页面的话，同样TLB项数的情况下，可以跟踪更大的内存。

3、提高磁盘I/O

我们知道在访问磁盘时，最耗时的 *** 作就是查找写入盘区的起始位置，也就是在磁盘盘片上将读写头置于正确的位置上。所以如果是大页面的话，可以减少写入磁盘的次数。比如要写入4M的缓存，页面大小是4M的话，只需写入1次，而页面大小是4K的话，则需要写入4次。

4、提供缓存利用率

如果是大页面的话，可以减少访问伙伴系统的次数。调用伙伴系统的 *** 作队系统的数据和指令高速缓存有相当的影响。内核越浪费这些资源，这些资源对用户空间进程就越不可用。

除了上面提高的好处，肯定还有的好处，就不一一列举了。那既然有这么好处，而且现在内存越来越大，为什么不更多地采用大页面呢？比如4M？

软件开发中，从来不会有非常完美的方案，都是在优缺点之间找到平衡点。同样，大页面有这样那样的好处，缺点也很明显。

1、最大的问题就是内存浪费，而且这个问题非常严重。比如这时要分配的内存是4M+1byte，这时需要两个页面才能满足分配的需要，这个

时候浪费的内存为4M-1byte。如果页面是4K的话，浪费的内存数量为4k-1byte。页面太大，可能导致每个页面都只使用了部分空间，剩余的空间

就被浪费了。当然对于数据库这样的系统来说，页面越大会越好，但是内核要考虑到通用的情况，而不是专注于特殊的应用场景。再比如，现在系统都是只分配虚拟

地址空间，虚拟地址空间只有在真正被访问的时候，才映射物理页面，而且为了减少物理页面的浪费，对不访问的部分，则不作映射。如果页面太大，在映射很小的

部分时，分配的内存会越大，浪费也就越大。系统在运行时，会频繁地请求内存页的 *** 作，这样导致潜在的浪费会非常严重。这样的浪费会完全抵消减小page

table的优势。

2、页面太大，会导致大量的内存碎片。因为底层的内存管理是以页面为单位。如果系统运行了很长时间，空闲的内存很多，但是连续的内存块都小

于要分配的页面数。这时可以通过移动内存块或者利用swap来获取可用内存，但是会导致分配内存的 *** 作很慢，这种慢会形成恶性循环，严重影响系统的性能。

如果是小页面的话，内存的利用会比较紧凑，分配页面时需要的连续内存块的大小不像大页面那样需要的那么大。

3、如果CPU崩溃，TLB可以访问的内存越大，对系统的影响也越大。这时一把双刃剑，大页面可以提供TLB访问的内存数量，但是CPU崩溃时，会导致很多内存访问要去页表中请求物理地址。

4、兼容性问题。X86处理器支持的页面大小只有4K，所以如果页面过大的话，会导致兼容性问题。

5、如果页面太大，在将内存页换出到swap分区时，需要换出的内存也就越大，会影响性能。

总之，这个页面大小4K是在计算机发展过程中选择的，也是在实践中经过检验的，现在看来这个页面是合适的。

数据不是文件。

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。在信息化社会，充分有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分，是进行科学研究和决策管理的重要技术手段。

很多应用往往只展示最新或最热门的几条记录，但为了旧记录仍然可访问，所以就需要个分页的导航栏。然而，如何通过MySQL更好的实现分页，始终是比较令人头疼的问题。虽然没有拿来就能用的解决办法，但了解数据库的底层或多或少有助于优化分页查询。

我们先从一个常用但性能很差的查询来看一看。

SELECT

FROM city

ORDER BY id DESC

LIMIT 0, 15

这个查询耗时000sec。So，这个查询有什么问题呢？实际上，这个查询语句和参数都没有问题，因为它用到了下面表的主键，而且只读取15条记录。

CREATE TABLE city (

id int(10) unsigned NOT NULL AUTO_INCREMENT,

city varchar(128) NOT NULL,

PRIMARY KEY (id)

) ENGINE=InnoDB;

真正的问题在于offset(分页偏移量)很大的时候，像下面这样：

SELECT

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

上面的查询在有2M行记录时需要022sec，通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行，但最后只需要15行。大的分页偏移量会增加使用的数据，MySQL会将大量最终不会使用的数据加载到内存中。就算我们假设大部分网站的用户只访问前几页数据，但少量的大的分页偏移量的请求也会对整个系统造成危害。Facebook意识到了这一点，但Facebook并没有为了每秒可以处理更多的请求而去优化数据库，而是将重心放在将请求响应时间的方差变小。

对于分页请求，还有一个信息也很重要，就是总共的记录数。我们可以通过下面的查询很容易的获取总的记录数。

SELECT COUNT()

FROM city;

然而，上面的SQL在采用InnoDB为存储引擎时需要耗费928sec。一个不正确的优化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能够在分页查询时事先准备好符合条件的记录数，随后只要执行一句 select FOUND_ROWS(); 就能获得总记录数。但是在大多数情况下，查询语句简短并不意味着性能的提高。不幸的是，这种分页查询方式在许多主流框架中都有用到，下面看看这个语句的查询性能。

SELECT SQL_CALC_FOUND_ROWS

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

这个语句耗时2002sec，是上一个的两倍。事实证明使用 SQL_CALC_FOUND_ROWS 做分页是很糟糕的想法。

下面来看看到底如何优化。文章分为两部分，第一部分是如何获取记录的总数目，第二部分是获取真正的记录。

高效的计算行数

如果采用的引擎是MyISAM，可以直接执行COUNT()去获取行数即可。相似的，在堆表中也会将行数存储到表的元信息中。但如果引擎是InnoDB情况就会复杂一些，因为InnoDB不保存表的具体行数。

我们可以将行数缓存起来，然后可以通过一个守护进程定期更新或者用户的某些 *** 作导致缓存失效时，执行下面的语句：

SELECT COUNT()

FROM city

USE INDEX(PRIMARY);

获取记录

下面进入这篇文章最重要的部分，获取分页要展示的记录。上面已经说过了，大的偏移量会影响性能，所以我们要重写查询语句。为了演示，我们创建一个新的表“news”，按照时事性排序(最新发布的在最前面)，实现一个高性能的分页。为了简单，我们就假设最新发布的新闻的Id也是最大的。

CREATE TABLE news(

id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,

title VARCHAR(128) NOT NULL

) ENGINE=InnoDB;

一个比较高效的方式是基于用户展示的最后一个新闻Id。查询下一页的语句如下，需要传入当前页面展示的最后一个Id。

SELECT

FROM news WHERE id < $last_id

ORDER BY id DESC

LIMIT $perpage

查询上一页的语句类似，只不过需要传入当前页的第一个Id，并且要逆序。

SELECT

FROM news WHERE id > $last_id

ORDER BY id ASC

LIMIT $perpage

上面的查询方式适合实现简易的分页，即不显示具体的页数导航，只显示“上一页”和“下一页”，例如博客中页脚显示“上一页”，“下一页”的按钮。但如果要实现真正的页面导航还是很难的,下面看看另一种方式。

SELECT id

FROM (

SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt

FROM news

JOIN (SELECT @cnt:= 0)T

WHERE id < $last_id

ORDER BY id DESC

LIMIT $perpage $buttons

)C

WHERE cnt = 0;

通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id。这种方法还有一个好处。假设，网站上正在发布一片新的文章，那么所有文章的位置都会往后移一位，所以如果用户在发布文章时换页，那么他会看见一篇文章两次。如果固定了每个按钮的offset Id，这个问题就迎刃而解了。Mark Callaghan发表过一篇类似的博客，利用了组合索引和两个位置变量，但是基本思想是一致的。

如果表中的记录很少被删除、修改，还可以将记录对应的页码存储到表中，并在该列上创建合适的索引。采用这种方式，当新增一个记录的时候，需要执行下面的查询重新生成对应的页号。

SET p:= 0;

UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;

当然，也可以新增一个专用于分页的表，可以用个后台程序来维护。

UPDATE pagination T

JOIN (

SELECT id, CEIL((p:= p + 1) / $perpage) page

FROM news

ORDER BY id

)C

ON Cid = Tid

SET Tpage = Cpage;

现在想获取任意一页的元素就很简单了：

SELECT

FROM news A

JOIN pagination B ON Aid=BID

WHERE page=$offset;

还有另外一种与上种方法比较相似的方法来做分页，这种方式比较试用于数据集相对小，并且没有可用的索引的情况下—比如处理搜索结果时。在一个普通的服务器上执行下面的查询，当有2M条记录时，要耗费2sec左右。这种方式比较简单，创建一个用来存储所有Id的临时表即可(这也是最耗费性能的地方)。

CREATE TEMPORARY TABLE _tmp (KEY SORT(random))

SELECT id, FLOOR(RAND() 0x8000000) random

FROM city;

ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;

接下来就可以向下面一样执行分页查询了。

SELECT

FROM _tmp

WHERE OFFSET >= $offset

ORDER BY OFFSET

LIMIT $perpage;

简单来说，对于分页的优化就是。。。避免数据量大时扫描过多的记录。

最简单的方法就是把条件放到URL里面、第一个参数要用取、第二个和第一个之间要加&

下个页面 用 requestgetParameter("a")取

比如：

windowlocation = >

这好象是用jquery做的, 在提交表单前提示一下- ^-^-

alert('正在查询中。。。，请您先看看窗外或喝杯咖啡吧');

searchFormsubmit();

以上就是关于为什么linux kernel默认的页面大小是4K，而不是4M或8M全部的内容，包括:为什么linux kernel默认的页面大小是4K，而不是4M或8M、数据库页是文件吗、mysql数据库分页等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！