NUMA 配置

CPU绑核策略

对Libvirt驱动而言，虚拟机的vCPU可以绑定到主机的物理CPU上（pCPU）。这些配置可以改善虚拟机实例的精确度与性能。

注意：

应该使用主机组来隔离绑核虚拟机与非绑核虚拟机，因为非绑核虚拟机不会顾及绑核虚拟机的资源需求。

$ openstack flavor set FLAVOR-NAME

--property hw:cpu_policy=CPU-POLICY

--property hw:cpu_thread_policy=CPU-THREAD-POLICY

有效的CPU-POLICY值为：

shared: (默认值) 虚拟机的vCPU允许在主机pCPU上自由浮动，尽管可能受到NUMA策略的限制。

dedicated: 虚拟机vCPU被严格绑定到一组主机pCPU上。当CPU绑定生效时，虚拟机CPU拓扑会和绑定的CPU拓扑策略一致。这意味着超分率为1.0。例如，如果2个vCPU的虚拟机绑定到有两个线程的物理CPU核，那么虚拟机的CPU拓扑为一个socket、一个核、两线程。

有效的CPU-THREAD-POLICY值为：

prefer: (默认值) 主机可能是也可能不是SMT（同时多线程simultaneous multithreading-based）架构，如果应用SMT架构时，优选兄弟线程。

isolate: 应用在主机可能不是SMT架构，或者必须模拟非SMT架构。当主机不是SMT架构时，每个vCPU相当于一个核。如果主机应用SMT架构，也就是说一个物理和有多个兄弟线程，每个vCPU也相当于一个物理核。其他虚拟机的vCPU不会放在同一个核上。选中的核上只有一个兄弟线程可用。

require: 主机必要使用SMT架构。每个vCPU被分配在兄弟线程上。如果主机没有SMT架构，那就不使用此主机。如果主机使用SMT架构，却没有足够空闲线程的核，那么nova调度失败。

注意：

hw:cpu_thread_policy只在hw:cpu_policy设置为dedicated时有效。

NUMA拓扑

Libvirt驱动程序可以为虚拟机vCPU定义放置的NUMA节点，或者定义虚拟机从哪个NUMA节点分配vCPU与内存。对于内存与vCPU超过计算节点NUMA容量的flavor，NUMA拓扑定义允许主机更好地利用NUMA并提高GuestOS的性能。

$ openstack flavor set FLAVOR-NAME

--property hw:numa_nodes=FLAVOR-NODES

--property hw:numa_cpus.N=FLAVOR-CORES

--property hw:numa_mem.N=FLAVOR-MEMORY

FLAVOR-NODES: (整数) 限制虚拟机vCPU线程运行的可选NUMA节点数量。如果不指定，则vCPU线程可以运行在任意可用的NUMA节点上。

N: (整数) 应用CPU或内存配置的虚拟机NUMA节点，值的范围从0到FLAVOR-NODES - 1。比如为0，则运行在NUMA节点0；为1，则运行在NUMA节点1.

FLAVOR-CORES: (英文逗号分隔的整数) 映射到虚拟机NUMA节点N上的虚拟机vCPU列表。如果不指定，vCPU在可用的NUMA节点之间平均分配。

FLAVOR-MEMORY: (整数，单位MB) 映射到虚拟机NUMA节点N上的虚拟机内存大小。如果不指定，则内存平均分配到可用NUMA节点。

例子：Flavor定义虚拟机有4个vCPU，4096MB内存，以下表示虚拟机的vCPU与内存可以分布在2个NUMA节点。虚拟机的0号与1号vCPU在NUMA 0上，2号与3号vCPU在NUMA 1上。虚拟机的2048MB内存在NUMA 0上，另外的2048MB内存分配到在NUMA 1上。

$ openstack flavor set aze-FLAVOR

--property hw:numa_nodes=2

--property hw:numa_cpus.0=0,1 \

--property hw:numa_cpus.1=2,3

--property hw:numa_mem.0=2048

--property hw:numa_mem.1=2048 \

注意：

hw:numa_cpus.N与hw:numa_mem.N只在设置hw:numa_nodes时有效。另外，只有当实例的NUMA节点具有非对称的CPU和RAM分配（对于某些NFV工作负载很重要）时才需要。

注意：

N是虚拟机NUMA节点的索引，并不一定对应主机NUMA节点。例如，在两个NUMA节点的平台，根据hw:numa_mem.0，调度会选择虚拟机NUMA节点0，但是却是在主机NUMA节点1上，反之亦然。类似的，FLAVOR-CORES也是虚拟机vCPU的编号，并不对应与主机CPU。因此，这个特性不能用来约束虚拟机所处的主机CPU与NUMA节点。

警告：

如果hw:numa_cpus.N或hw:numa_mem.N的值比可用CPU或内存大，则会引发错误。

大页内存分配

$ openstack flavor set FLAVOR-NAME

--property hw:mem_page_size=PAGE_SIZE

有效的PAGE_SIZE值为：

small: (默认值) 使用最小的内存页面，例如x86平台的4KB。

large: 虚拟机RAM使用大页内存。例如x86平台的2MB或1G。

any: 取决于计算驱动程序。此情况下，Libvirt驱动可能会尝试寻找内存大页，但最终回落到小页。其他的驱动则可能选择可用策略。

注意：

大页内存可以分配给虚拟机内存，而不考虑Guest OS是否使用。如果Guest OS不使用大页内存，则它值会识别小页。反过来，如果Guest OS计划使用大页内存，则一定要给虚拟机分配大页内存。否则虚拟机的性能将不及预期。

Linux上MySQL优化提升性能，可以优化关闭NUMA特性如下：

这些其实都源于CPU最新的技术：节能模式。 *** 作系统和CPU硬件配合，系统不繁忙的时候，为了节约电能和降低温度，它会将CPU降频。

为了保证MySQL能够充分利用CPU的资源，建议设置CPU为最大性能模式。这个设置可以在BIOS和 *** 作系统中设置，当然，在BIOS中设置该选项更好，更彻底。

然后我们看看内存方面，我们有哪些可以优化的。

i)我们先看看numa

非一致存储访问结构(NUMA：Non-UniformMemoryAccess)也是最新的内存管理技术。它和对称多处理器结构(SMP：SymmetricMulti-Processor)是对应的。

我们可以直观的看到：SMP访问内存的都是代价都是一样的但是在NUMA架构下，本地内存的访问和非本地内存的访问代价是不一样的。对应的根据这个特性， *** 作系统上，我们可以设置进程的内存分配方式。目前支持的方式包括：

--interleave=nodes

--membind=nodes

--cpunodebind=nodes

--physcpubind=cpus

--localalloc

--preferred=node

简而言之，就是说，你可以指定内存在本地分配，在某几个CPU节点分配或者轮询分配。除非是设置为--interleave=nodes轮询分配方式，即内存可以在任意NUMA节点上分配这种方式以外。其他的方式就算其他NUMA节点上还有内存剩余，Linux也不会把剩余的内存分配给这个进程，而是采用SWAP的方式来获得内存。

所以最简单的方法，还是关闭掉这个特性。

关闭特性的方法，分别有：可以从BIOS， *** 作系统，启动进程时临时关闭这个特性。

a)由于各种BIOS类型的区别，如何关闭NUMA千差万别，我们这里就不具体展示怎么设置了。

b)在 *** 作系统中关闭，可以直接在/etc/grub.conf的kernel行最后添加numa=off，如下所示：

kernel/vmlinuz-2.6.32-220.el6.x86_64roroot=/dev/mapper/VolGroup-rootrd_NO_LUKS.UTF-8rd_LVM_LV=VolGroup/rootrd_NO_MDquietSYSFONT=latarcyrheb-sun16rhgbcrashkernel=autord_LVM_LV=VolGroup/swaprhgbcrashkernel=autoquietKEYBOARDTYPE=pcKEYTABLE=usrd_NO_DMnuma=off

另外可以设置vm.zone_reclaim_mode=0尽量回收内存。

c)启动MySQL的时候，关闭NUMA特性：

numactl--interleave=allmysqld

当然，最好的方式是在BIOS中关闭。

ii)我们再看看vm.swappiness。

vm.swappiness是 *** 作系统控制物理内存交换出去的策略。它允许的值是一个百分比的值，最小为0，最大运行100，该值默认为60。vm.swappiness设置为0表示尽量少swap，100表示尽量将inactive的内存页交换出去。

具体的说：当内存基本用满的时候，系统会根据这个参数来判断是把内存中很少用到的inactive内存交换出去，还是释放数据的cache。

---