NUMA 是什么

NUMA 是 Non-Uniform Memory Access(非一致性内存访问)的缩写。 在单路系统上,每个 CPU 核心都通过同一个内存控制器访问系统的全部内存。 不管是哪个核心发起请求,也不管数据在物理内存的哪个位置,访问时间都一样。

在多路系统上,每个 CPU 插槽都有自己的内存控制器和自己的一组内存。 插槽 0 上的核心可以很快地访问插在插槽 0 上的内存,这就是本地内存。 它也能访问插在插槽 1 上的内存,但这个请求必须穿过插槽间互连(Intel UPI、AMD Infinity Fabric)。 那就是远程内存,它更慢。

内核把每个插槽及其本地内存称为一个 NUMA 节点。 一台双路 AMD EPYC 系统至少有两个 NUMA 节点。 有些 EPYC 处理器每个插槽暴露四个 NUMA 节点(每个 CCD 一个),在双路主板上就是八个节点。

本地和远程内存访问之间的性能差异可不细微。 本地访问大约 80–100ns。 远程访问大约 130–200ns。 每次内存操作要多付 50–100% 的代价。 单看这个数非常小。 但在虚拟机的整个生命周期里,每一次内存访问都要付一遍,它就不小了。

为什么这对虚拟化很要紧

Proxmox 创建虚拟机时,会分配 vCPU 和内存。 默认情况下,这些 vCPU 可以被调度到任何插槽的任何物理核心上。 虚拟机的内存可以从任何一个 NUMA 节点的内存池里分配。

如果调度器把一个 vCPU 放在插槽 0,而虚拟机的内存在插槽 1,那么这个 vCPU 的每一次内存访问都要穿过插槽间互连。 如果 vCPU 在插槽之间来回跳(没绑定的话它们就会这样),内存访问模式就会一团糟。 有些访问是本地的,有些是远程的,虚拟机的性能也就跟着抖。

对于一般负载,比如 Web 服务器、文件服务器、桌面虚拟机,这通常还能忍。 开销是在的,但它分摊在许多操作上,不占主导。

对于 IO 密集型负载,比如数据库、存储服务器,任何做大量磁盘或网络 IO 的东西,代价会层层累加。 每一次 DMA 完成、每一次中断投递、每一次缓冲区拷贝都涉及内存访问。 如果这些访问都在跨插槽,开销很快就会堆起来。

为什么这对直通很要紧

PCIe 设备在物理上是连到某一个特定的 CPU 插槽的。 每个插槽都有自己的 PCIe 根复合体。 插槽 3 里的 NVMe 盘可能在插槽 0 的 PCIe 通道上。 插槽 5 里的 GPU 可能在插槽 1 的上面。

设备做 DMA 时,数据会进入 IOMMU 把它映射到的那个 NUMA 节点所连的内存。 如果虚拟机的内存是从设备的本地节点分配的,DMA 写入就直接进本地内存。 如果内存在另一个节点上,每一次 DMA 操作都要穿过插槽间互连。

对一块每秒做几十万次 IOPS 的 NVMe 盘来说,每次操作 50–100ns 的代价会累加起来。 在 iodepth=32、4KB 随机读的情况下,NUMA 对齐和不对齐之间的吞吐量差距可以达到 20–30%。 这还是在你去看 IOMMU 开销、ASPM、MPS 或者任何别的东西之前。

NUMA 未对齐让每次 DMA 都穿过插槽间互连;对齐则让它留在本地未对齐:虚拟机在节点 0,盘在节点 1NUMA 节点 0核心 0–15内存 128 GB虚拟机:vCPU 绑定 0–15,内存分配在这里NUMA 节点 1核心 16–31内存 128 GBNVMe,根复合体 1UPI / IF每次 DMA 都穿过互连:130–200 ns已对齐:vCPU、内存和盘都在节点 1NUMA 节点 0核心 0–15内存 128 GB留给其他虚拟机NUMA 节点 1核心 16–31内存 128 GBNVMe,根复合体 1虚拟机:affinity 16-31, numa0 hostnodes=1, policy=bind空闲80–100 ns在 iodepth=32、4 KB 随机读下,两者的吞吐量差距是 20–30%,这还没算上 IOMMU 开销、ASPM 或 MPS。在单路系统上,没有第二个节点,也没有插槽间互连,所以这些都不适用。
两种情况下硬件完全一样。唯一的区别是虚拟机被绑到了哪个节点,以及盘的 DMA 是否必须穿过互连才能到达虚拟机的内存。

网卡、GPU 以及任何其他直通设备也是一样。 设备的 DMA 流量应该落在本地内存里,处理这些流量的 vCPU 也应该在同一个节点上。

怎么检查你的拓扑

找出设备在哪个 NUMA 节点上

# Replace 0000:XX:00.0 with your device's PCI address from lspci
cat /sys/bus/pci/devices/0000:XX:00.0/numa_node

它返回 NUMA 节点编号。 如果返回 -1,说明内核无法确定节点。这在某些 PCIe 交换芯片后面的设备上时有发生。 这种情况下,用 lspci -tv 手动追踪 PCIe 拓扑,把根端口对应到插槽上。

查看完整的 NUMA 布局

numactl --hardware

它会显示每个 NUMA 节点、上面有多少个 CPU 核心、连了多少内存,以及节点之间的距离(相对代价)。

一台双路 EPYC 系统的示例输出:

available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
node 0 size: 131072 MB
node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
node 1 size: 131072 MB
node distances:
node   0   1
  0:  10  32
  1:  32  10
读懂 numactl --hardware 给出的节点距离表距离表,取自 numactl --hardware双路,每插槽 2 个 NUMA 节点。相对代价,不是纳秒。节点 0节点 1节点 2节点 3节点 0节点 1节点 2节点 310163232161032323232101632321610插槽 0插槽 110:节点自身,本地内存16:同一插槽,另一个节点32:跨插槽间互连把虚拟机和它的设备绑在同一个 10 里,绝不要让它的内存落到 32 上。双节点主板只显示 10 和 32;一旦一个插槽暴露多个节点,16 就会出现。
这些数字是相对代价,不是纳秒。把虚拟机和它的设备放在同一个 10 里面,绝不要让它的内存落到 32 上。

距离表告诉你相对代价。 10 是本地。 32 是远程。 数字越大意味着跳数越多。在每插槽四节点的 EPYC 配置上,有些节点对的距离是 32,另一些是 16,取决于它们在哪个 CCD 上。

把设备对应到节点

# List all PCI devices and their NUMA nodes
for dev in /sys/bus/pci/devices/*; do
    node=$(cat "$dev/numa_node" 2>/dev/null)
    echo "$(basename $dev) node=$node $(lspci -s $(basename $dev) 2>/dev/null | cut -d' ' -f2-)"
done

这样你就能完整地看到哪些设备在哪些节点上。 找出你的 NVMe 控制器、网卡,以及你要直通的任何 GPU。

怎么在 Proxmox 里对齐一台虚拟机

把 vCPU 绑到正确的节点

在虚拟机的配置文件里(/etc/pve/qemu-server/<vmid>.conf):

numa: 1
affinity: 0-15    # Adjust to match cores on the correct NUMA node

affinity 参数把虚拟机的 vCPU 绑定到特定的物理核心上。 把它设成与你的直通设备在同一个 NUMA 节点上的那段核心范围。

如果你的 NVMe 在节点 1 上,而节点 1 有核心 16–31,就设 affinity: 16-31。 如果虚拟机只需要 8 个 vCPU,就绑到其中一部分:affinity: 16-23。

从正确的节点分配内存

在虚拟机配置里启用 numa: 1,就是告诉 Proxmox 向虚拟机呈现 NUMA 拓扑。 QEMU 会尝试从 vCPU 被绑定的那个 NUMA 节点分配虚拟机的内存。

如果要显式控制,可以在虚拟机配置里设置 NUMA 拓扑:

numa0: cpus=0-7,hostnodes=0,memory=16384,policy=bind

这告诉 QEMU 把虚拟机的第一个 NUMA 节点(从客户机角度看是节点 0)绑定到宿主机的 NUMA 节点 0,使用核心 0–7 和 16GB 内存。 policy=bind 确保内存严格从该节点分配,而不是在本地内存池紧张时回退到其他节点。

验证绑定

启动虚拟机之后,检查 vCPU 是否真的在你预期的地方运行:

# Find the QEMU process
pgrep -a qemu | grep <vmid>

# Check CPU affinity of the process
taskset -cp <pid>

# Or check per-vCPU thread affinity
for tid in $(ls /proc/<pid>/task/); do
    echo "Thread $tid: $(taskset -cp $tid 2>/dev/null)"
done

常见错误

根本不绑定

如果你不设 affinity,虚拟机的 vCPU 可以被调度到任何核心上。 内核调度器会根据负载均衡把它们在节点之间挪来挪去。 每当一个 vCPU 从一个节点迁移到另一个节点,它在旧节点缓存里正在处理的任何数据都会变成远程的。

对一般虚拟机来说,这可以接受。 对做大量 IO 的直通虚拟机来说,不行。

绑错了节点

绑定之前先查设备的 NUMA 节点。 别想当然。 在有些主板上,物理插槽编号和 NUMA 节点分配之间的对应关系并不直观。 永远用 cat /sys/bus/pci/devices/.../numa_node 来核实。

让一个节点超额分配

如果你把太多虚拟机绑到同一个 NUMA 节点上,这个节点的核心就会超额分配,本地内存池也会耗尽。 当内存溢出到远程节点时,你就得到了两头最糟的结果:vCPU 绑定了,内存却是远程的。

在节点之间平衡你的虚拟机放置。 如果你有两个 NUMA 节点和四台虚拟机,就把它们平均分开。

忘了内存分配

只绑定 vCPU 而不同时控制内存分配,你只能得到一半的好处。 vCPU 在正确的节点上,但内存可能不在。 用 policy=bind,或者至少启用 numa: 1,让 QEMU 的分配跟着 CPU 绑定走。

单路系统

在单路系统上,一切都在 NUMA 节点 0 上。 只有一个内存控制器和一组 PCIe 通道。 NUMA 对齐不是问题。

你仍然可以在虚拟机配置里设 numa: 1,它不会有任何坏处,但也不会有任何帮助。 一个插槽,一个内存控制器,没有任何东西要对齐。 把这份力气留给有两个插槽的机器吧。 正因如此,这里说的性能收益只适用于存在插槽间互连的多路系统。

参考资料