问题
这件事出现在一次客户项目里,当时我们在为一个对延迟敏感的工作负载设计带 NVMe 直通的 Proxmox VE 部署。客户在开会之前已经自己做过基准测试。在宿主机上,fio 对这块 NVMe 盘测出 70 万随机读 IOPS,完成延迟低于 10µs。在虚拟机里,同一块盘、同样的测试,他们只拿到大约一半。
明显的地方他们已经查过了。盘没换。固件没变。PCIe 插槽没动。他们开始怀疑,直通是不是从根上就选错了。
并没有。他们看到的是 IOMMU 税。它常常让人措手不及,因为在你敲定直通方案之前,没人会告诉你有这回事。好消息是,一旦搞清楚开销从哪来,大部分都能找回来。
深入剖析
必须解决的问题
让虚拟机直接访问一块物理 PCIe 设备,听起来很简单。实际上,它是系统虚拟化里比较难的问题之一。有几件在裸机上自动就能成立的事,一旦设备在宿主机和客户机之间共享,就变得危险了。
DMA 隔离
这是最根本的问题。
PCIe 设备读写内存不经过 CPU。它们用直接内存访问(DMA),直接写物理 RAM 地址。在裸机上这没问题,设备和操作系统互相信任。
在虚拟化下,客户虚拟机有自己的一套物理内存视图。客户机驱动交给 NVMe 控制器的地址是客户机物理地址,它们对应的并不是宿主机 RAM 里的同一位置。如果设备直接使用这些地址,就会读写错误的内存,破坏宿主机、其他虚拟机,或者两者一起。
更糟的是,一个恶意或有缺陷的客户机驱动,可以故意让设备 DMA 到宿主机内存的任何地方。这实际上等于拿到了整台机器的 root 权限,而且根本不需要利用任何虚拟化管理程序的漏洞。
解决办法是 IOMMU,一个位于每块 PCIe 设备和主内存之间的硬件地址转换单元(Intel VT-d、AMD-Vi)。它维护自己的页表,与 CPU 的页表分开。设备发出的每个 DMA 请求都要经过 IOMMU,由它把客户机物理地址转换成宿主机物理地址,并拦截任何超出客户机所分配内存区域的访问。
没有 IOMMU,安全的直通就不可能。有了它,设备就被关在笼子里了。
设备分组
IOMMU 隔离的不是单个设备,而是组。
PCIe 规范定义了访问控制服务(ACS),它决定同一总线上的设备能否不经过 IOMMU 所在的根复合体,直接互相通信,也就是点对点 DMA。如果两个设备共用一个不强制 ACS 的 PCIe 交换芯片,一个设备就能 DMA 进另一个设备的内存空间,完全绕过 IOMMU。
内核会把那些可能在没有 IOMMU 约束的情况下互相访问的设备,归进同一个 IOMMU 组。如果你的 NVMe 控制器和另一个设备同组,只直通 NVMe 就会破坏隔离模型。组里的另一个设备仍然可能被用作绕过 IOMMU 的旁路。
每座桥和每个交换芯片都正确支持 ACS 的服务器级硬件,通常会让每个设备独占一个组。消费级和工作站主板则常常把多个设备塞在一起,因为 PCIe 根复合体没有在每个端口上实现 ACS。
Proxmox 带有一个内核补丁 pcie_acs_override,它让内核不管硬件是否支持 ACS,都把每个设备当作隔离的。实践中它能用,但它是在对内核谎报硬件拓扑。在生产系统上,由真正的硬件 ACS 支撑的干净分组永远是更好的选择。
中断投递
在裸机上,NVMe 控制器完成一次 IO 操作时,会直接向 CPU 发出一个 MSI-X 中断。CPU 几百纳秒就处理完了。
在虚拟化下,这个中断必须送到客户机,而不是宿主机。最朴素的做法是在虚拟化管理程序里截获每个中断,触发一次 VM exit,把中断注入客户机,然后恢复运行。这能用,但每次 VM exit 要花 5–20µs。在高 IOPS 下,也就是每秒几十万个中断,这个开销相当可观。
硬件上的解决办法是 posted interrupt(投递中断)。Intel 的 APICv 和 AMD 的 AVIC 允许 IOMMU 把中断直接写进客户机的虚拟 APIC 页,完全不产生 VM exit。客户机看到的中断,就像来自裸机硬件一样。开销降到几百纳秒。
不是所有平台都支持 posted interrupt。较老的 CPU、一些工作站芯片组,以及某些 BIOS 版本,都不提供这项能力。没有它,每个中断都走慢路径,而且没有任何软件上的变通办法。
设备复位
当虚拟机关机或崩溃时,被直通的设备需要回到一个干净的已知状态,否则它没法被分配给另一台虚拟机,也没法被宿主机收回。
在裸机上,操作系统会有序地关闭设备驱动。在直通下,客户机可能崩溃,用户可能强制停止虚拟机,虚拟化管理程序可能直接杀掉进程。设备可能正传输到一半,还有 DMA 操作在途。
PCIe 为此定义了功能级复位(FLR),一种只复位单个设备功能、不影响总线其余部分的办法。NVMe 控制器一般都支持 FLR,而且处理得很好。GPU 在这方面出了名地差,不过那是另一篇文章的事了。
如果不支持 FLR,后备方案是二级总线复位,它会把那座 PCIe 桥后面的一切都复位。如果这座桥上还有别的设备,它们也会一起被复位。最坏的情况下,只有整台宿主机重启才能收回这个设备。
地址转换开销
IOMMU 解决了安全问题。因此,它不是可选项。但它带来了一个性能问题。
现在每次 DMA 操作都要多经过一层地址转换。IOMMU 有自己的 TLB,也就是 IOTLB,命中时开销很小。未命中时,IOMMU 必须遍历自己的页表,这会给每个受影响的 IO 操作增加实实在在的延迟。
这就是 IOMMU 税。本文剩下的部分,讲的就是它从哪来,以及如何把它降到最低。
BAR 映射与地址空间
每个 PCIe 设备都会暴露一个或多个基地址寄存器(BAR),把设备内部的寄存器和内存映射进宿主机的 MMIO 地址空间。宿主机 CPU 通过这些映射访问设备。要让直通工作,虚拟化管理程序必须把这些映射正确地呈现给客户机。
传统上,BAR 大小在启动时由 BIOS 固定,并且放在 4GB 以下传统的 32 位 MMIO 窗口里。BAR 很小的时候,这没问题。现代 GPU 改变了局面。一个 24GB 的帧缓冲需要一个 24GB 的 BAR,32 位地址空间根本装不下。
可调整大小 BAR(ReBAR),市场上也叫 AMD Smart Access Memory(SAM),是一项 PCIe 能力,允许在启动后重新协商 BAR 的大小。对 GPU 来说,这是一项重要特性。宿主机不再通过一个 256MB 的窗口一块一块地翻页访问帧缓冲,而是一次映射整个显存。
对 NVMe 来说,直接影响较小。NVMe 控制器的 BAR 通常只有 16KB 到 64KB,用于控制器寄存器组(BAR0)。NVMe 规范定义了控制器内存缓冲区(CMB),可以为驻留在主机端的提交队列暴露一个更大的 BAR,但大多数盘没有实现它。ReBAR 对 NVMe 吞吐量的影响,远不像对 GPU 那样。
它在 NVMe 直通场景下之所以重要,是因为 PCIe 环境是共享的。如果你在同一台宿主机上把 NVMe 盘和 GPU 一起直通,GPU 调整后的 BAR 需要 4GB 边界以上的地址空间。BIOS、IOMMU 和虚拟 PCIe 拓扑都得容纳得下。地址空间分配错了,设备就初始化不起来,NVMe 直通也会跟着其他东西一起失败。
掉电风险
在虚拟磁盘上,写入顺序和崩溃一致性由虚拟化管理程序和存储层负责。用了直通,客户机就是在直接和闪存打交道。如果宿主机在写入中途掉电,你会不会丢数据,取决于 NVMe 控制器固件如何处理(或者不处理)它的写缓存。
企业级 NVMe 盘带有掉电保护(PLP)电容,能在断电时安全地把写缓存刷下去。没有 PLP 的消费级盘可能做不到。用了直通,客户机和硬件之间就没有虚拟化管理程序这张安全网了。
对生产工作负载来说,带 PLP 的企业级盘不是可选项。
运维上的取舍
直通还会拿走虚拟磁盘提供的一些能力。
被直通的设备在物理上就钉死在某一台宿主机上。设备挂着的时候,虚拟机无法热迁移。在启用了 HA 的 Proxmox 集群里,节点故障意味着虚拟机宕掉,然后在另一个节点上冷启动。没有无缝的故障切换。
这块盘对 vzdump 和 Proxmox Backup Server 也是不可见的。它不会被包含在虚拟机快照或计划备份里。在工作负载上线之前,必须先准备好单独的备份策略,客户机层面、文件系统层面或应用层面都行。
VFIO 直通到底是怎么工作的
当你把一块 PCIe 设备直通给虚拟机时,虚拟化管理程序把设备 MMIO 寄存器的直接控制权交给客户机。客户机驱动和 NVMe 控制器打交道,就像跑在裸机上一样。这部分接近原生性能。MMIO 寄存器访问经过扩展页表(Intel 上是 EPT,AMD 上是 NPT),通常不产生 VM exit 就能完成。
代价出现在 DMA 路径上。每次 DMA 操作都要经过 IOMMU 做地址转换,而如上所述,这个转换是有代价的,尤其是在 IOTLB 未命中的时候。
为什么基准测试看起来比实际更糟
大多数人的测试就是在这里出的错。
促使我写这篇文章的那个 Proxmox 论坛帖子里,用户运行 fio 时用的是 iodepth=1。在这个队列深度下,fio 提交一个 IO,等它完成,再提交下一个。这个测试测的只是单个 IO 的延迟。IOMMU 开销的每一微秒都会原原本本地显露出来。
那个帖子里的数字把事情说得很清楚。裸机的完成延迟平均约 10µs。虚拟机里平均约 28µs。每个 IO 多出来的约 18µs,就是 IOMMU 地址转换的开销。在 iodepth=1 下,它直接让吞吐量减半,因为当只有一个 IO 在途时,吞吐量就等于 1 / latency。
把队列深度提到 32 或 64,这才是 NVMe 盘设计时的工作方式,情况就变了。有多个 IO 在途时,IOMMU 开销会摊到所有 IO 上。控制器在处理完成事件的同时,新的地址转换也在进行。吞吐量会回到离裸机只差几个百分点的水平。
实际的结论是这样的。如果你的工作负载跑在 4 以上的队列深度,IOMMU 对吞吐量的影响很可能可以忽略。大多数数据库、虚拟化和存储工作负载都属于这种。如果你的工作负载在低队列深度下对延迟敏感,比如某些实时应用、同步的元数据操作,你会感觉到它。
在断定直通太慢之前,先用贴近实际的队列深度跑基准测试:
# Bare metal baseline — run on the host before binding to vfio-pci
fio --name=randread --ioengine=libaio --direct=1 --bs=4k \
--iodepth=32 --numjobs=4 --rw=randread --size=1G \
--filename=/dev/nvme0n1 --runtime=30 --time_based \
--group_reporting
# Same test inside the VM after passthrough
fio --name=randread --ioengine=libaio --direct=1 --bs=4k \
--iodepth=32 --numjobs=4 --rw=randread --size=1G \
--filename=/dev/nvme0n1 --runtime=30 --time_based \
--group_reporting
对比 clat(完成延迟)百分位数和 IOPS 数字。在 iodepth=32、四个 job 的情况下,差距应该是个位数百分点,而不是 50%。
NUMA 对齐
这个话题有单独的文章。见 Proxmox VE 上的 NUMA 对齐:为什么要紧,以及怎么做对。
简短版本:在多路系统上,每个 PCIe 设备都连接到某一个特定的 CPU 插槽。如果 NVMe 盘在 NUMA 节点 1 上,而虚拟机的 vCPU 被绑定在节点 0,那么每次 DMA 完成都要跨越插槽间互联链路。每次操作增加 50–100ns。在高 IOPS 下,NUMA 对齐和不对齐之间的吞吐量差距是 20–30%。
用 cat /sys/bus/pci/devices/0000:XX:00.0/numa_node 检查,然后在虚拟机配置里用 affinity 参数把虚拟机的 vCPU 绑定到同一节点的核心上。在单路系统上,不用操心这个。
PCIe 活动状态电源管理(ASPM)
这个话题有单独的文章。见 PCIe ASPM,以及为什么做直通时应该关掉它。
简短版本:ASPM 允许 PCIe 链路在空闲时进入低功耗状态。在直通下,宿主机仍然控制物理链路,但设备归客户机所有。当客户机提交 IO 而链路正在休眠时,唤醒时间就会增加延迟。症状是 clat 百分位数分布很宽。平均值看起来没问题,p99 却可能比平均值高 5–10 倍。
在宿主机内核命令行里加上 pcie_aspm=off 关掉它。如果你的 NVMe 控制器在电源状态恢复上有问题,还要在 vfio-pci 模块选项里加上 disable_idle_d3=1。Samsung 990 EVO Plus 就是出了名的问题盘。
MaxPayloadSize(MPS)
这个话题有单独的文章。见 PCIe MaxPayloadSize:直通的一项免费性能提升。
简短版本:PCIe 设备用事务层数据包(TLP)传输数据。QEMU 的虚拟根复合体默认最大负载是 128 字节。大多数设备支持 256 或 512 字节。在宿主机内核命令行里加上 pci=pcie_bus_perf,会把 MPS 设成每个设备的上级总线所允许的最大值。这是一个很小的吞吐量提升,个位数的低百分比,但它是免费的,没有任何坏处。
Resizable BAR 与 MMIO 窗口
前面讲的 BAR 映射问题,在 BIOS 和虚拟机两侧都有实际的处理步骤。
首先,在 BIOS 里启用 Above 4G Decoding。这允许 BAR 被映射到 4GB 边界以上的地址空间,任何带大 BAR 的设备都需要它。即使只直通 NVMe 也要启用。它没有任何坏处,而且以后加上 GPU 或其他大 BAR 设备时能避免问题。
如果 BIOS 里有 ReBAR,也一并启用。它不会直接影响 NVMe 性能,但能让同一台宿主机上的 GPU 使用完整的帧缓冲映射。
在虚拟机一侧,QEMU 的虚拟 Q35 根复合体需要一个足够大的 64 位 MMIO 窗口,客户机才能看到调整过大小的 BAR。默认情况下,OVMF 分配的窗口相对较小。只直通 NVMe 的话没问题,NVMe 的 BAR 放得下。但如果虚拟机同时直通了 NVMe 和 GPU,就要加大 MMIO 窗口:
args: -fw_cfg name=opt/ovmf/X-PciMmio64Mb,string=65536
这会让 OVMF 分配 64GB 的 64 位 MMIO 空间,足够大多数 GPU 帧缓冲和 NVMe 控制器的小 BAR 共用。
QEMU 对 ReBAR 的支持一直在改进,但仍然不算顺畅。一些 AMD GPU(Vega 及更新的型号)在 QEMU 下启用 ReBAR 时会触发驱动错误(Windows 里的 Code 43)。如果遇到这个问题,第一步先在 BIOS 里关掉 ReBAR。无论哪种情况,NVMe 直通都不受影响。
关于 Resizable BAR 在 GPU 那一侧做了什么,以及为什么 Intel 在 Arc 上把它当作必需项,而 NVIDIA 按游戏逐个启用,见 PCIe Resizable BAR 与现代 GPU:Intel Arc、NVIDIA 和 AMD。
中断处理
前面讲的中断投递问题,有一个实际的调优步骤。posted interrupt(Intel 上的 APICv,AMD 上的 AVIC)可能默认没有启用。
检查它们是否已激活:
# Intel — look for "Posted-Interrupts" in dmesg
dmesg | grep -i "posted"
# AMD — check AVIC support
dmesg | grep -i "avic"
在 AMD EPYC 系统上,如果 KVM 模块默认没有启用 AVIC,就把它打开:
# /etc/modprobe.d/kvm.conf
options kvm_amd avic=1
在 Intel 系统上,VT-d 激活时,带 posted interrupt 的 APICv 通常会自动启用。
如果你的平台不支持 posted interrupt,就没有任何软件上的变通办法。这是一项硬件能力。但在认定慢路径无法避免之前,值得先确认它是不是真的打开了。
中断亲和性与队列对齐
NVMe 控制器使用多对提交队列和完成队列,通常每个 CPU 核心一对。当虚拟机的 vCPU 和处理 NVMe 中断的物理核心对不上时,完成事件就得通过处理器间中断在核心之间跨越。这会增加延迟。
在客户机里,检查 NVMe 驱动创建了多少个 IO 队列,以及它们是怎么映射的:
# List NVMe IO queues
cat /proc/interrupts | grep nvme
# Check affinity
for irq in $(grep nvme /proc/interrupts | awk '{print $1}' | tr -d ':'); do
echo "IRQ $irq: $(cat /proc/irq/$irq/smp_affinity_list)"
done
理想情况下,每个 NVMe IO 队列的中断都应该绑定到向这个队列提交 IO 的那个 vCPU 上。大多数现代 NVMe 驱动会自动处理这一点。但值得确认一下,尤其是当你手动绑定了 vCPU,或者把 vCPU 数量减到低于控制器的队列数时。
永远用 Q35,别用 i440fx
这个话题值得单独写一篇。见 永远用 Q35,别用 i440fx。
简短版本:i440fx 呈现的是一条扁平的传统 PCI 总线。Q35 呈现的是一个真正的 PCIe 根复合体。i440fx 上的直通设备显示为传统 PCI 设备,这会破坏 MSI-X 多队列中断投递。NVMe 控制器的“每核一队列”架构需要 MSI-X。没有它,所有 IO 完成事件都挤过同一个中断,在高 IOPS 下形成瓶颈,内核再怎么调也解决不了。
在 Proxmox 8.x 及更新版本中,Q35 是新建虚拟机的默认值。如果你在一台仍然是 i440fx 的老虚拟机上做直通,就把它换掉。RHEL 10 已经正式弃用 i440fx,更广泛的 KVM 生态也在跟进。
综合起来
下面按影响大小排列,汇总这些调优步骤。
NUMA 对齐:确保 NVMe 盘和虚拟机的 vCPU 在同一个 NUMA 节点上。在多路系统上,光这一项就可能带来 20–30% 的吞吐量差距。
关闭 ASPM:在宿主机内核命令行里加上 pcie_aspm=off。消除 PCIe 链路电源状态切换带来的延迟抖动。
贴近实际的队列深度:用 iodepth=32 或更高来测试,而不是 iodepth=1。在低队列深度下占主导的 IOMMU 开销,在实际深度下会被摊薄。
posted interrupt:确认 APICv(Intel)或 AVIC(AMD)已激活。把每个中断的开销从微秒级降到纳秒级。
MPS 优化:在宿主机内核命令行里加上 pci=pcie_bus_perf。把 MaxPayloadSize 设为拓扑所支持的最大值。
vfio-pci 电源管理:如果你的 NVMe 控制器在直通下有电源状态问题,加上 disable_idle_d3=1。
在 AMD EPYC 系统上做 NVMe 直通的 Proxmox 节点,合起来的宿主机内核命令行大致是这样:
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf"
Intel 的话:
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf"
什么时候直通不值得
在走这条路之前,值得先问问自己,到底需不需要 NVMe 直通。
用 NVMe 做后端的虚拟磁盘,配上 VirtIO-SCSI 或 VirtIO-BLK,本身就已经非常高效。和直通相比,延迟上的开销通常是 5–10%。对大多数工作负载来说,吞吐量差距可以忽略。
当你需要客户机操作系统直接管理设备时,直通才有意义。这包括 SMART 监控、固件更新、TRIM/discard 控制,以及像预留(reservation)这样的特定 NVMe 功能。对于连几微秒都在乎的延迟敏感型工作负载,它也有意义。某些数据库引擎和实时数据采集就属于这一类。
对其他所有情况,前面讲过的运维取舍,失去热迁移、失去快照和备份集成,通常都会压过那点小小的性能收益。
简单的路能把活干好,偏要选难的那条,没啥聪明的。
验证你的改动
应用这些调优步骤之后,确认一切都按预期工作:
# Host side — confirm IOMMU is in passthrough mode
dmesg | grep -i iommu
# Confirm ASPM is disabled
lspci -vv | grep -i "ASPM Disabled"
# Check MPS on the NVMe controller
lspci -vv -s XX:00.0 | grep MaxPayload
# Inside the VM — run the fio comparison
fio --name=randread --ioengine=libaio --direct=1 --bs=4k \
--iodepth=32 --numjobs=4 --rw=randread --size=1G \
--filename=/dev/nvme0n1 --runtime=30 --time_based \
--group_reporting
把虚拟机的结果和你之前的裸机基线对比。在 iodepth=32 下,吞吐量应该和裸机相差不到 5%。完成延迟的平均值应该和宿主机的数字相差在 10–15µs 以内。如果差距仍然很大,先查 NUMA 对齐。它是最常被忽视的因素。它也只需要改一下配置,什么成本都没有,这是你能剩下的最好的那种问题。
参考资料
- Linux kernel PCI documentation — MPS and MRRS tuning options —
pcie_bus_perf、pcie_bus_safe及相关参数的权威来源 - Proxmox VE Administration Guide — PCI(e) Passthrough — Proxmox 关于 VFIO 设备直通配置的官方文档
- Proxmox Forum — NVMe Passthrough Performance — 促使我写这篇文章的社区讨论