ASPM 做了什么
PCIe 活动状态电源管理(Active State Power Management,ASPM)允许 PCIe 链路在空闲时进入低功耗状态。 PCIe 规范定义了几种链路状态:
L0 是完全活动状态。 链路处于连接状态,两端都已上电,数据可以立即传输。
L0s 是一种轻度空闲状态。 链路部分断电。 恢复到 L0 大约需要 1–4µs,取决于硬件。 链路两端可以各自独立进入 L0s。
L1 是更深的空闲状态。 链路两端一起断电。 恢复到 L0 需要更长时间,通常是 2–32µs,有时更久。 确切的恢复时间取决于设备、PCIe 代际和平台。
L1.1 和 L1.2 是 PCIe 3.0 引入的 L1 子状态。 它们通过关闭 PLL 时钟参考进一步降低功耗。 从 L1.2 恢复可能需要 32–100µs。 对存储设备来说,这可不是能四舍五入掉的误差。它差不多就是你原本想做的那次读操作本身的耗时。
思路很简单。 如果一条 PCIe 链路空闲了几微秒,就把它切换到更低的功耗状态。 流量恢复时,再把它唤醒。 在这段时间里省一点电。
在大部分时间都闲着啥也不干的笔记本或台式机上,ASPM 确实能省电。每条链路几瓦,系统里所有 PCIe 设备加起来就不少了。 在跑 IO 密集型负载的服务器上,链路很少能空闲到让 ASPM 真正起作用。
为什么它在直通下会出问题
在裸机上,操作系统和设备驱动一起协商电源管理。 NVMe 驱动知道链路什么时候将要空闲,什么时候将要提交新的 IO。 内核的 PCIe 子系统与驱动协调链路状态切换。 一切都是同步的。
在 VFIO 直通下,这种协调就失效了。
宿主机内核仍然控制着物理 PCIe 链路。 客户机虚拟机通过 VFIO 拥有设备,但它控制不了链路本身。 宿主机的 PCIe 子系统看到链路空闲了,因为从宿主机的角度看,没有任何宿主机侧的驱动在使用它。于是它把链路切换到低功耗状态。 当客户机提交 IO 时,设备需要链路回到 L0。 恢复时间就作为额外延迟,算到了这次 IO 操作头上。
结果就是延迟不稳定。
大多数 IO 以正常速度完成。
有些则慢得多,因为它们碰上了处于 L1 或 L1.2 的链路,得先等链路醒过来。
这会表现为 clat(完成延迟)百分位分布拉得很开。
平均值可能看着没问题。
p99 却可能高出 5–10 倍。
这很难发现,因为平均吞吐量数字可能看起来一切正常。 只有看尾部延迟时你才会看到问题。很多基准测试除非你要求输出百分位,否则根本不会把它突出出来。
VFIO 特有的麻烦
这里还有一个麻烦,超出了“宿主机和客户机争夺链路状态”这个基本问题。
当设备在宿主机上绑定到 vfio-pci 时,宿主机内核知道该设备处于直通模式。
但 PCIe ASPM 策略是在链路层面应用的,而不是设备层面。
宿主机的 ASPM 策略仍然作用于物理链路,因为宿主机仍然拥有 PCIe 拓扑。
VFIO 不会拦截或覆盖 ASPM 切换。 它直通的是设备的 BAR 空间和中断,但链路电源管理仍由宿主机控制。 客户机没有任何机制能告诉宿主机“让这条链路保持在 L0”。
有些较新的硬件和内核版本在这方面处理得比别的好。 正因如此,最稳妥的做法是把 ASPM 彻底排除在外。
如何关闭它
在宿主机内核命令行中加入 pcie_aspm=off:
# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"
# Update GRUB and reboot
update-grub
reboot
这会阻止宿主机把任何 PCIe 链路置入低功耗状态。 它是全局生效的。宿主机上的每一个 PCIe 设备都受影响,而不只是被直通的那个。
重启后验证:
# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"
电费代价
关闭 ASPM 确实会增加空闲功耗。 每条本该处于 L1 的 PCIe 链路都留在 L0,多消耗几百毫瓦。 在一个有十到十五个 PCIe 设备的系统上,空闲时加起来可能多出 2–5 瓦。
对数据中心里的服务器来说,2–5 瓦在电费账单上就是个零头。 对家庭实验室来说,这只是 CPU 和内存耗电的一小部分。 对笔记本来说,这就有影响了。可你本来也不会在笔记本电池供电时做 VFIO 直通。
这笔账很清楚。 几瓦的空闲功耗,对比直通设备上不可预测的延迟尖峰。 任何做直通的系统,都应该关掉 ASPM。
设备级电源状态问题
ASPM 控制的是 PCIe 链路的电源状态。 设备本身也有自己的电源管理,也就是 PCIe D 状态(D0 到 D3)。
当设备处于 D3(完全断电)时,睡着的不只是链路,设备本身也停了。
在 VFIO 直通下,当虚拟机没在运行,或者宿主机的电源管理策略判定设备空闲时,宿主机的 vfio-pci 驱动可能会把设备置入 D3。
有些 NVMe 控制器处理不好从 D3 到 D0 的切换。 它们无法干净地恢复,客户机丢失设备,唯一的出路是重启虚拟机,有时甚至要重启宿主机。
Samsung 990 EVO Plus 是出了名的问题盘。
解决办法是 vfio-pci 的模块选项 disable_idle_d3:
# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1
这会阻止 vfio-pci 在空闲时把任何已绑定的设备置入 D3。
和 pcie_aspm=off 一样,这是一个全局设置。每个绑定到 vfio-pci 的设备都会保持在 D0。
这通常正是做直通时想要的:设备的电源状态应该只由客户机来控制。
disable_idle_d3 选项与 ASPM 是两回事。
ASPM 控制链路。
D3 控制设备。
两者都可能各自引发问题。
要得到干净的直通配置,两个都关掉。
按设备控制 ASPM
如果你不想全局关闭 ASPM,比如宿主机上还有其他能从省电中受益的 PCIe 设备,你可以通过 sysfs 按链路控制 ASPM:
# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
这样更有针对性,但在重启和内核更新之后不那么可靠。
对大多数直通配置来说,全局的 pcie_aspm=off 内核参数更简单,也更可预测。
当问题不在 ASPM 时
不是每个延迟抖动问题都是 ASPM 造成的。
如果你的 clat 百分位一直都高(不只是尾部),问题更可能是 IOMMU 地址转换开销、NUMA 错位,或者 MPS 不匹配。
ASPM 造成的是一种特定的双峰模式:大多数 IO 很快,少数很慢,因为它只影响那些恰好在链路处于低功耗状态时到达的 IO。
当你看到以下情况时,先查 ASPM:
- p99 延迟比平均值高 5 倍或更多
- 每次运行
fio的结果不一致 - 延迟在持续负载下变好,在突发型负载下变差
如果不管负载模式如何,延迟一直都很差,那就去别处找原因。 ASPM 值得尽早排除,因为测试它的成本很低。 不过它并不是每条慢链路的答案。数字对不上这个模式时还死盯着它,就是白白搭进去一个下午,而且再也要不回来。
参考资料
- Linux kernel PCI documentation — ASPM parameters — 内核源码,涵盖
pcie_aspm=off及相关选项 - Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — 社区讨论帖,涵盖针对 Samsung NVMe 控制器的
disable_idle_d3 - Proxmox VE Wiki — PCI(e) Passthrough — 关于直通配置的官方文档