ASPM 做了什么

PCIe 活动状态电源管理(Active State Power Management,ASPM)允许 PCIe 链路在空闲时进入低功耗状态。 PCIe 规范定义了几种链路状态:

L0 是完全活动状态。 链路处于连接状态,两端都已上电,数据可以立即传输。

L0s 是一种轻度空闲状态。 链路部分断电。 恢复到 L0 大约需要 1–4µs,取决于硬件。 链路两端可以各自独立进入 L0s。

L1 是更深的空闲状态。 链路两端一起断电。 恢复到 L0 需要更长时间,通常是 2–32µs,有时更久。 确切的恢复时间取决于设备、PCIe 代际和平台。

L1.1 和 L1.2 是 PCIe 3.0 引入的 L1 子状态。 它们通过关闭 PLL 时钟参考进一步降低功耗。 从 L1.2 恢复可能需要 32–100µs。 对存储设备来说,这可不是能四舍五入掉的误差。它差不多就是你原本想做的那次读操作本身的耗时。

链路睡得越深,下一个 IO 等得越久链路状态恢复到 L0 的时间:此刻到达的 IO 要付出的延迟L0完全活动,数据立即传输无L0s轻度空闲,两端各自进入1–4 µsL1深度空闲,两端一起进入2–32 µsL1.1 / L1.2PCIe 3.0 子状态,PLL 时钟关闭32–100 µs条形按 100 µs 最坏情况等比例绘制。睡得越深越省电,唤醒时的代价也越大。
条形表示恢复时间,按 100 µs 最坏情况等比例绘制。睡得越深,省电越多,流量恢复时付出的代价也越大。

思路很简单。 如果一条 PCIe 链路空闲了几微秒,就把它切换到更低的功耗状态。 流量恢复时,再把它唤醒。 在这段时间里省一点电。

在大部分时间都闲着啥也不干的笔记本或台式机上,ASPM 确实能省电。每条链路几瓦,系统里所有 PCIe 设备加起来就不少了。 在跑 IO 密集型负载的服务器上,链路很少能空闲到让 ASPM 真正起作用。

为什么它在直通下会出问题

在裸机上,操作系统和设备驱动一起协商电源管理。 NVMe 驱动知道链路什么时候将要空闲,什么时候将要提交新的 IO。 内核的 PCIe 子系统与驱动协调链路状态切换。 一切都是同步的。

在 VFIO 直通下,这种协调就失效了。

宿主机内核仍然控制着物理 PCIe 链路。 客户机虚拟机通过 VFIO 拥有设备,但它控制不了链路本身。 宿主机的 PCIe 子系统看到链路空闲了,因为从宿主机的角度看,没有任何宿主机侧的驱动在使用它。于是它把链路切换到低功耗状态。 当客户机提交 IO 时,设备需要链路回到 L0。 恢复时间就作为额外延迟,算到了这次 IO 操作头上。

结果就是延迟不稳定。 大多数 IO 以正常速度完成。 有些则慢得多,因为它们碰上了处于 L1 或 L1.2 的链路,得先等链路醒过来。 这会表现为 clat(完成延迟)百分位分布拉得很开。 平均值可能看着没问题。 p99 却可能高出 5–10 倍。

这很难发现,因为平均吞吐量数字可能看起来一切正常。 只有看尾部延迟时你才会看到问题。很多基准测试除非你要求输出百分位,否则根本不会把它突出出来。

ASPM 不动平均值,却毁了长尾ASPM 开启pcie_aspm=off完成延迟(µs)0306090120p99 处慢 3 倍,达自身平均值的 7 倍ASPM 开启pcie_aspm=offp50p90p99p99.9p99.99两次运行的平均值和 p50 完全相同,只有长尾把它们拉开。数字用于说明这种模式,并非某块具体硬盘的实测值。
同一块盘,开启和关闭 ASPM 的对比。p50 完全相同,所以只看平均值的基准测试会报告一切正常;损失全在 p90 之后,那里堆积着碰上休眠链路的 IO。

VFIO 特有的麻烦

这里还有一个麻烦,超出了“宿主机和客户机争夺链路状态”这个基本问题。

当设备在宿主机上绑定到 vfio-pci 时,宿主机内核知道该设备处于直通模式。 但 PCIe ASPM 策略是在链路层面应用的,而不是设备层面。 宿主机的 ASPM 策略仍然作用于物理链路,因为宿主机仍然拥有 PCIe 拓扑。

VFIO 不会拦截或覆盖 ASPM 切换。 它直通的是设备的 BAR 空间和中断,但链路电源管理仍由宿主机控制。 客户机没有任何机制能告诉宿主机“让这条链路保持在 L0”。

客户机拥有设备,宿主机仍拥有链路,两者之间没有任何通道客户机虚拟机NVMe 驱动拥有设备,提交 IO宿主机内核PCIe 子系统ASPM 策略vfio-pciD 状态策略无法告诉宿主机“让链路保持 L0”物理 PCIe 链路:处于 L1,休眠中由宿主机决定,而不是客户机宿主机看不到驱动在用,于是让链路休眠客户机提交 IO,以为链路在 L0这次 IO 要等链路醒来:2–32 µs,从 L1.2 醒来最多 100 µsVFIO 直通 BAR 空间和中断。链路电源管理不在其中。大多数 IO 根本碰不上休眠的链路,所以变化的只有长尾。
问题就出在这道分界:客户机拥有设备并提交 IO,宿主机拥有链路并决定它何时休眠,两者之间没有任何连接。

有些较新的硬件和内核版本在这方面处理得比别的好。 正因如此,最稳妥的做法是把 ASPM 彻底排除在外。

如何关闭它

在宿主机内核命令行中加入 pcie_aspm=off:

# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"

# Update GRUB and reboot
update-grub
reboot

这会阻止宿主机把任何 PCIe 链路置入低功耗状态。 它是全局生效的。宿主机上的每一个 PCIe 设备都受影响,而不只是被直通的那个。

重启后验证:

# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"

电费代价

关闭 ASPM 确实会增加空闲功耗。 每条本该处于 L1 的 PCIe 链路都留在 L0,多消耗几百毫瓦。 在一个有十到十五个 PCIe 设备的系统上,空闲时加起来可能多出 2–5 瓦。

对数据中心里的服务器来说,2–5 瓦在电费账单上就是个零头。 对家庭实验室来说,这只是 CPU 和内存耗电的一小部分。 对笔记本来说,这就有影响了。可你本来也不会在笔记本电池供电时做 VFIO 直通。

这笔账很清楚。 几瓦的空闲功耗,对比直通设备上不可预测的延迟尖峰。 任何做直通的系统,都应该关掉 ASPM。

设备级电源状态问题

ASPM 控制的是 PCIe 链路的电源状态。 设备本身也有自己的电源管理,也就是 PCIe D 状态(D0 到 D3)。

当设备处于 D3(完全断电)时,睡着的不只是链路,设备本身也停了。 在 VFIO 直通下,当虚拟机没在运行,或者宿主机的电源管理策略判定设备空闲时,宿主机的 vfio-pci 驱动可能会把设备置入 D3。

有些 NVMe 控制器处理不好从 D3 到 D0 的切换。 它们无法干净地恢复,客户机丢失设备,唯一的出路是重启虚拟机,有时甚至要重启宿主机。

Samsung 990 EVO Plus 是出了名的问题盘。 解决办法是 vfio-pci 的模块选项 disable_idle_d3:

# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1

这会阻止 vfio-pci 在空闲时把任何已绑定的设备置入 D3。 和 pcie_aspm=off 一样,这是一个全局设置。每个绑定到 vfio-pci 的设备都会保持在 D0。 这通常正是做直通时想要的:设备的电源状态应该只由客户机来控制。

disable_idle_d3 选项与 ASPM 是两回事。 ASPM 控制链路。 D3 控制设备。 两者都可能各自引发问题。 要得到干净的直通配置,两个都关掉。

按设备控制 ASPM

如果你不想全局关闭 ASPM,比如宿主机上还有其他能从省电中受益的 PCIe 设备,你可以通过 sysfs 按链路控制 ASPM:

# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm

# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm

这样更有针对性,但在重启和内核更新之后不那么可靠。 对大多数直通配置来说,全局的 pcie_aspm=off 内核参数更简单,也更可预测。

当问题不在 ASPM 时

不是每个延迟抖动问题都是 ASPM 造成的。

如果你的 clat 百分位一直都高(不只是尾部),问题更可能是 IOMMU 地址转换开销、NUMA 错位,或者 MPS 不匹配。 ASPM 造成的是一种特定的双峰模式:大多数 IO 很快,少数很慢,因为它只影响那些恰好在链路处于低功耗状态时到达的 IO。

当你看到以下情况时,先查 ASPM:

  • p99 延迟比平均值高 5 倍或更多
  • 每次运行 fio 的结果不一致
  • 延迟在持续负载下变好,在突发型负载下变差

如果不管负载模式如何,延迟一直都很差,那就去别处找原因。 ASPM 值得尽早排除,因为测试它的成本很低。 不过它并不是每条慢链路的答案。数字对不上这个模式时还死盯着它,就是白白搭进去一个下午,而且再也要不回来。

参考资料