MPS 是什么

PCIe 设备以数据包的形式传输数据,这种数据包叫事务层数据包(Transaction Layer Packet,TLP)。 每个 TLP 有一个头部和一段负载。 这段负载的最大长度就是 MaxPayloadSize(MPS)。

MPS 在链路训练时由设备和它的上游桥协商得出。 协商结果取设备支持的值和桥允许的值中较小的那个。 从设备到根复合体的路径上,每一个桥和交换芯片都有自己的 MPS 能力。 任何设备最终的 MPS 都由这条链上最窄的那一环决定。

常见的 MPS 值是 128、256 和 512 字节。 有些设备支持 1024 甚至 4096 字节,但实际上 NVMe 控制器和网卡通常是 256 或 512。 GPU 往往支持 256 字节。

为什么重要

MPS 越大,同样的数据量需要的数据包就越少。 一次 4KB 的 IO 在 MPS 128 下需要 32 个 TLP。 同样的传输在 MPS 512 下只需要 8 个 TLP。

每个 TLP 都带着协议开销:头部、CRC、帧定界。 TLP 越少,每传输一个字节摊到的协议开销就越少。 在高吞吐量下,这个差别是测得出来的。 不算惊人。但真实存在。而且是同样的开销,每个数据包都要付一次。

MPS 也影响 PCIe 链路的利用率。 负载越小,链路花在头部上的时间相对数据就越多。 负载越大,比例就越偏向有用的数据。

同样 4 KB 的负载,MPS 128 下要 32 个包头,MPS 512 下只要 8 个MPS 128:一次 4 KB 传输变成 32 个 TLP32 个头部 × ≈24 B: 线路上 ≈16% 的字节是协议开销MPS 512:同样的 4 KB 变成 8 个 TLP8 个头部 × ≈24 B: 线路上 ≈4% 的字节是协议开销头部、序列号、CRC 和帧定界负载两条带子承载的都是同样的 4 KB。更大的负载并不会搬运更多数据,只是少花链路去描述数据。实测的吞吐量提升很小。
两条带子承载的都是同样的 4 KB。实心条是每个数据包的头部:MPS 128 时有 32 个,MPS 512 时只有 8 个。

对延迟的影响比对吞吐量的小。 单次 4KB 读取在 MPS 128 和 512 下不会出现值得测量的延迟差别,因为 TLP 是流水线传输的。但当你用大量在途传输去推高 IOPS 时,大 MPS 省下的开销就积少成多了。

直通下的问题

在裸机上,BIOS 在 POST 期间根据 PCIe 拓扑设置 MPS。 现代服务器 BIOS 通常把 MPS 设为拓扑支持的最大值,一般是 256 或 512 字节。

在 QEMU 下,虚拟 Q35 芯片组的根复合体有它自己的 MPS 能力。 默认情况下,它给出的 MPS 很低。 Linux 内核的默认 MPS 策略(pcie_bus_default)把每个设备的 MPS 设成与其父桥一致,在虚拟拓扑里这就意味着 QEMU 根复合体的默认值。往往是 128 字节。

就这样,一个能跑 512 字节负载的设备只能跑 128,因为虚拟根复合体定下了天花板。

MPS 由路径上最窄的一环决定,在 QEMU 下就是虚拟根复合体裸机:BIOS 按真实拓扑设置 MPSNVMe支持 512PCIe 交换芯片允许 512根复合体允许 512MPS = 512 B路径上的最小值直通给虚拟机:虚拟根复合体成了最窄的一环NVMe支持 512QEMU Q35 虚拟根复合体默认给出 128MPS = 128 B设备能力被浪费宿主机内核加上 pci=pcie_bus_perfNVMe支持 512每个设备设为其父总线的最大值MRRS 相应提高MPS = 512 B设在宿主机上,不是虚拟机里
MPS 是路径上的最小值。直通一个设备,就把虚拟根复合体插进了这条路径,它保守的默认值于是成了所有设备的天花板。

怎么修复:宿主机端

让内核把 MPS 设为每个设备的父总线所支持的最大值:

# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub
pci=pcie_bus_perf

这会把每个设备的 MPS 设为其父总线允许的最大值。 它也会相应地设置 MRRS(Max Read Request Size,最大读请求大小)。 内核源码说明,它保证设备的 MPS 不大于其父设备的 MPS。这样既保持整条链一致,又拿到最好的传输大小。

重启之后,验证新的 MPS:

# Check MPS on a specific device
lspci -vv -s XX:00.0 | grep -i "MaxPayload"

你应该看到 MaxPayload 256 bytes 或 MaxPayload 512 bytes,而不是默认的 128。

其他内核选项

内核提供五种 MPS 策略,都通过 pci= 启动参数设置:

pcie_bus_tune_off:完全不碰 MPS。 BIOS 设成什么就用什么。 在裸机上配一个好的 BIOS,这通常没问题。 在 QEMU 下,BIOS 是 OVMF 或 SeaBIOS,它们未必会优化 MPS。

pcie_bus_default:内核默认值。 把每个设备的 MPS 设成与其上游桥一致。 保守、安全,但发挥不出最大性能。

pcie_bus_safe:把 MPS 设为系统中所有设备都支持的最大值。 适合封闭系统:你清楚所有设备,而且啥也不会热插拔。 比默认值稍微激进一点。

pcie_bus_perf:按设备逐个把 MPS 设为父总线允许的最大值。 每个设备都拿到它本地拓扑所支持的最佳 MPS。 这是直通的正确选择,因为它独立优化每一条路径。

pcie_bus_peer2peer:把所有设备的 MPS 都设为 128 字节。 每个设备都用最小的公共大小通信。 用于设备之间需要直接 DMA 的场景(GPU 到 GPU,或经由 RDMA 的 GPU 到网卡)。 对普通直通没有用。

直通就用 pcie_bus_perf。

怎么修复:虚拟机端

你也可以在虚拟机内核的启动配置里设置 pci=pcie_bus_perf。 它有没有实际效果,取决于 QEMU 怎样呈现虚拟 PCIe 拓扑。 虚拟根复合体限制了虚拟机能协商到的上限。

测试下来,真正起作用的是宿主机端的修复。物理设备归宿主机所有,宿主机的 MPS 设置决定了线路上实际的 TLP 大小。虚拟机的设置只作用于虚拟机内部的虚拟拓扑,它能不能改变实际行为,取决于 QEMU 为该设备呈现的 PCIe 路径。

在宿主机上设置。 在虚拟机里也设上不会有坏处,但别只靠它。

MRRS 是什么

最大读请求大小(Max Read Request Size,MRRS)与 MPS 相关,但是两回事。 MPS 限制设备在一个 TLP 里能发送多少数据。 MRRS 限制设备在一个读请求里能请求多少数据。

MRRS 为 4096 的设备可以发出单个 4KB 的读请求。 响应会分成多个 TLP 返回,每个最大为 MPS 大小。 MRRS 越高,设备每次事务能请求的数据越多,总线上的读请求 TLP 就越少。

MRRS 决定请求的大小,MPS 决定回复中每个数据包的大小NVMe 控制器MRRS 4096 B宿主机内存经由根复合体1 × 读请求:“给我发 4 KB”MRRS 限制一次请求能要多少8 × 完成 TLP:每个 512 BMPS 限制回复的每个数据包能有多大一个请求,多个数据包。 pci=pcie_bus_perf 会同时提高两者,不必分别调整。
两者很容易混淆:MRRS 限制设备一次请求能要多少,MPS 限制回复的每个数据包能有多大。

pci=pcie_bus_perf 会把 MPS 和 MRRS 都设成最优值。 你不需要分别调整它们。

与其他调优相比的效果

MPS 在 128 和 512 字节之间的差别,对性能的影响小于 NUMA 对齐或 ASPM。 通常是吞吐量上个位数百分比的低端提升。 在低队列深度的延迟基准测试里你看不到它。

但它是免费的优化。 一个内核参数,没有坏处,没有兼容性风险。 任何做直通的系统,都没有理由不设置它。

它一分钱不花,而硬件你已经付过钱了。 买了什么,就该用上什么。

参考资料