BAR 是什么,GPU 为什么撑破了它
每个 PCIe 设备都暴露一个或多个基地址寄存器(Base Address Register)。 BAR 告诉系统这个设备需要多大的地址空间,固件再把它映射进主机的内存映射里。 映射好之后,CPU 就用普通的读写指令访问设备的内存。
BAR 的大小过去是固化在芯片里的。 固件在上电时读一下,事情就到此为止。
BAR 还小的时候,这没问题。 一块网卡的寄存器只要几十 KB。 一个 NVMe 控制器要 16KB 到 64KB。
显卡打破了这个安排。 一块现代显卡有 8、12、16 或 24GB 显存,显而易见的做法是把它全部映射进来,让 CPU 能往任何地方写。 固定大小的 BAR 表达不了这一点,于是惯例变成了一个小窗口,通常是 256MB,由驱动在帧缓冲上来回挪动,一块一块地透过它复制。 这能用。 只是为了够到你已经买下并装上的内存,要记一大堆没道理的账。
Resizable BAR 改变了什么
Resizable BAR 是一项 PCIe 能力,让 BAR 的大小可以协商,而不是固定。 设备通告它能支持的大小,由固件或操作系统设定其中一个。
对 GPU 来说,这意味着整个帧缓冲可以一次映射进来。
驱动不再透过窗口翻页,而是想往哪写就往哪写。
内核把这项能力报告为 Physical Resizable BAR,它与厂商无关。AMD 显卡在 Intel 平台上能用,反过来也一样。
三家厂商实际怎么做
有意思的是,各家厂商对它有多重要并没有共识。
Intel Arc 和 Arc Pro:Intel 说必须开
Intel 的态度最坚决。 它的指南说 Resizable BAR 是“required to get a good experience with Intel® Arc™ hardware”(要在 Intel Arc 硬件上获得良好体验所必需的)。 对一项平台功能来说,这是罕见的强硬措辞,它反映的是 Arc 驱动的构造方式,而不是一个营销选择。
在症状方面,Intel 描述关闭它的后果时讲的是稳定性而不是平均值:在“ReBAR off”的情况下,“will generally result in spikes that were already there getting bigger”(通常会让原本就有的尖峰变得更大)。 这是一个关于帧时间稳定性的论点,和 ASPM 对延迟长尾的影响是同一种形状的问题。平均值把它藏起来了。
Intel 列出的支持平台是第 10 代及更新的 Intel Core 处理器、大多数 Ryzen 3000 系列和全部 Ryzen 5000 CPU,并把它当作一项需要你自己去主板 BIOS 里开启的功能。
对 Arc 和 Arc Pro 来说,实际结论很简单。 如果你把一块 Arc 卡装进机器,性能让人失望或者忽高忽低,先查这个,再查别的。 正因如此,在这些卡上它与其说是一个调优旋钮,不如说是一个前提条件。
NVIDIA:Ampere 起步,而且只在有用的地方开
NVIDIA 在 2021年3月为 GeForce RTX 30 系列显卡和笔记本加入了支持。 要让它工作,需要受支持的 VBIOS、兼容的 CPU 和主板、一次主板固件更新,以及较新的驱动。 RTX 3060 出厂就带;3060 Ti、3070、3080 和 3090 可能需要更新固件才能用上。
NVIDIA 自己对性能的表述朴实得让人耳目一新。 它们发现“some titles benefit from a few percent, up to 12%”(有些游戏能提升几个百分点,最多 12%),而“there are also titles that see a decrease in performance”(也有游戏的性能会下降)。
它们对此的应对才是值得知道的细节:NVIDIA 没有全局开启,而是预先测试游戏,用按游戏的配置文件只在测得有收益的地方开启 Resizable BAR。 所以在 NVIDIA 卡上,“ReBAR 开了吗?”的答案因应用而异,一个啥也没测出来的基准测试,可能只是驱动决定不去碰的那个游戏。
AMD:Smart Access Memory 就是同一个东西
AMD 给它起的品牌名是 Smart Access Memory,与 Radeon RX 6000 系列和 Ryzen 5000 CPU 一起推出。 营销上暗示要 AMD CPU 配 AMD GPU,发布时也确实是这么推的,但底下的能力就是标准的 PCIe 那一项。 在 Intel 机器里插一块 Radeon 卡,在固件里开启 Resizable BAR,你就得到了同样的功能,只是没有那个品牌名。
Radeon Pro W 系列卡也支持。 在较老的架构上,即 Vega 和 Polaris,支持就参差不齐了,而虚拟化的麻烦也正出在那里。
Resizable BAR 与 AI 工作
这正是这项功能被误解的地方,所以值得把它碰到的东西说清楚。
Resizable BAR 改变的是 CPU 访问 GPU 内存的方式。 那是传输路径:暂存模型权重、推送批次、读回结果。 它不碰 GPU 自身的显存带宽,也不会让矩阵乘法变快。
所以老实的总结是,它影响的是模型的加载和投喂,而不是运算。 对一个大模型来说,加载时从主机到设备的复制是实实在在的成本,全尺寸 BAR 让 CPU 能直接写进设备内存,而不是透过一个 256MB 的舷窗来回倒腾。 在推理运行的稳定阶段,权重已经驻留、工作受计算限制,别指望有啥变化。
有三点具体的值得知道。
用于 AI 的 Arc Pro 继承了 Intel 的结论。 如果 Intel 说这块卡需要 Resizable BAR 才能有良好体验,那么这对一块跑 oneAPI 或 PyTorch 的卡和对一块跑游戏的卡同样适用。 做推理的 Arc 和 Arc Pro 卡都应该开启它,没什么好说的。
在 NVIDIA 上,你要看的数字是 BAR1。 BAR1 是主机可见的设备内存窗口,主机映射的分配和 GPUDirect RDMA 走的都是它:
# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"
数据中心卡在设计上就自带很大的 BAR1。 在桌面卡上,是 Resizable BAR 让这个窗口变大而不是变小。 如果你在做从网卡直接到 GPU 内存的 RDMA,这就不是锦上添花。
别把它和 ROCm 的要求混为一谈。 AMD 的 ROCm 系统要求需要支持 PCIe atomics 的 CPU,即“modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell”(第一代 AMD Zen 和 Intel Haswell 发布之后的现代 CPU),对 BAR 大小只字未提。 这是两项不同的平台要求,都在同一个 BIOS 菜单里,人们总是把它们搞混。 查你真正需要的那一项。
对 AI 机器打击最大的故障模式根本不是性能问题,下面会讲到:一台机器里装几块大 BAR 的 GPU,可能把地址空间耗尽。
它需要什么才能工作
四样东西,全都在固件层面:
- 在主板固件里开启 Resizable BAR。默认常常是关的。
- 开启 Above 4G Decoding。一个 24GB 的 BAR 放不进 4GB 线以下,所以平台必须愿意在那条线以上分配地址空间。就算没有 GPU 也把它打开。它不花你任何代价。
- UEFI 启动,关闭 CSM。 传统兼容模式和大 BAR 合不来。
- 较新的固件和驱动,尤其是 2020 到 2021 年过渡期的主板和显卡,那时支持是靠更新而不是在发布时就带来的。
在 Linux 上怎么检查
显卡有没有这项能力,以及它提供哪些大小:
# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"
内核也在 sysfs 里暴露了这一点,每个可调整大小的 BAR 一个文件:
cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
这个值是一个表示所支持大小的位图,而不是一个大小。
位 0 表示 1MB,位 1 表示 2MB,位 2 表示 4MB,某一位对应的大小是 2 ^ (bit + 20)。
所以 00000000000001c0 设置了位 6、7 和 8,意思是这个 BAR 可以是 64MB、128MB 或 256MB。
要看实际生效的是什么,读取已分配的区域:
lspci -vvs 0000:XX:00.0 | grep -i Region
一块映射了完整帧缓冲在运行的卡,显示的区域大小与其显存相符,而不是 256MB。
手动调整大小
你可以自己写入位的位置:
# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
附带的条件很严格,在你在乎的机器上尝试之前值得读一读。
必须先把所有驱动从设备上解绑。
同一父桥下的对等设备可能需要软移除。
在 VGA 设备上,写入调整值会拆掉底层的控制台驱动。
任何打开着 resourceN sysfs 文件的东西都必须松手。
内核文档对结果也说得直白:不保证成功。 如果没有地址空间放下更大的 BAR,调整就会失败。这又把你直接带回 Above 4G Decoding。
出问题的时候
dmesg 说无法分配 BAR。
形如 BAR 0: no space for [mem size ...] 的消息意味着分配失败,而不是显卡坏了。
第一个要查的就是 Above 4G Decoding。
几块 GPU 中有一块无法初始化。 这就是多 GPU 和 AI 机器的故障。 四块带 24GB BAR 的卡需要分配 96GB 的 64 位 MMIO 空间,外加其他所有东西,而不是每块消费级主板的固件都做得到。 症状是机器插两块卡没问题,插四块就趴下。
性能下降了。 在 NVIDIA 上,那可能就是驱动自己的结论,毕竟它们按游戏开启,正是因为有些负载会退步。在另外两家上,两种方式都测一下,而不是想当然。
什么都没变。 对于一个从来就不受 CPU 显存窗口限制的负载,这是最可能的结果。
把大 BAR GPU 直通给虚拟机
值得特别提一下,因为它会让人吃惊:客户机不会继承主机的内存映射。 虚拟机的固件会构建自己的 64 位 MMIO 窗口,而 OVMF 的默认值远小于现代 GPU 的需要,所以显卡要么初始化失败,要么退回到小 BAR。 这是一个 Proxmox 和 QEMU 的话题,而不是 GPU 的话题,它放在 IOMMU 税那篇文章 里,与 始终使用 Q35,而不是 i440fx中的机器类型要求放在一起。
参考资料
- Intel — Resizable BAR and Intel Arc Graphics — Intel 自己声明在 Arc 上要获得良好体验必须开启它,以及支持的平台列表
- NVIDIA — Resizable BAR support for GeForce RTX 30 Series — 要求、测得的提升范围,以及按游戏配置的做法
- AMD — Smart Access Memory — AMD 的品牌名和平台搭配
- Linux kernel sysfs-bus-pci ABI —
resourceN_resize— 位图、2 ^ (bit + 20)的大小计算,以及解绑条件 - ROCm system requirements — 常与此混淆的 PCIe atomics 要求