BAR 是什么,GPU 为什么撑破了它

每个 PCIe 设备都暴露一个或多个基地址寄存器(Base Address Register)。 BAR 告诉系统这个设备需要多大的地址空间,固件再把它映射进主机的内存映射里。 映射好之后,CPU 就用普通的读写指令访问设备的内存。

BAR 的大小过去是固化在芯片里的。 固件在上电时读一下,事情就到此为止。

BAR 还小的时候,这没问题。 一块网卡的寄存器只要几十 KB。 一个 NVMe 控制器要 16KB 到 64KB。

显卡打破了这个安排。 一块现代显卡有 8、12、16 或 24GB 显存,显而易见的做法是把它全部映射进来,让 CPU 能往任何地方写。 固定大小的 BAR 表达不了这一点,于是惯例变成了一个小窗口,通常是 256MB,由驱动在帧缓冲上来回挪动,一块一块地透过它复制。 这能用。 只是为了够到你已经买下并装上的内存,要记一大堆没道理的账。

固定窗口一次只露出一片;Resizable BAR 把整块都映射进来固定 BAR:一个 256 MB 的窗口24 GB 显存,画成一片一片窗口驱动挪动窗口,透过它复制,一次一片。分片仅作示意,不按比例。Resizable BAR:全部同样的 24 GB,一次映射一个 BAR 覆盖全部CPU 想往哪写就往哪写。没有窗口需要挪动。
256MB 的窗口与其说是带宽限制,不如说是一笔记账税:驱动把时间花在挪窗口上,而不是搬数据上。

Resizable BAR 改变了什么

Resizable BAR 是一项 PCIe 能力,让 BAR 的大小可以协商,而不是固定。 设备通告它能支持的大小,由固件或操作系统设定其中一个。

对 GPU 来说,这意味着整个帧缓冲可以一次映射进来。 驱动不再透过窗口翻页,而是想往哪写就往哪写。 内核把这项能力报告为 Physical Resizable BAR,它与厂商无关。AMD 显卡在 Intel 平台上能用,反过来也一样。

三家厂商实际怎么做

有意思的是,各家厂商对它有多重要并没有共识。

三家厂商,一项能力,三种不同的姿态Intel Arc / Arc Pro必须开启“Required to get a goodexperience with Arc”关闭后,原本就有的帧时间尖峰会变得更大。平台:第 10 代 Core 及更新、大多数 Ryzen 3000、全部 Ryzen 5000。NVIDIA按游戏配置RTX 30 系列起,2021年3月“A few percent, up to 12%”,而有些游戏会变慢,所以驱动只在测试中更快的地方开启它。需要更新 VBIOS + SBIOS。AMD RadeonSMART ACCESS MEMORY同一项能力,换个品牌名来卖随 RX 6000 和 Ryzen 5000作为配套功能推出,但这项能力是标准的PCIe 功能,跨厂商可用。在 Vega 和 Polaris 上支持较零散。三种情况下能力完全相同,不同的是厂商把它当作前提条件、有选择地应用的优化,还是一项产品功能。
同一项能力,三种不同的姿态。Intel 把它当作前提条件;NVIDIA 只为它测试过的游戏开启;AMD 把它当作一项功能来卖。

Intel Arc 和 Arc Pro:Intel 说必须开

Intel 的态度最坚决。 它的指南说 Resizable BAR 是“required to get a good experience with Intel® Arc™ hardware”(要在 Intel Arc 硬件上获得良好体验所必需的)。 对一项平台功能来说,这是罕见的强硬措辞,它反映的是 Arc 驱动的构造方式,而不是一个营销选择。

在症状方面,Intel 描述关闭它的后果时讲的是稳定性而不是平均值:在“ReBAR off”的情况下,“will generally result in spikes that were already there getting bigger”(通常会让原本就有的尖峰变得更大)。 这是一个关于帧时间稳定性的论点,和 ASPM 对延迟长尾的影响是同一种形状的问题。平均值把它藏起来了。

Intel 列出的支持平台是第 10 代及更新的 Intel Core 处理器、大多数 Ryzen 3000 系列和全部 Ryzen 5000 CPU,并把它当作一项需要你自己去主板 BIOS 里开启的功能。

对 Arc 和 Arc Pro 来说,实际结论很简单。 如果你把一块 Arc 卡装进机器,性能让人失望或者忽高忽低,先查这个,再查别的。 正因如此,在这些卡上它与其说是一个调优旋钮,不如说是一个前提条件。

NVIDIA:Ampere 起步,而且只在有用的地方开

NVIDIA 在 2021年3月为 GeForce RTX 30 系列显卡和笔记本加入了支持。 要让它工作,需要受支持的 VBIOS、兼容的 CPU 和主板、一次主板固件更新,以及较新的驱动。 RTX 3060 出厂就带;3060 Ti、3070、3080 和 3090 可能需要更新固件才能用上。

NVIDIA 自己对性能的表述朴实得让人耳目一新。 它们发现“some titles benefit from a few percent, up to 12%”(有些游戏能提升几个百分点,最多 12%),而“there are also titles that see a decrease in performance”(也有游戏的性能会下降)。

它们对此的应对才是值得知道的细节:NVIDIA 没有全局开启,而是预先测试游戏,用按游戏的配置文件只在测得有收益的地方开启 Resizable BAR。 所以在 NVIDIA 卡上,“ReBAR 开了吗?”的答案因应用而异,一个啥也没测出来的基准测试,可能只是驱动决定不去碰的那个游戏。

AMD:Smart Access Memory 就是同一个东西

AMD 给它起的品牌名是 Smart Access Memory,与 Radeon RX 6000 系列和 Ryzen 5000 CPU 一起推出。 营销上暗示要 AMD CPU 配 AMD GPU,发布时也确实是这么推的,但底下的能力就是标准的 PCIe 那一项。 在 Intel 机器里插一块 Radeon 卡,在固件里开启 Resizable BAR,你就得到了同样的功能,只是没有那个品牌名。

Radeon Pro W 系列卡也支持。 在较老的架构上,即 Vega 和 Polaris,支持就参差不齐了,而虚拟化的麻烦也正出在那里。

Resizable BAR 与 AI 工作

这正是这项功能被误解的地方,所以值得把它碰到的东西说清楚。

Resizable BAR 改变的是 CPU 访问 GPU 内存的方式。 那是传输路径:暂存模型权重、推送批次、读回结果。 它不碰 GPU 自身的显存带宽,也不会让矩阵乘法变快。

所以老实的总结是,它影响的是模型的加载和投喂,而不是运算。 对一个大模型来说,加载时从主机到设备的复制是实实在在的成本,全尺寸 BAR 让 CPU 能直接写进设备内存,而不是透过一个 256MB 的舷窗来回倒腾。 在推理运行的稳定阶段,权重已经驻留、工作受计算限制,别指望有啥变化。

有三点具体的值得知道。

用于 AI 的 Arc Pro 继承了 Intel 的结论。 如果 Intel 说这块卡需要 Resizable BAR 才能有良好体验,那么这对一块跑 oneAPI 或 PyTorch 的卡和对一块跑游戏的卡同样适用。 做推理的 Arc 和 Arc Pro 卡都应该开启它,没什么好说的。

在 NVIDIA 上,你要看的数字是 BAR1。 BAR1 是主机可见的设备内存窗口,主机映射的分配和 GPUDirect RDMA 走的都是它:

# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"

数据中心卡在设计上就自带很大的 BAR1。 在桌面卡上,是 Resizable BAR 让这个窗口变大而不是变小。 如果你在做从网卡直接到 GPU 内存的 RDMA,这就不是锦上添花。

别把它和 ROCm 的要求混为一谈。 AMD 的 ROCm 系统要求需要支持 PCIe atomics 的 CPU,即“modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell”(第一代 AMD Zen 和 Intel Haswell 发布之后的现代 CPU),对 BAR 大小只字未提。 这是两项不同的平台要求,都在同一个 BIOS 菜单里,人们总是把它们搞混。 查你真正需要的那一项。

对 AI 机器打击最大的故障模式根本不是性能问题,下面会讲到:一台机器里装几块大 BAR 的 GPU,可能把地址空间耗尽。

它需要什么才能工作

四样东西,全都在固件层面:

  • 在主板固件里开启 Resizable BAR。默认常常是关的。
  • 开启 Above 4G Decoding。一个 24GB 的 BAR 放不进 4GB 线以下,所以平台必须愿意在那条线以上分配地址空间。就算没有 GPU 也把它打开。它不花你任何代价。
  • UEFI 启动,关闭 CSM。 传统兼容模式和大 BAR 合不来。
  • 较新的固件和驱动,尤其是 2020 到 2021 年过渡期的主板和显卡,那时支持是靠更新而不是在发布时就带来的。
大 BAR 只放得进 4GB 以上,而客户机窗口必须大到能容纳它调整后的 BAR 实际能放在哪里系统内存032 位 MMIO 空洞4 GB64 位 MMIO高位GPU 024 GB BARGPU 1:24 GBGPU 2:24 GBGPU 3:24 GB拥挤,而且总共只有 4 GB 宽24 GB 的 BAR 放不进这里。256 MB 的也只是勉强放得下。只有开启 Above 4G Decoding 才能用这是一项固件设置。有些主板默认关闭,没有它,大 BAR 根本不会被分配。每块卡在这里都需要自己的空间四块 24 GB 的卡需要分配 96 GB 的 64 位 MMIO,外加总线上的其他所有东西。不是每块消费级主板的固件都做得到。征兆:两块卡没问题,四块时有一块拒绝初始化,dmesg 报告没有空间放 BAR。不按比例:64 位区域比下方的 4 GB 大得多,而这恰恰就是重点。
Above 4G Decoding 是让上方区域能用起来的前提,而每块卡在那里都需要自己的空间,多 GPU 的 AI 机器就是在这里撞墙的。

在 Linux 上怎么检查

显卡有没有这项能力,以及它提供哪些大小:

# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"

内核也在 sysfs 里暴露了这一点,每个可调整大小的 BAR 一个文件:

cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

这个值是一个表示所支持大小的位图,而不是一个大小。 位 0 表示 1MB,位 1 表示 2MB,位 2 表示 4MB,某一位对应的大小是 2 ^ (bit + 20)。 所以 00000000000001c0 设置了位 6、7 和 8,意思是这个 BAR 可以是 64MB、128MB 或 256MB。

要看实际生效的是什么,读取已分配的区域:

lspci -vvs 0000:XX:00.0 | grep -i Region

一块映射了完整帧缓冲在运行的卡,显示的区域大小与其显存相符,而不是 256MB。

手动调整大小

你可以自己写入位的位置:

# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

附带的条件很严格,在你在乎的机器上尝试之前值得读一读。 必须先把所有驱动从设备上解绑。 同一父桥下的对等设备可能需要软移除。 在 VGA 设备上,写入调整值会拆掉底层的控制台驱动。 任何打开着 resourceN sysfs 文件的东西都必须松手。

内核文档对结果也说得直白:不保证成功。 如果没有地址空间放下更大的 BAR,调整就会失败。这又把你直接带回 Above 4G Decoding。

出问题的时候

dmesg 说无法分配 BAR。 形如 BAR 0: no space for [mem size ...] 的消息意味着分配失败,而不是显卡坏了。 第一个要查的就是 Above 4G Decoding。

几块 GPU 中有一块无法初始化。 这就是多 GPU 和 AI 机器的故障。 四块带 24GB BAR 的卡需要分配 96GB 的 64 位 MMIO 空间,外加其他所有东西,而不是每块消费级主板的固件都做得到。 症状是机器插两块卡没问题,插四块就趴下。

性能下降了。 在 NVIDIA 上,那可能就是驱动自己的结论,毕竟它们按游戏开启,正是因为有些负载会退步。在另外两家上,两种方式都测一下,而不是想当然。

什么都没变。 对于一个从来就不受 CPU 显存窗口限制的负载,这是最可能的结果。

把大 BAR GPU 直通给虚拟机

值得特别提一下,因为它会让人吃惊:客户机不会继承主机的内存映射。 虚拟机的固件会构建自己的 64 位 MMIO 窗口,而 OVMF 的默认值远小于现代 GPU 的需要,所以显卡要么初始化失败,要么退回到小 BAR。 这是一个 Proxmox 和 QEMU 的话题,而不是 GPU 的话题,它放在 IOMMU 税那篇文章 里,与 始终使用 Q35,而不是 i440fx中的机器类型要求放在一起。

参考资料