Що таке BAR і чому GPU його переросли
Кожен пристрій PCIe відкриває один або кілька регістрів базової адреси (Base Address Register). BAR каже системі, скільки адресного простору хоче пристрій, а прошивка вписує його в карту пам’яті хоста. Щойно він змапований, процесор дістається до пам’яті пристрою звичайними операціями читання й запису.
Колись розмір BAR був зашитий у кремній. Прошивка зчитувала його під час увімкнення, і на цьому розмова закінчувалася.
Поки BAR були маленькі, це влаштовувало всіх. Мережевій карті для регістрів треба кілька десятків кілобайтів. Контролеру NVMe треба від 16KB до 64KB.
Відеокарти цю домовленість зламали. Сучасна карта має 8, 12, 16 або 24GB відеопам’яті, і очевидно хочеться змапувати її всю, щоб процесор міг писати будь-куди. Фіксовані BAR цього виразити не могли, тож звичаєм стало маленьке вікно, зазвичай 256MB, яке драйвер пересуває по фреймбуферу і копіює через нього шматками. Воно працює. Просто це дурна кількість бухгалтерії, щоб дістатися до пам’яті, яку ти вже купив і встановив.
Що змінює Resizable BAR
Resizable BAR це можливість PCIe, яка дозволяє домовлятися про розмір BAR замість мати його фіксованим. Пристрій оголошує розміри, які підтримує, а прошивка чи операційна система програмує один із них.
Для GPU це означає, що весь фреймбуфер можна змапувати одразу.
Драйвер перестає гортати пам’ять крізь вікно і пише туди, куди збирався.
Ядро показує цю можливість як Physical Resizable BAR, і вона не прив’язана до виробника. Карта AMD працює з нею на платформі Intel, і навпаки.
Що насправді роблять три виробники
Найцікавіше те, що виробники не згодні між собою, наскільки це важливо.
Intel Arc і Arc Pro: Intel називає це обов’язковим
Intel тут найрішучіший. Їхні настанови кажуть, що Resizable BAR «required to get a good experience with Intel® Arc™ hardware». Для функції платформи це незвично сильні слова, і вони показують, як побудовано драйвер Arc, а не маркетинговий вибір.
Щодо симптомів Intel описує наслідок вимкнення через стабільність, а не через середні значення: з «ReBAR off» ти отримаєш те, що «will generally result in spikes that were already there getting bigger». Це аргумент про стабільність часу кадру, і за формою це та сама проблема, що й вплив ASPM на хвости затримок. Середнє значення це ховає.
Intel називає підтримуваними платформами процесори Intel Core 10-го покоління й новіші, більшість серії Ryzen 3000 і всі процесори Ryzen 5000, і розглядає це як функцію BIOS материнської плати, яку треба піти й увімкнути.
Практичний висновок для Arc і Arc Pro простий. Якщо ти поставив карту Arc у машину, а продуктивність розчаровує або скаче, перевір це раніше за все інше. Тож на цих картах це не ручка тонкого налаштування, а передумова.
NVIDIA: від Ampere і лише там, де допомагає
NVIDIA додала підтримку для карт і ноутбуків GeForce RTX 30 Series у березні 2021 року. Щоб це запрацювало, потрібні були підтримуваний VBIOS, сумісні процесор і материнська плата, оновлення прошивки плати й актуальний драйвер. RTX 3060 вийшла з підтримкою одразу; 3060 Ti, 3070, 3080 і 3090 могли потребувати оновлення прошивки.
Власна оцінка продуктивності від NVIDIA приємно буденна. Вони виявили, що «some titles benefit from a few percent, up to 12%», тоді як «there are also titles that see a decrease in performance».
Їхня відповідь на це і є деталь, яку варто знати: замість лишати функцію ввімкненою глобально, NVIDIA заздалегідь тестує ігри й через профілі для кожної гри вмикає Resizable BAR лише там, де вимірювання показали виграш. Тож на карті NVIDIA питання «чи ввімкнено ReBAR?» має відповідь для кожного застосунку окремо, і бенчмарк, що не показує нічогісінько, може бути просто грою, яку драйвер вирішив не чіпати.
AMD: Smart Access Memory це те саме
AMD називає це Smart Access Memory; назву запровадили разом із серією Radeon RX 6000 і процесорами Ryzen 5000. Маркетинг натякає на пару «процесор AMD плюс GPU AMD», і саме так це запускали, але під капотом стандартна можливість PCIe. Увімкни Resizable BAR у прошивці з картою Radeon у машині Intel, і отримаєш ту саму функцію без бренду.
Карти Radeon Pro серії W теж її підтримують. На старіших архітектурах, Vega і Polaris, підтримка латана, і саме там живуть проблеми з віртуалізацією.
Resizable BAR і робота з AI
Саме тут функцію розуміють неправильно, тож варто чітко сказати, чого вона торкається.
Resizable BAR змінює те, як процесор дістається до пам’яті GPU. Це шлях передавання: підготовка ваг моделі, проштовхування батчів, читання результатів назад. Він не чіпає власну пропускну здатність пам’яті GPU і не пришвидшує множення матриць.
Тож чесний підсумок такий: він впливає на завантаження й годування моделі, а не на арифметику. Для великої моделі копіювання з хоста на пристрій під час завантаження є справжньою ціною, і повнорозмірний BAR дає процесору писати просто в пам’ять пристрою замість човгати крізь ілюмінатор 256MB. У сталому режимі інференсу, коли ваги вже лежать у пам’яті, а робота впирається в обчислення, не чекай нічого.
Варто знати три конкретні речі.
Arc Pro для AI успадковує вердикт Intel. Якщо Intel каже, що карті потрібен Resizable BAR для доброго досвіду, це стосується карти з oneAPI чи PyTorch так само, як і карти в грі. На картах Arc і Arc Pro, що виконують інференс, він має бути ввімкнений, і крапка.
На NVIDIA потрібне тобі число зветься BAR1. BAR1 це видиме хостові вікно в пам’ять пристрою, і через нього йдуть змаповані на хост алокації та GPUDirect RDMA:
# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"
Карта для дата-центру з самого початку має великий BAR1. На настільній карті саме Resizable BAR робить це вікно великим, а не крихітним. Якщо ти робиш RDMA просто з NIC у пам’ять GPU, це не дрібна приємність.
Не плутай це з вимогою ROCm. Системні вимоги AMD ROCm кажуть про процесори з підтримкою PCIe atomics, «modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell», і нічого не кажуть про розмір BAR. Це дві різні вимоги до платформи, які живуть в одному меню BIOS, і люди їх постійно плутають. Перевір ту, яка тобі справді потрібна.
Збій, що найболючіше б’є по збірках для AI, взагалі не стосується продуктивності, і про нього нижче: кілька GPU з великими BAR в одній машині можуть вичерпати адресний простір.
Що потрібно, щоб це працювало
Чотири речі, і всі на рівні прошивки:
- Resizable BAR увімкнений у прошивці материнської плати. Часто за замовчуванням вимкнений.
- Above 4G Decoding увімкнений. BAR на 24GB не вміститься нижче межі 4GB, тож платформа має бути готова виділяти адресний простір вище неї. Вмикай це навіть без GPU. Воно нічого не коштує.
- Завантаження UEFI з вимкненим CSM. Режим сумісності зі старим BIOS і великі BAR не поєднуються.
- Актуальні прошивки й драйвери, особливо на платах і картах перехідного періоду 2020–2021 років, де підтримка прийшла оновленням, а не на старті продажів.
Як перевірити на Linux
Чи має карта цю можливість і які розміри пропонує:
# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"
Ядро також показує це в sysfs, по одному файлу на кожен BAR зі змінним розміром:
cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
Це значення є бітовою мапою підтримуваних розмірів, а не розміром.
Біт 0 означає 1MB, біт 1 означає 2MB, біт 2 означає 4MB, а розмір для певного біта дорівнює 2 ^ (bit + 20).
Тож у 00000000000001c0 встановлено біти 6, 7 і 8, тобто BAR може бути 64MB, 128MB або 256MB.
Щоб побачити, що діє насправді, прочитай призначені регіони:
lspci -vvs 0000:XX:00.0 | grep -i Region
Карта, що працює зі змапованим повним фреймбуфером, показує регіон розміром з її VRAM, а не на 256MB.
Зміна розміру вручну
Позицію біта можна записати самому:
# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
Умови суворі, і їх варто прочитати, перш ніж пробувати на машині, яка тобі не байдужа.
Спершу від пристрою треба відв’язати всі драйвери.
Сусідні пристрої під тим самим батьківським мостом, можливо, доведеться м’яко видалити.
На пристрої VGA запис значення розміру зносить низькорівневі драйвери консолі.
Усе, що тримає відкритими файли sysfs resourceN, має їх відпустити.
Документація ядра так само пряма щодо результату: успіх не гарантовано. Зміна розміру не вдасться, якщо немає адресного простору, щоб розмістити більший BAR. І це повертає тебе просто до Above 4G Decoding.
Коли щось іде не так
dmesg каже, що не може призначити BAR.
Повідомлення на кшталт BAR 0: no space for [mem size ...] означають, що не вдалося виділення, а не що карта несправна.
Above 4G Decoding перевіряй першим.
Кілька GPU, і один не ініціалізується. Це збій машин з кількома GPU та збірок для AI. Чотирьом картам з BAR на 24GB потрібно виділити 96GB 64-бітного простору MMIO, плюс усе інше, і не кожна прошивка споживчої плати на це здатна. Симптом: з двома картами машина в порядку, а з чотирма падає.
Продуктивність знизилася. На NVIDIA це може бути власний висновок драйвера, адже вони вмикають функцію для кожної гри окремо саме тому, що деякі навантаження просідають. На інших виміряй обидва варіанти, а не припускай.
Не змінилося взагалі нічого. Найімовірніший результат для навантаження, яке ніколи не впиралося у вікно процесора у VRAM.
Прокидання GPU з великим BAR у VM
Варто згадати, бо це людей дивує: гість не успадковує карту пам’яті хоста. Прошивка VM будує власну 64-бітну апертуру MMIO, і типова в OVMF значно менша, ніж потрібно сучасному GPU, тож карта або не ініціалізується, або відступає до маленького BAR. Це тема Proxmox і QEMU, а не GPU, і вона живе в статті про податок IOMMU поруч із вимогами до типу машини зі статті Завжди використовуй Q35, а не i440fx.
Джерела
- Intel — Resizable BAR and Intel Arc Graphics — власна заява Intel, що це потрібно для доброго досвіду на Arc, і список підтримуваних платформ
- NVIDIA — Resizable BAR support for GeForce RTX 30 Series — вимоги, виміряний діапазон і підхід із профілями для кожної гри
- AMD — Smart Access Memory — бренд AMD і пара платформ
- Linux kernel sysfs-bus-pci ABI —
resourceN_resize— бітова мапа, розрахунок2 ^ (bit + 20)і умови відв’язування - ROCm system requirements — вимога PCIe atomics, яку плутають із цією