Що таке BAR і чому GPU його переросли

Кожен пристрій PCIe відкриває один або кілька регістрів базової адреси (Base Address Register). BAR каже системі, скільки адресного простору хоче пристрій, а прошивка вписує його в карту пам’яті хоста. Щойно він змапований, процесор дістається до пам’яті пристрою звичайними операціями читання й запису.

Колись розмір BAR був зашитий у кремній. Прошивка зчитувала його під час увімкнення, і на цьому розмова закінчувалася.

Поки BAR були маленькі, це влаштовувало всіх. Мережевій карті для регістрів треба кілька десятків кілобайтів. Контролеру NVMe треба від 16KB до 64KB.

Відеокарти цю домовленість зламали. Сучасна карта має 8, 12, 16 або 24GB відеопам’яті, і очевидно хочеться змапувати її всю, щоб процесор міг писати будь-куди. Фіксовані BAR цього виразити не могли, тож звичаєм стало маленьке вікно, зазвичай 256MB, яке драйвер пересуває по фреймбуферу і копіює через нього шматками. Воно працює. Просто це дурна кількість бухгалтерії, щоб дістатися до пам’яті, яку ти вже купив і встановив.

Фіксоване вікно показує один шматок за раз; Resizable BAR мапить усеФіксований BAR: вікно 256 MB24 GB VRAM, показані шматкамивікноДрайвер пересуває вікно й копіює крізь нього,по шматку за раз. Шматки умовні, не в масштабі.Resizable BAR: уся пам’ятьті самі 24 GB, змаповані разодин BAR покриває всеПроцесор пише туди, куди треба. Жодного вікна,яке треба пересувати.
Вікно 256MB не так обмежує пропускну здатність, як бере податок на бухгалтерію: драйвер витрачає час на пересування вікна замість пересування даних.

Що змінює Resizable BAR

Resizable BAR це можливість PCIe, яка дозволяє домовлятися про розмір BAR замість мати його фіксованим. Пристрій оголошує розміри, які підтримує, а прошивка чи операційна система програмує один із них.

Для GPU це означає, що весь фреймбуфер можна змапувати одразу. Драйвер перестає гортати пам’ять крізь вікно і пише туди, куди збирався. Ядро показує цю можливість як Physical Resizable BAR, і вона не прив’язана до виробника. Карта AMD працює з нею на платформі Intel, і навпаки.

Що насправді роблять три виробники

Найцікавіше те, що виробники не згодні між собою, наскільки це важливо.

Три виробники, одна можливість, три різні позиціїIntel Arc / Arc ProОБОВ’ЯЗКОВО«Required to get a goodexperience with Arc»Без нього піки часу кадру,що вже були, стають більшими.Платформи: Core 10-го поколінняі новіші, більшість Ryzen 3000,усі Ryzen 5000.NVIDIAПРОФІЛЬ ДЛЯ ГРИВід RTX 30 Series,березень 2021«A few percent, up to 12%»,а деякі ігри сповільнюються, тождрайвер вмикає його лише там,де тест показав виграш.Потрібне оновлення VBIOS + SBIOS.AMD RadeonSMART ACCESS MEMORYТа сама можливість,продана під брендомЗапущена з RX 6000 іRyzen 5000 як парна функція,але сама можливість стандартнадля PCIe і працює між виробниками.На Vega і Polaris латаніша.Можливість однакова в усіх трьох випадках; різниця в тому, чи вважає її виробник передумовою,оптимізацією для вибіркового застосування чи функцією продукту.
Та сама можливість, три різні позиції. Intel вважає її передумовою; NVIDIA вмикає її лише для ігор, які сама перевірила; AMD продає її як функцію.

Intel Arc і Arc Pro: Intel називає це обов’язковим

Intel тут найрішучіший. Їхні настанови кажуть, що Resizable BAR «required to get a good experience with Intel® Arc™ hardware». Для функції платформи це незвично сильні слова, і вони показують, як побудовано драйвер Arc, а не маркетинговий вибір.

Щодо симптомів Intel описує наслідок вимкнення через стабільність, а не через середні значення: з «ReBAR off» ти отримаєш те, що «will generally result in spikes that were already there getting bigger». Це аргумент про стабільність часу кадру, і за формою це та сама проблема, що й вплив ASPM на хвости затримок. Середнє значення це ховає.

Intel називає підтримуваними платформами процесори Intel Core 10-го покоління й новіші, більшість серії Ryzen 3000 і всі процесори Ryzen 5000, і розглядає це як функцію BIOS материнської плати, яку треба піти й увімкнути.

Практичний висновок для Arc і Arc Pro простий. Якщо ти поставив карту Arc у машину, а продуктивність розчаровує або скаче, перевір це раніше за все інше. Тож на цих картах це не ручка тонкого налаштування, а передумова.

NVIDIA: від Ampere і лише там, де допомагає

NVIDIA додала підтримку для карт і ноутбуків GeForce RTX 30 Series у березні 2021 року. Щоб це запрацювало, потрібні були підтримуваний VBIOS, сумісні процесор і материнська плата, оновлення прошивки плати й актуальний драйвер. RTX 3060 вийшла з підтримкою одразу; 3060 Ti, 3070, 3080 і 3090 могли потребувати оновлення прошивки.

Власна оцінка продуктивності від NVIDIA приємно буденна. Вони виявили, що «some titles benefit from a few percent, up to 12%», тоді як «there are also titles that see a decrease in performance».

Їхня відповідь на це і є деталь, яку варто знати: замість лишати функцію ввімкненою глобально, NVIDIA заздалегідь тестує ігри й через профілі для кожної гри вмикає Resizable BAR лише там, де вимірювання показали виграш. Тож на карті NVIDIA питання «чи ввімкнено ReBAR?» має відповідь для кожного застосунку окремо, і бенчмарк, що не показує нічогісінько, може бути просто грою, яку драйвер вирішив не чіпати.

AMD: Smart Access Memory це те саме

AMD називає це Smart Access Memory; назву запровадили разом із серією Radeon RX 6000 і процесорами Ryzen 5000. Маркетинг натякає на пару «процесор AMD плюс GPU AMD», і саме так це запускали, але під капотом стандартна можливість PCIe. Увімкни Resizable BAR у прошивці з картою Radeon у машині Intel, і отримаєш ту саму функцію без бренду.

Карти Radeon Pro серії W теж її підтримують. На старіших архітектурах, Vega і Polaris, підтримка латана, і саме там живуть проблеми з віртуалізацією.

Resizable BAR і робота з AI

Саме тут функцію розуміють неправильно, тож варто чітко сказати, чого вона торкається.

Resizable BAR змінює те, як процесор дістається до пам’яті GPU. Це шлях передавання: підготовка ваг моделі, проштовхування батчів, читання результатів назад. Він не чіпає власну пропускну здатність пам’яті GPU і не пришвидшує множення матриць.

Тож чесний підсумок такий: він впливає на завантаження й годування моделі, а не на арифметику. Для великої моделі копіювання з хоста на пристрій під час завантаження є справжньою ціною, і повнорозмірний BAR дає процесору писати просто в пам’ять пристрою замість човгати крізь ілюмінатор 256MB. У сталому режимі інференсу, коли ваги вже лежать у пам’яті, а робота впирається в обчислення, не чекай нічого.

Варто знати три конкретні речі.

Arc Pro для AI успадковує вердикт Intel. Якщо Intel каже, що карті потрібен Resizable BAR для доброго досвіду, це стосується карти з oneAPI чи PyTorch так само, як і карти в грі. На картах Arc і Arc Pro, що виконують інференс, він має бути ввімкнений, і крапка.

На NVIDIA потрібне тобі число зветься BAR1. BAR1 це видиме хостові вікно в пам’ять пристрою, і через нього йдуть змаповані на хост алокації та GPUDirect RDMA:

# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"

Карта для дата-центру з самого початку має великий BAR1. На настільній карті саме Resizable BAR робить це вікно великим, а не крихітним. Якщо ти робиш RDMA просто з NIC у пам’ять GPU, це не дрібна приємність.

Не плутай це з вимогою ROCm. Системні вимоги AMD ROCm кажуть про процесори з підтримкою PCIe atomics, «modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell», і нічого не кажуть про розмір BAR. Це дві різні вимоги до платформи, які живуть в одному меню BIOS, і люди їх постійно плутають. Перевір ту, яка тобі справді потрібна.

Збій, що найболючіше б’є по збірках для AI, взагалі не стосується продуктивності, і про нього нижче: кілька GPU з великими BAR в одній машині можуть вичерпати адресний простір.

Що потрібно, щоб це працювало

Чотири речі, і всі на рівні прошивки:

  • Resizable BAR увімкнений у прошивці материнської плати. Часто за замовчуванням вимкнений.
  • Above 4G Decoding увімкнений. BAR на 24GB не вміститься нижче межі 4GB, тож платформа має бути готова виділяти адресний простір вище неї. Вмикай це навіть без GPU. Воно нічого не коштує.
  • Завантаження UEFI з вимкненим CSM. Режим сумісності зі старим BIOS і великі BAR не поєднуються.
  • Актуальні прошивки й драйвери, особливо на платах і картах перехідного періоду 2020–2021 років, де підтримка прийшла оновленням, а не на старті продажів.
Великий BAR вміщується лише вище 4GB, а апертура гостя має бути достатньо великою, щоб його вміститиДе насправді може жити збільшений BARсистемна RAM032-бітна діра MMIO4 GB64-бітний MMIOверхGPU 0BAR 24 GBGPU 1: 24 GBGPU 2: 24 GBGPU 3: 24 GBТісно, і всього лише 4 GB завширшкиBAR на 24 GB сюди не влізе. BAR на 256 MBледве вліз би.Доступно лише з Above 4G DecodingНалаштування прошивки. На деяких платах вимкнене,а без нього великий BAR не виділяється взагалі.Кожній карті тут потрібне своє місцеЧотири карти по 24 GB хочуть 96 GB 64-бітного MMIO,плюс усе інше на шині. Не кожна прошивкаспоживчої плати на це здатна.Ознака: з двома картами все гаразд, з чотирмаодна не ініціалізується, а dmesg каже, що для BAR немає місця.Не в масштабі: 64-бітна область незмірно більша за 4 GB під нею, і в цьому якразвся суть.
Above 4G Decoding і робить верхню область придатною взагалі, а кожній карті там потрібне власне місце, і саме тут збірки для AI з кількома GPU впираються в стіну.

Як перевірити на Linux

Чи має карта цю можливість і які розміри пропонує:

# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"

Ядро також показує це в sysfs, по одному файлу на кожен BAR зі змінним розміром:

cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

Це значення є бітовою мапою підтримуваних розмірів, а не розміром. Біт 0 означає 1MB, біт 1 означає 2MB, біт 2 означає 4MB, а розмір для певного біта дорівнює 2 ^ (bit + 20). Тож у 00000000000001c0 встановлено біти 6, 7 і 8, тобто BAR може бути 64MB, 128MB або 256MB.

Щоб побачити, що діє насправді, прочитай призначені регіони:

lspci -vvs 0000:XX:00.0 | grep -i Region

Карта, що працює зі змапованим повним фреймбуфером, показує регіон розміром з її VRAM, а не на 256MB.

Зміна розміру вручну

Позицію біта можна записати самому:

# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

Умови суворі, і їх варто прочитати, перш ніж пробувати на машині, яка тобі не байдужа. Спершу від пристрою треба відв’язати всі драйвери. Сусідні пристрої під тим самим батьківським мостом, можливо, доведеться м’яко видалити. На пристрої VGA запис значення розміру зносить низькорівневі драйвери консолі. Усе, що тримає відкритими файли sysfs resourceN, має їх відпустити.

Документація ядра так само пряма щодо результату: успіх не гарантовано. Зміна розміру не вдасться, якщо немає адресного простору, щоб розмістити більший BAR. І це повертає тебе просто до Above 4G Decoding.

Коли щось іде не так

dmesg каже, що не може призначити BAR. Повідомлення на кшталт BAR 0: no space for [mem size ...] означають, що не вдалося виділення, а не що карта несправна. Above 4G Decoding перевіряй першим.

Кілька GPU, і один не ініціалізується. Це збій машин з кількома GPU та збірок для AI. Чотирьом картам з BAR на 24GB потрібно виділити 96GB 64-бітного простору MMIO, плюс усе інше, і не кожна прошивка споживчої плати на це здатна. Симптом: з двома картами машина в порядку, а з чотирма падає.

Продуктивність знизилася. На NVIDIA це може бути власний висновок драйвера, адже вони вмикають функцію для кожної гри окремо саме тому, що деякі навантаження просідають. На інших виміряй обидва варіанти, а не припускай.

Не змінилося взагалі нічого. Найімовірніший результат для навантаження, яке ніколи не впиралося у вікно процесора у VRAM.

Прокидання GPU з великим BAR у VM

Варто згадати, бо це людей дивує: гість не успадковує карту пам’яті хоста. Прошивка VM будує власну 64-бітну апертуру MMIO, і типова в OVMF значно менша, ніж потрібно сучасному GPU, тож карта або не ініціалізується, або відступає до маленького BAR. Це тема Proxmox і QEMU, а не GPU, і вона живе в статті про податок IOMMU поруч із вимогами до типу машини зі статті Завжди використовуй Q35, а не i440fx.

Джерела