Czym jest BAR i dlaczego GPU z niego wyrosły

Każde urządzenie PCIe udostępnia jeden lub więcej rejestrów adresu bazowego (Base Address Register). BAR mówi systemowi, ile przestrzeni adresowej urządzenie chce, a firmware mapuje ją w mapę pamięci hosta. Gdy jest zmapowana, procesor sięga do pamięci urządzenia zwykłymi odczytami i zapisami.

Rozmiar BAR był kiedyś zapisany na stałe w krzemie. Firmware odczytywał go przy włączeniu i na tym rozmowa się kończyła.

To było w porządku, dopóki BAR-y były małe. Karta sieciowa chce kilkudziesięciu kilobajtów na swoje rejestry. Kontroler NVMe chce od 16KB do 64KB.

Karty graficzne rozbiły ten układ. Nowoczesna karta ma 8, 12, 16 albo 24GB pamięci wideo, a oczywiste jest zmapowanie całej, żeby procesor mógł pisać w dowolne jej miejsce. Stałe BAR-y nie umiały tego wyrazić, więc przyjęło się małe okno, zwykle 256MB, które sterownik przestawia po framebufferze, kopiując przez nie kawałkami. Działa. To po prostu głupia ilość buchalterii, żeby dostać się do pamięci, którą już kupiłeś i zamontowałeś.

Stałe okno odsłania jeden kawałek naraz; Resizable BAR mapuje całośćStały BAR: okno 256 MB24 GB VRAM, narysowane w kawałkachoknoSterownik przestawia okno i kopiuje przez nie,kawałek po kawałku. Kawałki poglądowe, nie w skali.Resizable BAR: wszystkote same 24 GB, zmapowane razjeden BAR obejmuje całośćProcesor pisze tam, gdzie chce. Żadnego oknado przesuwania.
Okno 256MB to nie tyle limit przepustowości, ile podatek od buchalterii: sterownik spędza czas na przesuwaniu okna zamiast na przesuwaniu danych.

Co zmienia Resizable BAR

Resizable BAR to funkcja PCIe, która pozwala negocjować rozmiar BAR zamiast mieć go stały. Urządzenie ogłasza rozmiary, które obsługuje, a firmware albo system operacyjny ustawia jeden z nich.

Dla GPU oznacza to, że cały framebuffer można zmapować naraz. Sterownik przestaje stronicować przez okno i pisze tam, gdzie chce pisać. Jądro zgłasza tę funkcję jako Physical Resizable BAR i jest ona niezależna od producenta. Karta AMD działa z nią na platformie Intela i odwrotnie.

Co naprawdę robią trzej producenci

Ciekawe jest to, że producenci nie zgadzają się co do tego, jak bardzo to ważne.

Trzech producentów, jedna funkcja, trzy różne postawyIntel Arc / Arc ProWYMAGANY„Required to get a goodexperience with Arc”Bez niego skoki czasu klatki,które już były, rosną.Platformy: Core 10. gen. inowsze, większość Ryzen 3000,wszystkie Ryzen 5000.NVIDIAPROFIL PER GRASeria RTX 30 i nowsze,marzec 2021„A few percent, up to 12%”,a część tytułów zwalnia, więcsterownik włącza go tylko tam,gdzie test był szybszy.Wymagał aktualizacji VBIOS + SBIOS.AMD RadeonSMART ACCESS MEMORYTa sama funkcja,sprzedawana pod markąWprowadzona z RX 6000 iRyzen 5000 jako funkcja pary,ale to standardowa funkcjaPCIe, działa u każdego.Dziurawa na Vega i Polaris.Funkcja jest identyczna we wszystkich trzech przypadkach; różni się to, czy producent traktuje ją jako warunek wstępny,optymalizację stosowaną wybiórczo, czy cechę produktu.
Ta sama funkcja, trzy różne postawy. Intel traktuje ją jako warunek wstępny; NVIDIA dostarcza ją włączoną tylko dla gier, które przetestowała; AMD sprzedaje ją jako cechę.

Intel Arc i Arc Pro: Intel nazywa to wymaganiem

Intel jest tu najbardziej stanowczy. Jego wytyczne mówią, że Resizable BAR jest „required to get a good experience with Intel® Arc™ hardware.” To niezwykle mocny język jak na funkcję platformy i pokazuje, jak zbudowano sterownik Arc, a nie decyzję marketingową.

Od strony objawów Intel opisuje efekt wyłączenia w kategoriach równości, a nie średnich: z „ReBAR off” „will generally result in spikes that were already there getting bigger.” To argument o stabilności czasu klatki i ten sam kształt problemu co wpływ ASPM na ogony opóźnień. Średnia to ukrywa.

Intel wymienia jako obsługiwane platformy procesory Intel Core 10. generacji i nowsze, większość serii Ryzen 3000 i wszystkie procesory Ryzen 5000, i traktuje to jako funkcję BIOS-u płyty głównej, którą musisz sam włączyć.

Praktyczny wniosek dla Arc i Arc Pro jest prosty. Jeśli włożyłeś kartę Arc do maszyny, a wydajność rozczarowuje albo jest nierówna, sprawdź to przed czymkolwiek innym. W związku z tym na tych kartach to nie tyle pokrętło strojenia, ile warunek wstępny.

NVIDIA: od Ampere wzwyż i tylko tam, gdzie pomaga

NVIDIA dodała obsługę dla kart i laptopów GeForce RTX 30 w marcu 2021. Uruchomienie tego wymagało obsługiwanego VBIOS-u, zgodnego procesora i płyty głównej, aktualizacji firmware płyty i aktualnego sterownika. RTX 3060 miał to od premiery; 3060 Ti, 3070, 3080 i 3090 mogły potrzebować aktualizacji firmware.

Własne ujęcie wydajności przez NVIDIĘ jest przyjemnie nieefektowne. Stwierdziła, że „some titles benefit from a few percent, up to 12%”, podczas gdy „there are also titles that see a decrease in performance.”

Jej odpowiedź na to jest szczegółem wartym poznania: zamiast zostawić to włączone globalnie, NVIDIA wcześniej testuje tytuły i używa profili per gra, by włączać Resizable BAR tylko tam, gdzie zmierzyła zysk. Na karcie NVIDII pytanie „czy ReBAR jest włączony?” ma więc odpowiedź per aplikacja, a benchmark, który nic nie pokazuje, może po prostu dotyczyć tytułu, który sterownik postanowił zostawić w spokoju.

AMD: Smart Access Memory to to samo

Marka AMD dla tej funkcji to Smart Access Memory, wprowadzona razem z serią Radeon RX 6000 i procesorami Ryzen 5000. Marketing sugeruje parę procesor AMD plus GPU AMD i tak to wprowadzono, ale pod spodem jest standardowa funkcja PCIe. Włącz Resizable BAR w firmware z kartą Radeon w maszynie z Intelem, a dostaniesz tę samą funkcję bez marki.

Karty Radeon Pro serii W też to obsługują. Na starszych architekturach, Vega i Polaris, obsługa jest bardziej dziurawa i tam też mieszkają kłopoty z wirtualizacją.

Resizable BAR a praca z AI

Tu ta funkcja jest źle rozumiana, więc warto jasno powiedzieć, czego dotyka.

Resizable BAR zmienia to, jak procesor sięga do pamięci GPU. To ścieżka transferu: ładowanie wag modelu, wypychanie partii, odczyt wyników. Nie dotyka własnej przepustowości pamięci GPU i nie przyspiesza mnożenia macierzy.

Uczciwe podsumowanie jest więc takie, że wpływa na ładowanie i karmienie modelu, a nie na arytmetykę. Dla dużego modelu kopia z hosta na urządzenie przy ładowaniu to prawdziwy koszt, a pełnowymiarowy BAR pozwala procesorowi pisać prosto do pamięci urządzenia, zamiast przerzucać dane przez bulaj 256MB. W stanie ustalonym wnioskowania, gdy wagi już są na miejscu, a praca jest ograniczona obliczeniami, nie spodziewaj się niczego.

Warto znać trzy szczegóły.

Arc Pro do AI dziedziczy werdykt Intela. Jeśli Intel mówi, że karta potrzebuje Resizable BAR do dobrego działania, dotyczy to karty z oneAPI albo PyTorchem tak samo jak karty z grą. Karty Arc i Arc Pro do wnioskowania powinny mieć to włączone, i tyle.

Na NVIDII liczba, której szukasz, to BAR1. BAR1 to widoczne dla hosta okno na pamięć urządzenia i to przez nie przechodzą alokacje mapowane do hosta i GPUDirect RDMA:

# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"

Karta do centrum danych ma od początku duży BAR1. Na karcie desktopowej to Resizable BAR sprawia, że to okno jest duże, a nie malutkie. Jeśli robisz RDMA prosto z karty sieciowej do pamięci GPU, to nie jest drobna wygoda.

Nie myl tego z wymaganiem ROCm. Wymagania systemowe ROCm od AMD mówią o procesorach obsługujących PCIe atomics („modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell”) i nie mówią nic o rozmiarze BAR. To dwa różne wymagania platformy, które mieszkają w tym samym menu BIOS-u, a ludzie stale je mylą. Sprawdź to, którego naprawdę potrzebujesz.

Tryb awarii, który najmocniej gryzie maszyny do AI, w ogóle nie dotyczy wydajności i jest opisany niżej: kilka GPU z dużymi BAR-ami w jednej maszynie może wyczerpać przestrzeń adresową.

Czego potrzeba, żeby działało

Czterech rzeczy, wszystkich na poziomie firmware:

  • Włączonego Resizable BAR w firmware płyty głównej. Często domyślnie wyłączony.
  • Włączonego Above 4G Decoding. BAR 24GB nie zmieści się poniżej granicy 4GB, więc platforma musi być gotowa przydzielać przestrzeń adresową powyżej niej. Włącz to nawet bez GPU. Nic nie kosztuje.
  • Startu UEFI z wyłączonym CSM. Tryb zgodności ze starszym systemem i duże BAR-y się nie łączą.
  • Aktualnego firmware i sterowników, szczególnie na płytach i kartach z okresu przejściowego 2020–2021, gdzie obsługa przyszła z aktualizacją, a nie przy premierze.
Duży BAR mieści się tylko powyżej 4GB, a okno gościa musi być na tyle duże, by go pomieścićGdzie powiększony BAR naprawdę może mieszkaćRAM systemu032-bitowa dziura MMIO4 GB64-bitowe MMIOwysokoGPU 0BAR 24 GBGPU 1 · 24 GBGPU 2 · 24 GBGPU 3 · 24 GBZatłoczona i w sumie szeroka tylko na 4 GBBAR 24 GB tu nie wejdzie. Ten 256 MB ledwoby się zmieścił.Dostępne tylko z Above 4G DecodingUstawienie firmware. Na niektórych płytach domyślnie wyłączone,a bez niego duży BAR nigdy nie zostanie przydzielony.Każda karta potrzebuje tu własnego miejscaCztery karty po 24 GB chcą 96 GB 64-bitowego MMIO,plus wszystko inne na magistrali. Nie każdy firmwarepłyty konsumenckiej to zrobi.Objaw: dwie karty działają, przy czterech jednasię nie inicjalizuje, a dmesg zgłasza brak miejsca na BAR.Nie w skali: obszar 64-bitowy jest ogromnie większy niż 4 GB pod nim, i właśnie o tochodzi.
To Above 4G Decoding w ogóle czyni górny obszar użytecznym, a każda karta potrzebuje tam własnego miejsca, i właśnie tam maszyny AI z wieloma GPU uderzają w ścianę.

Jak sprawdzić na Linuksie

Czy karta ma tę funkcję i jakie rozmiary oferuje:

# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"

Jądro udostępnia to też w sysfs, jeden plik na każdy zmienny BAR:

cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

Ta wartość to mapa bitowa obsługiwanych rozmiarów, a nie rozmiar. Bit 0 oznacza 1MB, bit 1 oznacza 2MB, bit 2 oznacza 4MB, a rozmiar dla danego bitu to 2 ^ (bit + 20). 00000000000001c0 ma więc ustawione bity 6, 7 i 8, co znaczy, że BAR może mieć 64MB, 128MB albo 256MB.

Żeby zobaczyć, co naprawdę obowiązuje, odczytaj przydzielone regiony:

lspci -vvs 0000:XX:00.0 | grep -i Region

Karta działająca ze zmapowanym całym framebufferem pokazuje region odpowiadający rozmiarowi jej VRAM, a nie region 256MB.

Zmiana rozmiaru ręcznie

Pozycję bitu możesz zapisać sam:

# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

Warunki są surowe i warto je przeczytać, zanim spróbujesz na maszynie, na której ci zależy. Najpierw trzeba odpiąć od urządzenia każdy sterownik. Urządzenia równorzędne pod tym samym mostem nadrzędnym mogą wymagać miękkiego usunięcia. Na urządzeniu VGA zapis wartości zmiany rozmiaru rozbiera niskopoziomowe sterowniki konsoli. Wszystko, co trzyma otwarte pliki sysfs resourceN, musi je puścić.

Dokumentacja jądra jest też bezceremonialna co do wyniku: sukces nie jest gwarantowany. Zmiana rozmiaru zawodzi, jeśli nie ma przestrzeni adresowej, w której zmieści się większy BAR. Co prowadzi cię prosto z powrotem do Above 4G Decoding.

Kiedy coś idzie źle

dmesg mówi, że nie może przydzielić BAR. Komunikaty w kształcie BAR 0: no space for [mem size ...] znaczą, że przydział się nie udał, a nie że karta jest uszkodzona. Above 4G Decoding to pierwsza rzecz do sprawdzenia.

Kilka GPU, a jedno się nie inicjalizuje. To awaria maszyn z wieloma GPU i do AI. Cztery karty z BAR-ami 24GB potrzebują przydzielonych 96GB 64-bitowej przestrzeni MMIO plus całą resztę, a nie każdy firmware płyty konsumenckiej to zrobi. Objaw jest taki, że maszyna działa dobrze z dwiema kartami i pada z czterema.

Wydajność spadła. Na NVIDII to może być wniosek samego sterownika, skoro włącza to per tytuł właśnie dlatego, że niektóre obciążenia tracą. U pozostałych zmierz w obie strony, zamiast zakładać.

Nic się nie zmieniło. Najbardziej prawdopodobny wynik dla obciążenia, którego nigdy nie ograniczało okno procesora na VRAM.

Przekazanie GPU z dużym BAR do VM

Warto o tym wspomnieć, bo zaskakuje ludzi: gość nie dziedziczy mapy pamięci hosta. Firmware VM buduje własne 64-bitowe okno MMIO, a domyślne okno OVMF jest dużo mniejsze, niż potrzebuje nowoczesne GPU, więc karta albo się nie inicjalizuje, albo wraca do małego BAR. To temat Proxmoxa i QEMU, a nie GPU, i mieszka w artykule o podatku IOMMU razem z wymaganiami co do typu maszyny z Zawsze używaj Q35, nie i440fx.

Źródła