Czym jest BAR i dlaczego GPU z niego wyrosły
Każde urządzenie PCIe udostępnia jeden lub więcej rejestrów adresu bazowego (Base Address Register). BAR mówi systemowi, ile przestrzeni adresowej urządzenie chce, a firmware mapuje ją w mapę pamięci hosta. Gdy jest zmapowana, procesor sięga do pamięci urządzenia zwykłymi odczytami i zapisami.
Rozmiar BAR był kiedyś zapisany na stałe w krzemie. Firmware odczytywał go przy włączeniu i na tym rozmowa się kończyła.
To było w porządku, dopóki BAR-y były małe. Karta sieciowa chce kilkudziesięciu kilobajtów na swoje rejestry. Kontroler NVMe chce od 16KB do 64KB.
Karty graficzne rozbiły ten układ. Nowoczesna karta ma 8, 12, 16 albo 24GB pamięci wideo, a oczywiste jest zmapowanie całej, żeby procesor mógł pisać w dowolne jej miejsce. Stałe BAR-y nie umiały tego wyrazić, więc przyjęło się małe okno, zwykle 256MB, które sterownik przestawia po framebufferze, kopiując przez nie kawałkami. Działa. To po prostu głupia ilość buchalterii, żeby dostać się do pamięci, którą już kupiłeś i zamontowałeś.
Co zmienia Resizable BAR
Resizable BAR to funkcja PCIe, która pozwala negocjować rozmiar BAR zamiast mieć go stały. Urządzenie ogłasza rozmiary, które obsługuje, a firmware albo system operacyjny ustawia jeden z nich.
Dla GPU oznacza to, że cały framebuffer można zmapować naraz.
Sterownik przestaje stronicować przez okno i pisze tam, gdzie chce pisać.
Jądro zgłasza tę funkcję jako Physical Resizable BAR i jest ona niezależna od producenta. Karta AMD działa z nią na platformie Intela i odwrotnie.
Co naprawdę robią trzej producenci
Ciekawe jest to, że producenci nie zgadzają się co do tego, jak bardzo to ważne.
Intel Arc i Arc Pro: Intel nazywa to wymaganiem
Intel jest tu najbardziej stanowczy. Jego wytyczne mówią, że Resizable BAR jest „required to get a good experience with Intel® Arc™ hardware.” To niezwykle mocny język jak na funkcję platformy i pokazuje, jak zbudowano sterownik Arc, a nie decyzję marketingową.
Od strony objawów Intel opisuje efekt wyłączenia w kategoriach równości, a nie średnich: z „ReBAR off” „will generally result in spikes that were already there getting bigger.” To argument o stabilności czasu klatki i ten sam kształt problemu co wpływ ASPM na ogony opóźnień. Średnia to ukrywa.
Intel wymienia jako obsługiwane platformy procesory Intel Core 10. generacji i nowsze, większość serii Ryzen 3000 i wszystkie procesory Ryzen 5000, i traktuje to jako funkcję BIOS-u płyty głównej, którą musisz sam włączyć.
Praktyczny wniosek dla Arc i Arc Pro jest prosty. Jeśli włożyłeś kartę Arc do maszyny, a wydajność rozczarowuje albo jest nierówna, sprawdź to przed czymkolwiek innym. W związku z tym na tych kartach to nie tyle pokrętło strojenia, ile warunek wstępny.
NVIDIA: od Ampere wzwyż i tylko tam, gdzie pomaga
NVIDIA dodała obsługę dla kart i laptopów GeForce RTX 30 w marcu 2021. Uruchomienie tego wymagało obsługiwanego VBIOS-u, zgodnego procesora i płyty głównej, aktualizacji firmware płyty i aktualnego sterownika. RTX 3060 miał to od premiery; 3060 Ti, 3070, 3080 i 3090 mogły potrzebować aktualizacji firmware.
Własne ujęcie wydajności przez NVIDIĘ jest przyjemnie nieefektowne. Stwierdziła, że „some titles benefit from a few percent, up to 12%”, podczas gdy „there are also titles that see a decrease in performance.”
Jej odpowiedź na to jest szczegółem wartym poznania: zamiast zostawić to włączone globalnie, NVIDIA wcześniej testuje tytuły i używa profili per gra, by włączać Resizable BAR tylko tam, gdzie zmierzyła zysk. Na karcie NVIDII pytanie „czy ReBAR jest włączony?” ma więc odpowiedź per aplikacja, a benchmark, który nic nie pokazuje, może po prostu dotyczyć tytułu, który sterownik postanowił zostawić w spokoju.
AMD: Smart Access Memory to to samo
Marka AMD dla tej funkcji to Smart Access Memory, wprowadzona razem z serią Radeon RX 6000 i procesorami Ryzen 5000. Marketing sugeruje parę procesor AMD plus GPU AMD i tak to wprowadzono, ale pod spodem jest standardowa funkcja PCIe. Włącz Resizable BAR w firmware z kartą Radeon w maszynie z Intelem, a dostaniesz tę samą funkcję bez marki.
Karty Radeon Pro serii W też to obsługują. Na starszych architekturach, Vega i Polaris, obsługa jest bardziej dziurawa i tam też mieszkają kłopoty z wirtualizacją.
Resizable BAR a praca z AI
Tu ta funkcja jest źle rozumiana, więc warto jasno powiedzieć, czego dotyka.
Resizable BAR zmienia to, jak procesor sięga do pamięci GPU. To ścieżka transferu: ładowanie wag modelu, wypychanie partii, odczyt wyników. Nie dotyka własnej przepustowości pamięci GPU i nie przyspiesza mnożenia macierzy.
Uczciwe podsumowanie jest więc takie, że wpływa na ładowanie i karmienie modelu, a nie na arytmetykę. Dla dużego modelu kopia z hosta na urządzenie przy ładowaniu to prawdziwy koszt, a pełnowymiarowy BAR pozwala procesorowi pisać prosto do pamięci urządzenia, zamiast przerzucać dane przez bulaj 256MB. W stanie ustalonym wnioskowania, gdy wagi już są na miejscu, a praca jest ograniczona obliczeniami, nie spodziewaj się niczego.
Warto znać trzy szczegóły.
Arc Pro do AI dziedziczy werdykt Intela. Jeśli Intel mówi, że karta potrzebuje Resizable BAR do dobrego działania, dotyczy to karty z oneAPI albo PyTorchem tak samo jak karty z grą. Karty Arc i Arc Pro do wnioskowania powinny mieć to włączone, i tyle.
Na NVIDII liczba, której szukasz, to BAR1. BAR1 to widoczne dla hosta okno na pamięć urządzenia i to przez nie przechodzą alokacje mapowane do hosta i GPUDirect RDMA:
# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"
Karta do centrum danych ma od początku duży BAR1. Na karcie desktopowej to Resizable BAR sprawia, że to okno jest duże, a nie malutkie. Jeśli robisz RDMA prosto z karty sieciowej do pamięci GPU, to nie jest drobna wygoda.
Nie myl tego z wymaganiem ROCm. Wymagania systemowe ROCm od AMD mówią o procesorach obsługujących PCIe atomics („modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell”) i nie mówią nic o rozmiarze BAR. To dwa różne wymagania platformy, które mieszkają w tym samym menu BIOS-u, a ludzie stale je mylą. Sprawdź to, którego naprawdę potrzebujesz.
Tryb awarii, który najmocniej gryzie maszyny do AI, w ogóle nie dotyczy wydajności i jest opisany niżej: kilka GPU z dużymi BAR-ami w jednej maszynie może wyczerpać przestrzeń adresową.
Czego potrzeba, żeby działało
Czterech rzeczy, wszystkich na poziomie firmware:
- Włączonego Resizable BAR w firmware płyty głównej. Często domyślnie wyłączony.
- Włączonego Above 4G Decoding. BAR 24GB nie zmieści się poniżej granicy 4GB, więc platforma musi być gotowa przydzielać przestrzeń adresową powyżej niej. Włącz to nawet bez GPU. Nic nie kosztuje.
- Startu UEFI z wyłączonym CSM. Tryb zgodności ze starszym systemem i duże BAR-y się nie łączą.
- Aktualnego firmware i sterowników, szczególnie na płytach i kartach z okresu przejściowego 2020–2021, gdzie obsługa przyszła z aktualizacją, a nie przy premierze.
Jak sprawdzić na Linuksie
Czy karta ma tę funkcję i jakie rozmiary oferuje:
# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"
Jądro udostępnia to też w sysfs, jeden plik na każdy zmienny BAR:
cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
Ta wartość to mapa bitowa obsługiwanych rozmiarów, a nie rozmiar.
Bit 0 oznacza 1MB, bit 1 oznacza 2MB, bit 2 oznacza 4MB, a rozmiar dla danego bitu to 2 ^ (bit + 20).
00000000000001c0 ma więc ustawione bity 6, 7 i 8, co znaczy, że BAR może mieć 64MB, 128MB albo 256MB.
Żeby zobaczyć, co naprawdę obowiązuje, odczytaj przydzielone regiony:
lspci -vvs 0000:XX:00.0 | grep -i Region
Karta działająca ze zmapowanym całym framebufferem pokazuje region odpowiadający rozmiarowi jej VRAM, a nie region 256MB.
Zmiana rozmiaru ręcznie
Pozycję bitu możesz zapisać sam:
# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
Warunki są surowe i warto je przeczytać, zanim spróbujesz na maszynie, na której ci zależy.
Najpierw trzeba odpiąć od urządzenia każdy sterownik.
Urządzenia równorzędne pod tym samym mostem nadrzędnym mogą wymagać miękkiego usunięcia.
Na urządzeniu VGA zapis wartości zmiany rozmiaru rozbiera niskopoziomowe sterowniki konsoli.
Wszystko, co trzyma otwarte pliki sysfs resourceN, musi je puścić.
Dokumentacja jądra jest też bezceremonialna co do wyniku: sukces nie jest gwarantowany. Zmiana rozmiaru zawodzi, jeśli nie ma przestrzeni adresowej, w której zmieści się większy BAR. Co prowadzi cię prosto z powrotem do Above 4G Decoding.
Kiedy coś idzie źle
dmesg mówi, że nie może przydzielić BAR.
Komunikaty w kształcie BAR 0: no space for [mem size ...] znaczą, że przydział się nie udał, a nie że karta jest uszkodzona.
Above 4G Decoding to pierwsza rzecz do sprawdzenia.
Kilka GPU, a jedno się nie inicjalizuje. To awaria maszyn z wieloma GPU i do AI. Cztery karty z BAR-ami 24GB potrzebują przydzielonych 96GB 64-bitowej przestrzeni MMIO plus całą resztę, a nie każdy firmware płyty konsumenckiej to zrobi. Objaw jest taki, że maszyna działa dobrze z dwiema kartami i pada z czterema.
Wydajność spadła. Na NVIDII to może być wniosek samego sterownika, skoro włącza to per tytuł właśnie dlatego, że niektóre obciążenia tracą. U pozostałych zmierz w obie strony, zamiast zakładać.
Nic się nie zmieniło. Najbardziej prawdopodobny wynik dla obciążenia, którego nigdy nie ograniczało okno procesora na VRAM.
Przekazanie GPU z dużym BAR do VM
Warto o tym wspomnieć, bo zaskakuje ludzi: gość nie dziedziczy mapy pamięci hosta. Firmware VM buduje własne 64-bitowe okno MMIO, a domyślne okno OVMF jest dużo mniejsze, niż potrzebuje nowoczesne GPU, więc karta albo się nie inicjalizuje, albo wraca do małego BAR. To temat Proxmoxa i QEMU, a nie GPU, i mieszka w artykule o podatku IOMMU razem z wymaganiami co do typu maszyny z Zawsze używaj Q35, nie i440fx.
Źródła
- Intel — Resizable BAR and Intel Arc Graphics — własne stwierdzenie Intela, że jest wymagany do dobrego działania Arc, i lista obsługiwanych platform
- NVIDIA — Resizable BAR support for GeForce RTX 30 Series — wymagania, zmierzony zakres i podejście z profilami per gra
- AMD — Smart Access Memory — marka AMD i parowanie platform
- Linux kernel sysfs-bus-pci ABI —
resourceN_resize— mapa bitowa, rozmiar2 ^ (bit + 20)i warunki odpięcia - ROCm system requirements — wymaganie PCIe atomics, które myli się z tym