Cos’è un BAR, e perché le GPU lo hanno superato
Ogni dispositivo PCIe espone uno o più Base Address Register. Un BAR dice al sistema quanto spazio di indirizzi vuole il dispositivo, e il firmware lo mappa nella mappa di memoria dell’host. Una volta mappato, la CPU raggiunge la memoria del dispositivo con normali load e store.
La dimensione di un BAR un tempo era fissata nel silicio. Il firmware la leggeva all’accensione e la discussione finiva lì.
Andava bene finché i BAR erano piccoli. Una scheda di rete vuole qualche decina di kilobyte per i suoi registri. Un controller NVMe vuole da 16KB a 64KB.
Le schede grafiche hanno rotto questo accordo. Una scheda moderna ha 8, 12, 16 o 24GB di memoria video, e la cosa ovvia è mapparla tutta così che la CPU possa scrivere ovunque. I BAR fissi non potevano esprimerlo, quindi la convenzione è diventata una piccola finestra, di solito 256MB, che il driver riposiziona sul framebuffer, copiando attraverso di essa un pezzo alla volta. Funziona. È solo una quantità assurda di contabilità per raggiungere memoria che hai già comprato e montato.
Cosa cambia il Resizable BAR
Il Resizable BAR è una capability PCIe che permette di negoziare la dimensione di un BAR invece di fissarla. Il dispositivo annuncia le dimensioni che supporta, e il firmware o il sistema operativo ne programma una.
Per una GPU significa che tutto il framebuffer può essere mappato in una volta.
Il driver smette di sfogliare una finestra e scrive dove intende scrivere.
Il kernel riporta la capability come Physical Resizable BAR, ed è indipendente dal produttore. Una scheda AMD funziona con essa su una piattaforma Intel e viceversa.
Cosa fanno davvero i tre produttori
La parte interessante è che i produttori non sono d’accordo su quanto conti.
Intel Arc e Arc Pro: Intel la dice obbligatoria
Intel è quella categorica. La sua guida dice che il Resizable BAR è «required to get a good experience with Intel® Arc™ hardware». È un linguaggio insolitamente forte per una funzione di piattaforma, e mostra come è costruito il driver Arc più che una scelta di marketing.
Sul lato dei sintomi, Intel descrive l’effetto di spegnerlo in termini di costanza più che di medie: con «ReBAR off» si ha che «will generally result in spikes that were already there getting bigger». È un argomento sulla stabilità dei frametime, ed è lo stesso tipo di problema dell' effetto dell’ASPM sulle code di latenza. La media lo nasconde.
Intel elenca come piattaforme supportate i processori Intel Core di 10ª generazione e successivi, la maggior parte dei Ryzen serie 3000 e tutti i Ryzen 5000, e la tratta come una funzione del BIOS della scheda madre che devi andare ad abilitare.
La conseguenza pratica per Arc e Arc Pro è semplice. Se hai messo una scheda Arc in una macchina e le prestazioni deludono o sono irregolari, controlla questo prima di qualsiasi altra cosa. Per questo, su quelle schede non è tanto una manopola di tuning quanto un prerequisito.
NVIDIA: da Ampere in poi, e solo dove aiuta
NVIDIA ha aggiunto il supporto per le schede e i portatili GeForce RTX serie 30 a marzo 2021. Per farlo funzionare servivano un VBIOS supportato, CPU e scheda madre compatibili, un aggiornamento del firmware della scheda madre e un driver recente. La RTX 3060 è uscita già con il supporto; 3060 Ti, 3070, 3080 e 3090 potevano aver bisogno di un aggiornamento del firmware per averlo.
Il modo in cui NVIDIA presenta le prestazioni è piacevolmente poco glamour. Ha trovato che «some titles benefit from a few percent, up to 12%» mentre «there are also titles that see a decrease in performance».
La sua risposta è il dettaglio che vale la pena conoscere: invece di lasciarlo attivo ovunque, NVIDIA testa i titoli in anticipo e usa profili per gioco per abilitare il Resizable BAR solo dove ha misurato un guadagno. Quindi su una scheda NVIDIA, «il ReBAR è attivo?» ha una risposta diversa per ogni applicazione, e un benchmark che non mostra niente può essere semplicemente un titolo che il driver ha deciso di lasciare stare.
AMD: Smart Access Memory è la stessa cosa
Il marchio AMD per questa funzione è Smart Access Memory, introdotto insieme alla serie Radeon RX 6000 e alle CPU Ryzen 5000. Il marketing suggerisce un’accoppiata CPU AMD più GPU AMD, ed è così che è stato lanciato, ma la capability sottostante è quella PCIe standard. Abilita il Resizable BAR nel firmware con una scheda Radeon in una macchina Intel e ottieni la stessa funzione senza il marchio.
Anche le schede Radeon Pro serie W lo supportano. Sulle architetture più vecchie, Vega e Polaris, il supporto è più irregolare, ed è anche lì che vivono i problemi con la virtualizzazione.
Resizable BAR e lavoro di IA
È qui che la funzione viene fraintesa, quindi conviene essere chiari su cosa tocca.
Il Resizable BAR cambia il modo in cui la CPU raggiunge la memoria della GPU. Quello è il percorso di trasferimento: caricare i pesi del modello, spingere i batch, rileggere i risultati. Non tocca la banda di memoria propria della GPU, e non rende più veloce una moltiplicazione di matrici.
Il riassunto onesto è quindi che influisce sul caricamento e sull’alimentazione di un modello, non sull’aritmetica. Per un modello grande, la copia da host a dispositivo al caricamento è un costo reale, e un BAR a piena dimensione permette alla CPU di scrivere direttamente nella memoria del dispositivo invece di fare la spola attraverso un oblò da 256MB. Nel regime stazionario di un’inferenza, dove i pesi sono già residenti e il lavoro è limitato dal calcolo, non aspettarti niente.
Tre dettagli valgono la pena.
Arc Pro per l’IA eredita il verdetto di Intel. Se Intel dice che la scheda ha bisogno del Resizable BAR per una buona esperienza, questo vale per una scheda che esegue oneAPI o PyTorch tanto quanto per una che esegue un gioco. Le schede Arc e Arc Pro che fanno inferenza devono averlo abilitato, punto.
Su NVIDIA, il numero che ti serve è BAR1. BAR1 è la finestra visibile dall’host sulla memoria del dispositivo, ed è da lì che passano le allocazioni mappate dall’host e il GPUDirect RDMA:
# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"
Una scheda da data center nasce già con un BAR1 grande. Su una scheda desktop, è il Resizable BAR a rendere quella finestra grande invece che minuscola. Se fai RDMA direttamente da una NIC alla memoria della GPU, non è un dettaglio.
Non confonderlo con il requisito di ROCm. I requisiti di sistema di ROCm di AMD chiedono CPU che supportino le PCIe atomics, «modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell», e non dicono nulla sulla dimensione del BAR. Sono due requisiti di piattaforma diversi che stanno nello stesso menu del BIOS, e la gente li confonde di continuo. Controlla quello che ti serve davvero.
Il guasto che colpisce più duramente le build per l’IA non riguarda affatto le prestazioni, ed è trattato più sotto: diverse GPU con BAR grandi in una sola macchina possono esaurire lo spazio di indirizzi.
Cosa serve perché funzioni
Quattro cose, tutte a livello di firmware:
- Resizable BAR abilitato nel firmware della scheda madre. Spesso è disattivato di default.
- Above 4G Decoding abilitato. Un BAR da 24GB non entra sotto la soglia dei 4GB, quindi la piattaforma deve essere disposta ad allocare spazio di indirizzi sopra di essa. Attivalo anche senza GPU. Non costa nulla.
- Avvio UEFI, con CSM disattivato. La modalità di compatibilità legacy e i BAR grandi non vanno d’accordo.
- Firmware e driver aggiornati, soprattutto su schede madri e schede video della transizione 2020–2021, dove il supporto è arrivato con un aggiornamento e non al lancio.
Come controllare su Linux
Se la scheda ha la capability, e quali dimensioni offre:
# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"
Il kernel la espone anche in sysfs, un file per ogni BAR ridimensionabile:
cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
Quel valore è una bitmap delle dimensioni supportate, non una dimensione.
Il bit 0 significa 1MB, il bit 1 significa 2MB, il bit 2 significa 4MB, e la dimensione per un dato bit è 2 ^ (bit + 20).
Quindi 00000000000001c0 ha i bit 6, 7 e 8 impostati, cioè il BAR può essere di 64MB, 128MB o 256MB.
Per vedere cosa è davvero in vigore, leggi le regioni assegnate:
lspci -vvs 0000:XX:00.0 | grep -i Region
Una scheda che lavora con l’intero framebuffer mappato mostra una regione pari alla sua VRAM invece di una da 256MB.
Ridimensionare a mano
Puoi scrivere tu stesso la posizione del bit:
# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
Le condizioni sono rigide, e vale la pena leggerle prima di provarci su una macchina a cui tieni.
Prima bisogna scollegare ogni driver dal dispositivo.
I dispositivi fratelli sotto lo stesso bridge padre potrebbero dover essere rimossi via software.
Su un dispositivo VGA, scrivere un valore di ridimensionamento smonta i driver di console di basso livello.
Qualunque cosa tenga aperti i file sysfs resourceN deve mollarli.
La documentazione del kernel è anche brusca sul risultato: il successo non è garantito. Il ridimensionamento fallisce se non c’è spazio di indirizzi per collocare il BAR più grande. Il che ti riporta dritto ad Above 4G Decoding.
Quando va storto
dmesg dice che non riesce ad assegnare il BAR.
Messaggi della forma BAR 0: no space for [mem size ...] significano che l’allocazione è fallita, non che la scheda è guasta.
Above 4G Decoding è la prima cosa da controllare.
Diverse GPU e una di loro non si inizializza. È il guasto delle build multi-GPU e per l’IA. Quattro schede con BAR da 24GB richiedono 96GB di spazio MMIO a 64 bit, più tutto il resto, e non tutti i firmware delle schede madri consumer ci riescono. Il sintomo è che la macchina va bene con due schede e crolla con quattro.
Le prestazioni sono calate. Su NVIDIA può essere la conclusione del driver stesso, visto che lo abilitano titolo per titolo proprio perché alcuni carichi peggiorano. Sugli altri, misura in entrambi i modi invece di supporre.
Non è cambiato niente. È l’esito più probabile per un carico che non è mai stato limitato dalla finestra della CPU sulla VRAM.
Passare una GPU con BAR grande a una VM
Vale la pena segnalarlo perché sorprende: un guest non eredita la mappa di memoria dell’host. Il firmware della VM costruisce la propria apertura MMIO a 64 bit, e quella predefinita di OVMF è molto più piccola di quanto serva a una GPU moderna, quindi la scheda o non si inizializza o ripiega su un BAR piccolo. È un argomento di Proxmox e QEMU più che di GPU, e si trova nell' articolo sulla tassa dell’IOMMU insieme ai requisiti sul tipo di macchina di Usa sempre Q35, non i440fx.
Riferimenti
- Intel — Resizable BAR and Intel Arc Graphics — la dichiarazione di Intel che è obbligatorio per una buona esperienza su Arc, e l’elenco delle piattaforme supportate
- NVIDIA — Resizable BAR support for GeForce RTX 30 Series — i requisiti, l’intervallo misurato e l’approccio a profili per gioco
- AMD — Smart Access Memory — il marchio AMD e l’accoppiata di piattaforma
- Linux kernel sysfs-bus-pci ABI —
resourceN_resize— la bitmap, il dimensionamento2 ^ (bit + 20)e le condizioni di unbind - ROCm system requirements — il requisito delle PCIe atomics che viene confuso con questo