Cos’è un BAR, e perché le GPU lo hanno superato

Ogni dispositivo PCIe espone uno o più Base Address Register. Un BAR dice al sistema quanto spazio di indirizzi vuole il dispositivo, e il firmware lo mappa nella mappa di memoria dell’host. Una volta mappato, la CPU raggiunge la memoria del dispositivo con normali load e store.

La dimensione di un BAR un tempo era fissata nel silicio. Il firmware la leggeva all’accensione e la discussione finiva lì.

Andava bene finché i BAR erano piccoli. Una scheda di rete vuole qualche decina di kilobyte per i suoi registri. Un controller NVMe vuole da 16KB a 64KB.

Le schede grafiche hanno rotto questo accordo. Una scheda moderna ha 8, 12, 16 o 24GB di memoria video, e la cosa ovvia è mapparla tutta così che la CPU possa scrivere ovunque. I BAR fissi non potevano esprimerlo, quindi la convenzione è diventata una piccola finestra, di solito 256MB, che il driver riposiziona sul framebuffer, copiando attraverso di essa un pezzo alla volta. Funziona. È solo una quantità assurda di contabilità per raggiungere memoria che hai già comprato e montato.

Un'apertura fissa mostra una fetta alla volta; Resizable BAR mappa tuttoBAR fisso: una finestra da 256 MB24 GB di VRAM, disegnati a fettela finestraIl driver sposta la finestra e copia attraverso,una fetta alla volta. Fette illustrative, non in scala.Resizable BAR: tutto quantogli stessi 24 GB, mappati una voltaun BAR copre tuttoLa CPU scrive dove vuole. Nessuna finestrada spostare.
L’apertura da 256MB è meno un limite di banda che una tassa di contabilità: il driver passa il tempo a spostare la finestra invece di spostare dati.

Cosa cambia il Resizable BAR

Il Resizable BAR è una capability PCIe che permette di negoziare la dimensione di un BAR invece di fissarla. Il dispositivo annuncia le dimensioni che supporta, e il firmware o il sistema operativo ne programma una.

Per una GPU significa che tutto il framebuffer può essere mappato in una volta. Il driver smette di sfogliare una finestra e scrive dove intende scrivere. Il kernel riporta la capability come Physical Resizable BAR, ed è indipendente dal produttore. Una scheda AMD funziona con essa su una piattaforma Intel e viceversa.

Cosa fanno davvero i tre produttori

La parte interessante è che i produttori non sono d’accordo su quanto conti.

Tre vendor, una capacità, tre posizioni diverseIntel Arc / Arc ProOBBLIGATORIO“Required to get a goodexperience with Arc”Spento, i picchi di frametime chec'erano già si ingrandiscono.Piattaforme: Core di 10ª gen.e successivi, quasi tutti i Ryzen3000, tutti i Ryzen 5000.NVIDIAPROFILO PER GIOCODalla serie RTX 30,marzo 2021“A few percent, up to 12%”:e alcuni titoli rallentano, quindiil driver lo attiva solo doveè risultato più veloce.Serviva un update di VBIOS + SBIOS.AMD RadeonSMART ACCESS MEMORYStessa capacità, vendutacon un marchioLanciata con RX 6000 eRyzen 5000 come coppia,ma la capacità è PCIe standarde funziona tra vendor diversi.Meno uniforme su Vega e Polaris.La capacità è identica nei tre casi: cambia se il vendor la tratta come un prerequisito,un'ottimizzazione da applicare con criterio, o una funzione di prodotto.
Stessa capability, tre posizioni diverse. Intel la tratta come un prerequisito; NVIDIA la consegna attiva solo per i giochi che ha testato; AMD la vende come una funzione.

Intel Arc e Arc Pro: Intel la dice obbligatoria

Intel è quella categorica. La sua guida dice che il Resizable BAR è «required to get a good experience with Intel® Arc™ hardware». È un linguaggio insolitamente forte per una funzione di piattaforma, e mostra come è costruito il driver Arc più che una scelta di marketing.

Sul lato dei sintomi, Intel descrive l’effetto di spegnerlo in termini di costanza più che di medie: con «ReBAR off» si ha che «will generally result in spikes that were already there getting bigger». È un argomento sulla stabilità dei frametime, ed è lo stesso tipo di problema dell' effetto dell’ASPM sulle code di latenza. La media lo nasconde.

Intel elenca come piattaforme supportate i processori Intel Core di 10ª generazione e successivi, la maggior parte dei Ryzen serie 3000 e tutti i Ryzen 5000, e la tratta come una funzione del BIOS della scheda madre che devi andare ad abilitare.

La conseguenza pratica per Arc e Arc Pro è semplice. Se hai messo una scheda Arc in una macchina e le prestazioni deludono o sono irregolari, controlla questo prima di qualsiasi altra cosa. Per questo, su quelle schede non è tanto una manopola di tuning quanto un prerequisito.

NVIDIA: da Ampere in poi, e solo dove aiuta

NVIDIA ha aggiunto il supporto per le schede e i portatili GeForce RTX serie 30 a marzo 2021. Per farlo funzionare servivano un VBIOS supportato, CPU e scheda madre compatibili, un aggiornamento del firmware della scheda madre e un driver recente. La RTX 3060 è uscita già con il supporto; 3060 Ti, 3070, 3080 e 3090 potevano aver bisogno di un aggiornamento del firmware per averlo.

Il modo in cui NVIDIA presenta le prestazioni è piacevolmente poco glamour. Ha trovato che «some titles benefit from a few percent, up to 12%» mentre «there are also titles that see a decrease in performance».

La sua risposta è il dettaglio che vale la pena conoscere: invece di lasciarlo attivo ovunque, NVIDIA testa i titoli in anticipo e usa profili per gioco per abilitare il Resizable BAR solo dove ha misurato un guadagno. Quindi su una scheda NVIDIA, «il ReBAR è attivo?» ha una risposta diversa per ogni applicazione, e un benchmark che non mostra niente può essere semplicemente un titolo che il driver ha deciso di lasciare stare.

AMD: Smart Access Memory è la stessa cosa

Il marchio AMD per questa funzione è Smart Access Memory, introdotto insieme alla serie Radeon RX 6000 e alle CPU Ryzen 5000. Il marketing suggerisce un’accoppiata CPU AMD più GPU AMD, ed è così che è stato lanciato, ma la capability sottostante è quella PCIe standard. Abilita il Resizable BAR nel firmware con una scheda Radeon in una macchina Intel e ottieni la stessa funzione senza il marchio.

Anche le schede Radeon Pro serie W lo supportano. Sulle architetture più vecchie, Vega e Polaris, il supporto è più irregolare, ed è anche lì che vivono i problemi con la virtualizzazione.

Resizable BAR e lavoro di IA

È qui che la funzione viene fraintesa, quindi conviene essere chiari su cosa tocca.

Il Resizable BAR cambia il modo in cui la CPU raggiunge la memoria della GPU. Quello è il percorso di trasferimento: caricare i pesi del modello, spingere i batch, rileggere i risultati. Non tocca la banda di memoria propria della GPU, e non rende più veloce una moltiplicazione di matrici.

Il riassunto onesto è quindi che influisce sul caricamento e sull’alimentazione di un modello, non sull’aritmetica. Per un modello grande, la copia da host a dispositivo al caricamento è un costo reale, e un BAR a piena dimensione permette alla CPU di scrivere direttamente nella memoria del dispositivo invece di fare la spola attraverso un oblò da 256MB. Nel regime stazionario di un’inferenza, dove i pesi sono già residenti e il lavoro è limitato dal calcolo, non aspettarti niente.

Tre dettagli valgono la pena.

Arc Pro per l’IA eredita il verdetto di Intel. Se Intel dice che la scheda ha bisogno del Resizable BAR per una buona esperienza, questo vale per una scheda che esegue oneAPI o PyTorch tanto quanto per una che esegue un gioco. Le schede Arc e Arc Pro che fanno inferenza devono averlo abilitato, punto.

Su NVIDIA, il numero che ti serve è BAR1. BAR1 è la finestra visibile dall’host sulla memoria del dispositivo, ed è da lì che passano le allocazioni mappate dall’host e il GPUDirect RDMA:

# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"

Una scheda da data center nasce già con un BAR1 grande. Su una scheda desktop, è il Resizable BAR a rendere quella finestra grande invece che minuscola. Se fai RDMA direttamente da una NIC alla memoria della GPU, non è un dettaglio.

Non confonderlo con il requisito di ROCm. I requisiti di sistema di ROCm di AMD chiedono CPU che supportino le PCIe atomics, «modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell», e non dicono nulla sulla dimensione del BAR. Sono due requisiti di piattaforma diversi che stanno nello stesso menu del BIOS, e la gente li confonde di continuo. Controlla quello che ti serve davvero.

Il guasto che colpisce più duramente le build per l’IA non riguarda affatto le prestazioni, ed è trattato più sotto: diverse GPU con BAR grandi in una sola macchina possono esaurire lo spazio di indirizzi.

Cosa serve perché funzioni

Quattro cose, tutte a livello di firmware:

  • Resizable BAR abilitato nel firmware della scheda madre. Spesso è disattivato di default.
  • Above 4G Decoding abilitato. Un BAR da 24GB non entra sotto la soglia dei 4GB, quindi la piattaforma deve essere disposta ad allocare spazio di indirizzi sopra di essa. Attivalo anche senza GPU. Non costa nulla.
  • Avvio UEFI, con CSM disattivato. La modalità di compatibilità legacy e i BAR grandi non vanno d’accordo.
  • Firmware e driver aggiornati, soprattutto su schede madri e schede video della transizione 2020–2021, dove il supporto è arrivato con un aggiornamento e non al lancio.
Un BAR grande ci sta solo sopra i 4GB, e l'apertura del guest deve bastare a contenerloDove può stare davvero un BAR ridimensionatoRAM di sistema0buco MMIO a 32 bit4 GBMMIO a 64 bitaltoGPU 0BAR da 24 GBGPU 1: 24 GBGPU 2: 24 GBGPU 3: 24 GBAffollato, e largo solo 4 GB in tuttoUn BAR da 24 GB qui non ci va. Uno da 256 MBa malapena.Usabile solo con Above 4G DecodingUn'impostazione del firmware. Spenta di default su alcune schede,e senza un BAR grande non viene mai allocato.Ogni scheda vuole il suo spazio quassùQuattro schede da 24 GB vogliono 96 GB di MMIO a 64 bit,più tutto il resto sul bus. Non tutti i firmwaredelle schede consumer ce la fanno.Il segnale: con due schede va, con quattro una nonsi inizializza, e dmesg dice che non c'è spazio per il BAR.Non in scala: la regione a 64 bit è enormemente più grande dei 4 GB sotto, ed è proprioquesto il punto.
Above 4G Decoding è ciò che rende utilizzabile la regione superiore, e ogni scheda ha bisogno del proprio spazio lassù: è lì che le build multi-GPU per l’IA sbattono contro il muro.

Come controllare su Linux

Se la scheda ha la capability, e quali dimensioni offre:

# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"

Il kernel la espone anche in sysfs, un file per ogni BAR ridimensionabile:

cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

Quel valore è una bitmap delle dimensioni supportate, non una dimensione. Il bit 0 significa 1MB, il bit 1 significa 2MB, il bit 2 significa 4MB, e la dimensione per un dato bit è 2 ^ (bit + 20). Quindi 00000000000001c0 ha i bit 6, 7 e 8 impostati, cioè il BAR può essere di 64MB, 128MB o 256MB.

Per vedere cosa è davvero in vigore, leggi le regioni assegnate:

lspci -vvs 0000:XX:00.0 | grep -i Region

Una scheda che lavora con l’intero framebuffer mappato mostra una regione pari alla sua VRAM invece di una da 256MB.

Ridimensionare a mano

Puoi scrivere tu stesso la posizione del bit:

# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

Le condizioni sono rigide, e vale la pena leggerle prima di provarci su una macchina a cui tieni. Prima bisogna scollegare ogni driver dal dispositivo. I dispositivi fratelli sotto lo stesso bridge padre potrebbero dover essere rimossi via software. Su un dispositivo VGA, scrivere un valore di ridimensionamento smonta i driver di console di basso livello. Qualunque cosa tenga aperti i file sysfs resourceN deve mollarli.

La documentazione del kernel è anche brusca sul risultato: il successo non è garantito. Il ridimensionamento fallisce se non c’è spazio di indirizzi per collocare il BAR più grande. Il che ti riporta dritto ad Above 4G Decoding.

Quando va storto

dmesg dice che non riesce ad assegnare il BAR. Messaggi della forma BAR 0: no space for [mem size ...] significano che l’allocazione è fallita, non che la scheda è guasta. Above 4G Decoding è la prima cosa da controllare.

Diverse GPU e una di loro non si inizializza. È il guasto delle build multi-GPU e per l’IA. Quattro schede con BAR da 24GB richiedono 96GB di spazio MMIO a 64 bit, più tutto il resto, e non tutti i firmware delle schede madri consumer ci riescono. Il sintomo è che la macchina va bene con due schede e crolla con quattro.

Le prestazioni sono calate. Su NVIDIA può essere la conclusione del driver stesso, visto che lo abilitano titolo per titolo proprio perché alcuni carichi peggiorano. Sugli altri, misura in entrambi i modi invece di supporre.

Non è cambiato niente. È l’esito più probabile per un carico che non è mai stato limitato dalla finestra della CPU sulla VRAM.

Passare una GPU con BAR grande a una VM

Vale la pena segnalarlo perché sorprende: un guest non eredita la mappa di memoria dell’host. Il firmware della VM costruisce la propria apertura MMIO a 64 bit, e quella predefinita di OVMF è molto più piccola di quanto serva a una GPU moderna, quindi la scheda o non si inizializza o ripiega su un BAR piccolo. È un argomento di Proxmox e QEMU più che di GPU, e si trova nell' articolo sulla tassa dell’IOMMU insieme ai requisiti sul tipo di macchina di Usa sempre Q35, non i440fx.

Riferimenti