O que é um BAR, e porque é que as GPU o ultrapassaram
Cada dispositivo PCIe expõe um ou mais Base Address Registers. Um BAR diz ao sistema quanto espaço de endereços o dispositivo quer, e o firmware mapeia-o no mapa de memória do host. Depois de mapeado, o CPU chega à memória do dispositivo com leituras e escritas normais.
O tamanho de um BAR era fixado no silício. O firmware lia-o no arranque e a conversa acabava ali.
Isso funcionava enquanto os BAR eram pequenos. Uma placa de rede quer umas dezenas de kilobytes para os seus registos. Um controlador NVMe quer de 16KB a 64KB.
As placas gráficas acabaram com esse arranjo. Uma placa moderna tem 8, 12, 16 ou 24GB de memória de vídeo, e o óbvio é mapeá-la toda para o CPU poder escrever em qualquer ponto dela. Os BAR fixos não conseguiam exprimir isso, por isso a convenção passou a ser uma janela pequena, normalmente de 256MB, que o driver vai reapontando sobre o framebuffer, copiando por ela aos bocados. Funciona. É só uma quantidade disparatada de contabilidade para chegar a memória que já compraste e instalaste.
O que o Resizable BAR muda
O Resizable BAR é uma capacidade PCIe que deixa negociar o tamanho de um BAR em vez de o fixar. O dispositivo anuncia os tamanhos que suporta, e o firmware ou o sistema operativo programa um deles.
Numa GPU isso quer dizer que o framebuffer inteiro pode ser mapeado de uma vez.
O driver deixa de paginar através de uma janela e escreve onde quer escrever.
O kernel reporta a capacidade como Physical Resizable BAR, e ela não depende do fabricante. Uma placa AMD funciona com ela numa plataforma Intel e vice-versa.
O que os três fabricantes fazem de facto
A parte interessante é que os fabricantes não concordam sobre a importância disto.
Intel Arc e Arc Pro: a Intel diz que é obrigatório
A Intel é a enfática. As orientações dela dizem que o Resizable BAR é «required to get a good experience with Intel® Arc™ hardware». É uma linguagem invulgarmente forte para uma funcionalidade de plataforma, e mostra como o driver do Arc está construído, mais do que uma escolha de marketing.
Do lado dos sintomas, a Intel descreve o efeito de o desligar em termos de consistência e não de médias: com «ReBAR off» o resultado «will generally result in spikes that were already there getting bigger». É um argumento de estabilidade do frametime, e é o mesmo tipo de problema que o efeito do ASPM nas caudas de latência. A média esconde-o.
A Intel lista os processadores Intel Core de 10.ª geração e mais recentes, a maioria da série Ryzen 3000 e todos os CPU Ryzen 5000 como plataformas suportadas, e trata-o como uma funcionalidade da BIOS da motherboard que tens de ir lá ativar.
A consequência prática para o Arc e o Arc Pro é simples. Se puseste uma placa Arc numa máquina e o desempenho desilude ou é irregular, verifica isto antes de verificares qualquer outra coisa. Como tal, nessas placas não é tanto um botão de afinação como um pré-requisito.
NVIDIA: da Ampere em diante, e só onde ajuda
A NVIDIA acrescentou suporte nas placas e portáteis GeForce RTX 30 Series em março de 2021. Pô-lo a funcionar exigia uma VBIOS suportada, um CPU e uma motherboard compatíveis, uma atualização do firmware da motherboard e um driver atual. A RTX 3060 saiu com ele; a 3060 Ti, a 3070, a 3080 e a 3090 podiam precisar de uma atualização de firmware para o ter.
A forma como a própria NVIDIA apresenta o desempenho é refrescantemente pouco glamorosa. Concluiu que «some titles benefit from a few percent, up to 12%» enquanto «there are also titles that see a decrease in performance».
A resposta a isso é o pormenor que vale a pena saber: em vez de o deixar ligado em todo o lado, a NVIDIA testa os jogos de antemão e usa perfis por jogo para ativar o Resizable BAR só onde mediu um ganho. Por isso, numa placa NVIDIA, «o ReBAR está ligado?» tem uma resposta por aplicação, e um benchmark que não mostra nada pode ser simplesmente um jogo que o driver decidiu deixar em paz.
AMD: o Smart Access Memory é a mesma coisa
A marca da AMD para isto é Smart Access Memory, lançada com a série Radeon RX 6000 e os CPU Ryzen 5000. O marketing dá a entender um par CPU AMD mais GPU AMD, e foi assim que foi lançado, mas a capacidade por baixo é a PCIe normal. Ativa o Resizable BAR no firmware com uma placa Radeon numa máquina Intel e tens a mesma funcionalidade sem a marca.
As placas Radeon Pro série W também o suportam. Nas arquiteturas mais antigas, Vega e Polaris, o suporte é mais irregular, e é também aí que vivem os problemas de virtualização.
Resizable BAR e trabalho de IA
É aqui que a funcionalidade é mal compreendida, por isso vale a pena ser claro sobre aquilo em que toca.
O Resizable BAR muda a forma como o CPU chega à memória da GPU. Esse é o caminho de transferência: preparar os pesos do modelo, enviar lotes, ler os resultados de volta. Não mexe na largura de banda da memória da própria GPU, e não torna uma multiplicação de matrizes mais rápida.
Por isso, o resumo honesto é que afeta o carregamento e a alimentação de um modelo, não a aritmética. Num modelo grande, a cópia do host para o dispositivo no carregamento é um custo real, e um BAR de tamanho total deixa o CPU escrever diretamente na memória do dispositivo em vez de andar a passar tudo por uma vigia de 256MB. No regime estável de uma inferência, com os pesos já residentes e o trabalho limitado pela computação, não esperes nada.
Há três pormenores que vale a pena saber.
O Arc Pro para IA herda o veredicto da Intel. Se a Intel diz que a placa precisa de Resizable BAR para uma boa experiência, isso aplica-se a uma placa a correr oneAPI ou PyTorch tanto quanto a uma a correr um jogo. As placas Arc e Arc Pro a fazer inferência devem tê-lo ativado, ponto final.
Na NVIDIA, o número que queres é o BAR1. O BAR1 é a janela visível pelo host sobre a memória do dispositivo, e é por ela que passam as alocações mapeadas no host e o GPUDirect RDMA:
# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"
Uma placa de centro de dados já é construída com um BAR1 grande. Numa placa de secretária, é o Resizable BAR que torna essa janela grande em vez de minúscula. Se estás a fazer RDMA diretamente de uma NIC para a memória da GPU, isto não é um luxo.
Não confundas isto com o requisito do ROCm. Os requisitos de sistema do ROCm da AMD pedem CPU com suporte para atómicas PCIe, «modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell», e não dizem nada sobre o tamanho do BAR. São dois requisitos de plataforma diferentes que vivem no mesmo menu da BIOS, e as pessoas confundem-nos constantemente. Verifica aquele de que precisas de facto.
O modo de falha que mais morde as máquinas de IA nem sequer é de desempenho, e é tratado mais abaixo: várias GPU com BAR grandes numa máquina podem esgotar o espaço de endereços.
O que é preciso para funcionar
Quatro coisas, todas ao nível do firmware:
- Resizable BAR ativado no firmware da motherboard. Muitas vezes vem desligado.
- Above 4G Decoding ativado. Um BAR de 24GB não cabe abaixo da linha dos 4GB, por isso a plataforma tem de estar disposta a alocar espaço de endereços acima dela. Liga isto mesmo sem GPU instalada. Não custa nada.
- Arranque UEFI, com o CSM desligado. O modo de compatibilidade legado e os BAR grandes não se misturam.
- Firmware e drivers atuais, sobretudo nas placas da transição de 2020–2021, onde o suporte chegou por atualização e não no lançamento.
Como verificar em Linux
Se a placa tem a capacidade, e que tamanhos oferece:
# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"
O kernel também expõe isto no sysfs, um ficheiro por BAR redimensionável:
cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
Esse valor é um mapa de bits dos tamanhos suportados, não um tamanho.
O bit 0 quer dizer 1MB, o bit 1 quer dizer 2MB, o bit 2 quer dizer 4MB, e o tamanho de um dado bit é 2 ^ (bit + 20).
Por isso 00000000000001c0 tem os bits 6, 7 e 8 ligados, o que quer dizer que o BAR pode ter 64MB, 128MB ou 256MB.
Para ver o que está de facto em vigor, lê as regiões atribuídas:
lspci -vvs 0000:XX:00.0 | grep -i Region
Uma placa a correr com o framebuffer inteiro mapeado mostra uma região do tamanho da sua VRAM em vez de uma de 256MB.
Redimensionar à mão
Podes escrever tu a posição do bit:
# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
As condições associadas são rigorosas, e vale a pena lê-las antes de o experimentares numa máquina que te importa.
Todos os drivers têm de ser desligados do dispositivo primeiro.
Os dispositivos vizinhos debaixo da mesma bridge-mãe podem ter de ser removidos por software.
Num dispositivo VGA, escrever um valor de redimensionamento deita abaixo os drivers de consola de baixo nível.
Tudo o que tiver os ficheiros sysfs resourceN abertos tem de os largar.
A documentação do kernel também é direta quanto ao resultado: o sucesso não é garantido. O redimensionamento falha se não houver espaço de endereços para colocar o BAR maior. O que te leva diretamente de volta ao Above 4G Decoding.
Quando corre mal
O dmesg diz que não consegue atribuir o BAR.
Mensagens com o formato BAR 0: no space for [mem size ...] querem dizer que a alocação falhou, não que a placa está avariada.
O Above 4G Decoding é a primeira coisa a verificar.
Várias GPU e uma delas não inicializa. Esta é a falha das máquinas com várias GPU e de IA. Quatro placas com BAR de 24GB precisam de 96GB de espaço MMIO de 64 bits alocado, mais tudo o resto, e nem todo o firmware de motherboard de consumo o faz. O sintoma é a máquina estar bem com duas placas e cair com quatro.
O desempenho baixou. Na NVIDIA isso pode ser a conclusão do próprio driver, já que o ativam jogo a jogo precisamente porque algumas cargas regridem. Nos outros, mede das duas maneiras em vez de presumir.
Não mudou nada. O resultado mais provável para uma carga que nunca foi limitada pela janela do CPU sobre a VRAM.
Passar uma GPU com BAR grande para uma VM
Vale a pena assinalar porque apanha as pessoas de surpresa: um convidado não herda o mapa de memória do host. O firmware da VM constrói a sua própria abertura MMIO de 64 bits, e a predefinição do OVMF é muito mais pequena do que uma GPU moderna precisa, por isso a placa ou não inicializa ou recua para um BAR pequeno. É um tema de Proxmox e QEMU mais do que de GPU, e está no artigo sobre o imposto do IOMMU ao lado dos requisitos do tipo de máquina de Usa sempre Q35, não i440fx.
Referências
- Intel — Resizable BAR and Intel Arc Graphics — a declaração da própria Intel de que é obrigatório para uma boa experiência no Arc, e a lista de plataformas suportadas
- NVIDIA — Resizable BAR support for GeForce RTX 30 Series — os requisitos, o intervalo medido e a abordagem de perfis por jogo
- AMD — Smart Access Memory — a marca da AMD e o emparelhamento de plataforma
- Linux kernel sysfs-bus-pci ABI —
resourceN_resize— o mapa de bits, o cálculo2 ^ (bit + 20)e as condições de desligar o driver - ROCm system requirements — o requisito das atómicas PCIe que é confundido com este