O que é um BAR, e porque é que as GPU o ultrapassaram

Cada dispositivo PCIe expõe um ou mais Base Address Registers. Um BAR diz ao sistema quanto espaço de endereços o dispositivo quer, e o firmware mapeia-o no mapa de memória do host. Depois de mapeado, o CPU chega à memória do dispositivo com leituras e escritas normais.

O tamanho de um BAR era fixado no silício. O firmware lia-o no arranque e a conversa acabava ali.

Isso funcionava enquanto os BAR eram pequenos. Uma placa de rede quer umas dezenas de kilobytes para os seus registos. Um controlador NVMe quer de 16KB a 64KB.

As placas gráficas acabaram com esse arranjo. Uma placa moderna tem 8, 12, 16 ou 24GB de memória de vídeo, e o óbvio é mapeá-la toda para o CPU poder escrever em qualquer ponto dela. Os BAR fixos não conseguiam exprimir isso, por isso a convenção passou a ser uma janela pequena, normalmente de 256MB, que o driver vai reapontando sobre o framebuffer, copiando por ela aos bocados. Funciona. É só uma quantidade disparatada de contabilidade para chegar a memória que já compraste e instalaste.

Uma abertura fixa mostra uma fatia de cada vez; o Resizable BAR mapeia tudoBAR fixo: uma janela de 256 MB24 GB de VRAM, desenhados em fatiasa janelaO driver reaponta a janela e copia através dela,uma fatia de cada vez. Fatias ilustrativas, sem escala.Resizable BAR: tudoos mesmos 24 GB, mapeados de uma vezum BAR cobre tudoO CPU escreve onde quer. Não há janelapara mover.
A abertura de 256MB é menos um limite de largura de banda do que um imposto de contabilidade: o driver passa o tempo a mover a janela em vez de mover dados.

O que o Resizable BAR muda

O Resizable BAR é uma capacidade PCIe que deixa negociar o tamanho de um BAR em vez de o fixar. O dispositivo anuncia os tamanhos que suporta, e o firmware ou o sistema operativo programa um deles.

Numa GPU isso quer dizer que o framebuffer inteiro pode ser mapeado de uma vez. O driver deixa de paginar através de uma janela e escreve onde quer escrever. O kernel reporta a capacidade como Physical Resizable BAR, e ela não depende do fabricante. Uma placa AMD funciona com ela numa plataforma Intel e vice-versa.

O que os três fabricantes fazem de facto

A parte interessante é que os fabricantes não concordam sobre a importância disto.

Três fabricantes, uma capacidade, três posturas diferentesIntel Arc / Arc ProOBRIGATÓRIO«Required to get a goodexperience with Arc»Desligado, os picos de frametimeque já lá estavam aumentam.Plataformas: Core de 10.ª ger.e posteriores, quase todos osRyzen 3000, todos os Ryzen 5000.NVIDIAPERFIL POR JOGODa série RTX 30 em diante,março de 2021«A few percent, up to 12%»:e alguns jogos ficam mais lentos,por isso o driver só o ativaonde testou mais rápido.Exigia atualizar VBIOS + SBIOS.AMD RadeonSMART ACCESS MEMORYA mesma capacidade, vendidacom nome de marcaLançada com a RX 6000 e oRyzen 5000 como funcionalidade em par,mas a capacidade é PCIe normale funciona entre fabricantes.Mais irregular em Vega e Polaris.A capacidade é idêntica nos três casos: muda se o fabricante a trata como pré-requisito,uma otimização a aplicar com critério, ou uma funcionalidade de produto.
A mesma capacidade, três posturas diferentes. A Intel trata-a como pré-requisito; a NVIDIA só a entrega ligada nos jogos que testou; a AMD vende-a como funcionalidade.

Intel Arc e Arc Pro: a Intel diz que é obrigatório

A Intel é a enfática. As orientações dela dizem que o Resizable BAR é «required to get a good experience with Intel® Arc™ hardware». É uma linguagem invulgarmente forte para uma funcionalidade de plataforma, e mostra como o driver do Arc está construído, mais do que uma escolha de marketing.

Do lado dos sintomas, a Intel descreve o efeito de o desligar em termos de consistência e não de médias: com «ReBAR off» o resultado «will generally result in spikes that were already there getting bigger». É um argumento de estabilidade do frametime, e é o mesmo tipo de problema que o efeito do ASPM nas caudas de latência. A média esconde-o.

A Intel lista os processadores Intel Core de 10.ª geração e mais recentes, a maioria da série Ryzen 3000 e todos os CPU Ryzen 5000 como plataformas suportadas, e trata-o como uma funcionalidade da BIOS da motherboard que tens de ir lá ativar.

A consequência prática para o Arc e o Arc Pro é simples. Se puseste uma placa Arc numa máquina e o desempenho desilude ou é irregular, verifica isto antes de verificares qualquer outra coisa. Como tal, nessas placas não é tanto um botão de afinação como um pré-requisito.

NVIDIA: da Ampere em diante, e só onde ajuda

A NVIDIA acrescentou suporte nas placas e portáteis GeForce RTX 30 Series em março de 2021. Pô-lo a funcionar exigia uma VBIOS suportada, um CPU e uma motherboard compatíveis, uma atualização do firmware da motherboard e um driver atual. A RTX 3060 saiu com ele; a 3060 Ti, a 3070, a 3080 e a 3090 podiam precisar de uma atualização de firmware para o ter.

A forma como a própria NVIDIA apresenta o desempenho é refrescantemente pouco glamorosa. Concluiu que «some titles benefit from a few percent, up to 12%» enquanto «there are also titles that see a decrease in performance».

A resposta a isso é o pormenor que vale a pena saber: em vez de o deixar ligado em todo o lado, a NVIDIA testa os jogos de antemão e usa perfis por jogo para ativar o Resizable BAR só onde mediu um ganho. Por isso, numa placa NVIDIA, «o ReBAR está ligado?» tem uma resposta por aplicação, e um benchmark que não mostra nada pode ser simplesmente um jogo que o driver decidiu deixar em paz.

AMD: o Smart Access Memory é a mesma coisa

A marca da AMD para isto é Smart Access Memory, lançada com a série Radeon RX 6000 e os CPU Ryzen 5000. O marketing dá a entender um par CPU AMD mais GPU AMD, e foi assim que foi lançado, mas a capacidade por baixo é a PCIe normal. Ativa o Resizable BAR no firmware com uma placa Radeon numa máquina Intel e tens a mesma funcionalidade sem a marca.

As placas Radeon Pro série W também o suportam. Nas arquiteturas mais antigas, Vega e Polaris, o suporte é mais irregular, e é também aí que vivem os problemas de virtualização.

Resizable BAR e trabalho de IA

É aqui que a funcionalidade é mal compreendida, por isso vale a pena ser claro sobre aquilo em que toca.

O Resizable BAR muda a forma como o CPU chega à memória da GPU. Esse é o caminho de transferência: preparar os pesos do modelo, enviar lotes, ler os resultados de volta. Não mexe na largura de banda da memória da própria GPU, e não torna uma multiplicação de matrizes mais rápida.

Por isso, o resumo honesto é que afeta o carregamento e a alimentação de um modelo, não a aritmética. Num modelo grande, a cópia do host para o dispositivo no carregamento é um custo real, e um BAR de tamanho total deixa o CPU escrever diretamente na memória do dispositivo em vez de andar a passar tudo por uma vigia de 256MB. No regime estável de uma inferência, com os pesos já residentes e o trabalho limitado pela computação, não esperes nada.

Há três pormenores que vale a pena saber.

O Arc Pro para IA herda o veredicto da Intel. Se a Intel diz que a placa precisa de Resizable BAR para uma boa experiência, isso aplica-se a uma placa a correr oneAPI ou PyTorch tanto quanto a uma a correr um jogo. As placas Arc e Arc Pro a fazer inferência devem tê-lo ativado, ponto final.

Na NVIDIA, o número que queres é o BAR1. O BAR1 é a janela visível pelo host sobre a memória do dispositivo, e é por ela que passam as alocações mapeadas no host e o GPUDirect RDMA:

# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"

Uma placa de centro de dados já é construída com um BAR1 grande. Numa placa de secretária, é o Resizable BAR que torna essa janela grande em vez de minúscula. Se estás a fazer RDMA diretamente de uma NIC para a memória da GPU, isto não é um luxo.

Não confundas isto com o requisito do ROCm. Os requisitos de sistema do ROCm da AMD pedem CPU com suporte para atómicas PCIe, «modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell», e não dizem nada sobre o tamanho do BAR. São dois requisitos de plataforma diferentes que vivem no mesmo menu da BIOS, e as pessoas confundem-nos constantemente. Verifica aquele de que precisas de facto.

O modo de falha que mais morde as máquinas de IA nem sequer é de desempenho, e é tratado mais abaixo: várias GPU com BAR grandes numa máquina podem esgotar o espaço de endereços.

O que é preciso para funcionar

Quatro coisas, todas ao nível do firmware:

  • Resizable BAR ativado no firmware da motherboard. Muitas vezes vem desligado.
  • Above 4G Decoding ativado. Um BAR de 24GB não cabe abaixo da linha dos 4GB, por isso a plataforma tem de estar disposta a alocar espaço de endereços acima dela. Liga isto mesmo sem GPU instalada. Não custa nada.
  • Arranque UEFI, com o CSM desligado. O modo de compatibilidade legado e os BAR grandes não se misturam.
  • Firmware e drivers atuais, sobretudo nas placas da transição de 2020–2021, onde o suporte chegou por atualização e não no lançamento.
Um BAR grande só cabe acima dos 4GB, e a abertura do convidado tem de chegar para o conterOnde um BAR redimensionado pode mesmo ficarRAM do sistema0buraco MMIO de 32 bits4 GBMMIO de 64 bitsaltoGPU 0BAR de 24 GBGPU 1: 24 GBGPU 2: 24 GBGPU 3: 24 GBCheio, e com só 4 GB de largura no totalUm BAR de 24 GB não cabe aqui. Um de 256 MBmal cabe.Utilizável só com Above 4G DecodingUma opção do firmware. Desligada de origem em algumas placas,e sem ela um BAR grande nunca chega a ser alocado.Cada placa precisa do seu espaço aqui em cimaQuatro placas de 24 GB querem 96 GB de MMIO de 64 bits,mais tudo o resto no barramento. Nem todo o firmwarede placas de consumo o faz.O sinal: bem com duas placas, com quatro uma recusainicializar, e o dmesg diz que não há espaço para o BAR.Sem escala: a região de 64 bits é muitíssimo maior do que os 4 GB abaixo dela, e é essemesmo o ponto.
O Above 4G Decoding é o que torna a região superior utilizável, e cada placa precisa do seu próprio espaço lá em cima, que é onde as máquinas de IA com várias GPU batem na parede.

Como verificar em Linux

Se a placa tem a capacidade, e que tamanhos oferece:

# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"

O kernel também expõe isto no sysfs, um ficheiro por BAR redimensionável:

cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

Esse valor é um mapa de bits dos tamanhos suportados, não um tamanho. O bit 0 quer dizer 1MB, o bit 1 quer dizer 2MB, o bit 2 quer dizer 4MB, e o tamanho de um dado bit é 2 ^ (bit + 20). Por isso 00000000000001c0 tem os bits 6, 7 e 8 ligados, o que quer dizer que o BAR pode ter 64MB, 128MB ou 256MB.

Para ver o que está de facto em vigor, lê as regiões atribuídas:

lspci -vvs 0000:XX:00.0 | grep -i Region

Uma placa a correr com o framebuffer inteiro mapeado mostra uma região do tamanho da sua VRAM em vez de uma de 256MB.

Redimensionar à mão

Podes escrever tu a posição do bit:

# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

As condições associadas são rigorosas, e vale a pena lê-las antes de o experimentares numa máquina que te importa. Todos os drivers têm de ser desligados do dispositivo primeiro. Os dispositivos vizinhos debaixo da mesma bridge-mãe podem ter de ser removidos por software. Num dispositivo VGA, escrever um valor de redimensionamento deita abaixo os drivers de consola de baixo nível. Tudo o que tiver os ficheiros sysfs resourceN abertos tem de os largar.

A documentação do kernel também é direta quanto ao resultado: o sucesso não é garantido. O redimensionamento falha se não houver espaço de endereços para colocar o BAR maior. O que te leva diretamente de volta ao Above 4G Decoding.

Quando corre mal

O dmesg diz que não consegue atribuir o BAR. Mensagens com o formato BAR 0: no space for [mem size ...] querem dizer que a alocação falhou, não que a placa está avariada. O Above 4G Decoding é a primeira coisa a verificar.

Várias GPU e uma delas não inicializa. Esta é a falha das máquinas com várias GPU e de IA. Quatro placas com BAR de 24GB precisam de 96GB de espaço MMIO de 64 bits alocado, mais tudo o resto, e nem todo o firmware de motherboard de consumo o faz. O sintoma é a máquina estar bem com duas placas e cair com quatro.

O desempenho baixou. Na NVIDIA isso pode ser a conclusão do próprio driver, já que o ativam jogo a jogo precisamente porque algumas cargas regridem. Nos outros, mede das duas maneiras em vez de presumir.

Não mudou nada. O resultado mais provável para uma carga que nunca foi limitada pela janela do CPU sobre a VRAM.

Passar uma GPU com BAR grande para uma VM

Vale a pena assinalar porque apanha as pessoas de surpresa: um convidado não herda o mapa de memória do host. O firmware da VM constrói a sua própria abertura MMIO de 64 bits, e a predefinição do OVMF é muito mais pequena do que uma GPU moderna precisa, por isso a placa ou não inicializa ou recua para um BAR pequeno. É um tema de Proxmox e QEMU mais do que de GPU, e está no artigo sobre o imposto do IOMMU ao lado dos requisitos do tipo de máquina de Usa sempre Q35, não i440fx.

Referências