O que faz o ASPM

A gestão de energia em estado ativo do PCIe (Active State Power Management, ASPM) permite que as ligações PCIe entrem em estados de baixo consumo quando estão inativas. A especificação PCIe define vários estados de ligação:

L0 é o estado totalmente ativo. A ligação está em cima, as duas pontas estão alimentadas e os dados podem fluir de imediato.

L0s é um estado de inatividade ligeiro. A ligação desliga-se parcialmente. A recuperação para L0 demora cerca de 1–4µs, conforme o hardware. Cada ponta pode entrar em L0s de forma independente.

L1 é um estado de inatividade mais profundo. As duas pontas da ligação desligam-se em conjunto. A recuperação para L0 demora mais — tipicamente 2–32µs, às vezes mais. O tempo exato de recuperação depende do dispositivo, da geração PCIe e da plataforma.

L1.1 e L1.2 são subestados de L1 introduzidos no PCIe 3.0. Reduzem ainda mais o consumo ao desligar a referência de relógio do PLL. A recuperação de L1.2 pode demorar 32–100µs. Para um dispositivo de armazenamento, isso não é um erro de arredondamento. É mais ou menos o tempo da própria leitura que estavas a tentar fazer.

Quanto mais fundo a ligação dorme, mais espera o próximo IOestado da ligaçãotempo de recuperação até L0: a latência que um IO paga se chegar agoraL0ativo: os dados fluem jánenhumL0sinatividade ligeira, cada ponta por si1–4 µsL1inatividade profunda, as duas pontas juntas2–32 µsL1.1 / L1.2subestados 3.0: PLL desligado32–100 µsBarras à escala contra o pior caso de 100 µs. Sono mais profundo poupa mais energia e custa mais ao acordar.
As barras são os tempos de recuperação, desenhados à escala contra o pior caso de 100 µs. Um sono mais profundo poupa mais energia e custa mais quando o tráfego regressa.

A ideia é simples. Se uma ligação PCIe estiver inativa durante alguns microssegundos, passa-a para um estado de menor consumo. Quando o tráfego regressar, acorda-a. Pelo meio, poupa-se um pouco de energia.

Num portátil ou num computador de secretária que passa a maior parte do tempo sem fazer nada, o ASPM poupa energia a sério. Alguns watts por ligação, que se somam em todos os dispositivos PCIe do sistema. Num servidor com cargas intensivas de IO, as ligações raramente ficam inativas tempo suficiente para o ASPM entrar em ação de forma significativa.

Porque causa problemas com passthrough

Em bare metal, o sistema operativo e o controlador do dispositivo negociam a gestão de energia em conjunto. O controlador NVMe sabe quando a ligação está prestes a ficar inativa e quando está prestes a submeter novo IO. O subsistema PCIe do kernel coordena as transições de estado da ligação com o controlador. Está tudo sincronizado.

Com passthrough VFIO, essa coordenação desfaz-se.

O kernel do anfitrião continua a controlar a ligação PCIe física. A VM convidada é dona do dispositivo através do VFIO, mas não controla a ligação em si. O subsistema PCIe do anfitrião vê a ligação ficar inativa — porque, do ponto de vista do anfitrião, nenhum controlador do lado do anfitrião a está a usar. Passa a ligação para um estado de baixo consumo. Quando a convidada submete IO, o dispositivo precisa da ligação de volta em L0. O tempo de recuperação aparece como latência acrescida nessa operação de IO.

O resultado é latência inconsistente. A maioria das operações de IO termina à velocidade normal. Algumas demoram muito mais porque apanham uma ligação que está em L1 ou L1.2 e tem de acordar primeiro. Isto aparece como uma grande dispersão nos percentis de clat (latência de conclusão). A média pode parecer normal. O p99 pode ser 5–10x mais alto.

É difícil de detetar porque os números de débito médio podem parecer bons. Só vês o problema quando olhas para a latência de cauda. Muitos benchmarks não a destacam a menos que peças os percentis.

O ASPM deixa a média intacta e arrasa a caudaASPM ativopcie_aspm=offlatência de conclusão (µs)03060901203× pior no p99, e 7× a sua própria médiaASPM ativopcie_aspm=offp50p90p99p99.9p99.99A média e o p50 são idênticos nas duas execuções: só a cauda os separa.Valores ilustrativos do padrão, não medições de uma unidade concreta.
A mesma unidade com e sem ASPM. O p50 é idêntico, por isso um benchmark que só mostra médias não reporta problema nenhum; o estrago está todo para lá do p90, onde se acumulam as operações de IO que encontraram uma ligação adormecida.

A particularidade do VFIO

Há aqui uma particularidade que vai além do problema básico de «o anfitrião e a convidada a lutar pelo estado da ligação».

Quando um dispositivo está associado ao vfio-pci no anfitrião, o kernel do anfitrião sabe que o dispositivo está em modo passthrough. Mas a política de ASPM do PCIe aplica-se ao nível da ligação, não do dispositivo. A política de ASPM do anfitrião continua a aplicar-se à ligação física porque o anfitrião continua a ser dono da topologia PCIe.

O VFIO não interceta nem sobrepõe as transições de ASPM. Passa o espaço de BAR e as interrupções do dispositivo, mas a gestão de energia da ligação fica sob controlo do anfitrião. A convidada não tem nenhum mecanismo para dizer ao anfitrião «mantém esta ligação em L0».

A convidada é dona do dispositivo; o anfitrião continua dono da ligação, e não há canal entre elesVM convidadacontrolador NVMedona do dispositivo, submete o IOKernel do anfitriãosubsistema PCIepolítica ASPMvfio-pcipolítica de D-statesem forma de dizer«mantém esta ligação em L0»ligação PCIe física: em L1, a dormirquem decide é o anfitrião, não a convidadanenhum controladora usa, e deixa a ligaçãodormira convidada submete IO,à espera de L0este IO espera que a ligação acorde: 2–32 µs, ou até 100 µs a partir de L1.2O VFIO passa o espaço de BAR e as interrupções. A gestão de energia da ligação não faz parte do acordo.A maioria dos IO nem apanha a ligação adormecida, e é por isso que só a cauda mexe.
A divisão que o causa: a convidada é dona do dispositivo e submete o IO, o anfitrião é dono da ligação e decide quando ela dorme, e nada liga os dois.

Algum hardware e algumas versões do kernel mais recentes lidam melhor com isto do que outros. Como tal, a abordagem mais segura é tirar o ASPM de cena por completo.

Como o desativar

Acrescenta pcie_aspm=off à linha de comandos do kernel do anfitrião:

# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"

# Update GRUB and reboot
update-grub
reboot

Isto impede o anfitrião de pôr qualquer ligação PCIe num estado de baixo consumo. Aplica-se globalmente. Todos os dispositivos PCIe do anfitrião, não só o que está a ser passado.

Verifica depois do reinício:

# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"

O custo energético

Desativar o ASPM aumenta de facto o consumo em inatividade. Cada ligação PCIe que de outro modo estaria em L1 fica em L0, a consumir umas centenas de miliwatts a mais. Num sistema com dez ou quinze dispositivos PCIe, isso pode somar 2–5 watts em inatividade.

Para um servidor num centro de dados, 2–5 watts é um erro de arredondamento na fatura da eletricidade. Para um home lab, é uma fração do que o CPU e a memória estão a gastar. Para um portátil, conta. Mas não ias fazer passthrough VFIO a bateria num portátil.

O compromisso é claro. Alguns watts de consumo em inatividade contra picos de latência imprevisíveis nos dispositivos que passaste. Em qualquer sistema que faça passthrough, o ASPM deve estar desligado.

Problemas de estado de energia ao nível do dispositivo

O ASPM controla o estado de energia da ligação PCIe. Os dispositivos também têm a sua própria gestão de energia — os D-states do PCIe (D0 a D3).

Quando um dispositivo está em D3 (totalmente desligado), não é só a ligação que está a dormir. O próprio dispositivo parou. Com passthrough VFIO, o controlador vfio-pci do anfitrião pode pôr o dispositivo em D3 quando a VM não está a correr ou quando a política de gestão de energia do anfitrião decide que o dispositivo está inativo.

Alguns controladores NVMe não lidam bem com a transição de D3 para D0. Não conseguem voltar de forma limpa, a convidada perde o dispositivo e a única saída é reiniciar a VM ou, às vezes, reiniciar o anfitrião.

O Samsung 990 EVO Plus é um infrator bem conhecido. A correção é a opção de módulo disable_idle_d3 do vfio-pci:

# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1

Isto impede o vfio-pci de pôr qualquer dispositivo associado em D3 quando inativo. Tal como o pcie_aspm=off, é uma definição global. Todos os dispositivos associados ao vfio-pci ficam em D0. Normalmente é isso que queres para passthrough, em que a convidada deve ser a única a controlar o estado de energia do dispositivo.

A opção disable_idle_d3 é independente do ASPM. O ASPM controla a ligação. O D3 controla o dispositivo. Ambos podem causar problemas de forma independente. Para uma configuração de passthrough limpa, desativa os dois.

Controlo de ASPM por dispositivo

Se não quiseres desativar o ASPM globalmente — talvez tenhas outros dispositivos PCIe no anfitrião que beneficiam da poupança de energia — podes controlar o ASPM por ligação através do sysfs:

# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm

# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm

É mais direcionado, mas menos fiável entre reinícios e atualizações do kernel. Para a maioria das configurações de passthrough, a opção global pcie_aspm=off do kernel é mais simples e mais previsível.

Quando o ASPM não é o problema

Nem toda a variação de latência é culpa do ASPM.

Se os teus percentis de clat forem consistentemente altos (não só na cauda), o problema é mais provavelmente a sobrecarga de tradução do IOMMU, um desalinhamento NUMA ou uma discrepância de MPS. O ASPM causa especificamente um padrão bimodal — a maioria das operações de IO é rápida, algumas são lentas — porque só afeta as operações de IO que calham chegar quando a ligação está num estado de baixo consumo.

Verifica primeiro o ASPM quando vires:

  • latência p99 5x ou mais acima da média
  • resultados de fio inconsistentes entre execuções
  • latência que melhora sob carga sustentada mas piora com cargas em rajadas

Se a latência for consistentemente má, seja qual for o padrão de carga, procura noutro sítio. Vale a pena excluir o ASPM cedo porque é barato de testar. Mas não é a resposta para todas as ligações lentas, e persegui-lo quando os números não encaixam no padrão é uma tarde que não vais recuperar.

Referências