O que faz o ASPM
A gestão de energia em estado ativo do PCIe (Active State Power Management, ASPM) permite que as ligações PCIe entrem em estados de baixo consumo quando estão inativas. A especificação PCIe define vários estados de ligação:
L0 é o estado totalmente ativo. A ligação está em cima, as duas pontas estão alimentadas e os dados podem fluir de imediato.
L0s é um estado de inatividade ligeiro. A ligação desliga-se parcialmente. A recuperação para L0 demora cerca de 1–4µs, conforme o hardware. Cada ponta pode entrar em L0s de forma independente.
L1 é um estado de inatividade mais profundo. As duas pontas da ligação desligam-se em conjunto. A recuperação para L0 demora mais — tipicamente 2–32µs, às vezes mais. O tempo exato de recuperação depende do dispositivo, da geração PCIe e da plataforma.
L1.1 e L1.2 são subestados de L1 introduzidos no PCIe 3.0. Reduzem ainda mais o consumo ao desligar a referência de relógio do PLL. A recuperação de L1.2 pode demorar 32–100µs. Para um dispositivo de armazenamento, isso não é um erro de arredondamento. É mais ou menos o tempo da própria leitura que estavas a tentar fazer.
A ideia é simples. Se uma ligação PCIe estiver inativa durante alguns microssegundos, passa-a para um estado de menor consumo. Quando o tráfego regressar, acorda-a. Pelo meio, poupa-se um pouco de energia.
Num portátil ou num computador de secretária que passa a maior parte do tempo sem fazer nada, o ASPM poupa energia a sério. Alguns watts por ligação, que se somam em todos os dispositivos PCIe do sistema. Num servidor com cargas intensivas de IO, as ligações raramente ficam inativas tempo suficiente para o ASPM entrar em ação de forma significativa.
Porque causa problemas com passthrough
Em bare metal, o sistema operativo e o controlador do dispositivo negociam a gestão de energia em conjunto. O controlador NVMe sabe quando a ligação está prestes a ficar inativa e quando está prestes a submeter novo IO. O subsistema PCIe do kernel coordena as transições de estado da ligação com o controlador. Está tudo sincronizado.
Com passthrough VFIO, essa coordenação desfaz-se.
O kernel do anfitrião continua a controlar a ligação PCIe física. A VM convidada é dona do dispositivo através do VFIO, mas não controla a ligação em si. O subsistema PCIe do anfitrião vê a ligação ficar inativa — porque, do ponto de vista do anfitrião, nenhum controlador do lado do anfitrião a está a usar. Passa a ligação para um estado de baixo consumo. Quando a convidada submete IO, o dispositivo precisa da ligação de volta em L0. O tempo de recuperação aparece como latência acrescida nessa operação de IO.
O resultado é latência inconsistente.
A maioria das operações de IO termina à velocidade normal.
Algumas demoram muito mais porque apanham uma ligação que está em L1 ou L1.2 e tem de acordar primeiro.
Isto aparece como uma grande dispersão nos percentis de clat (latência de conclusão).
A média pode parecer normal.
O p99 pode ser 5–10x mais alto.
É difícil de detetar porque os números de débito médio podem parecer bons. Só vês o problema quando olhas para a latência de cauda. Muitos benchmarks não a destacam a menos que peças os percentis.
A particularidade do VFIO
Há aqui uma particularidade que vai além do problema básico de «o anfitrião e a convidada a lutar pelo estado da ligação».
Quando um dispositivo está associado ao vfio-pci no anfitrião, o kernel do anfitrião sabe que o dispositivo está em modo passthrough.
Mas a política de ASPM do PCIe aplica-se ao nível da ligação, não do dispositivo.
A política de ASPM do anfitrião continua a aplicar-se à ligação física porque o anfitrião continua a ser dono da topologia PCIe.
O VFIO não interceta nem sobrepõe as transições de ASPM. Passa o espaço de BAR e as interrupções do dispositivo, mas a gestão de energia da ligação fica sob controlo do anfitrião. A convidada não tem nenhum mecanismo para dizer ao anfitrião «mantém esta ligação em L0».
Algum hardware e algumas versões do kernel mais recentes lidam melhor com isto do que outros. Como tal, a abordagem mais segura é tirar o ASPM de cena por completo.
Como o desativar
Acrescenta pcie_aspm=off à linha de comandos do kernel do anfitrião:
# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"
# Update GRUB and reboot
update-grub
reboot
Isto impede o anfitrião de pôr qualquer ligação PCIe num estado de baixo consumo. Aplica-se globalmente. Todos os dispositivos PCIe do anfitrião, não só o que está a ser passado.
Verifica depois do reinício:
# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"
O custo energético
Desativar o ASPM aumenta de facto o consumo em inatividade. Cada ligação PCIe que de outro modo estaria em L1 fica em L0, a consumir umas centenas de miliwatts a mais. Num sistema com dez ou quinze dispositivos PCIe, isso pode somar 2–5 watts em inatividade.
Para um servidor num centro de dados, 2–5 watts é um erro de arredondamento na fatura da eletricidade. Para um home lab, é uma fração do que o CPU e a memória estão a gastar. Para um portátil, conta. Mas não ias fazer passthrough VFIO a bateria num portátil.
O compromisso é claro. Alguns watts de consumo em inatividade contra picos de latência imprevisíveis nos dispositivos que passaste. Em qualquer sistema que faça passthrough, o ASPM deve estar desligado.
Problemas de estado de energia ao nível do dispositivo
O ASPM controla o estado de energia da ligação PCIe. Os dispositivos também têm a sua própria gestão de energia — os D-states do PCIe (D0 a D3).
Quando um dispositivo está em D3 (totalmente desligado), não é só a ligação que está a dormir. O próprio dispositivo parou.
Com passthrough VFIO, o controlador vfio-pci do anfitrião pode pôr o dispositivo em D3 quando a VM não está a correr ou quando a política de gestão de energia do anfitrião decide que o dispositivo está inativo.
Alguns controladores NVMe não lidam bem com a transição de D3 para D0. Não conseguem voltar de forma limpa, a convidada perde o dispositivo e a única saída é reiniciar a VM ou, às vezes, reiniciar o anfitrião.
O Samsung 990 EVO Plus é um infrator bem conhecido.
A correção é a opção de módulo disable_idle_d3 do vfio-pci:
# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1
Isto impede o vfio-pci de pôr qualquer dispositivo associado em D3 quando inativo.
Tal como o pcie_aspm=off, é uma definição global. Todos os dispositivos associados ao vfio-pci ficam em D0.
Normalmente é isso que queres para passthrough, em que a convidada deve ser a única a controlar o estado de energia do dispositivo.
A opção disable_idle_d3 é independente do ASPM.
O ASPM controla a ligação.
O D3 controla o dispositivo.
Ambos podem causar problemas de forma independente.
Para uma configuração de passthrough limpa, desativa os dois.
Controlo de ASPM por dispositivo
Se não quiseres desativar o ASPM globalmente — talvez tenhas outros dispositivos PCIe no anfitrião que beneficiam da poupança de energia — podes controlar o ASPM por ligação através do sysfs:
# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
É mais direcionado, mas menos fiável entre reinícios e atualizações do kernel.
Para a maioria das configurações de passthrough, a opção global pcie_aspm=off do kernel é mais simples e mais previsível.
Quando o ASPM não é o problema
Nem toda a variação de latência é culpa do ASPM.
Se os teus percentis de clat forem consistentemente altos (não só na cauda), o problema é mais provavelmente a sobrecarga de tradução do IOMMU, um desalinhamento NUMA ou uma discrepância de MPS.
O ASPM causa especificamente um padrão bimodal — a maioria das operações de IO é rápida, algumas são lentas — porque só afeta as operações de IO que calham chegar quando a ligação está num estado de baixo consumo.
Verifica primeiro o ASPM quando vires:
- latência p99 5x ou mais acima da média
- resultados de
fioinconsistentes entre execuções - latência que melhora sob carga sustentada mas piora com cargas em rajadas
Se a latência for consistentemente má, seja qual for o padrão de carga, procura noutro sítio. Vale a pena excluir o ASPM cedo porque é barato de testar. Mas não é a resposta para todas as ligações lentas, e persegui-lo quando os números não encaixam no padrão é uma tarde que não vais recuperar.
Referências
- Linux kernel PCI documentation — ASPM parameters — código-fonte do kernel que cobre
pcie_aspm=offe opções relacionadas - Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — tópico da comunidade sobre
disable_idle_d3para controladores NVMe da Samsung - Proxmox VE Wiki — PCI(e) Passthrough — documentação oficial sobre a configuração de passthrough