Che cosa fa l’ASPM
Il PCIe Active State Power Management (ASPM) permette ai link PCIe di entrare in stati a basso consumo quando sono inattivi. La specifica PCIe definisce diversi stati del link:
L0 è lo stato pienamente attivo. Il link è su, entrambi i capi sono alimentati, i dati possono passare subito.
L0s è uno stato di inattività leggero. Il link si spegne in parte. Il ritorno a L0 richiede circa 1–4µs a seconda dell’hardware. I due capi possono entrare in L0s in modo indipendente.
L1 è uno stato di inattività più profondo. I due capi del link si spengono insieme. Il ritorno a L0 richiede di più: in genere 2–32µs, a volte di più. Il tempo di ritorno esatto dipende dal dispositivo, dalla generazione PCIe e dalla piattaforma.
L1.1 e L1.2 sono sottostati di L1 introdotti con PCIe 3.0. Riducono ulteriormente il consumo spegnendo il riferimento di clock del PLL. Il ritorno da L1.2 può richiedere 32–100µs. Per un dispositivo di storage non è un errore di arrotondamento. È più o meno quanto dura la lettura che stavi cercando di fare.
L’idea è semplice. Se un link PCIe resta inattivo per qualche microsecondo, lo si porta in uno stato a consumo più basso. Quando il traffico riprende, lo si sveglia. Nel frattempo si risparmia un po’ di energia.
Su un portatile o un desktop che passa la maggior parte del tempo a non fare niente, l’ASPM fa risparmiare energia vera. Qualche watt per link, che si somma su tutti i dispositivi PCIe del sistema. Su un server con carichi intensivi di IO, i link restano raramente inattivi abbastanza a lungo perché l’ASPM entri in gioco in modo significativo.
Perché crea problemi con il passthrough
Su bare metal, il sistema operativo e il driver del dispositivo negoziano insieme la gestione dell’energia. Il driver NVMe sa quando il link sta per restare inattivo e quando sta per inviare nuovo IO. Il sottosistema PCIe del kernel coordina le transizioni di stato del link con il driver. Tutto è sincronizzato.
Con il passthrough VFIO, questa coordinazione salta.
Il kernel dell’host controlla ancora il link PCIe fisico. La VM guest possiede il dispositivo tramite VFIO, ma non controlla il link in sé. Il sottosistema PCIe dell’host vede il link inattivo, perché dal punto di vista dell’host nessun driver lato host lo sta usando. Porta il link in uno stato a basso consumo. Quando il guest invia IO, il dispositivo ha bisogno che il link torni in L0. Il tempo di ritorno si presenta come latenza aggiunta su quell’operazione di IO.
Il risultato è una latenza incostante.
La maggior parte degli IO si completa a velocità normale.
Alcuni impiegano molto di più, perché trovano un link in L1 o L1.2 che prima deve svegliarsi.
Questo si vede come una forte dispersione nei percentili di clat (latenza di completamento).
La media può sembrare a posto.
Il p99 può essere 5–10 volte più alto.
È difficile accorgersene, perché i numeri del throughput medio possono sembrare a posto. Vedi il problema solo quando guardi la latenza di coda. Molti benchmark non la mettono in evidenza, a meno che tu non chieda l’output dei percentili.
La complicazione specifica di VFIO
C’è una complicazione che va oltre il problema di base di «host e guest che si contendono lo stato del link».
Quando un dispositivo è legato a vfio-pci sull’host, il kernel dell’host sa che il dispositivo è in modalità passthrough.
Ma la policy ASPM di PCIe si applica a livello di link, non di dispositivo.
La policy ASPM dell’host si applica ancora al link fisico, perché l’host possiede ancora la topologia PCIe.
VFIO non intercetta né sovrascrive le transizioni ASPM. Fa passare lo spazio BAR e gli interrupt del dispositivo, ma la gestione dell’energia del link resta sotto il controllo dell’host. Il guest non ha alcun modo di dire all’host «tieni questo link in L0».
Alcuni hardware e versioni del kernel più recenti lo gestiscono meglio di altri. Per questo l’approccio più sicuro è togliere del tutto l’ASPM dall’equazione.
Come disattivarlo
Aggiungi pcie_aspm=off alla riga di comando del kernel dell’host:
# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"
# Update GRUB and reboot
update-grub
reboot
Così l’host non mette nessun link PCIe in uno stato a basso consumo. Vale a livello globale. Ogni dispositivo PCIe dell’host, non solo quello in passthrough.
Verifica dopo il riavvio:
# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"
Il costo in energia
Disattivare l’ASPM aumenta il consumo a riposo. Ogni link PCIe che altrimenti sarebbe in L1 resta in L0, consumando qualche centinaio di milliwatt in più. Su un sistema con dieci o quindici dispositivi PCIe, possono diventare 2–5 watt a riposo.
Per un server in un datacenter, 2–5 watt sono un errore di arrotondamento sulla bolletta. Per un homelab, sono una frazione di quello che usano CPU e memoria. Per un portatile conta. Ma non faresti passthrough VFIO a batteria su un portatile.
Il compromesso è chiaro. Qualche watt di consumo a riposo contro picchi di latenza imprevedibili sui dispositivi in passthrough. Su qualsiasi sistema che fa passthrough, l’ASPM va spento.
Problemi di stato di alimentazione del dispositivo
L’ASPM controlla lo stato di alimentazione del link PCIe. Anche i dispositivi hanno la loro gestione dell’energia: i D-state PCIe (da D0 a D3).
Quando un dispositivo è in D3 (completamente spento), non è solo il link a dormire. Il dispositivo stesso si è fermato.
Con il passthrough VFIO, il driver vfio-pci dell’host può mettere il dispositivo in D3 quando la VM non è in esecuzione o quando la policy di gestione dell’energia dell’host decide che il dispositivo è inattivo.
Alcuni controller NVMe non gestiscono in modo pulito la transizione da D3 a D0. Non riescono a tornare su come si deve, il guest perde il dispositivo, e l’unica via d’uscita è riavviare la VM o a volte l’host.
Il Samsung 990 EVO Plus è un colpevole noto.
La soluzione è l’opzione di modulo disable_idle_d3 per vfio-pci:
# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1
Così vfio-pci non mette in D3 nessun dispositivo legato quando è inattivo.
Come pcie_aspm=off, è un’impostazione globale. Ogni dispositivo legato a vfio-pci resta in D0.
Di solito è quello che vuoi per il passthrough, dove il guest dovrebbe essere l’unico a controllare lo stato di alimentazione del dispositivo.
L’opzione disable_idle_d3 è separata dall’ASPM.
L’ASPM controlla il link.
D3 controlla il dispositivo.
Possono creare problemi in modo indipendente.
Per una configurazione di passthrough pulita, disattivali entrambi.
Controllo dell’ASPM per singolo dispositivo
Se non vuoi disattivare l’ASPM a livello globale, magari perché hai altri dispositivi PCIe sull’host che traggono vantaggio dal risparmio energetico, puoi controllare l’ASPM per singolo link tramite sysfs:
# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
È più mirato, ma meno affidabile tra un riavvio e l’altro e tra un aggiornamento del kernel e l’altro.
Per la maggior parte delle configurazioni di passthrough, il flag globale del kernel pcie_aspm=off è più semplice e più prevedibile.
Quando il problema non è l’ASPM
Non ogni problema di jitter di latenza è l’ASPM.
Se i tuoi percentili di clat sono costantemente alti (non solo la coda), il problema è più probabilmente l’overhead di traduzione dell’IOMMU, un disallineamento NUMA o un’MPS sbagliata.
L’ASPM causa specificamente un andamento bimodale (la maggior parte degli IO è veloce, alcuni sono lenti), perché tocca solo gli IO che arrivano mentre il link è in uno stato a basso consumo.
Controlla prima l’ASPM quando vedi:
- latenza p99 di 5 volte o più superiore alla media
- risultati di
fioincoerenti da un’esecuzione all’altra - latenza che migliora sotto carico costante ma peggiora con carichi a raffiche
Se la latenza è costantemente cattiva qualunque sia il tipo di carico, guarda altrove. Vale la pena escludere presto l’ASPM, perché testarlo costa poco. Non è però la risposta a ogni link lento, e inseguirlo quando i numeri non corrispondono all’andamento è un pomeriggio che non ti restituisce nessuno.
Riferimenti
- Linux kernel PCI documentation — ASPM parameters — sorgente del kernel che copre
pcie_aspm=offe le opzioni collegate - Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — discussione della community su
disable_idle_d3per i controller NVMe Samsung - Proxmox VE Wiki — PCI(e) Passthrough — documentazione ufficiale sulla configurazione del passthrough