Che cosa fa l’ASPM

Il PCIe Active State Power Management (ASPM) permette ai link PCIe di entrare in stati a basso consumo quando sono inattivi. La specifica PCIe definisce diversi stati del link:

L0 è lo stato pienamente attivo. Il link è su, entrambi i capi sono alimentati, i dati possono passare subito.

L0s è uno stato di inattività leggero. Il link si spegne in parte. Il ritorno a L0 richiede circa 1–4µs a seconda dell’hardware. I due capi possono entrare in L0s in modo indipendente.

L1 è uno stato di inattività più profondo. I due capi del link si spengono insieme. Il ritorno a L0 richiede di più: in genere 2–32µs, a volte di più. Il tempo di ritorno esatto dipende dal dispositivo, dalla generazione PCIe e dalla piattaforma.

L1.1 e L1.2 sono sottostati di L1 introdotti con PCIe 3.0. Riducono ulteriormente il consumo spegnendo il riferimento di clock del PLL. Il ritorno da L1.2 può richiedere 32–100µs. Per un dispositivo di storage non è un errore di arrotondamento. È più o meno quanto dura la lettura che stavi cercando di fare.

Più il link dorme a fondo, più aspetta il prossimo IOstato del linktempo per tornare a L0: la latenza che paga un IO se arriva adessoL0pienamente attivo: i dati passano subitonessunoL0sidle leggero, ogni estremo per conto suo1–4 µsL1idle profondo, entrambi gli estremi insieme2–32 µsL1.1 / L1.2sottostati PCIe 3.0: clock PLL spento32–100 µsBarre in scala sul caso peggiore di 100 µs. Un sonno più profondo risparmia più energia e costa di più al risveglio.
Le barre sono i tempi di ritorno, in scala rispetto al caso peggiore di 100 µs. Un sonno più profondo fa risparmiare più energia e costa di più quando il traffico riprende.

L’idea è semplice. Se un link PCIe resta inattivo per qualche microsecondo, lo si porta in uno stato a consumo più basso. Quando il traffico riprende, lo si sveglia. Nel frattempo si risparmia un po’ di energia.

Su un portatile o un desktop che passa la maggior parte del tempo a non fare niente, l’ASPM fa risparmiare energia vera. Qualche watt per link, che si somma su tutti i dispositivi PCIe del sistema. Su un server con carichi intensivi di IO, i link restano raramente inattivi abbastanza a lungo perché l’ASPM entri in gioco in modo significativo.

Perché crea problemi con il passthrough

Su bare metal, il sistema operativo e il driver del dispositivo negoziano insieme la gestione dell’energia. Il driver NVMe sa quando il link sta per restare inattivo e quando sta per inviare nuovo IO. Il sottosistema PCIe del kernel coordina le transizioni di stato del link con il driver. Tutto è sincronizzato.

Con il passthrough VFIO, questa coordinazione salta.

Il kernel dell’host controlla ancora il link PCIe fisico. La VM guest possiede il dispositivo tramite VFIO, ma non controlla il link in sé. Il sottosistema PCIe dell’host vede il link inattivo, perché dal punto di vista dell’host nessun driver lato host lo sta usando. Porta il link in uno stato a basso consumo. Quando il guest invia IO, il dispositivo ha bisogno che il link torni in L0. Il tempo di ritorno si presenta come latenza aggiunta su quell’operazione di IO.

Il risultato è una latenza incostante. La maggior parte degli IO si completa a velocità normale. Alcuni impiegano molto di più, perché trovano un link in L1 o L1.2 che prima deve svegliarsi. Questo si vede come una forte dispersione nei percentili di clat (latenza di completamento). La media può sembrare a posto. Il p99 può essere 5–10 volte più alto.

È difficile accorgersene, perché i numeri del throughput medio possono sembrare a posto. Vedi il problema solo quando guardi la latenza di coda. Molti benchmark non la mettono in evidenza, a meno che tu non chieda l’output dei percentili.

ASPM lascia intatta la media e rovina la codaASPM attivopcie_aspm=offlatenza di completamento (µs)03060901203× peggio a p99, e 7× la sua mediaASPM attivopcie_aspm=offp50p90p99p99.9p99.99Media e p50 sono identiche nelle due prove: le separa solo la coda.Cifre illustrative dell'andamento, non misure di un disco specifico.
Lo stesso disco con e senza ASPM. Il p50 è identico, quindi un benchmark che guarda solo la media non segnala alcun problema; il danno è tutto oltre il p90, dove si accumulano gli IO che hanno trovato un link addormentato.

La complicazione specifica di VFIO

C’è una complicazione che va oltre il problema di base di «host e guest che si contendono lo stato del link».

Quando un dispositivo è legato a vfio-pci sull’host, il kernel dell’host sa che il dispositivo è in modalità passthrough. Ma la policy ASPM di PCIe si applica a livello di link, non di dispositivo. La policy ASPM dell’host si applica ancora al link fisico, perché l’host possiede ancora la topologia PCIe.

VFIO non intercetta né sovrascrive le transizioni ASPM. Fa passare lo spazio BAR e gli interrupt del dispositivo, ma la gestione dell’energia del link resta sotto il controllo dell’host. Il guest non ha alcun modo di dire all’host «tieni questo link in L0».

Il guest possiede il dispositivo; l'host possiede ancora il link, e tra loro non c'è canaleVM guestdriver NVMepossiede il dispositivo, invia l'IOKernel dell'hostsottosistema PCIepolicy ASPMvfio-pcipolicy D-statenessun modo di dire«tieni questo link in L0»link PCIe fisico: in L1, addormentatolo decide l'host, non il guestl'host non vede driverche lo usino, quindi lasciadormire il linkil guest invia IO,aspettandosi L0questo IO aspetta che il link si svegli: 2–32 µs, o fino a 100 µs da L1.2VFIO passa lo spazio BAR e gli interrupt. La gestione energetica del link non fa parte del patto.Quasi tutti gli IO non trovano il link addormentato, ed è per questo che si muove solo la coda.
La divisione che lo causa: il guest possiede il dispositivo e invia l’IO, l’host possiede il link e decide quando dorme, e niente collega le due cose.

Alcuni hardware e versioni del kernel più recenti lo gestiscono meglio di altri. Per questo l’approccio più sicuro è togliere del tutto l’ASPM dall’equazione.

Come disattivarlo

Aggiungi pcie_aspm=off alla riga di comando del kernel dell’host:

# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"

# Update GRUB and reboot
update-grub
reboot

Così l’host non mette nessun link PCIe in uno stato a basso consumo. Vale a livello globale. Ogni dispositivo PCIe dell’host, non solo quello in passthrough.

Verifica dopo il riavvio:

# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"

Il costo in energia

Disattivare l’ASPM aumenta il consumo a riposo. Ogni link PCIe che altrimenti sarebbe in L1 resta in L0, consumando qualche centinaio di milliwatt in più. Su un sistema con dieci o quindici dispositivi PCIe, possono diventare 2–5 watt a riposo.

Per un server in un datacenter, 2–5 watt sono un errore di arrotondamento sulla bolletta. Per un homelab, sono una frazione di quello che usano CPU e memoria. Per un portatile conta. Ma non faresti passthrough VFIO a batteria su un portatile.

Il compromesso è chiaro. Qualche watt di consumo a riposo contro picchi di latenza imprevedibili sui dispositivi in passthrough. Su qualsiasi sistema che fa passthrough, l’ASPM va spento.

Problemi di stato di alimentazione del dispositivo

L’ASPM controlla lo stato di alimentazione del link PCIe. Anche i dispositivi hanno la loro gestione dell’energia: i D-state PCIe (da D0 a D3).

Quando un dispositivo è in D3 (completamente spento), non è solo il link a dormire. Il dispositivo stesso si è fermato. Con il passthrough VFIO, il driver vfio-pci dell’host può mettere il dispositivo in D3 quando la VM non è in esecuzione o quando la policy di gestione dell’energia dell’host decide che il dispositivo è inattivo.

Alcuni controller NVMe non gestiscono in modo pulito la transizione da D3 a D0. Non riescono a tornare su come si deve, il guest perde il dispositivo, e l’unica via d’uscita è riavviare la VM o a volte l’host.

Il Samsung 990 EVO Plus è un colpevole noto. La soluzione è l’opzione di modulo disable_idle_d3 per vfio-pci:

# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1

Così vfio-pci non mette in D3 nessun dispositivo legato quando è inattivo. Come pcie_aspm=off, è un’impostazione globale. Ogni dispositivo legato a vfio-pci resta in D0. Di solito è quello che vuoi per il passthrough, dove il guest dovrebbe essere l’unico a controllare lo stato di alimentazione del dispositivo.

L’opzione disable_idle_d3 è separata dall’ASPM. L’ASPM controlla il link. D3 controlla il dispositivo. Possono creare problemi in modo indipendente. Per una configurazione di passthrough pulita, disattivali entrambi.

Controllo dell’ASPM per singolo dispositivo

Se non vuoi disattivare l’ASPM a livello globale, magari perché hai altri dispositivi PCIe sull’host che traggono vantaggio dal risparmio energetico, puoi controllare l’ASPM per singolo link tramite sysfs:

# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm

# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm

È più mirato, ma meno affidabile tra un riavvio e l’altro e tra un aggiornamento del kernel e l’altro. Per la maggior parte delle configurazioni di passthrough, il flag globale del kernel pcie_aspm=off è più semplice e più prevedibile.

Quando il problema non è l’ASPM

Non ogni problema di jitter di latenza è l’ASPM.

Se i tuoi percentili di clat sono costantemente alti (non solo la coda), il problema è più probabilmente l’overhead di traduzione dell’IOMMU, un disallineamento NUMA o un’MPS sbagliata. L’ASPM causa specificamente un andamento bimodale (la maggior parte degli IO è veloce, alcuni sono lenti), perché tocca solo gli IO che arrivano mentre il link è in uno stato a basso consumo.

Controlla prima l’ASPM quando vedi:

  • latenza p99 di 5 volte o più superiore alla media
  • risultati di fio incoerenti da un’esecuzione all’altra
  • latenza che migliora sotto carico costante ma peggiora con carichi a raffiche

Se la latenza è costantemente cattiva qualunque sia il tipo di carico, guarda altrove. Vale la pena escludere presto l’ASPM, perché testarlo costa poco. Non è però la risposta a ogni link lento, e inseguirlo quando i numeri non corrispondono all’andamento è un pomeriggio che non ti restituisce nessuno.

Riferimenti