Co robi ASPM

PCIe Active State Power Management (ASPM) pozwala łączom PCIe przechodzić w stany niskiego poboru mocy, kiedy są bezczynne. Specyfikacja PCIe definiuje kilka stanów łącza:

L0 to stan pełnej aktywności. Łącze działa, oba końce są zasilone, dane mogą płynąć natychmiast.

L0s to lekki stan bezczynności. Łącze częściowo się wyłącza. Powrót do L0 trwa około 1–4µs, zależnie od sprzętu. Oba końce mogą wejść w L0s niezależnie od siebie.

L1 to głębszy stan bezczynności. Oba końce łącza wyłączają się razem. Powrót do L0 trwa dłużej: zwykle 2–32µs, czasem więcej. Dokładny czas powrotu zależy od urządzenia, generacji PCIe i platformy.

L1.1 i L1.2 to podstany L1 wprowadzone w PCIe 3.0. Zmniejszają pobór mocy jeszcze bardziej, wyłączając zegar odniesienia PLL. Powrót z L1.2 może trwać 32–100µs. Dla urządzenia pamięci masowej to nie jest błąd zaokrąglenia. To mniej więcej tyle, ile trwa sam odczyt, który chciałeś wykonać.

Im głębiej śpi łącze, tym dłużej czeka następna operacjastan łączaczas powrotu do L0: opóźnienie, które płaci operacja przychodząca terazL0pełna aktywność: dane płyną od razubrakL0slekka bezczynność, każdy koniec osobno1–4 µsL1głęboka bezczynność, oba końce razem2–32 µsL1.1 / L1.2podstany PCIe 3.0: zegar PLL wyłączony32–100 µsPaski w skali względem najgorszych 100 µs. Głębszy sen oszczędza więcej i więcej kosztuje przy budzeniu.
Paski to czasy powrotu, narysowane w skali względem najgorszego przypadku 100 µs. Głębszy sen oszczędza więcej energii i kosztuje więcej, kiedy ruch wraca.

Idea jest prosta. Jeśli łącze PCIe jest bezczynne przez kilka mikrosekund, przełącz je w stan niższego poboru mocy. Kiedy ruch wraca, obudź je. W międzyczasie zaoszczędź trochę energii.

Na laptopie albo komputerze stacjonarnym, który przez większość czasu nic nie robi, ASPM oszczędza realną energię. Kilka watów na łącze, sumujących się po wszystkich urządzeniach PCIe w systemie. Na serwerze z obciążeniami intensywnymi w operacje wejścia-wyjścia łącza rzadko są bezczynne na tyle długo, żeby ASPM włączył się w znaczący sposób.

Dlaczego przy passthrough sprawia problemy

Na gołym metalu system operacyjny i sterownik urządzenia wspólnie negocjują zarządzanie energią. Sterownik NVMe wie, kiedy łącze zaraz stanie się bezczynne i kiedy zaraz wyśle nowe operacje. Podsystem PCIe jądra koordynuje przejścia stanów łącza ze sterownikiem. Wszystko jest zsynchronizowane.

Przy passthrough VFIO ta koordynacja się rozpada.

Jądro hosta nadal kontroluje fizyczne łącze PCIe. Maszyna wirtualna gościa posiada urządzenie przez VFIO, ale nie kontroluje samego łącza. Podsystem PCIe hosta widzi, że łącze jest bezczynne, bo z perspektywy hosta nie używa go żaden sterownik po stronie hosta. Przełącza więc łącze w stan niskiego poboru mocy. Kiedy gość wysyła operację, urządzenie potrzebuje łącza z powrotem w L0. Czas powrotu pojawia się jako dodatkowe opóźnienie tej operacji.

Wynikiem jest niestabilne opóźnienie. Większość operacji kończy się z normalną szybkością. Niektóre trwają dużo dłużej, bo trafiają na łącze, które jest w L1 albo L1.2 i musi się najpierw obudzić. Widać to jako duży rozrzut percentyli clat (opóźnienia zakończenia). Średnia może wyglądać dobrze. p99 może być 5–10 razy wyższe.

Trudno to zauważyć, bo średnie liczby przepustowości mogą wyglądać dobrze. Problem widać dopiero, gdy patrzysz na opóźnienie w ogonie. Wiele benchmarków go nie eksponuje, jeśli nie poprosisz o wynik w percentylach.

ASPM nie rusza średniej i niszczy ogonASPM włączonypcie_aspm=offopóźnienie zakończenia (µs)03060901203× gorzej przy p99, i 7× powyżej własnej średniejASPM włączonypcie_aspm=offp50p90p99p99.9p99.99Średnia i p50 są identyczne w obu przebiegach: różni je tylko ogon.Liczby ilustrują wzorzec, nie są pomiarami konkretnego dysku.
Ten sam dysk z ASPM i bez. p50 jest identyczne, więc benchmark pokazujący tylko średnią nie zgłasza żadnego problemu; cała szkoda leży za p90, gdzie gromadzą się operacje, które trafiły na śpiące łącze.

Haczyk specyficzny dla VFIO

Jest tu haczyk, który wykracza poza podstawowy problem „host i gość walczą o stan łącza”.

Kiedy urządzenie jest przypisane do vfio-pci na hoście, jądro hosta wie, że urządzenie jest w trybie passthrough. Ale polityka ASPM PCIe jest stosowana na poziomie łącza, a nie urządzenia. Polityka ASPM hosta nadal dotyczy fizycznego łącza, bo host nadal jest właścicielem topologii PCIe.

VFIO nie przechwytuje ani nie nadpisuje przejść ASPM. Przekazuje przestrzeń BAR urządzenia i przerwania, ale zarządzanie energią łącza pozostaje pod kontrolą hosta. Gość nie ma żadnego mechanizmu, żeby powiedzieć hostowi „trzymaj to łącze w L0”.

Gość posiada urządzenie, host nadal posiada łącze, a między nimi nie ma kanałuVM gościasterownik NVMeposiada urządzenie, wysyła operacjeJądro hostapodsystem PCIepolityka ASPMvfio-pcipolityka stanów Dnie da się powiedzieć„trzymaj łącze w L0”fizyczne łącze PCIe: w L1, śpidecyduje host, nie gośćhost nie widzi, byużywał go sterownik,więc łącze zasypiagość wysyła operację,oczekując L0ta operacja czeka na obudzenie łącza: 2–32 µs, albo do 100 µs z L1.2VFIO przekazuje przestrzeń BAR i przerwania. Zarządzanie energią łącza nie wchodzi w ten układ.Większość operacji w ogóle nie trafia na śpiące łącze, dlatego rusza się tylko ogon.
Podział, który to powoduje: gość posiada urządzenie i wysyła operacje, host posiada łącze i decyduje, kiedy ono śpi, a nic nie łączy jednego z drugim.

Niektóre nowsze urządzenia i wersje jądra radzą sobie z tym lepiej niż inne. W związku z tym najbezpieczniejsze podejście to całkowite usunięcie ASPM z gry.

Jak go wyłączyć

Dodaj pcie_aspm=off do wiersza poleceń jądra hosta:

# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"

# Update GRUB and reboot
update-grub
reboot

To uniemożliwia hostowi wprowadzanie jakiegokolwiek łącza PCIe w stan niskiego poboru mocy. Działa globalnie. Każde urządzenie PCIe na hoście, nie tylko to przekazywane.

Sprawdź po restarcie:

# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"

Koszt energii

Wyłączenie ASPM zwiększa pobór mocy w bezczynności. Każde łącze PCIe, które inaczej byłoby w L1, zostaje w L0 i zużywa kilkaset miliwatów więcej. W systemie z dziesięcioma czy piętnastoma urządzeniami PCIe może to dać 2–5 watów w bezczynności.

Dla serwera w centrum danych 2–5 watów to błąd zaokrąglenia na rachunku za prąd. Dla domowego laboratorium to ułamek tego, co zużywają procesor i pamięć. Dla laptopa to ma znaczenie. Ale passthrough VFIO na baterii laptopa i tak byś nie robił.

Kompromis jest jasny. Kilka watów w bezczynności kontra nieprzewidywalne skoki opóźnień na przekazywanych urządzeniach. Na każdym systemie z passthrough ASPM powinien być wyłączony.

Problemy ze stanami zasilania urządzenia

ASPM kontroluje stan zasilania łącza PCIe. Urządzenia mają też własne zarządzanie energią: stany D PCIe (od D0 do D3).

Kiedy urządzenie jest w D3 (całkowicie wyłączone), śpi nie tylko łącze. Zatrzymało się samo urządzenie. Przy passthrough VFIO sterownik vfio-pci hosta może wprowadzić urządzenie w D3, kiedy maszyna wirtualna nie działa albo kiedy polityka zarządzania energią hosta uzna urządzenie za bezczynne.

Niektóre kontrolery NVMe nie obsługują czysto przejścia z D3 do D0. Nie wracają poprawnie, gość traci urządzenie, a jedynym wyjściem jest restart maszyny wirtualnej, a czasem restart hosta.

Samsung 990 EVO Plus to znany winowajca. Poprawką jest opcja modułu disable_idle_d3 dla vfio-pci:

# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1

To uniemożliwia vfio-pci wprowadzanie jakiegokolwiek przypisanego urządzenia w D3 w bezczynności. Podobnie jak pcie_aspm=off, to ustawienie globalne. Każde urządzenie przypisane do vfio-pci zostaje w D0. Przy passthrough zwykle właśnie tego chcesz, bo jedyną rzeczą kontrolującą stan zasilania urządzenia powinien być gość.

Opcja disable_idle_d3 jest niezależna od ASPM. ASPM kontroluje łącze. D3 kontroluje urządzenie. Oba mogą powodować problemy niezależnie od siebie. Dla czystej konfiguracji passthrough wyłącz oba.

Sterowanie ASPM dla pojedynczego urządzenia

Jeśli nie chcesz wyłączać ASPM globalnie, bo na przykład masz na hoście inne urządzenia PCIe, którym oszczędzanie energii służy, możesz sterować ASPM dla każdego łącza osobno przez sysfs:

# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm

# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm

To bardziej precyzyjne, ale mniej niezawodne przy restartach i aktualizacjach jądra. Dla większości konfiguracji passthrough globalna flaga jądra pcie_aspm=off jest prostsza i bardziej przewidywalna.

Kiedy problemem nie jest ASPM

Nie każde wahanie opóźnień to ASPM.

Jeśli twoje percentyle clat są stale wysokie (nie tylko w ogonie), problemem jest raczej narzut translacji IOMMU, złe dopasowanie NUMA albo niezgodność MPS. ASPM powoduje konkretnie wzorzec dwumodalny: większość operacji jest szybka, kilka jest wolnych, bo dotyczy to tylko operacji, które akurat trafią na łącze w stanie niskiego poboru mocy.

Sprawdź ASPM najpierw, kiedy widzisz:

  • opóźnienie p99 5 razy lub więcej wyższe od średniej
  • niespójne wyniki fio między przebiegami
  • opóźnienie, które poprawia się pod stałym obciążeniem, a pogarsza przy obciążeniach skokowych

Jeśli opóźnienie jest stale złe niezależnie od wzorca obciążenia, szukaj gdzie indziej. ASPM warto wykluczyć wcześnie, bo test jest tani. Nie jest jednak odpowiedzią na każde wolne łącze, a gonienie go, kiedy liczby nie pasują do wzorca, to popołudnie, którego nie odzyskasz.

Źródła