Co robi ASPM
PCIe Active State Power Management (ASPM) pozwala łączom PCIe przechodzić w stany niskiego poboru mocy, kiedy są bezczynne. Specyfikacja PCIe definiuje kilka stanów łącza:
L0 to stan pełnej aktywności. Łącze działa, oba końce są zasilone, dane mogą płynąć natychmiast.
L0s to lekki stan bezczynności. Łącze częściowo się wyłącza. Powrót do L0 trwa około 1–4µs, zależnie od sprzętu. Oba końce mogą wejść w L0s niezależnie od siebie.
L1 to głębszy stan bezczynności. Oba końce łącza wyłączają się razem. Powrót do L0 trwa dłużej: zwykle 2–32µs, czasem więcej. Dokładny czas powrotu zależy od urządzenia, generacji PCIe i platformy.
L1.1 i L1.2 to podstany L1 wprowadzone w PCIe 3.0. Zmniejszają pobór mocy jeszcze bardziej, wyłączając zegar odniesienia PLL. Powrót z L1.2 może trwać 32–100µs. Dla urządzenia pamięci masowej to nie jest błąd zaokrąglenia. To mniej więcej tyle, ile trwa sam odczyt, który chciałeś wykonać.
Idea jest prosta. Jeśli łącze PCIe jest bezczynne przez kilka mikrosekund, przełącz je w stan niższego poboru mocy. Kiedy ruch wraca, obudź je. W międzyczasie zaoszczędź trochę energii.
Na laptopie albo komputerze stacjonarnym, który przez większość czasu nic nie robi, ASPM oszczędza realną energię. Kilka watów na łącze, sumujących się po wszystkich urządzeniach PCIe w systemie. Na serwerze z obciążeniami intensywnymi w operacje wejścia-wyjścia łącza rzadko są bezczynne na tyle długo, żeby ASPM włączył się w znaczący sposób.
Dlaczego przy passthrough sprawia problemy
Na gołym metalu system operacyjny i sterownik urządzenia wspólnie negocjują zarządzanie energią. Sterownik NVMe wie, kiedy łącze zaraz stanie się bezczynne i kiedy zaraz wyśle nowe operacje. Podsystem PCIe jądra koordynuje przejścia stanów łącza ze sterownikiem. Wszystko jest zsynchronizowane.
Przy passthrough VFIO ta koordynacja się rozpada.
Jądro hosta nadal kontroluje fizyczne łącze PCIe. Maszyna wirtualna gościa posiada urządzenie przez VFIO, ale nie kontroluje samego łącza. Podsystem PCIe hosta widzi, że łącze jest bezczynne, bo z perspektywy hosta nie używa go żaden sterownik po stronie hosta. Przełącza więc łącze w stan niskiego poboru mocy. Kiedy gość wysyła operację, urządzenie potrzebuje łącza z powrotem w L0. Czas powrotu pojawia się jako dodatkowe opóźnienie tej operacji.
Wynikiem jest niestabilne opóźnienie.
Większość operacji kończy się z normalną szybkością.
Niektóre trwają dużo dłużej, bo trafiają na łącze, które jest w L1 albo L1.2 i musi się najpierw obudzić.
Widać to jako duży rozrzut percentyli clat (opóźnienia zakończenia).
Średnia może wyglądać dobrze.
p99 może być 5–10 razy wyższe.
Trudno to zauważyć, bo średnie liczby przepustowości mogą wyglądać dobrze. Problem widać dopiero, gdy patrzysz na opóźnienie w ogonie. Wiele benchmarków go nie eksponuje, jeśli nie poprosisz o wynik w percentylach.
Haczyk specyficzny dla VFIO
Jest tu haczyk, który wykracza poza podstawowy problem „host i gość walczą o stan łącza”.
Kiedy urządzenie jest przypisane do vfio-pci na hoście, jądro hosta wie, że urządzenie jest w trybie passthrough.
Ale polityka ASPM PCIe jest stosowana na poziomie łącza, a nie urządzenia.
Polityka ASPM hosta nadal dotyczy fizycznego łącza, bo host nadal jest właścicielem topologii PCIe.
VFIO nie przechwytuje ani nie nadpisuje przejść ASPM. Przekazuje przestrzeń BAR urządzenia i przerwania, ale zarządzanie energią łącza pozostaje pod kontrolą hosta. Gość nie ma żadnego mechanizmu, żeby powiedzieć hostowi „trzymaj to łącze w L0”.
Niektóre nowsze urządzenia i wersje jądra radzą sobie z tym lepiej niż inne. W związku z tym najbezpieczniejsze podejście to całkowite usunięcie ASPM z gry.
Jak go wyłączyć
Dodaj pcie_aspm=off do wiersza poleceń jądra hosta:
# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"
# Update GRUB and reboot
update-grub
reboot
To uniemożliwia hostowi wprowadzanie jakiegokolwiek łącza PCIe w stan niskiego poboru mocy. Działa globalnie. Każde urządzenie PCIe na hoście, nie tylko to przekazywane.
Sprawdź po restarcie:
# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"
Koszt energii
Wyłączenie ASPM zwiększa pobór mocy w bezczynności. Każde łącze PCIe, które inaczej byłoby w L1, zostaje w L0 i zużywa kilkaset miliwatów więcej. W systemie z dziesięcioma czy piętnastoma urządzeniami PCIe może to dać 2–5 watów w bezczynności.
Dla serwera w centrum danych 2–5 watów to błąd zaokrąglenia na rachunku za prąd. Dla domowego laboratorium to ułamek tego, co zużywają procesor i pamięć. Dla laptopa to ma znaczenie. Ale passthrough VFIO na baterii laptopa i tak byś nie robił.
Kompromis jest jasny. Kilka watów w bezczynności kontra nieprzewidywalne skoki opóźnień na przekazywanych urządzeniach. Na każdym systemie z passthrough ASPM powinien być wyłączony.
Problemy ze stanami zasilania urządzenia
ASPM kontroluje stan zasilania łącza PCIe. Urządzenia mają też własne zarządzanie energią: stany D PCIe (od D0 do D3).
Kiedy urządzenie jest w D3 (całkowicie wyłączone), śpi nie tylko łącze. Zatrzymało się samo urządzenie.
Przy passthrough VFIO sterownik vfio-pci hosta może wprowadzić urządzenie w D3, kiedy maszyna wirtualna nie działa albo kiedy polityka zarządzania energią hosta uzna urządzenie za bezczynne.
Niektóre kontrolery NVMe nie obsługują czysto przejścia z D3 do D0. Nie wracają poprawnie, gość traci urządzenie, a jedynym wyjściem jest restart maszyny wirtualnej, a czasem restart hosta.
Samsung 990 EVO Plus to znany winowajca.
Poprawką jest opcja modułu disable_idle_d3 dla vfio-pci:
# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1
To uniemożliwia vfio-pci wprowadzanie jakiegokolwiek przypisanego urządzenia w D3 w bezczynności.
Podobnie jak pcie_aspm=off, to ustawienie globalne. Każde urządzenie przypisane do vfio-pci zostaje w D0.
Przy passthrough zwykle właśnie tego chcesz, bo jedyną rzeczą kontrolującą stan zasilania urządzenia powinien być gość.
Opcja disable_idle_d3 jest niezależna od ASPM.
ASPM kontroluje łącze.
D3 kontroluje urządzenie.
Oba mogą powodować problemy niezależnie od siebie.
Dla czystej konfiguracji passthrough wyłącz oba.
Sterowanie ASPM dla pojedynczego urządzenia
Jeśli nie chcesz wyłączać ASPM globalnie, bo na przykład masz na hoście inne urządzenia PCIe, którym oszczędzanie energii służy, możesz sterować ASPM dla każdego łącza osobno przez sysfs:
# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
To bardziej precyzyjne, ale mniej niezawodne przy restartach i aktualizacjach jądra.
Dla większości konfiguracji passthrough globalna flaga jądra pcie_aspm=off jest prostsza i bardziej przewidywalna.
Kiedy problemem nie jest ASPM
Nie każde wahanie opóźnień to ASPM.
Jeśli twoje percentyle clat są stale wysokie (nie tylko w ogonie), problemem jest raczej narzut translacji IOMMU, złe dopasowanie NUMA albo niezgodność MPS.
ASPM powoduje konkretnie wzorzec dwumodalny: większość operacji jest szybka, kilka jest wolnych, bo dotyczy to tylko operacji, które akurat trafią na łącze w stanie niskiego poboru mocy.
Sprawdź ASPM najpierw, kiedy widzisz:
- opóźnienie p99 5 razy lub więcej wyższe od średniej
- niespójne wyniki
fiomiędzy przebiegami - opóźnienie, które poprawia się pod stałym obciążeniem, a pogarsza przy obciążeniach skokowych
Jeśli opóźnienie jest stale złe niezależnie od wzorca obciążenia, szukaj gdzie indziej. ASPM warto wykluczyć wcześnie, bo test jest tani. Nie jest jednak odpowiedzią na każde wolne łącze, a gonienie go, kiedy liczby nie pasują do wzorca, to popołudnie, którego nie odzyskasz.
Źródła
- Linux kernel PCI documentation — ASPM parameters — kod źródłowy jądra opisujący
pcie_aspm=offi powiązane opcje - Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — wątek społeczności o
disable_idle_d3dla kontrolerów NVMe Samsunga - Proxmox VE Wiki — PCI(e) Passthrough — oficjalna dokumentacja konfiguracji passthrough