Problem z kopiowanymi liniami startowymi

Poszukaj tuningu Proxmoxa, a znajdziesz jedną długą linię GRUB_CMDLINE_LINUX, podaną jako całość, bez słowa o tym, która flaga dotyczy czego.

To ma większe znaczenie, niż się wydaje. Hiperwizor i gość rozwiązują przeciwne problemy.

Host chce deterministycznego dostępu do prawdziwego sprzętu: zachowania IOMMU, stanów łączy PCIe, fizycznych stanów bezczynności. Gość chce przestać udawać, że w ogóle ma sprzęt: jego zegary są przybliżeniami, jego stany bezczynności są fikcją, a jego zastoje to zwykle czyjś planista. W związku z tym ta sama flaga może być słuszna po jednej stronie, bezcelowa po drugiej, a czasem szkodliwa.

Poniżej jest to, gdzie każda naprawdę należy.

Gdzie należy każda flaga startowa jądraTylko hosttu mieszka prawdziwy sprzętiommu=ptamd_iommu=pgtbl_v2pcie_acs_override=…pcie_aspm=offpci=pcie_bus_perf→ pcie_bus_safe przy USB4processor.max_cstate=1+ intel_idle.max_cstate na Inteluamd_pstate=disableustaw też governorGość nie ma łączy PCIe,C-stanów ani cpufreq.Tylko gośćprzestań udawać sprzętcpuidle.off=1bezczynność gościa to fikcjanmi_watchdog=0wywłaszczony vCPU go wyzwalasoftlockup_panic=0zastój to wina hostaZostaw kvm-clock w spokoju.Nie wymuszaj tsc ani hpet:liczniki nie są twoje.Na hoście te trzy znaczącoś zupełnie innego,a dwie z nich kosztująnaprawdę.Oba: różne powodyta sama flaga, osobna decyzjamitigations=offhost: wycieki gość→hostgość: izolacja procesówdefault_hugepagesz + hugepageshost: pamięć gościagość: pamięć aplikacjiwybierz jedną warstwęwatchdog_thresh / nowatchdoghost: przyjęty szumgość: nigdy wiarygodny„Oba” nie znaczy, żeustawiasz to w obu miejscach.Znaczy, że decyzję trzebapodjąć dwa razy.Żadna strona: te nic nie robiąamd_iommu=onnieprawidłowa opcja; jądro loguje „Unknown option - 'on'” i jedzie dalejconsoleblank=0to już domyślne w jądrzeJeśli skopiowana linia startowa zawiera którąś z nich, nikt jej nie sprawdził z /proc/cmdline,a to najtańsze dostępne sprawdzenie i to, które łapie też pomyłkę ze złym programemrozruchowym.
Flagi krążące w sieci, posortowane. Dwie z popularnych nie robią nic po żadnej stronie, a wiersz watchdoga to prawdziwa kwestia oceny, a nie reguła.

Najpierw: czy w ogóle edytujesz właściwy plik?

Instalacja Proxmoxa z rootem na ZFS startuje przez systemd-boot, gdzie /etc/default/grub nikt nie czyta. Edytujesz go, restartujesz i nie dostajesz ani zmiany, ani błędu. To frustrująca godzina.

proxmox-boot-tool status          # tells you which bootloader is in use
# systemd-boot: edit /etc/kernel/cmdline, then
proxmox-boot-tool refresh

# GRUB: edit /etc/default/grub, then
update-grub

Tak czy inaczej, sprawdzaj, a nie zakładaj:

cat /proc/cmdline

A po stronie GRUB-a używaj GRUB_CMDLINE_LINUX_DEFAULT, a nie GRUB_CMDLINE_LINUX. Ta druga dotyczy każdego wpisu startowego, łącznie z trybem ratunkowym, a tryb ratunkowy to dokładnie ten moment, w którym chcesz standardowego zachowania, a nie wyłączonych zabezpieczeń i przypiętych C-stanów.

Linia hosta

IOMMU i passthrough

iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction

iommu=pt przełącza IOMMU w tryb passthrough: urządzenia przypisane do maszyn wirtualnych są tłumaczone, urządzenia natywne hosta omijają tłumaczenie. To prawdziwa opcja, obsługiwana w arch/x86/kernel/pci-dma.c, który wywołuje iommu_set_default_passthrough(true). Jądro dokumentuje ją jako równoważną iommu.passthrough=1.

amd_iommu=on nie istnieje. To najczęściej kopiowany nieistniejący parametr w poradnikach do Proxmoxa. Funkcja jądra parse_amd_iommu_options() przyjmuje fullflush, force_enable, off, force_isolation, pgtbl_v1, pgtbl_v2, irtcachedis, nohugepages i v2_pgsizes_only. Wszystko inne ląduje tutaj:

pr_notice("Unknown option - '%s'\n", str);

AMD-Vi jest włączone domyślnie, gdy firmware je ogłasza. Sprawdź własny log, a przekonasz się, że parametr nigdy nie robił tego, co mu przypisywano:

dmesg | grep -i "AMD-Vi\|Unknown option"

amd_iommu=pgtbl_v2 jest poprawny: wybiera format tablic stron DMA w wersji v2, który dzieli strukturę tablic stron z procesorem zamiast używać własnej struktury AMD. Dwie rzeczy warto wiedzieć. Dokumentacja ogranicza go do DMA-API, czyli do własnych domen urządzeń hosta, a nie do domen VFIO używanych przy passthrough. Poza tym zawodzi bezpiecznie, z linią w logu, której warto poszukać:

if (amd_iommu_pgtable == PD_MODE_V2) {
    if (!amd_iommu_v2_pgtbl_supported()) {
        pr_warn("Cannot enable v2 page table for DMA-API. Fallback to v1.\n");
        amd_iommu_pgtable = PD_MODE_V1;
    }
}

Warto go więc zmierzyć na węźle z dużym IO po stronie hosta i warto sprawdzić, czy naprawdę go dostałeś.

pcie_acs_override=downstream,multifunction to łatka Proxmoxa spoza głównego drzewa. Dzieli grupy IOMMU, deklarując izolację, której sprzęt nie ogłasza, i to dzięki niej passthrough działa na płytach konsumenckich. To jest też dokładnie mówienie jądru nieprawdy o topologii. W porządku na maszynie, której gościom ufasz tak samo jak hostowi. W innym wypadku nie. Więcej o tym, dlaczego, jest w artykule o podatku IOMMU.

Opóźnienia i jitter

pcie_aspm=off processor.max_cstate=1 amd_pstate=disable

pcie_aspm=off trzyma łącza PCIe z dala od stanów niskiego poboru, więc nadchodzące IO nigdy nie czeka, aż łącze się obudzi. Kosztuje kilka watów na łącze i usuwa ogon opóźnień, który trudno zdiagnozować. Zobacz PCIe ASPM i passthrough.

processor.max_cstate=1 ogranicza bezczynność ACPI do C1. Zwróć uwagę na sterownik: to pokrętło processor/acpi_idle, więc na Intelu potrzebujesz dodatkowo intel_idle.max_cstate=1, bo intel_idle ma pierwszeństwo. Na AMD to jest właściwa opcja.

Jest prawdziwy kontrargument. Głęboki sen bezczynnych rdzeni daje układowi zapas termiczny i energetyczny na podkręcenie tych zajętych, więc przypięcie wszystkiego do C1 może obniżyć szczytową częstotliwość jednego wątku, a jednocześnie podnieść pobór w spoczynku. Na hoście wrażliwym na opóźnienia ta wymiana zwykle się opłaca. Na hoście goniącym przepustowość może się nie opłacać. Zmierz to, zamiast dziedziczyć.

amd_pstate=disable cofa do acpi-cpufreq. Zanim po to sięgniesz, warto znać udokumentowane alternatywy: passive (sterownik żąda poziomu wydajności), active (sterownik EPP, z ukierunkowaniem na wydajność albo oszczędność) i guided. active z ukierunkowaniem na wydajność albo passive z governorem performance często dają te same opóźnienia, zachowując przy tym dokładniejszą kontrolę CPPC. A jeśli już go wyłączasz, ustaw governor świadomie: wylądowanie na acpi-cpufreq ze schedutil może być krokiem wstecz.

Pamięć

default_hugepagesz=1G hugepages=64

default_hugepagesz=1G sam z siebie niczego nie rezerwuje. Jądro dokumentuje go jako ustawiający „the size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs”, czyli jednostkę, a nie przydział. Przydział pochodzi z hugepages=, udokumentowanego jako „Number of HugeTLB pages to allocate at boot”.

Dla stron 1 GiB ma to znacznie większe znaczenie niż dla 2 MiB, bo ciągłe obszary 1 GiB są praktycznie nie do zdobycia, gdy host już chwilę działa i pamięć się pofragmentowała. Start systemu to twoja jedyna pewna szansa.

Potem gość musi się zgłosić (hugepages: 1024 w konfiguracji VM). Zarezerwowane strony, z których nic nie korzysta, to po prostu pamięć, której nie odzyskasz, a na maszynach, które ich używają, tracisz ballooning i KSM.

Wymiana na bezpieczeństwie

mitigations=off

To nie jest jeden przełącznik. Jądro rozwija go do listy, a na hiperwizorze liczą się te pozycje:

l1tf=off   mds=off   mmio_stale_data=off   kvm.nx_huge_pages=off
gather_data_sampling=off   retbleed=off   spec_rstack_overflow=off
nospectre_v2   nopti   indirect_target_selection=off

Własne podsumowanie jądra brzmi „improves system performance, but it may also expose users to several CPU vulnerabilities”. L1TF, MDS i MMIO stale data to konkretnie ścieżki wycieku z gościa do hosta i z gościa do gościa, a kvm.nx_huge_pages to zabezpieczenie przed iTLB multihit w samym KVM.

Do obrony na maszynie jednodzierżawnej, gdzie każdy gość jest tak samo zaufany jak host. Nie do obrony tam, gdzie goście są niezaufani albo należą do różnych dzierżawców. I zauważ, że to się sumuje z pcie_acs_override: dwie niezależne gwarancje izolacji usunięte w jednej linii. Warto to robić celowo, a nie w spadku.

PCIe przez USB4 zmienia dwie z nich

Jeśli twoje urządzenia PCIe przychodzą przez USB4 albo Thunderbolt, na przykład zewnętrzny GPU albo obudowa NVMe, dwie z powyższych odpowiedzi się zmieniają.

Strojenie MPS przestaje być darmowe

Na stałych slotach pci=pcie_bus_perf to mała, darmowa wygrana. Jądro opisuje go tak:

Set device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.

Haczyk polega na tym, że konfiguruje mosty przy starcie, na podstawie topologii obecnej przy starcie. Przez USB4 podłączanie na gorąco to normalny przypadek, a urządzenie dodane później może obsługiwać mniejszy MPS niż ten, na który most już ustawiono.

Jądro mówi to głośno, reklamując inną politykę:

pcie_bus_peer2peer — Set every device’s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.

Tylko jedna polityka daje tę gwarancję i jest to ta, która przypina wszystko do 128 bajtów, czyli dokładnie to, od czego strojenie MaxPayloadSize chce uciec. Dla topologii z podłączaniem na gorąco bezpieczniejszym punktem wyjścia jest pcie_bus_safe (największa wartość obsługiwana przez wszystkie urządzenia pod root complexem) albo po prostu zostawienie tune_off. Przełącznik samego tunelu i tak ogranicza osiągalny MPS, więc ten sufit nigdy nie był twój do podnoszenia.

Dlaczego hot-plug zmienia odpowiedź o politykę MPSPrzy starcie pcie_bus_perf konfiguruje most według tego, co widzimost: MPS 512urządzenie A · 512urządzenie B · 512obecne przy starciedodane na gorąco · tylko 256niezgodnośćnic nie jest renegocjowaneW obudowie to się nie zdarza: topologia przy starcie jest topologią na zawsze. Na porcie USB4to normalny przypadek.Cztery polityki i ta, którą jądro uznaje za bezpieczną dla hot-plugpcie_bus_tune_offzostaw wartości z BIOS-upcie_bus_safenajwiększa wartość obsługiwana przez wszystko pod root complexempcie_bus_perfnajwiększa dozwolona przez magistralę nadrzędną, per urządzenie, plus MRRSpcie_bus_peer2peer128 B wszędzie:„guarantees that hot-added devices will work”Tylko jedna polityka daje tę gwarancję i to ta, która wyrzuca rozmiar ładunku, którychciałeś stroić.
Most jest konfigurowany raz, przy starcie, na podstawie urządzeń obecnych w tamtej chwili. Wszystko później musi żyć z tą decyzją, co jest w porządku w obudowie i nie w porządku na porcie.

Kumulacja ryzyka robi się poważna

Zewnętrzne PCIe oznacza, że ktoś może podłączyć do twojego hiperwizora urządzenie zdolne do DMA. Dokumentacja Thunderbolta w jądrze mówi o tym wprost:

…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.

Obroną jest IOMMU. Teraz policz, co robi z nim linia hosta. iommu=pt daje urządzeniom hosta nietłumaczone domeny tożsamościowe, pcie_acs_override deklaruje izolację, której nie ma, a mitigations=off wyłącza zabezpieczenia izolujące gości. Każda z osobna jest do obrony. Razem, na maszynie z fizycznie dostępnym portem USB4, kumulują się.

Sprawdź, na czym stoisz:

cat /sys/bus/thunderbolt/devices/domain*/security   # none | user | secure | dponly | usbonly

none obok takiej linii startowej to otwarte drzwi. Jeśli do portów mają dostęp ludzie, którym nie dałbyś roota, iommu=pt to pierwsza rzecz, którą bym przemyślał.

Linia gościa

To są te, które należą do wnętrza VM, a trzy z nich znaczą tu coś innego niż na hoście.

nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1

cpuidle.off=1 wyłącza podsystem cpuidle. W gościu to prawie nic nie kosztuje: stany bezczynności gościa są emulacją i nie ma fizycznego rdzenia do uśpienia, więc cały ten mechanizm daje ci tylko opóźnienie wybudzenia. Na hoście ta sama flaga to prawdziwa wymiana poboru mocy i zapasu na boost, a do tego pokrywa się z processor.max_cstate=1. Tylko po stronie gościa.

softlockup_panic=0 sprawia, że soft lockup nie wywołuje paniki gościa. W VM to naprawdę chroni, bo soft lockup to tam często nie wina gościa. Wywłaszczony vCPU wygląda dokładnie jak zadanie, które odmówiło oddania procesora. To ten sam mechanizm, który stoi za tym, dlaczego zegarowi VM nie można ufać. Sprawdź jednak, czy tego potrzebujesz. W większości kompilacji domyślnie jest 0.

sysctl kernel.softlockup_panic

nmi_watchdog=0 jest ciekawy i zasługuje na więcej niż regułę.

Pytanie o watchdoga

Są dwa detektory, które dzielą jeden próg:

watchdog_thresh= — Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.

Hard lockup (nmi_watchdog) odpala, gdy procesor w ogóle przestaje przyjmować przerwania zegarowe. Soft lockup odpala, gdy zadanie zajmuje procesor dwa razy dłużej bez oddania go planiście.

W gościu wyłączenie detektora hard lockup jest słuszne. Wywłaszczony vCPU może go wyzwolić bez żadnej własnej winy, a praca detektora na licznikach wydajności powoduje wyjścia z VM dla sygnału, który był niczym innym jak szumem.

Na hoście to kwestia oceny i zależy od tego, jaki szum naprawdę gonisz. Nadsubskrypcja głodzi gości, a nie jądro hosta: fizyczne procesory hosta dalej przyjmują przerwania, niezależnie od tego, jak ciasno upchnięto VM. Szum w logach, który rzuca zajęty hiperwizor, to więc w przytłaczającej większości komunikaty soft lockup i RCU stall, a nie raporty NMI hard lockup. Jeśli to jest ten szum, nmi_watchdog=0 go nie wyciszy, a softlockup_panic=0 też nie: on zatrzymuje panikę, nie komunikaty.

Celowane pokrętła to:

watchdog_thresh=30        # hard 30s, soft 60s — scale to taste
nowatchdog                # honest single flag: disables both detectors
sysctl -w kernel.soft_watchdog=0   # runtime, keeps hard-lockup detection

Jest osobny i lepszy powód, żeby wyłączyć detektor hard lockup na zajętym hoście, i nie ma on nic wspólnego z szumem: zużywa sprzętowy licznik wydajności na każdy procesor. Dlatego parametr przyjmuje rNNN do skonfigurowania surowego zdarzenia perf. Jeśli profilujesz przez PMU albo prowadzisz celowo nadsubskrybowaną maszynę, na której już przyjąłeś zmienność opóźnień jako cenę gęstości, oddanie tego licznika to rozsądna wymiana, a drobne zastoje, na które świadomie się zgodziłeś, nie są incydentami.

Po prostu podejmij tę decyzję z tego powodu, a nie z powodu szumu, bo tylko jeden z nich jest prawdziwy.

consoleblank=0 nic nie robi. Jądro dokumentuje limit wygaszania konsoli jako „A value of 0 disables the blank timer. Defaults to 0.”. Już jest wyłączony. Nieszkodliwy, ale to drugi parametr w powszechnym obiegu, który nie ma żadnego efektu, a jego obecność sprawia, że skopiowana linia wygląda na przemyślaną.

Ściąga: gdzie należy każda flaga

FlagaHostGośćUwagi
iommu=pttaknieIOMMU należy do hosta. W gościu ma sens tylko przy zagnieżdżonym passthrough z vIOMMU
amd_iommu=pgtbl_v2taknieDomeny DMA-API hosta. Sprawdź, czy dostałeś v2, a nie zapasowe v1
amd_iommu=on——Nieprawidłowa opcja. Jądro loguje „Unknown option - ‘on’”
pcie_acs_override=…taknieŁatka Proxmoxa, tylko topologia hosta. Osłabia izolację z założenia
pcie_aspm=offtaknieW gościu nie ma prawdziwych łączy PCIe; fizyczne łącze należy do hosta
pci=pcie_bus_perftakniepewnieHost ustawia MPS na kablu. Jeśli urządzenia przychodzą przez USB4, użyj pcie_bus_safe
processor.max_cstate=1takniePrawdziwe stany bezczynności są hosta. Na Intelu dodaj intel_idle.max_cstate=1
amd_pstate=disabletaknieGoście nie sterują częstotliwością procesora
cpuidle.off=1ostrożnietakDarmowe w gościu. Na hoście kosztuje zapas na boost i pokrywa się z max_cstate
nmi_watchdog=0ocenatakSłuszne w gościu. Na hoście rób to dla licznika PMU, nie dla szumu
softlockup_panic=0nietakZastoje gościa to często planista hosta. Zwykle i tak domyślne
consoleblank=0——Bez efektu. Domyślna wartość jądra to już 0
mitigations=offobaobaPoprawne po obu stronach, inny rachunek ryzyka: wycieki z gościa do hosta na hoście, izolacja procesów w gościu
default_hugepagesz + hugepages=obaobaHost: zaplecze pamięci VM. Gość: obciążenie w VM, które ich chce. Różne cele, te same flagi
watchdog_thresh= / nowatchdogobaobaHost: wyciszenie zastojów, które przyjąłeś. Gość: detektor nigdy nie był wiarygodny

Trzy naprawdę należą do obu stron i warto powiedzieć dokładnie, że „oba” nie znaczy „z tego samego powodu”:

  • mitigations=off na hoście dotyczy wycieków z gościa do hosta i z gościa do gościa. W gościu dotyczy izolacji procesów wewnątrz tej VM. Możesz rozsądnie wyłączyć je w jednym miejscu, a w drugim nie.
  • Hugepages na hoście są zapleczem pamięci gościa; w gościu są zapleczem aplikacji. Rezerwowanie ich dwa razy dla tej samej pamięci to marnotrawstwo, więc zdecyduj, która warstwa ich chce.
  • Strojenie watchdoga to na hoście decyzja o szumie, a w gościu decyzja o poprawności.

Wszystko inne jest po jednej albo po drugiej stronie, a dwie z nich w ogóle nie są wyborem.

Dwie linie

Host, na maszynie AMD z passthrough, jeden dzierżawca:

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off"

Zamień pci=pcie_bus_perf na pcie_bus_safe, jeśli cokolwiek przychodzi przez USB4. Usuń mitigations=off, jeśli nie wszyscy goście są twoi. Na Intelu intel_iommu=on zastępuje flagi AMD, a intel_idle.max_cstate=1 dołącza do limitu C-stanów.

Gość z Linuksem:

GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1"

I zostaw w gościu kvm-clock w spokoju: nie wymuszaj tsc ani hpet. Parawirtualny zegar istnieje właśnie dlatego, że liczniki nie są twoje. To cały argument artykułu o czasie w maszynach wirtualnych.

Co usunąć

Jeśli odziedziczyłeś linię z posta na forum, te dwie rzeczy usuń jako pierwsze, bo nic cię nie kosztują, a dowodzą, że linii nigdy nie przetestowano:

  • amd_iommu=on: nieprawidłowa opcja; jądro loguje „Unknown option - ‘on’” i jedzie dalej
  • consoleblank=0: już jest domyślne

A resztę sprawdź po restarcie z /proc/cmdline. Każda flaga w tej linii powinna być taka, dla której potrafisz podać powód.

Jeśli nie potrafisz powiedzieć, co robi flaga, to nie jest tuning. To przesąd. I ktoś, kto ci ufa, skopiuje go do następnej instalacji.

Źródła