Czym jest MPS
Urządzenia PCIe przesyłają dane w pakietach zwanych Transaction Layer Packets (TLP). Każdy TLP ma nagłówek i ładunek. Maksymalny rozmiar tego ładunku to MaxPayloadSize (MPS).
MPS jest negocjowany między urządzeniem a jego mostkiem nadrzędnym podczas trenowania łącza. Wynegocjowana wartość to mniejsza z tego, co obsługuje urządzenie, i tego, na co pozwala mostek. Każdy mostek i przełącznik na ścieżce między urządzeniem a root complex ma własne możliwości MPS. Ostateczny MPS każdego urządzenia wyznacza najwęższe miejsce w łańcuchu.
Typowe wartości MPS to 128, 256 i 512 bajtów. Niektóre urządzenia obsługują 1024, a nawet 4096 bajtów, ale w praktyce dla kontrolerów NVMe i kart sieciowych typowe jest 256 albo 512. Karty graficzne często obsługują 256 bajtów.
Dlaczego to ma znaczenie
Większy MPS oznacza mniej pakietów dla tej samej ilości danych. Operacja 4KB przesłana przy MPS 128 wymaga 32 TLP. Ten sam transfer przy MPS 512 wymaga 8 TLP.
Każdy TLP niesie narzut protokołu: nagłówek, CRC, ramkowanie. Mniej TLP oznacza mniejszy narzut protokołu na przesłany bajt. Przy dużej przepustowości ta różnica jest mierzalna. Nie dramatyczna. Ale realna. I to ten sam narzut, płacony przy każdym pakiecie.
MPS wpływa też na to, jak dobrze wykorzystywane jest łącze PCIe. Mniejsze ładunki oznaczają, że łącze spędza więcej czasu na nagłówkach w stosunku do danych. Większe ładunki przesuwają tę proporcję w stronę użytecznych danych.
Wpływ na opóźnienie jest mniejszy niż na przepustowość. Pojedynczy odczyt 4KB przy MPS 128 i 512 nie pokaże różnicy opóźnień wartej mierzenia, bo TLP są potokowane. Ale wyciśnij dużo IOPS przy wielu transferach w locie, a mniejszy narzut przy większym MPS zacznie się sumować.
Problem przy passthrough
Na gołym metalu BIOS ustawia MPS podczas POST na podstawie topologii PCIe. Nowoczesny BIOS serwerowy zwykle ustawia MPS na maksimum, które obsługuje topologia, najczęściej 256 albo 512 bajtów.
Pod QEMU root complex wirtualnego chipsetu Q35 ma własne możliwości MPS.
Domyślnie wystawia niski MPS.
Domyślna polityka MPS jądra Linux (pcie_bus_default) ustawia MPS każdego urządzenia tak, by pasował do jego mostka nadrzędnego, co w wirtualnej topologii oznacza wartość domyślną root complex QEMU. Często 128 bajtów.
W efekcie urządzenie, które potrafi obsłużyć ładunki 512-bajtowe, działa przy 128, bo sufit ustawił wirtualny root complex.
Jak to naprawić po stronie hosta
Każ jądru ustawiać MPS na maksimum, które obsługuje magistrala nadrzędna każdego urządzenia:
# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub
pci=pcie_bus_perf
To ustawia MPS każdego urządzenia na największą wartość, na jaką pozwala jego magistrala nadrzędna. Odpowiednio ustawia też MRRS (Max Read Request Size). Kod źródłowy jądra mówi, że dba o to, by MPS urządzenia nie był większy niż MPS jego rodzica. To utrzymuje spójność łańcucha, a jednocześnie daje najlepsze rozmiary transferów.
Po restarcie sprawdź nowy MPS:
# Check MPS on a specific device
lspci -vv -s XX:00.0 | grep -i "MaxPayload"
Powinieneś zobaczyć MaxPayload 256 bytes albo MaxPayload 512 bytes zamiast domyślnych 128.
Pozostałe opcje jądra
Jądro oferuje pięć polityk MPS, każdą ustawianą parametrem startowym pci=:
pcie_bus_tune_off: w ogóle nie ruszaj MPS.
Użyj tego, co ustawił BIOS.
Na gołym metalu z dobrym BIOS-em często to wystarcza.
Pod QEMU BIOS-em jest OVMF albo SeaBIOS, które mogą nie optymalizować MPS.
pcie_bus_default: domyślna wartość jądra.
Ustawia MPS każdego urządzenia tak, by pasował do jego mostka nadrzędnego.
Ostrożna i bezpieczna, ale nie maksymalizuje wydajności.
pcie_bus_safe: ustawia MPS na największą wartość obsługiwaną przez wszystkie urządzenia w systemie.
Przydatna w zamkniętych systemach, w których znasz wszystkie urządzenia i nic nie będzie podłączane na gorąco.
Nieco bardziej agresywna niż domyślna.
pcie_bus_perf: ustawia MPS dla każdego urządzenia osobno na największą wartość, na jaką pozwala magistrala nadrzędna.
Każde urządzenie dostaje najlepszy MPS, jaki obsługuje jego lokalna topologia.
To właściwy wybór przy passthrough, bo optymalizuje każdą ścieżkę niezależnie.
pcie_bus_peer2peer: ustawia MPS na 128 bajtów na wszystkim.
Każde urządzenie rozmawia przy najmniejszym wspólnym rozmiarze.
Używana, gdy urządzenia muszą wykonywać DMA bezpośrednio do siebie nawzajem (GPU do GPU, GPU do karty sieciowej przez RDMA).
Nieprzydatna przy zwykłym passthrough.
Przy passthrough właściwa jest pcie_bus_perf.
Jak to naprawić po stronie gościa
pci=pcie_bus_perf możesz ustawić także w konfiguracji startowej jądra gościa.
Czy ma to jakikolwiek praktyczny skutek, zależy od tego, jak QEMU przedstawia wirtualną topologię PCIe.
Wirtualny root complex ogranicza to, co gość może wynegocjować.
W testach trzyma się poprawka po stronie hosta. Host jest właścicielem fizycznego urządzenia, a jego ustawienie MPS wyznacza faktyczny rozmiar TLP na łączu. Ustawienie gościa dotyka tylko wirtualnej topologii wewnątrz maszyny wirtualnej, a to, czy zmienia realne zachowanie, zależy od tego, jak QEMU przedstawia ścieżkę PCIe dla tego urządzenia.
Ustaw to na hoście. Ustawienie tego również w gościu nie zaszkodzi, ale nie polegaj tylko na nim.
Czym jest MRRS
Max Read Request Size (MRRS) jest powiązany, ale osobny. MPS ogranicza, ile danych urządzenie może wysłać w jednym TLP. MRRS ogranicza, ile danych urządzenie może zażądać w jednym żądaniu odczytu.
Urządzenie z MRRS 4096 może wysłać pojedyncze żądanie odczytu 4KB. Odpowiedź wraca w wielu TLP, każdy o rozmiarze do MPS. Wyższy MRRS oznacza, że urządzenie może zażądać więcej danych na transakcję, co zmniejsza liczbę TLP z żądaniami odczytu na magistrali.
pci=pcie_bus_perf ustawia zarówno MPS, jak i MRRS na wartości optymalne.
Nie musisz dostrajać ich osobno.
Wpływ w porównaniu z innym strojeniem
Różnica MPS między 128 a 512 bajtami ma mniejszy wpływ na wydajność niż wyrównanie NUMA czy ASPM. To zwykle poprawa przepustowości o niskie jednocyfrowe procenty. Nie zobaczysz jej w benchmarkach opóźnień przy małych głębokościach kolejki.
Ale to darmowa optymalizacja. Jeden parametr jądra, bez wad, bez ryzyka niezgodności. Nie ma powodu, żeby nie ustawić go na każdym systemie z passthrough.
Nic nie kosztuje, a za sprzęt już zapłaciłeś. Równie dobrze możesz mieć to, co kupiłeś.
Źródła
- Linux kernel PCI Kconfig — MPS and MRRS tuning options — autorytatywne źródło dla wszystkich pięciu polityk MPS
- Linux Plumbers Conference 2017 — MPS vs MRRS (PDF) — prezentacja Sinana Kayi o obsłudze MPS/MRRS w jądrze