Що робить ASPM
PCIe Active State Power Management (ASPM) дозволяє лінкам PCIe переходити в стани низького енергоспоживання, коли вони простоюють. Специфікація PCIe визначає кілька станів лінку:
L0 це повністю активний стан. Лінк піднятий, обидва кінці живляться, дані можуть іти одразу.
L0s це легкий стан простою. Лінк частково вимикається. Повернення в L0 триває приблизно 1–4 мкс, залежно від обладнання. Кожен кінець може перейти в L0s незалежно.
L1 це глибший стан простою. Обидва кінці лінку вимикаються разом. Повернення в L0 триває довше: зазвичай 2–32 мкс, часом більше. Точний час відновлення залежить від пристрою, покоління PCIe і платформи.
L1.1 і L1.2 це підстани L1, запроваджені в PCIe 3.0. Вони ще більше знижують споживання, вимикаючи опорний такт PLL. Відновлення з L1.2 може тривати 32–100 мкс. Для накопичувача це не похибка округлення. Це приблизно стільки ж, скільки саме читання, яке ти взагалі намагався зробити.
Ідея проста. Якщо лінк PCIe простоює кілька мікросекунд, переведи його в стан нижчого споживання. Коли трафік відновиться, розбуди його. А тим часом заощадь трохи енергії.
На ноутбуці чи настільній машині, яка більшість часу нічого не робить, ASPM заощаджує справжню енергію. Кілька ватів на лінк, що складаються по всіх пристроях PCIe в системі. На сервері з інтенсивним навантаженням вводу-виводу лінки рідко простоюють достатньо довго, щоб ASPM помітно спрацював.
Чому він створює проблеми під passthrough
На голому залізі ОС і драйвер пристрою узгоджують керування живленням разом. Драйвер NVMe знає, коли лінк от-от простоюватиме і коли він збирається подати новий IO. Підсистема PCIe ядра узгоджує переходи стану лінку з драйвером. Усе синхронізовано.
Під VFIO passthrough це узгодження розвалюється.
Ядро хоста й далі керує фізичним лінком PCIe. Гостьова ВМ володіє пристроєм через VFIO, але сам лінк не контролює. Підсистема PCIe хоста бачить, що лінк простоює, бо з погляду хоста жоден драйвер на боці хоста ним не користується. І переводить лінк у стан низького споживання. Коли гість подає IO, пристрою потрібно, щоб лінк знову був у L0. Час відновлення з’являється як додаткова затримка на цій операції IO.
Результат: непослідовна затримка.
Більшість IO завершуються з нормальною швидкістю.
Деякі тривають значно довше, бо натрапляють на лінк у L1 чи L1.2, який мусить спершу прокинутися.
Це видно як широкий розкид у перцентилях clat (затримки завершення).
Середнє може виглядати нормально.
p99 може бути в 5–10 разів вищим.
Це важко помітити, бо середні показники пропускної здатності можуть виглядати нормально. Проблему видно лише тоді, коли дивишся на хвостову затримку. Багато бенчмарків її не підсвічують, якщо не попросити виводу перцентилів.
Особливість саме VFIO
Тут є особливість, що виходить за межі базової проблеми «хост і гість б’ються за стан лінку».
Коли пристрій прив’язаний до vfio-pci на хості, ядро хоста знає, що пристрій у режимі passthrough.
Але політика PCIe ASPM застосовується на рівні лінку, а не пристрою.
Політика ASPM хоста й далі діє на фізичний лінк, бо хост досі володіє топологією PCIe.
VFIO не перехоплює і не перевизначає переходи ASPM. Він пропускає простір BAR пристрою і переривання, але керування живленням лінку лишається під контролем хоста. Гість не має жодного механізму сказати хосту «тримай цей лінк у L0».
Деяке новіше обладнання і версії ядра дають цьому раду краще за інші. Тож найбезпечніший підхід: прибрати ASPM із картини повністю.
Як його вимкнути
Додай pcie_aspm=off до командного рядка ядра хоста:
# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"
# Update GRUB and reboot
update-grub
reboot
Це не дає хосту переводити будь-який лінк PCIe у стан низького споживання. Діє глобально. На кожен пристрій PCIe на хості, а не лише на той, що переданий гостю.
Перевір після перезавантаження:
# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"
Ціна в енергії
Вимкнення ASPM таки збільшує споживання в простої. Кожен лінк PCIe, що інакше був би в L1, лишається в L0 і споживає на кілька сотень міліватів більше. У системі з десятьма чи п’ятнадцятьма пристроями PCIe це може скласти 2–5 ватів у простої.
Для сервера в центрі обробки даних 2–5 ватів це похибка округлення в рахунку за електрику. Для домашньої лабораторії це частка того, що споживають CPU і пам’ять. Для ноутбука це має значення. Але ти й не робитимеш VFIO passthrough на батареї ноутбука.
Компроміс очевидний. Кілька ватів у простої проти непередбачуваних стрибків затримки на твоїх переданих пристроях. На будь-якій системі з passthrough ASPM має бути вимкнений.
Проблеми зі станом живлення на рівні пристрою
ASPM керує станом живлення лінку PCIe. Пристрої також мають власне керування живленням: D-стани PCIe (від D0 до D3).
Коли пристрій у D3 (повністю вимкнений), спить не лише лінк. Сам пристрій зупинився.
Під VFIO passthrough драйвер vfio-pci хоста може перевести пристрій у D3, коли ВМ не працює або коли політика керування живленням хоста вирішить, що пристрій простоює.
Деякі контролери NVMe не справляються з переходом з D3 у D0 чисто. Вони не повертаються як слід, гість втрачає пристрій, і єдиний вихід це перезапуск ВМ, а часом і перезавантаження хоста.
Samsung 990 EVO Plus відомий порушник.
Виправлення: параметр модуля disable_idle_d3 для vfio-pci:
# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1
Це не дає vfio-pci переводити будь-який прив’язаний пристрій у D3 під час простою.
Як і pcie_aspm=off, це глобальне налаштування. Кожен пристрій, прив’язаний до vfio-pci, лишається в D0.
Зазвичай саме цього ти й хочеш для passthrough, де станом живлення пристрою має керувати лише гість.
Параметр disable_idle_d3 окремий від ASPM.
ASPM керує лінком.
D3 керує пристроєм.
Кожен може створювати проблеми незалежно.
Для чистої конфігурації passthrough вимкни обидва.
Керування ASPM для окремого пристрою
Якщо не хочеш вимикати ASPM глобально (можливо, на хості є інші пристрої PCIe, яким заощадження енергії на користь), можна керувати ASPM для кожного лінку через sysfs:
# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
Це точніше, але менш надійно після перезавантажень і оновлень ядра.
Для більшості конфігурацій passthrough глобальний прапорець ядра pcie_aspm=off простіший і передбачуваніший.
Коли проблема не в ASPM
Не кожне коливання затримки спричинене ASPM.
Якщо твої перцентилі clat стабільно високі (а не лише хвіст), проблема радше в накладних витратах трансляції IOMMU, неузгодженості NUMA чи розбіжності MPS.
ASPM дає саме бімодальний розподіл (більшість IO швидкі, кілька повільні), бо впливає лише на ті IO, що випадково надходять, коли лінк у стані низького споживання.
Перевіряй ASPM першим, коли бачиш:
- затримку p99 у 5 разів або більше вищу за середню
- непослідовні результати
fioміж запусками - затримку, що покращується під тривалим навантаженням, але погіршується під час уривчастих навантажень
Якщо затримка стабільно погана незалежно від характеру навантаження, шукай деінде. ASPM варто виключити рано, бо перевірити його дешево. Утім, це не відповідь на кожен повільний лінк, і ганятися за ним, коли цифри не відповідають шаблону, це півдня, які тобі ніхто не поверне.
Джерела
- Linux kernel PCI documentation — ASPM parameters — вихідний код ядра, що охоплює
pcie_aspm=offі пов’язані параметри - Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — гілка спільноти про
disable_idle_d3для контролерів NVMe від Samsung - Proxmox VE Wiki — PCI(e) Passthrough — офіційна документація з налаштування passthrough