Проблема скопійованих рядків завантаження

Пошукай тюнінг Proxmox, і ти знайдеш один довгий рядок GRUB_CMDLINE_LINUX, поданий як єдине ціле, без жодної вказівки, який прапорець де діє.

Це важить більше, ніж здається. Гіпервізор і гостьова система розв’язують протилежні задачі.

Хост хоче детермінованого доступу до справжнього заліза: поведінка IOMMU, стани ланок PCIe, фізичні стани простою. Гість хоче перестати вдавати, що в нього взагалі є залізо: його таймери це наближення, його стани простою вигадка, а його зависання зазвичай справа чужого планувальника. Тож той самий прапорець може бути правильним з одного боку, марним з іншого й часом шкідливим.

Нижче про те, де насправді місце кожному.

Де місце кожному прапорцю завантаження ядраЛише хосттут живе справжнє залізоiommu=ptamd_iommu=pgtbl_v2pcie_acs_override=…pcie_aspm=offpci=pcie_bus_perf→ pcie_bus_safe, якщо USB4processor.max_cstate=1+ intel_idle.max_cstate на Intelamd_pstate=disableзадай і governorУ гостя немає ланок PCIe,C-станів і cpufreq.Лише гістьгоді вдавати, що це залізоcpuidle.off=1стани простою гостя вигадкаnmi_watchdog=0знятий з планування vCPU його чіпляєsoftlockup_panic=0зависання спричинив хостНе чіпай kvm-clock.Не нав’язуй tsc чи hpet:лічильники не твої.На хості всі три з нихозначають інше,і два з них коштуютьчогось справжнього.Обидва: різні причинитой самий прапорець, окреме рішенняmitigations=offхост: витоки гість→хостгість: ізоляція процесівdefault_hugepagesz + hugepagesхост: під RAM гостягість: під застосуноквибери один шар, не обидваwatchdog_thresh / nowatchdogхост: прийнятий тобою шумгість: довіри ніколи не було«Обидва» не означає, щойого треба задати в обох місцях.Це означає, що рішення требаухвалити двічі.Жоден: вони нічого не роблятьamd_iommu=onнедійсна опція; ядро пише «Unknown option - 'on'» і працює даліconsoleblank=0уже типове значення ядраЯкщо скопійований рядок завантаження містить будь-який із них, його ніколи не звіряли з /proc/cmdline,а це найдешевша доступна перевірка, і саме вона ловить помилку з неправильним завантажувачемтеж.
Прапорці, що ходять по руках, розсортовані. Два з популярних не роблять нічого ні з якого боку, а рядок watchdog це справжнє питання судження, а не правило.

Спершу: ти взагалі редагуєш правильний файл?

Встановлення Proxmox з коренем на ZFS завантажується через systemd-boot, де /etc/default/grub ніхто не читає. Редагуєш його, перезавантажуєшся, і жодної зміни, жодної помилки. Година роздратування.

proxmox-boot-tool status          # tells you which bootloader is in use
# systemd-boot: edit /etc/kernel/cmdline, then
proxmox-boot-tool refresh

# GRUB: edit /etc/default/grub, then
update-grub

Так чи так, перевіряй, а не припускай:

cat /proc/cmdline

А з боку GRUB використовуй GRUB_CMDLINE_LINUX_DEFAULT, а не GRUB_CMDLINE_LINUX. Останній застосовується до кожного пункту завантаження, включно з recovery, а recovery якраз той момент, коли тобі потрібна стандартна поведінка, а не вимкнені мітигації й закріплені C-стани.

Рядок хоста

IOMMU і проброс

iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction

iommu=pt переводить IOMMU в режим passthrough: пристрої, призначені віртуальним машинам, проходять трансляцію, а рідні пристрої хоста її оминають. Це справжній параметр, і обробляється він в arch/x86/kernel/pci-dma.c, який викликає iommu_set_default_passthrough(true). Ядро документує його як еквівалент iommu.passthrough=1.

amd_iommu=on не існує. Це найширше скопійований неіснуючий параметр у посібниках з Proxmox. Функція ядра parse_amd_iommu_options() приймає fullflush, force_enable, off, force_isolation, pgtbl_v1, pgtbl_v2, irtcachedis, nohugepages і v2_pgsizes_only. Усе інше потрапляє сюди:

pr_notice("Unknown option - '%s'\n", str);

AMD-Vi вмикається за замовчуванням, коли прошивка його оголошує. Перевір власний журнал, і побачиш, що параметр ніколи не робив тієї роботи, яку йому приписували:

dmesg | grep -i "AMD-Vi\|Unknown option"

amd_iommu=pgtbl_v2 справді дійсний: він вибирає формат таблиць сторінок DMA v2, який ділить структуру таблиць сторінок CPU, а не використовує власну AMD. Дві речі варто знати: документація обмежує його DMA-API, тобто власними доменами пристроїв хоста, а не доменами VFIO, що використовуються для пробросу; і він безпечно відступає з рядком у журналі, який тобі варто пошукати:

if (amd_iommu_pgtable == PD_MODE_V2) {
    if (!amd_iommu_v2_pgtbl_supported()) {
        pr_warn("Cannot enable v2 page table for DMA-API. Fallback to v1.\n");
        amd_iommu_pgtable = PD_MODE_V1;
    }
}

Тож його варто виміряти на вузлі з важким вводом-виводом з боку хоста й варто перевірити, що ти його справді отримав.

pcie_acs_override=downstream,multifunction це позадеревний патч Proxmox. Він розділяє групи IOMMU, стверджуючи ізоляцію, якої залізо не оголошує, і саме це робить проброс можливим на споживчих платах. А ще це, точно кажучи, неправда про топологію, яку кажуть ядру. Нормально на машині, чиїм гостям ти довіряєш так само, як хосту. Ненормально в усіх інших випадках. Більше про те чому в статті про податок IOMMU.

Затримка й джитер

pcie_aspm=off processor.max_cstate=1 amd_pstate=disable

pcie_aspm=off тримає ланки PCIe поза станами низького енергоспоживання, щоб операція вводу-виводу, яка надійшла, ніколи не чекала, поки ланка прокинеться. Це коштує кілька ват на ланку й прибирає хвіст затримки, який важко діагностувати. Див. PCIe ASPM і проброс.

processor.max_cstate=1 обмежує простій ACPI станом C1. Зверни увагу на драйвер: це ручка processor/acpi_idle, тож на Intel тобі потрібен ще й intel_idle.max_cstate=1, бо intel_idle має пріоритет. На AMD правильний саме цей.

Є справжній контраргумент. Глибокий сон на ядрах, що простоюють, дає пакету тепловий і енергетичний запас, щоб розганяти зайняті, тож закріплення всього на C1 може знизити твою пікову однопотокову частоту, водночас підвищивши споживання в простої. На хості, чутливому до затримки, цей обмін зазвичай того вартий. На хості, що женеться за пропускною здатністю, може й ні. Виміряй, а не успадковуй.

amd_pstate=disable повертає до acpi-cpufreq. Варто знати задокументовані альтернативи, перш ніж за ним тягтися: passive (драйвер запитує рівень продуктивності), active (драйвер EPP зі зміщенням у бік продуктивності чи ефективності) і guided. active зі зміщенням у бік продуктивності або passive плюс governor performance часто дають ту саму затримку, зберігаючи тонше керування CPPC. А якщо таки вимикаєш, задай governor свідомо: опинитися на acpi-cpufreq з schedutil може бути кроком назад.

Пам’ять

default_hugepagesz=1G hugepages=64

default_hugepagesz=1G сам по собі нічого не резервує. Ядро документує його як такий, що задає «the size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs», тобто одиницю, а не виділення. Виділення йде від hugepages=, задокументованого як «Number of HugeTLB pages to allocate at boot».

Для сторінок 1 GiB це важить значно більше, ніж для 2 MiB, бо суцільні ділянки по 1 GiB фактично недосяжні, щойно хост попрацював і пам’ять фрагментувалася. Завантаження це твій єдиний надійний шанс.

Потім гість мусить погодитися на це (hugepages: 1024 у конфігурації VM). Зарезервовані сторінки, якими ніхто не користується, це просто пам’ять, яку тобі не повернути, і ти втрачаєш ballooning і KSM на тих VM, що їх використовують.

Обмін безпеки

mitigations=off

Це не один перемикач. Ядро розгортає його в список, і на гіпервізорі важать ось ці пункти:

l1tf=off   mds=off   mmio_stale_data=off   kvm.nx_huge_pages=off
gather_data_sampling=off   retbleed=off   spec_rstack_overflow=off
nospectre_v2   nopti   indirect_target_selection=off

Власний підсумок ядра звучить як «improves system performance, but it may also expose users to several CPU vulnerabilities». L1TF, MDS і MMIO stale data це саме шляхи витоку від гостя до хоста й від гостя до гостя, а kvm.nx_huge_pages це мітигація iTLB-multihit усередині самого KVM.

Можна обґрунтувати на машині з одним орендарем, де кожен гість такий самий довірений, як хост. Не можна обґрунтувати там, де гості недовірені або належать різним орендарям. І зверни увагу, що це складається з pcie_acs_override: дві незалежні гарантії ізоляції прибрані в одному рядку. Варто робити це свідомо, а не в спадок.

PCIe через USB4 змінює два з них

Якщо твої пристрої PCIe приходять через USB4 чи Thunderbolt, зовнішній GPU чи корпус для NVMe, дві з відповідей вище змінюються.

Налаштування MPS перестає бути безкоштовним

На фіксованих слотах pci=pcie_bus_perf це невеликий безкоштовний виграш. Ядро описує його так:

Set device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.

Заковика в тому, що він налаштовує мости під час завантаження, за топологією, яка є під час завантаження. Через USB4 гаряче під’єднання це звичайна справа, і пристрій, доданий пізніше, може підтримувати менший MPS, ніж уже виставлено на мосту.

Ядро прямо каже те, про що зазвичай мовчать, рекламуючи іншу політику:

pcie_bus_peer2peer — Set every device’s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.

Лише одна політика дає цю гарантію, і саме вона закріплює все на 128 байтах, а якраз від цього й прагне втекти налаштування MaxPayloadSize. Для топології з гарячим під’єднанням безпечніша відправна точка це pcie_bus_safe (найбільше значення, яке підтримують усі пристрої під root complex) або просто лишити tune_off. Власний комутатор тунелю все одно обмежує досяжний MPS, тож піднімати стелю ніколи не було в твоїй владі.

Чому гаряче під’єднання змінює відповідь щодо політики MPSПід час завантаження pcie_bus_perf налаштовує міст за тим, що бачитьміст: MPS 512пристрій A · 512пристрій B · 512є під час завантаженнягарячий · лише 256розбіжністьнічого не переузгодженоУ корпусі такого не буває: топологія під час завантаження лишається такою назавжди. На порту USB4 цезвичайна справа.Чотири політики, і яку ядро називає безпечною для гарячого під’єднанняpcie_bus_tune_offне чіпати значення BIOSpcie_bus_safeнайбільше значення, яке підтримують усі пристрої під root complexpcie_bus_perfнайбільше, що дозволяє батьківська шина, для кожного пристрою, плюс MRRSpcie_bus_peer2peer128 B усюди:«guarantees that hot-added devices will work»Цю гарантію дає лише одна політика, і саме вона викидає розмір корисного навантаження, який тиналаштовував.
Міст налаштовують один раз, під час завантаження, за пристроями, які тоді є. Усе, що далі, мусить жити з цим рішенням, і це нормально в корпусі й ненормально на порту.

Нагромадження безпеки стає серйозним

Зовнішній PCIe означає, що хтось може встромити у твій гіпервізор пристрій, здатний до DMA. Документація ядра щодо Thunderbolt каже про це прямо:

…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.

Захист це IOMMU. А тепер порахуй, що з ним робить рядок хоста. iommu=pt дає пристроям хоста домени тотожності без трансляції, pcie_acs_override стверджує ізоляцію, якої немає, а mitigations=off вимикає мітигації ізоляції гостей. Кожне окремо можна обґрунтувати. Разом, на машині з фізично доступним портом USB4, вони складаються.

Перевір, де ти стоїш:

cat /sys/bus/thunderbolt/devices/domain*/security   # none | user | secure | dponly | usbonly

none поряд із таким рядком завантаження це відчинені двері. Якщо до портів можуть дістатися люди, яким ти не дав би root, iommu=pt це перше, що я переглянув би.

Рядок гостя

Ось ті, яким місце всередині VM, і три з них тут означають щось інше, ніж означали б на хості.

nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1

cpuidle.off=1 вимикає підсистему cpuidle. У гості це майже безкоштовно: стани простою гостя це емуляція, і немає фізичного ядра, яке можна приспати, тож увесь фреймворк дає тобі лише затримку пробудження. На хості той самий прапорець це справжній обмін енергії й запасу розгону, і він перекривається з processor.max_cstate=1. Лише з боку гостя.

softlockup_panic=0 не дає soft lockup спричинити паніку гостя. У VM це справді захищає, бо soft lockup там часто не з вини гостя. vCPU, якого зняли з планування, виглядає точнісінько як завдання, яке відмовилося поступитися. Це той самий механізм, що стоїть за тим, чому годиннику VM не можна довіряти. Утім, перевір, чи він тобі потрібен. У більшості збірок він за замовчуванням 0.

sysctl kernel.softlockup_panic

nmi_watchdog=0 найцікавіший, і він заслуговує на більше, ніж правило.

Питання watchdog

Є два детектори, що ділять один поріг:

watchdog_thresh= — Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.

Hard lockup (nmi_watchdog) спрацьовує, коли CPU взагалі перестає приймати переривання таймера. Soft lockup спрацьовує, коли завдання захоплює CPU удвічі довше без планування.

У гості вимкнути детектор hard lockup правильно. vCPU, якого зняли з планування, може зачепити його без жодної власної провини, а робота детектора з лічильниками perf спричиняє виходи з VM заради сигналу, який був нічим, крім шуму.

На хості це питання судження, і воно залежить від того, за яким шумом ти насправді женешся. Надмірне виділення морить голодом гостей, а не ядро хоста: фізичні CPU хоста й далі приймають переривання, хай як щільно напхано VM. Тож шум у журналі, який видає зайнятий гіпервізор, це переважно повідомлення soft lockup і RCU stall, а не звіти NMI hard lockup. Якщо шум саме такий, nmi_watchdog=0 його не приглушить, і softlockup_panic=0 теж: той зупиняє паніку, а не повідомлення.

Прицільні ручки такі:

watchdog_thresh=30        # hard 30s, soft 60s — scale to taste
nowatchdog                # honest single flag: disables both detectors
sysctl -w kernel.soft_watchdog=0   # runtime, keeps hard-lockup detection

Є окрема й краща причина вимкнути детектор hard lockup на зайнятому хості, яка не має нічого спільного із шумом: він займає апаратний лічильник продуктивності на кожен CPU. Саме тому параметр приймає rNNN, щоб налаштувати сиру подію perf. Якщо ти робиш профілювання на основі PMU або тримаєш навмисно перевантажену машину, де вже прийняв мінливість затримки як ціну щільності, повернути цей лічильник цілком розумний обмін, а дрібні зависання, на які ти свідомо підписався, це не інциденти.

Просто роби цей вибір із цієї причини, а не через шум, бо правдива лише одна з них.

consoleblank=0 нічого не робить. Ядро документує тайм-аут гасіння консолі як «A value of 0 disables the blank timer. Defaults to 0.» Він уже вимкнений. Нешкідливий, але це другий параметр у широкому обігу, який не має жодного ефекту, і його наявність робить рядок продуманим на вигляд, коли його копіюють.

Швидка довідка: де місце кожному прапорцю

ПрапорецьХостГістьПримітки
iommu=ptтакніIOMMU належить хосту. У гості діє лише тоді, коли ти запускаєш вкладений проброс із vIOMMU
amd_iommu=pgtbl_v2такніДомени DMA-API хоста. Перевір, що отримав v2, а не відступ до v1
amd_iommu=onн/дн/дНедійсна опція. Ядро пише в журнал «Unknown option - ‘on’»
pcie_acs_override=…такніПатч Proxmox, лише топологія хоста. Послаблює ізоляцію за задумом
pcie_aspm=offтакніУ гості немає справжніх ланок PCIe; фізична ланка належить хосту
pci=pcie_bus_perfтакненадійноХост задає MPS на дроті. Якщо пристрої приходять через USB4, використовуй натомість pcie_bus_safe
processor.max_cstate=1такніСправжні стани простою належать хосту. На Intel додай intel_idle.max_cstate=1
amd_pstate=disableтакніГості не керують частотою CPU
cpuidle.off=1обережнотакУ гості безкоштовно. На хості коштує запасу розгону й перекривається з max_cstate
nmi_watchdog=0судженнятакУ гості правильно. На хості роби це заради лічильника PMU, а не через шум
softlockup_panic=0нітакЗависання гостя часто спричиняє планувальник хоста. Зазвичай уже за замовчуванням
consoleblank=0н/дн/дНічого не робить. За замовчуванням у ядрі вже 0
mitigations=offобидваобидваДійсний з обох боків, різний розрахунок ризику: на хості витоки від гостя до хоста, у гості ізоляція процесів
default_hugepagesz + hugepages=обидваобидваХост: підкладка під пам’ять VM. Гість: робоче навантаження всередині VM, якому вони потрібні. Різні цілі, ті самі прапорці
watchdog_thresh= / nowatchdogобидваобидваХост: приглушити зависання, які ти прийняв. Гість: детектору ніколи не можна було довіряти

Три справді належать обом бокам, і варто точно сказати, що «обидва» не означає «з тієї самої причини»:

  • mitigations=off на хості стосується витоків від гостя до хоста й від гостя до гостя. Усередині гостя йдеться про ізоляцію процесів у цій VM. Цілком розумно вимкнути його в одному місці й не вимикати в іншому.
  • Hugepages на хості підкладаються під RAM гостя; у гості вони підкладаються під застосунок. Резервувати їх двічі для тієї самої пам’яті це марнотратство, тож виріши, якому шару вони потрібні.
  • Налаштування watchdog на хості це рішення про шум, а в гості рішення про коректність.

Усе інше належить одному боку чи іншому, а два з них узагалі не вибір.

Два рядки

Хост, машина AMD з пробросом, один орендар:

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off"

Заміни pci=pcie_bus_perf на pcie_bus_safe, якщо щось приходить через USB4. Прибери mitigations=off, якщо гості не всі твої. На Intel intel_iommu=on замінює прапорці AMD, а intel_idle.max_cstate=1 приєднується до обмеження C-станів.

Гість Linux:

GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1"

І не чіпай kvm-clock у гості: не нав’язуй tsc чи hpet. Паравіртуальний годинник існує саме тому, що лічильники не твої. У цьому весь аргумент статті про хронометраж у VM.

Що видалити

Якщо ти успадкував рядок із форумного допису, ці два треба прибрати першими, бо вони тобі нічогісінько не дають і доводять, що рядок ніколи не тестували:

  • amd_iommu=on: недійсна опція; ядро пише в журнал «Unknown option - ‘on’» і працює далі
  • consoleblank=0: уже за замовчуванням

І звір решту з /proc/cmdline після перезавантаження. Для кожного прапорця в цьому рядку ти маєш могти назвати причину.

Якщо ти не можеш сказати, що робить прапорець, це не тюнінг. Це забобон. І його скопіює в наступну збірку хтось, хто тобі довіряє.

Джерела