Два налаштування, які ти зробив раз і забув
Proxmox VE 9 робить для тебе дві корисні речі, навіть коли ти не просиш. Він дає гостю Fisher-Price OS (Windows) паравіртуальні можливості, потрібні йому для нормальної роботи на KVM, і під час завантаження вантажить актуальний мікрокод CPU.
Обидві автоматичні. І обидві залежать від рішення, яке ти ухвалив один раз, можливо, кілька років тому, і відтоді на нього не дивився.
Перша залежить від типу ОС, який ти обрав, коли створював VM. Обери один із пунктів Microsoft Windows, і Proxmox додає Hyper-V enlightenments при кожному запуску. Залиш Other, що легко зробити, коли імпортуєш диск чи клонуєш щось старе, і гість не отримає жодного з них. Він завантажується, працює, працює повільніше, і ніщо тобі про це не каже.
Друга залежить від того, як хост дійшов до версії 9. Інсталятор 9.0 вмикає компонент firmware у Debian і встановлює пакет мікрокоду для твого CPU. Хост, оновлений з 8.x, зберігає репозиторії, які мав, а на більшості з них це означає, що пакета мікрокоду немає взагалі. На хості AMD Zen 5 з ядром 6.17.9 чи новішим це не теоретична прогалина: гості з типами CPU EPYC перестають запускатися.
Решта допису розбирає кожне по черзі: що це, яке саме правило застосовує Proxmox, як увімкнути там, де його немає, і як довести, що воно спрацювало. Правила взято з коду qemu-server і pve-manager на живому хості 9.2, а не з пам’яті, бо два з них не такі, як більшість людей подумала б.
Що таке enlightenment насправді
Гостьова операційна система, написана для справжнього заліза, витрачає багато зусиль на речі, які у VM марнотратні. Вона програмує таймери через емульовані мікросхеми, крутиться на блокуваннях, які тримає vCPU, що навіть не запланований, і спрацьовує сторожовими таймерами, коли хост краде кілька мілісекунд.
Паравіртуалізація виправляє це: гість знає, що він гість, і говорить із гіпервізором напряму. Linux робить це через власні інтерфейси KVM. Fisher-Price OS (Windows) знає лише один паравіртуальний діалект, діалект Hyper-V, тож KVM реалізує цей діалект і каже гостю, що той працює на гіпервізорі, сумісному з Hyper-V. Кожну його частину називають enlightenment.
Ніщо з цього не ввімкнене, поки хтось не попросить. Документація QEMU каже про це прямо: «No Hyper-V enlightenments are enabled by default by either KVM or QEMU»1. У Proxmox просить qemu-server, і просить він лише тоді, коли тип ОС один із пунктів Microsoft Windows.
Різницю видно на будь-якому хості.
Це VM з Linux на моєму вузлі 9.2, ostype: l26, тип CPU host:
# qm showcmd 101 --pretty | grep -- -cpu
-cpu host,+kvm_pv_eoi,+kvm_pv_unhalt \
Два прапорці KVM для власної паравіртуальної обробки переривань і спін-блокувань Linux, і жодного прапорця hv_.
Правильно для Linux. Неправильно для гостя, який розуміє лише Hyper-V.
Що робить кожне enlightenment, за описами QEMU1:
| Прапорець | Що отримує гість | Що це заощаджує |
|---|---|---|
hv_time | опорний годинник Hyper-V і сторінка TSC | читання часу без виходу в гіпервізор |
hv_relaxed | вказівка вимкнути тайм-аути сторожового таймера | хибні тайм-аути, коли vCPU знято з виконання |
hv_vapic | сторінка VP assist для APIC | кінець переривання без виходу |
hv_spinlocks | паравіртуальні спін-блокування, кількість спроб перед тим, як сказати хосту | крутіння на блокуванні, власник якого не працює |
hv_vpindex | власний індекс віртуального процесора | передумова для наступних чотирьох |
hv_runtime | скільки кожен vCPU справді працював | чесний погляд на вкрадений час |
hv_synic, hv_stimer | синтетичний контролер переривань і таймери | емульоване залізо таймерів |
hv_ipi | надсилання IPI багатьом vCPU одним гіпервикликом | один вихід APIC на кожен цільовий CPU |
hv_reset | скидання через гіпервізор | |
hv_evmcs | enlightened VMCS, лише Intel | швидша вкладена віртуалізація |
hv_tlbflush | паравіртуальне скидання TLB | очікування на vCPU, які не працюють |
Тип ОС і є перемикачем
Правило живе в одній функції, get_hyperv_enlightenments у CPUConfig.pm з qemu-server2.
Спершу тип ОС перетворюється на номер версії: win11 стає 11, win10 стає 10, w2k8 і wvista обидва стають 6, а типи XP і 2003 стають 5.
Linux, Other і все інше стають 0.
Потім по черзі спрацьовують перевірки.
Прочитати правило це одне. Запустити його краще.
Тож я завантажив встановлений CPUConfig.pm на двох хостах 9.2, на своєму вузлі AMD Ryzen для рядків AMD і на вузлі Intel Celeron N5100 для рядків Intel, і викликав цю функцію з кожною комбінацією:
| Тип ОС | Прошивка | Версія машини | Хост | Додані enlightenments |
|---|---|---|---|---|
l26 або other | будь-яка | будь-яка | будь-який | жодних |
wxp (5) | SeaBIOS | 11.0 | будь-який | жодних |
w2k8 (Vista/2008) | SeaBIOS | 11.0 | будь-який | spinlocks, vapic, time, reset, vpindex, runtime |
win7 | SeaBIOS | 11.0 | будь-який | шість вище плюс relaxed, synic, stimer, ipi |
win7 | OVMF | 11.0 | будь-який | жодних |
win10 | OVMF | 11.0+pve2 | Intel | усі десять, без evmcs |
win11 | OVMF | 11.0+pve1 | Intel | усі десять, без evmcs |
win11 | OVMF | 11.0+pve2 | Intel | усі десять плюс evmcs |
win11 | SeaBIOS | 11.0+pve2 | AMD | усі десять, без evmcs |
Три речі звідси варто знати, перш ніж підходити до GUI.
Гість UEFI з типом ОС, старшим за 8.x, не отримує нічого. Код повертається раніше, коли прошивка OVMF, а версія нижче 8. Гість 7/2008r2, якого ти переніс на UEFI, тихо втратив усі enlightenments, які мав.
hv_evmcs хоче три речі одночасно.
Хост Intel, тип ОС 11/2022/2025 і версію машини 11.0+pve2 чи новішу.
Гість 10/2016/2019 типово ніколи його не отримує, хоч яка нова в нього версія машини.
Виробника хоста читають, коли VM стартує.
Перевірка викликає read_cpuinfo на вузлі, який запускає VM, а не там, де VM створили.
У змішаному кластері Intel і AMD та сама VM отримує hv_evmcs на одному вузлі й не отримує на іншому, і це вирішується наново при кожному холодному старті.
Старіші перевірки версії машини (2.3, 2.6, 2.12, 3.1) мають значення лише для VM, закріплених на машинах із далекого минулого QEMU. Усе, що ти створив би сьогодні, їх проходить.
Тож обирай тип ОС, найближчий до гостя, а не найновіший у списку.
Гостю 10/2016/2019 місце на 10/2016/2019.
Документація Proxmox дає ще одну причину, чому тип важливий, окрім цих прапорців: він також задає, наприклад, чи працює віртуальний RTC за місцевим часом3.
Чому твої старіші VM пропускають липневе виправлення
hv_evmcs типово з’явилося недавно.
Воно прийшло в qemu-server 9.2.0 15 липня 2026, щоб «mitigate guest freezes and 100% CPU usage seen on certain Intel CPUs with Windows guests that use Virtualization-Based Security (VBS)»4, і воно прив’язане до версії машини 11.0+pve2.
Ця прив’язка і є підступом, бо Proxmox закріплює версію машини кожної VM з типом ОС Microsoft Windows у момент її створення. Документація дає причину: «Windows is sensitive to changes in the virtual hardware - even between cold boots»3. Рішення розумне. Але воно також означає, що VM, створена в червні 2026, сидить на 11.0+pve1 чи старішій і сидітиме там, поки хтось її не пересуне.
Хтось пересуне її за тебе? Ні. Нове типове значення стосується нових VM і тих VM, які ти свідомо підняв, і більше нічого.
Якщо в тебе є хости Intel із гостями 11/2022/2025 з увімкненим VBS і хоч один із них зависав на 100 % CPU, ось що перевірити першим:
qm config <vmid> | grep -E '^(ostype|machine):'
ostype: win11 з рядком machine: нижче pc-q35-11.0+pve2 треба підняти, щоб отримати виправлення.
Підняття змінює віртуальне залізо, яке бачить гість, а саме від цього закріплення і захищає.
Тож роби це у вікно обслуговування, спершу зробивши резервну копію чи знімок, через Hardware → Machine → Edit, познач Advanced і обери версію.
Якщо рядок починається з pc-i440fx-, версія тут менша проблема: цьому гостю взагалі не місце на i440fx з причин, викладених у Завжди використовуй Q35, а не i440fx, і розділ Як це задати і довести, що спрацювало нижче це розбирає.
Два пов’язані типові налаштування з’явилися в ті самі кілька місяців, і про них варто знати, поки ти там.
qemu-server 9.1.12 вимкнув прапорці cet-ibt і cet-ss для типу 11/2022/2025, бо з QEMU 11.0 і ядрами 7.x, що їх показують, гості з VBS не завантажувалися4.
А 9.1.14 відкрив властивість CPU level, яку документація описує як «a known workaround for Hyper-V boot failures of Windows guests on recent Intel hosts when the CPU type is host or max»3.
Бік QEMU, випуск за випуском
qemu-server будує командний рядок. pve-qemu-kvm це QEMU, який його виконує, і липневому виправленню потрібні обидва.
Версію машини 11.0+pve2 можна обрати лише тоді, коли встановлено двійковий файл QEMU 11.0, бо qemu-server відмовляється від будь-якої версії машини, новішої за QEMU, який він знаходить на хості5.
+pve2 це власний лічильник ревізій qemu-server, а не QEMU, тож годиться будь-яка збірка 11.0.
Того дня, коли вийшов 9.2.0, пара виглядала так:
| Пакет | Версія | Випущено | Що приносить |
|---|---|---|---|
qemu-server | 9.2.0 | 15 липня 2026 | типове hv-evmcs і машину 11.0+pve2 |
pve-qemu-kvm | 11.0.2-1 | 1 липня 2026 | QEMU 11.0.2, актуальний того дня |
pve-qemu-kvm, мінімум | 11.0.0-1 | 5 травня 2026 | перша збірка QEMU 11.0 |
apt подбає, щоб у тебе були обидва? Ні.
qemu-server 9.2.0 оголошує не сильнішу залежність, ніж pve-qemu-kvm (>= 7.1~)6, тож вузол, де QEMU притримано на 10.x, без жодного звуку бере новий qemu-server і потім не може запропонувати версію машини, від якої залежить виправлення.
Перевір обидва, на кожному вузлі. Ось мій хост 9.2 сьогодні, давно за межею обох:
# pveversion -v | grep -E '^(qemu-server|pve-qemu-kvm):'
pve-qemu-kvm: 11.0.3-4
qemu-server: 9.2.11
Кожен випуск QEMU відтоді, як Proxmox VE 9.0 вийшов на 10.0.27, ніс власні виправлення для гостей Fisher-Price OS (Windows). Ось ті, що торкаються гостя, з журналу змін пакета Proxmox8 і журналів змін QEMU9:
| QEMU | Збірка Proxmox | Що виправлено для гостя |
|---|---|---|
| 10.0 | 10.0.2-1, 17 червня 2025 | помилка «PCI Label Id», нешкідлива англійською, але здатна підвісити локалізовані встановлення |
| 10.1 | 10.1.2-3, 17 листопада 2025 | регресія буфера обміну VNC, що ламала вказівник миші |
| 10.1 | 10.1.2-5, 22 грудня 2025 | зависання резервних копій VM з диском TPM, виправлення io_uring |
| 11.0 | 11.0.0-1, 5 травня 2026 | регресія в експорті FUSE, який swtpm використовує для стану TPM |
| 11.0 | 11.0.2-1, 1 липня 2026 | Hyper-V enlightenments розпізнаються як прапорці CPUID, тож власна модель CPU може їх нести |
QEMU 11.0 дещо й зламав: він почав показувати cet-ibt і cet-ss, і саме це зупинило завантаження гостей з VBS і змусило qemu-server 9.1.12 їх вимкнути, як описано вище.
Виправлення гостьового агента в тих самих випусках це інша справа. QEMU 10.1, 10.2 і 11.0 кожен виправляли частини обробки VSS і заморожування файлових систем у гостьовому агенті, включно з «Access denied Event ID 8194», яке вилікував 11.09.
Ніщо з цього не приходить із pve-qemu-kvm. Агент для цього гостя постачається на ISO з драйверами virtio-win10, тож він змінюється лише тоді, коли ти оновлюєш агент усередині VM.
Два прапорці, які можна задати вручну
Proxmox не дасть тобі додати до VM довільні прапорці CPU.
Hardware → Processors → Edit, познач Advanced, і Extra CPU Flags пропонує фіксований список, визначений у CPUFlags.pm11.
Два пункти в цьому списку це enlightenments, і це саме ті два, яких Proxmox типово не ставить, або не ставив до липня.
| Прапорець | Власний опис Proxmox | Коли ставити |
|---|---|---|
hv-tlbflush | «Improve performance in overcommitted Windows guests. May lead to guest bluescreens on old CPUs.» | За бажанням. Спершу спробуй на одній VM і поспостерігай. |
hv-evmcs | «Improve performance for nested virtualization. Only supported on Intel CPUs.» | Вкладений Hyper-V, WSL2 чи VBS у гостя, на Intel. Уже ввімкнено для 11/2022/2025 на 11.0+pve2. |
Обидва зробили необов’язковими в qemu-server 6.0-6 23 липня 2019, і журнал змін описує їх як «sometimes problematic»4.
hv-tlbflush лишається таким уже сім років. Це чесний натяк на те, скільки тестування він потребує, перш ніж розкочувати його кластером.
Власна примітка QEMU про hv-evmcs: він лише для Intel, і «some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled»1.
Вмикати його вручну на гостеві, який не займається вкладеною віртуалізацією, не дає тобі нічого і коштує саме цього.
Як це задати і довести, що спрацювало
Для нової VM: Create VM → OS, постав Type на Microsoft Windows, а Version на найближчий відповідник.
Для наявної: Options → OS Type → Edit, обери версію, OK.
Proxmox закріплює версію машини, коли ти перемикаєш наявну VM на тип Microsoft Windows, так само, як при створенні4, тож чекай, що рядок machine: у конфігурації теж зміниться.
І постав її на q35. Гостю з enlightenments нічого робити на pc-i440fx.
Це чипсет без шини PCIe, і причини виходять далеко за межі прокидання пристроїв; усі вони в Завжди використовуй Q35, а не i440fx.
Майстер тебе не зупинить, а для більшості типів Microsoft Windows саме туди тебе й поставить.
Власна документація Proxmox називає Intel 440FX «the default»3, а типові значення ОС у GUI перекривають це рівно для одного пункту: 11/2022/2025 отримує machine: 'q35' і bios: 'ovmf'12.
Кожен інший тип Microsoft Windows успадковує загальні типові значення, які машину не задають узагалі.
Тож гість 10/2016/2019, створений натисканням Next, опиняється на i440fx, з enlightenments і на неправильному чипсеті водночас.
| Тип ОС, обраний у майстрі | Машина, яку він отримує | Прошивка, яку він отримує |
|---|---|---|
| 11/2022/2025 | q35 | OVMF |
| 10/2016/2019 і кожен старіший тип Microsoft Windows | i440fx | SeaBIOS |
| Other, Linux | i440fx | SeaBIOS |
Зміни це на вкладці System, перш ніж завершити майстер. Для VM, яка вже існує, зміна чипсета це більша зміна віртуального заліза, ніж підняття версії машини, тож діють ті самі правила вікна обслуговування й резервної копії, а допис про q35 розповідає, що з цим робить гість.
Потім зупини її як слід. Enlightenments це аргументи командного рядка QEMU, а цей рядок будується лише тоді, коли запускається процес QEMU. Перезапуск зсередини гостя зберігає той самий процес, тож зберігає й старі прапорці. Вимкни, дочекайся stopped, потім Start.
Доведи це з хоста, бо відповідь саме там:
qm showcmd <vmid> --pretty | grep -o "hv_[a-z_]*[=0-9a-fx]*" | sort -u
Це виводить те, що qemu-server передасть QEMU при наступному старті.
Гість 11/2022/2025 на 11.0+pve2 на Intel має показати одинадцять: hv_evmcs, hv_ipi, hv_relaxed, hv_reset, hv_runtime, hv_spinlocks=0x1fff, hv_stimer, hv_synic, hv_time, hv_vapic і hv_vpindex.
Той самий гість на AMD показує десять. Порожній результат означає, що тип ОС не Microsoft Windows, або це тип, старший за 8.x, на UEFI.
Якщо гість не завантажується після зміни, постав тип ОС назад на Other на один старт, щоб підтвердити чи виключити enlightenments. Без них він працює. Просто працює гірше.
Мікрокод: що він виправляє і звідки береться
Друге типове налаштування сидить під гіпервізором, а не над ним.
Мікрокод CPU це прошивка виробника для самого процесора. Оновлення виправляють вразливості безпеки і серйозні помилки CPU, а посібник адміністратора Proxmox робить зауваження, важливе для всіх, хто переймається втратою швидкості: «a patched microcode is usually still more performant than an unpatched microcode where the kernel itself has to do mitigations»13.
Він може прийти з трьох місць, і вони незалежні.
| Джерело | Застосовується | Хто постачає | На моєму хості 9.2 сьогодні |
|---|---|---|---|
| Оновлення BIOS/UEFI плати | при кожному ввімкненні, постійно | виробник плати чи сервера | те, що ніс останній BIOS |
Debian non-free-firmware | рано під час завантаження, з initramfs | Debian | intel-microcode 3.20251111.1~deb13u1, amd64-microcode 3.20250311.1 |
| Репозиторій Proxmox VE | рано під час завантаження, з initramfs | Proxmox | amd64-microcode 3.20251202.1~bpo13+1, пакета Intel немає |
Шлях через BIOS Proxmox називає рекомендованим13. Шлях раннього завантаження це страхувальна сітка на випадок, коли виробник плати перестав випускати оновлення BIOS, а на всьому, чому кілька років, він зазвичай перестав.
Третій рядок мене здивував.
Proxmox тримає у власному репозиторії новіший amd64-microcode, ніж є в Debian trixie14, з тим самим пріоритетом закріплення, тож apt бере версію Proxmox.
На хості AMD з налаштованим репозиторієм Proxmox саме цю версію ти зрештою й запустиш, і, як покаже наступний розділ, саме вона має значення.
Раннє завантаження це те, що налаштовує цей допис. Мікрокод потрапляє в initramfs, і ядро застосовує його на самому початку завантаження, до того, як щось інше працює.
Пізнє завантаження застосовує його до працюючої системи. Документація ядра має розділ під назвою «Why is late loading dangerous?», і з 5.19 воно типово не ввімкнене15. Debian теж його блокує. Ось файл на моєму хості, дослівно:
# cat /etc/modprobe.d/amd64-microcode-blacklist.conf
# The microcode module attempts to apply a microcode update when
# it autoloads. This is not always safe, so we block it by default.
blacklist microcode
Не чіпай його. На хості вище він на місці, і там усе одно видно успішне раннє оновлення, тож він нічому не заважає.
Обидва шляхи потребують перезавантаження. Обійти це ніяк.
І це лише x86. Посібник Proxmox прямо каже: «There is no equivalent operating-system-level microcode package for arm64»13.
Чому в оновленого хоста його немає
«Non-free» у non-free-firmware стосується ліцензії, а не грошей чи підписки Proxmox.
Вікі Debian пояснює: бік ядра це вільне програмне забезпечення, але дані оновлення від виробника «opaque», «and its contents are unknown to Debian»16.
Ось чому він живе в окремому компоненті і чому система Debian його не отримує, поки компонент не ввімкнено.
Інсталятор Proxmox VE 9.0 його вмикає. Примітки до випуску кажуть, що ISO буде «Install the microcode package matching the current platform», і що «installations now have the non-free-firmware repository enabled»7. Оновлення не робить ні того, ні іншого, бо зберігає рядки репозиторіїв, які були на 8.x.
| Чисте встановлення 9.x | Оновлено з 8.x | |
|---|---|---|
non-free-firmware | увімкнено інсталятором | те, що було на 8.x, часто відсутній |
| Пакет мікрокоду | встановлено для виявленого CPU | немає, поки не додаси компонент |
| Що тобі каже | нічого не треба | pve8to9, як FAIL і WARN, і лише якщо ти його запустиш |
| Подальші оновлення | apt full-upgrade і перезавантаження | те саме, щойно пакет встановлено |
Перевірка таки це позначає, і гучніше, ніж я чекав. Ось вона на моєму вузлі Intel, який прийшов з 8.x:
# pve8to9 | grep -i -B1 -A2 microcode
PASS: Legacy file '/etc/sysctl.conf' is not present.
INFO: Checking if matching CPU microcode package is installed.
FAIL: unable to determine installed intel-microcode version.
WARN: The matching CPU microcode package 'intel-microcode' could not be found! Consider installing it to receive the latest security and bug fixes for your CPU.
apt install intel-microcode
SKIP: NOTE: Expensive checks, like CT cgroupv2 compat, not performed without '--full' parameter
FAIL це побічний ефект: пошук версії записує збій для будь-якого невстановленого пакета, ще до того, як перевірка мікрокоду дійде до власного попередження17.
Так чи інакше, pve8to9 це перевірка, а не шлагбаум. Він не запускає оновлення і не може його зупинити, тож оновлення пролітає повз нього.
Чи має це значення на практиці? Ось два випадки, де має, і перший мій.
Той вузол Intel це Celeron N5100. Його список джерел уже містив non-free-firmware, тож пакет був за одну команду, і до 27 жовтня 2026 ніхто її не виконав.
Ядро помітило, навіть якщо ніхто інший не помітив:
# dmesg | grep -i microcode
[ 0.000000] x86/CPU: Running old microcode
[ 0.497219] microcode: Current revision: 0x0000001d
# lscpu | grep -i 'old microcode'
Vulnerability Old microcode: Vulnerable
Ядро тримає «a table of released microcode», і CPU, що завантажився на чомусь старшому, «will say ‘Vulnerable’»18. Наскільки старе це старе? Примітки до випусків Intel відповідають на це для цього чипа19:
| Ревізія | Випуск Intel | На цьому хості |
|---|---|---|
0x1d | microcode-20210608 | те, що прошивка плати вантажить сьогодні |
0x2400001f | microcode-20220207 | |
0x24000023 | microcode-20220510 | вийшла за шість місяців до збірки BIOS цієї плати |
0x24000024 | microcode-20230214 | |
0x24000026 | microcode-20240312 | у intel-microcode 3.20251111.1~deb13u1 від Debian |
BIOS версії 5.19, датований 8 листопада 2022, і він досі вантажить перший мікрокод, який Intel узагалі випустив для цього чипа, хоча на момент збірки вже існували два новіші. Саме для такого випадку існує шлях раннього завантаження: чотири оновлення лежать у пакеті, який хост уже бачив. Я встановив його, поки писав це, і що з того вийшло, описано в Як це ввімкнути, бо там є підступ.
Другий випадок від AMD. Чипи Zen 5 мають помилку в інструкції RDSEED20.
Примітки до випуску Proxmox 9.1 фіксують, що буде далі: ядра від 6.17.9 і новіші «without active microcode update will disable the RDSEED32 CPU-bit, and will fail to run Qemu guests with a CPU type that exposes that bit (for example EPYC or EPYC-v4)»21.
Виправлення це amd64-microcode 3.20251202.1~bpo13+1 чи новіший, а це версія з репозиторію Proxmox, не з Debian.
Усередині цієї пастки є друга.
На платах Zen 5, чий BIOS старший за виправлення вразливості AMD Entrysign, ядро відкидає новий мікрокод і пише No sha256 digest for patch ID, а порада Proxmox оновити BIOS21.
Тож на такому залізі шлях через ОС працює лише після того, як виробник плати зробив свою частину.
Як це ввімкнути
Спершу запиши, де ти зараз. На хості, від root:
pveversion
grep -m1 vendor_id /proc/cpuinfo # GenuineIntel or AuthenticAMD
grep microcode /proc/cpuinfo | uniq # revision running now
dpkg -l intel-microcode amd64-microcode 2>/dev/null | grep ^ii
dmesg | grep -i microcode
lscpu > /root/lscpu-before.txt # vulnerabilities and mitigations
Якщо dpkg уже показує відповідний пакет як ii, хост готовий, і можна перейти до перевірки результату.
Увімкни компонент.
apt у trixie віддає перевагу формату deb822 .sources, а посібник з оновлення Proxmox вказує на apt modernize-sources, щоб перетворити старі однорядкові файли, зберігши оригінали як .bak22.
Потім додай non-free-firmware до рядка Components: і основної, і безпекової строфи в /etc/apt/sources.list.d/debian.sources.
Ось файл на моєму хості, який прийшов з інсталятора:
Types: deb
URIs: http://deb.debian.org/debian/
Suites: trixie trixie-updates
Components: main contrib non-free-firmware
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg
Types: deb
URIs: http://security.debian.org/debian-security/
Suites: trixie-security
Components: main contrib non-free-firmware
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg
Обидві строфи, бо Debian постачає мікрокод у stable обома шляхами.
Архів безпеки містить intel-microcode 3.20250812.1~deb13u1, тоді як основний архів уже перейшов на 3.20251111.1~deb13u123, а тобі потрібен найновіший.
Встанови той, що відповідає CPU.
apt update
apt install intel-microcode # Intel
apt install amd64-microcode # AMD
Лише той, що для твого виробника. Відтоді новий мікрокод приходить зі звичайними apt full-upgrade, і кожна нова версія потребує перезавантаження, як і перша.
Встановлення перебудовує initramfs, бо саме там має жити ранній мікрокод.
Ядро читає його з нестисненого архіву на початку initrd, як kernel/x86/microcode/GenuineIntel.bin чи AuthenticAMD.bin15, а скрипт встановлення пакета запускає тригер initramfs, щоб покласти його туди24.
Ось мій вузол Intel, що бере пакет, поки писався цей допис:
# grep -A6 'Setting up intel-microcode' /var/log/apt/term.log
Setting up intel-microcode (3.20251111.1~deb13u1) ...
intel-microcode: microcode will be updated at next boot
Processing triggers for man-db (2.13.1-1) ...
Processing triggers for initramfs-tools (0.148.4) ...
update-initramfs: Generating /boot/initrd.img-7.0.14-24-pve
Running hook script 'zz-proxmox-boot'..
Re-executing '/etc/kernel/postinst.d/zz-proxmox-boot' in new private mount namespace..
zz-proxmox-boot це хук Proxmox. На хості, чиї розділи EFI веде proxmox-boot-tool, він копіює туди новий образ; у цього синхронізувати нічого.
Тепер подивися, який образ він згенерував. Без указаного ядра update-initramfs -u перебудовує лише найновіший: «The default is the latest kernel version»25.
Той самий вузол одразу після цього:
# uname -r
7.0.14-23-pve
# for f in /boot/initrd.img-*; do echo "$f: $(lsinitramfs $f 2>/dev/null | grep -c GenuineIntel.bin)"; done
/boot/initrd.img-7.0.12-1-pve: 0
/boot/initrd.img-7.0.14-11-pve: 0
/boot/initrd.img-7.0.14-12-pve: 0
/boot/initrd.img-7.0.14-19-pve: 0
/boot/initrd.img-7.0.14-23-pve: 0
/boot/initrd.img-7.0.14-24-pve: 1
/boot/initrd.img-7.0.14-8-pve: 0
Один образ із семи містить мікрокод, і це не той, з яким хост працює.
| Наступне завантаження | Мікрокод в initramfs | Ревізія, на якій опиниться CPU |
|---|---|---|
| 7.0.14-24, типовий пункт | так | 0x24000026 з пакета |
| 7.0.14-23, закріплений чи резервний пункт | ні | 0x1d з BIOS |
| будь-що старше | ні | 0x1d з BIOS |
Тож перебудуй усі образи після встановлення і знову після кожного оновлення мікрокоду, бо кожне запускає ту саму перебудову лише найновішого. Потім знову запусти цикл вище, щоб це довести:
update-initramfs -u -k all
Перезавантаж і перевір. Ось мій хост AMD 9.2 після того, як став пакет з репозиторію Proxmox:
# grep microcode /proc/cpuinfo | uniq
microcode : 0xa500012
# dmesg | grep -i microcode
[ 0.587928] microcode: Current revision: 0x0a500012
[ 0.587930] microcode: Updated early from: 0x0a50000d
Updated early from це рядок, що доводить результат.
Власний посібник адміністратора Proxmox досі показує старіше формулювання, microcode updated early to revision13; нинішнє ядро друкує два рядки вище26. Будь-яка форма означає, що спрацювало.
Відсутність такого рядка сама по собі не збій. Він з’являється лише тоді, коли пакет містить щось новіше і за вбудовану ревізію CPU, і за ту, що завантажив BIOS. Пакет охоплює дуже багато моделей CPU, і посібник має рацію, що дата на ньому не каже, коли твоя модель востаннє щось отримала13.
Як розкотити це кластером
Зміну репозиторію і встановлення можна робити на всіх вузлах одразу. Нічого не зміниться до перезавантаження. Перезавантаження йдуть по одному вузлу, і кожен вузол здоровий, перш ніж наступний піде вниз.
| Крок | Команда | Готово, коли |
|---|---|---|
| Кластер здоровий | pvecm status, ceph -s | є кворум, HEALTH_OK |
| Звільни вузол | ha-manager crm-command node-maintenance enable <node>, гостей без HA мігруй вручну | гостей на ньому не лишилося |
| За бажанням, Ceph | ceph osd set noout | прапорець видно в ceph -s |
| Перезавантаж, перевір | dmesg | grep -i microcode | видно нову ревізію |
| Ceph відновився | ceph -s | усі OSD up і in, HEALTH_OK |
| Відпусти | node-maintenance disable <node>, ceph osd unset noout | гості HA повернулися |
Режим обслуговування HA записує, звідки прийшов кожен гість HA, і повертає його, щойно вузол виходить з обслуговування27. Гості без HA твоя справа.
Щодо noout думки розходяться, і обидві сторони мають рацію.
Ceph швидко позначає мовчазний OSD як down, але як out лише після mon_osd_down_out_interval, що типово дорівнює десяти хвилинам28, а перебалансування запускає саме out.
Звичайне перезавантаження повертається задовго до цього. Сервер із довгим POST, запитом прошивки чи повільним RAID-контролером може й не встигнути.
noout не дає повільному перезавантаженню перетворитися на перебалансування. Ціна в тому, що треба не забути його зняти, а забутий noout згодом ховає справжню відмову.
Зроби весь кластер в одне вікно.
Вузли з різними ревізіями мікрокоду це якраз та ситуація, коли гість із типом CPU host, який бачить можливості фізичного CPU напряму, може мігрувати наживо на вузол, що повідомляє інший набір.
Коли оновлення мікрокоду йде не так
Рідко, але буває, і посібник Proxmox це добре описує13.
| Ситуація | Що робити | Чому |
|---|---|---|
| Підозрюєш новий мікрокод | завантажся один раз із dis_ucode_ldr | вимикає завантажувач лише на це завантаження29 |
| Стара ревізія в порядку, нова ні | встанови попередню версію і притримай її | purge може залишити працювати ще старішу ревізію з BIOS |
| Через кілька тижнів | apt-mark unhold, потім full-upgrade | виправлення деінде може вилікувати це на тій самій версії мікрокоду |
Для разового завантаження: меню GRUB (тримай Shift, якщо воно сховане), E на пункті Proxmox, допиши dis_ucode_ldr у рядок, що починається з linux, потім Ctrl+X.
Хост на systemd-boot замість GRUB описано в розділі про завантажувач у посібнику адміністратора.
Відкат на Intel:
apt list -a intel-microcode # what versions exist
apt install intel-microcode=<version> # pick the earlier one
apt-mark hold intel-microcode # stop the next upgrade undoing it
reboot
На AMD підстав amd64-microcode. Відкочуй, ніколи не роби purge.
Типове налаштування це обіцянка тому, хто пішов очікуваним шляхом
Жодне з цього не баг. Proxmox обидва рази зробив розумну річ: увімкнув можливість там, де вона безпечна, лишив вимкненою там, де може бути ні, і закріпив віртуальне залізо, до якого гість прискіпливий. Інсталятор виправили, перевірка оновлення це позначає, журнал змін каже, що змінилося і коли. Proxmox свою частину зробив.
Але типове налаштування це обіцянка, дана людині, яка робила все так, як очікував виробник. Чисте встановлення, правильний тип ОС, VM створена після липня. Кожен, чиє господарство має історію, а це кожен, хто запускає щось справжнє, частково поза цією обіцянкою, і прогалина про себе не оголошує. Вона проявляється як трохи повільний гість, зависання VBS, яке ніхто не пов’язує з версією машини, чи вузол Zen 5, де гості EPYC не стартують після оновлення ядра.
Примітки до випуску описують, що отримує нове встановлення.
Вони нічого не кажуть про те, з чим твої хости працюють насправді, а це різні питання.
Єдиний спосіб відповісти на друге: піти й подивитися. qm showcmd на гостях, dmesg на хостах, рядок машини в конфігурації.
Ніщо з цього не займає більше хвилини на машину.
Ця хвилина і є робота. Proxmox дає тобі інструменти для перевірки, тож прогалину між тим, що ти припускав, і тим, що працює, закривати тобі, а не їм.
QEMU documentation — Hyper-V Enlightenments — «No Hyper-V enlightenments are enabled by default by either KVM or QEMU»; описи кожного прапорця;
hv-evmcs«The feature is Intel-only» і «some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled». ↩︎ ↩︎ ↩︎Proxmox qemu-server —
CPUConfig.pm—get_hyperv_enlightenments: перевірки OVMF і версії, обмеження за версією машини і перевіркаGenuineIntelдляhv_evmcs. Запущено тут з qemu-server 9.2.11. ↩︎Proxmox VE admin guide — Qemu/KVM Virtual Machines — «You can choose between the default Intel 440FX or the Q35 chipset» і «switch from the default SeaBIOS to OVMF»; «For Windows guests, the machine version is pinned during creation, because Windows is sensitive to changes in the virtual hardware - even between cold boots»; властивість
levelі типовіcet-ibt/cet-ssдля цих гостей. ↩︎ ↩︎ ↩︎ ↩︎Proxmox qemu-server — Debian changelog — 9.2.0 (15 липня 2026) вмикає
hv-evmcsдля гостей 11/2022/2025 на Intel з машини 11.0+pve2; 9.1.14 відкриваєlevel; 9.1.12 вимикаєcet-ibtіcet-ss; закріплення при перемиканні на тип ОС Microsoft Windows (січень 2025); 6.0-6 (23 липня 2019) «Make sometimes problematic ‘hv-tlbflush’ and ‘hv-evmcs’ CPU flags optional». ↩︎ ↩︎ ↩︎ ↩︎Proxmox qemu-server —
Machine.pm—can_run_pve_machine_versionповертає false, коли major.minor QEMU машини новіший за встановлений двійковий файл; ревізії+pveNперелічено в тому самому файлі. ↩︎Proxmox qemu-server 9.2.0 —
debian/control— на коміті «bump version to 9.2.0» від 15 липня 2026 залежність часу виконання цеpve-qemu-kvm (>= 7.1~). ↩︎Proxmox VE Roadmap — 9.0, Installation ISO — «Install the microcode package matching the current platform… This also means that installations now have the non-free-firmware repository enabled.»; той самий випуск перелічує «QEMU 10.0.2» ↩︎ ↩︎
Proxmox pve-qemu — Debian changelog — 10.0.2-1 (17 червня 2025) «update QEMU and downstream patches for 10.0.2 release», що несе виправлення 10.0 нижче; 10.1.2-3 «a regression with VNC clipboard breaking mouse pointer in Windows guests»; 10.1.2-5 виправлення io_uring для «backup with TPM disk potentially getting stuck»; 11.0.0-1 «regression when using fuse export for swtpm»; 11.0.2-1 «recognize Hyper-V enlightenments in the list of supported CPUID flags». ↩︎
QEMU upstream changelogs, 10.0 — «Workaround ‘PCI Label Id’ Windows bug, which is normally harmless but on localized versions can lead to guest hangs»; 10.1, 10.2 і 11.0 для виправлень VSS і заморожування в гостьовому агенті, включно з «Fix guest-fs-freeze cause „Access denied Event ID 8194“ in Event Viewer». ↩︎ ↩︎
Proxmox VE wiki — Qemu-guest-agent — для цього гостя «First you have to download the virtio-win driver iso». ↩︎
Proxmox qemu-server —
CPUFlags.pm— список прапорців для кожної VM з описамиhv-tlbflushіhv-evmcs, процитованими вище. ↩︎Proxmox pve-manager —
OSDefaults.js— пунктwin11задаєmachine: 'q35'іbios: 'ovmf'; інші пункти Microsoft Windows успадковуютьgeneric, який машину не задає. ↩︎Proxmox VE admin guide — CPU Microcode Updates — ранні оновлення з ОС, шлях BIOS/UEFI як рекомендований, відсутність пакета ОС для arm64, процедура
dis_ucode_ldrі відкат замість purge. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Proxmox VE
pve-no-subscriptionrepository for trixie — міститьamd64-microcode3.20251202.1~bpo13+1і не міститьintel-microcode, прочитано 27 жовтня 2026. ↩︎Linux kernel documentation — The Linux Microcode Loader — «Since kernel 5.19, late loading is not enabled by default» і розділ «Why is late loading dangerous?». ↩︎ ↩︎
Debian Wiki — Microcode — надані виробником CPU «opaque» дані оновлення «is non-free, and its contents are unknown to Debian». ↩︎
Proxmox pve-manager —
pve8to9.pm—check_cpu_microcode_packageзаписує попередження; пошук$get_pkg, який він викликає першим, записує «unable to determine installed $pkg version.» як збій для будь-якого невстановленого пакета. ↩︎Linux kernel documentation — Old Microcode — «The kernel keeps a table of released microcode. Systems that had microcode older than this at boot will say ‘Vulnerable’.» (внутрішні лапки змінено з подвійних на одинарні) ↩︎
Intel — Linux Processor Microcode Data Files, release notes — рядки JSL для 06-9c-00/01, «Celeron N4500/N4505/N5100/N5105», у випусках від 20210608 до 20240312;
0x24000026прочитано із заголовка06-9c-00у пакеті Debian. ↩︎AMD security bulletin AMD-SB-7055 — проблема RDSEED на процесорах Zen 5. ↩︎
Proxmox VE Roadmap — 9.1 known issues, AMD Zen5 CPU issue with RDSEED — збій запуску гостя, виправлена версія пакета і повідомлення
No sha256 digestна платах без виправлення Entrysign у BIOS. ↩︎ ↩︎Proxmox VE wiki — Upgrade from 8 to 9 —
apt modernize-sourcesперетворює на deb822 і зберігає старі файли із суфіксом.bak. ↩︎Debian packages —
intel-microcodein trixie — версії stable і security, перевірені черезapt-cache policyна хості. ↩︎Debian sources —
intel-microcode.postinst—dpkg-trigger --no-await update-initramfs, потім «microcode will be updated at next boot»;amd64-microcodeробить те саме. ↩︎Debian manual —
update-initramfs(8)— для-k«The default is the latest kernel version», а «all» працює «on all installed kernel versions that already have an initramfs (with -d or -u)». ↩︎Linux kernel source —
arch/x86/kernel/cpu/microcode/core.c— друкує «Current revision: 0x%08x» і «Updated early from: 0x%08x». ↩︎Proxmox VE admin guide — High Availability, maintenance mode — служби HA переносяться і повертаються «automatically once the maintenance mode is disabled and the node is back online». ↩︎
Ceph documentation — Configuring Monitor/OSD Interaction —
mon_osd_down_out_interval, «The number of seconds Ceph waits before marking a Ceph OSD Daemon down and out», типово 10 хвилин. ↩︎Linux kernel documentation — kernel parameters —
dis_ucode_ldr: «Disable the microcode loader.» ↩︎