Навіщо він тобі
QEMU вміє емулювати справжній контролер NVMe. Не паравіртуальний пристрій, для якого треба підкласти драйвер, а контролер PCIe NVMe, який гість розпізнає як звичайний SSD і обслуговує тією підтримкою NVMe, що в нього вже є.
У цьому вся принадність, і вона варта більшого, ніж здається.
Linux має вбудований драйвер nvme уже багато років. Windows постачає stornvme починаючи з Windows 8.1 і Server 2012 R2. Тож гість завантажується, знаходить контролер PCIe NVMe, підвантажує власний драйвер і бачить диск. Жодного ISO з VirtIO, жодного впорскування драйверів під час встановлення і жодного екрана «дисків не знайдено» посеред інсталятора Windows.
Хто сидів і дивився на той екран, із примонтованим ISO VirtIO і інсталятором, який усе одно наполягає, що дисків немає, одразу зрозуміє принадність.
Друга причина: воно поводиться як NVMe на всіх рівнях. nvme-cli працює. Простори імен справжні. Формати LBA, байти метаданих і інформацію захисту можна налаштувати. Тож це дуже добре місце, щоб тренувати операції, які не варто тренувати на залізі з даними.
Як його додати
У Proxmox немає ні прапорця в GUI, ні ключа конфігурації для цього. Це сирий пристрій QEMU, тож він іде в args: у /etc/pve/qemu-server/<vmid>.conf.
Документація QEMU дає мінімальну пару: диск-носій без інтерфейсу і контролер, який його споживає. Прямо в /etc/pve/qemu-server/<vmid>.conf, без лапок:
args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier
if=none важливий: він каже QEMU не чіпляти диск до типового контролера, бо його забере рядок -device nvme. id= на диску і drive= на пристрої мають збігатися. Саме ця пара з’єднує дві половини.
serial= обов’язковий; без нього QEMU відмовиться запускати ВМ. Вибери щось упізнаване, бо саме це гість покаже в nvme list і smartctl, а питання «котрий із цих чотирьох однакових віртуальних дисків котрий» ти рано чи пізно поставиш.
Лапки: на цьому спотикаються всі
Чи брати рядок у лапки, залежить від того, де ти його набираєш, і переплутати це найчастіша причина, чому така штука не працює з першої спроби.
Proxmox зберігає значення args: і потім розбиває його через Text::ParseWords::shellwords. Тож у файлі конфігурації лапки враховуються і знімаються. Рядок, повністю взятий у лапки, стає одним аргументом:
# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"
Після shellwords це дає рівно один елемент. Без лапок той самий рядок дає чотири, які QEMU справді потрібні: -drive, його блок параметрів, -device, його блок параметрів.
У командному рядку навпаки, бо там ти береш у лапки для своєї оболонки, а не для Proxmox. Тут лапки потрібні, а в конфігурації зберігається значення без них:
qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"
Обидва варіанти правильні. Просто вони не взаємозамінні. Якщо збираєш рядок через qm set, перевір результат потім через qm config 100, і побачиш, що він збережений без лапок. Саме таку форму хоче файл конфігурації.
Спершу створи образ-носій, якщо його ще немає:
qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G
Більше ніж один простір імен
Для чогось більшого за один диск відокрем контролер від його просторів імен:
-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1
Ідентифікатори просторів імен призначаються автоматично, починаючи з 1. Саме ця конфігурація робить пристрій справді корисним для навчання, бо керування просторами імен це та частина NVMe, якої більшість людей ніколи не торкається.
Віртуальний простір імен 4Kn
Простір імен приймає звичні властивості розміру блоку, і QEMU виводить із них розмір даних LBA напряму. hw/nvme/ns.c обчислює показник формату як ds = 31 - clz32(ns->blkconf.logical_block_size). Тож це дає тобі справжній 4K-native простір імен:
-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096
Пристрій простору імен також приймає ms для байтів метаданих на LBA, mset для розширених LBA, а pi і pif для типу інформації захисту і формату guard.
Це повна лабораторія для всього зі статті про 4Kn і 512e: логічні блоки по 512 і по 4096 байтів, формати з метаданими, T10-PI, на пристрої, який можна знищувати скільки завгодно.
Перевір, що воно з’явилося
Зсередини гостя:
lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"
Ти маєш побачити справжній простір імен NVMe з тими розмірами блоків, які просив.
Від чого ти відмовляєшся
Від трьох речей, і перші дві не компроміси продуктивності. Це вилучені можливості. Знай про них, перш ніж класти щось на цей пристрій.
1. Жива міграція вимкнена
Це не обмеження Proxmox і не недогляд. QEMU оголошує пристрій немігровним у самій моделі пристрою. З hw/nvme/ctrl.c у QEMU 10.2:
static const VMStateDescription nvme_vmstate = {
.name = "nvme",
.unmigratable = 1,
};
Три рядки, і середній розповідає всю історію. Контролер не має стану міграції, тож QEMU відмовляє в міграції замість того, щоб пробувати. Це правильна відмова. Ти отримуєш помилку, а не гостя, який прокидається на іншому вузлі з розгубленим диском.
Є й друга, незалежна причина, чому це не може працювати: Proxmox не знає, що диск існує. Навіть якби QEMU міг перенести стан пристрою, ніщо в логіці міграції PVE не подбало б, щоб том-носій був доступний на цільовому вузлі.
Але варто стежити: гілка розробки QEMU замінила загальний прапорець функцією nvme_set_migration_blockers(), яка дозволяє міграцію і блокує її лише для певних функцій. Наприклад, для більш ніж одного простору імен, де коментар зазначає «we don’t handle this in migration code yet». У релізах аж до 10.2 включно цього ще немає, тож сьогодні тобі це не допоможе, але схоже, що обмеження пом’якшать. Перевір власну версію QEMU, а не довіряй статті.
2. Резервні копії Proxmox його не побачать
vzdump і Proxmox Backup Server копіюють томи, які є в конфігурації ВМ як диски: scsi0, virtio0 тощо. Диск, підключений через args:, не з них. Це сирий пристрій QEMU, про який PVE не знає нічогісінько.
Тож резервне копіювання запускається, звітує про успіх і не містить цього пристрою.
Такий режим відмови гірший за помилку, бо тобі ніщо про це не каже. Те саме скрізь: жодних знімків PVE, жодної зміни розміру диска з GUI, жодного Move Disk, жодного обліку в поданні сховища. Якщо ти створив том через PVE, а потім від’єднав, PVE може його й не прибрати. Сирота, яка колись когось заплутає.
Якщо на такому пристрої житимуть дані, роби резервні копії зсередини гостя і запиши десь, що гіпервізор їх не покриває.
3. Він не швидший за VirtIO SCSI
Це дивує людей, бо «NVMe» звучить як функція продуктивності. Тут це не так.
VirtIO SCSI і VirtIO block паравіртуальні: драйвер гостя і гіпервізор ділять кільцевий буфер, створений саме для цієї роботи, і гість знає, що говорить із гіпервізором.
Емульований контролер NVMe за задумом протилежний. Він показує справжні регістри NVMe, тож гість програмує його так, ніби це залізо. Кожен запис у doorbell це доступ MMIO, який провалюється в гіпервізор. Коректно, але дорожче на кожну операцію вводу-виводу, ніж покласти дескриптор у кільце.
Власна документація QEMU теж відверта щодо шорсткостей пристрою: об’єднання переривань «is not supported and is disabled by default», а лічильники на сторінці журналу SMART/Health «are reset when the device is power cycled».
Ніщо з цього не робить його повільним в абсолютних цифрах. Ним цілком можна користуватися. Просто не вибирай його в надії на більшу пропускну здатність, ніж дає VirtIO SCSI. Вибирай його заради драйвера або заради семантики NVMe.
Де він справді виправдовує своє місце
- Встановлення гостя без носія VirtIO. Інсталятор Windows, який не бачить диск VirtIO SCSI, побачить диск NVMe, бо драйвер уже є в образі. Встанови на нього, а потім вирішуй, чи переходити на VirtIO.
- Пристрої та образи, які ти не контролюєш. Усе, що постачається готовим образом без драйверів VirtIO і що ти волів би не перезбирати.
- Навчання і лабораторна робота.
nvme format --lbaf, створення і підключення просторів імен, метадані та інформація захисту: операції, які на справжньому залізі руйнівні й залежать від виробника, тут безкоштовні. Це найбезпечніший спосіб набити руку, перш ніж торкатися диска, який має значення. - Відтворення чужої топології. Якщо ти налагоджуєш розкладку NVMe клієнта, емульований контролер із відповідними просторами імен і розмірами блоків дає набагато швидший цикл, ніж позичати його залізо.
Що використовувати натомість у продакшні
Для ВМ, якій потрібні продуктивність, функції PVE і спокійне життя: VirtIO SCSI single з iothread=1, discard=on і ssd=1 на cache=none. Саме таке налаштування зберігає живу міграцію, резервні копії, знімки і подання сховища в робочому стані.
Для ВМ, якій потрібні останні кілька відсотків і яка свідомо може відмовитися від цих функцій, відповідь не емульований пристрій NVMe. Це справжній проброс, зі своїми жорсткими компромісами, описаними в статті про податок IOMMU.
Емульований пристрій NVMe не належить до жодного з таборів. Тож це інструмент для сумісності й лабораторії, і в цій ролі він дуже добрий.
Використовуй його для роботи, яку він робить добре, і він тебе не підведе. Попроси його бути функцією продуктивності, і він підведе тебе дуже швидко.
Джерела
- QEMU — NVMe Emulation — синтаксис
-drive/-device nvme,nvme-nsдля кількох просторів імен, параметри простору іменms/mset/pi/pifі заявлені обмеження щодо об’єднання переривань та обліку SMART - QEMU source —
hw/nvme/ctrl.c— оголошенняnvme_vmstateз.unmigratable = 1у релізі 10.2 - QEMU source —
hw/nvme/ns.c— простір імен, що виводить свій формат LBA зlogical_block_size - Proxmox VE — Backup and Restore — що покриває
vzdump, і параметри резервного копіювання для окремих томів, які існують для дисків під керуванням PVE - Proxmox VE — Qemu/KVM Virtual Machines — VirtIO SCSI,
iothread,discardі підтримувані параметри дисків