Po co ci w ogóle taki dysk

QEMU potrafi emulować prawdziwy kontroler NVMe. Nie urządzenie parawirtualne, do którego musisz dostarczyć sterownik, tylko kontroler PCIe NVMe, który gość rozpoznaje jako zwykły dysk SSD i obsługuje wsparciem NVMe, które już ma.

Na tym polega cały urok, i jest on wart więcej, niż się wydaje.

Linux ma wbudowany sterownik nvme od lat. Windows dostarcza stornvme od Windows 8.1 i Server 2012 R2. Gość się więc uruchamia, wylicza kontroler PCIe NVMe, ładuje własny sterownik i znajduje dysk. Żadnego ISO z VirtIO, żadnego wstrzykiwania sterowników przy instalacji i żadnego ekranu „nie znaleziono dysków” w połowie instalatora Windows.

Każdy, kto siedział i gapił się na ten ekran, z zamontowanym ISO VirtIO i instalatorem nadal upierającym się, że dysków nie ma, od razu zobaczy, o co chodzi.

Drugi powód jest taki, że to zachowuje się jak NVMe od dołu do góry. nvme-cli działa. Przestrzenie nazw są prawdziwe. Formaty LBA, bajty metadanych i informacje o ochronie są w pełni konfigurowalne. To czyni z niego bardzo dobre miejsce do ćwiczenia operacji, których nie powinieneś ćwiczyć na sprzęcie trzymającym dane.

Jak go dodać

Proxmox nie ma na to ani pola wyboru w GUI, ani klucza konfiguracji. To surowe urządzenie QEMU, więc trafia do args: w /etc/pve/qemu-server/<vmid>.conf.

Dokumentacja QEMU podaje minimalną parę: dysk bazowy bez interfejsu i kontroler, który go konsumuje. Wpisane wprost do /etc/pve/qemu-server/<vmid>.conf, bez cudzysłowów:

args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier

if=none ma znaczenie: mówi QEMU, żeby nie podpinał dysku do domyślnego kontrolera, bo linia -device nvme zaraz go przejmie. id= przy dysku i drive= przy urządzeniu muszą się zgadzać. To ta para łączy obie połówki.

serial= jest obowiązkowy; bez niego QEMU odmawia uruchomienia maszyny. Wybierz coś, co rozpoznasz, bo dokładnie to gość zgłosi w nvme list i smartctl, a pytanie „który z tych czterech identycznych dysków wirtualnych jest który” w końcu sobie zadasz.

Cudzysłowy: na tym potyka się każdy

To, czy ująć ten ciąg w cudzysłów, zależy od tego, gdzie go wpisujesz, a zrobienie tego odwrotnie to najczęstszy powód, dla którego taka konfiguracja nie działa za pierwszym razem.

Proxmox zapisuje wartość args: i później dzieli ją przez Text::ParseWords::shellwords. W pliku konfiguracyjnym cudzysłowy są więc respektowane i usuwane. Ciąg ujęty w całości w cudzysłów staje się jednym argumentem:

# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"

Przepuszczone przez shellwords daje to dokładnie jeden element. Bez cudzysłowów ta sama linia daje cztery, których QEMU faktycznie potrzebuje: -drive, jego blok parametrów, -device, jego blok parametrów.

W wierszu poleceń jest odwrotnie, bo tam cytujesz dla swojej powłoki, a nie dla Proxmoksa. Tutaj cudzysłowy są wymagane, a w konfiguracji ląduje wartość bez nich:

qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"

Obie formy są poprawne. Po prostu nie są wymienne. Jeśli budujesz linię przez qm set, sprawdź potem wynik poleceniem qm config 100, a zobaczysz, że zapisała się bez cudzysłowów. Właśnie tej postaci chce plik konfiguracyjny.

Najpierw utwórz obraz bazowy, jeśli jeszcze nie istnieje:

qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G

Więcej niż jedna przestrzeń nazw

Do czegokolwiek ponad jeden dysk oddziel kontroler od jego przestrzeni nazw:

-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1

Identyfikatory przestrzeni nazw są przydzielane automatycznie, od 1 w górę. To właśnie ta konfiguracja czyni urządzenie naprawdę przydatnym do nauki, bo zarządzanie przestrzeniami nazw to ta część NVMe, której większość ludzi nigdy nie dotyka.

Wirtualna przestrzeń nazw 4Kn

Przestrzeń nazw przyjmuje zwykłe właściwości rozmiaru bloku, a QEMU wyprowadza z nich bezpośrednio rozmiar danych LBA. hw/nvme/ns.c liczy wykładnik formatu jako ds = 31 - clz32(ns->blkconf.logical_block_size). To daje ci porządną przestrzeń nazw natywną 4K:

-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096

Urządzenie przestrzeni nazw przyjmuje też ms dla bajtów metadanych na LBA, mset dla rozszerzonych LBA oraz pi i pif dla typu informacji o ochronie i formatu pola kontrolnego.

To kompletne laboratorium do wszystkiego, co jest w artykule o 4Kn i 512e: bloki logiczne 512-bajtowe kontra 4096-bajtowe, formaty z metadanymi, T10-PI, na urządzeniu, które możesz niszczyć, ile razy chcesz.

Sprawdź, czy wylądowało

Z wnętrza gościa:

lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"

Powinieneś zobaczyć prawdziwą przestrzeń nazw NVMe z rozmiarami bloków, o które prosiłeś.

Z czego rezygnujesz

Z trzech rzeczy, a dwie pierwsze to nie kompromisy wydajnościowe. To odebrane możliwości. Poznaj je, zanim położysz na tym urządzeniu cokolwiek.

Czym zarządza Proxmox, a co leży poza nim przy urządzeniu podpiętym przez argsW konfiguracji VM, jako dyskscsi0: local-zfs:vm-100-disk-0,iothread=1Proxmox posiada wolumen i wie, że istniejeW kopiach vzdump / PBStakMigawki PVEtakMigracja na żywotakResize i Move Disk w GUItakLiczony w widoku pamięcitakPodpięty przez args:-device nvme,drive=nvm1,serial=…surowe urządzenie QEMU: PVE nic o nim nie wieW kopiach zapasowychnieMigawki PVEnieMigracja na żywonieResize i Move DisknieLiczony w widoku pamięcinieTylko jedno z tych „nie” daje o sobie znać. Migracja na żywo kończy się błędem, bo QEMU oznaczaurządzenie jako niemigrowalne. Kopia po prostu się udaje bez tego dysku, i dlatego tonależy do twojej dokumentacji, nie tylko do pamięci.
Proxmox zarządza tym, co w konfiguracji maszyny jest dyskiem. Kontroler podpięty przez args jest poza tym, więc żadna funkcja zbudowana na warstwie pamięci masowej po prostu go nie obejmuje.

1. Migracja na żywo jest wyłączona

To nie ograniczenie Proxmoksa ani przeoczenie. QEMU deklaruje urządzenie jako niemigrowalne w samym modelu urządzenia. Z hw/nvme/ctrl.c w QEMU 10.2:

static const VMStateDescription nvme_vmstate = {
    .name = "nvme",
    .unmigratable = 1,
};

Trzy linie, a środkowa to cała historia. Kontroler nie ma stanu migracji, więc QEMU odmawia migracji, zamiast jej próbować. To właściwa awaria. Dostajesz błąd, a nie gościa, który wznawia pracę na innym węźle ze skołowanym dyskiem.

Jest drugi, niezależny powód, dla którego to nie może działać: Proxmox nie wie, że ten dysk istnieje. Nawet gdyby QEMU potrafił przenieść stan urządzenia, nic w logice migracji PVE nie zadbałoby o to, by wolumen bazowy był dostępny na węźle docelowym.

Warto jednak obserwować: gałąź rozwojowa QEMU zastąpiła ogólną flagę funkcją nvme_set_migration_blockers(), która pozwala na migrację i blokuje ją tylko dla konkretnych funkcji. Na przykład dla więcej niż jednej przestrzeni nazw, gdzie komentarz zauważa „we don’t handle this in migration code yet”. Nie pojawiło się to w żadnym wydaniu do 10.2 włącznie, więc dziś ci nie pomoże, ale to ograniczenie wygląda na takie, które złagodnieje. Sprawdź własną wersję QEMU, zamiast ufać artykułowi.

2. Kopie zapasowe Proxmoksa go nie zobaczą

vzdump i Proxmox Backup Server robią kopie wolumenów, które występują w konfiguracji maszyny jako dyski: scsi0, virtio0 i tak dalej. Dysk podpięty przez args: do nich nie należy. To surowe urządzenie QEMU, o którym PVE nie wie zupełnie nic.

Kopia zapasowa więc się wykonuje, zgłasza sukces i nie zawiera tego urządzenia.

Taki tryb awarii jest gorszy niż błąd, bo nic ci o nim nie mówi. To samo dotyczy wszystkiego innego: żadnych migawek PVE, żadnej zmiany rozmiaru dysku z GUI, żadnego Move Disk, żadnego rozliczenia w widoku pamięci masowej. Jeśli utworzyłeś wolumen przez PVE, a potem go odpiąłeś, PVE może go też nie posprzątać. Sierota, która czeka, żeby kiedyś kogoś zmylić.

Jeśli mają na takim dysku leżeć dane, rób ich kopie z wnętrza gościa i zapisz gdzieś, że hiperwizor ich nie obejmuje.

3. Nie jest szybszy od VirtIO SCSI

To ludzi zaskakuje, bo „NVMe” brzmi jak funkcja wydajnościowa. Tutaj nią nie jest.

VirtIO SCSI i VirtIO block są parawirtualne: sterownik gościa i hiperwizor dzielą bufor pierścieniowy zaprojektowany dokładnie do tego zadania, a gość wie, że rozmawia z hiperwizorem.

Emulowany kontroler NVMe jest z założenia przeciwieństwem. Wystawia prawdziwe rejestry NVMe, więc gość programuje go tak, jakby był sprzętem. Każdy zapis do dzwonka (doorbell) to dostęp MMIO, który przechwytuje hiperwizor. Poprawne, i droższe na operację wejścia-wyjścia niż położenie deskryptora w pierścieniu.

Wspólny pierścień kontra emulowane rejestrygość │ hiperwizorVirtIO SCSI: parawirtualnysterownik gościawie, że jest VMwspólny pierścieńoba końce go rozumiejąwarstwa blokowa hosta1 sygnałDeskryptor trafia do pierścienia, a host dostaje powiadomienie. Pierścień celowo leży na granicy.Emulowany NVMe: prawdziwe rejestrysterownik gościamyśli, że to sprzętrejestry NVMedzwonki, kolejki, MMIOwarstwa blokowa hostakażdy zapis do dzwonka to pułapkapułapka + emulacja, na operacjęGość robi dokładnie to, co zrobiłby z fizycznym kontrolerem, i o to chodzi: jego własnysterownik działa bez zmian. Dlatego też to funkcja zgodności, a nie wydajności.Łączenie przerwań nie jest obsługiwane i domyślnie wyłączone: wierne zachowanie sprzętu za cenęemulacji sprzętu.
Ścieżka parawirtualna to pierścień, który rozumieją i gość, i host. Ścieżka emulowana każe gościowi obsługiwać rejestry, a każdy zapis do dzwonka to przechwycenie: wierne zachowanie sprzętu za cenę emulacji sprzętu.

Dokumentacja QEMU jest szczera także co do szorstkich krawędzi urządzenia: łączenie przerwań „is not supported and is disabled by default”, a liczniki na stronie dziennika SMART/Health „are reset when the device is power cycled”.

Nic z tego nie czyni go wolnym w wartościach bezwzględnych. Nadaje się w pełni do użytku. Oznacza tylko, że nigdy nie powinieneś go wybierać w nadziei na większą przepustowość niż ta, którą daje VirtIO SCSI. Wybierz go dla sterownika albo dla semantyki NVMe.

Gdzie naprawdę zarabia na swoje miejsce

  • Instalacja gościa bez nośnika VirtIO. Instalator Windows, który nie widzi dysku VirtIO SCSI, zobaczy dysk NVMe, bo sterownik jest już w obrazie. Zainstaluj na nim, a potem zdecyduj, czy przejść na VirtIO.
  • Urządzenia i obrazy, nad którymi nie masz kontroli. Wszystko, co przychodzi jako gotowy obraz bez sterowników VirtIO i czego wolałbyś nie przebudowywać.
  • Nauka i praca w laboratorium. nvme format --lbaf, tworzenie i podpinanie przestrzeni nazw, metadane i informacje o ochronie: operacje destrukcyjne i zależne od producenta na prawdziwym sprzęcie są tu darmowe. To najbezpieczniejszy sposób, żeby wyrobić sobie pamięć mięśniową, zanim dotkniesz dysku, który ma znaczenie.
  • Odtwarzanie cudzej topologii. Jeśli debugujesz układ NVMe klienta, emulowany kontroler z pasującymi przestrzeniami nazw i rozmiarami bloków to dużo szybsza pętla niż pożyczanie jego sprzętu.

Czego używać zamiast tego w produkcji

Dla maszyny, która potrzebuje wydajności, funkcji PVE i spokojnego życia: VirtIO SCSI single, z iothread=1, discard=on i ssd=1, na cache=none. To układ, przy którym migracja na żywo, kopie zapasowe, migawki i widok pamięci masowej działają.

Dla maszyny, która potrzebuje ostatnich kilku procent i może świadomie zrezygnować z tych funkcji, odpowiedzią nie jest emulowane urządzenie NVMe. Jest nią prawdziwy passthrough, z własnymi twardymi kompromisami, opisanymi w artykule o podatku IOMMU.

Emulowane urządzenie NVMe nie należy do żadnego z tych obozów. Jako takie jest narzędziem do zgodności i do laboratorium, i w tej roli jest bardzo dobre.

Używaj go do zadania, w którym jest dobre, a cię nie zawiedzie. Każ mu być funkcją wydajnościową, a zawiedzie cię bardzo szybko.

Źródła