Perché dovresti volerne uno

QEMU sa emulare un vero controller NVMe. Non un dispositivo paravirtuale che ha bisogno di un driver fornito da te, ma un controller NVMe PCIe che il guest riconosce come un normale SSD e pilota con il supporto NVMe che ha già.

È tutto qui il fascino, e vale più di quanto sembri.

Linux ha un driver nvme di serie da anni. Windows include stornvme da Windows 8.1 e Server 2012 R2. Quindi un guest si avvia, enumera un controller NVMe PCIe, carica il proprio driver e trova un disco. Niente ISO VirtIO, niente iniezione di driver in fase di installazione, e niente schermata «nessun disco trovato» a metà di un installer di Windows.

Chiunque sia rimasto a fissare quella schermata, con la ISO VirtIO montata e l’installer che insiste che non ci sono dischi, ne vedrà subito il fascino.

Il secondo motivo è che si comporta da NVMe fino in cima. nvme-cli funziona. I namespace sono veri. Formati LBA, byte di metadati e informazioni di protezione sono tutti configurabili. Il che lo rende un ottimo posto per esercitarsi nelle operazioni che non dovresti provare su hardware che contiene dati.

Come aggiungerne uno

Proxmox non ha né una casella nella GUI né una chiave di configurazione per questo. È un dispositivo QEMU grezzo, quindi va in args: dentro /etc/pve/qemu-server/<vmid>.conf.

La documentazione di QEMU dà la coppia minima: un drive di supporto senza interfaccia, e il controller che lo consuma. Scritto direttamente in /etc/pve/qemu-server/<vmid>.conf, senza virgolette:

args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier

if=none conta: dice a QEMU di non agganciare il drive a un controller predefinito, perché la riga -device nvme lo reclamerà. L’id= sul drive e il drive= sul dispositivo devono coincidere. È quell’abbinamento a unire le due metà.

Il serial= è obbligatorio: QEMU si rifiuta di avviare la VM senza. Scegli qualcosa che riconoscerai, perché è esattamente ciò che il guest riporta in nvme list e smartctl, e «quale di questi quattro drive virtuali identici è quale» è una domanda che prima o poi ti farai.

Le virgolette: il punto dove cascano tutti

Se mettere tra virgolette quella stringa dipende da dove la stai scrivendo, e sbagliarlo al contrario è il motivo più comune per cui uno di questi fallisce al primo tentativo.

Proxmox memorizza il valore di args: e poi lo spezza con Text::ParseWords::shellwords. Quindi nel file di configurazione le virgolette vengono rispettate e tolte. Una stringa interamente tra virgolette diventa un unico argomento:

# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"

Passata per shellwords, quella riga produce esattamente un elemento. Senza virgolette, la stessa riga produce i quattro di cui QEMU ha davvero bisogno: -drive, il suo blocco di parametri, -device, il suo blocco di parametri.

Sulla riga di comando è il contrario, perché lì stai mettendo le virgolette per la tua shell, non per Proxmox. Qui le virgolette servono, e ciò che finisce nella configurazione è il valore senza virgolette:

qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"

Sono corretti tutti e due. Solo che non sono intercambiabili. Se costruisci la riga con qm set, controlla poi il risultato con qm config 100 e la vedrai salvata nuda. È la forma che vuole il file di configurazione.

Crea prima l’immagine di supporto, se non esiste:

qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G

Più di un namespace

Per qualsiasi cosa oltre un singolo disco, separa il controller dai suoi namespace:

-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1

Gli identificatori di namespace vengono assegnati automaticamente da 1 in su. È questa la configurazione che rende il dispositivo davvero utile per imparare, perché la gestione dei namespace è la parte di NVMe che la maggior parte della gente non tocca mai.

Un namespace virtuale 4Kn

Il namespace accetta le solite proprietà di dimensione del blocco, e QEMU ne ricava direttamente la dimensione dei dati LBA. hw/nvme/ns.c calcola l’esponente del formato come ds = 31 - clz32(ns->blkconf.logical_block_size). Quindi questo ti dà un vero namespace 4K nativo:

-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096

Il dispositivo namespace accetta anche ms per i byte di metadati per LBA, mset per gli LBA estesi, e pi e pif per il tipo di informazioni di protezione e il formato del guard.

È un laboratorio completo per tutto ciò che c’è in l’articolo su 4Kn e 512e: blocchi logici da 512 byte contro 4096 byte, formati con metadati, T10-PI, su un dispositivo che puoi distruggere tutte le volte che vuoi.

Controlla che sia arrivato

Da dentro il guest:

lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"

Dovresti vedere un vero namespace NVMe, con le dimensioni di blocco che hai chiesto.

A cosa rinunci

Tre cose, e le prime due non sono compromessi di prestazioni. Sono capacità che spariscono. Conoscile prima di mettere qualcosa sul dispositivo.

Cosa gestisce Proxmox, e cosa resta fuori per un dispositivo agganciato tramite argsNella configurazione della VM, come drivescsi0: local-zfs:vm-100-disk-0,iothread=1Proxmox possiede il volume e sa che esisteIncluso nei backup vzdump / PBSsìSnapshot di PVEsìMigrazione livesìResize e Move Disk nella GUIsìContato nella vista dello storagesìAgganciato tramite args:-device nvme,drive=nvm1,serial=…un dispositivo QEMU grezzo: PVE non ne sa nienteIncluso nei backupnoSnapshot di PVEnoMigrazione livenoResize e Move DisknoContato nella vista dello storagenoSolo uno di quei «no» si annuncia. La migrazione live fallisce con un errore, perché QEMU segnail dispositivo come non migrabile. Il backup riesce e basta, senza il disco dentro: ecco perché questova nel tuo runbook, non solo nella tua memoria.
Proxmox gestisce come drive ciò che sta nella configurazione della VM. Un controller agganciato tramite args è fuori da tutto questo, quindi ogni funzione costruita sullo strato di storage semplicemente non vi si applica.

1. La migrazione live è disattivata

Non è un limite di Proxmox né una svista. QEMU dichiara il dispositivo non migrabile nel modello del dispositivo stesso. Da hw/nvme/ctrl.c in QEMU 10.2:

static const VMStateDescription nvme_vmstate = {
    .name = "nvme",
    .unmigratable = 1,
};

Tre righe, e quella in mezzo è tutta la storia. Il controller non ha stato di migrazione, quindi QEMU rifiuta la migrazione invece di tentarla. È il fallimento giusto. Ottieni un errore, non un guest che riparte su un altro nodo con un disco confuso.

C’è un secondo motivo, indipendente, per cui non può funzionare: Proxmox non sa che il disco esiste. Anche se QEMU potesse spostare lo stato del dispositivo, niente nella logica di migrazione di PVE farebbe in modo che il volume di supporto sia disponibile sul nodo di destinazione.

Vale però la pena tenerlo d’occhio: il ramo di sviluppo di QEMU ha sostituito il flag generico con una funzione nvme_set_migration_blockers() che permette la migrazione e la blocca solo per funzioni specifiche. Più di un namespace, per esempio, dove il commento nota «we don’t handle this in migration code yet». Non è comparso in nessun rilascio fino alla 10.2 compresa, quindi oggi non ti aiuta, ma questa restrizione sembra destinata ad ammorbidirsi. Controlla la tua versione di QEMU invece di fidarti di un articolo.

2. I backup di Proxmox non lo vedranno

vzdump e Proxmox Backup Server fanno il backup dei volumi che compaiono nella configurazione della VM come drive: scsi0, virtio0 e così via. Un disco agganciato tramite args: non è uno di questi. È un dispositivo QEMU grezzo di cui PVE non sa niente.

Quindi il backup gira, riporta successo, e non contiene il dispositivo.

Questo modo di fallire è peggio di un errore, perché niente te lo dice. Lo stesso vale su tutta la linea: niente snapshot di PVE, niente ridimensionamento del disco dalla GUI, niente Move Disk, niente conteggio nella vista dello storage. Se hai creato il volume tramite PVE e poi l’hai staccato, PVE potrebbe anche non ripulirlo. Un orfano che aspetta di confondere qualcuno più avanti.

Se dei dati devono vivere su uno di questi, fanne il backup da dentro il guest, e scrivi da qualche parte che l’hypervisor non lo copre.

3. Non è più veloce di VirtIO SCSI

Questa sorprende la gente, perché «NVMe» suona come una funzione di prestazioni. Qui non lo è.

VirtIO SCSI e VirtIO block sono paravirtuali: il driver del guest e l’hypervisor condividono un ring buffer progettato proprio per questo lavoro, e il guest sa di parlare con un hypervisor.

Il controller NVMe emulato è l’opposto per progetto. Presenta veri registri NVMe, quindi il guest lo programma come se fosse hardware. Ogni scrittura sul doorbell è un accesso MMIO che va in trap nell’hypervisor. Corretto, e più costoso per IO che mettere un descrittore su un ring.

Un ring condiviso contro registri emulatiguest │ hypervisorVirtIO SCSI: paravirtualedriver del guestsa di essere una VMring condivisolo capiscono entrambi i latiblock layer dell'host1 notificaUn descrittore va sul ring e l'host viene notificato. Il ring sta a cavallo del confine di proposito.NVMe emulato: registri veridriver del guestcrede di essere hardwareregistri NVMedoorbell, code, MMIOblock layer dell'hostogni scrittura sul doorbell va in traptrap + emulazione, per IOIl guest fa esattamente ciò che farebbe con un controller fisico, ed è proprio il punto: il suodriver funziona senza modifiche. È anche il motivo per cui è una funzione di compatibilità, non di prestazioni.L'interrupt coalescing non è supportato ed è spento di default: comportamento hardware corretto, al costodi emulare l'hardware.
Il percorso paravirtuale è un ring che guest e host capiscono entrambi. Il percorso emulato costringe il guest a pilotare registri, e ogni scrittura sul doorbell è una trap: comportamento fedele all’hardware, al costo dell’emulazione dell’hardware.

Anche la documentazione di QEMU è franca sui limiti del dispositivo: l’interrupt coalescing «is not supported and is disabled by default», e i contatori nella pagina di log SMART/Health «are reset when the device is power cycled».

Niente di tutto questo lo rende lento in termini assoluti. È perfettamente usabile. Significa solo che non dovresti mai sceglierlo sperando in più throughput di quello che ti dà VirtIO SCSI. Sceglilo per il driver, o per la semantica NVMe.

Dove si guadagna davvero il suo posto

  • Installare un guest senza supporti VirtIO. Un installer di Windows che non vede un disco VirtIO SCSI ne vedrà uno NVMe, perché il driver è già nell’immagine. Installa lì sopra, poi decidi se passare a VirtIO dopo.
  • Appliance e immagini che non controlli. Qualsiasi cosa distribuita come immagine fissa senza driver VirtIO, e che preferiresti non ricostruire.
  • Studio e lavoro in laboratorio. nvme format --lbaf, creazione e collegamento di namespace, metadati e informazioni di protezione: le operazioni che sull’hardware vero sono distruttive e dipendono dal vendor qui sono gratis. È il modo più sicuro per farsi la mano prima di toccare un drive che conta.
  • Riprodurre la topologia di qualcun altro. Se stai facendo il debug della disposizione NVMe di un cliente, un controller emulato con namespace e dimensioni di blocco corrispondenti è un ciclo molto più rapido che farsi prestare il suo hardware.

Cosa usare invece in produzione

Per una VM che ha bisogno di prestazioni, delle funzioni di PVE e di una vita tranquilla: VirtIO SCSI single, con iothread=1, discard=on e ssd=1, su cache=none. È la configurazione che tiene in piedi migrazione live, backup, snapshot e vista dello storage.

Per una VM che ha bisogno degli ultimi punti percentuali e può rinunciare a quelle funzioni di proposito, la risposta non è un dispositivo NVMe emulato. È il passthrough vero, con i suoi duri compromessi, trattato in l’articolo sulla tassa dell’IOMMU.

Il dispositivo NVMe emulato non sta in nessuno dei due campi. Per questo è uno strumento di compatibilità e di laboratorio, e in questo è molto bravo.

Usalo per il lavoro in cui è bravo e non ti deluderà. Chiedigli di essere una funzione di prestazioni e ti deluderà molto in fretta.

Riferimenti