Porque é que quererias um

O QEMU consegue emular um controlador NVMe a sério — não um dispositivo paravirtual que precisa de um driver fornecido por ti, mas um controlador NVMe PCIe que um convidado reconhece como um SSD normal e conduz com o suporte NVMe que já tem.

É esse o atrativo todo, e vale mais do que parece.

O Linux tem um driver nvme incluído há anos. O Windows traz o stornvme desde o Windows 8.1 e o Server 2012 R2. Por isso um convidado arranca, enumera um controlador NVMe PCIe, carrega o seu próprio driver e encontra um disco. Nenhuma ISO VirtIO, nenhuma injeção de drivers durante a instalação, e nenhum ecrã de «nenhum disco encontrado» a meio de um instalador do Windows.

Quem já ficou a olhar para esse ecrã, com a ISO VirtIO montada e o instalador a insistir que não há discos, vê o atrativo de imediato.

A segunda razão é que se comporta como NVMe de ponta a ponta. O nvme-cli funciona. Os namespaces são reais. Formatos de LBA, bytes de metadados e informação de proteção são todos configuráveis. O que faz dele um ótimo sítio para praticar as operações que não devias andar a praticar em hardware que guarda dados.

Como acrescentar um

O Proxmox não tem caixa de verificação na GUI nem chave de configuração para isto. É um dispositivo QEMU em bruto, por isso vai no args: em /etc/pve/qemu-server/<vmid>.conf.

A documentação do QEMU dá o par mínimo: um disco de suporte sem interface, e o controlador que o consome. Editado diretamente em /etc/pve/qemu-server/<vmid>.conf, sem aspas:

args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier

O if=none importa: diz ao QEMU para não ligar o disco a um controlador predefinido, porque a linha -device nvme vai reclamá-lo. O id= no disco e o drive= no dispositivo têm de corresponder. É esse emparelhamento que junta as duas metades.

O serial= é obrigatório; o QEMU recusa-se a arrancar a VM sem ele. Escolhe algo que reconheças, porque é exatamente o que o convidado reporta no nvme list e no smartctl, e «qual destes quatro discos virtuais idênticos é qual» é uma pergunta que vais acabar por fazer.

Aspas: a parte que apanha toda a gente

Se pões aspas nessa string depende de onde a estás a escrever, e trocar isto é a razão mais comum para um destes falhar à primeira tentativa.

O Proxmox guarda o valor de args: e mais tarde divide-o com Text::ParseWords::shellwords. Por isso no ficheiro de configuração as aspas são respeitadas e retiradas. Uma string toda entre aspas passa a ser um único argumento:

# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"

Passado pelo shellwords, isso dá exatamente um elemento. Sem aspas, a mesma linha dá os quatro de que o QEMU precisa de facto: -drive, o seu bloco de parâmetros, -device, o seu bloco de parâmetros.

Na linha de comandos é o contrário, porque aí estás a pôr aspas para a tua shell, não para o Proxmox. Aqui as aspas são obrigatórias, e o que fica guardado na configuração é o valor sem aspas:

qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"

As duas formas estão certas. Só não são intercambiáveis. Se montares a linha com qm set, verifica o resultado com qm config 100 a seguir e vais vê-la guardada sem aspas. É essa a forma que o ficheiro de configuração quer.

Cria primeiro a imagem de suporte se não existir:

qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G

Mais do que um namespace

Para qualquer coisa além de um único disco, separa o controlador dos seus namespaces:

-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1

Os identificadores de namespace são atribuídos automaticamente a partir de 1. Esta é a configuração que torna o dispositivo genuinamente útil para aprender, porque a gestão de namespaces é a parte do NVMe em que a maioria das pessoas nunca chega a mexer.

Um namespace virtual 4Kn

O namespace aceita as propriedades habituais de tamanho de bloco, e o QEMU deriva o tamanho de dados do LBA diretamente delas. O hw/nvme/ns.c calcula o expoente do formato como ds = 31 - clz32(ns->blkconf.logical_block_size). Por isso isto dá-te um namespace 4K nativo como deve ser:

-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096

O dispositivo de namespace também aceita ms para bytes de metadados por LBA, mset para LBA estendidos, e pi e pif para o tipo de informação de proteção e o formato do guard.

É um laboratório completo para tudo o que está no artigo sobre 4Kn e 512e — blocos lógicos de 512 bytes contra 4096 bytes, formatos com metadados, T10-PI — num dispositivo que podes destruir as vezes que quiseres.

Verifica que ficou

De dentro do convidado:

lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"

Deves ver um namespace NVMe real, com os tamanhos de bloco que pediste.

De que abdicas

Três coisas, e as duas primeiras não são compromissos de desempenho. São capacidades retiradas. Conhece-as antes de pores alguma coisa no dispositivo.

O que o Proxmox gere, e aquilo de que um dispositivo ligado por args fica de foraNa configuração da VM, como discoscsi0: local-zfs:vm-100-disk-0,iothread=1O Proxmox é dono do volume e sabe que existeIncluído nas cópias vzdump / PBSsimSnapshots do PVEsimMigração em diretosimRedimensionar e Move Disk na GUIsimContado na vista de armazenamentosimLigado através de args:-device nvme,drive=nvm1,serial=…um dispositivo QEMU em bruto — o PVE não sabe nada deleIncluído nas cópiasnãoSnapshots do PVEnãoMigração em diretonãoRedimensionar e Move DisknãoContado na vista de armazenamentonãoSó um desses «não» se anuncia. A migração em direto falha com um erro, porque o QEMU marcao dispositivo como não migrável. A cópia tem simplesmente êxito sem o disco — e é por isso que istopertence ao teu runbook, e não só à tua memória.
O Proxmox gere como disco o que está na configuração da VM. Um controlador ligado por args fica fora disso, por isso todas as funcionalidades construídas sobre a camada de armazenamento simplesmente não se lhe aplicam.

1. A migração em direto fica desligada

Isto não é uma limitação do Proxmox nem um descuido. O QEMU declara o dispositivo não migrável no próprio modelo do dispositivo. Do hw/nvme/ctrl.c no QEMU 10.2:

static const VMStateDescription nvme_vmstate = {
    .name = "nvme",
    .unmigratable = 1,
};

Três linhas, e a do meio é a história toda. O controlador não tem estado de migração, por isso o QEMU recusa a migração em vez de a tentar. É a falha certa. Recebes um erro, não um convidado que retoma noutro nó com um disco baralhado.

Há uma segunda razão, independente, para não poder funcionar: o Proxmox não sabe que o disco existe. Mesmo que o QEMU conseguisse mover o estado do dispositivo, nada na lógica de migração do PVE trataria de pôr o volume de suporte disponível no destino.

Vale a pena acompanhar, no entanto: o ramo de desenvolvimento do QEMU substituiu a flag geral por uma função nvme_set_migration_blockers() que permite a migração e só a bloqueia para funcionalidades específicas. Mais do que um namespace, por exemplo, onde o comentário nota «we don’t handle this in migration code yet». Isso ainda não apareceu numa versão até à 10.2 inclusive, por isso não te ajuda hoje, mas esta restrição parece destinada a abrandar. Verifica a tua própria versão do QEMU em vez de confiares num artigo.

2. As cópias de segurança do Proxmox não o veem

O vzdump e o Proxmox Backup Server fazem cópia dos volumes que aparecem na configuração da VM como discos — scsi0, virtio0, e por aí fora. Um disco ligado através de args: não é um desses. É um dispositivo QEMU em bruto de que o PVE não sabe coisa nenhuma.

Por isso a cópia corre, reporta sucesso, e não contém o dispositivo.

Esse modo de falha é pior do que um erro, porque nada te avisa. O mesmo se aplica a tudo o resto: nenhum snapshot do PVE, nenhum redimensionamento do disco pela GUI, nenhum Move Disk, nenhuma contabilização na vista de armazenamento. Se criaste o volume através do PVE e depois o desligaste, o PVE também pode não o limpar. Um órfão à espera de baralhar alguém mais tarde.

Se vão viver dados num destes, faz a cópia de segurança de dentro do convidado, e escreve algures que o hipervisor não o está a cobrir.

3. Não é mais rápido do que o VirtIO SCSI

Esta surpreende as pessoas, porque «NVMe» soa a funcionalidade de desempenho. Aqui não é.

O VirtIO SCSI e o VirtIO block são paravirtuais: o driver do convidado e o hipervisor partilham um ring buffer desenhado exatamente para este trabalho, e o convidado sabe que está a falar com um hipervisor.

O controlador NVMe emulado é o oposto, por desenho. Apresenta registos NVMe reais, por isso o convidado programa-o como se fosse hardware. Cada escrita no doorbell é um acesso MMIO que salta para o hipervisor. Correto, e mais caro por E/S do que pôr um descritor num anel.

Um anel partilhado contra registos emuladosconvidado │ hipervisorVirtIO SCSI — paravirtualdriver do convidadosabe que é uma VManel partilhadoas duas pontas percebem-noblocos do anfitrião1 avisoUm descritor vai para o anel e o anfitrião é avisado. O anel atravessa a fronteira de propósito.NVMe emulado — registos reaisdriver do convidadojulga que é hardwareregistos NVMedoorbells, filas, MMIOblocos do anfitriãocada escrita no doorbell faz traptrap + emulação, por E/SO convidado faz exatamente o que faria a um controlador físico, que é a ideia — o seu própriodriver funciona sem alterações. É também por isso que isto é compatibilidade e não desempenho.Coalescência de interrupções sem suporte e desligada: comportamento de hardware correto, ao custo deemular hardware.
O caminho paravirtual é um anel que o convidado e o anfitrião percebem. O caminho emulado põe o convidado a conduzir registos, e cada escrita no doorbell é um trap — comportamento de hardware fiel, ao custo da emulação de hardware.

A própria documentação do QEMU também é franca sobre as arestas do dispositivo: a coalescência de interrupções «is not supported and is disabled by default», e os números de contabilização na página de registo SMART/Health «are reset when the device is power cycled».

Nada disso o torna lento em termos absolutos. É perfeitamente utilizável. Só quer dizer que nunca o deves escolher à espera de mais débito do que o VirtIO SCSI te dá. Escolhe-o pelo driver, ou pela semântica NVMe.

Onde de facto justifica o lugar

  • Instalar um convidado sem suportes VirtIO. Um instalador do Windows que não vê um disco VirtIO SCSI vê um NVMe, porque o driver já está na imagem. Instala nele, e depois decide se passas para VirtIO a seguir.
  • Appliances e imagens que não controlas. Qualquer coisa distribuída como imagem fixa sem drivers VirtIO, e que preferias não recompilar.
  • Aprendizagem e laboratório. nvme format --lbaf, criação e associação de namespaces, metadados e informação de proteção — as operações que são destrutivas e dependentes do fabricante em hardware real são gratuitas aqui. É a forma mais segura de criar memória muscular antes de mexer num disco que importa.
  • Reproduzir a topologia de outra pessoa. Se estás a depurar a disposição NVMe de um cliente, um controlador emulado com namespaces e tamanhos de bloco iguais é um ciclo muito mais rápido do que pedir o hardware emprestado.

O que usar em vez disso em produção

Para uma VM que precisa de desempenho, das funcionalidades do PVE e de uma vida sossegada: VirtIO SCSI single, com iothread=1, discard=on e ssd=1, em cache=none. É essa a configuração que mantém a migração em direto, as cópias de segurança, os snapshots e a vista de armazenamento todos a funcionar.

Para uma VM que precisa dos últimos pontos percentuais e pode abdicar dessas funcionalidades de propósito, a resposta não é um dispositivo NVMe emulado. É passthrough real, com os seus próprios compromissos duros, tratado no artigo sobre o imposto da IOMMU.

O dispositivo NVMe emulado não está em nenhum dos campos. Assim sendo, é uma ferramenta de compatibilidade e de laboratório, e é muito boa a ser isso.

Usa-o para o trabalho em que é bom e não te deixa ficar mal. Pede-lhe que seja uma funcionalidade de desempenho e deixa-te ficar mal muito depressa.

Referências