Porque é que quererias um
O QEMU consegue emular um controlador NVMe a sério — não um dispositivo paravirtual que precisa de um driver fornecido por ti, mas um controlador NVMe PCIe que um convidado reconhece como um SSD normal e conduz com o suporte NVMe que já tem.
É esse o atrativo todo, e vale mais do que parece.
O Linux tem um driver nvme incluído há anos. O Windows traz o stornvme desde o Windows 8.1 e o Server 2012 R2. Por isso um convidado arranca, enumera um controlador NVMe PCIe, carrega o seu próprio driver e encontra um disco. Nenhuma ISO VirtIO, nenhuma injeção de drivers durante a instalação, e nenhum ecrã de «nenhum disco encontrado» a meio de um instalador do Windows.
Quem já ficou a olhar para esse ecrã, com a ISO VirtIO montada e o instalador a insistir que não há discos, vê o atrativo de imediato.
A segunda razão é que se comporta como NVMe de ponta a ponta. O nvme-cli funciona. Os namespaces são reais. Formatos de LBA, bytes de metadados e informação de proteção são todos configuráveis. O que faz dele um ótimo sítio para praticar as operações que não devias andar a praticar em hardware que guarda dados.
Como acrescentar um
O Proxmox não tem caixa de verificação na GUI nem chave de configuração para isto. É um dispositivo QEMU em bruto, por isso vai no args: em /etc/pve/qemu-server/<vmid>.conf.
A documentação do QEMU dá o par mínimo: um disco de suporte sem interface, e o controlador que o consome. Editado diretamente em /etc/pve/qemu-server/<vmid>.conf, sem aspas:
args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier
O if=none importa: diz ao QEMU para não ligar o disco a um controlador predefinido, porque a linha -device nvme vai reclamá-lo. O id= no disco e o drive= no dispositivo têm de corresponder. É esse emparelhamento que junta as duas metades.
O serial= é obrigatório; o QEMU recusa-se a arrancar a VM sem ele. Escolhe algo que reconheças, porque é exatamente o que o convidado reporta no nvme list e no smartctl, e «qual destes quatro discos virtuais idênticos é qual» é uma pergunta que vais acabar por fazer.
Aspas: a parte que apanha toda a gente
Se pões aspas nessa string depende de onde a estás a escrever, e trocar isto é a razão mais comum para um destes falhar à primeira tentativa.
O Proxmox guarda o valor de args: e mais tarde divide-o com Text::ParseWords::shellwords. Por isso no ficheiro de configuração as aspas são respeitadas e retiradas. Uma string toda entre aspas passa a ser um único argumento:
# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"
Passado pelo shellwords, isso dá exatamente um elemento. Sem aspas, a mesma linha dá os quatro de que o QEMU precisa de facto: -drive, o seu bloco de parâmetros, -device, o seu bloco de parâmetros.
Na linha de comandos é o contrário, porque aí estás a pôr aspas para a tua shell, não para o Proxmox. Aqui as aspas são obrigatórias, e o que fica guardado na configuração é o valor sem aspas:
qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"
As duas formas estão certas. Só não são intercambiáveis. Se montares a linha com qm set, verifica o resultado com qm config 100 a seguir e vais vê-la guardada sem aspas. É essa a forma que o ficheiro de configuração quer.
Cria primeiro a imagem de suporte se não existir:
qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G
Mais do que um namespace
Para qualquer coisa além de um único disco, separa o controlador dos seus namespaces:
-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1
Os identificadores de namespace são atribuídos automaticamente a partir de 1. Esta é a configuração que torna o dispositivo genuinamente útil para aprender, porque a gestão de namespaces é a parte do NVMe em que a maioria das pessoas nunca chega a mexer.
Um namespace virtual 4Kn
O namespace aceita as propriedades habituais de tamanho de bloco, e o QEMU deriva o tamanho de dados do LBA diretamente delas. O hw/nvme/ns.c calcula o expoente do formato como ds = 31 - clz32(ns->blkconf.logical_block_size). Por isso isto dá-te um namespace 4K nativo como deve ser:
-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096
O dispositivo de namespace também aceita ms para bytes de metadados por LBA, mset para LBA estendidos, e pi e pif para o tipo de informação de proteção e o formato do guard.
É um laboratório completo para tudo o que está no artigo sobre 4Kn e 512e — blocos lógicos de 512 bytes contra 4096 bytes, formatos com metadados, T10-PI — num dispositivo que podes destruir as vezes que quiseres.
Verifica que ficou
De dentro do convidado:
lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"
Deves ver um namespace NVMe real, com os tamanhos de bloco que pediste.
De que abdicas
Três coisas, e as duas primeiras não são compromissos de desempenho. São capacidades retiradas. Conhece-as antes de pores alguma coisa no dispositivo.
1. A migração em direto fica desligada
Isto não é uma limitação do Proxmox nem um descuido. O QEMU declara o dispositivo não migrável no próprio modelo do dispositivo. Do hw/nvme/ctrl.c no QEMU 10.2:
static const VMStateDescription nvme_vmstate = {
.name = "nvme",
.unmigratable = 1,
};
Três linhas, e a do meio é a história toda. O controlador não tem estado de migração, por isso o QEMU recusa a migração em vez de a tentar. É a falha certa. Recebes um erro, não um convidado que retoma noutro nó com um disco baralhado.
Há uma segunda razão, independente, para não poder funcionar: o Proxmox não sabe que o disco existe. Mesmo que o QEMU conseguisse mover o estado do dispositivo, nada na lógica de migração do PVE trataria de pôr o volume de suporte disponível no destino.
Vale a pena acompanhar, no entanto: o ramo de desenvolvimento do QEMU substituiu a flag geral por uma função nvme_set_migration_blockers() que permite a migração e só a bloqueia para funcionalidades específicas. Mais do que um namespace, por exemplo, onde o comentário nota «we don’t handle this in migration code yet». Isso ainda não apareceu numa versão até à 10.2 inclusive, por isso não te ajuda hoje, mas esta restrição parece destinada a abrandar. Verifica a tua própria versão do QEMU em vez de confiares num artigo.
2. As cópias de segurança do Proxmox não o veem
O vzdump e o Proxmox Backup Server fazem cópia dos volumes que aparecem na configuração da VM como discos — scsi0, virtio0, e por aí fora. Um disco ligado através de args: não é um desses. É um dispositivo QEMU em bruto de que o PVE não sabe coisa nenhuma.
Por isso a cópia corre, reporta sucesso, e não contém o dispositivo.
Esse modo de falha é pior do que um erro, porque nada te avisa. O mesmo se aplica a tudo o resto: nenhum snapshot do PVE, nenhum redimensionamento do disco pela GUI, nenhum Move Disk, nenhuma contabilização na vista de armazenamento. Se criaste o volume através do PVE e depois o desligaste, o PVE também pode não o limpar. Um órfão à espera de baralhar alguém mais tarde.
Se vão viver dados num destes, faz a cópia de segurança de dentro do convidado, e escreve algures que o hipervisor não o está a cobrir.
3. Não é mais rápido do que o VirtIO SCSI
Esta surpreende as pessoas, porque «NVMe» soa a funcionalidade de desempenho. Aqui não é.
O VirtIO SCSI e o VirtIO block são paravirtuais: o driver do convidado e o hipervisor partilham um ring buffer desenhado exatamente para este trabalho, e o convidado sabe que está a falar com um hipervisor.
O controlador NVMe emulado é o oposto, por desenho. Apresenta registos NVMe reais, por isso o convidado programa-o como se fosse hardware. Cada escrita no doorbell é um acesso MMIO que salta para o hipervisor. Correto, e mais caro por E/S do que pôr um descritor num anel.
A própria documentação do QEMU também é franca sobre as arestas do dispositivo: a coalescência de interrupções «is not supported and is disabled by default», e os números de contabilização na página de registo SMART/Health «are reset when the device is power cycled».
Nada disso o torna lento em termos absolutos. É perfeitamente utilizável. Só quer dizer que nunca o deves escolher à espera de mais débito do que o VirtIO SCSI te dá. Escolhe-o pelo driver, ou pela semântica NVMe.
Onde de facto justifica o lugar
- Instalar um convidado sem suportes VirtIO. Um instalador do Windows que não vê um disco VirtIO SCSI vê um NVMe, porque o driver já está na imagem. Instala nele, e depois decide se passas para VirtIO a seguir.
- Appliances e imagens que não controlas. Qualquer coisa distribuída como imagem fixa sem drivers VirtIO, e que preferias não recompilar.
- Aprendizagem e laboratório.
nvme format --lbaf, criação e associação de namespaces, metadados e informação de proteção — as operações que são destrutivas e dependentes do fabricante em hardware real são gratuitas aqui. É a forma mais segura de criar memória muscular antes de mexer num disco que importa. - Reproduzir a topologia de outra pessoa. Se estás a depurar a disposição NVMe de um cliente, um controlador emulado com namespaces e tamanhos de bloco iguais é um ciclo muito mais rápido do que pedir o hardware emprestado.
O que usar em vez disso em produção
Para uma VM que precisa de desempenho, das funcionalidades do PVE e de uma vida sossegada: VirtIO SCSI single, com iothread=1, discard=on e ssd=1, em cache=none. É essa a configuração que mantém a migração em direto, as cópias de segurança, os snapshots e a vista de armazenamento todos a funcionar.
Para uma VM que precisa dos últimos pontos percentuais e pode abdicar dessas funcionalidades de propósito, a resposta não é um dispositivo NVMe emulado. É passthrough real, com os seus próprios compromissos duros, tratado no artigo sobre o imposto da IOMMU.
O dispositivo NVMe emulado não está em nenhum dos campos. Assim sendo, é uma ferramenta de compatibilidade e de laboratório, e é muito boa a ser isso.
Usa-o para o trabalho em que é bom e não te deixa ficar mal. Pede-lhe que seja uma funcionalidade de desempenho e deixa-te ficar mal muito depressa.
Referências
- QEMU — NVMe Emulation — a sintaxe
-drive/-device nvme, onvme-nspara vários namespaces, os parâmetros de namespacems/mset/pi/pif, e as limitações declaradas quanto à coalescência de interrupções e à contabilização SMART - Código-fonte do QEMU —
hw/nvme/ctrl.c— a declaraçãonvme_vmstatecom.unmigratable = 1na versão 10.2 - Código-fonte do QEMU —
hw/nvme/ns.c— o namespace a derivar o seu formato de LBA delogical_block_size - Proxmox VE — Backup and Restore — o que o
vzdumpcobre, e as opções de cópia por volume que existem para os discos que o PVE gere - Proxmox VE — Qemu/KVM Virtual Machines — VirtIO SCSI,
iothread,discarde as opções de disco suportadas