为什么你会想要一个

QEMU 可以模拟一个真正的 NVMe 控制器。不是那种要你自己提供驱动的半虚拟化设备,而是一个 PCIe NVMe 控制器,客户机把它当成一块普通 SSD 认出来,用自己已有的 NVMe 支持去驱动它。

全部吸引力就在这里,而且它比听上去更值钱。

Linux 自带 nvme 驱动已经很多年了。Windows 从 Windows 8.1 和 Server 2012 R2 起就带着 stornvme。所以客户机启动,枚举出一个 PCIe NVMe 控制器,加载自己的驱动,找到一块盘。不需要 VirtIO ISO,不需要在安装时注入驱动,也不会在 Windows 安装程序走到一半时出现“找不到驱动器”的画面。

谁要是盯着那个画面看过,VirtIO ISO 明明挂上了,安装程序还是坚称没有磁盘,立刻就会明白它的好处。

第二个理由是它从下到上都表现得像 NVMe。nvme-cli 能用。命名空间是真的。LBA 格式、元数据字节、保护信息都可以配置。所以它是一个非常好的地方,用来练习那些你不应该在存着数据的硬件上练习的操作。

怎么加一个

Proxmox 没有图形界面的勾选框,也没有配置键来做这件事。它是一个原始的 QEMU 设备,所以要写进 /etc/pve/qemu-server/<vmid>.conf 的 args: 里。

QEMU 文档给出了最小的一对:一个没有接口的后端驱动器,以及使用它的控制器。直接写进 /etc/pve/qemu-server/<vmid>.conf,不加引号:

args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier

if=none 很关键:它告诉 QEMU 不要把这个驱动器接到默认控制器上,因为 -device nvme 那一行要认领它。驱动器上的 id= 和设备上的 drive= 必须一致,正是这一对把两半连在一起。

serial= 是必填的,没有它 QEMU 拒绝启动虚拟机。选一个你认得出的值,因为客户机在 nvme list 和 smartctl 里报回来的正是它,而“这四块一模一样的虚拟盘到底哪块是哪块”是你迟早会问的问题。

引号:人人都会踩的坑

这个字符串要不要加引号,取决于你在哪里输入它,而弄反了正是这类配置第一次就失败的最常见原因。

Proxmox 存下 args: 的值,之后用 Text::ParseWords::shellwords 把它拆开。所以在配置文件里,引号会被识别并剥掉。整个加了引号的字符串会变成一个参数:

# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"

经过 shellwords,这只得到一个元素。不加引号,同一行得到 QEMU 真正需要的四个:-drive、它的参数串、-device、它的参数串。

在命令行上正好相反,因为那里你是为 shell 加引号,而不是为 Proxmox。这里引号是必须的,存进配置的是去掉引号后的值:

qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"

两种写法都对,只是不能互换。如果你用 qm set 构建这一行,之后用 qm config 100 检查结果,会看到它是不带引号存的。那正是配置文件要的形式。

如果后端镜像还不存在,先创建它:

qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G

不止一个命名空间

只要超过一块盘,就把控制器和它的命名空间分开:

-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1

命名空间标识符从 1 开始自动分配。正是这种配置让这个设备在学习上真正有用,因为命名空间管理是 NVMe 里大多数人从来碰不到的那部分。

一个 4Kn 的虚拟命名空间

命名空间接受常见的块大小属性,QEMU 直接从中推导出 LBA 数据大小。hw/nvme/ns.c 计算格式指数的方式是 ds = 31 - clz32(ns->blkconf.logical_block_size)。所以下面这样就给你一个真正的 4K 原生命名空间:

-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096

命名空间设备还接受 ms(每个 LBA 的元数据字节)、mset(扩展 LBA),以及 pi 和 pif(保护信息类型和校验格式)。

这就是一整套实验室,可以练 4Kn 与 512e 那篇文章里的所有内容:512 字节与 4096 字节逻辑块、带元数据的格式、T10-PI,而且是在一个你想毁多少次就毁多少次的设备上。

确认它到位了

在客户机里:

lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"

你应该看到一个真正的 NVMe 命名空间,块大小正是你要求的。

你放弃了什么

三样东西,而前两样不是性能上的取舍,是能力的移除。在往这个设备上放任何东西之前,先弄清楚它们。

Proxmox 管理什么,以及 args 挂上的设备落在什么之外在虚拟机配置里,作为驱动器scsi0: local-zfs:vm-100-disk-0,iothread=1Proxmox 拥有这个卷,知道它存在包含在 vzdump / PBS 备份里是PVE 快照是实时迁移是图形界面里调整大小和 Move Disk是计入存储视图是通过 args: 挂接-device nvme,drive=nvm1,serial=…原始 QEMU 设备,PVE 对它一无所知包含在备份里否PVE 快照否实时迁移否调整大小和 Move Disk否计入存储视图否这些“否”里只有一个会自己报出来。实时迁移会报错失败,因为 QEMU 把设备标记为不可迁移。备份则照常成功,里面却没有这块盘,所以这件事要写进运维手册,而不是只记在脑子里。
Proxmox 管理的是虚拟机配置里作为驱动器出现的东西。通过 args 挂上的控制器在这之外,所以建立在存储层之上的每个功能都根本不适用于它。

1. 实时迁移没了

这不是 Proxmox 的限制,也不是疏忽。QEMU 在设备模型本身里就把这个设备声明为不可迁移。来自 QEMU 10.2 的 hw/nvme/ctrl.c:

static const VMStateDescription nvme_vmstate = {
    .name = "nvme",
    .unmigratable = 1,
};

三行,中间那一行就是全部。控制器没有迁移状态,所以 QEMU 直接拒绝迁移,而不是去尝试。这是正确的失败方式:你得到一个错误,而不是一个在另一个节点上恢复运行、磁盘却一团糊涂的客户机。

还有第二个独立的原因让它不可能成功:Proxmox 不知道这块盘存在。就算 QEMU 能搬动设备状态,PVE 的迁移逻辑里也没有任何东西会安排后端卷在目标节点上可用。

不过值得关注:QEMU 的开发分支已经用一个 nvme_set_migration_blockers() 函数替换了这个一刀切的标志,它允许迁移,只对特定功能阻止迁移。比如多于一个命名空间,注释里写的是“we don’t handle this in migration code yet”。截至并包括 10.2,这还没进入任何正式版本,所以今天帮不上你,但这个限制看起来很可能会放宽。去查你自己的 QEMU 版本,而不是相信一篇文章。

2. Proxmox 备份看不见它

vzdump 和 Proxmox Backup Server 备份的是虚拟机配置里作为驱动器出现的卷:scsi0、virtio0 等等。通过 args: 挂上的磁盘不在其中。它是一个 PVE 啥都不知道的原始 QEMU 设备。

所以备份照常运行,报告成功,里面却没有这个设备。

这种失败方式比报错更糟,因为没有任何东西告诉你。同样的情况全面适用:没有 PVE 快照,不能从图形界面调整磁盘大小,没有 Move Disk,存储视图里也不计入。如果你是通过 PVE 创建卷然后又把它分离的,PVE 可能也不会清理它。一个孤儿,等着以后把谁搞糊涂。

如果数据要放在这种设备上,就在客户机内部备份,并且在某个地方写下来:hypervisor 没有覆盖它。

3. 它不比 VirtIO SCSI 快

这一点让人意外,因为“NVMe”读起来像个性能特性。在这里它不是。

VirtIO SCSI 和 VirtIO block 是半虚拟化的:客户机驱动和 hypervisor 共享一个专门为这件事设计的环形缓冲区,客户机知道自己在和 hypervisor 对话。

模拟的 NVMe 控制器在设计上正好相反。它呈现真正的 NVMe 寄存器,所以客户机像对待硬件一样对它编程。每一次门铃写都是一次陷入 hypervisor 的 MMIO 访问。正确,但每个 IO 的代价比往环上放一个描述符要高。

共享环与模拟寄存器对比客户机 │ hypervisorVirtIO SCSI:半虚拟化客户机驱动知道自己是虚拟机共享环两端都理解它宿主机块层1 次通知描述符放到环上,通知宿主机。这个环有意横跨边界。模拟 NVMe:真正的寄存器客户机驱动以为自己是硬件NVMe 寄存器门铃、队列、MMIO宿主机块层每次门铃写都陷入每个 IO 都陷入 + 模拟客户机做的正是它对物理控制器会做的事,这正是要点:它自己的驱动无需修改就能用。这也是为什么它是兼容性特性,而不是性能特性。不支持中断合并,默认关闭:硬件行为正确,代价是模拟硬件。
半虚拟化路径是一个客户机和宿主机都理解的环。模拟路径让客户机去驱动寄存器,每次门铃写都是一次陷入:硬件行为准确,代价是硬件模拟的代价。

QEMU 自己的文档对这个设备的粗糙之处也很坦率:中断合并“is not supported and is disabled by default”,SMART/Health 日志页里的统计数字“are reset when the device is power cycled”。

这些都不会让它在绝对意义上变慢,它完全可用。只是说你永远不该指望它比 VirtIO SCSI 给你更多吞吐量而选它。为了驱动选它,或者为了 NVMe 语义选它。

它真正值得用的地方

  • 在没有 VirtIO 介质的情况下安装客户机。 看不见 VirtIO SCSI 磁盘的 Windows 安装程序看得见 NVMe 磁盘,因为驱动已经在镜像里了。装到它上面,之后再决定要不要换成 VirtIO。
  • 你控制不了的设备和镜像。 任何以固定镜像形式交付、没有 VirtIO 驱动、你又不想重新构建的东西。
  • 学习和实验。 nvme format --lbaf、命名空间的创建和挂接、元数据和保护信息:这些在真实硬件上有破坏性、又依赖厂商的操作,在这里都是免费的。这是在碰一块重要的盘之前练出肌肉记忆最安全的办法。
  • 复现别人的拓扑。 如果你在排查客户的 NVMe 布局,一个命名空间和块大小都对得上的模拟控制器,比借用他们的硬件快得多。

生产环境该用什么

对于需要性能、PVE 功能和省心日子的虚拟机:VirtIO SCSI single,加 iothread=1、discard=on 和 ssd=1,用 cache=none。这套组合能让实时迁移、备份、快照和存储视图全都正常工作。

对于需要最后那几个百分点、并且愿意有意放弃这些功能的虚拟机,答案不是模拟的 NVMe 设备,而是真正的直通,它有自己的硬性取舍,见 IOMMU 税那篇文章。

模拟 NVMe 设备两边都不属于。因此,它是一个兼容性和实验工具,而且在这方面做得非常好。

拿它做它擅长的事,它不会让你失望。要它当性能特性用,它会非常迅速地让你失望。

参考资料