为什么你会想要一个
QEMU 可以模拟一个真正的 NVMe 控制器。不是那种要你自己提供驱动的半虚拟化设备,而是一个 PCIe NVMe 控制器,客户机把它当成一块普通 SSD 认出来,用自己已有的 NVMe 支持去驱动它。
全部吸引力就在这里,而且它比听上去更值钱。
Linux 自带 nvme 驱动已经很多年了。Windows 从 Windows 8.1 和 Server 2012 R2 起就带着 stornvme。所以客户机启动,枚举出一个 PCIe NVMe 控制器,加载自己的驱动,找到一块盘。不需要 VirtIO ISO,不需要在安装时注入驱动,也不会在 Windows 安装程序走到一半时出现“找不到驱动器”的画面。
谁要是盯着那个画面看过,VirtIO ISO 明明挂上了,安装程序还是坚称没有磁盘,立刻就会明白它的好处。
第二个理由是它从下到上都表现得像 NVMe。nvme-cli 能用。命名空间是真的。LBA 格式、元数据字节、保护信息都可以配置。所以它是一个非常好的地方,用来练习那些你不应该在存着数据的硬件上练习的操作。
怎么加一个
Proxmox 没有图形界面的勾选框,也没有配置键来做这件事。它是一个原始的 QEMU 设备,所以要写进 /etc/pve/qemu-server/<vmid>.conf 的 args: 里。
QEMU 文档给出了最小的一对:一个没有接口的后端驱动器,以及使用它的控制器。直接写进 /etc/pve/qemu-server/<vmid>.conf,不加引号:
args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier
if=none 很关键:它告诉 QEMU 不要把这个驱动器接到默认控制器上,因为 -device nvme 那一行要认领它。驱动器上的 id= 和设备上的 drive= 必须一致,正是这一对把两半连在一起。
serial= 是必填的,没有它 QEMU 拒绝启动虚拟机。选一个你认得出的值,因为客户机在 nvme list 和 smartctl 里报回来的正是它,而“这四块一模一样的虚拟盘到底哪块是哪块”是你迟早会问的问题。
引号:人人都会踩的坑
这个字符串要不要加引号,取决于你在哪里输入它,而弄反了正是这类配置第一次就失败的最常见原因。
Proxmox 存下 args: 的值,之后用 Text::ParseWords::shellwords 把它拆开。所以在配置文件里,引号会被识别并剥掉。整个加了引号的字符串会变成一个参数:
# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"
经过 shellwords,这只得到一个元素。不加引号,同一行得到 QEMU 真正需要的四个:-drive、它的参数串、-device、它的参数串。
在命令行上正好相反,因为那里你是为 shell 加引号,而不是为 Proxmox。这里引号是必须的,存进配置的是去掉引号后的值:
qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"
两种写法都对,只是不能互换。如果你用 qm set 构建这一行,之后用 qm config 100 检查结果,会看到它是不带引号存的。那正是配置文件要的形式。
如果后端镜像还不存在,先创建它:
qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G
不止一个命名空间
只要超过一块盘,就把控制器和它的命名空间分开:
-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1
命名空间标识符从 1 开始自动分配。正是这种配置让这个设备在学习上真正有用,因为命名空间管理是 NVMe 里大多数人从来碰不到的那部分。
一个 4Kn 的虚拟命名空间
命名空间接受常见的块大小属性,QEMU 直接从中推导出 LBA 数据大小。hw/nvme/ns.c 计算格式指数的方式是 ds = 31 - clz32(ns->blkconf.logical_block_size)。所以下面这样就给你一个真正的 4K 原生命名空间:
-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096
命名空间设备还接受 ms(每个 LBA 的元数据字节)、mset(扩展 LBA),以及 pi 和 pif(保护信息类型和校验格式)。
这就是一整套实验室,可以练 4Kn 与 512e 那篇文章里的所有内容:512 字节与 4096 字节逻辑块、带元数据的格式、T10-PI,而且是在一个你想毁多少次就毁多少次的设备上。
确认它到位了
在客户机里:
lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"
你应该看到一个真正的 NVMe 命名空间,块大小正是你要求的。
你放弃了什么
三样东西,而前两样不是性能上的取舍,是能力的移除。在往这个设备上放任何东西之前,先弄清楚它们。
1. 实时迁移没了
这不是 Proxmox 的限制,也不是疏忽。QEMU 在设备模型本身里就把这个设备声明为不可迁移。来自 QEMU 10.2 的 hw/nvme/ctrl.c:
static const VMStateDescription nvme_vmstate = {
.name = "nvme",
.unmigratable = 1,
};
三行,中间那一行就是全部。控制器没有迁移状态,所以 QEMU 直接拒绝迁移,而不是去尝试。这是正确的失败方式:你得到一个错误,而不是一个在另一个节点上恢复运行、磁盘却一团糊涂的客户机。
还有第二个独立的原因让它不可能成功:Proxmox 不知道这块盘存在。就算 QEMU 能搬动设备状态,PVE 的迁移逻辑里也没有任何东西会安排后端卷在目标节点上可用。
不过值得关注:QEMU 的开发分支已经用一个 nvme_set_migration_blockers() 函数替换了这个一刀切的标志,它允许迁移,只对特定功能阻止迁移。比如多于一个命名空间,注释里写的是“we don’t handle this in migration code yet”。截至并包括 10.2,这还没进入任何正式版本,所以今天帮不上你,但这个限制看起来很可能会放宽。去查你自己的 QEMU 版本,而不是相信一篇文章。
2. Proxmox 备份看不见它
vzdump 和 Proxmox Backup Server 备份的是虚拟机配置里作为驱动器出现的卷:scsi0、virtio0 等等。通过 args: 挂上的磁盘不在其中。它是一个 PVE 啥都不知道的原始 QEMU 设备。
所以备份照常运行,报告成功,里面却没有这个设备。
这种失败方式比报错更糟,因为没有任何东西告诉你。同样的情况全面适用:没有 PVE 快照,不能从图形界面调整磁盘大小,没有 Move Disk,存储视图里也不计入。如果你是通过 PVE 创建卷然后又把它分离的,PVE 可能也不会清理它。一个孤儿,等着以后把谁搞糊涂。
如果数据要放在这种设备上,就在客户机内部备份,并且在某个地方写下来:hypervisor 没有覆盖它。
3. 它不比 VirtIO SCSI 快
这一点让人意外,因为“NVMe”读起来像个性能特性。在这里它不是。
VirtIO SCSI 和 VirtIO block 是半虚拟化的:客户机驱动和 hypervisor 共享一个专门为这件事设计的环形缓冲区,客户机知道自己在和 hypervisor 对话。
模拟的 NVMe 控制器在设计上正好相反。它呈现真正的 NVMe 寄存器,所以客户机像对待硬件一样对它编程。每一次门铃写都是一次陷入 hypervisor 的 MMIO 访问。正确,但每个 IO 的代价比往环上放一个描述符要高。
QEMU 自己的文档对这个设备的粗糙之处也很坦率:中断合并“is not supported and is disabled by default”,SMART/Health 日志页里的统计数字“are reset when the device is power cycled”。
这些都不会让它在绝对意义上变慢,它完全可用。只是说你永远不该指望它比 VirtIO SCSI 给你更多吞吐量而选它。为了驱动选它,或者为了 NVMe 语义选它。
它真正值得用的地方
- 在没有 VirtIO 介质的情况下安装客户机。 看不见 VirtIO SCSI 磁盘的 Windows 安装程序看得见 NVMe 磁盘,因为驱动已经在镜像里了。装到它上面,之后再决定要不要换成 VirtIO。
- 你控制不了的设备和镜像。 任何以固定镜像形式交付、没有 VirtIO 驱动、你又不想重新构建的东西。
- 学习和实验。
nvme format --lbaf、命名空间的创建和挂接、元数据和保护信息:这些在真实硬件上有破坏性、又依赖厂商的操作,在这里都是免费的。这是在碰一块重要的盘之前练出肌肉记忆最安全的办法。 - 复现别人的拓扑。 如果你在排查客户的 NVMe 布局,一个命名空间和块大小都对得上的模拟控制器,比借用他们的硬件快得多。
生产环境该用什么
对于需要性能、PVE 功能和省心日子的虚拟机:VirtIO SCSI single,加 iothread=1、discard=on 和 ssd=1,用 cache=none。这套组合能让实时迁移、备份、快照和存储视图全都正常工作。
对于需要最后那几个百分点、并且愿意有意放弃这些功能的虚拟机,答案不是模拟的 NVMe 设备,而是真正的直通,它有自己的硬性取舍,见 IOMMU 税那篇文章。
模拟 NVMe 设备两边都不属于。因此,它是一个兼容性和实验工具,而且在这方面做得非常好。
拿它做它擅长的事,它不会让你失望。要它当性能特性用,它会非常迅速地让你失望。
参考资料
- QEMU — NVMe Emulation —
-drive/-device nvme语法、用于多命名空间的nvme-ns、ms/mset/pi/pif命名空间参数,以及关于中断合并和 SMART 统计的已声明限制 - QEMU source —
hw/nvme/ctrl.c— 10.2 版本中带.unmigratable = 1的nvme_vmstate声明 - QEMU source —
hw/nvme/ns.c— 命名空间从logical_block_size推导 LBA 格式 - Proxmox VE — Backup and Restore —
vzdump覆盖什么,以及只对 PVE 管理的驱动器存在的逐卷备份选项 - Proxmox VE — Qemu/KVM Virtual Machines — VirtIO SCSI、
iothread、discard以及受支持的磁盘选项