每次评估 Proxmox 都从这个问题开始

“Proxmox 真的够企业级吗?”

几乎每一次迁移讨论都会冒出这个问题,而它底下的担心几乎从来不是 Web 界面。 没有人真的怕一个浏览器控制台会把数据弄坏。 大家真正在问的是:站在虚拟机和硬件之间的那个东西,那个必须永远、一次都不出错地把一个租户挡在另一个租户内存之外的组件,到底是一件严肃的工程作品,还是一个碰巧火起来的社区项目。

这恰恰是该紧张的地方。 只是瞄错了层,因为 Proxmox VE 里根本没有 hypervisor。

hypervisor 是 KVM。它是 Linux 的一部分,2007 年起就在那里了。如果你的组织用 EC2、Google Cloud、Oracle Cloud、Alibaba Cloud、DigitalOcean 或 Nutanix,那你今天已经在生产环境里跑着它了。你只是从来不必去想它,因为上面那几层归别人管。

这篇文章讲的是这块共同地基到底意味着什么。两半都讲:论证里真正站得住的那一半,以及在厂商幻灯片里被吹过头的那一半。

Proxmox VE 是一个管理层

Linux 上的虚拟化分四层,由四拨不同的人构建和维护。

1. 硬件虚拟化扩展。 Intel VT-x 加 EPT,或者 AMD-V 加 NPT。这是硅片。正是它让客户机能以原生速度运行自己的内核、用自己的页表,而不需要任何东西去模拟指令。

2. KVM,也就是 hypervisor。 内核模块:kvm.ko 是与架构无关的核心,再加上 kvm-intel.ko 或 kvm-amd.ko 处理厂商扩展。隔离边界归这个组件管。它设置客户机的虚拟机控制结构,处理 VM exit,管理二级页表,投递中断。

3. VMM,即用户空间里的虚拟机监视器。 在 Proxmox VE 上就是 QEMU。它搭出那块虚拟主板:芯片组、PCIe 拓扑、磁盘、网卡、串口、固件。KVM 负责跑 CPU;QEMU 决定客户机以为自己有什么硬件。

4. 管理层。 这才是 Proxmox VE:pve-manager 和 pveproxy 提供 API 和界面,qemu-server 把虚拟机配置文件变成 QEMU 命令行,pve-container 负责 LXC,pmxcfs 跑在 Corosync 之上提供复制的集群配置,pve-ha-manager 负责隔离(fencing)和重启,再加上防火墙和 SDN 栈。

你要迁出的那个平台上也有这四层,干的也是这四样活:vCenter 是第 4 层,VMkernel 是第 2 层。等零件都摆上桌,我再回来做这个对比。

Proxmox VE 和 vSphere 上同样的四层Proxmox VEVMware vSphere4 · 管理层Proxmox VEpve-manager · pveproxy · qemu-serverCorosync 上的 pmxcfs · pve-ha-manager · SDNvCenter Server一台单独的设备,要规划容量、买许可、打补丁、做备份3 · 设备模型pve-qemu,在用户空间虚拟主板:芯片组、PCIe、磁盘、网卡上游 QEMU + 78 个 Proxmox 补丁2 · hypervisor · 隔离边界KVM:kvm.ko + kvm-intel.ko / kvm-amd.kovCPU 进入和退出 · EPT/NPT · 中断上游 Linux,在 Proxmox 编译的内核里VMX userworld,每台虚拟机一个设备 I/O、快照、远程控制台用户空间,不在内核里VMkernel,外加每个 vCPU 一个 VMM客户机指令和内存VMware 自己对 VMkernel 的说法:“a POSIX-like operating system”1 · 硅片Intel VT-x + EPT · AMD-V + NPT同样的硅片
两边是同样的四层。Proxmox 写第 4 层,大量修改第 3 层,自己编译第 2 层的内核,KVM 本身取自上游。VMware 四层全写,一层都不让你看。

Proxmox 实际维护什么

第 4 层完全归 Proxmox VE 所有。但如果说它只是把第 2、3 层打包一下,那就错了,而这正是对这家公司最常见的误读。

在撰写本文时,pve-qemu 的 series 文件里有 78 个针对上游 QEMU 的补丁:

Proxmox 往 QEMU 里加了什么:78 个补丁,按比例extra/bitmap-mirror/pve/78 个补丁,按比例26646向后移植的上游修复。其中相当惊人的一部分是设备模型里的安全修复:qxl 和 virtio-gpu 的 stride 校验,一个客户机可触发的 intel_iommu abort,以及 lsi53c895a 和 virtio-net 里的重入 DMA。drive-mirror 的 dirty-bitmap 同步模式。Proxmox 自己的工作:savevm-async、VMA 格式、PBS 块驱动、pbs-restore、alloc-track、备份 fleecing。
按 debian/patches/series 按比例绘制。队列的大部分是 Proxmox 自己的工程成果,而且全部落在第 3 层:没有一个补丁碰 kvm.ko。

他们还自己编译内核,并为周边大部分组件维护打包或补丁:OVMF 用的 pve-edk2-firmware,以及 lxc、zfsonlinux、openvswitch、libiscsi、corosync-pve、lvm 和 ceph。

所以真正的边界是:第 4 层全部,第 3 层里大量的工程工作,外加一个他们自己编译的内核。他们没有做的,是写一个 hypervisor。第 2 层的 KVM 代码是上游 Linux。

而这一切都不是在批评 Proxmox。 正因为如此,像 Proxmox 这样规模的公司才值得托付这份工作。维也纳的一家小公司并没有坐下来从零写一个 hypervisor;他们建在一个 Intel、AMD、Red Hat、Google、Amazon 和 IBM 早就在花钱雇工程师维护的 hypervisor 之上,把自己的力气花在上面那一层以及那一层需要的集成工作上。那才是这种规模的团队能做出差别的地方,而补丁队列显示他们确实做出来了。

KVM 到底是什么

KVM 是 Kernel-based Virtual Machine(基于内核的虚拟机)的缩写,这个名字一点不差:它是一个内核功能,不是一个程序。

加载这些模块,Linux 就多出一个字符设备 /dev/kvm,以及它上面的一小组 ioctl 调用:KVM_CREATE_VM、KVM_CREATE_VCPU、KVM_SET_USER_MEMORY_REGION、KVM_RUN。 这个接口就是 hypervisor 的全部 API。任何能打开文件描述符并调用 ioctl 的东西,都能创建虚拟机。

它由 Qumranet 的 Avi Kivity 编写,合入了 2007年2月发布的 Linux 2.6.20,距今十九年。Red Hat 在 2008 年收购了 Qumranet,此后每一个内核版本都带着 KVM,按内核惯常的九到十周节奏发布。它早已移植到 x86 之外:arm64、POWER、IBM Z 上的 s390,以及 RISC-V。

架构上要紧的一点是:它为什么这么小。

KVM 没有调度器,因为 Linux 有。一个 vCPU 就是一个普通的宿主机线程,完全公平调度器把它放到某个核心上,和其他线程一样。 它没有内存管理器,因为 Linux 有。客户机内存是一段普通的用户空间映射,所以可以换页、用大页支撑,或者用和其他进程一样的机制放到某个 NUMA 节点上。 它没有驱动栈、块层、网络栈或文件系统,因为 Linux 早就全有了,而且你的硬件厂商测试的正是这些。

这才是真正的成熟度论据,它比一个版本号有力得多。 每一项 NUMA 均衡改进、每一次 io_uring 改动、每一个网卡驱动、每一个合入 Linux 的新 CPU 勘误规避,都会落到你的虚拟机下面,因为根本没有一个单独的 hypervisor 内核需要谁去移植。

“Type 1”之争把线划错了地方

接下来的反对意见必然是:KVM “只是一个 type 2 hypervisor”。它跑在宿主操作系统上,不像 ESXi 那样跑在裸机上。

这套分类法比硬件虚拟化早了三十年,而它当初圈起来的那个东西,早就不在大家以为的位置了。

vCPU 运行时到底发生了什么

QEMU 调用 ioctl(vcpu_fd, KVM_RUN)。控制权进入 kvm.ko,它加载客户机的 CPU 状态并执行 VMLAUNCH。从这条指令开始直到下一次 VM exit,客户机直接在物理核心上执行,处于客户机模式,通过 EPT 启用它自己的页表,以全速硬件速度运行。它下面没有任何东西在解释任何指令。“宿主操作系统”不在这条路径上,它甚至都没在那个核心上运行。

当客户机做了需要处理的事情,CPU 就退出到宿主机,并落到 kvm.ko 里,在内核中,在和 ESXi 的 VMkernel 完全相同的特权级上。大多数 exit 就在那里解决,然后重新进入,用户空间根本不参与。

vCPU 从 QEMU 进入客户机模式的路径,以及它的 exit 停在哪里用户空间内核:ring 0宿主机模式客户机模式:VMX non-rootQEMU:vCPU 线程每个 vCPU 一个普通宿主机线程kvm.koVM 进入 · exit 处理 · EPT · 中断客户机,在物理核心上自己的内核,通过 EPT 用自己的页表以全速硬件速度运行ioctl(KVM_RUN)VMLAUNCHVM exit在这里解决退出到用户空间没有任何东西在解释客户机,宿主机也不在那个核心上运行。exit 停在哪里在内核里解决· EPT/NPT 违例· 写本地 APIC:有 APICv 时常常没有 exit· 处理器间中断,由硬件 posted· virtio-net 门铃,由 vhost-net 接住到达 QEMU· 访问模拟 e1000 或 IDE 的寄存器· 写 PCI 配置空间· 任何只有 QEMU 才知道怎么回答的事只有第二张清单要付出一次用户空间往返,而缩短这张清单的办法是用 virtio 设备,以及一个不带任何老硬件的机器类型。
一个 vCPU 走的路径。虚线以上都是宿主机线程;虚线以下是跑在裸硅片上的客户机。唯一会到达 QEMU 的 exit,是那些必须由 QEMU 来回答的。

ESXi 也是同样的拆分

现在看看那个据说能证明这种区分的平台。

VMware 自己的架构文档把 VMkernel 描述为 “a POSIX-like operating system”,提供 “process creation and control, signals, file system, and process threads”。按它作者自己的描述,那就是一个操作系统。而 ESXi 上一台运行中的虚拟机也不是内核里的某个东西,它是一组 userworld 进程:每个虚拟 CPU 一个 VMM,负责虚拟化客户机指令并管理其内存;每台虚拟机一个 VMX 进程,负责那些对性能不敏感的设备的 I/O,并与快照管理器和远程控制台通信。

带着 QEMU 再读一遍。内核里每个 vCPU 一个执行上下文,用户空间里每台虚拟机一个进程负责设备模拟和管理。VMware 这样拆分的理由,和其他所有人一样。

Hyper-V 也不例外。微软的文档明确写着,虚拟机工作进程 vmwp.exe 是 “a user mode component of the virtualization stack”,每台虚拟机生成一个,而且所有模拟设备都在它里面实现,运行在根分区里,而根分区就是 Windows。就连最符合这套分类法的 Xen,也需要 dom0 里有一个通用 Linux 才能工作,而全虚拟化客户机的设备模型来自 QEMU。

那条线到底在哪?

判断标准从来就不是“用没用用户空间”。 Goldberg 在 1970 年代初提出的分类法问的是:hypervisor 是不是一个运行在既有操作系统之上的应用程序,而那个操作系统已经掌管硬件并负责调度。那才是 type 2,即宿主型 hypervisor:VMware Workstation、VirtualBox、Parallels Desktop、不带加速的纯 QEMU。你先装一个通用操作系统,再往上装一个程序,那个程序像其他程序一样向操作系统讨内存和 CPU 时间。

KVM 不是这样。kvm.ko 不是 Linux 之上的一个程序。它是 Linux 的一部分,和掌管硬件的代码在同一个特权级执行,客户机 exit 时直接落到那里。hypervisor 下面没有宿主操作系统。内核就是 hypervisor。Proxmox VE 把这个内核当作系统来发行,和 ESXi 把 VMkernel 当作系统来发行完全一样。

至于“它需要用户空间,所以是 type 2”这个版本,根本救不回来,因为一以贯之地套用,它会把所有东西都套进去。ESXi 上没有 VMX 进程就跑不了任何虚拟机,Hyper-V 上没有 vmwp.exe 也不行,Xen 上的 HVM 客户机没有 QEMU 也不行。一个把所有在售 hypervisor 都扔进同一个桶的测试,什么也区分不了。

掌管 CPU 和内存虚拟化的内核每台虚拟机的用户空间设备模型需要既有的宿主操作系统吗?
VMware ESXiVMkernel每台虚拟机一个 VMX否
Microsoft Hyper-Vhypervisor 加 Windows 根分区vmwp.exe否
XenXen hypervisor 加 dom0 LinuxQEMU,在 dom0 或 stub domain 里否
KVMkvm.koQEMU否
VirtualBox、VMware Workstation宿主机的内核,通过安装的驱动应用程序本身是

四个产品,一个形状;然后第五行才是真正不同的。最后那一行才是“type 2”这个词当初要描述的东西,也是唯一一行硬件早已归别人掌管的。

所以这套分类法确实还划着一条线。只是它划的位置离这场争论假设的地方差得远:KVM 和 ESXi 在线的同一侧。 把 KVM 叫做 type 2,是从 VirtualBox 那一类借了个词,安到一个架构上属于 ESXi 那一类的东西上。

于是这个标签在评估里起不了任何作用,因为你正在二选一的两个产品都在同一个框里。区别不在 type 编号。区别在于其中一个厂商连内核也写了,而且不让你读:这是一个披着架构图外衣的许可和透明度问题。Nutanix 从商业上说明了这一点:它发行的 KVM 代码和 Proxmox 一样,却把 AHV 描述为裸机 type 1 hypervisor。同样的代码,相反的标签,不同的市场部。

这项指责里确实藏着一个真问题,值得给它起个更准确的名字:通用内核要干上千样专用内核不干的活,这意味着隔离边界旁边有更多代码、更大的攻击面。这一点合理,也能量化,我会在接近结尾时回到它。

活到底在哪里干

“它跑在宿主操作系统上”这种直觉唯一有道理的地方是 exit 处理,所以值得说清楚哪些 exit 去哪里。

客户机做了这件事由谁处理代价
访问一个 EPT/NPT 里还没映射的页kvm.ko,在内核里一次 exit,微秒级
写它的本地 APICCPU 自己,通过 APICv/AVIC常常根本没有 exit
发送处理器间中断硬件里的 posted interrupt常常没有 exit
在带 vhost-net 的 virtio-net 队列上发包内核线程,不经过用户空间一次门铃
读模拟的 e1000 或 IDE 控制器上的寄存器一路出到 QEMUexit 加一次用户空间往返

只有最后一行看起来有点像 type 2 的漫画形象,而它也正是你可以用工程手段消掉的那一行:用 virtio 设备,不去呈现你用不着的模拟老硬件。这和选择 Q35 而不是 i440fx 背后的道理一样:更少被捕获的寄存器访问,更少需要遍历的老设备。

宿主操作系统是功能,不是包袱

这本账的另一半从来没进入过争论,那我就写在这里:一个 Proxmox 节点是一台你真能上手干活的机器。 它就是 Debian,整个 Debian 软件仓库离你只有一条 apt install。

  • 用你已经在用的监控:Prometheus node exporter、smartmontools、你现有的 agent,而不是设备厂商愿意给你暴露什么就是什么。
  • 慢的时候用来诊断的工具:fio、iperf3、nvme-cli、perf、bpftrace。
  • 任何发行 Linux 二进制的厂商的备份 agent。
  • 配置管理,让 hypervisor 和其他所有东西待在同一份 Ansible inventory 里,而不是一个特例。
  • 用 fwupd 更新固件,前提是硬件厂商支持 LVFS。

这些都不需要插件格式、签名包或厂商的恩准。对比一下 ESXi 的模式:shell 被刻意限制,第三方代码以 VIB 形式进来,而且压根没有包管理器可用。

它能伸进存储栈

监控 agent 只是这件事的无聊版本。Proxmox 自己的存储文档列出了原生插件:dir、NFS、CIFS、CephFS、ZFS、BTRFS、LVM、LVM-thin、iSCSI、FC/SAS、RBD、ZFS-over-iSCSI、PBS,然后加了一句值得照字面理解的话:

you may use all storage technologies available for Debian Linux

这句话说明了边界在哪里,而背后的机制是通用的:让每个节点都看到一个块设备,在上面放 LVM,把它添加为启用了 shared 的 LVM 存储。 受支持的 Fibre Channel 和 iSCSI 路径正是这么工作的,所以任何能产出共享块设备的东西都能走同一条路。

四种传输,一条通往 Proxmox 共享存储的路传输方式Linux 给你什么Proxmox 看到什么Fibre Channel / SAS原生插件iSCSI原生插件NVMe/TCP 或 RDMA无插件:nvme-cliATA over Ethernet无插件:aoetools一个块设备在每个节点上/dev/sdX · /dev/nvme0n1LVM 卷组shared: 1存储类型:lvm热迁移跨整个集群Proxmox VE 只需要认得右边那两个框。它们左边的一切都是 Linux 块层,它不在乎设备是怎么来的。
这些传输方式里有两种有 Proxmox 插件,两种什么都没有,而过了第二个框就毫无区别。不管共享 LUN 是谁送来的,到了 LVM 这一层它就变成了集群存储。

NVMe over TCP 或 RDMA 是值得知道的那个例子,因为它快、新,而且不在那份插件列表里。nvme-tcp 和 nvme-rdma 是内核树内的 Linux 主机驱动,NVMe/TCP 从 5.0 起就在主线里了,所以没什么需要编译的。nvme-cli 是一个 Debian 包(先 nvme discover,再 nvme connect),另一端用 nvmetcli 配置内核里的 nvmet target。连接上的 namespace 会出现为 /dev/nvmeXnY,从那以后它就是一个普通块设备。

ATA over Ethernet 从光谱的另一端说明同一件事:古老、冷门,同样没有插件支持。aoe 驱动在主线里;aoetools 给你 aoe-discover 和 aoe-stat;vblade 能把另一台机器上的任何文件或块设备变成 target。同一条路,同样的结果。

这两者都不是插件 API、SDK 或认证计划。这就是当 hypervisor 的存储层本身就是 Linux 块层时自然会发生的事。

老实说几句保留意见,因为这事在凌晨 3 点出问题之前,看着都像个炫技把戏。这两种传输都不是经过测试的 Proxmox 存储类型,所以集成和它的故障模式,比如重连行为、多路径、负载下的超时,都归你自己负责,在任何重要东西放上去之前都得你自己测。而且 AoE 是一个裸二层协议,不可路由,没有认证,所以它只该待在隔离的存储 VLAN 上,别处一概不行。NVMe/TCP 至少有发现模型,也能路由,这在很大程度上就是为什么现在该选它。

还有谁在跑 KVM

“你早就在用它了”这句话就是从这里来的。下面每一个平台跑的都是同一个内核模块。

平台你在哪里碰到它KVM 部分用户空间 VMM
Amazon EC2(Nitro)公有云KVM 核心模块定制:去掉了 QEMU,设备模型放在 Nitro 卡里
AWS Lambda、FargateServerless/dev/kvmFirecracker:一个用 Rust 写的极简 microVM 监视器
Google Compute Engine公有云从上线起就是 KVMGoogle 自己的 VMM,刻意不用 QEMU
Alibaba Cloud ECS公有云精简版 KVM(X-Dragon)定制,网络和存储卸载到 MoC 卡上
Oracle Cloud(OCI)公有云Oracle Linux KVM,和 Oracle 本地部署发行的是同一套栈QEMU 一脉
DigitalOcean、Linode/Akamai、Vultr、Hetzner、OVHcloud、Scaleway、UpCloud公有云原版 KVMQEMU
Nutanix AHV本地部署 HCI原版 KVMQEMU,加 libvirt 和 Open vSwitch
OpenStack(Nova)私有云原版 KVM通过 libvirt 的 QEMU:默认且测试最充分的驱动
Apache CloudStack、OpenNebula、oVirt本地部署原版 KVM通过 libvirt 的 QEMU
OpenShift Virtualisation、SUSE HarvesterKubernetes原版 KVM跑在 pod 里的 QEMU,通过 KubeVirt
Proxmox VE本地部署原版 KVMQEMU,旁边还有用于容器的 LXC

大家都保留内核那一半,重写用户空间那一半

超大规模云厂商没有 fork KVM。他们 fork 的是 QEMU 的活。

AWS 把 EC2 从 Xen 迁到了 Nitro hypervisor 上,它建在 KVM 核心内核模块之上,QEMU 被整个扔掉。设备模型改放在专用的 Nitro 卡里,这就是他们能拿到和裸机难以区分的性能的原因。每一种当代 EC2 实例类型都跑在这上面。另外,Lambda 和 Fargate 跑的是 Firecracker,一个专门用 Rust 写的 VMM,对接的是同一个 /dev/kvm。

Google 从 Compute Engine 上线起,就把每一台 Compute Engine 虚拟机都跑在 KVM 上,并且自己写了用户空间 VMM,而不是用 QEMU,明确就是为了避开 QEMU 那张庞大的客户机、设备和模式矩阵。他们还反过来在上游加固了内核模块,删掉没人需要的模拟设备,收窄了被模拟的指令集。这些工作就在你正在跑的 KVM 里。

阿里巴巴用 X-Dragon 做了同样形状的事:一个精简的 KVM hypervisor,网络和存储虚拟化卸载到基于 FPGA 的 MoC 卡上。

Nutanix AHV 是 KVM 加 libvirt 加 QEMU 加 Open vSwitch 加 Nutanix 的编排。在那张表里所有商业产品当中,它是 Proxmox VE 最近的亲戚。第 4 层不同,发票也大不相同。

五个平台,五种设备模型,一个 KVMAmazon EC2NitroGoogle CloudCompute EngineAlibaba CloudECS, X-DragonNutanixAHVProxmox VE基于 Debian管理层设备模型hypervisor硬件EC2 控制平面控制台和 API按实例小时计费GCE 控制平面控制台和 API按实例小时计费ECS 控制台和 API按实例小时计费Prism 和 AOS每个节点上都有按节点按年计费pve-managerpveproxy、HA、SDN每个节点上都有订阅可选定制 VMM,完全没有 QEMU设备放在Nitro 卡上Google 自己的用户空间 VMM,刻意不用 QEMU精简的 VMM,网络和存储卸载到MoC 卡上QEMU、libvirt和 Open vSwitchQEMU,旁边还有 LXCKVM:kvm.ko、kvm-intel.ko / kvm-amd.ko隔离边界,每一列都是同一份代码Intel VT-x + EPT · AMD-V + NPT
每一列都是同一个内核模块。沿着栈往上,变化的依次是设备模型、管理层、许可,而这也正是这些平台实际产生差异的顺序。

Proxmox VE 是故意保留 QEMU 的

人很容易把那张表读成一个排名,AWS 和 Google 因为换掉了 QEMU 而排在最前面。这种读法是错的,因为他们的约束不是你的约束。

AWS 和 Google 只跑一种硬件配置,规模大到一个设备模拟的 bug 就是全舰队级别的事件,而且他们在意的每一个客户机镜像边界都在自己掌控之中。在那个世界里,QEMU 的广度几乎全是负债,删掉它显然是对的。

你不在那个世界里。 你有一个 2013 年的设备镜像要一块 e1000。你有一台 Windows 虚拟机,它的机器类型这辈子都得钉死。你有一块 GPU 要直通,一个模拟的 SAS 控制器要喂给某个安装程序,一个 UEFI 变量存储要保住。正是 QEMU 让一个通用平台能对这些全都说“行”。

AWS 所说的攻击面,就是你所说的兼容性矩阵。两种说法都准确;区别在于你能不能挑选自己的负载。

这也解释了那条补丁队列的形状。AWS 和 Google 是在 VMM 之外、在他们自己的存储服务里解决备份和快照的。Proxmox 没有存储服务可以用来解决这件事,所以他们把它放进了 QEMU:这就是为什么 savevm-async 和 PBS 块驱动是以补丁而不是以产品的形式存在。

而这件事值得知道,有一个实际的理由:Proxmox VE 里你最会怀念的部分,恰恰是不在上游的部分。 你的虚拟机配置是纯文本,磁盘镜像是标准格式,所以一台机器能搬走。但带内存状态的快照,以及 Proxmox Backup Server 的增量链,都依赖 Proxmox 的 QEMU fork。这比依赖一个专有 hypervisor 轻得多,那个 fork 是公开的、AGPL 的,每个补丁你都能读,但它不是零,“软件层面没有锁定”这句话应该带上这个脚注。

那么,它够企业级吗?

这个论证的偷懒版本是行不通的,值得直说。“AWS 用 KVM,所以 Proxmox VE 是企业级的”是一个推不出来的结论:它拿一个关于某一层的说法,悄悄套到了整个产品上。

站得住的版本是这样的。

共享的那一层,恰恰是最难做对、做错了最危险的那一层。 CPU 和内存虚拟化,以及租户之间的隔离边界,是一个 bug 就意味着入侵而不只是宕机的地方。这些代码由 Amazon、Google、Red Hat、Intel、AMD、IBM 和阿里巴巴付钱雇的工程师审查,它们的 bug 由运营着世上最大机群的那些机构发现,通常在内核到你手上之前。真的出现客户机逃逸漏洞时,修复会随着你本来就要打的常规内核更新一起到来。你不用等某一家厂商的发布周期,去修一个只有那家厂商才看得到的 hypervisor。

不共享的,是边界之上的一切。 这意味着那个问题会坍缩成两个好回答得多的问题:

  1. 管理层是否足够适合你的运维方式?
  2. 你能不能以你接受得了的条款买到对它的支持?

两者都能在概念验证里测试,也都能写进合同。两者都不需要你去信仰某个 hypervisor。

这比原问题所假设的处境好得多。原问题假设你被要求去信任一个小厂商的新奇 hypervisor。并不是。Proxmox 特有的代码是一个管理层,大部分用 Perl 写,越来越多用 Rust 写,再加上那条针对 QEMU 的补丁队列。注意那些补丁落在哪里:设备模型和备份路径,而不是隔离边界。

还值得知道 Proxmox 特有的这一层出故障会让你付出什么。QEMU 进程是宿主机上普通的独立进程,所以 pveproxy 倒了不会让任何一台虚拟机停下。这和丢掉掌管隔离边界的那个组件,波及范围完全不是一回事。

“同一个 Hypervisor”买不到什么

厂商的信心文档往往就停在这里,这本身就说明了它们是写给谁看的。这是更有用的那一半。

它买不到 AWS 的可靠性。 Nitro 的可用性和 KVM 关系不大。它来自控制平面、网络架构、存储服务、容量管理,以及围绕这些的运维实践。你的集群的可靠性来自你的 Corosync 仲裁设计、你的 fencing 配置、你的存储选择和你的网络冗余。KVM 对这些一概没有意见。和超大规模云厂商共用一个 hypervisor,并不会继承他们的运维。

它买不到 Nitro 的攻击面,而这正是 type 2 指责里合理的那一半落地的地方。 你在通用内核上跑着 QEMU,而从历史上看,那些让人记得住的虚拟机逃逸都出在 QEMU 的设备模型里:VENOM,出在一个根本没人用的模拟软驱控制器里,就是典型例子。当时 Google 可以指出 Compute Engine 不受影响,恰恰因为它不跑 QEMU。你跑,所以补偿性控制就归你:优先用 virtio 而不是模拟硬件,不需要的设备就别呈现,别去动 AppArmor 配置文件,像对待内核一样有纪律地给 QEMU 打补丁。Proxmox 的 extra/ 补丁正是他们在替你做这件事,而去确认他们还在做,是一件合情合理的事。

它不会让虚拟机行为在平台之间可移植。 CPU 型号选择、机器类型版本、热迁移兼容性和时钟行为,全都在第 3、4 层决定,而且各处都不一样。一个混合了几代 CPU 的集群,照样会因为你把 CPU 类型设成 host 而惩罚你,而且不管平台上贴的是什么标志,客户机时钟照样会漂移。同一个 hypervisor 不等于同样的行为。

它回答不了支持问题,而这恰恰是采购真正在意的问题,在意得也对。Proxmox VE 是 AGPLv3,可以免费在生产环境运行。订阅买的是经过企业测试的软件仓库和厂商支持,起价每插槽每年 €120。Proxmox 自己的支持在奥地利工作时间内提供,所以全天候覆盖来自合作伙伴,而不是来自维也纳。我工作的 croit 就是其中一家合作伙伴,提供一年 365 天 24/7 的覆盖。这是一个商务谈判,不是一个技术风险,而它能成为一个商务谈判,正是上面所有内容的意义所在。

真正该评估的是什么

既然 hypervisor 已经定了,概念验证就该把时间花在真正属于 Proxmox VE 特有的那一层上:

  • Fencing 和 HA。 拔掉一个跑着 HA 客户机的节点的电源,给重启计时。然后对两个节点这么干,确认仲裁丢失时剩下的节点表现得和你预期的一样。
  • 跨 CPU 代际的热迁移。 用你真打算统一采用的 CPU 型号,不是 host。
  • 备份,以及更重要的,恢复。 看负载下的恢复时间,不是备份时间。从来没有人因为备份快而被感谢过。
  • 权限模型。 你能不能把应用团队自己那些虚拟机的控制台和电源控制交给他们,别的一概不给,而且粒度细到能让审计员满意。
  • API。 Web 界面做的每件事都是一次 API 调用;如果你的自动化驱动不了它,这个平台就不适合你的工作方式。
  • 升级路径。 在你往上放 400 台虚拟机之前,先在 PoC 集群上做一次大版本升级。

这些没有一个是关于 KVM 的问题。这差不多就是重点。

hypervisor 是已经定下来的那部分。把概念验证花在没定下来的那些部分上。

参考资料

KVM 本身

其他 hypervisor 是怎么构建的

谁在跑 KVM,以及他们怎么改的

Proxmox 维护什么

披露:我在 croit 工作,它是 Proxmox 金牌合作伙伴。上面的技术论断都有出处、可以核查;商务那一段是我有利益关系的部分,请相应看待。