हर Proxmox मूल्यांकन इसी सवाल से शुरू होता है

“क्या Proxmox सच में एंटरप्राइज़ ग्रेड है?”

यह सवाल लगभग हर migration की बातचीत में उठता है, और इसके नीचे छिपी चिंता लगभग कभी web interface को लेकर नहीं होती। कोई सचमुच नहीं डरता कि ब्राउज़र का dashboard उसका डेटा बिगाड़ देगा। लोग असल में यह पूछ रहे हैं कि virtual machine और हार्डवेयर के बीच खड़ी चीज़, यानी वह हिस्सा जिसे एक tenant को दूसरे tenant की memory से हमेशा बाहर रखना है, बिना एक भी गलती के, इंजीनियरिंग का गंभीर काम है या कोई community project जो बस लोकप्रिय हो गया।

इसी बात पर घबराना बिल्कुल सही है। बस निशाना गलत परत पर है, क्योंकि Proxmox VE में हाइपरवाइज़र है ही नहीं।

हाइपरवाइज़र KVM है। यह Linux का हिस्सा है, 2007 से वहाँ है, और अगर आपकी संस्था EC2, Google Cloud, Oracle Cloud, Alibaba Cloud, DigitalOcean या Nutanix इस्तेमाल करती है, तो आप इसे आज production में पहले से चला रहे हैं। बस आपको कभी इसके बारे में सोचना नहीं पड़ा, क्योंकि ऊपर की परतें किसी और के ज़िम्मे थीं।

यह पोस्ट इस बारे में है कि उस साझा नींव का असल मतलब क्या है। दोनों हिस्से: तर्क का वह हिस्सा जो सच में टिकता है, और वह हिस्सा जिसे vendor की slides में बढ़ा-चढ़ाकर कहा जाता है।

Proxmox VE एक Management Layer है

Linux पर virtualisation चार अलग परतें हैं, जिन्हें चार अलग-अलग समूह बनाते और संभालते हैं।

1. हार्डवेयर virtualisation extensions. EPT के साथ Intel VT-x, या NPT के साथ AMD-V। यह silicon है। इसी की वजह से guest अपना kernel native speed पर अपनी page tables के साथ चला पाता है, बिना किसी के instructions को emulate किए।

2. KVM: हाइपरवाइज़र. Kernel modules: architecture से स्वतंत्र core के लिए kvm.ko, साथ में vendor extensions के लिए kvm-intel.ko या kvm-amd.ko। isolation की सीमा इसी हिस्से के पास है। यह guest के virtual machine control structures बनाता है, VM exits संभालता है, second-level page tables चलाता है, और interrupts पहुँचाता है।

3. VMM: user space में virtual machine monitor. Proxmox VE पर यह QEMU है। यह virtual motherboard बनाता है: chipset, PCIe topology, disks, NICs, serial ports, firmware। CPU को KVM चलाता है; guest को लगता है कि उसके पास कौन-सा हार्डवेयर है, यह QEMU तय करता है।

4. Management layer. यह Proxmox VE है: API और interface के लिए pve-manager और pveproxy, VM config file को QEMU command line में बदलने के लिए qemu-server, LXC के लिए pve-container, replicated cluster configuration के लिए Corosync के ऊपर pmxcfs, fencing और restart के लिए pve-ha-manager, और साथ में firewall और SDN stack।

जिस प्लेटफ़ॉर्म से आप migrate कर रहे हैं, उस पर भी यही चार परतें हैं और यही चार काम करती हैं: vCenter परत 4 है, VMkernel परत 2 है। सारे टुकड़े सामने आ जाने के बाद मैं इस तुलना पर लौटूँगा।

Proxmox VE और vSphere पर वही चार परतेंProxmox VEVMware vSphere4 · managementProxmox VEpve-manager · pveproxy · qemu-serverCorosync पर pmxcfs · pve-ha-manager · SDNvCenter Serverएक अलग appliance जिसका आकार, licence,patch और backup आपको करना है3 · device modelpve-qemu, user space मेंvirtual motherboard: chipset, PCIe, disks, NICsupstream QEMU + 78 Proxmox patches2 · हाइपरवाइज़र · isolation की सीमाKVM: kvm.ko + kvm-intel.ko / kvm-amd.kovCPU entry और exit · EPT/NPT · interruptsupstream Linux, Proxmox के kernel build मेंVMX userworld, हर VM के लिए एकdevice I/O, snapshots, remote consoleuser space: kernel के अंदर नहींVMkernel, साथ में हर vCPU का एक VMMguest instructions और memoryVMkernel के लिए VMware के अपने शब्द:“a POSIX-like operating system”1 · siliconIntel VT-x + EPT · AMD-V + NPTवही silicon
दोनों तरफ़ वही चार परतें। Proxmox परत 4 लिखता है, परत 3 में भारी patches लगाता है, परत 2 का kernel बनाता है और KVM खुद upstream से लेता है। VMware चारों लिखता है और आपको किसी को पढ़ने नहीं देता।

Proxmox असल में क्या संभालता है

परत 4 पूरी तरह Proxmox VE की है। फिर भी यह कहना गलत होगा कि वह परत 2 और 3 को बस package करता है, और कंपनी क्या करती है, इसे लेकर यही सबसे आम गलतफ़हमी है।

इस लेखन के समय pve-qemu की series file में upstream QEMU के ऊपर 78 patches हैं:

Proxmox QEMU में क्या जोड़ता है: 78 patches, अनुपात मेंextra/bitmap-mirror/pve/78 patches, अनुपात में26646Backported upstream fixes। इनमें बड़ी संख्या device model केsecurity fixes की है: qxl और virtio-gpu stride validation, guest से होने वालाintel_iommu abort, lsi53c895a और virtio-net में re-entrant DMA।drive-mirror के लिए dirty-bitmap sync modes।Proxmox का अपना काम: savevm-async, VMA format, PBS block driver,pbs-restore, alloc-track, backup fleecing।
debian/patches/series से अनुपात में बनाया गया। ज़्यादातर queue Proxmox की अपनी इंजीनियरिंग है, और पूरी की पूरी परत 3 में है: इनमें से कोई patch kvm.ko को नहीं छूता।

वे अपना kernel भी खुद build करते हैं, और आसपास के ज़्यादातर stack के लिए packaging या patches संभालते हैं: OVMF के लिए pve-edk2-firmware, साथ में lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve, lvm और ceph।

तो असली सीमा यह है: पूरी परत 4, परत 3 के अंदर ठोस इंजीनियरिंग, और एक kernel जिसे वे compile करते हैं। उन्होंने जो नहीं किया, वह है हाइपरवाइज़र लिखना। परत 2 का KVM code upstream Linux है।

और इसमें Proxmox की कोई आलोचना नहीं है। इसलिए तो Proxmox जितने आकार की कंपनी पर इस काम के लिए भरोसा किया जा सकता है। Vienna की एक छोटी कंपनी ने बैठकर शून्य से हाइपरवाइज़र नहीं लिखा; उन्होंने उस पर निर्माण किया जिसे संभालने के लिए Intel, AMD, Red Hat, Google, Amazon और IBM पहले से इंजीनियरों को पैसा दे रहे थे, और अपनी मेहनत उसके ऊपर की परत पर और उस परत के लिए ज़रूरी integration पर लगाई। उस आकार की टीम फ़र्क वहीं डाल सकती है, और patch queue दिखाती है कि वे डाल रहे हैं।

KVM असल में क्या है

KVM का मतलब है Kernel-based Virtual Machine, और नाम बिल्कुल सटीक है: यह kernel का एक feature है, कोई program नहीं।

Modules load कीजिए और Linux को एक character device मिल जाता है, /dev/kvm, साथ में उस पर ioctl calls का एक छोटा सेट: KVM_CREATE_VM, KVM_CREATE_VCPU, KVM_SET_USER_MEMORY_REGION, KVM_RUN। यही interface पूरा हाइपरवाइज़र API है। जो भी चीज़ file descriptor खोलकर ioctl call कर सकती है, वह virtual machines बना सकती है।

इसे Qumranet में Avi Kivity ने लिखा था और यह Linux 2.6.20 में merge हुआ, जो फ़रवरी 2007 में release हुआ: उन्नीस साल पहले। Red Hat ने 2008 में Qumranet को खरीदा, और तब से KVM हर kernel release में आया है, kernel की सामान्य नौ-दस हफ़्ते की लय पर। यह x86 से बहुत आगे port हो चुका है: arm64, POWER, IBM Z पर s390, और RISC-V।

Architecture की अहम बात यह है कि यह छोटा क्यों है।

KVM के पास scheduler नहीं है, क्योंकि Linux के पास है। vCPU एक सामान्य host thread है, और completely fair scheduler उसे किसी दूसरे thread की तरह core पर रखता है। इसके पास memory manager नहीं है, क्योंकि Linux के पास है। Guest RAM एक सामान्य user-space mapping है, तो उसे page किया जा सकता है, hugepages से back किया जा सकता है, या किसी NUMA node पर रखा जा सकता है, उसी मशीनरी से जो किसी भी दूसरी process के लिए है। इसके पास driver stack, block layer, network stack या filesystem नहीं है, क्योंकि Linux के पास ये सब पहले से थे और आपका हार्डवेयर vendor इन्हीं के खिलाफ़ test करता है।

परिपक्वता का असली तर्क यही है, और यह किसी version number से कहीं मज़बूत है। NUMA balancing का हर सुधार, io_uring का हर बदलाव, हर network driver, CPU errata का हर नया workaround जो Linux में आता है, वह आपकी virtual machines के नीचे आ जाता है, क्योंकि कोई अलग हाइपरवाइज़र kernel है ही नहीं जिसमें किसी को उसे port करना पड़े।

Type 1 वाला तर्क रेखा गलत जगह खींचता है

इसके बाद जो आपत्ति हमेशा आती है, वह यह है कि KVM “बस type 2 हाइपरवाइज़र” है। यह host OS पर चलता है, ESXi की तरह नहीं, जो bare metal पर चलता है।

यह वर्गीकरण हार्डवेयर virtualisation से तीन दशक पुराना है, और यह जिस चीज़ के चारों ओर रेखा खींच रहा था, वह अब वहाँ नहीं है जहाँ लोग उसे मानते हैं।

vCPU चलने पर असल में क्या होता है

QEMU ioctl(vcpu_fd, KVM_RUN) call करता है। नियंत्रण kvm.ko में जाता है, जो guest की CPU state load करता है और VMLAUNCH चलाता है। उस instruction से अगले VM exit तक guest सीधे physical core पर चल रहा होता है, guest mode में, EPT के ज़रिए अपनी page tables के साथ, पूरी हार्डवेयर speed पर। उसके नीचे कुछ भी नहीं है जो कुछ interpret कर रहा हो। “host OS” रास्ते में नहीं है। वह उस core पर चल भी नहीं रहा।

जब guest कुछ ऐसा करता है जिसे संभालना पड़े, तो CPU host की ओर exit करता है, और kvm.ko में पहुँचता है, kernel में, ठीक उसी privilege level पर जिस पर ESXi का VMkernel होता है। ज़्यादातर exits वहीं सुलझ जाते हैं और guest में दोबारा प्रवेश हो जाता है, user space को कभी शामिल किए बिना।

vCPU का QEMU से guest mode तक का रास्ता, और उसके exits कहाँ रुकते हैंuser spacekernel: ring 0host modeguest mode: VMX non-rootQEMU: vCPU threadहर vCPU के लिए एक सामान्य host threadkvm.koVM entry · exit handling · EPT · interruptsguest, physical core परअपना kernel, EPT के ज़रिए अपनी page tablesपूरी हार्डवेयर speed परioctl(KVM_RUN)VMLAUNCHVM exitयहीं सुलझाuser space तक exitGuest को कोई interpret नहीं कर रहा, और उस core पर host चल ही नहीं रहा।Exit कहाँ रुकता हैKernel में सुलझता है· EPT/NPT violation· local APIC write: APICv के साथ अक्सर exit नहीं· inter-processor interrupt, हार्डवेयर में posted· virtio-net doorbell, vhost-net लेता हैQEMU तक पहुँचता है· emulated e1000 या IDE पर register access· PCI configuration space write· जिसका जवाब सिर्फ़ QEMU जानता हैसिर्फ़ दूसरी सूची user-spaceround trip चुकाती है,और इसी सूची को आप छोटा करते हैं,virtio devices सेऔर ऐसे machine type से जिसमें कोईपुराना हार्डवेयर नहीं।
vCPU जो रास्ता लेता है। dashed line के ऊपर सब कुछ host thread है; उसके नीचे सब कुछ खाली silicon पर चलता guest है। QEMU तक सिर्फ़ वही exits पहुँचते हैं जिनका जवाब QEMU को देना होता है।

ESXi में भी यही बँटवारा है

अब उस प्लेटफ़ॉर्म को देखिए जो कथित तौर पर यह फ़र्क साबित करता है।

VMware का अपना architecture documentation VMkernel को “a POSIX-like operating system” बताता है, जो “process creation and control, signals, file system, and process threads” देता है। उसके लेखक के अपने शब्दों में यह एक operating system है। और ESXi पर चल रही VM kernel के अंदर की कोई चीज़ नहीं है: वह userworld processes का एक समूह है: हर virtual CPU के लिए एक VMM, जो guest के instructions को virtualise करता है और उसकी memory संभालता है, और हर VM के लिए एक VMX process, जो उन devices का I/O संभालता है जो performance के लिए अहम नहीं हैं, और snapshot manager और remote console से बात करता है।

इसे QEMU को ध्यान में रखकर पढ़िए। kernel में हर vCPU का execution context, और हर VM की एक user-space process जो device emulation और management करती है। VMware ने इसे उसी वजह से बाँटा जिस वजह से बाकी सबने।

Hyper-V भी अलग नहीं है। Microsoft का documentation साफ़ कहता है कि Virtual Machine Worker Process, vmwp.exe, “a user mode component of the virtualization stack” है, जो हर VM के लिए बनती है, और सारे emulated devices इसी में बने हैं, root partition में चलते हुए, जो Windows है। Xen भी, जिस architecture पर यह वर्गीकरण सबसे अच्छा बैठता है, काम करने के लिए dom0 में एक general-purpose Linux चाहता है, और पूरी तरह virtualised guests के लिए अपना device model QEMU से लेता है।

तो रेखा है कहाँ?

कसौटी कभी “क्या यह user space इस्तेमाल करता है” नहीं थी। Goldberg का वर्गीकरण, 1970 के दशक की शुरुआत से, यह पूछता है कि क्या हाइपरवाइज़र एक application है जो पहले से मौजूद operating system पर चल रहा है, जो पहले से हार्डवेयर का मालिक है और scheduling करता है। वह type 2, hosted हाइपरवाइज़र है: VMware Workstation, VirtualBox, Parallels Desktop, बिना acceleration के सादा QEMU। आप एक general-purpose OS install करते हैं, फिर उस पर एक program install करते हैं, और वह program बाकी किसी program की तरह OS से memory और CPU time माँगता है।

KVM वैसा नहीं है। kvm.ko Linux के ऊपर कोई program नहीं है। यह Linux का हिस्सा है, उसी privilege level पर चलता है जिस पर हार्डवेयर का मालिक code चलता है, और जब guest exit करता है तो सीधे वहीं पहुँचता है। हाइपरवाइज़र के नीचे कोई host OS नहीं है। Kernel ही हाइपरवाइज़र है। Proxmox VE उस kernel को सिस्टम के रूप में ship करता है, ठीक वैसे जैसे ESXi VMkernel को सिस्टम के रूप में ship करता है।

और “इसे user space चाहिए, इसलिए यह type 2 है” वाला संस्करण बचाया नहीं जा सकता, क्योंकि लगातार लागू करें तो यह सबको पकड़ लेता है। ESXi पर कोई VM अपनी VMX process के बिना नहीं चलती, Hyper-V पर कोई vmwp.exe के बिना नहीं, Xen पर कोई HVM guest QEMU के बिना नहीं। जो test हर बिकने वाले हाइपरवाइज़र को एक ही टोकरी में डाल दे, वह कुछ भी अलग नहीं कर रहा।

CPU और memory virtualisation का मालिक kernelहर VM का user-space device modelपहले से मौजूद host OS चाहिए?
VMware ESXiVMkernelहर VM के लिए VMXनहीं
Microsoft Hyper-Vहाइपरवाइज़र और Windows root partitionvmwp.exeनहीं
XenXen हाइपरवाइज़र और dom0 LinuxQEMU, dom0 में या stub domain मेंनहीं
KVMkvm.koQEMUनहीं
VirtualBox, VMware Workstationhost का kernel, install किए driver के ज़रिएapplication खुदहाँ

चार उत्पाद, एक ही ढाँचा, और फिर पाँचवीं पंक्ति जो सच में अलग है। “type 2” शब्द उसी आखिरी पंक्ति को बताने के लिए गढ़ा गया था, और सिर्फ़ उसी में हार्डवेयर पर पहले से कोई और काबिज़ था।

तो वर्गीकरण अब भी एक रेखा खींचता है। बस वह उसे वहाँ के आसपास भी नहीं खींचता जहाँ तर्क मानकर चलता है: KVM और ESXi उसी तरफ़ हैं। KVM को type 2 कहना VirtualBox वाली श्रेणी का शब्द उधार लेकर उस चीज़ पर लगाना है जो architecture के हिसाब से ESXi वाली श्रेणी में है।

इससे मूल्यांकन में यह label कोई काम का नहीं रह जाता, क्योंकि जिन दो उत्पादों में आप चुन रहे हैं, दोनों एक ही खाने में हैं। फ़र्क type number का नहीं है। फ़र्क यह है कि एक vendor ने kernel भी लिखा है और आपको उसे पढ़ने नहीं देगा: यह licensing और पारदर्शिता का फ़र्क है जिसने architecture diagram के कपड़े पहन रखे हैं। Nutanix यह बात व्यावसायिक रूप से दिखाता है: वह वही KVM code ship करता है जो Proxmox करता है और AHV को bare-metal type 1 हाइपरवाइज़र बताता है। वही code, उलटा label, अलग marketing विभाग।

इस आरोप के अंदर एक असली चिंता छिपी है, और उसे बेहतर नाम मिलना चाहिए: general-purpose kernel हज़ार ऐसे काम कर रहा है जो एक खास मकसद से बना kernel नहीं करता, यानी isolation की सीमा के पास ज़्यादा code और ज़्यादा attack surface। यह जायज़ है और मापा जा सकता है, और मैं अंत के पास इस पर लौटता हूँ।

काम असल में कहाँ होता है

“यह host OS पर है” वाली सहज प्रवृत्ति की एक जगह असली बात है, वह है exit handling, तो यह साफ़ होना चाहिए कि कौन-सा exit कहाँ जाता है।

Guest यह करता हैकौन संभालता हैलागत
EPT/NPT में अभी map न हुआ page छूता हैkvm.ko, kernel मेंएक exit, microseconds
अपने local APIC में लिखता हैCPU खुद, APICv/AVIC के ज़रिएअक्सर कोई exit नहीं
inter-processor interrupt भेजता हैहार्डवेयर में posted interruptsअक्सर कोई exit नहीं
vhost-net के साथ virtio-net queue पर भेजता हैkernel thread, user-space में कोई hop नहींएक doorbell
emulated e1000 या IDE controller का register पढ़ता हैपूरा रास्ता QEMU तकexit और user-space round trip

सिर्फ़ आखिरी पंक्ति type 2 के कार्टून जैसी दिखती है, और यही वह पंक्ति भी है जिसे आप इंजीनियरिंग से हटा देते हैं: virtio devices इस्तेमाल करके, और ऐसा emulated पुराना हार्डवेयर न दिखाकर जिसकी आपको ज़रूरत नहीं। यही तर्क i440fx की जगह Q35 चुनने के पीछे है: कम trapped register accesses, कम पुराने devices जिनसे गुज़रना पड़े।

Host OS एक feature है, बोझ नहीं

उस हिसाब-किताब का दूसरा आधा कभी तर्क में आता ही नहीं, तो यह रहा: Proxmox node एक ऐसी मशीन है जिस पर आप सच में काम कर सकते हैं। यह Debian है, तो पूरा Debian archive एक apt install की दूरी पर है।

  • वही monitoring जो आप पहले से चलाते हैं: Prometheus node exporter, smartmontools, आपका मौजूदा agent, न कि वह जो appliance दिखाना चाहे।
  • कुछ धीमा हो तो diagnostics: fio, iperf3, nvme-cli, perf, bpftrace।
  • किसी भी vendor के backup agents जो Linux binary देते हैं।
  • Configuration management, ताकि हाइपरवाइज़र एक खास मामला होने के बजाय बाकी सब के साथ उसी Ansible inventory में रहे।
  • Firmware के लिए fwupd, उस हार्डवेयर पर जिसका vendor LVFS को support करता है।

इनमें से किसी के लिए plugin format, signed bundle या vendor की मंज़ूरी नहीं चाहिए। इसकी तुलना ESXi के मॉडल से कीजिए, जहाँ shell जानबूझकर सीमित है, third-party code VIB के रूप में आता है, और हाथ बढ़ाने के लिए कोई package manager है ही नहीं।

यह storage stack तक पहुँचता है

Monitoring agents इसका उबाऊ रूप हैं। Proxmox का अपना storage documentation native plugins गिनाता है: dir, NFS, CIFS, CephFS, ZFS, BTRFS, LVM, LVM-thin, iSCSI, FC/SAS, RBD, ZFS-over-iSCSI, PBS, और फिर एक वाक्य जोड़ता है जिसे शब्दशः लेना चाहिए:

you may use all storage technologies available for Debian Linux

यह इस बारे में एक बयान है कि सीमा कहाँ है, और इसके पीछे का तरीका सामान्य है: हर node पर एक block device लाइए, उस पर LVM डालिए, उसे shared चालू करके LVM storage के रूप में जोड़िए। supported Fibre Channel और iSCSI रास्ते ठीक ऐसे ही काम करते हैं, तो जो भी चीज़ shared block device बना सकती है, वह इसी रास्ते का इस्तेमाल कर सकती है।

चार transports, shared Proxmox storage तक एक रास्ताtransportLinux आपको क्या देता हैProxmox को क्या दिखता हैFibre Channel / SASnative pluginiSCSInative pluginNVMe/TCP या RDMAplugin नहीं: nvme-cliATA over Ethernetplugin नहीं: aoetoolsएक block deviceहर node पर/dev/sdX · /dev/nvme0n1LVM volume groupshared: 1storage type: lvmlive migrationपूरे cluster मेंProxmox VE को बस दाईं ओर के दो boxes पहचानने हैं।उनके बाईं ओर सब कुछ Linux block layer है, और उसेपरवाह नहीं कि device कैसे आया।
इनमें से दो transports के लिए Proxmox plugin है और दो के लिए कुछ भी नहीं, और दूसरे box के बाद इससे कोई फ़र्क नहीं पड़ता। LVM परत वह जगह है जहाँ shared LUN cluster storage बनता है, चाहे उसे कोई भी लाया हो।

TCP या RDMA पर NVMe जानने लायक मामला है, क्योंकि यह तेज़ है, आज का है, और उस plugin list में नहीं है। nvme-tcp और nvme-rdma in-tree Linux host drivers हैं, NVMe/TCP 5.0 से mainline में है, तो compile करने को कुछ नहीं है। nvme-cli एक Debian package है (nvme discover, फिर nvme connect), और nvmetcli दूसरे सिरे पर in-kernel nvmet target को configure करता है। जुड़ा हुआ namespace /dev/nvmeXnY के रूप में दिखता है, और वहाँ से वह एक सामान्य block device है।

ATA over Ethernet यही बात दूसरे छोर से कहता है: बहुत पुराना, कम जाना-पहचाना, plugin के रूप में उतना ही unsupported। aoe driver mainline में है; aoetools आपको aoe-discover और aoe-stat देता है; vblade दूसरी मशीन पर किसी भी file या block device को target बना देता है। वही रास्ता, वही नतीजा।

इनमें से कोई plugin API, SDK या certification programme नहीं है। यह वह है जो तब होता है जब हाइपरवाइज़र की storage परत ही Linux block layer हो।

ईमानदार चेतावनियाँ, क्योंकि रात के 3 बजे तक यह एक जादू का खेल लगता है। इनमें से कोई transport tested Proxmox storage type नहीं है, तो integration और उसके failure modes, यानी reconnect का व्यवहार, multipath, load में timeouts, आपकी ज़िम्मेदारी हैं, और कुछ भी अहम उस पर रखने से पहले उन्हें test करना भी आपकी ज़िम्मेदारी है। और AoE एक नंगा Layer 2 protocol है, route नहीं हो सकता और कोई authentication नहीं, तो उसकी जगह एक अलग storage VLAN है और कहीं नहीं। NVMe/TCP के पास कम से कम discovery model है और उसे route किया जा सकता है, और आज इसी को चुनने की बड़ी वजह यही है।

KVM और कौन चलाता है

“पहले से चला रहे हैं” वाला दावा यहीं से आता है। नीचे का हर प्लेटफ़ॉर्म वही kernel module चलाता है।

प्लेटफ़ॉर्मआपको यह कहाँ मिलता हैKVM वाला हिस्साuser-space VMM
Amazon EC2 (Nitro)Public cloudKVM core moduleCustom: QEMU हटाया, device model Nitro cards में
AWS Lambda, FargateServerless/dev/kvmFirecracker: Rust में लिखा छोटा microVM monitor
Google Compute EnginePublic cloudशुरुआत से KVMGoogle का अपना VMM, जानबूझकर QEMU नहीं
Alibaba Cloud ECSPublic cloudसरल किया गया KVM (X-Dragon)Custom, net और storage MoC card पर offload
Oracle Cloud (OCI)Public cloudOracle Linux KVM: वही stack जो Oracle on-premises ship करता हैQEMU की वंशावली
DigitalOcean, Linode/Akamai, Vultr, Hetzner, OVHcloud, Scaleway, UpCloudPublic cloudStock KVMQEMU
Nutanix AHVOn-premises HCIStock KVMlibvirt और Open vSwitch के साथ QEMU
OpenStack (Nova)Private cloudStock KVMlibvirt के ज़रिए QEMU: default और सबसे ज़्यादा tested driver
Apache CloudStack, OpenNebula, oVirtOn-premisesStock KVMlibvirt के ज़रिए QEMU
OpenShift Virtualisation, SUSE HarvesterKubernetesStock KVMKubeVirt के ज़रिए pod के अंदर QEMU
Proxmox VEOn-premisesStock KVMQEMU, containers के लिए साथ में LXC

सब kernel वाला आधा रखते हैं और user-space वाला आधा दोबारा लिखते हैं

Hyperscalers ने KVM को fork नहीं किया। उन्होंने QEMU के काम को fork किया।

AWS ने EC2 को Xen से हटाकर Nitro हाइपरवाइज़र पर डाला, जो KVM core kernel module पर बना है और जिसमें से QEMU पूरी तरह निकाल दिया गया। device model इसके बजाय समर्पित Nitro cards में रहता है, और इसी से उन्हें bare metal से अलग न पहचानी जा सकने वाली performance मिलती है। हर current-generation EC2 instance type यही चलाता है। अलग से, Lambda और Fargate Firecracker चलाते हैं, Rust में खास मकसद से बना VMM जो उसी /dev/kvm से बात करता है।

Google ने Compute Engine के launch से हर Compute Engine VM KVM पर चलाई है, और QEMU इस्तेमाल करने के बजाय अपना user-space VMM लिखा, साफ़ तौर पर QEMU के guests, devices और modes के विशाल matrix से बचने के लिए। उन्होंने दूसरी दिशा में भी काम किया और kernel module को upstream में मज़बूत किया: जिन emulated devices की किसी को ज़रूरत नहीं थी उन्हें हटाया और emulated instructions का दायरा छोटा किया। वह काम उस KVM में है जो आप चला रहे हैं।

Alibaba ने X-Dragon के साथ इसी आकार का काम किया: एक छँटा हुआ KVM हाइपरवाइज़र, जिसका network और storage virtualisation FPGA पर आधारित MoC card पर offload है।

Nutanix AHV है KVM, साथ में libvirt, साथ में QEMU, साथ में Open vSwitch, साथ में Nutanix का orchestration। उस सूची के हर व्यावसायिक उत्पाद में से यह Proxmox VE का सबसे करीबी रिश्तेदार है। अलग परत 4, और बहुत अलग बिल।

पाँच प्लेटफ़ॉर्म, पाँच device models, एक KVMAmazon EC2NitroGoogle CloudCompute EngineAlibaba CloudECS, X-DragonNutanixAHVProxmox VEDebian परmanagementdevice modelहाइपरवाइज़रहार्डवेयरEC2 control planeconsole और APIप्रति instance-घंटाGCE control planeconsole और APIप्रति instance-घंटाECS consoleऔर APIप्रति instance-घंटाPrism और AOSहर node परप्रति node, प्रति वर्षpve-managerpveproxy, HA, SDNहर node परवैकल्पिक subscriptioncustom VMM,QEMU बिल्कुल नहींdevices रहते हैंNitro cards परGoogle का अपनाuser-space VMM,जानबूझकरQEMU नहींसरल VMM,network और storageoffload किए गएMoC card परQEMU, libvirtऔर Open vSwitchQEMU, साथ में LXCभीKVM: kvm.ko, kvm-intel.ko / kvm-amd.koisolation की सीमा, और हर column में यही code हैIntel VT-x + EPT · AMD-V + NPT
हर column में वही kernel module। stack में ऊपर जाते हुए पहले device model बदलता है, फिर management layer, फिर licensing: और यही वह क्रम है जिसमें ये प्लेटफ़ॉर्म असल में अलग होते हैं।

Proxmox VE जानबूझकर QEMU रखता है

तालिका को ranking की तरह पढ़ना लुभावना है, जिसमें QEMU बदल देने के लिए AWS और Google सबसे ऊपर हों। यह गलत पढ़ना है, क्योंकि उनकी मजबूरी आपकी नहीं है।

AWS और Google एक हार्डवेयर profile चलाते हैं, उस पैमाने पर जहाँ device emulation का एक bug पूरे fleet की घटना है, और जिन guest image सीमाओं की उन्हें परवाह है, उन सब पर उनका नियंत्रण है। उस दुनिया में QEMU का फैलाव लगभग पूरा बोझ है, तो उसे हटाना साफ़ तौर पर सही है।

आप उस दुनिया में नहीं हैं। आपके पास 2013 की एक appliance image है जो e1000 चाहती है। आपके पास एक Windows VM है जिसका machine type पूरी ज़िंदगी pinned रहना चाहिए। आपको एक GPU pass through करना है, एक installer को संतुष्ट करने के लिए emulated SAS controller चाहिए, एक UEFI variable store बचाना है। QEMU ठीक वही है जो एक general-purpose प्लेटफ़ॉर्म को इन सबके लिए हाँ कहने देता है।

जिसे AWS attack surface कहता है, उसे आप compatibility matrix कहते हैं। दोनों वर्णन सही हैं; फ़र्क यह है कि आप अपने workloads चुन पाते हैं या नहीं।

इससे उस patch queue का आकार भी समझ आता है। AWS और Google ने backup और snapshots को VMM के बाहर, अपनी storage services में सुलझाया। Proxmox के पास इसे सुलझाने के लिए कोई storage service नहीं थी, तो उन्होंने इसे QEMU में डाल दिया: इसीलिए savevm-async और PBS block driver उत्पाद के रूप में नहीं, patches के रूप में मौजूद हैं।

और यह एक व्यावहारिक वजह से जानने लायक है: Proxmox VE के जिन हिस्सों की आपको सबसे ज़्यादा कमी खलेगी, वे वही हिस्से हैं जो upstream में नहीं हैं। आपके VM configs सादा text हैं और आपकी disk images standard formats में हैं, तो मशीन चली जाएगी। लेकिन RAM state समेत snapshot, और Proxmox Backup Server की incremental chain, Proxmox के QEMU fork पर निर्भर हैं। यह किसी proprietary हाइपरवाइज़र से कहीं हल्की निर्भरता है, fork public है, AGPL है, और आप उसका हर patch पढ़ सकते हैं, लेकिन यह शून्य नहीं है, और “software के स्तर पर कोई lock-in नहीं” के साथ यह footnote होना चाहिए।

तो क्या यह एंटरप्राइज़ ग्रेड है?

इस तर्क का आलसी रूप काम नहीं करता, और यह साफ़ कहना चाहिए। “AWS KVM इस्तेमाल करता है, इसलिए Proxmox VE एंटरप्राइज़ ग्रेड है” एक non-sequitur है: यह एक परत के बारे में दावा लेता है और चुपचाप उसे पूरे उत्पाद पर लगा देता है।

वह संस्करण जो टिकता है, यह है।

जो साझा है, वह वही परत है जिसे सही करना सबसे मुश्किल और गलत करना सबसे खतरनाक है। CPU और memory virtualisation, और tenants के बीच isolation की सीमा, वह हिस्सा है जहाँ bug का मतलब outage नहीं, सेंध है। उस code की समीक्षा Amazon, Google, Red Hat, Intel, AMD, IBM और Alibaba से पैसा पाने वाले इंजीनियर करते हैं, और उसके bugs वे संस्थाएँ ढूँढती हैं जो दुनिया के सबसे बड़े fleets चलाती हैं: आम तौर पर kernel के आप तक पहुँचने से पहले। जब guest-escape vulnerability आती भी है, तो fix उसी सामान्य kernel update से आता है जो आप वैसे भी लगाने वाले थे। आप किसी एक vendor के release cycle का इंतज़ार नहीं कर रहे, ऐसे हाइपरवाइज़र के लिए जिसे सिर्फ़ वही vendor देख सकता है।

जो साझा नहीं है, वह सीमा के ऊपर का सब कुछ है। मतलब सवाल सिकुड़कर दो कहीं ज़्यादा जवाब देने लायक सवालों में बदल जाता है:

  1. क्या management layer आपके काम करने के तरीके के लिए काफ़ी अच्छी है?
  2. क्या आप उसके लिए ऐसी शर्तों पर support खरीद सकते हैं जिनके साथ आप रह सकें?

दोनों को proof of concept में test किया जा सकता है और contract में लिखा जा सकता है। किसी के लिए भी हाइपरवाइज़र पर आस्था नहीं चाहिए।

यह उस स्थिति से कहीं बेहतर है जो मूल सवाल मानकर चलता है: कि आपसे एक छोटे vendor के नए हाइपरवाइज़र पर भरोसा करने को कहा जा रहा है। ऐसा नहीं है। Proxmox का अपना code एक management layer है, ज़्यादातर Perl में और बढ़ते हुए Rust में, साथ में QEMU पर वह patch queue, और ध्यान दीजिए कि patches कहाँ लगते हैं: device model और backup path में, isolation की सीमा पर नहीं।

यह जानना भी ज़रूरी है कि Proxmox की अपनी परत के fail होने की कीमत क्या है। QEMU processes host पर सामान्य, स्वतंत्र processes हैं, तो pveproxy के गिरने से एक भी virtual machine नहीं रुकती। यह उस हिस्से को खोने से बहुत अलग blast radius है जो isolation की सीमा का मालिक है।

“वही हाइपरवाइज़र” आपको क्या नहीं दिलाता

Vendor के भरोसा दिलाने वाले documents आम तौर पर यहीं रुक जाते हैं, जिससे पता चलता है कि वे किसके लिए लिखे गए हैं। ज़्यादा काम का आधा यही है।

यह आपको AWS की reliability नहीं दिलाता। Nitro की availability का KVM से बहुत कम लेना-देना है। वह control plane, network fabric, storage service, capacity management और उसके आसपास के operational अभ्यास से आती है। आपके cluster की reliability आपके Corosync quorum design, आपकी fencing configuration, आपके storage चुनाव और आपकी network redundancy से आएगी। KVM की इनमें से किसी पर कोई राय नहीं है। Hyperscaler के साथ हाइपरवाइज़र साझा करने से उनका operations विरासत में नहीं मिलता।

यह आपको Nitro जैसा attack surface नहीं दिलाता, और type 2 वाले आरोप का जायज़ आधा यहीं आकर लगता है। आप general-purpose kernel पर QEMU चला रहे हैं, और इतिहास में QEMU का device model ही वह जगह रहा है जहाँ यादगार VM escapes रहे: VENOM, एक emulated floppy controller में जिसे कोई इस्तेमाल नहीं कर रहा था, इसका क्लासिक उदाहरण है। Google उस समय कह सका कि Compute Engine प्रभावित नहीं हुआ, ठीक इसलिए कि वह QEMU नहीं चलाता। आप चलाते हैं, तो भरपाई के उपाय आपके हैं: emulated हार्डवेयर के बजाय virtio चुनिए, ऐसे devices मत दिखाइए जिनकी ज़रूरत नहीं, AppArmor profiles को छेड़िए मत, और QEMU को उसी अनुशासन से patch कीजिए जिससे kernel को। Proxmox के extra/ patches ठीक यही काम आपकी ओर से करते हैं, और यह जाँचते रहना उचित है कि वे अब भी कर रहे हैं।

यह प्लेटफ़ॉर्मों के बीच VM के व्यवहार को portable नहीं बनाता। CPU model का चुनाव, machine type versioning, live migration compatibility और clock का व्यवहार, सब परत 3 और 4 में तय होते हैं, और हर जगह अलग हैं। मिली-जुली CPU generations वाला cluster अब भी CPU type को host रखने की सज़ा देगा, और प्लेटफ़ॉर्म पर logo चाहे जो हो, guest clocks अब भी खिसकती हैं। वही हाइपरवाइज़र का मतलब वही व्यवहार नहीं है।

यह support वाले सवाल का जवाब नहीं देता: वही सवाल जिसकी procurement को असल में परवाह है, और ठीक ही है। Proxmox VE AGPLv3 है और production में मुफ़्त चलाया जा सकता है। Subscription enterprise-tested repository और vendor support खरीदती है, €120 प्रति socket प्रति वर्ष से शुरू। Proxmox का अपना support Austria के कारोबारी घंटों में मिलता है, तो चौबीसों घंटे की coverage Vienna से नहीं, partners से आती है। croit, जहाँ मैं काम करता हूँ, उन partners में से एक है, और साल के 365 दिन 24/7 coverage देता है। यह व्यावसायिक मोलभाव है, तकनीकी जोखिम नहीं: और इसका व्यावसायिक मोलभाव होना ही ऊपर कही गई हर बात का मतलब है।

इसके बजाय असल में क्या परखें

अगर हाइपरवाइज़र का सवाल सुलझ गया है, तो proof of concept को अपना समय उस परत पर लगाना चाहिए जो सच में Proxmox VE की अपनी है:

  • Fencing और HA. चल रहे HA guests वाले node की बिजली खींचिए और restart का समय नापिए। फिर दो nodes के साथ कीजिए और पक्का कीजिए कि quorum खोने पर बाकी nodes वैसा ही व्यवहार करते हैं जैसी आप उम्मीद करते हैं।
  • CPU generations के पार live migration. उस CPU model के साथ जिस पर आप सच में standardise करना चाहते हैं, host के साथ नहीं।
  • Backup, और उससे भी ज़्यादा, restore. Load में restore का समय, backup का समय नहीं। तेज़ backup के लिए आज तक किसी को धन्यवाद नहीं मिला।
  • Permissions model. क्या आप किसी application टीम को उनकी अपनी VMs का console और power control दे सकते हैं और उसके अलावा कुछ नहीं, इतनी बारीकी से कि auditor संतुष्ट हो जाए।
  • API. web interface जो भी करता है, वह एक API call है; अगर आपका automation उसे चला नहीं सकता, तो प्लेटफ़ॉर्म आपके काम करने के तरीके में फ़िट नहीं होगा।
  • Upgrade का रास्ता. PoC cluster पर एक major-version upgrade, उस पर 400 VMs होने से पहले।

इनमें से कोई भी सवाल KVM के बारे में नहीं है। बात ही यही है।

हाइपरवाइज़र सुलझा हुआ हिस्सा है। Proof of concept उन हिस्सों पर खर्च कीजिए जो सुलझे नहीं हैं।

संदर्भ

KVM खुद

  • KVM API documentation — /dev/kvm का ioctl interface, जो पूरा हाइपरवाइज़र अनुबंध है
  • Linux 2.6.20 release notes — वह release जिसमें KVM merge हुआ, फ़रवरी 2007
  • Some KVM developments — LWN, जनवरी 2007, mainline में आने के कुछ दिन बाद KVM पर

बाकी हाइपरवाइज़र कैसे बने हैं

  • Interpreting virtual machine monitor and executable failures — Broadcom का अपना वर्णन, जिसमें चलती ESXi VM “several processes or userworlds” है, हर vCPU के लिए एक VMM और हर VM के लिए एक VMX
  • The Architecture of VMware ESXi (PDF) — वह whitepaper जो VMkernel को processes, signals, file system और threads वाला “a POSIX-like operating system” कहता है। mirror के ज़रिए link किया गया है क्योंकि मूल VMware URL Broadcom के पुनर्गठन में नहीं बचा, जो vendor की निरंतरता पर अपने आप में एक छोटी टिप्पणी है
  • Hyper-V architecture — Virtual Machine Worker Process पर Microsoft: एक user-mode component, हर VM के लिए एक, जिसमें सारे emulated devices रहते हैं
  • The Nutanix Bible — AHV architecture — AHV को libvirt, QEMU और Open vSwitch के साथ KVM बताया गया है

कौन KVM चलाता है, और उन्होंने इसे कैसे बदला

Proxmox क्या संभालता है

  • The Proxmox GitHub organisation — 89 repositories, जिनमें pve-qemu, pve-kernel, pve-edk2-firmware और lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve और ceph की packaging शामिल है
  • pve-qemu patch series — ऊपर गिने गए 78 patches, और यह देखने का सबसे तेज़ तरीका कि Proxmox QEMU में ठीक-ठीक क्या जोड़ता है
  • Proxmox VE storage documentation — native plugin list, कौन से storage types shared हैं, और Debian Linux पर उपलब्ध सारी storage technologies इस्तेमाल करने वाली पंक्ति
  • nvme-cli और nvmetcli — NVMe-oF host और target tooling; ATA over Ethernet के बराबर के लिए aoetools और vblade। सब Debian trixie में, जिस पर Proxmox VE 9 बना है
  • Proxmox VE pricing and subscription tiers — subscription में क्या आता है

खुलासा: मैं croit के लिए काम करता हूँ, जो एक Proxmox Gold Partner है। ऊपर के तकनीकी दावों के स्रोत दिए गए हैं और उन्हें जाँचा जा सकता है; व्यावसायिक paragraph वह हिस्सा है जिसमें मेरा हित है, तो उसे उसी नज़र से पढ़िए।