हर Proxmox मूल्यांकन इसी सवाल से शुरू होता है
“क्या Proxmox सच में एंटरप्राइज़ ग्रेड है?”
यह सवाल लगभग हर migration की बातचीत में उठता है, और इसके नीचे छिपी चिंता लगभग कभी web interface को लेकर नहीं होती। कोई सचमुच नहीं डरता कि ब्राउज़र का dashboard उसका डेटा बिगाड़ देगा। लोग असल में यह पूछ रहे हैं कि virtual machine और हार्डवेयर के बीच खड़ी चीज़, यानी वह हिस्सा जिसे एक tenant को दूसरे tenant की memory से हमेशा बाहर रखना है, बिना एक भी गलती के, इंजीनियरिंग का गंभीर काम है या कोई community project जो बस लोकप्रिय हो गया।
इसी बात पर घबराना बिल्कुल सही है। बस निशाना गलत परत पर है, क्योंकि Proxmox VE में हाइपरवाइज़र है ही नहीं।
हाइपरवाइज़र KVM है। यह Linux का हिस्सा है, 2007 से वहाँ है, और अगर आपकी संस्था EC2, Google Cloud, Oracle Cloud, Alibaba Cloud, DigitalOcean या Nutanix इस्तेमाल करती है, तो आप इसे आज production में पहले से चला रहे हैं। बस आपको कभी इसके बारे में सोचना नहीं पड़ा, क्योंकि ऊपर की परतें किसी और के ज़िम्मे थीं।
यह पोस्ट इस बारे में है कि उस साझा नींव का असल मतलब क्या है। दोनों हिस्से: तर्क का वह हिस्सा जो सच में टिकता है, और वह हिस्सा जिसे vendor की slides में बढ़ा-चढ़ाकर कहा जाता है।
Proxmox VE एक Management Layer है
Linux पर virtualisation चार अलग परतें हैं, जिन्हें चार अलग-अलग समूह बनाते और संभालते हैं।
1. हार्डवेयर virtualisation extensions. EPT के साथ Intel VT-x, या NPT के साथ AMD-V। यह silicon है। इसी की वजह से guest अपना kernel native speed पर अपनी page tables के साथ चला पाता है, बिना किसी के instructions को emulate किए।
2. KVM: हाइपरवाइज़र.
Kernel modules: architecture से स्वतंत्र core के लिए kvm.ko, साथ में vendor extensions के लिए kvm-intel.ko या kvm-amd.ko। isolation की सीमा इसी हिस्से के पास है। यह guest के virtual machine control structures बनाता है, VM exits संभालता है, second-level page tables चलाता है, और interrupts पहुँचाता है।
3. VMM: user space में virtual machine monitor. Proxmox VE पर यह QEMU है। यह virtual motherboard बनाता है: chipset, PCIe topology, disks, NICs, serial ports, firmware। CPU को KVM चलाता है; guest को लगता है कि उसके पास कौन-सा हार्डवेयर है, यह QEMU तय करता है।
4. Management layer.
यह Proxmox VE है: API और interface के लिए pve-manager और pveproxy, VM config file को QEMU command line में बदलने के लिए qemu-server, LXC के लिए pve-container, replicated cluster configuration के लिए Corosync के ऊपर pmxcfs, fencing और restart के लिए pve-ha-manager, और साथ में firewall और SDN stack।
जिस प्लेटफ़ॉर्म से आप migrate कर रहे हैं, उस पर भी यही चार परतें हैं और यही चार काम करती हैं: vCenter परत 4 है, VMkernel परत 2 है। सारे टुकड़े सामने आ जाने के बाद मैं इस तुलना पर लौटूँगा।
Proxmox असल में क्या संभालता है
परत 4 पूरी तरह Proxmox VE की है। फिर भी यह कहना गलत होगा कि वह परत 2 और 3 को बस package करता है, और कंपनी क्या करती है, इसे लेकर यही सबसे आम गलतफ़हमी है।
इस लेखन के समय pve-qemu की series file में upstream QEMU के ऊपर 78 patches हैं:
debian/patches/series से अनुपात में बनाया गया। ज़्यादातर queue Proxmox की अपनी इंजीनियरिंग है, और पूरी की पूरी परत 3 में है: इनमें से कोई patch kvm.ko को नहीं छूता।वे अपना kernel भी खुद build करते हैं, और आसपास के ज़्यादातर stack के लिए packaging या patches संभालते हैं: OVMF के लिए pve-edk2-firmware, साथ में lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve, lvm और ceph।
तो असली सीमा यह है: पूरी परत 4, परत 3 के अंदर ठोस इंजीनियरिंग, और एक kernel जिसे वे compile करते हैं। उन्होंने जो नहीं किया, वह है हाइपरवाइज़र लिखना। परत 2 का KVM code upstream Linux है।
और इसमें Proxmox की कोई आलोचना नहीं है। इसलिए तो Proxmox जितने आकार की कंपनी पर इस काम के लिए भरोसा किया जा सकता है। Vienna की एक छोटी कंपनी ने बैठकर शून्य से हाइपरवाइज़र नहीं लिखा; उन्होंने उस पर निर्माण किया जिसे संभालने के लिए Intel, AMD, Red Hat, Google, Amazon और IBM पहले से इंजीनियरों को पैसा दे रहे थे, और अपनी मेहनत उसके ऊपर की परत पर और उस परत के लिए ज़रूरी integration पर लगाई। उस आकार की टीम फ़र्क वहीं डाल सकती है, और patch queue दिखाती है कि वे डाल रहे हैं।
KVM असल में क्या है
KVM का मतलब है Kernel-based Virtual Machine, और नाम बिल्कुल सटीक है: यह kernel का एक feature है, कोई program नहीं।
Modules load कीजिए और Linux को एक character device मिल जाता है, /dev/kvm, साथ में उस पर ioctl calls का एक छोटा सेट: KVM_CREATE_VM, KVM_CREATE_VCPU, KVM_SET_USER_MEMORY_REGION, KVM_RUN।
यही interface पूरा हाइपरवाइज़र API है। जो भी चीज़ file descriptor खोलकर ioctl call कर सकती है, वह virtual machines बना सकती है।
इसे Qumranet में Avi Kivity ने लिखा था और यह Linux 2.6.20 में merge हुआ, जो फ़रवरी 2007 में release हुआ: उन्नीस साल पहले। Red Hat ने 2008 में Qumranet को खरीदा, और तब से KVM हर kernel release में आया है, kernel की सामान्य नौ-दस हफ़्ते की लय पर। यह x86 से बहुत आगे port हो चुका है: arm64, POWER, IBM Z पर s390, और RISC-V।
Architecture की अहम बात यह है कि यह छोटा क्यों है।
KVM के पास scheduler नहीं है, क्योंकि Linux के पास है। vCPU एक सामान्य host thread है, और completely fair scheduler उसे किसी दूसरे thread की तरह core पर रखता है। इसके पास memory manager नहीं है, क्योंकि Linux के पास है। Guest RAM एक सामान्य user-space mapping है, तो उसे page किया जा सकता है, hugepages से back किया जा सकता है, या किसी NUMA node पर रखा जा सकता है, उसी मशीनरी से जो किसी भी दूसरी process के लिए है। इसके पास driver stack, block layer, network stack या filesystem नहीं है, क्योंकि Linux के पास ये सब पहले से थे और आपका हार्डवेयर vendor इन्हीं के खिलाफ़ test करता है।
परिपक्वता का असली तर्क यही है, और यह किसी version number से कहीं मज़बूत है। NUMA balancing का हर सुधार, io_uring का हर बदलाव, हर network driver, CPU errata का हर नया workaround जो Linux में आता है, वह आपकी virtual machines के नीचे आ जाता है, क्योंकि कोई अलग हाइपरवाइज़र kernel है ही नहीं जिसमें किसी को उसे port करना पड़े।
Type 1 वाला तर्क रेखा गलत जगह खींचता है
इसके बाद जो आपत्ति हमेशा आती है, वह यह है कि KVM “बस type 2 हाइपरवाइज़र” है। यह host OS पर चलता है, ESXi की तरह नहीं, जो bare metal पर चलता है।
यह वर्गीकरण हार्डवेयर virtualisation से तीन दशक पुराना है, और यह जिस चीज़ के चारों ओर रेखा खींच रहा था, वह अब वहाँ नहीं है जहाँ लोग उसे मानते हैं।
vCPU चलने पर असल में क्या होता है
QEMU ioctl(vcpu_fd, KVM_RUN) call करता है। नियंत्रण kvm.ko में जाता है, जो guest की CPU state load करता है और VMLAUNCH चलाता है। उस instruction से अगले VM exit तक guest सीधे physical core पर चल रहा होता है, guest mode में, EPT के ज़रिए अपनी page tables के साथ, पूरी हार्डवेयर speed पर। उसके नीचे कुछ भी नहीं है जो कुछ interpret कर रहा हो। “host OS” रास्ते में नहीं है। वह उस core पर चल भी नहीं रहा।
जब guest कुछ ऐसा करता है जिसे संभालना पड़े, तो CPU host की ओर exit करता है, और kvm.ko में पहुँचता है, kernel में, ठीक उसी privilege level पर जिस पर ESXi का VMkernel होता है। ज़्यादातर exits वहीं सुलझ जाते हैं और guest में दोबारा प्रवेश हो जाता है, user space को कभी शामिल किए बिना।
ESXi में भी यही बँटवारा है
अब उस प्लेटफ़ॉर्म को देखिए जो कथित तौर पर यह फ़र्क साबित करता है।
VMware का अपना architecture documentation VMkernel को “a POSIX-like operating system” बताता है, जो “process creation and control, signals, file system, and process threads” देता है। उसके लेखक के अपने शब्दों में यह एक operating system है। और ESXi पर चल रही VM kernel के अंदर की कोई चीज़ नहीं है: वह userworld processes का एक समूह है: हर virtual CPU के लिए एक VMM, जो guest के instructions को virtualise करता है और उसकी memory संभालता है, और हर VM के लिए एक VMX process, जो उन devices का I/O संभालता है जो performance के लिए अहम नहीं हैं, और snapshot manager और remote console से बात करता है।
इसे QEMU को ध्यान में रखकर पढ़िए। kernel में हर vCPU का execution context, और हर VM की एक user-space process जो device emulation और management करती है। VMware ने इसे उसी वजह से बाँटा जिस वजह से बाकी सबने।
Hyper-V भी अलग नहीं है। Microsoft का documentation साफ़ कहता है कि Virtual Machine Worker Process, vmwp.exe, “a user mode component of the virtualization stack” है, जो हर VM के लिए बनती है, और सारे emulated devices इसी में बने हैं, root partition में चलते हुए, जो Windows है। Xen भी, जिस architecture पर यह वर्गीकरण सबसे अच्छा बैठता है, काम करने के लिए dom0 में एक general-purpose Linux चाहता है, और पूरी तरह virtualised guests के लिए अपना device model QEMU से लेता है।
तो रेखा है कहाँ?
कसौटी कभी “क्या यह user space इस्तेमाल करता है” नहीं थी। Goldberg का वर्गीकरण, 1970 के दशक की शुरुआत से, यह पूछता है कि क्या हाइपरवाइज़र एक application है जो पहले से मौजूद operating system पर चल रहा है, जो पहले से हार्डवेयर का मालिक है और scheduling करता है। वह type 2, hosted हाइपरवाइज़र है: VMware Workstation, VirtualBox, Parallels Desktop, बिना acceleration के सादा QEMU। आप एक general-purpose OS install करते हैं, फिर उस पर एक program install करते हैं, और वह program बाकी किसी program की तरह OS से memory और CPU time माँगता है।
KVM वैसा नहीं है। kvm.ko Linux के ऊपर कोई program नहीं है। यह Linux का हिस्सा है, उसी privilege level पर चलता है जिस पर हार्डवेयर का मालिक code चलता है, और जब guest exit करता है तो सीधे वहीं पहुँचता है। हाइपरवाइज़र के नीचे कोई host OS नहीं है। Kernel ही हाइपरवाइज़र है। Proxmox VE उस kernel को सिस्टम के रूप में ship करता है, ठीक वैसे जैसे ESXi VMkernel को सिस्टम के रूप में ship करता है।
और “इसे user space चाहिए, इसलिए यह type 2 है” वाला संस्करण बचाया नहीं जा सकता, क्योंकि लगातार लागू करें तो यह सबको पकड़ लेता है। ESXi पर कोई VM अपनी VMX process के बिना नहीं चलती, Hyper-V पर कोई vmwp.exe के बिना नहीं, Xen पर कोई HVM guest QEMU के बिना नहीं। जो test हर बिकने वाले हाइपरवाइज़र को एक ही टोकरी में डाल दे, वह कुछ भी अलग नहीं कर रहा।
| CPU और memory virtualisation का मालिक kernel | हर VM का user-space device model | पहले से मौजूद host OS चाहिए? | |
|---|---|---|---|
| VMware ESXi | VMkernel | हर VM के लिए VMX | नहीं |
| Microsoft Hyper-V | हाइपरवाइज़र और Windows root partition | vmwp.exe | नहीं |
| Xen | Xen हाइपरवाइज़र और dom0 Linux | QEMU, dom0 में या stub domain में | नहीं |
| KVM | kvm.ko | QEMU | नहीं |
| VirtualBox, VMware Workstation | host का kernel, install किए driver के ज़रिए | application खुद | हाँ |
चार उत्पाद, एक ही ढाँचा, और फिर पाँचवीं पंक्ति जो सच में अलग है। “type 2” शब्द उसी आखिरी पंक्ति को बताने के लिए गढ़ा गया था, और सिर्फ़ उसी में हार्डवेयर पर पहले से कोई और काबिज़ था।
तो वर्गीकरण अब भी एक रेखा खींचता है। बस वह उसे वहाँ के आसपास भी नहीं खींचता जहाँ तर्क मानकर चलता है: KVM और ESXi उसी तरफ़ हैं। KVM को type 2 कहना VirtualBox वाली श्रेणी का शब्द उधार लेकर उस चीज़ पर लगाना है जो architecture के हिसाब से ESXi वाली श्रेणी में है।
इससे मूल्यांकन में यह label कोई काम का नहीं रह जाता, क्योंकि जिन दो उत्पादों में आप चुन रहे हैं, दोनों एक ही खाने में हैं। फ़र्क type number का नहीं है। फ़र्क यह है कि एक vendor ने kernel भी लिखा है और आपको उसे पढ़ने नहीं देगा: यह licensing और पारदर्शिता का फ़र्क है जिसने architecture diagram के कपड़े पहन रखे हैं। Nutanix यह बात व्यावसायिक रूप से दिखाता है: वह वही KVM code ship करता है जो Proxmox करता है और AHV को bare-metal type 1 हाइपरवाइज़र बताता है। वही code, उलटा label, अलग marketing विभाग।
इस आरोप के अंदर एक असली चिंता छिपी है, और उसे बेहतर नाम मिलना चाहिए: general-purpose kernel हज़ार ऐसे काम कर रहा है जो एक खास मकसद से बना kernel नहीं करता, यानी isolation की सीमा के पास ज़्यादा code और ज़्यादा attack surface। यह जायज़ है और मापा जा सकता है, और मैं अंत के पास इस पर लौटता हूँ।
काम असल में कहाँ होता है
“यह host OS पर है” वाली सहज प्रवृत्ति की एक जगह असली बात है, वह है exit handling, तो यह साफ़ होना चाहिए कि कौन-सा exit कहाँ जाता है।
| Guest यह करता है | कौन संभालता है | लागत |
|---|---|---|
| EPT/NPT में अभी map न हुआ page छूता है | kvm.ko, kernel में | एक exit, microseconds |
| अपने local APIC में लिखता है | CPU खुद, APICv/AVIC के ज़रिए | अक्सर कोई exit नहीं |
| inter-processor interrupt भेजता है | हार्डवेयर में posted interrupts | अक्सर कोई exit नहीं |
vhost-net के साथ virtio-net queue पर भेजता है | kernel thread, user-space में कोई hop नहीं | एक doorbell |
| emulated e1000 या IDE controller का register पढ़ता है | पूरा रास्ता QEMU तक | exit और user-space round trip |
सिर्फ़ आखिरी पंक्ति type 2 के कार्टून जैसी दिखती है, और यही वह पंक्ति भी है जिसे आप इंजीनियरिंग से हटा देते हैं: virtio devices इस्तेमाल करके, और ऐसा emulated पुराना हार्डवेयर न दिखाकर जिसकी आपको ज़रूरत नहीं। यही तर्क i440fx की जगह Q35 चुनने के पीछे है: कम trapped register accesses, कम पुराने devices जिनसे गुज़रना पड़े।
Host OS एक feature है, बोझ नहीं
उस हिसाब-किताब का दूसरा आधा कभी तर्क में आता ही नहीं, तो यह रहा: Proxmox node एक ऐसी मशीन है जिस पर आप सच में काम कर सकते हैं। यह Debian है, तो पूरा Debian archive एक apt install की दूरी पर है।
- वही monitoring जो आप पहले से चलाते हैं: Prometheus node exporter,
smartmontools, आपका मौजूदा agent, न कि वह जो appliance दिखाना चाहे। - कुछ धीमा हो तो diagnostics:
fio,iperf3,nvme-cli,perf,bpftrace। - किसी भी vendor के backup agents जो Linux binary देते हैं।
- Configuration management, ताकि हाइपरवाइज़र एक खास मामला होने के बजाय बाकी सब के साथ उसी Ansible inventory में रहे।
- Firmware के लिए
fwupd, उस हार्डवेयर पर जिसका vendor LVFS को support करता है।
इनमें से किसी के लिए plugin format, signed bundle या vendor की मंज़ूरी नहीं चाहिए। इसकी तुलना ESXi के मॉडल से कीजिए, जहाँ shell जानबूझकर सीमित है, third-party code VIB के रूप में आता है, और हाथ बढ़ाने के लिए कोई package manager है ही नहीं।
यह storage stack तक पहुँचता है
Monitoring agents इसका उबाऊ रूप हैं। Proxmox का अपना storage documentation native plugins गिनाता है: dir, NFS, CIFS, CephFS, ZFS, BTRFS, LVM, LVM-thin, iSCSI, FC/SAS, RBD, ZFS-over-iSCSI, PBS, और फिर एक वाक्य जोड़ता है जिसे शब्दशः लेना चाहिए:
you may use all storage technologies available for Debian Linux
यह इस बारे में एक बयान है कि सीमा कहाँ है, और इसके पीछे का तरीका सामान्य है: हर node पर एक block device लाइए, उस पर LVM डालिए, उसे shared चालू करके LVM storage के रूप में जोड़िए। supported Fibre Channel और iSCSI रास्ते ठीक ऐसे ही काम करते हैं, तो जो भी चीज़ shared block device बना सकती है, वह इसी रास्ते का इस्तेमाल कर सकती है।
TCP या RDMA पर NVMe जानने लायक मामला है, क्योंकि यह तेज़ है, आज का है, और उस plugin list में नहीं है। nvme-tcp और nvme-rdma in-tree Linux host drivers हैं, NVMe/TCP 5.0 से mainline में है, तो compile करने को कुछ नहीं है। nvme-cli एक Debian package है (nvme discover, फिर nvme connect), और nvmetcli दूसरे सिरे पर in-kernel nvmet target को configure करता है। जुड़ा हुआ namespace /dev/nvmeXnY के रूप में दिखता है, और वहाँ से वह एक सामान्य block device है।
ATA over Ethernet यही बात दूसरे छोर से कहता है: बहुत पुराना, कम जाना-पहचाना, plugin के रूप में उतना ही unsupported। aoe driver mainline में है; aoetools आपको aoe-discover और aoe-stat देता है; vblade दूसरी मशीन पर किसी भी file या block device को target बना देता है। वही रास्ता, वही नतीजा।
इनमें से कोई plugin API, SDK या certification programme नहीं है। यह वह है जो तब होता है जब हाइपरवाइज़र की storage परत ही Linux block layer हो।
ईमानदार चेतावनियाँ, क्योंकि रात के 3 बजे तक यह एक जादू का खेल लगता है। इनमें से कोई transport tested Proxmox storage type नहीं है, तो integration और उसके failure modes, यानी reconnect का व्यवहार, multipath, load में timeouts, आपकी ज़िम्मेदारी हैं, और कुछ भी अहम उस पर रखने से पहले उन्हें test करना भी आपकी ज़िम्मेदारी है। और AoE एक नंगा Layer 2 protocol है, route नहीं हो सकता और कोई authentication नहीं, तो उसकी जगह एक अलग storage VLAN है और कहीं नहीं। NVMe/TCP के पास कम से कम discovery model है और उसे route किया जा सकता है, और आज इसी को चुनने की बड़ी वजह यही है।
KVM और कौन चलाता है
“पहले से चला रहे हैं” वाला दावा यहीं से आता है। नीचे का हर प्लेटफ़ॉर्म वही kernel module चलाता है।
| प्लेटफ़ॉर्म | आपको यह कहाँ मिलता है | KVM वाला हिस्सा | user-space VMM |
|---|---|---|---|
| Amazon EC2 (Nitro) | Public cloud | KVM core module | Custom: QEMU हटाया, device model Nitro cards में |
| AWS Lambda, Fargate | Serverless | /dev/kvm | Firecracker: Rust में लिखा छोटा microVM monitor |
| Google Compute Engine | Public cloud | शुरुआत से KVM | Google का अपना VMM, जानबूझकर QEMU नहीं |
| Alibaba Cloud ECS | Public cloud | सरल किया गया KVM (X-Dragon) | Custom, net और storage MoC card पर offload |
| Oracle Cloud (OCI) | Public cloud | Oracle Linux KVM: वही stack जो Oracle on-premises ship करता है | QEMU की वंशावली |
| DigitalOcean, Linode/Akamai, Vultr, Hetzner, OVHcloud, Scaleway, UpCloud | Public cloud | Stock KVM | QEMU |
| Nutanix AHV | On-premises HCI | Stock KVM | libvirt और Open vSwitch के साथ QEMU |
| OpenStack (Nova) | Private cloud | Stock KVM | libvirt के ज़रिए QEMU: default और सबसे ज़्यादा tested driver |
| Apache CloudStack, OpenNebula, oVirt | On-premises | Stock KVM | libvirt के ज़रिए QEMU |
| OpenShift Virtualisation, SUSE Harvester | Kubernetes | Stock KVM | KubeVirt के ज़रिए pod के अंदर QEMU |
| Proxmox VE | On-premises | Stock KVM | QEMU, containers के लिए साथ में LXC |
सब kernel वाला आधा रखते हैं और user-space वाला आधा दोबारा लिखते हैं
Hyperscalers ने KVM को fork नहीं किया। उन्होंने QEMU के काम को fork किया।
AWS ने EC2 को Xen से हटाकर Nitro हाइपरवाइज़र पर डाला, जो KVM core kernel module पर बना है और जिसमें से QEMU पूरी तरह निकाल दिया गया। device model इसके बजाय समर्पित Nitro cards में रहता है, और इसी से उन्हें bare metal से अलग न पहचानी जा सकने वाली performance मिलती है। हर current-generation EC2 instance type यही चलाता है। अलग से, Lambda और Fargate Firecracker चलाते हैं, Rust में खास मकसद से बना VMM जो उसी /dev/kvm से बात करता है।
Google ने Compute Engine के launch से हर Compute Engine VM KVM पर चलाई है, और QEMU इस्तेमाल करने के बजाय अपना user-space VMM लिखा, साफ़ तौर पर QEMU के guests, devices और modes के विशाल matrix से बचने के लिए। उन्होंने दूसरी दिशा में भी काम किया और kernel module को upstream में मज़बूत किया: जिन emulated devices की किसी को ज़रूरत नहीं थी उन्हें हटाया और emulated instructions का दायरा छोटा किया। वह काम उस KVM में है जो आप चला रहे हैं।
Alibaba ने X-Dragon के साथ इसी आकार का काम किया: एक छँटा हुआ KVM हाइपरवाइज़र, जिसका network और storage virtualisation FPGA पर आधारित MoC card पर offload है।
Nutanix AHV है KVM, साथ में libvirt, साथ में QEMU, साथ में Open vSwitch, साथ में Nutanix का orchestration। उस सूची के हर व्यावसायिक उत्पाद में से यह Proxmox VE का सबसे करीबी रिश्तेदार है। अलग परत 4, और बहुत अलग बिल।
Proxmox VE जानबूझकर QEMU रखता है
तालिका को ranking की तरह पढ़ना लुभावना है, जिसमें QEMU बदल देने के लिए AWS और Google सबसे ऊपर हों। यह गलत पढ़ना है, क्योंकि उनकी मजबूरी आपकी नहीं है।
AWS और Google एक हार्डवेयर profile चलाते हैं, उस पैमाने पर जहाँ device emulation का एक bug पूरे fleet की घटना है, और जिन guest image सीमाओं की उन्हें परवाह है, उन सब पर उनका नियंत्रण है। उस दुनिया में QEMU का फैलाव लगभग पूरा बोझ है, तो उसे हटाना साफ़ तौर पर सही है।
आप उस दुनिया में नहीं हैं।
आपके पास 2013 की एक appliance image है जो e1000 चाहती है। आपके पास एक Windows VM है जिसका machine type पूरी ज़िंदगी pinned रहना चाहिए। आपको एक GPU pass through करना है, एक installer को संतुष्ट करने के लिए emulated SAS controller चाहिए, एक UEFI variable store बचाना है। QEMU ठीक वही है जो एक general-purpose प्लेटफ़ॉर्म को इन सबके लिए हाँ कहने देता है।
जिसे AWS attack surface कहता है, उसे आप compatibility matrix कहते हैं। दोनों वर्णन सही हैं; फ़र्क यह है कि आप अपने workloads चुन पाते हैं या नहीं।
इससे उस patch queue का आकार भी समझ आता है। AWS और Google ने backup और snapshots को VMM के बाहर, अपनी storage services में सुलझाया। Proxmox के पास इसे सुलझाने के लिए कोई storage service नहीं थी, तो उन्होंने इसे QEMU में डाल दिया: इसीलिए savevm-async और PBS block driver उत्पाद के रूप में नहीं, patches के रूप में मौजूद हैं।
और यह एक व्यावहारिक वजह से जानने लायक है: Proxmox VE के जिन हिस्सों की आपको सबसे ज़्यादा कमी खलेगी, वे वही हिस्से हैं जो upstream में नहीं हैं। आपके VM configs सादा text हैं और आपकी disk images standard formats में हैं, तो मशीन चली जाएगी। लेकिन RAM state समेत snapshot, और Proxmox Backup Server की incremental chain, Proxmox के QEMU fork पर निर्भर हैं। यह किसी proprietary हाइपरवाइज़र से कहीं हल्की निर्भरता है, fork public है, AGPL है, और आप उसका हर patch पढ़ सकते हैं, लेकिन यह शून्य नहीं है, और “software के स्तर पर कोई lock-in नहीं” के साथ यह footnote होना चाहिए।
तो क्या यह एंटरप्राइज़ ग्रेड है?
इस तर्क का आलसी रूप काम नहीं करता, और यह साफ़ कहना चाहिए। “AWS KVM इस्तेमाल करता है, इसलिए Proxmox VE एंटरप्राइज़ ग्रेड है” एक non-sequitur है: यह एक परत के बारे में दावा लेता है और चुपचाप उसे पूरे उत्पाद पर लगा देता है।
वह संस्करण जो टिकता है, यह है।
जो साझा है, वह वही परत है जिसे सही करना सबसे मुश्किल और गलत करना सबसे खतरनाक है। CPU और memory virtualisation, और tenants के बीच isolation की सीमा, वह हिस्सा है जहाँ bug का मतलब outage नहीं, सेंध है। उस code की समीक्षा Amazon, Google, Red Hat, Intel, AMD, IBM और Alibaba से पैसा पाने वाले इंजीनियर करते हैं, और उसके bugs वे संस्थाएँ ढूँढती हैं जो दुनिया के सबसे बड़े fleets चलाती हैं: आम तौर पर kernel के आप तक पहुँचने से पहले। जब guest-escape vulnerability आती भी है, तो fix उसी सामान्य kernel update से आता है जो आप वैसे भी लगाने वाले थे। आप किसी एक vendor के release cycle का इंतज़ार नहीं कर रहे, ऐसे हाइपरवाइज़र के लिए जिसे सिर्फ़ वही vendor देख सकता है।
जो साझा नहीं है, वह सीमा के ऊपर का सब कुछ है। मतलब सवाल सिकुड़कर दो कहीं ज़्यादा जवाब देने लायक सवालों में बदल जाता है:
- क्या management layer आपके काम करने के तरीके के लिए काफ़ी अच्छी है?
- क्या आप उसके लिए ऐसी शर्तों पर support खरीद सकते हैं जिनके साथ आप रह सकें?
दोनों को proof of concept में test किया जा सकता है और contract में लिखा जा सकता है। किसी के लिए भी हाइपरवाइज़र पर आस्था नहीं चाहिए।
यह उस स्थिति से कहीं बेहतर है जो मूल सवाल मानकर चलता है: कि आपसे एक छोटे vendor के नए हाइपरवाइज़र पर भरोसा करने को कहा जा रहा है। ऐसा नहीं है। Proxmox का अपना code एक management layer है, ज़्यादातर Perl में और बढ़ते हुए Rust में, साथ में QEMU पर वह patch queue, और ध्यान दीजिए कि patches कहाँ लगते हैं: device model और backup path में, isolation की सीमा पर नहीं।
यह जानना भी ज़रूरी है कि Proxmox की अपनी परत के fail होने की कीमत क्या है। QEMU processes host पर सामान्य, स्वतंत्र processes हैं, तो pveproxy के गिरने से एक भी virtual machine नहीं रुकती। यह उस हिस्से को खोने से बहुत अलग blast radius है जो isolation की सीमा का मालिक है।
“वही हाइपरवाइज़र” आपको क्या नहीं दिलाता
Vendor के भरोसा दिलाने वाले documents आम तौर पर यहीं रुक जाते हैं, जिससे पता चलता है कि वे किसके लिए लिखे गए हैं। ज़्यादा काम का आधा यही है।
यह आपको AWS की reliability नहीं दिलाता। Nitro की availability का KVM से बहुत कम लेना-देना है। वह control plane, network fabric, storage service, capacity management और उसके आसपास के operational अभ्यास से आती है। आपके cluster की reliability आपके Corosync quorum design, आपकी fencing configuration, आपके storage चुनाव और आपकी network redundancy से आएगी। KVM की इनमें से किसी पर कोई राय नहीं है। Hyperscaler के साथ हाइपरवाइज़र साझा करने से उनका operations विरासत में नहीं मिलता।
यह आपको Nitro जैसा attack surface नहीं दिलाता, और type 2 वाले आरोप का जायज़ आधा यहीं आकर लगता है।
आप general-purpose kernel पर QEMU चला रहे हैं, और इतिहास में QEMU का device model ही वह जगह रहा है जहाँ यादगार VM escapes रहे: VENOM, एक emulated floppy controller में जिसे कोई इस्तेमाल नहीं कर रहा था, इसका क्लासिक उदाहरण है। Google उस समय कह सका कि Compute Engine प्रभावित नहीं हुआ, ठीक इसलिए कि वह QEMU नहीं चलाता। आप चलाते हैं, तो भरपाई के उपाय आपके हैं: emulated हार्डवेयर के बजाय virtio चुनिए, ऐसे devices मत दिखाइए जिनकी ज़रूरत नहीं, AppArmor profiles को छेड़िए मत, और QEMU को उसी अनुशासन से patch कीजिए जिससे kernel को। Proxmox के extra/ patches ठीक यही काम आपकी ओर से करते हैं, और यह जाँचते रहना उचित है कि वे अब भी कर रहे हैं।
यह प्लेटफ़ॉर्मों के बीच VM के व्यवहार को portable नहीं बनाता।
CPU model का चुनाव, machine type versioning, live migration compatibility और clock का व्यवहार, सब परत 3 और 4 में तय होते हैं, और हर जगह अलग हैं। मिली-जुली CPU generations वाला cluster अब भी CPU type को host रखने की सज़ा देगा, और प्लेटफ़ॉर्म पर logo चाहे जो हो, guest clocks अब भी खिसकती हैं। वही हाइपरवाइज़र का मतलब वही व्यवहार नहीं है।
यह support वाले सवाल का जवाब नहीं देता: वही सवाल जिसकी procurement को असल में परवाह है, और ठीक ही है। Proxmox VE AGPLv3 है और production में मुफ़्त चलाया जा सकता है। Subscription enterprise-tested repository और vendor support खरीदती है, €120 प्रति socket प्रति वर्ष से शुरू। Proxmox का अपना support Austria के कारोबारी घंटों में मिलता है, तो चौबीसों घंटे की coverage Vienna से नहीं, partners से आती है। croit, जहाँ मैं काम करता हूँ, उन partners में से एक है, और साल के 365 दिन 24/7 coverage देता है। यह व्यावसायिक मोलभाव है, तकनीकी जोखिम नहीं: और इसका व्यावसायिक मोलभाव होना ही ऊपर कही गई हर बात का मतलब है।
इसके बजाय असल में क्या परखें
अगर हाइपरवाइज़र का सवाल सुलझ गया है, तो proof of concept को अपना समय उस परत पर लगाना चाहिए जो सच में Proxmox VE की अपनी है:
- Fencing और HA. चल रहे HA guests वाले node की बिजली खींचिए और restart का समय नापिए। फिर दो nodes के साथ कीजिए और पक्का कीजिए कि quorum खोने पर बाकी nodes वैसा ही व्यवहार करते हैं जैसी आप उम्मीद करते हैं।
- CPU generations के पार live migration. उस CPU model के साथ जिस पर आप सच में standardise करना चाहते हैं,
hostके साथ नहीं। - Backup, और उससे भी ज़्यादा, restore. Load में restore का समय, backup का समय नहीं। तेज़ backup के लिए आज तक किसी को धन्यवाद नहीं मिला।
- Permissions model. क्या आप किसी application टीम को उनकी अपनी VMs का console और power control दे सकते हैं और उसके अलावा कुछ नहीं, इतनी बारीकी से कि auditor संतुष्ट हो जाए।
- API. web interface जो भी करता है, वह एक API call है; अगर आपका automation उसे चला नहीं सकता, तो प्लेटफ़ॉर्म आपके काम करने के तरीके में फ़िट नहीं होगा।
- Upgrade का रास्ता. PoC cluster पर एक major-version upgrade, उस पर 400 VMs होने से पहले।
इनमें से कोई भी सवाल KVM के बारे में नहीं है। बात ही यही है।
हाइपरवाइज़र सुलझा हुआ हिस्सा है। Proof of concept उन हिस्सों पर खर्च कीजिए जो सुलझे नहीं हैं।
संदर्भ
KVM खुद
- KVM API documentation —
/dev/kvmका ioctl interface, जो पूरा हाइपरवाइज़र अनुबंध है - Linux 2.6.20 release notes — वह release जिसमें KVM merge हुआ, फ़रवरी 2007
- Some KVM developments — LWN, जनवरी 2007, mainline में आने के कुछ दिन बाद KVM पर
बाकी हाइपरवाइज़र कैसे बने हैं
- Interpreting virtual machine monitor and executable failures — Broadcom का अपना वर्णन, जिसमें चलती ESXi VM “several processes or userworlds” है, हर vCPU के लिए एक VMM और हर VM के लिए एक VMX
- The Architecture of VMware ESXi (PDF) — वह whitepaper जो VMkernel को processes, signals, file system और threads वाला “a POSIX-like operating system” कहता है। mirror के ज़रिए link किया गया है क्योंकि मूल VMware URL Broadcom के पुनर्गठन में नहीं बचा, जो vendor की निरंतरता पर अपने आप में एक छोटी टिप्पणी है
- Hyper-V architecture — Virtual Machine Worker Process पर Microsoft: एक user-mode component, हर VM के लिए एक, जिसमें सारे emulated devices रहते हैं
- The Nutanix Bible — AHV architecture — AHV को libvirt, QEMU और Open vSwitch के साथ KVM बताया गया है
कौन KVM चलाता है, और उन्होंने इसे कैसे बदला
- 7 ways we harden our KVM hypervisor at Google Cloud — बिना QEMU के KVM चलाने, और उनके upstream hardening पर Google
- The AWS Nitro System — कौन से EC2 instance types Nitro हाइपरवाइज़र चलाते हैं
- AWS EC2 Virtualization 2017: Introducing Nitro — Xen से KVM पर बदलाव पर Brendan Gregg का लेख, अब भी इसका सबसे साफ़ ब्योरा
- Firecracker — Lambda और Fargate के पीछे AWS का छोटा KVM-आधारित VMM
- Alibaba Cloud’s sixth-generation ECS instances — X-Dragon हाइपरवाइज़र और MoC offload
- KubeVirt — OpenShift Virtualisation और Harvester के पीछे pod में QEMU/KVM वाला मॉडल
- OpenStack Nova hypervisor support matrix — reference driver के रूप में KVM
Proxmox क्या संभालता है
- The Proxmox GitHub organisation — 89 repositories, जिनमें
pve-qemu,pve-kernel,pve-edk2-firmwareऔरlxc,zfsonlinux,openvswitch,libiscsi,corosync-pveऔरcephकी packaging शामिल है pve-qemupatch series — ऊपर गिने गए 78 patches, और यह देखने का सबसे तेज़ तरीका कि Proxmox QEMU में ठीक-ठीक क्या जोड़ता है- Proxmox VE storage documentation — native plugin list, कौन से storage types shared हैं, और Debian Linux पर उपलब्ध सारी storage technologies इस्तेमाल करने वाली पंक्ति
nvme-cliऔरnvmetcli— NVMe-oF host और target tooling; ATA over Ethernet के बराबर के लिएaoetoolsऔरvblade। सब Debian trixie में, जिस पर Proxmox VE 9 बना है- Proxmox VE pricing and subscription tiers — subscription में क्या आता है
खुलासा: मैं croit के लिए काम करता हूँ, जो एक Proxmox Gold Partner है। ऊपर के तकनीकी दावों के स्रोत दिए गए हैं और उन्हें जाँचा जा सकता है; व्यावसायिक paragraph वह हिस्सा है जिसमें मेरा हित है, तो उसे उसी नज़र से पढ़िए।