आप इसे क्यों चाहेंगे

QEMU एक असली NVMe controller emulate कर सकता है। यह कोई paravirtual डिवाइस नहीं है जिसके लिए ड्राइवर आपको देना पड़े, बल्कि एक PCIe NVMe controller है जिसे guest एक आम SSD की तरह पहचानता है और अपने पहले से मौजूद NVMe सपोर्ट से चलाता है।

पूरा आकर्षण यही है, और यह सुनने में जितना लगता है उससे ज़्यादा क़ीमती है।

Linux में सालों से in-box nvme ड्राइवर है। Windows, Windows 8.1 और Server 2012 R2 से stornvme के साथ आता है। तो guest boot होता है, एक PCIe NVMe controller गिनता है, अपना ड्राइवर load करता है और disk पा लेता है। न VirtIO ISO, न install के समय ड्राइवर डालना, और न Windows installer के बीच में “no drives found” वाली स्क्रीन।

जिसने भी VirtIO ISO mount किए हुए उस स्क्रीन को घूरा है, और installer फिर भी कहता रहा है कि कोई disk नहीं है, वह यह आकर्षण तुरंत समझ जाएगा।

दूसरी वजह यह है कि यह ऊपर तक NVMe की तरह ही बर्ताव करता है। nvme-cli चलता है। Namespaces असली हैं। LBA formats, metadata bytes और protection information सब कॉन्फ़िगर किए जा सकते हैं। इसलिए यह उन operations का अभ्यास करने की बहुत अच्छी जगह है जिनका अभ्यास आपको डेटा रखने वाले हार्डवेयर पर नहीं करना चाहिए।

इसे कैसे जोड़ें

Proxmox में इसके लिए न कोई GUI checkbox है, न कोई config key। यह एक raw QEMU डिवाइस है, इसलिए यह /etc/pve/qemu-server/<vmid>.conf में args: के अंदर जाता है।

QEMU का डॉक्यूमेंटेशन सबसे छोटी जोड़ी देता है: बिना interface वाला एक backing drive, और उसे इस्तेमाल करने वाला controller। सीधे /etc/pve/qemu-server/<vmid>.conf में लिखा हुआ, बिना quotes के:

args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier

if=none मायने रखता है: यह QEMU से कहता है कि drive को किसी default controller से न जोड़े, क्योंकि -device nvme वाली line उस पर दावा करने वाली है। drive पर id= और device पर drive= का मेल खाना ज़रूरी है। यही जोड़ी दोनों हिस्सों को जोड़ती है।

serial= अनिवार्य है; इसके बिना QEMU VM शुरू करने से मना कर देता है। कुछ ऐसा चुनें जिसे आप पहचान सकें, क्योंकि guest nvme list और smartctl में ठीक यही वापस बताता है, और “इन चार एक जैसे वर्चुअल ड्राइव में कौन-सा कौन है” यह सवाल आप कभी न कभी पूछेंगे।

Quoting: वह हिस्सा जिसमें सब फँसते हैं

उस string को quote करना है या नहीं, यह इस पर निर्भर है कि आप उसे कहाँ टाइप कर रहे हैं, और इसे उल्टा कर देना पहली कोशिश में इसके फ़ेल होने की सबसे आम वजह है।

Proxmox args: की value सहेजता है और बाद में उसे Text::ParseWords::shellwords से तोड़ता है। इसलिए config file में quotes माने जाते हैं और हटा दिए जाते हैं। पूरी तरह quoted string एक ही argument बन जाती है:

# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"

shellwords से गुज़रकर इससे ठीक एक element निकलता है। बिना quotes के वही line वे चार देती है जो QEMU को सच में चाहिए: -drive, उसके parameters, -device, उसके parameters।

command line पर इसका उल्टा है, क्योंकि वहाँ आप Proxmox के लिए नहीं, अपने shell के लिए quote कर रहे होते हैं। यहाँ quotes ज़रूरी हैं, और config में जो सहेजा जाता है वह बिना quotes वाली value है:

qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"

दोनों सही हैं। बस वे एक-दूसरे की जगह नहीं ले सकते। अगर आप line qm set से बनाते हैं, तो बाद में qm config 100 से नतीजा देखें, आपको वह बिना quotes के सहेजा हुआ दिखेगा। config file यही रूप चाहती है।

अगर backing image मौजूद नहीं है, तो पहले उसे बनाएँ:

qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G

एक से ज़्यादा Namespace

एक disk से आगे किसी भी चीज़ के लिए controller को उसके namespaces से अलग करें:

-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1

Namespace identifiers 1 से ऊपर अपने-आप दिए जाते हैं। यही कॉन्फ़िगरेशन इस डिवाइस को सीखने के लिए सच में काम का बनाता है, क्योंकि namespace management NVMe का वह हिस्सा है जिसे ज़्यादातर लोग कभी छू नहीं पाते।

एक 4Kn वर्चुअल Namespace

namespace आम block-size properties लेता है, और QEMU उन्हीं से LBA data size निकालता है। hw/nvme/ns.c format exponent को ds = 31 - clz32(ns->blkconf.logical_block_size) के रूप में निकालता है। तो इससे आपको एक सही 4K-native namespace मिलता है:

-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096

namespace डिवाइस metadata bytes प्रति LBA के लिए ms, extended LBAs के लिए mset, और protection information के type और guard format के लिए pi और pif भी लेता है।

यह 4Kn और 512e वाले लेख की हर चीज़ के लिए एक पूरी प्रयोगशाला है: 512-byte बनाम 4096-byte logical blocks, metadata वाले formats, T10-PI, एक ऐसे डिवाइस पर जिसे आप जितनी बार चाहें नष्ट कर सकते हैं।

जाँचें कि यह पहुँच गया

guest के अंदर से:

lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"

आपको एक असली NVMe namespace दिखना चाहिए, उन block sizes के साथ जो आपने माँगे थे।

आप क्या छोड़ देते हैं

तीन चीज़ें, और पहली दो performance के समझौते नहीं हैं। वे क्षमताओं का हटना हैं। डिवाइस पर कुछ भी रखने से पहले उन्हें जान लें।

Proxmox क्या संभालता है, और args से जुड़ा डिवाइस किसके बाहर बैठता हैVM config में, drive के रूप मेंscsi0: local-zfs:vm-100-disk-0,iothread=1volume Proxmox का है और वह इसे जानता हैvzdump / PBS backups में शामिलहाँPVE snapshotsहाँLive migrationहाँGUI में Resize और Move Diskहाँstorage view में गिना जाता हैहाँargs: से जुड़ा-device nvme,drive=nvm1,serial=…raw QEMU डिवाइस: PVE को इसका कुछ पता नहींbackups में शामिलनहींPVE snapshotsनहींLive migrationनहींResize और Move Diskनहींstorage view में गिना जाता हैनहींइनमें से सिर्फ़ एक “नहीं” ख़ुद को बताता है। Live migration error के साथ फ़ेल होता है, क्योंकि QEMUडिवाइस को unmigratable मानता है। backup बस disk के बिना सफल हो जाता है, इसीलिए यहआपकी runbook में होना चाहिए, सिर्फ़ याद में नहीं।
Proxmox VM config में drive के रूप में जो है, उसे संभालता है। args से जुड़ा controller उसके बाहर है, इसलिए स्टोरेज layer पर बना हर फ़ीचर उस पर लागू ही नहीं होता।

1. Live Migration बंद है

यह Proxmox की कोई सीमा या चूक नहीं है। QEMU ख़ुद device model में इस डिवाइस को unmigratable घोषित करता है। QEMU 10.2 के hw/nvme/ctrl.c से:

static const VMStateDescription nvme_vmstate = {
    .name = "nvme",
    .unmigratable = 1,
};

तीन lines, और बीच वाली ही पूरी कहानी है। controller की कोई migration state नहीं है, इसलिए QEMU migration की कोशिश करने की जगह उसे मना कर देता है। यही सही फ़ेल होना है। आपको error मिलता है, न कि ऐसा guest जो किसी दूसरे node पर उलझी हुई disk के साथ फिर से चल पड़े।

एक दूसरी, अलग वजह भी है कि यह काम नहीं कर सकता: Proxmox को पता ही नहीं कि disk मौजूद है। अगर QEMU डिवाइस state को ले भी जा सकता, तब भी PVE के migration logic में कुछ भी ऐसा नहीं है जो target पर backing volume उपलब्ध कराए।

फिर भी इस पर नज़र रखने लायक़ है: QEMU की development branch ने इस थोक flag की जगह nvme_set_migration_blockers() function रखा है, जो migration की इजाज़त देता है और सिर्फ़ कुछ ख़ास फ़ीचरों के लिए उसे रोकता है। उदाहरण के लिए एक से ज़्यादा namespace, जहाँ comment कहता है “we don’t handle this in migration code yet”। यह 10.2 तक किसी release में नहीं आया है, इसलिए आज आपकी मदद नहीं करता, लेकिन यह पाबंदी नरम होती दिखती है। किसी लेख पर भरोसा करने की जगह अपना QEMU version जाँचें।

2. Proxmox Backups इसे नहीं देखेंगे

vzdump और Proxmox Backup Server उन volumes का backup लेते हैं जो VM config में drives के रूप में दिखते हैं: scsi0, virtio0 वग़ैरह। args: से जुड़ी disk उनमें से नहीं है। यह एक raw QEMU डिवाइस है जिसके बारे में PVE को कुछ भी पता नहीं।

तो backup चलता है, सफलता बताता है, और उसमें डिवाइस नहीं होता।

यह फ़ेल होने का तरीक़ा error से भी बुरा है, क्योंकि कुछ भी आपको बताता नहीं। यही बात हर जगह लागू होती है: न PVE snapshots, न GUI से disk resize, न Move Disk, न storage view में कोई हिसाब। अगर आपने volume PVE से बनाया और फिर उसे अलग कर दिया, तो शायद PVE उसे साफ़ भी न करे। एक अनाथ, जो बाद में किसी को उलझाने के इंतज़ार में है।

अगर इनमें से किसी पर डेटा रहने वाला है, तो guest के अंदर से उसका backup लें, और कहीं लिखकर रखें कि hypervisor इसे कवर नहीं कर रहा।

3. यह VirtIO SCSI से तेज़ नहीं है

इस बात पर लोग हैरान होते हैं, क्योंकि “NVMe” performance फ़ीचर जैसा पढ़ता है। यहाँ ऐसा नहीं है।

VirtIO SCSI और VirtIO block paravirtual हैं: guest ड्राइवर और hypervisor ठीक इसी काम के लिए बने एक ring buffer को साझा करते हैं, और guest जानता है कि वह hypervisor से बात कर रहा है।

emulated NVMe controller डिज़ाइन से इसका उल्टा है। यह असली NVMe registers दिखाता है, इसलिए guest उसे ऐसे प्रोग्राम करता है जैसे वह हार्डवेयर हो। हर doorbell write एक MMIO access है जो hypervisor में trap होता है। सही, और ring पर एक descriptor रखने से हर IO पर ज़्यादा महँगा।

साझा ring बनाम emulated registersguest │ hypervisorVirtIO SCSI: paravirtualguest ड्राइवरजानता है कि वह VM हैसाझा ringदोनों सिरे इसे समझते हैंhost block layer1 notifydescriptor ring पर जाता है और host को सूचना मिलती है। ring जानबूझकर सीमा के आर-पार है।Emulated NVMe: असली registersguest ड्राइवरसमझता है कि यह हार्डवेयर हैNVMe registersdoorbells, queues, MMIOhost block layerहर doorbell write trap होता हैtrap + emulate, हर IO परguest ठीक वही कर रहा है जो वह किसी physical controller के साथ करता, और यही मक़सद है: उसका अपनाड्राइवर बिना बदले चलता है। इसीलिए यह compatibility फ़ीचर है, performance फ़ीचर नहीं।Interrupt coalescing सपोर्टेड नहीं और default में बंद है: सही हार्डवेयर बर्ताव, क़ीमत हैहार्डवेयर emulate करना।
paravirtual रास्ता एक ring है जिसे guest और host दोनों समझते हैं। emulated रास्ता guest से registers चलवाता है, और हर doorbell write एक trap है: सटीक हार्डवेयर बर्ताव, हार्डवेयर-emulation की क़ीमत पर।

QEMU का अपना डॉक्यूमेंटेशन भी डिवाइस की कमियों के बारे में साफ़ है: interrupt coalescing “is not supported and is disabled by default”, और SMART/Health log page के हिसाब वाले आँकड़े “are reset when the device is power cycled”।

इसमें से कुछ भी इसे पूरी तरह धीमा नहीं बनाता। यह बिल्कुल इस्तेमाल लायक़ है। बस इसका मतलब है कि इसे कभी VirtIO SCSI से ज़्यादा throughput की उम्मीद में न चुनें। इसे ड्राइवर के लिए चुनें, या NVMe semantics के लिए।

यह असल में कहाँ अपनी जगह कमाता है

  • बिना VirtIO media के guest install करना। जो Windows installer VirtIO SCSI disk नहीं देख पाता, वह NVMe disk देख लेगा, क्योंकि ड्राइवर image में पहले से है। उस पर install करें, फिर तय करें कि बाद में VirtIO पर जाना है या नहीं।
  • Appliances और images जो आपके नियंत्रण में नहीं हैं। कोई भी चीज़ जो तय image के रूप में आती है, जिसमें VirtIO ड्राइवर नहीं हैं, और जिसे आप दोबारा बनाना नहीं चाहते।
  • सीखना और lab का काम। nvme format --lbaf, namespace बनाना और जोड़ना, metadata और protection information: जो operations असली हार्डवेयर पर विनाशकारी और vendor पर निर्भर हैं, वे यहाँ मुफ़्त हैं। किसी ज़रूरी ड्राइव को छूने से पहले हाथ साधने का यह सबसे सुरक्षित तरीक़ा है।
  • किसी और की topology दोहराना। अगर आप किसी ग्राहक के NVMe layout को debug कर रहे हैं, तो मेल खाते namespaces और block sizes वाला एक emulated controller उनका हार्डवेयर उधार लेने से कहीं तेज़ चक्र है।

Production में इसकी जगह क्या इस्तेमाल करें

ऐसे VM के लिए जिसे performance, PVE फ़ीचर और चैन चाहिए: VirtIO SCSI single, iothread=1, discard=on और ssd=1 के साथ, cache=none पर। यही व्यवस्था live migration, backups, snapshots और storage view को काम करता रखती है।

ऐसे VM के लिए जिसे आख़िरी कुछ प्रतिशत चाहिए और जो जानबूझकर वे फ़ीचर छोड़ सकता है, जवाब emulated NVMe डिवाइस नहीं है। जवाब असली पासथ्रू है, अपने कड़े समझौतों के साथ, जो IOMMU tax वाले लेख में बताए गए हैं।

emulated NVMe डिवाइस इन दोनों में से किसी खेमे में नहीं है। इसलिए यह एक compatibility और lab औज़ार है, और उस काम में यह बहुत अच्छा है।

इसे उस काम के लिए इस्तेमाल करें जिसमें यह अच्छा है, तो यह आपको निराश नहीं करेगा। इससे performance फ़ीचर बनने को कहें, तो यह बहुत जल्दी निराश करेगा।

संदर्भ

  • QEMU — NVMe Emulation — -drive/-device nvme syntax, कई namespaces के लिए nvme-ns, ms/mset/pi/pif namespace parameters, और interrupt coalescing व SMART हिसाब पर बताई गई सीमाएँ
  • QEMU source — hw/nvme/ctrl.c — 10.2 release में .unmigratable = 1 के साथ nvme_vmstate की घोषणा
  • QEMU source — hw/nvme/ns.c — namespace जो अपना LBA format logical_block_size से निकालता है
  • Proxmox VE — Backup and Restore — vzdump क्या कवर करता है, और PVE द्वारा संभाले गए drives के लिए per-volume backup options
  • Proxmox VE — Qemu/KVM Virtual Machines — VirtIO SCSI, iothread, discard और सपोर्टेड disk options