समस्या
यह एक ग्राहक के साथ काम के दौरान सामने आया, जहाँ हम latency के प्रति संवेदनशील workload के लिए NVMe पासथ्रू वाला Proxmox VE डिप्लॉयमेंट डिज़ाइन कर रहे थे।
ग्राहक ने कॉल से पहले अपना benchmarking कर लिया था।
host पर NVMe ड्राइव के ख़िलाफ़ fio ने 700K random read IOPS और 10µs से कम completion latency दिखाई।
VM के अंदर, उसी ड्राइव और उसी टेस्ट के साथ, उन्हें मोटे तौर पर उसका आधा मिल रहा था।
वे ज़ाहिर चीज़ें पहले ही जाँच चुके थे। ड्राइव नहीं बदली थी। firmware नहीं बदला था। PCIe स्लॉट नहीं हिला था। वे सोचने लगे थे कि कहीं पासथ्रू ही गलत तरीका तो नहीं।
ऐसा नहीं था। वे जो देख रहे थे वह IOMMU टैक्स है। यह लोगों को इसलिए चौंकाता है क्योंकि पासथ्रू डिज़ाइन पर फ़ैसला करने से पहले कोई इसके बारे में नहीं बताता। अच्छी खबर यह है कि एक बार समझ आ जाए कि यह आता कहाँ से है, तो ज़्यादातर overhead वापस मिल सकता है।
गहराई में
जिन समस्याओं को हल करना पड़ा
किसी VM को फ़िज़िकल PCIe डिवाइस तक सीधी पहुँच देना सुनने में सीधा लगता है। व्यवहार में यह सिस्टम वर्चुअलाइज़ेशन की कठिन समस्याओं में से एक है। जो कुछ चीज़ें bare metal पर अपने आप काम करती हैं, वे तब ख़तरनाक हो जाती हैं जब डिवाइस host और guest के बीच बँटा हो।
DMA अलगाव
यह बुनियादी समस्या है।
PCIe डिवाइस मेमोरी पढ़ने-लिखने के लिए CPU से होकर नहीं जाते। वे Direct Memory Access इस्तेमाल करते हैं। वे सीधे फ़िज़िकल RAM पतों पर लिखते हैं। bare metal पर यह ठीक है। डिवाइस और OS एक-दूसरे पर भरोसा करते हैं।
वर्चुअलाइज़ेशन में guest VM का फ़िज़िकल मेमोरी का अपना नज़रिया होता है। guest driver NVMe controller को जो पते देता है वे guest physical address हैं। वे host RAM में उन्हीं जगहों से मेल नहीं खाते। अगर डिवाइस उन्हें सीधे इस्तेमाल करे, तो वह गलत मेमोरी पढ़ता और लिखता है। इससे host, दूसरे VM, या दोनों खराब हो जाते हैं।
इससे भी बुरा, कोई दुर्भावनापूर्ण या बग वाला guest driver जानबूझकर डिवाइस को host मेमोरी के किसी भी हिस्से में DMA करने के लिए प्रोग्राम कर सकता है। यह असल में पूरी मशीन पर root access है, बिना कभी hypervisor का कोई बग इस्तेमाल किए।
हल है IOMMU: एक हार्डवेयर translation यूनिट (Intel VT-d, AMD-Vi) जो हर PCIe डिवाइस और मुख्य मेमोरी के बीच बैठती है। यह अपनी page tables रखती है, CPU की tables से अलग। डिवाइस का हर DMA अनुरोध IOMMU से होकर जाता है, जो guest physical address को host physical address में बदलती है और guest को दिए गए मेमोरी क्षेत्रों के बाहर किसी भी access को रोक देती है।
IOMMU के बिना सुरक्षित पासथ्रू असंभव है। इसके साथ डिवाइस काबू में रहता है।
डिवाइस समूह
IOMMU अलग-अलग डिवाइसों को अलग नहीं करती। वह समूहों को अलग करती है।
PCIe स्पेसिफ़िकेशन Access Control Services (ACS) परिभाषित करता है, जो तय करती हैं कि एक ही bus पर डिवाइस सीधे एक-दूसरे से बात कर सकते हैं या नहीं, यानी peer-to-peer DMA, उस root complex से होकर गए बिना जहाँ IOMMU बैठी है। अगर दो डिवाइस ऐसा PCIe switch साझा करते हैं जो ACS लागू नहीं करता, तो एक डिवाइस दूसरे के memory space में DMA कर सकता है, IOMMU को पूरी तरह दरकिनार करके।
kernel उन डिवाइसों को एक IOMMU समूह में रखता है जो IOMMU के लागू हुए बिना एक-दूसरे तक पहुँच सकते हैं। अगर आपका NVMe controller किसी और डिवाइस के साथ समूह साझा करता है, तो सिर्फ़ NVMe को पासथ्रू करना अलगाव के मॉडल को तोड़ देता है। समूह का दूसरा डिवाइस तब भी IOMMU के चारों ओर side channel की तरह इस्तेमाल हो सकता है।
हर bridge और switch पर ठीक ACS सपोर्ट वाला सर्वर-ग्रेड हार्डवेयर आमतौर पर हर डिवाइस को उसका अपना समूह देता है। कंज़्यूमर और वर्कस्टेशन बोर्ड अक्सर कई डिवाइसों को एक साथ रख देते हैं, क्योंकि PCIe root complex हर पोर्ट पर ACS लागू नहीं करता।
Proxmox एक kernel patch रखता है, pcie_acs_override, जो kernel से कहता है कि हार्डवेयर ACS सपोर्ट चाहे जो हो, हर डिवाइस को अलग माने।
व्यवहार में यह काम करता है, पर यह kernel से हार्डवेयर topology के बारे में झूठ बोल रहा है।
production सिस्टम पर असली हार्डवेयर ACS पर टिके साफ़ समूह हमेशा बेहतर हैं।
Interrupt पहुँचाना
bare metal पर जब NVMe controller कोई IO operation पूरा करता है, तो वह सीधे CPU को MSI-X interrupt भेजता है। CPU उसे कुछ सौ नैनोसेकंड में संभाल लेता है।
वर्चुअलाइज़ेशन में उस interrupt को host नहीं, guest तक पहुँचना होता है। सीधा-सादा तरीका है हर interrupt को hypervisor में पकड़ना, VM exit कराना, interrupt guest में डालना, और फिर चालू करना। यह काम करता है, पर हर VM exit 5–20µs लेता है। ऊँचे IOPS पर, यानी हर सेकंड लाखों interrupts, यह overhead बहुत बड़ा है।
हार्डवेयर हल है posted interrupts। Intel का APICv और AMD का AVIC, IOMMU को बिना कोई VM exit कराए interrupt सीधे guest के virtual APIC page में लिखने देते हैं। guest को interrupt ऐसे दिखता है जैसे bare-metal हार्डवेयर से आया हो। overhead घटकर कुछ सौ नैनोसेकंड रह जाता है।
सभी प्लेटफ़ॉर्म posted interrupts सपोर्ट नहीं करते। पुराने CPU, कुछ वर्कस्टेशन chipset और कुछ BIOS संस्करण यह क्षमता नहीं दिखाते। जब यह न हो, तो हर interrupt धीमे रास्ते से जाता है, और कोई software जुगाड़ नहीं है।
डिवाइस reset
जब VM बंद होता है या crash करता है, तो पासथ्रू किए गए डिवाइस को एक साफ़, जानी-पहचानी हालत में लौटना पड़ता है। वरना उसे किसी दूसरे VM को नहीं दिया जा सकता और न host उसे वापस ले सकता है।
bare metal पर OS डिवाइस driver को व्यवस्थित ढंग से बंद करता है। पासथ्रू में guest crash कर सकता है, उपयोगकर्ता VM को ज़बरदस्ती रोक सकता है, या hypervisor प्रोसेस को मार सकता है। डिवाइस ट्रांसफ़र के बीच में हो सकता है, DMA operations चलते हुए।
PCIe इसके लिए Function Level Reset (FLR) परिभाषित करता है: बाकी bus को छुए बिना एक अकेले डिवाइस function को reset करने का तरीका। NVMe controller आमतौर पर FLR सपोर्ट करते हैं और उसे अच्छे से संभालते हैं। GPU इसमें बदनाम रूप से खराब हैं, पर वह दूसरा लेख है।
अगर FLR सपोर्ट न हो, तो विकल्प है secondary bus reset, जो उस PCIe bridge के पीछे की हर चीज़ को reset करता है। अगर bridge पर दूसरे डिवाइस हैं, तो वे भी reset हो जाते हैं। सबसे बुरी हालत में डिवाइस वापस पाने का एक ही तरीका है: पूरे host का reboot।
Address translation का overhead
IOMMU सुरक्षा की समस्या हल करती है। इसलिए यह वैकल्पिक नहीं है। पर यह परफ़ॉर्मेंस की एक समस्या ले आती है।
हर DMA operation अब address translation के एक अतिरिक्त स्तर से गुज़रता है। IOMMU का अपना TLB होता है, IOTLB, और जब उसमें hit होता है तो overhead छोटा होता है। जब miss होता है, तो IOMMU को अपनी page tables खंगालनी पड़ती हैं, और इससे हर प्रभावित IO operation में असली latency जुड़ती है।
यही IOMMU टैक्स है। बाकी लेख यह समझने के बारे में है कि यह कहाँ से आता है और इसे कम कैसे करें।
BAR mapping और address space
हर PCIe डिवाइस एक या ज़्यादा Base Address Registers (BARs) दिखाता है, जो डिवाइस के अंदरूनी registers और मेमोरी को host के MMIO address space में मैप करते हैं। host CPU इन्हीं mappings से डिवाइस तक पहुँचता है। पासथ्रू के काम करने के लिए hypervisor को ये mappings guest को ठीक से दिखानी होती हैं।
पहले BAR के आकार boot पर BIOS तय करता था और वे 4GB से नीचे की पुरानी 32-bit MMIO खिड़की में आ जाते थे। जब BAR छोटे थे, तब यह काम करता था। आधुनिक GPU ने तस्वीर बदल दी है। 24GB framebuffer को 24GB BAR चाहिए, जो 32-bit address space में नहीं आता।
Resizable BAR (ReBAR), जिसे AMD Smart Access Memory (SAM) के नाम से भी बेचता है, एक PCIe क्षमता है जो boot के बाद BAR का आकार फिर से तय करने देती है। GPU के लिए यह अहम फ़ीचर है। framebuffer तक 256MB की खिड़की से पहुँचने और उसमें टुकड़ों में घूमने के बजाय, host पूरी VRAM एक साथ मैप कर लेता है।
NVMe के लिए सीधा असर कम है। NVMe controller के BAR आमतौर पर controller register set (BAR0) के लिए 16KB से 64KB के होते हैं। NVMe स्पेसिफ़िकेशन एक Controller Memory Buffer (CMB) परिभाषित करता है जो host-resident submission queues के लिए बड़ा BAR दिखा सकता है, पर ज़्यादातर ड्राइव इसे लागू नहीं करतीं। ReBAR, NVMe throughput को वैसे नहीं बदलता जैसे GPU के लिए बदलता है।
NVMe पासथ्रू के संदर्भ में यह साझा PCIe माहौल की वजह से मायने रखता है। अगर आप उसी host पर GPU के साथ NVMe ड्राइव पासथ्रू कर रहे हैं, तो GPU के बड़े किए गए BAR को 4GB सीमा के ऊपर address space चाहिए। BIOS, IOMMU और वर्चुअल PCIe topology, तीनों को इसके लिए जगह बनानी होती है। address space का बँटवारा गलत हुआ तो डिवाइस initialise नहीं होते, और बाकी सब के साथ NVMe पासथ्रू भी फ़ेल हो जाता है।
बिजली जाने का जोखिम
वर्चुअल डिस्क पर write के क्रम और crash consistency को hypervisor और storage layer संभालते हैं। पासथ्रू में guest सीधे flash से बात कर रहा है। अगर write के बीच host की बिजली जाती है, तो NVMe controller का firmware अपने write cache के साथ जो करता है, या नहीं करता, वही तय करता है कि आपका डेटा जाएगा या नहीं।
एंटरप्राइज़ NVMe ड्राइव में power loss protection (PLP) capacitors होते हैं जो बिजली जाने पर write cache को सुरक्षित रूप से flush कर देते हैं। PLP के बिना कंज़्यूमर ड्राइव शायद ऐसा न करें। पासथ्रू में guest और हार्डवेयर के बीच कोई hypervisor सुरक्षा जाल नहीं होता।
production workload के लिए PLP वाली एंटरप्राइज़ ड्राइव वैकल्पिक नहीं है।
व्यावहारिक समझौते
पासथ्रू उन क्षमताओं को भी हटा देता है जो वर्चुअल डिस्क देती हैं।
पासथ्रू किया गया डिवाइस फ़िज़िकल रूप से एक खास host से बँधा होता है। डिवाइस जुड़ा रहते VM को live-migrate नहीं किया जा सकता। HA वाले Proxmox cluster में नोड फ़ेल होने का मतलब है कि VM बंद हो जाता है और दूसरे नोड पर cold-start होता है। कोई सहज failover नहीं।
ड्राइव vzdump और Proxmox Backup Server को दिखती भी नहीं।
यह VM snapshots या तय समय वाले backups में शामिल नहीं होगी।
workload के लाइव होने से पहले एक अलग backup रणनीति, guest-स्तर, filesystem-स्तर या application-स्तर की, तैयार होनी चाहिए।
VFIO पासथ्रू असल में कैसे काम करता है
जब आप कोई PCIe डिवाइस VM में पासथ्रू करते हैं, तो hypervisor guest को डिवाइस के MMIO registers का सीधा नियंत्रण दे देता है। guest driver NVMe controller से ऐसे बात करता है जैसे bare metal पर चल रहा हो। यह हिस्सा लगभग native है। MMIO register access Extended Page Tables (Intel पर EPT, AMD पर NPT) से होकर जाता है और आमतौर पर बिना VM exit के पूरा हो जाता है।
लागत DMA रास्ते पर दिखती है। हर DMA operation address translation के लिए IOMMU से गुज़रता है, और जैसा ऊपर बताया, उस translation की कीमत है। ख़ासकर IOTLB miss पर।
Benchmark असलियत से बुरे क्यों दिखते हैं
ज़्यादातर लोग अपनी टेस्टिंग में यहीं गलती करते हैं।
जिस Proxmox फ़ोरम थ्रेड ने यह लेख शुरू करवाया, उसमें उपयोगकर्ता iodepth=1 के साथ fio चला रहे थे।
उस queue depth पर fio एक IO भेजता है, उसके पूरे होने का इंतज़ार करता है, फिर अगला भेजता है।
टेस्ट बस हर IO की latency नाप रहा है।
IOMMU overhead का हर माइक्रोसेकंड पूरा दिखता है।
उस थ्रेड के आँकड़े कहानी साफ़ बताते हैं।
bare metal पर completion latency औसतन लगभग 10µs थी।
VM के अंदर औसतन लगभग 28µs।
हर IO पर वह अतिरिक्त ~18µs IOMMU translation का overhead है।
iodepth=1 पर यह throughput को सीधे आधा कर देता है, क्योंकि जब एक ही IO चल रहा हो तो throughput 1 / latency के बराबर होता है।
queue depth को 32 या 64 पर ले जाइए, जिस पर NVMe ड्राइव चलने के लिए बनी हैं, और तस्वीर बदल जाती है। कई IO एक साथ चलने पर IOMMU overhead उन सब में बँट जाता है। controller completions प्रोसेस करता रहता है जबकि नए translations हो रहे होते हैं। throughput bare metal के कुछ प्रतिशत के अंदर लौट आता है।
व्यावहारिक सबक यह है। अगर आपका workload 4 से ऊपर की queue depth पर चलता है, तो IOMMU का throughput नुकसान शायद नगण्य है। इसमें ज़्यादातर डेटाबेस, वर्चुअलाइज़ेशन और स्टोरेज workload आ जाते हैं। अगर आपका workload कम queue depth पर latency के प्रति संवेदनशील है, जैसे कुछ real-time applications या synchronous metadata operations, तो आपको यह महसूस होगा।
पासथ्रू को बहुत धीमा मानने से पहले अपने benchmark असली queue depth पर चलाएँ:
# Bare metal baseline — run on the host before binding to vfio-pci
fio --name=randread --ioengine=libaio --direct=1 --bs=4k \
--iodepth=32 --numjobs=4 --rw=randread --size=1G \
--filename=/dev/nvme0n1 --runtime=30 --time_based \
--group_reporting
# Same test inside the VM after passthrough
fio --name=randread --ioengine=libaio --direct=1 --bs=4k \
--iodepth=32 --numjobs=4 --rw=randread --size=1G \
--filename=/dev/nvme0n1 --runtime=30 --time_based \
--group_reporting
clat (completion latency) percentiles और IOPS के आँकड़ों की तुलना करें।
चार jobs के साथ iodepth=32 पर अंतर कुछ ही प्रतिशत अंकों का होना चाहिए, 50% नहीं।
NUMA अलाइनमेंट
इसका अपना लेख है। देखें Proxmox VE पर NUMA अलाइनमेंट: यह क्यों मायने रखता है और इसे सही कैसे करें।
छोटे में: मल्टी-सॉकेट सिस्टम पर हर PCIe डिवाइस किसी खास सॉकेट से जुड़ा होता है। अगर NVMe ड्राइव NUMA नोड 1 पर है और VM के vCPU नोड 0 पर pin हैं, तो हर DMA completion इंटर-सॉकेट लिंक पार करता है। इससे हर operation में 50–100ns जुड़ते हैं। ऊँचे IOPS पर सही और गलत NUMA अलाइनमेंट के बीच throughput का फ़र्क 20–30% है।
cat /sys/bus/pci/devices/0000:XX:00.0/numa_node से जाँचें, फिर VM config में affinity पैरामीटर से VM के vCPU को उसी नोड के कोरों पर pin करें।
सिंगल-सॉकेट सिस्टम पर यह कोई चिंता नहीं है।
PCIe Active State Power Management (ASPM)
इसका अपना लेख है। देखें PCIe ASPM, और पासथ्रू के लिए इसे बंद क्यों करना चाहिए।
छोटे में: ASPM, PCIe लिंक को idle रहने पर कम-बिजली वाली हालत में जाने देता है।
पासथ्रू में फ़िज़िकल लिंक host के नियंत्रण में रहता है, पर डिवाइस guest का होता है।
जब guest IO भेजता है और लिंक सो रहा होता है, तो जागने का समय latency में जुड़ जाता है।
लक्षण है आपके clat percentiles में बड़ा फैलाव। p99 औसत से 5–10 गुना ऊँचा हो सकता है जबकि mean ठीक दिखता है।
host पर kernel command line में pcie_aspm=off से इसे बंद करें।
अगर आपके NVMe controller को power state से लौटने में दिक्कत है, तो vfio-pci module options में disable_idle_d3=1 भी जोड़ें। Samsung 990 EVO Plus इसका जाना-माना उदाहरण है।
MaxPayloadSize (MPS)
इसका अपना लेख है। देखें PCIe MaxPayloadSize: पासथ्रू के लिए मुफ़्त परफ़ॉर्मेंस।
छोटे में: PCIe डिवाइस डेटा Transaction Layer Packets में भेजते हैं।
QEMU का वर्चुअल root complex डिफ़ॉल्ट रूप से 128-byte का अधिकतम payload देता है।
ज़्यादातर डिवाइस 256 या 512 bytes सपोर्ट करते हैं।
host kernel command line में pci=pcie_bus_perf जोड़ने से MPS उस अधिकतम पर सेट हो जाता है जिसकी हर डिवाइस का parent bus अनुमति देता है।
throughput में यह छोटा सुधार है, कुछ ही प्रतिशत, पर यह मुफ़्त है और इसका कोई नुकसान नहीं।
Resizable BAR और MMIO aperture
ऊपर बताई गई BAR mapping की समस्या के लिए BIOS और VM, दोनों तरफ़ व्यावहारिक कदम हैं।
पहले, BIOS में Above 4G Decoding चालू करें। इससे BAR को 4GB सीमा के ऊपर के address space में मैप किया जा सकता है, जो बड़े BAR वाले किसी भी डिवाइस के लिए ज़रूरी है। सिर्फ़ NVMe पासथ्रू के लिए भी इसे चालू करें। इसका कोई नुकसान नहीं, और अगर बाद में आप GPU या बड़े BAR वाला कोई और डिवाइस जोड़ें तो समस्याएँ टल जाती हैं।
अगर BIOS में ReBAR उपलब्ध है, तो उसे भी चालू करें। यह NVMe परफ़ॉर्मेंस पर सीधा असर नहीं डालेगा, पर उसी host के GPU को अपनी पूरी framebuffer mapping इस्तेमाल करने देगा।
VM की तरफ़, QEMU के वर्चुअल Q35 root complex को इतनी बड़ी 64-bit MMIO खिड़की चाहिए कि guest बड़े किए गए BAR देख सके। डिफ़ॉल्ट रूप से OVMF अपेक्षाकृत छोटी खिड़की देता है। सिर्फ़ NVMe पासथ्रू के लिए यह ठीक है। NVMe BAR आराम से आ जाते हैं। पर अगर VM में NVMe और GPU दोनों पासथ्रू हैं, तो MMIO aperture बढ़ाएँ:
args: -fw_cfg name=opt/ovmf/X-PciMmio64Mb,string=65536
यह OVMF से 64GB की 64-bit MMIO space देने को कहता है, जो NVMe controller के छोटे BAR के साथ ज़्यादातर GPU framebuffers के लिए काफ़ी है।
QEMU का ReBAR सपोर्ट बेहतर हो रहा है पर अभी भी सहज नहीं है। कुछ AMD GPU (Vega और नए) QEMU में ReBAR चालू होने पर driver errors देते हैं (Windows में Code 43)। अगर ऐसा हो, तो पहले कदम के तौर पर BIOS में ReBAR बंद करें। NVMe पासथ्रू पर इसका किसी भी तरह असर नहीं पड़ेगा।
GPU की तरफ़ Resizable BAR क्या करता है, और Intel इसे Arc पर अनिवार्य क्यों मानता है जबकि NVIDIA इसे हर गेम के हिसाब से चालू करता है, यह देखने के लिए पढ़ें PCIe Resizable BAR और आधुनिक GPU: Intel Arc, NVIDIA और AMD।
Interrupt संभालना
ऊपर बताई गई interrupt पहुँचाने की समस्या के लिए एक व्यावहारिक ट्यूनिंग कदम है। posted interrupts (Intel पर APICv, AMD पर AVIC) शायद डिफ़ॉल्ट रूप से चालू न हों।
जाँचें कि वे सक्रिय हैं या नहीं:
# Intel — look for "Posted-Interrupts" in dmesg
dmesg | grep -i "posted"
# AMD — check AVIC support
dmesg | grep -i "avic"
AMD EPYC सिस्टम पर, अगर डिफ़ॉल्ट रूप से चालू न हो तो KVM module में AVIC चालू करें:
# /etc/modprobe.d/kvm.conf
options kvm_amd avic=1
Intel सिस्टम पर, VT-d सक्रिय होने पर posted interrupts वाला APICv आमतौर पर अपने आप चालू हो जाता है।
अगर आपका प्लेटफ़ॉर्म posted interrupts सपोर्ट नहीं करता, तो कोई software जुगाड़ नहीं है। यह हार्डवेयर की क्षमता है। पर धीमे रास्ते को अनिवार्य मानने से पहले यह पक्का कर लेना चाहिए कि यह सचमुच चालू है।
Interrupt affinity और queue अलाइनमेंट
NVMe controller कई submission और completion queue जोड़े इस्तेमाल करते हैं। आमतौर पर हर CPU कोर का एक। जब VM के vCPU उन फ़िज़िकल कोरों से मेल नहीं खाते जो NVMe interrupts संभाल रहे हैं, तो completions को inter-processor interrupts के ज़रिए कोर पार करने पड़ते हैं। इससे latency जुड़ती है।
guest के अंदर देखें कि NVMe driver ने कितनी IO queues बनाई हैं और वे कैसे मैप हैं:
# List NVMe IO queues
cat /proc/interrupts | grep nvme
# Check affinity
for irq in $(grep nvme /proc/interrupts | awk '{print $1}' | tr -d ':'); do
echo "IRQ $irq: $(cat /proc/irq/$irq/smp_affinity_list)"
done
आदर्श रूप से हर NVMe IO queue का interrupt उसी vCPU से affinitise होना चाहिए जो उस queue में भेजता है। ज़्यादातर आधुनिक NVMe drivers यह अपने आप संभालते हैं। पर इसकी जाँच करना ठीक है, ख़ासकर अगर आपने vCPU हाथ से pin किए हैं या vCPU की संख्या controller की queues से कम कर दी है।
हमेशा Q35 इस्तेमाल करें, i440fx नहीं
यह अपने लेख का हक़दार है। देखें हमेशा Q35 इस्तेमाल करें, i440fx नहीं।
छोटे में: i440fx एक सपाट पुरानी PCI bus दिखाता है। Q35 एक ठीक-ठाक PCIe root complex दिखाता है। i440fx पर पासथ्रू डिवाइस पुराने PCI की तरह दिखते हैं, जिससे MSI-X multi-queue interrupt delivery टूट जाती है। NVMe controller को अपनी queue-per-core बनावट के लिए MSI-X चाहिए। इसके बिना सारे IO completions एक ही interrupt से होकर जाते हैं और ऊँचे IOPS पर ऐसी रुकावट आती है जिसे कोई भी kernel ट्यूनिंग ठीक नहीं करेगी।
Proxmox 8.x और नए में नए VM के लिए Q35 डिफ़ॉल्ट है। अगर आप किसी पुराने VM पर पासथ्रू कर रहे हैं जो अभी भी i440fx पर है, तो उसे बदल दें। RHEL 10 ने i440fx को औपचारिक रूप से deprecate कर दिया है, और बाकी KVM इकोसिस्टम भी उसी राह पर है।
सब कुछ एक साथ
असर के क्रम में ट्यूनिंग कदमों का सार यह है।
NUMA अलाइनमेंट: पक्का करें कि NVMe ड्राइव और VM के vCPU एक ही NUMA नोड पर हों। मल्टी-सॉकेट सिस्टम पर अकेले इसी से throughput में 20–30% का फ़र्क आ सकता है।
ASPM बंद: host kernel command line में pcie_aspm=off जोड़ें।
PCIe लिंक की power state बदलने से आने वाला latency का उतार-चढ़ाव खत्म होता है।
असली queue depth: iodepth=1 पर नहीं, iodepth=32 या उससे ऊपर टेस्ट करें।
कम queue depth पर हावी IOMMU overhead असली depth पर बँट जाता है।
Posted interrupts: पक्का करें कि APICv (Intel) या AVIC (AMD) सक्रिय है। हर interrupt का overhead माइक्रोसेकंड से घटकर नैनोसेकंड में आ जाता है।
MPS optimisation: host kernel command line में pci=pcie_bus_perf जोड़ें।
MaxPayloadSize को topology की अधिकतम सीमा पर सेट करता है।
vfio-pci power management: अगर पासथ्रू में आपके NVMe controller को power state की दिक्कतें हैं, तो disable_idle_d3=1 जोड़ें।
AMD EPYC सिस्टम पर NVMe पासथ्रू करने वाले Proxmox नोड की मिली-जुली host kernel command line कुछ ऐसी दिखेगी:
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf"
Intel के लिए:
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf"
जब पासथ्रू इसके लायक नहीं
इस राह पर जाने से पहले यह पूछना ठीक है कि क्या आपको NVMe पासथ्रू की ज़रूरत है भी।
NVMe पर टिकी वर्चुअल डिस्क के साथ VirtIO-SCSI और VirtIO-BLK पहले से ही बहुत कुशल हैं। पासथ्रू की तुलना में latency पर overhead आमतौर पर 5–10% है। ज़्यादातर workload के लिए throughput का फ़र्क नगण्य है।
पासथ्रू तब समझ में आता है जब आपको guest OS से डिवाइस सीधे संभलवाना हो। इसमें SMART निगरानी, firmware अपडेट, TRIM/discard नियंत्रण, और reservations जैसे खास NVMe फ़ीचर आते हैं। यह उन workload के लिए भी समझ में आता है जो latency के प्रति संवेदनशील हैं, जहाँ कुछ माइक्रोसेकंड भी मायने रखते हैं। कुछ डेटाबेस इंजन और real-time डेटा ingest इसी श्रेणी में आते हैं।
बाकी सब के लिए, ऊपर बताए व्यावहारिक समझौते, यानी live migration और snapshots व backup integration का न होना, आमतौर पर छोटे परफ़ॉर्मेंस फ़ायदे पर भारी पड़ते हैं।
जब आसान रास्ता काम कर दे, तो कठिन रास्ता चुनने में कोई चतुराई नहीं।
अपने बदलावों की जाँच
ट्यूनिंग कदम लागू करने के बाद जाँचें कि सब कुछ उम्मीद के मुताबिक काम कर रहा है:
# Host side — confirm IOMMU is in passthrough mode
dmesg | grep -i iommu
# Confirm ASPM is disabled
lspci -vv | grep -i "ASPM Disabled"
# Check MPS on the NVMe controller
lspci -vv -s XX:00.0 | grep MaxPayload
# Inside the VM — run the fio comparison
fio --name=randread --ioengine=libaio --direct=1 --bs=4k \
--iodepth=32 --numjobs=4 --rw=randread --size=1G \
--filename=/dev/nvme0n1 --runtime=30 --time_based \
--group_reporting
VM के नतीजों की तुलना अपनी पहले की bare-metal baseline से करें।
iodepth=32 पर throughput bare metal के 5% के अंदर होना चाहिए।
औसत completion latency host के आँकड़ों से 10–15µs के अंदर होनी चाहिए।
अगर अंतर अब भी बड़ा है, तो पहले NUMA अलाइनमेंट जाँचें।
यही सबसे ज़्यादा अनदेखी की जाने वाली चीज़ है।
और इसकी कीमत बस एक config बदलाव है, जो इसे ऐसी समस्या बनाता है जो हाथ में रह जाए तो सबसे अच्छी।
संदर्भ
- Linux kernel PCI documentation — MPS and MRRS tuning options —
pcie_bus_perf,pcie_bus_safeऔर जुड़े पैरामीटरों का आधिकारिक स्रोत - Proxmox VE Administration Guide — PCI(e) Passthrough — VFIO डिवाइस पासथ्रू configuration पर Proxmox का आधिकारिक दस्तावेज़
- Proxmox Forum — NVMe Passthrough Performance — वह सामुदायिक चर्चा जिसने यह लेख शुरू करवाया