MPS क्या है

PCIe डिवाइस डेटा को पैकेटों में भेजते हैं जिन्हें Transaction Layer Packets (TLPs) कहते हैं। हर TLP में एक header और एक payload होता है। उस payload का अधिकतम आकार MaxPayloadSize (MPS) है।

link training के दौरान डिवाइस और उसके ऊपर वाले bridge के बीच MPS तय होता है। तय की गई वैल्यू वह होती है जो डिवाइस के सपोर्ट और bridge की अनुमति में से छोटी हो। डिवाइस और root complex के बीच रास्ते के हर bridge और switch की अपनी MPS क्षमता होती है। किसी भी डिवाइस का अंतिम MPS उस श्रृंखला के सबसे तंग बिंदु से तय होता है।

आम MPS वैल्यू 128, 256 और 512 bytes हैं। कुछ डिवाइस 1024 या 4096 bytes तक सपोर्ट करते हैं, पर व्यवहार में NVMe controller और नेटवर्क कार्ड के लिए 256 या 512 आम है। GPU अक्सर 256 bytes सपोर्ट करते हैं।

यह क्यों मायने रखता है

बड़े MPS का मतलब है उतने ही डेटा के लिए कम पैकेट। MPS 128 पर 4KB IO भेजने के लिए 32 TLP चाहिए। MPS 512 पर वही ट्रांसफ़र 8 TLP में होता है।

हर TLP के साथ प्रोटोकॉल overhead आता है: header, CRC, framing। कम TLP का मतलब है हर byte पर कम प्रोटोकॉल overhead। ऊँचे throughput पर यह फ़र्क मापा जा सकता है। नाटकीय नहीं। पर असली। और यह वही overhead है, जो हर पैकेट पर चुकाया जाता है।

MPS इस पर भी असर डालता है कि PCIe लिंक का कितना अच्छा इस्तेमाल होता है। छोटे payload का मतलब है कि लिंक डेटा की तुलना में headers पर ज़्यादा समय लगाता है। बड़े payload यह अनुपात काम के डेटा की ओर ले जाते हैं।

वही 4 KB payload: MPS 128 पर 32 पैकेट headers, MPS 512 पर 8MPS 128: 4 KB ट्रांसफ़र 32 TLP बनता है32 headers × ≈24 B: तार पर ≈16% bytes प्रोटोकॉल overheadMPS 512: वही 4 KB 8 TLP बनता है8 headers × ≈24 B: तार पर ≈4% bytes प्रोटोकॉल overheadheader, sequence number, CRC और framingpayloadदोनों पट्टियाँ वही 4 KB ले जाती हैं। बड़े payload ज़्यादा डेटा नहीं ले जाते,बस लिंक उसे बताने में कम खर्च करता है। मापा गया फ़ायदा छोटा है।
दोनों पट्टियाँ वही 4 KB ले जाती हैं। ठोस पट्टियाँ हर पैकेट के header हैं: MPS 128 पर 32, MPS 512 पर सिर्फ़ 8।

latency पर असर throughput से कम है। MPS 128 और 512 पर एक अकेले 4KB read में latency का कोई मापने लायक फ़र्क नहीं दिखेगा, क्योंकि TLP pipeline में चलते हैं। पर ढेर सारे ट्रांसफ़र एक साथ चलाकर ऊँचे IOPS पर जाइए, तो बड़े MPS से घटा overhead जुड़ता जाता है।

पासथ्रू में समस्या

bare metal पर BIOS POST के दौरान PCIe topology के हिसाब से MPS सेट करता है। आधुनिक सर्वर BIOS आमतौर पर MPS को topology की अधिकतम सीमा पर रखता है, अक्सर 256 या 512 bytes।

QEMU में वर्चुअल Q35 chipset के root complex की अपनी MPS क्षमता होती है। डिफ़ॉल्ट रूप से यह कम MPS दिखाता है। Linux kernel की डिफ़ॉल्ट MPS policy (pcie_bus_default) हर डिवाइस का MPS उसके parent bridge के बराबर करती है, जो वर्चुअल topology में QEMU root complex का डिफ़ॉल्ट है। अक्सर 128 bytes।

इसलिए जो डिवाइस 512-byte payload कर सकता है, वह 128 पर चलता है, क्योंकि छत वर्चुअल root complex ने तय कर दी।

MPS रास्ते के सबसे तंग बिंदु से तय होता है, और QEMU में वह वर्चुअल root complex हैBare metal: BIOS असली topology से MPS तय करता हैNVMe512 सपोर्ट करता हैPCIe switch512 की अनुमतिRoot complex512 की अनुमतिMPS = 512 Bरास्ते में सबसे छोटाVM में पासथ्रू: अब वर्चुअल root complex सबसे तंग बिंदु हैNVMe512 सपोर्ट करता हैQEMU Q35 वर्चुअल root complexडिफ़ॉल्ट रूप से 128MPS = 128 Bडिवाइस की क्षमता बेकारhost kernel में pci=pcie_bus_perfNVMe512 सपोर्ट करता हैहर डिवाइस अपने parent bus की अधिकतम परMRRS भी उसी हिसाब सेMPS = 512 Bhost पर सेट करें, guest पर नहीं
MPS रास्ते की सबसे छोटी वैल्यू है। डिवाइस को पासथ्रू करने से वर्चुअल root complex उस रास्ते में आ जाता है, और उसका सतर्क डिफ़ॉल्ट सबकी छत बन जाता है।

इसे कैसे ठीक करें: host की तरफ़

kernel से कहें कि हर डिवाइस का MPS उसके parent bus की अधिकतम सीमा पर रखे:

# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub
pci=pcie_bus_perf

यह हर डिवाइस का MPS उस सबसे बड़ी वैल्यू पर रखता है जिसकी उसका parent bus अनुमति देता है। यह MRRS (Max Read Request Size) भी उसी हिसाब से सेट करता है। kernel source कहता है कि यह पक्का करता है कि किसी डिवाइस का MPS उसके parent से बड़ा न हो। इससे श्रृंखला एक-सी रहती है और ट्रांसफ़र के सबसे अच्छे आकार भी मिलते हैं।

reboot के बाद नया MPS जाँचें:

# Check MPS on a specific device
lspci -vv -s XX:00.0 | grep -i "MaxPayload"

आपको डिफ़ॉल्ट 128 की जगह MaxPayload 256 bytes या MaxPayload 512 bytes दिखना चाहिए।

kernel के बाकी विकल्प

kernel पाँच MPS policy देता है, हर एक pci= boot पैरामीटर से सेट होती है:

pcie_bus_tune_off: MPS को छूता ही नहीं। BIOS ने जो सेट किया, वही चलता है। अच्छे BIOS वाले bare metal पर यह अक्सर ठीक है। QEMU में BIOS OVMF या SeaBIOS होता है, जो शायद MPS को optimise न करे।

pcie_bus_default: kernel का डिफ़ॉल्ट। हर डिवाइस का MPS उसके upstream bridge के बराबर रखता है। सतर्क और सुरक्षित, पर परफ़ॉर्मेंस को अधिकतम नहीं करता।

pcie_bus_safe: MPS को उस सबसे बड़ी वैल्यू पर रखता है जिसे सिस्टम के सभी डिवाइस सपोर्ट करते हैं। बंद सिस्टम के लिए उपयोगी, जहाँ आप सारे डिवाइस जानते हैं और कुछ भी hotplug नहीं होगा। डिफ़ॉल्ट से थोड़ा ज़्यादा आक्रामक।

pcie_bus_perf: हर डिवाइस का MPS उस सबसे बड़ी वैल्यू पर रखता है जिसकी उसका parent bus अनुमति देता है। हर डिवाइस को उसकी local topology का सबसे अच्छा MPS मिलता है। पासथ्रू के लिए यही सही विकल्प है, क्योंकि यह हर रास्ते को अलग से optimise करता है।

pcie_bus_peer2peer: हर चीज़ पर MPS 128 bytes रखता है। हर डिवाइस सबसे छोटे साझा आकार पर बात करता है। तब इस्तेमाल होता है जब डिवाइसों को सीधे एक-दूसरे में DMA करना हो (GPU-से-GPU, RDMA के ज़रिए GPU-से-NIC)। सामान्य पासथ्रू के लिए उपयोगी नहीं।

पासथ्रू के लिए pcie_bus_perf ही सही है।

इसे कैसे ठीक करें: guest की तरफ़

आप guest kernel की boot configuration में भी pci=pcie_bus_perf सेट कर सकते हैं। इसका कोई व्यावहारिक असर होगा या नहीं, यह इस पर निर्भर है कि QEMU वर्चुअल PCIe topology कैसे दिखाता है। वर्चुअल root complex तय करता है कि guest अधिकतम क्या तय कर सकता है।

टेस्टिंग में host वाला सुधार ही टिकता है। फ़िज़िकल डिवाइस host के पास है, और उसकी MPS सेटिंग ही तार पर असली TLP आकार तय करती है। guest की सेटिंग सिर्फ़ VM के अंदर की वर्चुअल topology को छूती है, और इससे असली व्यवहार बदलता है या नहीं, यह इस पर निर्भर है कि QEMU उस डिवाइस का PCIe रास्ता कैसे दिखाता है।

इसे host पर सेट करें। guest में भी सेट करने से नुकसान नहीं, पर सिर्फ़ उसी के भरोसे न रहें।

MRRS क्या है

Max Read Request Size (MRRS) जुड़ा हुआ है, पर अलग है। MPS सीमित करता है कि डिवाइस एक TLP में कितना डेटा भेज सकता है। MRRS सीमित करता है कि डिवाइस एक read request में कितना डेटा माँग सकता है।

MRRS 4096 वाला डिवाइस एक ही 4KB read request भेज सकता है। जवाब कई TLP में आता है, हर एक MPS आकार तक। ऊँचे MRRS का मतलब है कि डिवाइस हर transaction में ज़्यादा डेटा माँग सकता है, जिससे bus पर read request TLP कम होते हैं।

MRRS request का आकार तय करता है, MPS जवाब के हर पैकेट काNVMe controllerMRRS 4096 Bhost मेमोरीroot complex के ज़रिए1 × read request: “मुझे 4 KB भेजो”MRRS: एक request कितना माँग सकता है8 × completion TLP: हर एक 512 BMPS: जवाब का हर पैकेट कितना बड़ा हो सकता हैएक request, कई पैकेट। pci=pcie_bus_perf दोनों बढ़ाता है, अलग ट्यूनिंग की ज़रूरत नहीं।
दोनों को आपस में मिलाना आसान है: MRRS सीमित करता है कि डिवाइस एक request में कितना माँग सकता है, MPS सीमित करता है कि जवाब का हर पैकेट कितना बड़ा हो सकता है।

pci=pcie_bus_perf MPS और MRRS दोनों को उनकी सबसे अच्छी वैल्यू पर सेट करता है। आपको इन्हें अलग से ट्यून करने की ज़रूरत नहीं।

बाकी ट्यूनिंग के मुकाबले असर

MPS 128 और 512 bytes के बीच के फ़र्क का परफ़ॉर्मेंस असर NUMA अलाइनमेंट या ASPM से कम है। आमतौर पर throughput में कुछ ही प्रतिशत का सुधार। कम queue depth पर latency benchmark में यह नहीं दिखेगा।

पर यह मुफ़्त optimisation है। एक kernel पैरामीटर, कोई नुकसान नहीं, कोई compatibility जोखिम नहीं। पासथ्रू करने वाले किसी भी सिस्टम पर इसे सेट न करने की कोई वजह नहीं।

इसकी कोई कीमत नहीं, और हार्डवेयर के पैसे आप पहले ही दे चुके हैं। जो खरीदा है, वह पूरा ले ही लीजिए।

संदर्भ