MPS क्या है
PCIe डिवाइस डेटा को पैकेटों में भेजते हैं जिन्हें Transaction Layer Packets (TLPs) कहते हैं। हर TLP में एक header और एक payload होता है। उस payload का अधिकतम आकार MaxPayloadSize (MPS) है।
link training के दौरान डिवाइस और उसके ऊपर वाले bridge के बीच MPS तय होता है। तय की गई वैल्यू वह होती है जो डिवाइस के सपोर्ट और bridge की अनुमति में से छोटी हो। डिवाइस और root complex के बीच रास्ते के हर bridge और switch की अपनी MPS क्षमता होती है। किसी भी डिवाइस का अंतिम MPS उस श्रृंखला के सबसे तंग बिंदु से तय होता है।
आम MPS वैल्यू 128, 256 और 512 bytes हैं। कुछ डिवाइस 1024 या 4096 bytes तक सपोर्ट करते हैं, पर व्यवहार में NVMe controller और नेटवर्क कार्ड के लिए 256 या 512 आम है। GPU अक्सर 256 bytes सपोर्ट करते हैं।
यह क्यों मायने रखता है
बड़े MPS का मतलब है उतने ही डेटा के लिए कम पैकेट। MPS 128 पर 4KB IO भेजने के लिए 32 TLP चाहिए। MPS 512 पर वही ट्रांसफ़र 8 TLP में होता है।
हर TLP के साथ प्रोटोकॉल overhead आता है: header, CRC, framing। कम TLP का मतलब है हर byte पर कम प्रोटोकॉल overhead। ऊँचे throughput पर यह फ़र्क मापा जा सकता है। नाटकीय नहीं। पर असली। और यह वही overhead है, जो हर पैकेट पर चुकाया जाता है।
MPS इस पर भी असर डालता है कि PCIe लिंक का कितना अच्छा इस्तेमाल होता है। छोटे payload का मतलब है कि लिंक डेटा की तुलना में headers पर ज़्यादा समय लगाता है। बड़े payload यह अनुपात काम के डेटा की ओर ले जाते हैं।
latency पर असर throughput से कम है। MPS 128 और 512 पर एक अकेले 4KB read में latency का कोई मापने लायक फ़र्क नहीं दिखेगा, क्योंकि TLP pipeline में चलते हैं। पर ढेर सारे ट्रांसफ़र एक साथ चलाकर ऊँचे IOPS पर जाइए, तो बड़े MPS से घटा overhead जुड़ता जाता है।
पासथ्रू में समस्या
bare metal पर BIOS POST के दौरान PCIe topology के हिसाब से MPS सेट करता है। आधुनिक सर्वर BIOS आमतौर पर MPS को topology की अधिकतम सीमा पर रखता है, अक्सर 256 या 512 bytes।
QEMU में वर्चुअल Q35 chipset के root complex की अपनी MPS क्षमता होती है।
डिफ़ॉल्ट रूप से यह कम MPS दिखाता है।
Linux kernel की डिफ़ॉल्ट MPS policy (pcie_bus_default) हर डिवाइस का MPS उसके parent bridge के बराबर करती है, जो वर्चुअल topology में QEMU root complex का डिफ़ॉल्ट है। अक्सर 128 bytes।
इसलिए जो डिवाइस 512-byte payload कर सकता है, वह 128 पर चलता है, क्योंकि छत वर्चुअल root complex ने तय कर दी।
इसे कैसे ठीक करें: host की तरफ़
kernel से कहें कि हर डिवाइस का MPS उसके parent bus की अधिकतम सीमा पर रखे:
# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub
pci=pcie_bus_perf
यह हर डिवाइस का MPS उस सबसे बड़ी वैल्यू पर रखता है जिसकी उसका parent bus अनुमति देता है। यह MRRS (Max Read Request Size) भी उसी हिसाब से सेट करता है। kernel source कहता है कि यह पक्का करता है कि किसी डिवाइस का MPS उसके parent से बड़ा न हो। इससे श्रृंखला एक-सी रहती है और ट्रांसफ़र के सबसे अच्छे आकार भी मिलते हैं।
reboot के बाद नया MPS जाँचें:
# Check MPS on a specific device
lspci -vv -s XX:00.0 | grep -i "MaxPayload"
आपको डिफ़ॉल्ट 128 की जगह MaxPayload 256 bytes या MaxPayload 512 bytes दिखना चाहिए।
kernel के बाकी विकल्प
kernel पाँच MPS policy देता है, हर एक pci= boot पैरामीटर से सेट होती है:
pcie_bus_tune_off: MPS को छूता ही नहीं।
BIOS ने जो सेट किया, वही चलता है।
अच्छे BIOS वाले bare metal पर यह अक्सर ठीक है।
QEMU में BIOS OVMF या SeaBIOS होता है, जो शायद MPS को optimise न करे।
pcie_bus_default: kernel का डिफ़ॉल्ट।
हर डिवाइस का MPS उसके upstream bridge के बराबर रखता है।
सतर्क और सुरक्षित, पर परफ़ॉर्मेंस को अधिकतम नहीं करता।
pcie_bus_safe: MPS को उस सबसे बड़ी वैल्यू पर रखता है जिसे सिस्टम के सभी डिवाइस सपोर्ट करते हैं।
बंद सिस्टम के लिए उपयोगी, जहाँ आप सारे डिवाइस जानते हैं और कुछ भी hotplug नहीं होगा।
डिफ़ॉल्ट से थोड़ा ज़्यादा आक्रामक।
pcie_bus_perf: हर डिवाइस का MPS उस सबसे बड़ी वैल्यू पर रखता है जिसकी उसका parent bus अनुमति देता है।
हर डिवाइस को उसकी local topology का सबसे अच्छा MPS मिलता है।
पासथ्रू के लिए यही सही विकल्प है, क्योंकि यह हर रास्ते को अलग से optimise करता है।
pcie_bus_peer2peer: हर चीज़ पर MPS 128 bytes रखता है।
हर डिवाइस सबसे छोटे साझा आकार पर बात करता है।
तब इस्तेमाल होता है जब डिवाइसों को सीधे एक-दूसरे में DMA करना हो (GPU-से-GPU, RDMA के ज़रिए GPU-से-NIC)।
सामान्य पासथ्रू के लिए उपयोगी नहीं।
पासथ्रू के लिए pcie_bus_perf ही सही है।
इसे कैसे ठीक करें: guest की तरफ़
आप guest kernel की boot configuration में भी pci=pcie_bus_perf सेट कर सकते हैं।
इसका कोई व्यावहारिक असर होगा या नहीं, यह इस पर निर्भर है कि QEMU वर्चुअल PCIe topology कैसे दिखाता है।
वर्चुअल root complex तय करता है कि guest अधिकतम क्या तय कर सकता है।
टेस्टिंग में host वाला सुधार ही टिकता है। फ़िज़िकल डिवाइस host के पास है, और उसकी MPS सेटिंग ही तार पर असली TLP आकार तय करती है। guest की सेटिंग सिर्फ़ VM के अंदर की वर्चुअल topology को छूती है, और इससे असली व्यवहार बदलता है या नहीं, यह इस पर निर्भर है कि QEMU उस डिवाइस का PCIe रास्ता कैसे दिखाता है।
इसे host पर सेट करें। guest में भी सेट करने से नुकसान नहीं, पर सिर्फ़ उसी के भरोसे न रहें।
MRRS क्या है
Max Read Request Size (MRRS) जुड़ा हुआ है, पर अलग है। MPS सीमित करता है कि डिवाइस एक TLP में कितना डेटा भेज सकता है। MRRS सीमित करता है कि डिवाइस एक read request में कितना डेटा माँग सकता है।
MRRS 4096 वाला डिवाइस एक ही 4KB read request भेज सकता है। जवाब कई TLP में आता है, हर एक MPS आकार तक। ऊँचे MRRS का मतलब है कि डिवाइस हर transaction में ज़्यादा डेटा माँग सकता है, जिससे bus पर read request TLP कम होते हैं।
pci=pcie_bus_perf MPS और MRRS दोनों को उनकी सबसे अच्छी वैल्यू पर सेट करता है।
आपको इन्हें अलग से ट्यून करने की ज़रूरत नहीं।
बाकी ट्यूनिंग के मुकाबले असर
MPS 128 और 512 bytes के बीच के फ़र्क का परफ़ॉर्मेंस असर NUMA अलाइनमेंट या ASPM से कम है। आमतौर पर throughput में कुछ ही प्रतिशत का सुधार। कम queue depth पर latency benchmark में यह नहीं दिखेगा।
पर यह मुफ़्त optimisation है। एक kernel पैरामीटर, कोई नुकसान नहीं, कोई compatibility जोखिम नहीं। पासथ्रू करने वाले किसी भी सिस्टम पर इसे सेट न करने की कोई वजह नहीं।
इसकी कोई कीमत नहीं, और हार्डवेयर के पैसे आप पहले ही दे चुके हैं। जो खरीदा है, वह पूरा ले ही लीजिए।
संदर्भ
- Linux kernel PCI Kconfig — MPS and MRRS tuning options — पाँचों MPS policy का आधिकारिक स्रोत
- Linux Plumbers Conference 2017 — MPS vs MRRS (PDF) — kernel के MPS/MRRS संभालने पर Sinan Kaya की प्रस्तुति