ASPM क्या करता है
PCIe Active State Power Management (ASPM) PCIe लिंक को idle होने पर low-power स्टेट में जाने देता है। PCIe specification कई लिंक स्टेट परिभाषित करती है:
L0 पूरी तरह active स्टेट है। लिंक चालू है, दोनों सिरों को पावर मिल रही है, डेटा तुरंत बह सकता है।
L0s एक हल्की idle स्टेट है। लिंक आंशिक रूप से पावर डाउन होता है। L0 पर लौटने में हार्डवेयर के हिसाब से लगभग 1–4µs लगते हैं। दोनों सिरे अलग-अलग L0s में जा सकते हैं।
L1 एक गहरी idle स्टेट है। लिंक के दोनों सिरे एक साथ पावर डाउन होते हैं। L0 पर लौटने में ज़्यादा समय लगता है: आमतौर पर 2–32µs, कभी-कभी उससे भी ज़्यादा। लौटने का सही समय डिवाइस, PCIe पीढ़ी और प्लेटफ़ॉर्म पर निर्भर है।
L1.1 और L1.2 L1 की substates हैं जो PCIe 3.0 में आईं। ये PLL clock reference बंद करके पावर और घटाती हैं। L1.2 से लौटने में 32–100µs लग सकते हैं। स्टोरेज डिवाइस के लिए यह गोलाई की गलती नहीं है। यह लगभग उतना ही लंबा है जितना वह read जो आप शुरू में करने चले थे।
विचार सीधा है। अगर कोई PCIe लिंक कुछ माइक्रोसेकंड के लिए idle है, तो उसे कम पावर वाली स्टेट में भेज दो। जब ट्रैफ़िक लौटे, उसे जगा दो। बीच में थोड़ी पावर बचा लो।
लैपटॉप या डेस्कटॉप मशीन पर, जो ज़्यादातर समय कुछ नहीं करती, ASPM असली पावर बचाता है। हर लिंक पर कुछ वॉट, सिस्टम के सारे PCIe डिवाइस में जुड़ते हुए। IO-भारी वर्कलोड चलाने वाले सर्वर पर लिंक शायद ही कभी इतनी देर idle रहते हैं कि ASPM कुछ खास कर सके।
पासथ्रू में यह समस्या क्यों बनता है
bare metal पर OS और डिवाइस ड्राइवर मिलकर पावर मैनेजमेंट तय करते हैं। NVMe ड्राइवर जानता है कि लिंक कब idle होने वाला है और कब वह नया IO भेजने वाला है। Kernel का PCIe subsystem लिंक स्टेट के बदलावों को ड्राइवर के साथ तालमेल में रखता है। सब कुछ सिंक में है।
VFIO पासथ्रू में वह तालमेल टूट जाता है।
होस्ट kernel अब भी भौतिक PCIe लिंक को नियंत्रित करता है। गेस्ट VM VFIO के ज़रिए डिवाइस का मालिक है, लेकिन लिंक को खुद नियंत्रित नहीं करता। होस्ट का PCIe subsystem देखता है कि लिंक idle हो गया, क्योंकि होस्ट के नज़रिए से कोई होस्ट-साइड ड्राइवर उसे इस्तेमाल नहीं कर रहा। वह लिंक को low-power स्टेट में भेज देता है। जब गेस्ट IO भेजता है, तो डिवाइस को लिंक वापस L0 में चाहिए। लौटने का समय उस IO ऑपरेशन पर अतिरिक्त latency के रूप में दिखता है।
नतीजा है असंगत latency।
ज़्यादातर IO सामान्य स्पीड से पूरे होते हैं।
कुछ बहुत ज़्यादा समय लेते हैं क्योंकि वे ऐसे लिंक से टकराते हैं जो L1 या L1.2 में है और पहले उसे जागना पड़ता है।
यह आपके clat (completion latency) percentiles में बड़े फैलाव के रूप में दिखता है।
औसत ठीक दिख सकता है।
p99 5–10x ज़्यादा हो सकता है।
इसे पकड़ना मुश्किल है क्योंकि औसत throughput के आँकड़े ठीक दिख सकते हैं। समस्या आपको तभी दिखती है जब आप tail latency देखते हैं। कई benchmark इसे तब तक उभारते नहीं जब तक आप percentile आउटपुट न माँगें।
VFIO वाला खास पेंच
यहाँ एक पेंच है जो बुनियादी “होस्ट और गेस्ट लिंक स्टेट पर लड़ रहे हैं” वाली समस्या से आगे जाता है।
जब कोई डिवाइस होस्ट पर vfio-pci से bound होता है, तो होस्ट kernel जानता है कि डिवाइस पासथ्रू मोड में है।
लेकिन PCIe ASPM पॉलिसी लिंक के स्तर पर लागू होती है, डिवाइस के स्तर पर नहीं।
होस्ट की ASPM पॉलिसी अब भी भौतिक लिंक पर लागू होती है क्योंकि PCIe topology अब भी होस्ट की है।
VFIO ASPM के बदलावों को न रोकता है, न ओवरराइड करता है। यह डिवाइस का BAR space और interrupts पासथ्रू करता है, लेकिन लिंक का पावर मैनेजमेंट होस्ट के नियंत्रण में रहता है। गेस्ट के पास होस्ट को यह कहने का कोई तरीका नहीं कि “इस लिंक को L0 में रखो।”
कुछ नए हार्डवेयर और kernel वर्ज़न इसे दूसरों से बेहतर संभालते हैं। इसलिए सबसे सुरक्षित तरीका है ASPM को पूरी तरह तस्वीर से बाहर कर देना।
इसे बंद कैसे करें
होस्ट की kernel command line में pcie_aspm=off जोड़िए:
# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"
# Update GRUB and reboot
update-grub
reboot
यह होस्ट को किसी भी PCIe लिंक को low-power स्टेट में डालने से रोकता है। यह ग्लोबल रूप से लागू होता है। होस्ट का हर PCIe डिवाइस, सिर्फ़ वह नहीं जो पासथ्रू हो रहा है।
रीबूट के बाद जाँचिए:
# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"
पावर की कीमत
ASPM बंद करने से idle पावर खपत सच में बढ़ती है। हर PCIe लिंक जो वरना L1 में होता, L0 में रहता है और कुछ सौ मिलीवॉट ज़्यादा खाता है। दस या पंद्रह PCIe डिवाइस वाले सिस्टम में यह idle पर 2–5 वॉट तक जुड़ सकता है।
डेटा सेंटर के सर्वर के लिए 2–5 वॉट बिजली के बिल पर गोलाई की गलती है। होम लैब के लिए यह उसका एक छोटा हिस्सा है जो CPU और मेमोरी खा रहे हैं। लैपटॉप के लिए यह मायने रखता है। पर आप लैपटॉप की बैटरी पर VFIO पासथ्रू तो कर नहीं रहे होंगे।
सौदा साफ़ है। idle पावर के कुछ वॉट, बनाम आपके पासथ्रू किए डिवाइस पर अनिश्चित latency spikes। पासथ्रू करने वाले किसी भी सिस्टम पर ASPM बंद होना चाहिए।
डिवाइस-स्तर की पावर स्टेट की समस्याएँ
ASPM PCIe लिंक की पावर स्टेट नियंत्रित करता है। डिवाइस का अपना पावर मैनेजमेंट भी होता है: PCIe D-states (D0 से D3 तक)।
जब कोई डिवाइस D3 में होता है (पूरी तरह पावर डाउन), तो सिर्फ़ लिंक नहीं सोया होता। डिवाइस खुद रुक गया होता है।
VFIO पासथ्रू में होस्ट का vfio-pci ड्राइवर डिवाइस को D3 में डाल सकता है जब VM नहीं चल रहा हो, या जब होस्ट की पावर मैनेजमेंट पॉलिसी तय करे कि डिवाइस idle है।
कुछ NVMe कंट्रोलर D3 से D0 का बदलाव ठीक से नहीं संभालते। वे ठीक से वापस नहीं आते, गेस्ट डिवाइस खो देता है, और निकलने का अकेला रास्ता VM रीस्टार्ट है, या कभी-कभी होस्ट रीबूट।
Samsung 990 EVO Plus एक जाना-माना दोषी है।
इलाज है vfio-pci का disable_idle_d3 मॉड्यूल ऑप्शन:
# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1
यह vfio-pci को idle होने पर किसी भी bound डिवाइस को D3 में डालने से रोकता है।
pcie_aspm=off की तरह यह ग्लोबल सेटिंग है। vfio-pci से bound हर डिवाइस D0 में रहता है।
पासथ्रू के लिए आमतौर पर आप यही चाहते हैं, जहाँ डिवाइस की पावर स्टेट को सिर्फ़ गेस्ट नियंत्रित करे।
disable_idle_d3 ऑप्शन ASPM से अलग है।
ASPM लिंक को नियंत्रित करता है।
D3 डिवाइस को नियंत्रित करता है।
दोनों अलग-अलग समस्या पैदा कर सकते हैं।
साफ़ पासथ्रू कॉन्फ़िगरेशन के लिए दोनों बंद कीजिए।
हर डिवाइस के लिए ASPM कंट्रोल
अगर आप ASPM को ग्लोबल रूप से बंद नहीं करना चाहते (शायद होस्ट पर दूसरे PCIe डिवाइस हैं जिन्हें पावर बचत से फ़ायदा होता है), तो आप sysfs के ज़रिए हर लिंक पर ASPM नियंत्रित कर सकते हैं:
# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
यह ज़्यादा निशाने पर है, लेकिन रीबूट और kernel अपडेट के पार कम भरोसेमंद।
ज़्यादातर पासथ्रू सेटअप के लिए ग्लोबल pcie_aspm=off kernel फ़्लैग ज़्यादा सरल और ज़्यादा अनुमान लगाने लायक है।
जब समस्या ASPM नहीं है
latency का हर उतार-चढ़ाव ASPM नहीं होता।
अगर आपके clat percentiles लगातार ऊँचे हैं (सिर्फ़ tail नहीं), तो समस्या ज़्यादा संभावना से IOMMU translation ओवरहेड, NUMA का गलत तालमेल, या MPS mismatch है।
ASPM खास तौर पर दो-हिस्सों वाला पैटर्न बनाता है (ज़्यादातर IO तेज़, कुछ धीमे) क्योंकि यह सिर्फ़ उन IO पर असर डालता है जो संयोग से तब पहुँचते हैं जब लिंक low-power स्टेट में हो।
ASPM पहले जाँचिए जब आपको दिखे:
- p99 latency औसत से 5x या उससे ज़्यादा
- अलग-अलग रन के बीच असंगत
fioनतीजे - latency जो लगातार लोड में सुधरती है पर रुक-रुककर आने वाले वर्कलोड में बिगड़ती है
अगर लोड का पैटर्न कुछ भी हो, latency लगातार खराब है, तो कहीं और देखिए। ASPM को जल्दी खारिज करना फ़ायदेमंद है क्योंकि इसे टेस्ट करना सस्ता है। फिर भी यह हर धीमे लिंक का जवाब नहीं है, और जब आँकड़े पैटर्न से मेल न खाएँ तब इसके पीछे भागना एक ऐसी दोपहर है जो आपको वापस नहीं मिलेगी।
संदर्भ
- Linux kernel PCI documentation — ASPM parameters —
pcie_aspm=offऔर उससे जुड़े ऑप्शन को कवर करने वाला kernel source - Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — Samsung NVMe कंट्रोलर के लिए
disable_idle_d3पर कम्युनिटी थ्रेड - Proxmox VE Wiki — PCI(e) Passthrough — पासथ्रू कॉन्फ़िगरेशन पर आधिकारिक डॉक्यूमेंटेशन