BAR क्या है, और GPU उससे बड़े क्यों हो गए
हर PCIe डिवाइस एक या ज़्यादा Base Address Registers दिखाता है। BAR सिस्टम को बताता है कि डिवाइस को कितना address space चाहिए, और firmware उसे host के memory map में मैप करता है। मैप होने के बाद CPU साधारण loads और stores से डिवाइस की मेमोरी तक पहुँचता है।
BAR का आकार पहले silicon में तय होता था। firmware उसे power-on पर पढ़ता था और बात वहीं ख़त्म।
जब तक BAR छोटे थे, यह ठीक था। नेटवर्क कार्ड को अपने registers के लिए कुछ दसियों किलोबाइट चाहिए। NVMe controller को 16KB से 64KB।
ग्राफ़िक्स कार्ड ने यह व्यवस्था तोड़ दी। आधुनिक कार्ड में 8, 12, 16 या 24GB वीडियो मेमोरी होती है, और ज़ाहिर बात है कि पूरी को मैप किया जाए ताकि CPU उसमें कहीं भी लिख सके। तय आकार वाले BAR यह नहीं कह सकते थे, इसलिए चलन बन गया एक छोटी खिड़की का, आमतौर पर 256MB, जिसे driver framebuffer पर इधर-उधर ले जाता है और टुकड़ों में कॉपी करता है। यह काम करता है। बस यह उस मेमोरी तक पहुँचने के लिए बेवकूफ़ी भरा हिसाब-किताब है जो आप पहले ही खरीद कर लगा चुके हैं।
Resizable BAR क्या बदलता है
Resizable BAR एक PCIe क्षमता है जो BAR के आकार को तय रखने के बजाय उस पर बातचीत करने देती है। डिवाइस बताता है कि वह कौन-से आकार सपोर्ट कर सकता है, और firmware या operating system उनमें से एक प्रोग्राम करता है।
GPU के लिए इसका मतलब है कि पूरा framebuffer एक साथ मैप हो सकता है।
driver खिड़की में घूमना बंद कर देता है और वहीं लिखता है जहाँ उसे लिखना है।
kernel इस क्षमता को Physical Resizable BAR के रूप में दिखाता है, और यह किसी vendor से बँधी नहीं है। AMD कार्ड Intel प्लेटफ़ॉर्म पर इसके साथ चलता है, और उल्टा भी।
तीनों vendor असल में क्या करते हैं
दिलचस्प बात यह है कि vendor इस पर सहमत नहीं कि यह कितना मायने रखता है।
Intel Arc और Arc Pro: Intel इसे ज़रूरी कहता है
Intel सबसे ज़ोर देकर कहता है। उसका मार्गदर्शन कहता है कि Resizable BAR “required to get a good experience with Intel® Arc™ hardware”। किसी प्लेटफ़ॉर्म फ़ीचर के लिए यह असामान्य रूप से कड़ी भाषा है, और यह मार्केटिंग का फ़ैसला नहीं बल्कि यह दिखाती है कि Arc driver कैसे बना है।
लक्षण के तौर पर Intel इसे बंद करने का असर औसत के बजाय स्थिरता के रूप में बताता है: “ReBAR off” के साथ आप “will generally result in spikes that were already there getting bigger”। यह frametime की स्थिरता का तर्क है, और यह उसी तरह की समस्या है जैसी latency tails पर ASPM का असर। औसत इसे छिपा लेता है।
Intel समर्थित प्लेटफ़ॉर्म के रूप में 10th Generation और नए Intel Core प्रोसेसर, ज़्यादातर Ryzen 3000 series और सभी Ryzen 5000 CPU गिनाता है, और इसे मदरबोर्ड BIOS का ऐसा फ़ीचर मानता है जिसे आपको जाकर चालू करना पड़ता है।
Arc और Arc Pro के लिए व्यावहारिक नतीजा सीधा है। अगर आपने किसी मशीन में Arc कार्ड लगाया है और परफ़ॉर्मेंस निराशाजनक या असमान है, तो कुछ और देखने से पहले यह देखें। इसलिए उन कार्डों पर यह ट्यूनिंग का बटन कम और पहली शर्त ज़्यादा है।
NVIDIA: Ampere से आगे, और सिर्फ़ जहाँ फ़ायदा हो
NVIDIA ने मार्च 2021 में GeForce RTX 30 Series कार्ड और लैपटॉप के लिए सपोर्ट जोड़ा। इसे चलाने के लिए समर्थित VBIOS, संगत CPU और मदरबोर्ड, मदरबोर्ड firmware अपडेट और नया driver चाहिए था। RTX 3060 इसके साथ आया; 3060 Ti, 3070, 3080 और 3090 को इसके लिए firmware अपडेट की ज़रूरत पड़ सकती थी।
NVIDIA का अपना परफ़ॉर्मेंस का बयान ताज़गी भरे ढंग से सादा है। उन्होंने पाया कि “some titles benefit from a few percent, up to 12%” जबकि “there are also titles that see a decrease in performance”।
उनका जवाब ही जानने लायक बात है: इसे हर जगह चालू छोड़ने के बजाय, NVIDIA गेम पहले से टेस्ट करता है और हर गेम की profile से Resizable BAR सिर्फ़ वहीं चालू करता है जहाँ फ़ायदा मापा गया। तो NVIDIA कार्ड पर “क्या ReBAR चालू है?” का जवाब हर application के लिए अलग है, और जो benchmark कुछ नहीं दिखाता, वह शायद ऐसा गेम हो जिसे driver ने छोड़ देना तय किया।
AMD: Smart Access Memory वही चीज़ है
AMD इसे Smart Access Memory के ब्रांड से बेचता है, जो Radeon RX 6000 series और Ryzen 5000 CPU के साथ आया। मार्केटिंग AMD-CPU-और-AMD-GPU की जोड़ी का इशारा करती है, और लॉन्च भी ऐसे ही हुआ, पर नीचे की क्षमता मानक PCIe वाली ही है। Intel मशीन में Radeon कार्ड के साथ firmware में Resizable BAR चालू करें, और आपको ब्रांड के बिना वही फ़ीचर मिल जाता है।
Radeon Pro W-series कार्ड भी इसे सपोर्ट करते हैं। पुराने architectures, Vega और Polaris, पर सपोर्ट अधूरा है, और वर्चुअलाइज़ेशन की परेशानी भी वहीं रहती है।
Resizable BAR और AI काम
यहीं इस फ़ीचर को गलत समझा जाता है, इसलिए साफ़ होना ठीक है कि यह किसे छूता है।
Resizable BAR बदलता है कि CPU, GPU मेमोरी तक कैसे पहुँचता है। यह ट्रांसफ़र का रास्ता है: model weights रखना, batches भेजना, नतीजे वापस पढ़ना। यह GPU की अपनी memory bandwidth को नहीं छूता, और matrix multiply को तेज़ नहीं करता।
तो ईमानदार सार यह है कि यह model को लोड करने और खिलाने पर असर डालता है, गणित पर नहीं। बड़े model के लिए लोड के समय host-से-device कॉपी असली लागत है, और पूरे आकार का BAR CPU को 256MB के झरोखे से गुज़रने के बजाय सीधे device मेमोरी में लिखने देता है। inference run की स्थिर हालत में, जहाँ weights पहले से मौजूद हैं और काम compute-bound है, कुछ उम्मीद न करें।
तीन बातें जानने लायक हैं।
AI के लिए Arc Pro, Intel का फ़ैसला विरासत में पाता है। अगर Intel कहता है कि अच्छे अनुभव के लिए कार्ड को Resizable BAR चाहिए, तो यह oneAPI या PyTorch चलाते कार्ड पर भी उतना ही लागू होता है जितना गेम चलाते कार्ड पर। inference करते Arc और Arc Pro कार्ड पर यह चालू होना चाहिए, बस।
NVIDIA पर आपको BAR1 की संख्या चाहिए। BAR1, device मेमोरी पर host को दिखने वाली खिड़की है, और host-mapped allocations और GPUDirect RDMA इसी से गुज़रते हैं:
# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"
डेटा-सेंटर कार्ड पहले से बड़े BAR1 के साथ बनता है। डेस्कटॉप कार्ड पर Resizable BAR ही उस खिड़की को छोटी के बजाय बड़ी बनाता है। अगर आप NIC से सीधे GPU मेमोरी में RDMA कर रहे हैं, तो यह कोई शौक की चीज़ नहीं।
इसे ROCm की ज़रूरत से न मिलाएँ। AMD की ROCm system requirements ऐसे CPU माँगती हैं जो PCIe atomics सपोर्ट करें, “modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell”, और BAR के आकार के बारे में कुछ नहीं कहतीं। ये दो अलग प्लेटफ़ॉर्म ज़रूरतें हैं जो एक ही BIOS मेन्यू में रहती हैं, और लोग इन्हें लगातार आपस में मिला देते हैं। वही जाँचें जिसकी आपको सचमुच ज़रूरत है।
AI बिल्ड को सबसे ज़्यादा जो दिक्कत काटती है, वह परफ़ॉर्मेंस की है ही नहीं, और वह नीचे है: एक मशीन में बड़े BAR वाले कई GPU, address space ख़त्म कर सकते हैं।
इसे चलाने के लिए क्या चाहिए
चार चीज़ें, और सभी firmware-स्तर की:
- Resizable BAR चालू मदरबोर्ड firmware में। अक्सर डिफ़ॉल्ट रूप से बंद।
- Above 4G Decoding चालू। 24GB BAR, 4GB रेखा के नीचे नहीं आ सकता, इसलिए प्लेटफ़ॉर्म को उसके ऊपर address space देने को तैयार होना चाहिए। GPU न हो तब भी इसे चालू करें। इसकी कोई कीमत नहीं।
- UEFI boot, CSM बंद। पुराना compatibility mode और बड़े BAR साथ नहीं चलते।
- नया firmware और drivers, ख़ासकर 2020–2021 के बदलाव के दौर के बोर्ड और कार्ड पर, जहाँ सपोर्ट लॉन्च पर नहीं बल्कि अपडेट से आया।
Linux पर कैसे जाँचें
कार्ड में यह क्षमता है या नहीं, और वह कौन-से आकार देता है:
# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"
kernel इसे sysfs में भी दिखाता है, हर resizable BAR की एक फ़ाइल:
cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
यह वैल्यू समर्थित आकारों का bitmap है, आकार नहीं।
bit 0 का मतलब 1MB, bit 1 का 2MB, bit 2 का 4MB, और किसी bit का आकार 2 ^ (bit + 20) है।
तो 00000000000001c0 में bits 6, 7 और 8 सेट हैं, यानी BAR 64MB, 128MB या 256MB हो सकता है।
असल में क्या लागू है, यह देखने के लिए दिए गए regions पढ़ें:
lspci -vvs 0000:XX:00.0 | grep -i Region
पूरा framebuffer मैप करके चल रहा कार्ड 256MB के बजाय अपनी VRAM के आकार का region दिखाता है।
हाथ से आकार बदलना
आप bit की जगह खुद लिख सकते हैं:
# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
इसकी शर्तें सख़्त हैं, और जिस मशीन की आपको परवाह है उस पर आज़माने से पहले पढ़ने लायक हैं।
पहले हर driver को डिवाइस से unbind करना होगा।
उसी parent bridge के नीचे के peer डिवाइसों को soft-remove करना पड़ सकता है।
VGA डिवाइस पर resize वैल्यू लिखने से low-level console drivers हट जाते हैं।
resourceN sysfs फ़ाइलों को खोले बैठी किसी भी चीज़ को उन्हें छोड़ना होगा।
kernel का दस्तावेज़ नतीजे के बारे में भी साफ़ है: सफलता की गारंटी नहीं। अगर बड़े BAR को रखने के लिए address space नहीं है तो resize फ़ेल हो जाता है। जो आपको सीधे Above 4G Decoding पर वापस ले आता है।
जब गड़बड़ हो
dmesg कहता है कि वह BAR नहीं दे सकता।
BAR 0: no space for [mem size ...] जैसे संदेश का मतलब है कि allocation फ़ेल हुआ, कार्ड खराब नहीं है।
सबसे पहले Above 4G Decoding जाँचें।
कई GPU और उनमें से एक initialise नहीं होता। यह कई GPU और AI rig वाली नाकामी है। 24GB BAR वाले चार कार्डों को 96GB की 64-bit MMIO space चाहिए, बाकी सब के अलावा, और हर कंज़्यूमर बोर्ड का firmware यह नहीं करेगा। लक्षण यह है कि मशीन दो कार्डों के साथ ठीक है और चार के साथ गिर जाती है।
परफ़ॉर्मेंस गिर गई। NVIDIA पर यह driver का अपना निष्कर्ष हो सकता है, क्योंकि वे इसे हर गेम के हिसाब से इसीलिए चालू करते हैं कि कुछ workload पीछे जाते हैं। बाकियों पर, मान लेने के बजाय दोनों तरह से मापें।
कुछ भी नहीं बदला। उस workload के लिए सबसे संभावित नतीजा जो कभी VRAM में CPU की खिड़की से सीमित था ही नहीं।
बड़े BAR वाला GPU VM में पासथ्रू करना
यह बताने लायक है क्योंकि यह लोगों को चौंकाता है: guest को host का memory map विरासत में नहीं मिलता। VM का firmware अपनी 64-bit MMIO aperture बनाता है, और OVMF का डिफ़ॉल्ट आधुनिक GPU की ज़रूरत से बहुत छोटा है, इसलिए कार्ड या तो initialise नहीं होता या छोटे BAR पर लौट आता है। यह GPU का नहीं, Proxmox और QEMU का विषय है, और यह IOMMU टैक्स वाले लेख में है, साथ में हमेशा Q35 इस्तेमाल करें, i440fx नहीं की machine-type ज़रूरतों के।
संदर्भ
- Intel — Resizable BAR and Intel Arc Graphics — Intel का अपना बयान कि Arc पर अच्छे अनुभव के लिए यह ज़रूरी है, और समर्थित प्लेटफ़ॉर्म की सूची
- NVIDIA — Resizable BAR support for GeForce RTX 30 Series — ज़रूरतें, मापी गई रेंज, और हर गेम की profile वाला तरीका
- AMD — Smart Access Memory — AMD का ब्रांड और प्लेटफ़ॉर्म जोड़ी
- Linux kernel sysfs-bus-pci ABI —
resourceN_resize— bitmap,2 ^ (bit + 20)से आकार, और unbind की शर्तें - ROCm system requirements — PCIe atomics की ज़रूरत, जिसे इससे मिला दिया जाता है