अब तक यह महँगा क्यों रहा
VDI, यानी Virtual Desktop Infrastructure, आपके सामने रखे device के बजाय data centre या cloud से पूरा desktop देता है। User laptop, thin client या अपनी मशीन से sign in करता है, और उसे जाना-पहचाना Windows या Linux desktop मिलता है जिसकी apps, files और processing सब केंद्र में होती हैं।
IT टीम के लिए इसका आकर्षण यह है कि patching, access control और data protection सब एक जगह होते हैं, और लोग कहीं से भी वही desktop खोल सकते हैं।
रुकावट कभी हाइपरवाइज़र नहीं रहा। रुकावट GPU रहा है।
एक physical GPU को कई desktops में बाँटना NVIDIA का इलाका रहा है, और slicing करने वाले vGPU software के लिए NVIDIA पैसा लेता है। इसी licence की वजह से hardware-accelerated graphics वाला VDI ज़्यादातर corporate budget वाली संस्थाओं तक सीमित रहा। जो काम silicon पहले से कर सकता है, उसे चालू करने के लिए सालाना शुल्क देना, इसके लिए उत्साह जुटाना मुश्किल है।
Intel ने Arc Pro line के साथ यह हिसाब बदल दिया। ये cards standard SR-IOV के ज़रिए hardware splitting support करते हैं, जो कोई उत्पाद नहीं, PCIe का एक feature है। इसलिए कोई licence server नहीं, कोई subscription नहीं, और खरीदने के लिए कोई अलग vGPU software नहीं।
तो मैंने एक Intel Arc Pro B50 लिया, यह देखने के लिए कि यह Proxmox के साथ कितनी साफ़ी से जुड़ता है। छोटा जवाब: तरीका ठीक वैसे ही काम करता है जैसा बताया गया है, और फिर firmware बीच में आ गया। दोनों आधे नीचे हैं।
सबसे बड़ी अड़चन: पहले आपको Windows चाहिए
इसमें से कुछ भी काम करे, उससे पहले card अपना firmware update चाहता है। Intel वह update Windows driver installer के अंदर देता है।
यह अटपटा है, क्योंकि card आपने Proxmox के नीचे चलाने के लिए ही खरीदा है।
इसका एक रास्ता है जिसके लिए Proxmox के सिवा कुछ नहीं चाहिए: एक Windows VM बनाइए, पूरा card उसमें pass through कीजिए, Windows को firmware update करने दीजिए, फिर card host को वापस दे दीजिए। यह एक bootstrap loop है, और build की योजना बनाने से पहले इसे जानना बेहतर है, बाद में नहीं।
Card ढूँढना
Proxmox host पर, उसे ढूँढने के लिए lspci:
lspci

यह रहा, 03:00.0 पर, Battlemage G21 के रूप में दिख रहा है, जो Arc Pro B50 के पीछे का silicon है।
पता लिख लीजिए। आपको इसकी कई बार ज़रूरत पड़ेगी, और इसके साथ 04:00.0 पर एक अलग audio function भी आता है।
पूरा card एक Windows VM को देना
Card को एक Windows VM में raw PCI device के रूप में जोड़िए।
VM के hardware में, यह एक PCI Device entry है: pcie=1 के साथ 0000:03:00:

यह भी देखने लायक है कि वह VM और क्या है, क्योंकि इसमें कुछ भी संयोग नहीं है: Q35 machine type, OVMF firmware, VirtIO SCSI single, और Windows 11 के लिए एक TPM। खास तौर पर Q35 इसके लिए वैकल्पिक नहीं है। i440fx पर pass through किया गया GPU एक पुराने PCI device के रूप में दिखता है, जो आधुनिक graphics driver के लिए गलत आकार है। यह Always Use Q35, Not i440fx में समझाया गया है।
VM boot कीजिए और देखिए कि Windows को card दिखता है:

यह Microsoft Basic Display Adapter के रूप में दिखता है क्योंकि अभी कोई driver install नहीं है। यही अपेक्षित स्थिति है, और इतना काफ़ी है। Windows ने हार्डवेयर ढूँढ लिया है।
Firmware update करना
Intel के Arc Pro B50 download page से current driver लीजिए।
इस लेखन के समय वह version 32.0.101.8306 (Q4.25) था, Windows 11 और Windows 10 22H2 के लिए:

इसे install कीजिए, और process के हिस्से के रूप में firmware update को चलने दीजिए, बीच में cancel मत कीजिए। यह पूरा चक्कर उसी firmware step के लिए है।
जब यह पूरा हो जाए, card host को वापस दीजिए और reboot कीजिए, ताकि वह Proxmox के नीचे पूरी तरह फिर से initialise हो।
पक्का करना कि SR-IOV मौजूद है
अब card से पूछिए कि वह क्या कर सकता है:
lspci -v

जो पंक्ति मायने रखती है:
Capabilities: [320] Single Root I/O Virtualization (SR-IOV)
lspci output की एक पंक्ति में पूरी बात है, और उसके साथ कोई licence नहीं जुड़ा।
जब आप वहाँ हैं, तो उस output की तीन और चीज़ें पढ़ने लायक हैं:
Kernel driver in use: xe: cardi915के बजाय Intel के नएxedriver पर है, और virtual functions यही बनाएगा।[420] Physical Resizable BARऔर[220] Virtual Resizable BAR: card resizable BARs support करता है, और उसके virtual functions भी। अगर आप इनमें से कई pass through कर रहे हैं तो यह जानना ज़रूरी है कि इसकी address space में क्या कीमत है: देखिए PCIe Resizable BAR and Modern GPUs।IOMMU group 13: card एक अलग group में अकेला है, और साफ़ passthrough के लिए आप यही चाहते हैं। यह क्यों मायने रखता है, यह IOMMU tax वाले लेख में है।
Boot पर virtual functions बनाना
Virtual functions स्थायी नहीं हैं। उन्हें माँगना sysfs में एक write है, तो यह हर boot पर होना चाहिए।
tmpfiles.d इसे declarative तरीके से करने का साफ़-सुथरा रास्ता है, किसी unit file पर script चिपकाने के बजाय:

File क्रम से तीन काम करती है।
Virtual functions बनाना, physical function के sriov_numvfs में गिनती लिखकर:
w /sys/devices/pci0000:00/0000:00:01.1/0000:01:00.0/0000:02:01.0/0000:03:00.0/sriov_numvfs - - - - 4
हर नए function को xe से unbind करना, क्योंकि host driver उन्हें आते ही अपना लेता है, और guest को वह device नहीं मिल सकता जिसे host पकड़े हुए है:
w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.1
w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.2
w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.3
w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.4
उन्हें vfio-pci से bind करना, जिससे वे pass through के लिए उपलब्ध होते हैं:
w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.1
w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.2
w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.3
w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.4
Addresses पर ध्यान दीजिए: physical function 03:00.0 है और virtual functions .1 से .4 तक आते हैं।
w के बारे में एक बारीकी जो क्रम को समझाती है, और गलत करने पर आपको काटेगी। systemd इसे ऐसे बताता है: “Write the argument parameter to a file, if the file exists.”
sriov_numvfs तभी मौजूद होता है जब कोई driver physical function से bind हो चुका हो, और virtual function के paths तभी मौजूद होते हैं जब वह write हो चुका हो।
तो file में क्रम शैली का मामला नहीं है। हर पंक्ति इस पर निर्भर है कि उससे पहले वाली लागू हो चुकी हो।
चार नहीं, दो क्यों
Driver 32.0.101.8306, यानी ऊपर install किया गया, graphics firmware BMG__21,1162 लाता है, और यही वह release है जिसमें Intel ने पहली बार आधिकारिक रूप से Arc Pro पर SR-IOV चालू किया।
उस release में B50 के लिए Intel का बताया गया default है दो virtual functions, हर एक के साथ 8 GB का VF Local Memory BAR।
इससे यह संख्या नीति नहीं, हिसाब बन जाती है। B50 में 16 GB है। हर virtual function को 8 GB दें, तो बस दो ही आते हैं।
अगर आप कोई workaround ढूँढने निकलें तो एक पेच जानना ज़रूरी है। आधिकारिक support से पहले, कुछ लोग पुराना firmware चलाते थे जो B50 पर 12 virtual functions दिखाता था, और driver 32.0.101.6979 पर लौटने से वह गिनती वापस आ जाती है।
वे 12 उसी 16 GB को बाँटते थे, तो हर एक को मेरे वालों की memory का एक हिस्सा भर मिलता था। Intel का कहना है कि दो जानबूझकर चुने गए, ताकि हर function को इतनी compute, क्षमता और bandwidth मिले कि वह अनुमान के मुताबिक व्यवहार करे।
तो यह सीमा हिल सकती है, लेकिन आपके हाथ से नहीं। अधिकतम VF गिनती और VF Local Memory BAR का आकार IFWI में रहते हैं, दोनों में से किसी को बदलने का कोई public tool नहीं है, और current stack पर supported जवाब दो है।
हर card आपको कितने desktops देता है
B50 परिवार का छोटा card है, और उसके दो functions परिवार का सबसे निचला स्तर हैं। अगर seats की गिनती आपके लिए मायने रखती है, तो range में ऊपर का खरीदिए।
पूरी Battlemage Arc Pro line SR-IOV करती है। फ़र्क इस बात में है कि firmware कितने functions काटेगा, और यह memory के हिसाब से चलता है:
| Card | Memory | current supported stack पर VFs | दूसरी जगह देखा गया |
|---|---|---|---|
| Arc Pro B50 | 16 GB | 2, हर एक 8 GB VF BAR पर: Intel का दस्तावेज़ी default | आधिकारिक से पहले वाले firmware पर 12, driver 32.0.101.6979 के ज़रिए |
| Arc Pro B60 | 24 GB | 7 बताए गए | शुरुआती ASRock firmware पर 24, बाद वाले ने घटाकर 7 किया |
| Arc Pro B60 Dual | 2 × 24 GB | हर GPU पर 7: दो GPUs, यानी एक slot से 14 | ऊपर जैसा; दोनों आधे स्वतंत्र हैं |
| Arc Pro B65 | 32 GB | कोई प्रकाशित गिनती नहीं मिली | कुछ नहीं |
| Arc Pro B70 | 32 GB | firmware 8517 पर 7 बताए गए | पहले के firmware पर 4 |
सिर्फ़ B50 वाली पंक्ति Intel की दस्तावेज़ी है। B60 और B70 के आँकड़े वे हैं जो लोग lspci से बताते हैं, और ये एक से ज़्यादा बार बदले हैं। खास तौर पर B60 एक firmware update में 24 से 7 पर आ गया, जो उसी तरह का सिकुड़ना है जैसा B50 ने देखा।
B65 के लिए किसी ने VF गिनती प्रकाशित ही नहीं की लगती, तो उस पंक्ति को शून्य नहीं, अज्ञात मानिए।
उस तालिका से दो बातें निकलती हैं, और दोनों उसकी किसी भी एक संख्या से ज़्यादा मायने रखती हैं।
VF गिनती memory का बँटवारा है, die का feature नहीं। Intel का नियम है कि बड़ा VF Local Memory BAR मतलब कम functions। इसीलिए 16 GB वाला card दो देता है और 32 GB वाले cards सात: GPU के shaders की कोई बात इसे तय नहीं करती।
जो card आप खरीदने वाले हैं उसे जाँचिए, परिवार को नहीं। एक ही chip पर अलग board vendors के बीच SR-IOV की मौजूदगी बदलती रही है: Sparkle का B60 Blower शुरू में बिना दिखने वाली capability के आया और उसे वह igsc firmware update के बाद ही मिली। ठीक उसी model का lspci -v output माँगिए, या इनमें से किसी पर भरोसा करने से पहले firmware update का बजट रखिए।
Dual B60 एक bracket में दो cards है
Seats की गिनती के लिए Maxsun का Arc Pro B60 Dual 48G Turbo दिलचस्प है, और समझने वाली बात यह है कि 48 GB कोई pool नहीं है।
यह एक board पर दो B60 GPUs हैं, दो BMG-G21 dies, हर एक से 24 GB GDDR6 जुड़ा हुआ, और उनके बीच कोई PCIe bridge chip नहीं। दोनों dies सीधे x16 gold fingers से जुड़े हैं, हर एक PCIe 5.0 x8 पर।
मतलब host को आपके लिए slot बाँटना पड़ता है। Card को primary x16 slot x8/x8 में bifurcated चाहिए, और ज़्यादातर consumer boards इसे default से चालू नहीं करते। यह एक firmware setting है जिसे आपको ढूँढना पड़ता है, उसी श्रेणी में जिसमें IOMMU और ACS settings हैं जो इस सब के लिए चाहिए।
यह सही हो तो operating system को दो अलग GPUs दिखते हैं, हर एक का अपना physical function और अपनी SR-IOV capability। तो आपको एक slot से virtual functions के दो सेट मिलते हैं, अगर हर die एक अकेले B60 की तरह व्यवहार करे तो 14 seats, और ऊपर वाली tmpfiles.d file दोगुनी हो जाती है, हर die के लिए एक sriov_numvfs write।
यह गलत हो तो आपको एक GPU दिखता है और आधा card अदृश्य रहता है।
यह साफ़ कहना ज़रूरी है कि 48 GB क्या नहीं है: पहले die के virtual function से जुड़ा guest दूसरे die की memory तक नहीं पहुँच सकता। यह एक physical जगह में दो 24 GB cards हैं, जो VDI seats के लिए ठीक वही है जो आप चाहते हैं और एक बड़े model के लिए ठीक वही जो आप नहीं चाहते।
तो: अगर दो seats काफ़ी हैं, तो B50 एक 70 W card है जो यह कर देगा। अगर आपको सात चाहिए, तो B70 के आसपास योजना बनाइए। अगर आपको चौदह चाहिए और आपके पास ऐसा board है जो bifurcate करेगा, तो dual B60 आपको एक slot में वहाँ पहुँचा देता है।
क्या आप virtual function पर AI चला सकते हैं?
छोटा जवाब: इसे unsupported मानिए। लंबा जवाब, क्योंकि वजह मायने रखती है और वह वह नहीं है जिसका आप अंदाज़ा लगाएँगे।
ये AI cards के रूप में बेचे जाते हैं और दिखावा नहीं कर रहे। B50 के 128 XMX engines 170 peak TOPS पर rated हैं, B70 367 पर, और Intel की software कहानी असली है: vLLM Arc Pro B-series पर 8B से 120B तक के models serve करता है, और IPEX-LLM और llama.cpp का SYCL backend दोनों इन पर चलते हैं।
लेकिन देखिए कि उनमें से हर नतीजा कैसे बनता है। vLLM के अपने Arc Pro आँकड़े bare metal पर एक Docker container से आते हैं, ऐसे सिस्टमों पर जिनमें चार और आठ पूरे B60 cards tensor parallelism कर रहे हैं। Intel की post SR-IOV या virtual functions का एक बार भी ज़िक्र नहीं करती।
मैंने जहाँ भी देखा, यही ढर्रा मिला। Intel SR-IOV के use cases को virtualised remote desktop, guest OS graphics acceleration, और media encode और decode तक सीमित रखता है। Compute उस सूची में नहीं है, और मुझे एक भी प्रकाशित मामला नहीं मिला जिसमें किसी ने virtual function से जुड़ी VM के अंदर LLM inference चलाया हो।
लोग असल में जो करते हैं, वह बहुत कुछ कहता है: वे model को Docker में host पर चलाते हैं, और desktops के लिए VMs को virtual functions देते हैं। दोनों एक साथ करने वाला एक व्यक्ति बस इतना बताता है कि “VRAM gets pretty tight.”
असली समस्या यही है, और यह driver support का नहीं, हिसाब का मामला है।
एक virtual function को local memory का एक तय हिस्सा मिलता है: B50 पर 8 GB, firmware में तय। वह हिस्सा उस guest में weights और KV cache की पक्की छत है, और card में ज़्यादा होने से वह नहीं बढ़ता। FP16 पर एक 8B model में कोई context जोड़ने से पहले ही लगभग 16 GB weights हैं, तो वह किसी भी driver पर B50 के virtual function में नहीं समाता। Q4 पर quantise करें तो 8B लगभग 4 GB में आ जाता है, context के लिए कुछ GB बचते हैं: यह चलता है, लेकिन यह उससे बहुत दूर है जो card बिना बँटे कर सकता है।
तो दोनों workloads एक ही memory के लिए होड़ करते हैं, और बँटवारा firmware में उनमें से किसी के शुरू होने से पहले तय हो जाता है।
अगर काम AI है, तो card मत बाँटिए। पूरा card एक VM को pass through कीजिए, वही hostpci0 passthrough जो इस post में पहले firmware update के लिए इस्तेमाल हुआ, या container को host पर चलाइए और उस workload के लिए virtualisation छोड़ दीजिए। दोनों model को पूरे 16 GB और पूरी XMX array देते हैं।
अगर काम VDI है, तो virtual functions सही हैं, और हर एक के पीछे inference server नहीं, desktop graphics की उम्मीद रखिए। Hardware-accelerated desktops, video playback और encode काम करते हैं। यह तरीका इसी के लिए दस्तावेज़ी है।
साफ़ कहना ज़रूरी है: प्रकाशित सबूत का न होना यह साबित नहीं करता कि यह fail होता है। xe driver Level Zero और OpenCL के ज़रिए compute देता है, और यह पूरी तरह संभव है कि VF वाला guest उन्हें ठीक से चालू कर ले। लेकिन Intel की कोई बात नहीं कहती कि यह validated है, किसी ने इसे चलता हुआ नहीं दिखाया लगता, और अगर चले भी तो memory की छत फ़ायदे को सीमित कर देती है। इस पर योजना नहीं बनानी चाहिए।
इसकी अब भी क्या कीमत है
दो virtual functions मतलब एक card से दो hardware-accelerated Windows desktops, बिना vGPU licence, बिना subscription और बिना licence server के। ऐसे हाइपरवाइज़र पर जिसे चलाने में कुछ खर्च नहीं। तरीका काम करता है, यह साबित करने के लिए इतना काफ़ी है, और B50 का ईमानदार काम यही है। यह range का सबसे निचला सिरा है।
असली VDI deployment के लिए मैं dual B60 specify करूँगा।
एक slot से चौदह functions, अगर हर die एक अकेले B60 की तरह व्यवहार करे, इसे seats की गिनती में उसी इलाके में रखता है जिसमें इस workload के लिए बिकने वाले NVIDIA cards हैं, बहुत कम कीमत पर, और हर user के हिसाब से licence करने को कुछ नहीं। वही आखिरी हिस्सा है जो जुड़ता जाता है। NVIDIA के vApps, vPC और RTX vWS सब हर concurrent user के हिसाब से licensed हैं, या तो सालाना subscription के रूप में, या perpetual licence के रूप में जिसे पाँच साल के support और maintenance subscription के साथ खरीदना पड़ता है। हर seat एक line item है, और वह फिर-फिर आता है। Intel की तरफ़ ऐसी कोई line नहीं है। आप card खरीदते हैं।
और लंबे समय में मायने रखने वाला हिस्सा तरीका है। GPU पर SR-IOV एक PCIe capability है, कोई product tier नहीं, तो tmpfiles.d file बस उतनी बढ़ती है जितना card इजाज़त देता है।
ढाँचा है एक sriov_numvfs write, फिर हर function के लिए एक unbind और एक bind: तो दो functions पाँच पंक्तियाँ हैं, और ऊपर की नौ पंक्तियाँ उस card पर माँगे गए चार functions हैं जो दो देता है। सात functions पंद्रह पंक्तियाँ हैं। Dual B60 तीस है, क्योंकि हर die अपना physical function है और उसे अपना sriov_numvfs write मिलता है।
इसे बढ़ाते हुए और कुछ नहीं बदलता। उस file में किसी भी जगह licence server नहीं आता।
संदर्भ
- Intel support — why the latest Arc Pro B50 firmware shows 2 SR-IOV VFs — आधिकारिक बयान: driver
32.0.101.8306में graphics firmwareBMG__21,1162से SR-IOV आधिकारिक रूप से चालू, B50 पर हर एक 8 GB VF Local Memory BAR के साथ दो VFs, और अधिकतम VF गिनती और BAR आकार IFWI स्तर पर तय, जिन्हें बदलने का कोई public tool नहीं - Intel Community — “Why did the latest Intel Arc Pro B50 firmware nerf SR-IOV VFs from 12 to 2?” — 12-VF वाला आधिकारिक से पहले का firmware, उसे वापस लाने वाला
32.0.101.6979rollback, और कम default के लिए Intel का तर्क - Level1Techs — B60 SR-IOV support in the Arc Pro drivers — B60 के लिए field से
lspcireports, capability दिखाने वालाigscfirmware update, और 24 के बाद 7 वाले आँकड़े कहाँ से आए - Level1Techs — B50, B60 or B70 for SR-IOV — हर card और हर firmware पर बताई गई VF गिनती, B70 वाली पंक्तियों का स्रोत
- ASRock — Intel Arc Pro B65 Creator 32GB — B65 के specifications: 32 GB GDDR6, 20 compute units, 160 XMX engines, 256-bit, PCIe 5.0
- MAXSUN — Arc Pro B60 Dual 48G Turbo — vendor का अपना बयान कि card “uses PCIe 5.0 x8 + x8 interfaces and runs efficiently on consumer platforms that support PCIe x16 lane bifurcation”
- vLLM — Fast and affordable LLM serving on Intel Arc Pro B-Series — इन cards पर AI की कहानी, और यह तथ्य कि यह चार और आठ पूरे B60s पर bare metal पर Docker की कहानी है, SR-IOV या virtual functions का कोई ज़िक्र नहीं
- Linux kernel — Intel Xe driver —
lspci -vके मुताबिक card पर इस्तेमाल हो रहा driver tmpfiles.d(5)—wline type, और उसकी “if the file exists” शर्त जो ऊपर का क्रम तय करती है- NVIDIA Virtual GPU Software Packaging, Pricing and Licensing Guide — licensed विकल्प जिससे यह design बचता है: vApps, vPC और RTX vWS सब हर concurrent user के हिसाब से बिकते हैं, सालाना subscription के रूप में या पाँच साल के support और maintenance के साथ बँधे perpetual licence के रूप में
- Proxmox VE — PCI(e) Passthrough — host की तरफ़ passthrough की ज़रूरतें