Чому досі це було дорого
VDI, Virtual Desktop Infrastructure, видає повноцінний робочий стіл із дата-центру або хмари, а не з пристрою, що стоїть перед тобою. Користувач входить із ноутбука, тонкого клієнта чи власної машини й отримує знайомий робочий стіл Windows або Linux, де застосунки, файли й обчислення працюють централізовано.
Для команди IT принада в тому, що оновлення, контроль доступу й захист даних відбуваються в одному місці, а люди можуть дістатися до того самого робочого столу звідусіль.
Перешкодою ніколи не був гіпервізор. Нею був GPU.
Ділити один фізичний GPU між кількома робочими столами було територією NVIDIA, а NVIDIA бере гроші за програмне забезпечення vGPU, яке цей поділ робить. Саме через цю ліцензію VDI з апаратним прискоренням графіки здебільшого лишався привілеєм контор із корпоративними бюджетами. Платити щороку за те, щоб увімкнути те, що кремній і так уміє, важко з ентузіазмом.
Intel змінив цю арифметику лінійкою Arc Pro. Ці карти підтримують апаратний поділ через стандартний SR-IOV, а це функція PCIe, а не продукт. Як такий, тут немає сервера ліцензій, немає підписки і немає окремого програмного забезпечення vGPU, яке треба купувати.
Тож я дістав Intel Arc Pro B50, щоб побачити, наскільки чисто він поєднується з Proxmox. Коротка відповідь: механізм працює точно як заявлено, а потім на заваді стала прошивка. Обидві половини нижче.
Слон у кімнаті: спершу потрібен Windows
Перш ніж щось із цього запрацює, карта хоче оновити прошивку. Intel постачає це оновлення всередині інсталятора драйвера для Windows.
Що незручно, бо карту ти купив саме для того, щоб вона працювала під Proxmox.
Є обхід, якому не потрібно нічого, крім Proxmox: зібрати VM з Windows, передати їй всю карту, дати Windows оновити прошивку, а потім повернути карту хосту. Це замкнене коло початкового запуску, і про нього варто знати до того, як плануєш збірку, а не після.
Шукаємо карту
На хості Proxmox знайди її через lspci:
lspci

Ось вона на 03:00.0, показана як Battlemage G21, кремній, що стоїть за Arc Pro B50.
Запиши адресу. Вона знадобиться кілька разів, і разом із картою йде окрема аудіофункція на 04:00.0.
Передаємо всю карту у VM з Windows
Додай карту до VM з Windows як сирий пристрій PCI.
У налаштуваннях обладнання VM це запис PCI Device: 0000:03:00 з pcie=1:

Варто помітити, що ще є в цій VM, бо нічого з цього не випадкове: тип машини Q35, прошивка OVMF, VirtIO SCSI single і TPM для Windows 11. Q35 тут особливо не опційний. Переданий GPU на i440fx з’являється як застарілий пристрій PCI, а це не та форма, яку чекає сучасний графічний драйвер. Про це йдеться в Always Use Q35, Not i440fx.
Завантаж VM і перевір, що Windows бачить карту:

Вона з’являється як Microsoft Basic Display Adapter, бо драйвер ще не встановлено. Це очікуваний стан, і його достатньо. Windows знайшов обладнання.
Оновлюємо прошивку
Візьми свіжий драйвер зі сторінки завантажень Intel для Arc Pro B50.
На момент написання це була версія 32.0.101.8306 (Q4.25), для Windows 11 і Windows 10 22H2:

Встанови його і дай оновленню прошивки відпрацювати як частині процесу, не скасовуючи раніше часу. Цей крок із прошивкою і є єдиною причиною всього цього обхідного шляху.
Коли він завершиться, поверни карту хосту й перезавантаж, щоб вона повністю ініціалізувалася під Proxmox.
Перевіряємо, що SR-IOV на місці
Тепер спитай карту, що вона вміє:
lspci -v

Рядок, що має значення:
Capabilities: [320] Single Root I/O Virtualization (SR-IOV)
Це вся пропозиція в одному рядку виводу lspci, і жодної ліцензії до нього не прив’язано.
Ще три речі в цьому виводі варто прочитати, раз ти вже тут:
Kernel driver in use: xe: карта працює на новішому драйвері Intelxe, а не наi915, і саме він створюватиме віртуальні функції.[420] Physical Resizable BARі[220] Virtual Resizable BAR: карта підтримує BAR змінного розміру, і її віртуальні функції теж. Варто знати, скільки адресного простору це коштує, якщо передаєш кілька з них: див. PCIe Resizable BAR and Modern GPUs.IOMMU group 13: карта сидить у власній групі, а це саме те, що потрібно для чистого passthrough. Чому це важливо, пояснено в статті про податок IOMMU.
Створюємо віртуальні функції при старті
Віртуальні функції не зберігаються. Запит на них це запис у sysfs, тож він має відбуватися при кожному завантаженні.
tmpfiles.d дає охайний спосіб зробити це декларативно, а не прикручувати скрипт до unit-файлу:

Файл робить три речі по черзі.
Створює віртуальні функції, записуючи їхню кількість у sriov_numvfs фізичної функції:
w /sys/devices/pci0000:00/0000:00:01.1/0000:01:00.0/0000:02:01.0/0000:03:00.0/sriov_numvfs - - - - 4
Відв’язує кожну нову функцію від xe, бо драйвер хоста захоплює їх, щойно вони з’являються, а гість не може отримати пристрій, який тримає хост:
w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.1
w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.2
w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.3
w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.4
Прив’язує їх до vfio-pci, і саме це робить їх доступними для передавання:
w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.1
w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.2
w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.3
w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.4
Зверни увагу на адреси: фізична функція це 03:00.0, а віртуальні з’являються як .1 по .4.
Одна деталь про w, яка пояснює порядок і яка вкусить, якщо його переплутати. systemd документує це так: «Write the argument parameter to a file, if the file exists.»
sriov_numvfs існує лише тоді, коли до фізичної функції прив’язався драйвер, а шляхи віртуальних функцій існують лише після того, як цей запис відбувся.
Тож послідовність у файлі не питання стилю. Кожен рядок залежить від того, що попередній уже спрацював.
Чому дві, а не чотири
Драйвер 32.0.101.8306, той, що встановлено вище, несе графічну прошивку BMG__21,1162, і це той реліз, у якому Intel уперше офіційно увімкнув SR-IOV на Arc Pro.
Заявлене Intel значення за замовчуванням для B50 у цьому релізі: дві віртуальні функції, кожна з VF Local Memory BAR на 8 GB.
Тож число тут питання арифметики, а не політики. У B50 16 GB. По 8 GB на віртуальну функцію влазить рівно дві.
Є нюанс, який варто знати, якщо підеш шукати обхід. До появи офіційної підтримки дехто запускав старішу прошивку, яка показувала на B50 12 віртуальних функцій, і відкат на драйвер 32.0.101.6979 повертає цю кількість.
Ці 12 ділили ті самі 16 GB, тож кожна отримувала частку тієї пам’яті, яку отримують мої. Позиція Intel така: дві вибрано свідомо, щоб кожна функція мала достатньо обчислень, місткості й пропускної здатності для передбачуваної поведінки.
Тож обмеження можна посунути, але не тобі. Максимальна кількість VF і розмір VF Local Memory BAR живуть в IFWI, публічного інструмента, щоб змінити будь-що з них, немає, і підтримувана відповідь на поточному стеку: дві.
Скільки робочих столів дає кожна карта
B50 це мала карта в родині, і дві її функції це нижня межа родини. Якщо тобі важлива кількість місць, купуй вище за лінійкою.
SR-IOV уміє вся лінійка Battlemage Arc Pro. Різниця в тому, скільки функцій виріже прошивка, і це йде за пам’яттю:
| Карта | Пам’ять | VF на поточному підтримуваному стеку | Що бачили деінде |
|---|---|---|---|
| Arc Pro B50 | 16 GB | 2, по 8 GB VF BAR кожна: задокументоване Intel значення за замовчуванням | 12 на неофіційній прошивці, через драйвер 32.0.101.6979 |
| Arc Pro B60 | 24 GB | 7 за повідомленнями | 24 на ранній прошивці ASRock, урізано до 7 пізнішою |
| Arc Pro B60 Dual | 2 × 24 GB | 7 на GPU: два GPU, тож 14 з одного слота | як вище; дві половини незалежні |
| Arc Pro B65 | 32 GB | опублікованої кількості не знайдено | немає |
| Arc Pro B70 | 32 GB | 7 за повідомленнями, на прошивці 8517 | 4 на ранішій прошивці |
Задокументовано Intel лише рядок B50. Числа для B60 і B70 це те, що люди повідомляють з lspci, і вони змінювалися не раз. B60 зокрема впав із 24 до 7 після оновлення прошивки, а це таке саме звуження, яке бачив B50.
Схоже, ніхто взагалі не опублікував кількість VF для B65, тож вважай цей рядок невідомим, а не нулем.
З цієї таблиці випливають дві речі, і обидві важать більше за будь-яке окреме число в ній.
Кількість VF це поділ пам’яті, а не властивість кристала. Правило Intel таке: більший VF Local Memory BAR означає менше функцій. Тому карта на 16 GB дає дві, а карти на 32 GB дають сім: шейдери GPU тут нічого не вирішують.
Перевіряй карту, яку збираєшся купити, а не родину. Наявність SR-IOV різнилася між виробниками плат на тому самому чипі: Sparkle B60 Blower спочатку постачався взагалі без видимої можливості й отримав її лише після оновлення прошивки через igsc. Попроси вивід lspci -v саме з цієї моделі або заклади в бюджет оновлення прошивки, перш ніж на щось із цього розраховувати.
Dual B60 це дві карти під одною планкою
Maxsun Arc Pro B60 Dual 48G Turbo найцікавіша з погляду кількості місць, і головне, що треба зрозуміти: 48 GB це не спільний пул.
Це два GPU B60, два кристали BMG-G21, на одній платі, по 24 GB GDDR6 на кожен, і без мосту PCIe між ними. Обидва кристали висять прямо на золотих контактах x16, кожен на PCIe 5.0 x8.
А отже, слот має розділити хост. Карта потребує біфуркації основного слота x16 на x8/x8, а більшість споживчих плат не вмикає цього за замовчуванням. Це налаштування прошивки, яке треба шукати, з тієї ж категорії, що й налаштування IOMMU та ACS, без яких усе це не працює.
Зроби це правильно, і операційна система побачить два окремі GPU, кожен із власною фізичною функцією і власною можливістю SR-IOV. Тож ти отримуєш два набори віртуальних функцій з одного слота, 14 місць, якщо кожен кристал поводиться як одиночний B60, а файл tmpfiles.d вище подвоюється: по одному запису sriov_numvfs на кристал.
Зроби неправильно, і побачиш один GPU, а половина карти буде невидимою.
Варто прямо сказати, чим 48 GB не є: гість, приєднаний до віртуальної функції на першому кристалі, не може дістатися пам’яті другого. Це дві карти по 24 GB в одному фізичному місці, а це саме те, що треба для місць VDI, і саме те, чого не треба для однієї великої моделі.
Отже: якщо двох місць досить, B50 це карта на 70 W, яка з цим упорається. Якщо потрібно сім, плануй навколо B70. Якщо потрібно чотирнадцять і є плата, що вміє біфуркацію, dual B60 дасть це з одного слота.
Чи можна запускати AI на віртуальній функції?
Коротка відповідь: вважай, що це не підтримується. Довша відповідь, бо причина важлива і вона не та, яку ти вгадаєш.
Ці карти продають як карти для AI, і вони не прикидаються. 128 рушіїв XMX у B50 мають пікові 170 TOPS, у B70 367, а програмна історія Intel справжня: vLLM обслуговує моделі від 8B до 120B на Arc Pro серії B, а IPEX-LLM і SYCL-бекенд llama.cpp працюють на них обидва.
Але подивися, як отримано кожен із цих результатів. Власні числа vLLM для Arc Pro отримано з контейнера Docker на голому залізі, на системах із чотирма й вісьмома цілими картами B60, що роблять тензорний паралелізм. Допис Intel жодного разу не згадує SR-IOV чи віртуальні функції.
Ця закономірність трималася скрізь, де я дивився. Intel обмежує сценарії SR-IOV віртуалізованим віддаленим робочим столом, прискоренням графіки гостьової ОС і кодуванням та декодуванням медіа. Обчислень у цьому списку немає, і я не знайшов жодного опублікованого випадку, де хтось запускав інференс LLM у VM, приєднаній до віртуальної функції.
Те, що люди роблять насправді, говорить саме за себе: вони запускають модель у Docker на хості, а віртуальні функції віддають VM під робочі столи. Одна людина, що робить і те, і те одночасно, просто повідомляє, що «VRAM gets pretty tight.»
І це справжня проблема, і вона в арифметиці, а не в підтримці драйверів.
Віртуальна функція отримує фіксований шматок локальної пам’яті: 8 GB на B50, заданий у прошивці. Цей шматок і є жорсткою стелею для ваг разом із KV-кешем у цьому гості, і він не росте від того, що в карти пам’яті більше. Модель 8B у FP16 це близько 16 GB ваг ще до того, як додати хоч трохи контексту, тож вона не влазить у віртуальну функцію B50 на жодному драйвері. Квантуй до Q4, і 8B влізе приблизно в 4 GB, лишивши кілька GB на контекст: це працює, але дуже далеко від того, що карта вміє неподіленою.
Тож два навантаження змагаються за ту саму пам’ять, і поділ вирішено в прошивці ще до того, як будь-яке з них стартує.
Якщо робота це AI, не діли карту. Передай її цілком одній VM, тим самим passthrough hostpci0, що використано для оновлення прошивки раніше в цьому дописі, або запусти контейнер на хості й пропусти віртуалізацію для цього навантаження. Обидва варіанти дають моделі всі 16 GB і весь масив XMX.
Якщо робота це VDI, віртуальні функції правильні, і чекай за кожною з них графіки робочого столу, а не сервера інференсу. Робочі столи з апаратним прискоренням, відтворення відео й кодування працюють. Саме для цього механізм і задокументовано.
Варто сказати прямо: відсутність опублікованих доказів не доводить, що воно не працює. Драйвер xe відкриває обчислення через Level Zero та OpenCL, і цілком можливо, що гість на VF їх нормально піднімає. Але Intel ніде не каже, що це перевірено, ніхто, схоже, не показав, що воно працює, а стеля пам’яті обмежує віддачу, навіть якщо працює. Будувати на цьому план не варто.
Чого це все одно варте
Дві віртуальні функції це два робочі столи Windows з апаратним прискоренням з однієї карти, без ліцензії vGPU, без підписки і без сервера ліцензій. На гіпервізорі, експлуатація якого нічого не коштує. Цього досить, щоб довести, що підхід працює, і це чесна робота для B50. Це низ лінійки.
Для справжнього розгортання VDI я б закладав dual B60.
Чотирнадцять функцій з одного слота, якщо кожен кристал поводиться як одиночний B60, ставлять його на ту саму територію за кількістю місць, що й карти NVIDIA, які продають під це навантаження, за набагато нижчою ціною і без жодного ліцензування на користувача. Остання частина якраз і накопичується. vApps, vPC і RTX vWS від NVIDIA ліцензуються на одночасного користувача, або як річна підписка, або як безстрокова ліцензія, яку треба купувати разом із п’ятирічною підпискою на підтримку й обслуговування. Кожне місце це рядок у рахунку, і він приходить знову. З боку Intel такого рядка немає. Ти купуєш карту.
А в довгій перспективі важить механізм. SR-IOV на GPU це можливість PCIe, а не рівень продукту, тож файл tmpfiles.d просто росте під те, що дозволяє карта.
Форма така: один запис sriov_numvfs, потім unbind і bind для кожної функції, тож дві функції це п’ять рядків, а дев’ять вище це чотири функції, запитані на карті, яка дає дві. Сім функцій це п’ятнадцять рядків. Dual B60 це тридцять, бо кожен кристал є окремою фізичною функцією і отримує власний запис sriov_numvfs.
Більше нічого не змінюється, коли масштабуєш. Сервер ліцензій не з’являється в цьому файлі ніде.
Джерела
- Intel support — why the latest Arc Pro B50 firmware shows 2 SR-IOV VFs — авторитетна заява: SR-IOV офіційно ввімкнено з графічної прошивки
BMG__21,1162у драйвері32.0.101.8306, дві VF з VF Local Memory BAR на 8 GB кожна на B50, а максимальна кількість VF і розмір BAR задаються на рівні IFWI без публічного інструмента для їх зміни - Intel Community — “Why did the latest Intel Arc Pro B50 firmware nerf SR-IOV VFs from 12 to 2?” — неофіційна прошивка з 12 VF, відкат на
32.0.101.6979, що її повертає, і пояснення Intel щодо нижчого значення за замовчуванням - Level1Techs — B60 SR-IOV support in the Arc Pro drivers — польові звіти
lspciдля B60, оновлення прошивки черезigsc, що відкрило можливість, і звідки взялися числа 24, а потім 7 - Level1Techs — B50, B60 or B70 for SR-IOV — повідомлені кількості VF для кожної карти й прошивки, джерело для рядків B70
- ASRock — Intel Arc Pro B65 Creator 32GB — характеристики B65: 32 GB GDDR6, 20 обчислювальних блоків, 160 рушіїв XMX, 256 біт, PCIe 5.0
- MAXSUN — Arc Pro B60 Dual 48G Turbo — власна заява виробника, що карта «uses PCIe 5.0 x8 + x8 interfaces and runs efficiently on consumer platforms that support PCIe x16 lane bifurcation»
- vLLM — Fast and affordable LLM serving on Intel Arc Pro B-Series — історія AI на цих картах і той факт, що це історія Docker на голому залізі з чотирма й вісьмома цілими B60, без згадки про SR-IOV чи віртуальні функції
- Linux kernel — Intel Xe driver — драйвер, який використовує карта, за
lspci -v tmpfiles.d(5)— тип рядкаwі його умова «if the file exists», що диктує порядок, описаний вище- NVIDIA Virtual GPU Software Packaging, Pricing and Licensing Guide — ліцензована альтернатива, якої ця схема уникає: vApps, vPC і RTX vWS продаються на одночасного користувача, як річна підписка або безстрокова ліцензія разом із п’ятьма роками підтримки й обслуговування
- Proxmox VE — PCI(e) Passthrough — вимоги до passthrough з боку хоста