50 TOPS, які нічого не роблять

Кожен ноутбук з Ryzen AI, проданий за останні два роки, має всередині нейропроцесор (Neural Processing Unit, NPU), шматок кремнію, створений ні для чого, крім математики, на якій стоять моделі AI. У моєму, ThinkPad з Ryzen AI 7 PRO 350, AMD оцінює його до 50 TOPS, трильйонів операцій за секунду1. Ти за нього заплатив. На стандартному встановленні Linux він не робить нічого.

Цього року це змінилося. Після налаштування NPU крутить мовну модель на 4 мільярди параметрів за вікном чату, плюс розпізнавання мовлення, усе на ноутбуці, без облікового запису, без підписки і без того, щоб щось покидало машину, а для всього, що ти волів би не вводити на чужому сайті, саме в цьому й суть. Увесь чип споживає близько 21 Вт, поки відповідає, а в простої менше 9 Вт.

Що працюєДеАдреса
Qwen 3.5 4B, контекст 256k токенівNPU, у контейнеріhttp://[::1]:52625/v1
Розпізнавання мовлення: Whisper від OpenAI, whisper-v3:turboNPU, той самий контейнерта сама, /audio/transcriptions
Open WebUI, сторінка чатуCPU, у контейнеріhttp://[::1]:3000
драйвер ядра amdxdna, мікропрограмахост/dev/accel/accel0

Збирання визначили два правила. На хост ідуть тільки драйвер ядра та його мікропрограма; кожен фреймворк для моделей працює в rootless-контейнері podman. І кожен сервіс слухає тільки на петлі IPv6, на IPv4 нічого взагалі. Обидва виявилися меншою роботою, ніж робити все абияк, і обидва зловили проблеми, які інакше я б випустив.

Що для цього треба на Linux

NPU в цьому чипі належить до другого покоління AMD, XDNA2. Це важливо, бо програми, що запускають на ньому мовні моделі, підтримують частини з XDNA2 (серії Ryzen AI 300 і 400, Strix Halo), а не перше покоління в Ryzen 7040 і 80402. Перевір свій, перш ніж починати:

$ lspci -nn | grep -i 'neural\|signal processing'
c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20)

Між цим пристроєм і відповіддю в чаті стоять чотири шари, і поділ між хостом і контейнером і є весь задум:

ШарЩо цеДе живе
amdxdnaдрайвер ядра, створює /dev/accel/accel03хост, через DKMS
мікропрограма NPUnpu_7.sbin, 1.1.2.64 на цьому чипіхост, з linux-firmware
XRT + плагін amdxdnaбібліотека середовища виконання AMD і її бекенд для NPUконтейнер
FastFlowLMсередовище виконання LLM, разом з ядрами для NPUконтейнер
Що живе на хості, а що в контейнеріRootless podman, перезбираю коли завгодноOpen WebUIсторінка чату, на CPU[::1]:3000FastFlowLM[::1]:52625XRT + плагін NPUпід коміт драйвераХост: модуль ядра і мікропрограма, більше нічогоНі XRT, ні рушія, ні моделей.Лише один вузол пристроюпереходить у контейнер.модуль amdxdna, збирає DKMSnpu_7.sbinNPU XDNA2/dev/accel/accel0
Поділ. Усе, що часто змінюється, живе в контейнері; хост тримає модуль ядра і його мікропрограму, а через межу передається лише один вузол пристрою.

Ядро 7.x постачає amdxdna у дереві, але AMD спершу розробляє його у власному репозиторії, і плагін простору користувача має відповідати модулю ядра, з яким говорить4. Розрив між ними чималий. На цьому ноутбуці:

У дереві, Fedora 7.2.15 і 7.3.3Поза деревом, amd/xdna-driver на 24dfd686
Інтерфейс драйвера0.1050.19
Версія модулянемає2.27.0_20261113
PCI ID NPU, які він бере68
Файли мікропрограми, які він просить759
Мікропрограма, яку вантажить цей чип17f0_10/npu_7.sbin, 1.1.2.64той самий файл

Дев’ять версій інтерфейсу різниці, і Linux 7.3, найновіший випуск, досі несе 0.10. Єдине, у чому вони згодні, це мікропрограма, і вона приходить з linux-firmware від Fedora, а не з жодного з драйверів. Тож я збираю обидві половини з одного коміту amd/xdna-driver, кладу модуль на хост, а відповідний простір користувача запікаю в образ.

Драйвер: збери все, залиш тільки шматок для ядра

amd/xdna-driver несе XRT як git-підмодуль, і збирання дає RPM для XRT і пакет плагіна. Пакет плагіна також несе вихідний код драйвера, який реєструє в DKMS (Dynamic Kernel Module Support, штука, що перезбирає модуль під кожне нове ядро). Нічого складного:

git clone --recursive https://github.com/amd/xdna-driver.git && cd xdna-driver
sudo ./tools/amdxdna_deps.sh
(cd xrt/build && ./build.sh -npu -opt)    # XRT RPMs in xrt/build/Release/
(cd build && ./build.sh -release)         # plugin RPM, driver source inside

На Fedora 45 скрипт залежностей завершується помилкою. Не зважай:

Він проситьЩо відбуваєтьсяЧи важливо?
protobuf-develконфліктує з установленим protobuf3-compilerні, без нього XRT лише пропускає інструмент трасування
redhat-lsbтакого пакета немає, Fedora його прибралані
усе іншеуже встановлено

Останній позначений тегом випуск там з лютого, тож main і є каналом випусків. Я перейшов з травневої збірки на листопадову: 550 комітів, XRT з 2.23 до 2.27.

Оновлення видаляє драйвер, який щойно встановило

Моя перша спроба оновлення забрала модуль зовсім. RPM запускає скрипт встановлення нового пакета, який збирає і реєструє новий драйвер у DKMS, а потім запускає скрипт видалення старого пакета. Той скрипт видалення читає версію драйвера з файлу, який новий пакет уже перезаписав, тож скасовує реєстрацію щойно встановленої версії. Вивід dnf каже це двома рядками, один за одним:

>>> Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0
>>> Removing driver source: xrt-amdxdna/2.27.0...

Ніщо не впало, ніщо не почервоніло, і наступне завантаження тихенько підхопило б те, що постачалося з ядром. Можна спитати, чому скрипт видалення запускається під час оновлення, не перевіривши, чи це оновлення? RPM передає цю відповідь кожному скриптлету першим аргументом. Це один if.

Як оновлення RPM знімає драйвер, який щойно встановилоОдне оновлення dnf, у порядку, як його виконує RPMновий %postзбирає 2.27,реєструє в DKMS2.27 у DKMSнові файлифайл версіїтепер каже 2.272.27 у DKMSстарий %preunчитає той файл,знімає 2.272.27 немаєнаступний стартмодуль із деревавантажиться мовчкине твоя збіркаУ DKMS:Рішення: одна перевірка. Скриптлет %preun отримує $1 = 1 при оновленні і $1 = 0 при видаленні.Знімати щось має лише видалення.
Порядок, у якому RPM виконує оновлення. Новий пакет реєструє свій драйвер, потім старий пакет скасовує реєстрацію того, що названо в спільному файлі версії, а там на той момент уже нова.

Через це ж хост тепер не отримує RPM узагалі. Вихідний код драйвера лежить архівом усередині пакета плагіна, тож я витягаю його і віддаю DKMS напряму:

T=$(mktemp -d) && rpm2cpio xrt_plugin*.rpm | (cd $T && cpio -idm --quiet)
D=$T/opt/xilinx/xrt/share/amdxdna
sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0
sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0
sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/
sudo dkms install xrt-amdxdna/2.27.0
sudo modprobe -r amdxdna; sudo modprobe amdxdna

Без перезавантаження. Це Linux, і на цей момент ніщо не тримає пристрій відкритим, тож модуль міняється наживо. Далі DKMS перезбирає його для кожного ядра, яке встановлює dnf; коли прийшло 7.3.3, модуль був зібраний ще до того, як я в нього перезавантажився.

Драйвер іде в DKMS напрямуВід пакета до завантаженого модуля, не встановлюючи пакетRPM плагінакод драйвералежить архівом/usr/srcархів розпаковано,dkms.conf поручdkms installзбирає модульдля цього ядраmodprobe -rпотім modprobe:наживо, без рестартуdnf ставить нове ядроDKMS перезбирає до перезавантаження в ньогоrpm2cpio витягає архів.Хост ніколи не отримує RPM,тож скрипти пакета там не запускаються.
Драйвер іде з пакета в DKMS, а сам пакет так і не встановлюється, тож на хості не запускається жоден скрипт пакування.

Перевір, що завантажилася саме збірка DKMS, а не та, що в дереві, і що мікропрограма досить нова. FastFlowLM хоче 1.1.0.0 або новішу2:

$ modinfo -F filename amdxdna
/lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz
$ cat /sys/bus/pci/drivers/amdxdna/*/fw_version
1.1.2.64
$ journalctl -k | grep 'Initialized amdxdna'
[drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0

DKMS не видаляє власний модуль ядра, а відсуває його вбік, у /var/lib/dkms/xrt-amdxdna/original_module/, тож якщо прибрати збірку DKMS, він повернеться на місце.

І ще одне, чого не чіпай: amd_iommu=off у командному рядку ядра вимикає NPU2.

FastFlowLM у контейнері

FastFlowLM є середовищем виконання, яке робить NPU корисним для мовних моделей. Це командний рядок у стилі Ollama і сервер, сумісний з OpenAI, написаний під XDNA2, і цього року він перейшов в організацію ROCm від AMD6. Саме середовище під ліцензією MIT. Ядра для NPU, які він постачає, закриті бінарні файли, які можна вільно використовувати й поширювати без змін7. Я б волів, щоб вони були відкриті, і кажу це прямо, але вони лежать у репозиторії, і нічого не треба тягнути звідкись іще.

Образ складається з трьох стадій на Fedora 45: XRT зі збирання драйвера, FastFlowLM, скомпільований проти нього, а потім середовище виконання лише з тим, що потрібно. Частина, яка має значення:

FROM registry.fedoraproject.org/fedora:45 AS xrt
ARG XDNA_COMMIT
COPY dist/xdna-${XDNA_COMMIT}/ /rpms/
RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \
 && rpm -i --noscripts --nodeps --nosignature \
        --excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \
        /rpms/xrt_plugin*.rpm \
 && echo /opt/xilinx/xrt/lib64 > /etc/ld.so.conf.d/xrt.conf && ldconfig

Кожен із цих прапорців там тому, що без нього щось ламалося:

ПроблемаРішення
Скрипти плагіна збирають модуль ядра, а йому місце на хості--noscripts, і вихідний код драйвера та мікропрограма виключені
RPM 6 у Fedora 45 за замовчуванням вимагає перевірки підписів8, а самостійно зібраний RPM не підписаний--nosignature: я його зібрав, я знаю, звідки він
Бібліотеки XRT лежать у lib64, якого немає в шляху лінкера/etc/ld.so.conf.d/xrt.conf усередині образу
FastFlowLM шукає XRT через pkg-config, а setup.sh від XRT не задає шляхPKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig на стадії збирання

Готовий образ важить 609 МБ, а його тег несе коміт драйвера, fastflowlm:v1.0.12-xdna24dfd686. Перевірка стану порівнює його з комітом, який повідомляє завантажений модуль, і падає, якщо вони різні. Образ, зібраний не під той драйвер, є єдиною несправністю тут, яку справді важко діагностувати, тож її ловлять раніше, ніж вона туди дійде.

Як збирається і перевіряється образ FastFlowLMТри стадії на Fedora 45стадія 1: xrtRPM XRT і плагіна,без скриптів і прошивкистадія 2: buildFastFlowLM зібранопроти цього XRTстадія 3: runtimeлише потрібне,609 МБПеревірка стану: образ і хост мають збігатисятег образу кажеv1.0.12-xdna24dfd686=завантажений модуль каже24dfd686Різні: unhealthy, ще до того, як щось заплутається.
Три стадії збирання і перевірка стану, що прив’язує образ до драйвера, під який його зібрано.

Контейнер отримує один пристрій, NPU, і ліміт блокування пам’яті, потрібний FastFlowLM, щоб закріпити свої буфери:

podman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \
  localhost/fastflowlm:v1.0.12-xdna24dfd686 validate
[Linux]  NPU: /dev/accel/accel0 with 8 columns
[Linux]  NPU FW Version: 1.1.2.64
[Linux]  Memlock Limit: infinity

Власний самотест AMD, xrt-smi validate, показав для NPU 51 TOPS на множенні матриць. Це ті 50 з коробки, і вони таки є.

Запуск під час старту, тільки на IPv6

Quadlet перетворює короткий файл .container на сервіс systemd9. Як користувацький юніт він працює без root, від мого імені, а з увімкненим lingering стартує під час завантаження, навіть коли ніхто не ввійшов10:

[Unit]
Description=FastFlowLM NPU server
ConditionPathExists=/dev/accel/accel0

[Container]
Image=localhost/fastflowlm:v1.0.12-xdna24dfd686
AddDevice=/dev/accel/accel0
Ulimit=memlock=-1:-1
Network=host
Volume=%h/.config/flm:/models:Z
Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo
StopSignal=SIGINT

[Install]
WantedBy=default.target
loginctl enable-linger $USER
cp fastflowlm.container ~/.config/containers/systemd/
systemctl --user daemon-reload && systemctl --user start fastflowlm

-c 262144 задає вікно контексту, а тест контексту нижче пояснює, чому воно таке велике. -a whisper-v3:turbo завантажує другу модель поруч із моделлю чату, ту, що перетворює мовлення на текст; вона має окремий розділ.

Три рядки там я вивчив на власних ґулях:

РядокБез нього
StopSignal=SIGINTFastFlowLM ігнорує SIGTERM, сигнал зупинки podman, і його вбивають через десять секунд
--host ::1він слухає на 127.0.0.1, IPv4
::1, а не [::1]форма в дужках не розбирається; дужкам місце всередині URL

Доведи адресу, а не вір їй:

$ ss -ltn 'sport = :52625'
LISTEN 0  4096  [::1]:52625  [::]:*
$ curl -s http://127.0.0.1:52625/v1/models || echo refused
refused

localhost і далі працює для всього, що розв’язує його спершу в ::1, а так роблять і /etc/hosts у Fedora, і Chrome.

Порядок старту і єдині адреси, що відповідаютьСтартує із системоюменеджер користувачаloginctl enable-lingerQuadletфайл .container у сервісдва сервіси користувачаfastflowlm, open-webuiХто до нього дістанетьсябраузерOpen WebUI[::1]:3000FastFlowLM[::1]:52625127.0.0.1відмоваNPU
Lingering запускає менеджер користувача під час завантаження, Quadlet створює сервіси, і кожна адреса, що відповідає, стоїть на петлі IPv6.

Що воно вміє, у вимірах

Дев’ять моделей через власний бенчмарк FastFlowLM; декодування означає швидкість, з якою тече відповідь:

МодельДекодування, контекст 1kДекодування, контекст 8kЧитання промпту, 8k
llama3.2:1b77 ток/с56 ток/с2009 ток/с
qwen3.5:2b32291533
llama3.2:3b3020857
phi4-mini-it:4b2517744
qwen3:4b2315613
qwen3.5:4b1715657
gemma4-it:e4b1412642
qwen3:8b1310418
qwen3.5:9b1110451
Швидкість декодування за моделями, проти темпу читанняДекодування з контекстом 1k, токенів за секундутемп читання, від 5 до 8 токенів за секундуllama3.2:1b77qwen3.5:2b32llama3.2:3b30phi4-mini-it:4b25qwen3:4b23qwen3.5:4b17 я запускаю цюgemma4-it:e4b14qwen3:8b13qwen3.5:9b11
Декодування з контекстом 1k. Кожна модель випереджає темп читання; коли модель удвічі більша, швидкість приблизно вдвічі менша.

Людина читає зі швидкістю п’ять-вісім токенів за секунду, тож кожна з них іде попереду тебе. Декодування приблизно падає вдвічі щоразу, коли модель подвоюється, а саме цього й чекаєш, коли межу ставить пропускна здатність пам’яті, а не обчислення. Я запускаю qwen3.5:4b. Phi-4 mini швидша, але Qwen 3.5 тримає швидкість, коли розмова росте, працює із зображеннями і викликами інструментів і має кеш промптів, який рятує від перечитування всієї історії на кожному ході. Це й вирішує.

256 000 токенів контексту

Qwen 3.5 зроблено під вікно на 262 144 токени11, а FastFlowLM за замовчуванням ставить 32 768. За цією межею він робить дещо, про що варто знати: пише в журнал Max length reached, stopping prefilling і закриває з’єднання без відповіді і без помилки, тож вікно чату стоїть з порожньою відповіддю, а ти гадаєш, що впало: модель, сервер чи браузер.

Тож я підняв його через -c 262144 і перевірив як слід. Код, захований у першому рядку промпту на 232 250 токенів, це приблизно 175 000 слів, і запит на нього в самому кінці:

Контекст 8kКонтекст 232k
Відповідьправильнаправильна, AMBER-FALCON-7731
Читання промпту657 ток/с210 ток/с
Очікування першого слова12 секунд18,4 хвилини
Декодування15 ток/с2,4 ток/с
Зарезервована пам’ять~5 ГБ~12,7 ГБ

Працює. Повільно. І пам’ять резервується, користуєшся ти вікном чи ні. Маючи в машині 90 ГБ, я заплачу цю ціну, щоб довга вставка отримала відповідь, а не тихо зникла.

Чи може допомогти GPU?

У тому самому чипі є Radeon 860M, тож очевидне питання: чи може вона взяти частину навантаження. Розділити одну модель між NPU і GPU, читаючи промпт на одному і пишучи відповідь на іншому, сьогодні не вміє жодне середовище на Linux. А от запустити друге середовище на GPU можна, тож я це виміряв.

«Ефективно» тут означає швидкість і енергію разом. Драйвер amdgpu без root показує потужність пакета для всього чипа, а драйвер amdxdna окремо показує NPU, тож кожен запуск нижче знімався чотири рази на секунду. Скрізь та сама модель у 4 бітах.

З тих середовищ для GPU, які я дивився, запрацювало одне:

СередовищеРезультат на 860M
llama.cpp, бекенд Vulkan12працює; образ 881 МБ
llama.cpp, бекенд ROCmбачить GPU, потім падає з segfault на першій же роботі, з підміною версії GPU чи без неї; образ 23 ГБ
MLC-LLM, Vulkan13його компілятор падає з segfault, збираючи архітектуру Qwen 3.5
vLLM, SGLangне пробував: створені для GPU в дата-центрах і багатьох користувачів, а не для вбудованої GPU на 8 блоків

І NPU проти того, що запрацювало:

Qwen 3.5 4BNPU, FastFlowLMGPU, llama.cpp Vulkan
Простій, модель завантажена8,6 Вт16,0 Вт, проти 9,7 Вт, коли зупинено
Читання промпту, ~6k токенів557 ток/с при 23,8 Вт411 ток/с при 46,1 Вт
Енергія на токен промпту0,043 Дж0,112 Дж
Декодування18,2 ток/с при 21,0 Вт23,5 ток/с при 40,7 Вт
Енергія на згенерований токен1,16 Дж1,73 Дж
NPU проти GPU, та сама модельNPU, FastFlowLMGPU Radeon 860M, llama.cpp Vulkanенергія на токен промптуменше краще0,043 Дж0,112 Дженергія на токен відповідіменше краще1,16 Дж1,73 Джпростій, модель завантаженаменше краще8,6 Вт16,0 Втшвидкість декодуваннябільше краще18,2 ток/с23,5 ток/с
Та сама модель, обидва прискорювачі, кожен стовпчик відміряно від більшого у своїй парі. GPU відповідає швидше; NPU витрачає менше енергії на все інше.

GPU пише відповіді приблизно на 29 % швидше. І палить на це вдвічі більше потужності. NPU читає промпти швидше і менш ніж за половину енергії. Більше число видно в простої: сервер на GPU, завантажений і бездіяльний, коштує 6,3 Вт понад ту саму машину, де він зупинений, і так цілий день. Запуск обох одночасно опустив NPU з 18,2 до 14,2 токена за секунду, а GPU з 23,5 до 13,9, бо вони ділять ту саму пам’ять. Тож контейнер для GPU існує, але я запускаю його, коли мені потрібна друга модель, і під час старту він не вмикається.

Сам NPU в кожному запуску брав менше 2 Вт. Більшість із тих 21 Вт забирають CPU і пам’ять, що його годують. Ось стеля, за якою варто стежити в майбутніх випусках FastFlowLM.

Розпізнавання мовлення теж на NPU

Whisper є моделлю розпізнавання мовлення від OpenAI: на вході звук, на виході текст, 99 мов, і випущена під ліцензією MIT, тож працює будь-де, нікого не питаючи14. Large-v3 є поточною повнорозмірною версією. Turbo є тією самою моделлю, у якої декодер, половину, що виписує текст, урізано з 32 шарів до 4. Картка моделі описує цей обмін прямо: «way faster, at the expense of a minor quality degradation». На 809 мільйонах параметрів вона вп’ятеро менша за модель чату.

FastFlowLM постачає її вже перетвореною для NPU як whisper-v3:turbo, завантаження на 623 МБ, і вантажить поруч із моделлю чату через -a whisper-v3:turbo. Сам по собі Whisper він не віддаватиме; має бути завантажена ще й модель чату. Звук іде на стандартну кінцеву точку транскрипції OpenAI, і текст повертається.

19,6 секунди мовлення
Перший запит, завантаження Whisper6,2 с
Після цього2,0 с, приблизно вдесятеро швидше за реальний час
Потужність усього чипа~24,7 Вт
Точністькожне слово правильно

Щоправда, написано американським фальшивим правописом: «color» і «program». API Whisper приймає prompt, і промпту, написаного справжнім британським правописом, англійською Англії, звідки ця мова походить, досить, щоб це виправити:

curl -s 'http://[::1]:52625/v1/audio/transcriptions' -F file=@speech.wav \
  -F model=whisper-v3:turbo -F language=en \
  -F 'prompt=British English spelling: colour, programme, organise, centre.'

Нам узагалі не мало б доводитися виправляти ці моделі. Whisper навчали на 99 мовах, а він однаково пише англійську по-американському, поки йому не скажеш інакше, бо люди, які його зробили, вважають свій правопис типовим, а чужий опцією, яку треба окремо просити. Це той дратівливий американський дефолтизм, який ненавидить решта світу, і він вшитий як упередження. Системний промпт для моделі чату несе ту саму вказівку, у розділі нижче, з тієї самої причини.

Вікно чату і 7000 токенів, яких ти не вводив

Open WebUI є вебінтерфейсом у браузері15, у власному контейнері, так само прив’язаний до [::1]:3000 і спрямований на NPU. Його кнопка мікрофона йде до Whisper на NPU, а не до власного типового варіанта, який завантажив би модель і крутив її на CPU.

Перше повідомлення, яке я йому надіслав, мало двадцять слів. До NPU воно дійшло як промпт на 7223 токени, бо Open WebUI 0.13 чіпляє до кожного повідомлення визначення всіх своїх вбудованих інструментів (пам’ять, нотатки, календар, автоматизації, вебпошук), а адміністратор отримує їх усі.

Те саме питання на двадцять слівПромпт, надісланий на NPUОчікування першого слова
Вбудовані інструменти увімкнені, за замовчуванням7223 токени~12 с
Вбудовані інструменти вимкнені для моделі127 токенівменше 1 с
Звідки взялися 7000 токенівти вводишдвадцять слівOpen WebUI додаєвизначення всіх інструментівNPU читаєусе, щоразуПромпт, надісланий на NPUінструменти увімкнені, за замовчуванням7223 токени, близько 12 с до першого словаінструменти вимкнені127 токенів, менше 1 с
Те саме питання на двадцять слів з увімкненими і вимкненими вбудованими інструментами Open WebUI, у масштабі.

Для локальної моделі це має бути вимкнено за замовчуванням. Дванадцять секунд на кожну відповідь.

А ще вона впевнено сказала мені, що її «trained by Google» і що працює вона «on Google’s advanced infrastructure». Це модель Qwen від Alibaba, що працює на ноутбуці. Повна нісенітниця, і такого не має бути.

Річ не в налаштуванні. Модель бачить тільки текст, який їй надіслали, а назва у випадному списку служить міткою для сервера, моделі її не передають. Тож ця відповідь узялася від самої моделі, і вона помилилася в єдиному факті про себе, у якому не має бути жодного сумніву. Це вада дизайну, і відповідає за неї той, хто випустив модель.

Назва у випадному списку не доходить до моделіЩо бачиш тиназва моделі у спискусистемний промпт, якщо заданотвої повідомленнямітка для сервера, не надсилаєтьсяЩо бачить модельсистемний промпт, якщо заданотвої повідомленняні назви, ні виробника, ні машининадісланобез системного промпту вгадує
Модель отримує системний промпт і розмову. Назва у випадному списку лишається на сервері.

Alibaba знала, як цьому запобігти. Шаблон чату Qwen 2.5 відкривав кожну розмову рядком «You are Qwen, created by Alibaba Cloud», якщо ти не дав чогось іншого16. Qwen 3 цей рядок прибрав17, і Qwen 3.5 теж постачається без нього18. Нічим його не замінили, і судячи з тієї відповіді, модель так і не навчили цього достатньо, щоб вона впоралася сама. Спитай модель 4B «що ти таке?» без промпту, і вона відступить на найпоширенішу відповідь у своїх навчальних даних, а це відповідь когось іншого.

Чи це дрібниця? Ні. Модель, яка з повною впевненістю скаже тобі, хто її зробив і в чийому дата-центрі вона працює, і помилиться в обох, так само вчинить з усім іншим, чого не може перевірити. Тут ти знаєш правильну відповідь. Здебільшого не знатимеш.

Тож їй треба сказати, у системному промпті:

На питання «що ти таке і на чому працюєш?»Відповідь
Без системного промпту«a large language model trained by Google… Google’s advanced infrastructure»
З ним«Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350’s NPU via FastFlowLM»

Той самий промпт каже їй писати британською англійською, знову через американський дефолтизм, який є й у Whisper. Коли сказано, пише. Який сьогодні день, вона однаково сказати не може. Модель без календаря та інтернету вгадує дати й недавні події, і не завжди в цьому зізнається, хоч що там просить промпт.

Три роки, щоб запустити AI на Linux

AMD вивела Ryzen AI на сцену в січні 2023 як «the first dedicated artificial intelligence hardware in an x86 processor»19. Відлічи від того виступу:

КолиЩо сталося на LinuxПісля виступу
4 січня 2023оголошено Ryzen AI, у Ryzen 7040
25 січня 2024amd/xdna-driver опубліковано на GitHub41 рік
24 березня 2025amdxdna в основній гілці Linux, 6.14202 роки 2 місяці
27 березня 2025виходить цей чип, Ryzen AI 7 PRO 35012 роки 2 місяці
11 березня 2026FastFlowLM 0.9.35, перший нативний випуск для Linux213 роки 2 місяці
11 серпня 2026FastFlowLM 1.0.0, тепер під ROCm від AMD63 роки 7 місяців
сьогоднідосі жодного середовища для LLM на 7040 і 804023 роки 10 місяців

Три роки і два місяці, щоб узагалі запустити мовну модель на NPU під Linux, і зробило це не власне ПЗ AMD. Зробив FastFlowLM, проєкт, що почався поза компанією і цього року був прийнятий під ROCm. Його нотатки до випуску для Linux відкриваються словами «The wait is finally over», а далі кажуть, що він використовує «the exact same recipe you already know and love on Windows»21. Fisher-Price OS (Windows) отримала це першою, і вони так і сказали. Власне ПЗ AMD, Ryzen AI Software, досі каже в поточних нотатках до випуску: «Model generation is not supported on Linux in this release»22.

Тим, хто купив перше покоління, ще гірше. Ноутбук з Ryzen 7040 з 2023 року має NPU, якого не торкнеться жодне середовище для мовних моделей на Linux, і ніде не опубліковано, що таке з’явиться. Той самий значок.

Можна спитати чому? Не хто, а чому. Що в процесі AMD дозволило продавати чип з AI в назві, тоді як ПЗ, щоб користуватися цим AI на Linux, з’явилося через роки, і то ззовні? У специфікації написано «Up to 50 TOPS»1. На значку написано Ryzen AI. Обидва написи є заявами людині, яка купує ноутбук, і в перший рік цього чипа на Linux обидві не були варті нічого.

Націлено на Copilot, а не на дата-центр

Справа не в тому, що Linux для AMD складний. У дата-центрі Linux першокласний, і AMD це знає: El Capitan у Lawrence Livermore побудовано на процесорах AMD EPYC і прискорювачах AMD Instinct, до червня цього року це був найшвидший комп’ютер у світі23, і працює він на TOSS, власній збірці Red Hat Linux від Livermore24. Уявляєш, як AMD продає прискорювач Instinct і каже покупцеві, що ПЗ для Linux колись згодом буде, і від когось іншого? Не буде такого. AMD навіть написала драйвер ядра для цього NPU і завела його в основну гілку. Останній шар, той, що змушує залізо робити роботу, під яку його продали, і лишився чекати.

Це взагалі ніколи не мало бути проєктом для ноутбуків. Та сама архітектура XDNA того ж року пішла в карту для дата-центрів, Alveo V70, яку продавали як «the first Alveo production card leveraging AMD XDNA architecture with AI Engines»25. Збудуй один програмний стек для AI Engine, спершу під Linux, як і решту дата-центру, і ноутбук отримає його задарма. Сервер теж. Маленький ощадливий прискорювач якраз і є тим, що хочеться роздавати віртуальним машинам, кожній по шматочку, для малих моделей, яким не потрібна ціла GPU. Ядро навчилося цього тільки цього року, розділяючи NPU на віртуальні функції на нових частинах AIE426. На NPU в цьому ноутбуці воно цього не вміє зовсім.

Натомість зусилля пішли на Fisher-Price OS (Windows) і на Copilot. AMD запустила покоління цього чипа як процесори, що «Unlock Transformational AI Experiences for Windows Copilot+ PCs»27. Майже ніхто не купився. Машини Copilot+ становили 2,3 % ПК з Fisher-Price OS (Windows), проданих у першому кварталі 2025, а новіші функції Copilot від Microsoft однаково працюють у хмарі: «only one of its new AI capabilities actually requires an NPU»28. Microsoft також повідомляє, що її дохід від виробників ПК упав на 7 % через «lower PC market demand», при «roughly 30% of the installed base still on Windows 10»29. Тож NPU націлили на операційну систему, на яку люди не оновлюються, щоб запускати асистента, якого вони не просили і який здебільшого NPU не використовує.

І AI будують не там. Люди, які цим заробляють на життя, сидять на Linux, бо там працюють їхні інструменти. TensorFlow прямо каже, що 2.10 «was the last TensorFlow release that supported GPU on native-Windows»30. Сервер моделей vLLM «does not support Windows natively»31. JAX називає свою збірку для Fisher-Price OS (Windows) експериментальною, а підтримку AMD позначає як «AMD GPU (Linux)»32. Там, де Fisher-Price OS (Windows) таки запускає ці інструменти, це відбувається через WSL 2, що за власним описом Microsoft є «an actual Linux kernel inside a managed VM»33. AMD націлила свій AI-чип на той єдиний десктоп, яким професія AI не користується. Часткової підтримки цього замало, AMD.

А потім AMD продає себе інвесторам як AI-компанію. 11 листопада 2025 її голова правління і CEO сказала, що AMD «is uniquely positioned to lead the next generation of high-performance and AI computing», у пресрелізі, який хвалиться зростанням «AI PC portfolio 2.5x since 2024» і завершується словами «full-stack AI solutions»34. Повний стек. На AI PC з цього допису верхівка того стеку прийшла від проєкту, який AMD не починала, а на першому поколінні вона так і не прийшла. AI-компанія, чий власний AI-чип три роки чекав, щоб запустити AI на операційній системі, на якій стоїть її бізнес у дата-центрах? Сміхота.

Першокласну підтримку описати просто. Вона працює в день, коли ти купуєш машину, на операційній системі, якою ти користуєшся, від компанії, що продала тобі чип. Цей NPU до такого ще не дотягнув. Я купив ноутбук заради всього іншого, а NPU йшов у комплекті, і тільки тому це опис роботи, а не скарга. Кожен, хто купив такий заради AI на значку і сидить на Linux, купив обіцянку, яку виконали пізно, і виконав хтось інший.

Володій кремнієм, за який заплатив

NPU прийшов разом з ноутбуком. Так, як його продають, це та частина, що робить машину готовою до AI, а AI, який пропонують, чужий, у чужому дата-центрі, і читає те, що ти вводиш, щоб за нього можна було заплатити якось інакше. Самому залізу така домовленість ні до чого. Модель 4B на 21 Вт відповідає на питання, прочитає вставку на 175 000 слів, якщо даси їй часу, і запише те, що ти кажеш, і ніщо з цього не покидає стола.

Готовим ПЗ це не назвеш, і кожна шорсткість вище коштувала години, щоб її знайти, і рядка-двох, щоб виправити. Ось скільки коштує відкритий код, коли ним справді користуєшся. І це все одно краща угода, ніж брати ту саму можливість назад в оренду, а за ту годину ти купуєш знання, як воно працює.

Контейнери тримають усе чесним. На хості нічого, крім модуля ядра та його мікропрограми, один пристрій, переданий одному контейнеру, адреса, до якої ніхто інший не дістанеться, і перевірка, що падає тієї ж миті, коли частини перестають збігатися. Це забрало день. І працюватиме далі, бо я знаю, навіщо там кожен рядок, а перевірка скаже мені того ранку, коли один із них перестане бути правдою.


  1. AMD — Ryzen AI 7 PRO 350 — 8 ядер, 16 потоків, Radeon 860M, «NPU TOPS: Up to 50 TOPS», дата виходу «3/27/2025». ↩︎ ↩︎ ↩︎

  2. Lemonade — LLMs on Linux with FastFlowLM — тільки XDNA2 (Ryzen AI 300/400, Strix Halo), не XDNA1; мікропрограма NPU 1.1.0.0 або новіша; не став amd_iommu=off. ↩︎ ↩︎ ↩︎ ↩︎

  3. Linux kernel documentation — amdxdna — драйвер прискорювача в дереві ядра для NPU від AMD. ↩︎

  4. amd/xdna-driver — драйвер, підмодуль XRT і плагін; базовий пакет XRT збирай з доданого підмодуля, щоб він працював із плагіном; репозиторій створено 25 січня 2024. ↩︎ ↩︎

  5. Linux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c — AMDXDNA_DRIVER_MAJOR 0, AMDXDNA_DRIVER_MINOR 10; так само у v7.2. ↩︎

  6. ROCm/FastFlowLM — середовище виконання LLM на NPU для XDNA2, сервер, сумісний з OpenAI, частина ROCm з v1.0.0; тут використано випуск v1.0.12. ↩︎ ↩︎

  7. FastFlowLM — LICENSE_BINARY.txt — умови для доданих бінарних ядер NPU. ↩︎

  8. RPM 6.0.0 release notes — «RPM defaults to enforcing signature checking». ↩︎

  9. podman-systemd.unit(5) — юніти Quadlet .container, зокрема AddDevice=, Ulimit=, StopSignal= і Exec=. ↩︎

  10. loginctl(1) — enable-linger запускає менеджер користувача під час завантаження і тримає його після виходу з сеансу. ↩︎

  11. Qwen/Qwen3.5-4B — «Context Length: 262,144 natively»; гібрид шарів Gated DeltaNet і gated attention. ↩︎

  12. ggml-org/llama.cpp — образ контейнера server-vulkan, використаний для запусків на GPU, збірка 12352. ↩︎

  13. mlc-ai/mlc-llm — перевірено з нічними пакетами 0.26. ↩︎

  14. openai/whisper-large-v3-turbo — «a state-of-the-art model for automatic speech recognition (ASR) and speech translation»; урізано з large-v3, «the number of decoding layers have reduced from 32 to 4»; 809M параметрів; ліцензія MIT. ↩︎

  15. open-webui/open-webui — тут використано випуск v0.13.3. ↩︎

  16. Qwen/Qwen2.5-7B-Instruct — tokenizer_config.json — типове системне повідомлення шаблону чату: «You are Qwen, created by Alibaba Cloud. You are a helpful assistant.» ↩︎

  17. Qwen/Qwen3-4B — tokenizer_config.json — шаблон чату без типового системного повідомлення. ↩︎

  18. Qwen/Qwen3.5-4B — tokenizer_config.json — шаблон чату без типового системного повідомлення. ↩︎

  19. AMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 4 січня 2023: «AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.» ↩︎

  20. Kernel Newbies — Linux 6.14 — випущено в понеділок, 24 березня 2025; «an amdxdna driver for AMD NPUs». ↩︎

  21. FastFlowLM v0.9.35 release notes — 11 березня 2026: «The wait is finally over… FastFlowLM is officially available natively on Linux!» ↩︎ ↩︎

  22. AMD — Ryzen AI Software release notes — відомі проблеми: «Model generation is not supported on Linux in this release.» ↩︎

  23. TOP500 — June 2026 — «LineShine debuts as the new No. 1 system, ending El Capitan’s run atop the list»; El Capitan «is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators». ↩︎

  24. LLNL — TOSS: Speeding Up Commodity Cluster Computing — «a fully functional cluster operating system, based on Red Hat Linux». ↩︎

  25. AMD — Alveo V70 — «the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency». ↩︎

  26. Linux — accel/amdxdna: Add basic support for AIE4 devices — «Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement». Таблиця драйвера дає записи віртуальних функцій лише цим частинам; NPU цього ноутбука — 17f0. ↩︎

  27. AMD — AMD Unveils Next-Gen “Zen 5” Ryzen Processors to Power Advanced AI Experiences — Computex, 2 червня 2024: «AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs». ↩︎

  28. Engadget — Microsoft’s Copilot+ AI PC plan fizzled, but it still served a purpose — 5 грудня 2025: системи Copilot+ «made up just 2.3 percent of Windows machines sold in the first quarter of 2025»; «only one of its new AI capabilities actually requires an NPU». ↩︎

  29. Windows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 31 липня 2026, цитата з дзвінка Microsoft щодо результатів: «Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand»; «roughly 30% of the installed base still on Windows 10». ↩︎

  30. TensorFlow — Install TensorFlow with pip — «TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.» ↩︎

  31. vLLM — GPU installation — «vLLM does not support Windows natively». ↩︎

  32. JAX — Installation — CPU-пакети для «Windows, x86_64 (experimental)»; розділи про GPU для NVIDIA, Google Cloud TPU, Mac і «AMD GPU (Linux)». ↩︎

  33. Microsoft — Comparing WSL versions — «the use of an actual Linux kernel inside a managed VM». ↩︎

  34. AMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — Financial Analyst Day, 11 листопада 2025: «AMD is uniquely positioned to lead the next generation of high-performance and AI computing»; «AMD has expanded its AI PC portfolio 2.5x since 2024»; «AMD delivers full-stack AI solutions». ↩︎