Skip to content
Open WebUI до FastFlowLM до NPU XDNA2 на петлі IPv6: 21 Вт під час відповіді, 232 000 токенів в одному промпті, три роки від виступу AMD до Linux

LLM на NPU Ryzen AI, у контейнері

NPU в ноутбуці з Ryzen AI дає 50 TOPS, які на більшості встановлень Linux просто стоять. Тут я проходжу збирання драйвера amdxdna від AMD, залишаючи на хості тільки модуль ядра, збирання FastFlowLM з рушієм XRT від AMD у rootless-контейнер podman, підігнаний під цей драйвер, прив’язку всього до петлі IPv6 і запуск під час старту через Quadlet. Далі що воно вміє: дев’ять моделей у бенчмарку, тест контексту на 232 000 токенів, розпізнавання мовлення Whisper удесятеро швидше за реальний час, Open WebUI і 7000 прихованих токенів, які він додавав до кожного повідомлення, а також швидкість і енергія NPU, виміряні проти llama.cpp на вбудованій Radeon 860M. Наостанок хронологія: три роки від оголошення Ryzen AI до мовної моделі на його NPU під Linux, і зробив це проєкт, який AMD не починала, поки зусилля йшли на Copilot+ у Fisher-Price OS (Windows), а не на дата-центр і Linux-інструменти, якими справді користуються фахівці з AI.

13 листопада 2026 · 22 хвилини · 5407 words · Damien Dye