Skip to content
Open WebUI para FastFlowLM para a NPU XDNA2 em loopback IPv6: 21 W a responder, 232 000 tokens num só prompt, três anos desde a keynote da AMD até ao Linux

Correr um LLM na NPU do Ryzen AI, num contentor

A NPU de um portátil Ryzen AI são 50 TOPS que ficam parados na maioria das instalações Linux. Este artigo mostra como compilar o driver amdxdna da AMD e manter só o módulo do kernel no host, compilar o FastFlowLM com o runtime XRT da AMD num contentor podman rootless ajustado a esse driver, ligar tudo ao loopback IPv6 e iniciá-lo no arranque com o Quadlet. Depois o que faz: nove modelos medidos, um teste de contexto de 232 000 tokens, Whisper de voz para texto a dez vezes o tempo real, o Open WebUI e os 7000 tokens escondidos que acrescentava a cada mensagem, e a velocidade e a energia da NPU medidas contra o llama.cpp na iGPU Radeon 860M. Por fim, a cronologia: três anos desde que a AMD anunciou o Ryzen AI até um modelo de linguagem na sua NPU em Linux, entregue por um projeto que a AMD não começou, enquanto o esforço ia para o Copilot+ no Fisher-Price OS (Windows) em vez do centro de dados e das ferramentas Linux que os profissionais de IA usam realmente.

13 de novembro de 2026 · 26 minutos · 6342 palavras · Damien Dye