50 TOPS sin dar golpe

Todos los portátiles Ryzen AI vendidos en los últimos dos años llevan dentro una unidad de procesamiento neuronal (NPU), un bloque de silicio construido para nada más que las matemáticas que hay detrás de los modelos de IA. En el mío, un ThinkPad con un Ryzen AI 7 PRO 350, AMD la clasifica en hasta 50 TOPS, billones de operaciones por segundo1. La pagaste. En una instalación Linux de serie no hace nada.

Eso cambió este año. Una vez configurada, la NPU ejecuta un modelo de lenguaje de 4 000 millones de parámetros detrás de una ventana de chat, más voz a texto, todo en el portátil, sin cuenta, sin suscripción y sin que nada salga de la máquina, que para cualquier cosa que preferirías no teclear en la web de otro es justo de lo que se trata. El chip entero consume unos 21 W mientras responde, y en reposo se queda por debajo de 9 W.

Qué se ejecutaDóndeDirección
Qwen 3.5 4B, contexto de 256k tokensNPU, en un contenedorhttp://[::1]:52625/v1
Voz a texto: Whisper de OpenAI, whisper-v3:turboNPU, mismo contenedorla misma, /audio/transcriptions
Open WebUI, la página de chatCPU, en un contenedorhttp://[::1]:3000
driver del kernel amdxdna, firmwarehost/dev/accel/accel0

Dos reglas dieron forma al montaje. Solo el driver del kernel y su firmware van en el host; todo framework de modelos se ejecuta en un contenedor podman rootless. Y todo servicio escucha únicamente en el loopback IPv6, sin nada en IPv4. Las dos resultaron ser menos trabajo que hacerlo de la manera chapucera, y las dos cazaron problemas que de otro modo habría dejado pasar.

Lo que hace falta en Linux

La NPU de este chip es el diseño de segunda generación de AMD, XDNA2. Eso importa, porque el software que ejecuta modelos de lenguaje en ella soporta las piezas XDNA2 (series Ryzen AI 300 y 400, Strix Halo) y no la primera generación de los Ryzen 7040 y 80402. Comprueba la tuya antes de empezar:

$ lspci -nn | grep -i 'neural\|signal processing'
c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20)

Hay cuatro capas entre ese dispositivo y una respuesta del chat, y el reparto entre host y contenedor es todo el diseño:

CapaQué esVive en
amdxdnadriver del kernel, crea /dev/accel/accel03host, vía DKMS
firmware de la NPUnpu_7.sbin, 1.1.2.64 en este chiphost, de linux-firmware
XRT + plugin amdxdnala biblioteca de runtime de AMD y su backend para la NPUcontenedor
FastFlowLMel runtime del LLM, kernels de la NPU incluidoscontenedor
Qué vive en el host y qué vive en un contenedorPodman rootless, reconstruido cuando quieraOpen WebUIpágina de chat, en la CPU[::1]:3000FastFlowLM[::1]:52625XRT + plugin de NPUemparejado con el commit del driverHost: el módulo del kernel y su firmware, nada másSin XRT, sin runtime, sin modelos.Un nodo de dispositivo es todolo que cruza al contenedor.módulo amdxdna, compilado por DKMSnpu_7.sbinNPU XDNA2/dev/accel/accel0
El reparto. Todo lo que cambia a menudo vive en un contenedor; el host se queda con un módulo del kernel y su firmware, y un único nodo de dispositivo es lo único que cruza al otro lado.

El kernel 7.x trae amdxdna en el árbol, pero AMD lo desarrolla primero en su propio repositorio, y el plugin de espacio de usuario tiene que coincidir con el módulo del kernel con el que habla4. La distancia entre los dos no es pequeña. En este portátil:

En el árbol, los 7.2.15 y 7.3.3 de FedoraFuera del árbol, amd/xdna-driver en 24dfd686
Interfaz del driver0.1050.19
Versión del móduloninguna2.27.0_20261113
IDs PCI de NPU que enlaza68
Ficheros de firmware que pide759
Firmware que carga este chip17f0_10/npu_7.sbin, 1.1.2.64el mismo fichero

Nueve versiones de interfaz de diferencia, y Linux 7.3, la versión más reciente, sigue llevando la 0.10. Lo único en lo que coinciden es el firmware, y ese viene del linux-firmware de Fedora, no de ninguno de los dos drivers. Así que compilo las dos mitades desde un mismo commit de amd/xdna-driver, pongo el módulo en el host y meto el espacio de usuario correspondiente en la imagen.

El driver: compílalo todo, quédate solo con la parte del kernel

amd/xdna-driver lleva XRT como submódulo de git, y al compilarlo salen RPMs para XRT y un paquete de plugin. El paquete de plugin lleva además el código fuente del driver, que registra en DKMS (Dynamic Kernel Module Support, lo que recompila un módulo para cada kernel nuevo). Nada de eso es difícil:

git clone --recursive https://github.com/amd/xdna-driver.git && cd xdna-driver
sudo ./tools/amdxdna_deps.sh
(cd xrt/build && ./build.sh -npu -opt)    # XRT RPMs in xrt/build/Release/
(cd build && ./build.sh -release)         # plugin RPM, driver source inside

En Fedora 45 el script de dependencias termina con un error. Ignóralo:

Lo que pideQué pasa¿Importa?
protobuf-develchoca con un protobuf3-compiler ya instaladono, sin él XRT solo se salta una herramienta de trazas
redhat-lsbno existe ese paquete, Fedora lo retiróno
todo lo demásya instalado

La última versión etiquetada allí es de febrero, así que main es el canal de publicación. Pasé de una compilación de mayo a la de noviembre: 550 commits, XRT 2.23 a 2.27.

La actualización borra el driver que acaba de instalar

Mi primer intento de actualizar se llevó el módulo por completo. RPM ejecuta el script de instalación del paquete nuevo, que compila y registra el driver nuevo en DKMS, y después ejecuta el script de desinstalación del paquete viejo. Ese script de desinstalación lee la versión del driver de un fichero que el paquete nuevo ya ha sobrescrito, así que desregistra la versión que se acaba de instalar. La salida de dnf lo dice en dos líneas, una detrás de otra:

>>> Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0
>>> Removing driver source: xrt-amdxdna/2.27.0...

Nada falló, nada se puso en rojo, y el siguiente arranque habría cargado tan tranquilo lo que trajera el kernel en su lugar. ¿Puedo preguntar por qué un script de desinstalación se ejecuta en una actualización sin comprobar si es una actualización? RPM le da esa respuesta a cada scriptlet como primer argumento. Es un solo if.

Cómo una actualización RPM desregistra el driver que acaba de instalarUn dnf upgrade, en el orden en que lo ejecuta RPM%post nuevocompila la 2.27,la registra en DKMS2.27 en DKMSllegan ficheros nuevosel fichero de versiónya dice 2.272.27 en DKMS%preun viejolee ese fichero,desregistra la 2.272.27 fuerasiguiente arranqueel módulo del árbolcarga, sin avisono es tu compilaciónDKMS tiene:El arreglo es una comprobación. Un %preun recibe $1 = 1 al actualizar y $1 = 0 al desinstalar.Solo una desinstalación debería desregistrar algo.
El orden en que RPM ejecuta una actualización. El paquete nuevo registra su driver, y luego el paquete viejo desregistra lo que nombre el fichero de versión compartido, que para entonces es el nuevo.

Es también la razón de que el host ya no reciba los RPMs en absoluto. El código fuente del driver es un tarball dentro del paquete de plugin, así que lo saco y se lo doy a DKMS directamente:

T=$(mktemp -d) && rpm2cpio xrt_plugin*.rpm | (cd $T && cpio -idm --quiet)
D=$T/opt/xilinx/xrt/share/amdxdna
sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0
sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0
sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/
sudo dkms install xrt-amdxdna/2.27.0
sudo modprobe -r amdxdna; sudo modprobe amdxdna

Sin reiniciar. Es Linux, y en ese momento nada tiene abierto el dispositivo, así que el módulo se cambia en caliente. Después DKMS lo recompila para cada kernel que instale dnf; cuando llegó el 7.3.3 ya estaba compilado antes de que yo hubiera arrancado con él.

El driver va directo a DKMSDel paquete a un módulo cargado, sin instalar el paqueteRPM del pluginel código del driveres un tarball dentro/usr/srctarball desempaquetado,dkms.conf a su ladodkms installcompila el módulopara este kernelmodprobe -ry luego modprobe:en caliente, sin reiniciardnf instala un kernel nuevoDKMS recompila antes de que arranques con élrpm2cpio saca el tarball.El host nunca recibe los RPMs,así que allí no corre ningún script de paquete.
El driver pasa del paquete a DKMS sin que el paquete llegue a instalarse, así que en el host no se ejecuta ningún script de empaquetado.

Comprueba que lo que se cargó es la compilación de DKMS y no la del árbol, y que el firmware es lo bastante nuevo. FastFlowLM quiere la 1.1.0.0 o posterior2:

$ modinfo -F filename amdxdna
/lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz
$ cat /sys/bus/pci/drivers/amdxdna/*/fw_version
1.1.2.64
$ journalctl -k | grep 'Initialized amdxdna'
[drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0

DKMS aparta el módulo propio del kernel en lugar de borrarlo, a /var/lib/dkms/xrt-amdxdna/original_module/, así que quitar la compilación de DKMS lo vuelve a poner en su sitio.

Una cosa más que no hay que tocar: amd_iommu=off en la línea de comandos del kernel desactiva la NPU2.

FastFlowLM en un contenedor

FastFlowLM es el runtime que hace útil la NPU para modelos de lenguaje. Es una línea de comandos al estilo de Ollama y un servidor compatible con OpenAI, escrito para XDNA2, y este año pasó a la organización ROCm de AMD6. El runtime tiene licencia MIT. Los kernels de NPU que trae son binarios cerrados, libres de usar y redistribuir sin modificar7. Preferiría que fueran abiertos, y lo digo, pero están en el repositorio y no hay que descargar nada de ningún otro sitio.

La imagen son tres etapas sobre Fedora 45: XRT de la compilación del driver, FastFlowLM compilado contra él, y luego un runtime con solo lo que necesita. La parte que importa:

FROM registry.fedoraproject.org/fedora:45 AS xrt
ARG XDNA_COMMIT
COPY dist/xdna-${XDNA_COMMIT}/ /rpms/
RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \
 && rpm -i --noscripts --nodeps --nosignature \
        --excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \
        /rpms/xrt_plugin*.rpm \
 && echo /opt/xilinx/xrt/lib64 > /etc/ld.so.conf.d/xrt.conf && ldconfig

Cada una de esas opciones está ahí porque algo se rompía sin ella:

ProblemaArreglo
Los scripts del plugin compilan un módulo del kernel, y eso va en el host--noscripts, y el código del driver y el firmware excluidos
El RPM 6 de Fedora 45 exige por defecto la comprobación de firmas8, y un RPM compilado por uno mismo no está firmado--nosignature: lo compilé yo, sé de dónde viene
Las bibliotecas de XRT están en lib64, que no está en la ruta del enlazador/etc/ld.so.conf.d/xrt.conf dentro de la imagen
FastFlowLM encuentra XRT con pkg-config, y el setup.sh de XRT no fija la rutaPKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig en la etapa de compilación

La imagen terminada ocupa 609 MB, y su etiqueta lleva el commit del driver, fastflowlm:v1.0.12-xdna24dfd686. Una comprobación de salud lo compara con el commit que informa el módulo cargado y falla si no coinciden. Una imagen compilada para el driver equivocado es el único fallo aquí que de verdad cuesta diagnosticar, así que se caza antes de que llegue tan lejos.

Cómo se construye y se comprueba la imagen de FastFlowLMTres etapas sobre Fedora 45etapa 1: xrtRPMs de XRT y plugin,sin scripts, sin firmwareetapa 2: buildFastFlowLM compiladocontra ese XRTetapa 3: runtimesolo lo que necesita,609 MBComprobación de salud: la imagen y el host deben coincidirla etiqueta de la imagen dicev1.0.12-xdna24dfd686=el módulo cargado dice24dfd686Si difieren: unhealthy, antes de que nada se vuelva confuso.
Tres etapas de compilación, y una comprobación de salud que ata la imagen al driver para el que se compiló.

El contenedor recibe un dispositivo, la NPU, y el límite de memoria bloqueada que FastFlowLM necesita para fijar sus búferes:

podman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \
  localhost/fastflowlm:v1.0.12-xdna24dfd686 validate
[Linux]  NPU: /dev/accel/accel0 with 8 columns
[Linux]  NPU FW Version: 1.1.2.64
[Linux]  Memlock Limit: infinity

La propia autoprueba de AMD, xrt-smi validate, puso la NPU en 51 TOPS en una multiplicación de matrices. Esos son los 50 de la caja, cumplidos.

Arranca con el sistema, solo en IPv6

Quadlet convierte un fichero .container corto en un servicio de systemd9. Como unidad de usuario se ejecuta rootless, como yo, y con lingering activado arranca con el sistema sin que nadie haya iniciado sesión10:

[Unit]
Description=FastFlowLM NPU server
ConditionPathExists=/dev/accel/accel0

[Container]
Image=localhost/fastflowlm:v1.0.12-xdna24dfd686
AddDevice=/dev/accel/accel0
Ulimit=memlock=-1:-1
Network=host
Volume=%h/.config/flm:/models:Z
Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo
StopSignal=SIGINT

[Install]
WantedBy=default.target
loginctl enable-linger $USER
cp fastflowlm.container ~/.config/containers/systemd/
systemctl --user daemon-reload && systemctl --user start fastflowlm

-c 262144 fija la ventana de contexto, y la prueba de contexto de más abajo es la razón de que sea tan grande. -a whisper-v3:turbo carga un segundo modelo junto al modelo de chat, uno que convierte voz en texto; tiene su propia sección.

Tres líneas de ahí se aprendieron por las malas:

LíneaSin ella
StopSignal=SIGINTFastFlowLM ignora SIGTERM, la señal de parada de podman, y lo matan diez segundos después
--host ::1escucha en 127.0.0.1, IPv4
::1, no [::1]la forma con corchetes no se analiza; los corchetes van dentro de una URL

Demuestra la dirección en lugar de fiarte de ella:

$ ss -ltn 'sport = :52625'
LISTEN 0  4096  [::1]:52625  [::]:*
$ curl -s http://127.0.0.1:52625/v1/models || echo refused
refused

localhost sigue funcionando para todo lo que lo resuelva primero a ::1, cosa que hacen tanto el /etc/hosts de Fedora como Chrome.

Orden de arranque y las únicas direcciones que respondenAl arrancargestor de usuario al arrancarloginctl enable-lingerQuadletfichero .container a serviciodos servicios de usuariofastflowlm, open-webuiQuién puede llegarnavegadorOpen WebUI[::1]:3000FastFlowLM[::1]:52625127.0.0.1rechazadaNPU
El lingering arranca el gestor de usuario con el sistema, Quadlet crea los servicios, y toda dirección que responde está en el loopback IPv6.

Lo que hace, medido

Nueve modelos por el benchmark propio de FastFlowLM, siendo la decodificación la velocidad a la que fluye la respuesta:

ModeloDecodificación, contexto 1kDecodificación, contexto 8kLectura del prompt, 8k
llama3.2:1b77 tok/s56 tok/s2 009 tok/s
qwen3.5:2b32291 533
llama3.2:3b3020857
phi4-mini-it:4b2517744
qwen3:4b2315613
qwen3.5:4b1715657
gemma4-it:e4b1412642
qwen3:8b1310418
qwen3.5:9b1110451
Decodificación por modelo, frente al ritmo de lecturaDecodificación con contexto 1k, tokens por segundoritmo de lectura, 5 a 8 tokens por segundollama3.2:1b77qwen3.5:2b32llama3.2:3b30phi4-mini-it:4b25qwen3:4b23qwen3.5:4b17 el que usogemma4-it:e4b14qwen3:8b13qwen3.5:9b11
Decodificación con contexto 1k. Todos los modelos superan el ritmo de lectura; la velocidad más o menos se reduce a la mitad cuando el modelo se duplica.

El ritmo de lectura es de cinco a ocho tokens por segundo, así que cualquiera de estos va por delante de ti. La decodificación se reduce más o menos a la mitad cada vez que el modelo se duplica, que es lo esperable cuando el límite es el ancho de banda de memoria y no el cómputo. Yo uso qwen3.5:4b. Phi-4 mini es más rápido, pero Qwen 3.5 mantiene su velocidad a medida que crece una conversación, maneja imágenes y llamadas a herramientas, y guarda una caché de prompt que ahorra releer todo el historial en cada turno. Eso lo decide.

256 000 tokens de contexto

Qwen 3.5 está hecho para una ventana de 262 144 tokens11, y FastFlowLM viene por defecto con 32 768. Pasado ese límite hace algo que conviene saber: registra Max length reached, stopping prefilling y cierra la conexión sin respuesta y sin error, así que la ventana de chat se queda ahí con una respuesta vacía y te toca adivinar si se cayó el modelo, el servidor o el navegador.

Así que lo subí con -c 262144 y lo probé como es debido. Un código escondido en la primera línea de un prompt de 232 250 tokens, unas 175 000 palabras, preguntado al final:

Contexto 8kContexto 232k
Respuestacorrectacorrecta, AMBER-FALCON-7731
Lectura del prompt657 tok/s210 tok/s
Espera hasta la primera palabra12 segundos18,4 minutos
Decodificación15 tok/s2,4 tok/s
Memoria reservada~5 GB~12,7 GB

Funciona. Es lento. Y la memoria queda reservada uses la ventana o no. Con 90 GB en la máquina, pago eso por que un texto largo pegado reciba respuesta en lugar de descartarse en silencio.

¿Puede ayudar la GPU?

El mismo chip lleva una Radeon 860M, así que la pregunta obvia es si puede quitarle algo de carga. Repartir un modelo entre la NPU y la GPU, leyendo el prompt en una y escribiendo la respuesta en la otra, no es algo que haga hoy ningún runtime de Linux. Ejecutar un segundo runtime en la GPU sí, así que medí eso.

«Eficiente» aquí significa velocidad y energía juntas. El driver amdgpu informa de la potencia del paquete para el chip entero sin root, y el driver amdxdna informa de la NPU por separado, así que cada ejecución de abajo se muestreó cuatro veces por segundo. El mismo modelo a 4 bits en todas.

De los runtimes de GPU que miré, funcionó uno:

RuntimeResultado en la 860M
llama.cpp, backend Vulkan12funciona; imagen de 881 MB
llama.cpp, backend ROCmve la GPU y luego da un segfault con la primera tarea, con o sin forzar la versión de GPU; imagen de 23 GB
MLC-LLM, Vulkan13su compilador da un segfault al construir la arquitectura de Qwen 3.5
vLLM, SGLangno probados: hechos para GPUs de centro de datos y muchos usuarios, no para una iGPU de 8 unidades

Y la NPU frente al que funcionó:

Qwen 3.5 4BNPU, FastFlowLMGPU, llama.cpp Vulkan
En reposo, modelo cargado8,6 W16,0 W, frente a 9,7 W con él parado
Lectura del prompt, ~6k tokens557 tok/s a 23,8 W411 tok/s a 46,1 W
Energía por token de prompt0,043 J0,112 J
Decodificación18,2 tok/s a 21,0 W23,5 tok/s a 40,7 W
Energía por token generado1,16 J1,73 J
NPU frente a GPU, mismo modeloNPU, FastFlowLMGPU Radeon 860M, llama.cpp Vulkanenergía por token de promptmenos es mejor0,043 J0,112 Jenergía por token de respuestamenos es mejor1,16 J1,73 Jreposo, modelo cargadomenos es mejor8,6 W16,0 Wdecodificaciónmás es mejor18,2 tok/s23,5 tok/s
El mismo modelo, los dos aceleradores, cada barra escalada al mayor de su pareja. La GPU responde más rápido; la NPU gasta menos energía en todo lo demás.

La GPU escribe las respuestas un 29 % más rápido. Quema el doble de potencia haciéndolo. La NPU lee los prompts más rápido y con menos de la mitad de energía. El número gordo es el de reposo: el servidor de GPU cargado y sin hacer nada cuesta 6,3 W por encima de la misma máquina con él parado, todo el día. Ejecutar los dos a la vez bajó la NPU de 18,2 a 14,2 tokens por segundo y la GPU de 23,5 a 13,9, porque comparten la misma memoria. Por eso el contenedor de GPU existe, pero lo arranco cuando quiero un segundo modelo, y no está activado en el arranque.

La NPU en sí consumió menos de 2 W en todas las ejecuciones. La mayor parte de los 21 W son la CPU y la memoria alimentándola. Ese es el techo que merece la pena vigilar en las próximas versiones de FastFlowLM.

Voz a texto, también en la NPU

Whisper es el modelo de reconocimiento de voz de OpenAI: entra audio, sale texto, en 99 idiomas, y publicado con licencia MIT, así que se ejecuta en cualquier parte sin pedir permiso a nadie14. Large-v3 es la versión completa actual. Turbo es el mismo modelo con su decodificador, la mitad que escribe el texto, recortado de 32 capas a 4. La ficha del modelo plantea el intercambio sin rodeos: «way faster, at the expense of a minor quality degradation». Con 809 millones de parámetros, es una quinta parte del tamaño del modelo de chat.

FastFlowLM lo trae ya convertido para la NPU como whisper-v3:turbo, una descarga de 623 MB, y lo carga junto al modelo de chat con -a whisper-v3:turbo. No sirve Whisper por sí solo; tiene que haber también un modelo de chat cargado. El audio va al endpoint estándar de transcripción de OpenAI y el texto vuelve.

19,6 segundos de voz
Primera petición, cargando Whisper6,2 s
Después2,0 s, unas diez veces el tiempo real
Potencia del chip entero~24,7 W
Precisióntodas las palabras bien

Eso sí, escritas con la falsa ortografía del inglés americano: «color» y «program». La API de Whisper acepta un prompt, y un prompt escrito con la auténtica ortografía británica, el inglés de Inglaterra, de donde viene el idioma, basta para arreglarlo:

curl -s 'http://[::1]:52625/v1/audio/transcriptions' -F file=@speech.wav \
  -F model=whisper-v3:turbo -F language=en \
  -F 'prompt=British English spelling: colour, programme, organise, centre.'

No deberíamos tener que corregir a estos modelos en absoluto. Whisper se entrenó con 99 idiomas y aun así escribe el inglés a la americana salvo que se le diga lo contrario, porque la gente que lo construyó trata su ortografía como la de serie y la de todos los demás como una opción que hay que pedir. Ese es el molesto defaultismo americano que odia el resto del mundo, y viene horneado como un sesgo. El prompt de sistema del modelo de chat lleva la misma instrucción, en la sección de abajo, por la misma razón.

Una ventana de chat, y 7 000 tokens que nunca escribiste

Open WebUI es la interfaz de navegador15, en su propio contenedor, atada a [::1]:3000 de la misma manera y apuntando a la NPU. Su botón de micrófono va a Whisper en la NPU en lugar de a su opción por defecto, que habría descargado un modelo y lo habría ejecutado en la CPU.

El primer mensaje que le mandé eran veinte palabras. Llegó a la NPU como un prompt de 7 223 tokens, porque Open WebUI 0.13 adjunta las definiciones de todas sus herramientas integradas (memoria, notas, calendario, automatizaciones, búsqueda web) a cada mensaje, y un administrador las recibe todas.

La misma pregunta de veinte palabrasPrompt enviado a la NPUEspera hasta la primera palabra
Herramientas integradas activadas, por defecto7 223 tokens~12 s
Herramientas integradas desactivadas para el modelo127 tokensmenos de 1 s
De dónde salieron 7 000 tokenstecleasveinte palabrasOpen WebUI añadecada definición de herramientala NPU leetodo, en cada mensajePrompt enviado a la NPUcon herramientas, por defecto7 223 tokens, unos 12 s hasta la primera palabrasin herramientas127 tokens, menos de 1 s
La misma pregunta de veinte palabras con las herramientas integradas de Open WebUI activadas y desactivadas, dibujada a escala.

Para un modelo local, ese valor por defecto debería estar desactivado. Doce segundos, en cada respuesta.

Además me dijo muy seguro que había sido «trained by Google» y que se ejecutaba «on Google’s advanced infrastructure». Es un modelo Qwen, hecho por Alibaba, ejecutándose en un portátil. Eso es un disparate de principio a fin, y no debería pasar.

No es la configuración. Un modelo solo ve el texto que se le envía, y el nombre del desplegable es una etiqueta para el servidor, que nunca se pasa al modelo. Así que esa respuesta vino solo del modelo, y se equivocó en el único dato sobre sí mismo que nunca debería estar en duda. Eso es un defecto de diseño, y la responsabilidad es de quien publicó el modelo.

El nombre del desplegable nunca llega al modeloLo que vesnombre del modelo en el desplegableprompt de sistema, si pones unotus mensajesuna etiqueta para el servidor, no se envíaLo que ve el modeloprompt de sistema, si pones unotus mensajessin nombre, sin fabricante, sin máquinase envíasin prompt de sistema, adivina
El modelo recibe el prompt de sistema y la conversación. El nombre del desplegable se queda en el servidor.

Alibaba sabía cómo evitarlo. La plantilla de chat de Qwen 2.5 abría cada conversación con «You are Qwen, created by Alibaba Cloud» salvo que le dieras otra cosa16. Qwen 3 quitó esa línea17, y Qwen 3.5 también sale sin ella18. Nada la sustituyó, y a juzgar por esa respuesta al modelo nunca se le enseñó lo bastante bien como para apañárselas solo. Pregúntale a un modelo 4B «¿qué eres?» sin prompt y recurre a la respuesta más común de sus datos de entrenamiento, que es la de otro.

¿Es una cosa menor? No. Un modelo que te dice, con total seguridad, quién lo construyó y en el centro de datos de quién se ejecuta, y falla en las dos, hará lo mismo con cualquier otra cosa que no pueda comprobar. Aquí sabes la respuesta correcta. La mayoría de las veces no la sabrás.

Así que hay que decírselo, en un prompt de sistema:

Pregunta: «what are you, and what are you running on?»Respuesta
Sin prompt de sistema«a large language model trained by Google… Google’s advanced infrastructure»
Con uno«Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350’s NPU via FastFlowLM»

El mismo prompt le dice que escriba en inglés británico, otra vez por el defaultismo americano que también tiene Whisper. Si se le dice, lo hace. Lo que sigue sin poder decirte es qué día es. Un modelo sin calendario y sin internet adivina fechas y acontecimientos recientes, y no siempre lo dirá, pida lo que pida el prompt.

Tres años para ejecutar IA en Linux

AMD subió Ryzen AI al escenario en enero de 2023 como «the first dedicated artificial intelligence hardware in an x86 processor»19. Cuenta hacia delante desde esa keynote:

CuándoQué pasó en LinuxDespués de la keynote
4 de enero de 2023Ryzen AI anunciado, en el Ryzen 7040
25 de enero de 2024amd/xdna-driver publicado en GitHub41 año
24 de marzo de 2025amdxdna en Linux mainline, 6.14202 años y 2 meses
27 de marzo de 2025sale este chip, el Ryzen AI 7 PRO 35012 años y 2 meses
11 de marzo de 2026FastFlowLM 0.9.35, su primera versión nativa para Linux213 años y 2 meses
11 de agosto de 2026FastFlowLM 1.0.0, ya bajo ROCm de AMD63 años y 7 meses
hoytodavía ningún runtime de LLM para los 7040 y 804023 años y 10 meses

Tres años y dos meses para ejecutar siquiera un modelo de lenguaje en la NPU bajo Linux, y no lo hizo el software de la propia AMD. Lo hizo FastFlowLM, un proyecto que empezó fuera de la empresa y que fue absorbido bajo ROCm este año. Sus notas de versión para Linux abren con «The wait is finally over», y luego dicen que usa «the exact same recipe you already know and love on Windows»21. El Fisher-Price OS (Windows) lo tuvo primero, y lo dijeron. El propio Ryzen AI Software de AMD sigue diciendo, en sus notas de versión actuales, «Model generation is not supported on Linux in this release»22.

Quien compró la primera generación lo tiene peor. Un portátil Ryzen 7040 de 2023 tiene una NPU que ningún runtime de modelos de lenguaje en Linux va a tocar, y nada publicado dice que vaya a llegar uno. La misma pegatina.

¿Puedo preguntar por qué? No quién, por qué. ¿Qué hay en el proceso de AMD que permitió vender un chip con IA en el nombre mientras el software para usar esa IA en Linux aparecía años después, y desde fuera? La ficha técnica dice «Up to 50 TOPS»1. La pegatina dice Ryzen AI. Las dos son afirmaciones hechas a la persona que compra el portátil, y durante el primer año de este chip en Linux las dos no valieron nada.

Apuntado a Copilot, no al centro de datos

No es que a AMD Linux le resulte difícil. En el centro de datos Linux es de primera clase y AMD lo sabe: El Capitan, en Lawrence Livermore, son procesadores AMD EPYC y aceleradores AMD Instinct, fue el ordenador más rápido del mundo hasta junio de este año23, y ejecuta TOSS, la compilación propia de Red Hat Linux de Livermore24. ¿Te imaginas a AMD vendiendo un acelerador Instinct y diciéndole al comprador que el software para Linux llegaría algún día, de mano de otro? La respuesta sería no. AMD incluso escribió el driver del kernel de esta NPU y lo metió en mainline. La última capa, la que hace que el hardware haga el trabajo para el que se vendió, fue la que se quedó esperando.

Nunca debería haber sido un proyecto de portátil. La misma arquitectura XDNA entró en una tarjeta de centro de datos ese mismo año, la Alveo V70, vendida como «the first Alveo production card leveraging AMD XDNA architecture with AI Engines»25. Construye una sola pila de software para el AI Engine, primero en Linux como el resto del centro de datos, y el portátil la recibe gratis. Y el servidor también. Un acelerador pequeño y frugal es exactamente lo que quieres repartir entre máquinas virtuales, un trozo para cada una, para los modelos pequeños que no necesitan una GPU entera. El kernel aprendió a hacerlo justo este año, partiendo una NPU en funciones virtuales en las nuevas piezas AIE426. En la NPU de este portátil no puede hacerlo en absoluto.

En su lugar, el esfuerzo se fue al Fisher-Price OS (Windows), y a Copilot. AMD lanzó la generación de este chip como procesadores que «Unlock Transformational AI Experiences for Windows Copilot+ PCs»27. Casi nadie picó. Las máquinas Copilot+ fueron el 2,3 % de los PCs con Fisher-Price OS (Windows) vendidos en el primer trimestre de 2025, y las funciones más nuevas de Copilot de Microsoft se ejecutan en la nube de todas formas: «only one of its new AI capabilities actually requires an NPU»28. Microsoft además informa de que lo que gana con los fabricantes de PCs bajó un 7 % por «lower PC market demand», con «roughly 30% of the installed base still on Windows 10»29. Así que la NPU se apuntó a un sistema operativo al que la gente no está actualizando, para ejecutar un asistente que no pidió, que en su mayor parte no usa la NPU.

Tampoco es donde se construye la IA. La gente que se dedica a esto vive en Linux, porque ahí es donde corren sus herramientas. TensorFlow dice claramente que la 2.10 «was the last TensorFlow release that supported GPU on native-Windows»30. El servidor de modelos vLLM «does not support Windows natively»31. JAX lista su versión para Fisher-Price OS (Windows) como experimental, y su soporte de AMD como «AMD GPU (Linux)»32. Donde el Fisher-Price OS (Windows) sí ejecuta estas herramientas, es a través de WSL 2, que según la propia descripción de Microsoft es «an actual Linux kernel inside a managed VM»33. AMD apuntó su chip de IA al único escritorio que la profesión de la IA no usa. Darle soporte a medias no basta, AMD.

Y luego AMD se vende a los inversores como empresa de IA. El 11 de noviembre de 2025 su presidenta y consejera delegada dijo que AMD «is uniquely positioned to lead the next generation of high-performance and AI computing», en un comunicado que presume de haber hecho crecer su «AI PC portfolio 2.5x since 2024» y que se despide con «full-stack AI solutions»34. Pila completa. En el PC con IA de este artículo, la parte de arriba de esa pila vino de un proyecto que AMD no empezó, y en la primera generación nunca llegó. ¿Una empresa de IA cuyo propio chip de IA esperó tres años para ejecutar IA en el sistema operativo sobre el que está construido su negocio de centro de datos? De risa.

El soporte de primera clase es fácil de describir. Funciona el día que compras la máquina, en el sistema operativo que usas, de la empresa que te vendió el chip. Esta NPU todavía no lo ha cumplido. Compré el portátil por todo lo demás y la NPU vino con él, que es la única razón de que esto sea un artículo y no una queja. Cualquiera que comprara uno por la IA de la pegatina, y use Linux, compró una promesa que se cumplió tarde, y la cumplió otro.

Sé dueño del silicio que pagaste

La NPU venía con el portátil. Tal como se vende, es la pieza que deja la máquina lista para la IA, y la IA que se ofrece es la de otro, en el centro de datos de otro, leyendo lo que tecleas para poder cobrarse de alguna otra manera. Nada del hardware necesita ese arreglo. Un modelo 4B a 21 W responde una pregunta, lee un texto pegado de 175 000 palabras si le das tiempo, y pone por escrito lo que dices, y nada de eso sale de la mesa.

Software terminado no es, y cada arista de arriba costó una hora encontrarla y una línea o dos arreglarla. Eso es lo que cuesta el código abierto cuando de verdad lo usas. Sigue siendo mejor trato que volver a alquilar la misma capacidad, y la hora te compra saber cómo funciona.

Los contenedores lo mantienen honrado. Nada en el host salvo un módulo del kernel y su firmware, un dispositivo pasado a un contenedor, una dirección a la que nadie más puede llegar, y una comprobación que falla en cuanto las piezas dejan de coincidir. Me llevó un día. Seguirá funcionando, porque sé por qué está ahí cada línea y la comprobación me avisará la mañana en que una de ellas deje de ser cierta.


  1. AMD — Ryzen AI 7 PRO 350 — 8 núcleos, 16 hilos, Radeon 860M, «NPU TOPS: Up to 50 TOPS», fecha de lanzamiento «3/27/2025». ↩︎ ↩︎ ↩︎

  2. Lemonade — LLMs on Linux with FastFlowLM — solo XDNA2 (Ryzen AI 300/400, Strix Halo), no XDNA1; firmware de NPU 1.1.0.0 o posterior; no fijar amd_iommu=off. ↩︎ ↩︎ ↩︎ ↩︎

  3. Linux kernel documentation — amdxdna — el driver de acelerador del árbol para las NPU de AMD. ↩︎

  4. amd/xdna-driver — driver, submódulo XRT y plugin; compila el paquete base de XRT desde el submódulo incluido para que funcione con el plugin; repositorio creado el 25 de enero de 2024. ↩︎ ↩︎

  5. Linux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c — AMDXDNA_DRIVER_MAJOR 0, AMDXDNA_DRIVER_MINOR 10; lo mismo en la v7.2. ↩︎

  6. ROCm/FastFlowLM — runtime de LLM en NPU para XDNA2, servidor compatible con OpenAI, parte de ROCm desde la v1.0.0; la versión usada aquí es la v1.0.12. ↩︎ ↩︎

  7. FastFlowLM — LICENSE_BINARY.txt — condiciones para los binarios de kernels de NPU incluidos. ↩︎

  8. RPM 6.0.0 release notes — «RPM defaults to enforcing signature checking». ↩︎

  9. podman-systemd.unit(5) — unidades .container de Quadlet, incluidas AddDevice=, Ulimit=, StopSignal= y Exec=. ↩︎

  10. loginctl(1) — enable-linger arranca un gestor de usuario con el sistema y lo mantiene en marcha tras cerrar sesión. ↩︎

  11. Qwen/Qwen3.5-4B — «Context Length: 262,144 natively»; capas híbridas de Gated DeltaNet y atención con compuerta. ↩︎

  12. ggml-org/llama.cpp — la imagen de contenedor server-vulkan usada para las ejecuciones en GPU, build 12352. ↩︎

  13. mlc-ai/mlc-llm — probado con los paquetes nightly 0.26. ↩︎

  14. openai/whisper-large-v3-turbo — «a state-of-the-art model for automatic speech recognition (ASR) and speech translation»; podado a partir de large-v3, «the number of decoding layers have reduced from 32 to 4»; 809M parámetros; licencia MIT. ↩︎

  15. open-webui/open-webui — versión v0.13.3 usada aquí. ↩︎

  16. Qwen/Qwen2.5-7B-Instruct — tokenizer_config.json — el mensaje de sistema por defecto de la plantilla de chat: «You are Qwen, created by Alibaba Cloud. You are a helpful assistant.» ↩︎

  17. Qwen/Qwen3-4B — tokenizer_config.json — plantilla de chat sin mensaje de sistema por defecto. ↩︎

  18. Qwen/Qwen3.5-4B — tokenizer_config.json — plantilla de chat sin mensaje de sistema por defecto. ↩︎

  19. AMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 4 de enero de 2023: «AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.» ↩︎

  20. Kernel Newbies — Linux 6.14 — publicado el lunes 24 de marzo de 2025; «an amdxdna driver for AMD NPUs». ↩︎

  21. FastFlowLM v0.9.35 release notes — 11 de marzo de 2026: «The wait is finally over… FastFlowLM is officially available natively on Linux!» ↩︎ ↩︎

  22. AMD — Ryzen AI Software release notes — problemas conocidos: «Model generation is not supported on Linux in this release.» ↩︎

  23. TOP500 — June 2026 — «LineShine debuts as the new No. 1 system, ending El Capitan’s run atop the list»; El Capitan «is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators». ↩︎

  24. LLNL — TOSS: Speeding Up Commodity Cluster Computing — «a fully functional cluster operating system, based on Red Hat Linux». ↩︎

  25. AMD — Alveo V70 — «the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency». ↩︎

  26. Linux — accel/amdxdna: Add basic support for AIE4 devices — «Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement». La tabla del driver da entradas de función virtual solo a esas piezas; la NPU de este portátil es 17f0. ↩︎

  27. AMD — AMD Unveils Next-Gen “Zen 5” Ryzen Processors to Power Advanced AI Experiences — Computex, 2 de junio de 2024: «AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs». ↩︎

  28. Engadget — Microsoft’s Copilot+ AI PC plan fizzled, but it still served a purpose — 5 de diciembre de 2025: los sistemas Copilot+ «made up just 2.3 percent of Windows machines sold in the first quarter of 2025»; «only one of its new AI capabilities actually requires an NPU». ↩︎

  29. Windows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 31 de julio de 2026, citando la presentación de resultados de Microsoft: «Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand»; «roughly 30% of the installed base still on Windows 10». ↩︎

  30. TensorFlow — Install TensorFlow with pip — «TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.» ↩︎

  31. vLLM — GPU installation — «vLLM does not support Windows natively». ↩︎

  32. JAX — Installation — wheels de CPU para «Windows, x86_64 (experimental)»; secciones de GPU para NVIDIA, Google Cloud TPU, Mac y «AMD GPU (Linux)». ↩︎

  33. Microsoft — Comparing WSL versions — «the use of an actual Linux kernel inside a managed VM». ↩︎

  34. AMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — Financial Analyst Day, 11 de noviembre de 2025: «AMD is uniquely positioned to lead the next generation of high-performance and AI computing»; «AMD has expanded its AI PC portfolio 2.5x since 2024»; «AMD delivers full-stack AI solutions». ↩︎