50 TOPS a fazer nada

Todos os portáteis Ryzen AI vendidos nos últimos dois anos têm lá dentro uma Neural Processing Unit (NPU), um bloco de silício feito apenas para a matemática por trás dos modelos de IA. No meu, um ThinkPad com um Ryzen AI 7 PRO 350, a AMD classifica-a em até 50 TOPS, biliões de operações por segundo1. Pagaste por ela. Numa instalação Linux de base não faz nada.

Isso mudou este ano. Depois de configurada, a NPU corre um modelo de linguagem de 4 mil milhões de parâmetros por trás de uma janela de chat, mais voz para texto, tudo no portátil, sem conta, sem subscrição e sem nada a sair da máquina, o que, para tudo o que preferias não escrever no site de outra pessoa, é exatamente o objetivo. O chip inteiro consome cerca de 21 W enquanto responde, e em repouso fica abaixo dos 9 W.

O que correOndeEndereço
Qwen 3.5 4B, contexto de 256k tokensNPU, num contentorhttp://[::1]:52625/v1
Voz para texto: o Whisper da OpenAI, whisper-v3:turboNPU, mesmo contentoro mesmo, /audio/transcriptions
Open WebUI, a página de chatCPU, num contentorhttp://[::1]:3000
driver de kernel amdxdna, firmwarehost/dev/accel/accel0

Duas regras moldaram a construção. Só o driver do kernel e o seu firmware vão para o host; todas as frameworks de modelos correm num contentor podman rootless. E todos os serviços escutam apenas no loopback IPv6, sem nada em IPv4. Ambas acabaram por dar menos trabalho do que fazer as coisas à trouxe-mouxe, e ambas apanharam problemas que de outra forma eu teria deixado passar.

O que é preciso em Linux

A NPU deste chip é o design de segunda geração da AMD, XDNA2. Isso importa, porque o software que corre modelos de linguagem nela suporta peças XDNA2 (séries Ryzen AI 300 e 400, Strix Halo) e não a primeira geração dos Ryzen 7040 e 80402. Verifica a tua antes de começares:

$ lspci -nn | grep -i 'neural\|signal processing'
c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20)

Há quatro camadas entre esse dispositivo e uma resposta no chat, e a divisão entre host e contentor é todo o design:

CamadaO que éVive em
amdxdnadriver de kernel, cria /dev/accel/accel03host, via DKMS
Firmware da NPUnpu_7.sbin, 1.1.2.64 neste chiphost, do linux-firmware
XRT + plugin amdxdnaa biblioteca de runtime da AMD e o seu backend para a NPUcontentor
FastFlowLMo runtime de LLM, kernels da NPU incluídoscontentor
O que vive no host e o que vive num contentorPodman rootless, recompilado quando eu quiserOpen WebUIpágina de chat, no CPU[::1]:3000FastFlowLM[::1]:52625XRT + plugin da NPUajustado ao commit do driverHost: o módulo de kernel e o seu firmware, mais nadaSem XRT, sem runtime, sem modelos.Um nó de dispositivo é tudo o quepassa para o contentor.módulo amdxdna, compilado pelo DKMSnpu_7.sbinNPU XDNA2/dev/accel/accel0
A divisão. Tudo o que muda com frequência vive num contentor; o host fica com um módulo de kernel e o seu firmware, e um único nó de dispositivo é a única coisa que atravessa.

O kernel 7.x traz o amdxdna na árvore, mas a AMD desenvolve-o primeiro no seu próprio repositório, e o plugin de espaço de utilizador tem de corresponder ao módulo de kernel com que fala4. A distância entre os dois não é pequena. Neste portátil:

Na árvore, 7.2.15 e 7.3.3 do FedoraFora da árvore, amd/xdna-driver em 24dfd686
Interface do driver0.1050.19
Versão do módulonenhuma2.27.0_20261113
IDs PCI de NPU que associa68
Ficheiros de firmware que pede759
Firmware que este chip carrega17f0_10/npu_7.sbin, 1.1.2.64o mesmo ficheiro

Nove versões de interface de diferença, e o Linux 7.3, a versão mais recente, ainda traz a 0.10. A única coisa em que concordam é o firmware, e esse vem do linux-firmware do Fedora, não de nenhum dos drivers. Por isso compilo as duas metades a partir de um só commit do amd/xdna-driver, ponho o módulo no host e meto o espaço de utilizador correspondente na imagem.

O driver: compila tudo, fica só com a parte do kernel

O amd/xdna-driver traz o XRT como submódulo git, e compilá-lo produz RPMs para o XRT e um pacote de plugin. O pacote de plugin também traz o código-fonte do driver, que regista no DKMS (Dynamic Kernel Module Support, a coisa que recompila um módulo para cada kernel novo). Nada disto é difícil:

git clone --recursive https://github.com/amd/xdna-driver.git && cd xdna-driver
sudo ./tools/amdxdna_deps.sh
(cd xrt/build && ./build.sh -npu -opt)    # XRT RPMs in xrt/build/Release/
(cd build && ./build.sh -release)         # plugin RPM, driver source inside

No Fedora 45 o script de dependências termina num erro. Ignora-o:

PedeO que aconteceImporta?
protobuf-develentra em conflito com um protobuf3-compiler instaladonão, sem ele o XRT só salta uma ferramenta de tracing
redhat-lsbnão existe tal pacote, o Fedora deixou-o cairnão
tudo o restojá instalado

A última versão com tag lá é de fevereiro, por isso o main é o canal de lançamento. Passei de uma compilação de maio para a de novembro: 550 commits, XRT 2.23 para 2.27.

O upgrade apaga o driver que acabou de instalar

A minha primeira tentativa de upgrade levou o módulo por completo. O RPM corre o script de instalação do pacote novo, que compila e regista o novo driver no DKMS, e depois corre o script de remoção do pacote antigo. Esse script de remoção lê a versão do driver de um ficheiro que o pacote novo já sobrescreveu, por isso desregista a versão que acabou de ser instalada. A saída do dnf di-lo em duas linhas, uma a seguir à outra:

>>> Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0
>>> Removing driver source: xrt-amdxdna/2.27.0...

Nada falhou, nada ficou a vermelho, e o arranque seguinte teria carregado discretamente o que quer que o kernel trouxesse em vez dele. Posso perguntar porque é que um script de remoção corre num upgrade sem verificar se é um upgrade? O RPM entrega essa resposta a cada scriptlet como primeiro argumento. É um if.

Como um upgrade RPM desregista o driver que acabou de instalarUm dnf upgrade, pela ordem em que o RPM o corre%post novocompila a 2.27,regista-a no DKMS2.27 no DKMSficheiros novos chegamo ficheiro de versãodiz agora 2.272.27 no DKMS%preun antigolê esse ficheiro,desregista a 2.272.27 desaparecearranque seguinteo módulo da árvorecarrega, sem avisonão a compilação que fizesteO DKMS tem:A correção é um teste. Um scriptlet %preun recebe $1 = 1 num upgrade e $1 = 0 numa remoção.Só uma remoção devia desregistar alguma coisa.
A ordem pela qual o RPM executa um upgrade. O pacote novo regista o seu driver, depois o pacote antigo desregista o que quer que o ficheiro de versão partilhado indique, que nessa altura já é o novo.

É também a razão pela qual o host já não recebe os RPMs de todo. O código-fonte do driver é um tarball dentro do pacote de plugin, por isso tiro-o de lá e entrego-o diretamente ao DKMS:

T=$(mktemp -d) && rpm2cpio xrt_plugin*.rpm | (cd $T && cpio -idm --quiet)
D=$T/opt/xilinx/xrt/share/amdxdna
sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0
sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0
sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/
sudo dkms install xrt-amdxdna/2.27.0
sudo modprobe -r amdxdna; sudo modprobe amdxdna

Sem reinício. É Linux, e nada tem o dispositivo aberto nesse momento, por isso o módulo troca a quente. O DKMS depois recompila-o para cada kernel que o dnf instala; quando o 7.3.3 chegou, já estava compilado antes de eu ter reiniciado para ele.

O driver vai diretamente para o DKMSDo pacote a um módulo carregado, sem instalar o pacoteRPM do plugino código do driveré um tarball lá dentro/usr/srctarball extraído,dkms.conf ao ladodkms installcompila o módulopara este kernelmodprobe -rdepois modprobe:a quente, sem reinícioo dnf instala um kernel novoo DKMS recompila antes de reiniciares para eleo rpm2cpio tira o tarball de lá.O host nunca recebe os RPMs,por isso nenhum script de pacote corre lá.
O driver passa do pacote para o DKMS sem o pacote alguma vez ser instalado, por isso nenhum script de empacotamento corre no host.

Verifica que foi a compilação DKMS que carregou e não a da árvore, e que o firmware é suficientemente recente. O FastFlowLM quer 1.1.0.0 ou posterior2:

$ modinfo -F filename amdxdna
/lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz
$ cat /sys/bus/pci/drivers/amdxdna/*/fw_version
1.1.2.64
$ journalctl -k | grep 'Initialized amdxdna'
[drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0

O DKMS põe de lado o módulo do próprio kernel em vez de o apagar, em /var/lib/dkms/xrt-amdxdna/original_module/, por isso retirar a compilação DKMS repõe-no.

Mais uma coisa em que não deves mexer: amd_iommu=off na linha de comandos do kernel desativa a NPU2.

FastFlowLM num contentor

O FastFlowLM é o runtime que torna a NPU útil para modelos de linguagem. É uma linha de comandos ao estilo do Ollama e um servidor compatível com OpenAI, escrito para XDNA2, e passou para a organização ROCm da AMD este ano6. O runtime tem licença MIT. Os kernels da NPU que traz são binários fechados, livres de usar e redistribuir sem modificações7. Preferia que fossem abertos, e digo-o, mas estão no repositório e nada tem de ser descarregado de mais lado nenhum.

A imagem são três fases sobre o Fedora 45: o XRT da compilação do driver, o FastFlowLM compilado contra ele, e depois um runtime só com o que precisa. A parte que importa:

FROM registry.fedoraproject.org/fedora:45 AS xrt
ARG XDNA_COMMIT
COPY dist/xdna-${XDNA_COMMIT}/ /rpms/
RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \
 && rpm -i --noscripts --nodeps --nosignature \
        --excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \
        /rpms/xrt_plugin*.rpm \
 && echo /opt/xilinx/xrt/lib64 > /etc/ld.so.conf.d/xrt.conf && ldconfig

Cada uma dessas flags está lá porque algo partiu sem ela:

ProblemaCorreção
Os scripts do plugin compilam um módulo de kernel, que pertence ao host--noscripts, e o código-fonte do driver e o firmware excluídos
O RPM 6 do Fedora 45 impõe a verificação de assinaturas por predefinição8, e um RPM compilado por mim não está assinado--nosignature: compilei-o eu, sei de onde veio
As bibliotecas do XRT estão em lib64, que não está no caminho do linker/etc/ld.so.conf.d/xrt.conf dentro da imagem
O FastFlowLM encontra o XRT através do pkg-config, e o setup.sh do XRT não define o caminhoPKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig na fase de compilação

A imagem final tem 609 MB, e a sua tag traz o commit do driver, fastflowlm:v1.0.12-xdna24dfd686. Uma verificação de saúde compara-o com o commit que o módulo carregado reporta e falha se forem diferentes. Uma imagem compilada para o driver errado é a única avaria aqui que é realmente confusa de diagnosticar, por isso é apanhada antes de chegar tão longe.

Como a imagem do FastFlowLM é compilada e verificadaTrês fases sobre o Fedora 45fase 1: xrtRPMs do XRT e do plugin,sem scripts, sem firmwarefase 2: buildFastFlowLM compiladocontra esse XRTfase 3: runtimesó o que precisa,609 MBVerificação de saúde: a imagem e o host têm de concordara tag da imagem dizv1.0.12-xdna24dfd686=o módulo carregado diz24dfd686Diferentes: unhealthy, antes de tudo ficar confuso.
Três fases de compilação, e uma verificação de saúde que amarra a imagem ao driver para o qual foi compilada.

O contentor recebe um dispositivo, a NPU, e o limite de memory-lock de que o FastFlowLM precisa para fixar os seus buffers:

podman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \
  localhost/fastflowlm:v1.0.12-xdna24dfd686 validate
[Linux]  NPU: /dev/accel/accel0 with 8 columns
[Linux]  NPU FW Version: 1.1.2.64
[Linux]  Memlock Limit: infinity

O autoteste da própria AMD, xrt-smi validate, pôs a NPU nos 51 TOPS numa multiplicação de matrizes. São os 50 da caixa, entregues.

Arrancar com o sistema, só em IPv6

O Quadlet transforma um pequeno ficheiro .container num serviço systemd9. Como unidade de utilizador corre rootless, como eu, e com o lingering ligado arranca com o sistema sem ninguém com sessão iniciada10:

[Unit]
Description=FastFlowLM NPU server
ConditionPathExists=/dev/accel/accel0

[Container]
Image=localhost/fastflowlm:v1.0.12-xdna24dfd686
AddDevice=/dev/accel/accel0
Ulimit=memlock=-1:-1
Network=host
Volume=%h/.config/flm:/models:Z
Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo
StopSignal=SIGINT

[Install]
WantedBy=default.target
loginctl enable-linger $USER
cp fastflowlm.container ~/.config/containers/systemd/
systemctl --user daemon-reload && systemctl --user start fastflowlm

-c 262144 define a janela de contexto, e o teste de contexto mais abaixo é a razão de ser tão grande. -a whisper-v3:turbo carrega um segundo modelo ao lado do modelo de chat, um que transforma voz em texto; tem a sua própria secção.

Três linhas ali foram aprendidas à custa de erros:

LinhaSem ela
StopSignal=SIGINTo FastFlowLM ignora o SIGTERM, o sinal de paragem do podman, e é morto dez segundos depois
--host ::1escuta em 127.0.0.1, IPv4
::1, não [::1]a forma com parênteses retos não é interpretada; os parênteses pertencem a um URL

Prova o endereço em vez de confiares nele:

$ ss -ltn 'sport = :52625'
LISTEN 0  4096  [::1]:52625  [::]:*
$ curl -s http://127.0.0.1:52625/v1/models || echo refused
refused

localhost continua a funcionar para tudo o que o resolva primeiro para ::1, o que o /etc/hosts do Fedora e o Chrome fazem.

Ordem de arranque e os únicos endereços que respondemArranca com o sistemagestor de utilizador no arranqueloginctl enable-lingerQuadletficheiro .container num serviçodois serviços de utilizadorfastflowlm, open-webuiQuem lhe cheganavegadorOpen WebUI[::1]:3000FastFlowLM[::1]:52625127.0.0.1recusadoNPU
O lingering inicia o gestor de utilizador no arranque, o Quadlet cria os serviços, e todos os endereços que respondem estão no loopback IPv6.

O que faz, medido

Nove modelos pelo benchmark do próprio FastFlowLM, sendo a descodificação a velocidade a que a resposta flui:

ModeloDescodificação, contexto 1kDescodificação, contexto 8kLeitura do prompt, 8k
llama3.2:1b77 tok/s56 tok/s2009 tok/s
qwen3.5:2b32291533
llama3.2:3b3020857
phi4-mini-it:4b2517744
qwen3:4b2315613
qwen3.5:4b1715657
gemma4-it:e4b1412642
qwen3:8b1310418
qwen3.5:9b1110451
Velocidade de descodificação por modelo, face ao ritmo de leituraDescodificação com contexto de 1k, tokens por segundoritmo de leitura, 5 a 8 tokens por segundollama3.2:1b77qwen3.5:2b32llama3.2:3b30phi4-mini-it:4b25qwen3:4b23qwen3.5:4b17 o que eu corrogemma4-it:e4b14qwen3:8b13qwen3.5:9b11
Descodificação com contexto de 1k. Todos os modelos passam o ritmo de leitura; a velocidade cai mais ou menos para metade quando o modelo duplica.

O ritmo de leitura é de cinco a oito tokens por segundo, por isso qualquer um destes vai à tua frente. A descodificação cai mais ou menos para metade cada vez que o modelo duplica, que é o que se espera quando o limite é a largura de banda da memória e não o cálculo. Eu corro o qwen3.5:4b. O Phi-4 mini é mais rápido, mas o Qwen 3.5 mantém a velocidade à medida que a conversa cresce, lida com imagens e chamadas de ferramentas, e mantém uma cache de prompt que poupa a releitura de todo o histórico a cada vez. É isso que decide.

256 000 tokens de contexto

O Qwen 3.5 foi feito para uma janela de 262 144 tokens11, e o FastFlowLM usa 32 768 por predefinição. Para lá desse limite faz uma coisa que vale a pena saber: regista Max length reached, stopping prefilling e fecha a ligação sem resposta e sem erro, por isso a janela de chat fica ali parada com uma resposta vazia e tens de adivinhar se quem caiu foi o modelo, o servidor ou o navegador.

Por isso subi-o com -c 262144 e testei-o como deve ser. Um código escondido na primeira linha de um prompt de 232 250 tokens, cerca de 175 000 palavras, pedido no fim:

Contexto 8kContexto 232k
Respostacorretacorreta, AMBER-FALCON-7731
Leitura do prompt657 tok/s210 tok/s
Espera pela primeira palavra12 segundos18,4 minutos
Descodificação15 tok/s2,4 tok/s
Memória reservada~5 GB~12,7 GB

Funciona. É lento. E a memória fica reservada quer uses a janela quer não. Com 90 GB na máquina, pago isso para ter uma colagem longa respondida em vez de silenciosamente descartada.

A GPU pode ajudar?

O mesmo chip tem uma Radeon 860M, por isso a pergunta óbvia é se pode ficar com parte da carga. Dividir um modelo entre a NPU e a GPU, lendo o prompt numa e escrevendo a resposta na outra, não é algo que algum runtime Linux faça hoje. Correr um segundo runtime na GPU é, por isso medi isso.

«Eficiente» aqui significa velocidade e energia juntas. O driver amdgpu reporta a potência do pacote para o chip inteiro sem root, e o driver amdxdna reporta a NPU sozinha, por isso cada execução abaixo foi amostrada quatro vezes por segundo. O mesmo modelo a 4 bits em todas.

Dos runtimes de GPU que vi, um funcionou:

RuntimeResultado na 860M
llama.cpp, backend Vulkan12funciona; imagem de 881 MB
llama.cpp, backend ROCmvê a GPU e depois dá segfault no primeiro trabalho, com ou sem um override da versão da GPU; imagem de 23 GB
MLC-LLM, Vulkan13o seu compilador dá segfault ao compilar a arquitetura do Qwen 3.5
vLLM, SGLangnão experimentados: feitos para GPUs de centro de dados e muitos utilizadores, não para uma iGPU de 8 unidades

E a NPU contra o que funcionou:

Qwen 3.5 4BNPU, FastFlowLMGPU, llama.cpp Vulkan
Em repouso, modelo carregado8,6 W16,0 W, contra 9,7 W com ele parado
Leitura do prompt, ~6k tokens557 tok/s a 23,8 W411 tok/s a 46,1 W
Energia por token do prompt0,043 J0,112 J
Descodificação18,2 tok/s a 21,0 W23,5 tok/s a 40,7 W
Energia por token gerado1,16 J1,73 J
NPU contra GPU, o mesmo modeloNPU, FastFlowLMGPU Radeon 860M, llama.cpp Vulkanenergia por token do promptmenos é melhor0,043 J0,112 Jenergia por token da respostamenos é melhor1,16 J1,73 Jrepouso, modelo carregadomenos é melhor8,6 W16,0 Wvelocidade de descodificaçãomais é melhor18,2 tok/s23,5 tok/s
O mesmo modelo, os dois aceleradores, cada barra à escala da maior do seu par. A GPU responde mais depressa; a NPU gasta menos energia em tudo o resto.

A GPU escreve respostas cerca de 29% mais depressa. Queima o dobro da potência para o fazer. A NPU lê prompts mais depressa e com menos de metade da energia. O número maior é o do repouso: o servidor na GPU carregado e sem fazer nada custa 6,3 W acima da mesma máquina com ele parado, o dia inteiro. Correr os dois ao mesmo tempo levou a NPU de 18,2 para 14,2 tokens por segundo e a GPU de 23,5 para 13,9, porque partilham a mesma memória. Por isso o contentor da GPU existe, mas é iniciado quando quero um segundo modelo, e não está ativado no arranque.

A própria NPU consumiu menos de 2 W em todas as execuções. A maior parte dos 21 W é o CPU e a memória a alimentá-la. Esse é o teto a vigiar nas próximas versões do FastFlowLM.

Voz para texto também na NPU

O Whisper é o modelo de reconhecimento de voz da OpenAI: áudio à entrada, texto à saída, em 99 línguas, e lançado sob a licença MIT, por isso corre em qualquer lado sem pedir licença a ninguém14. O Large-v3 é a versão completa atual. O Turbo é o mesmo modelo com o seu descodificador, a metade que escreve o texto, cortado de 32 camadas para 4. O model card põe a troca às claras: «way faster, at the expense of a minor quality degradation». Com 809 milhões de parâmetros, tem um quinto do tamanho do modelo de chat.

O FastFlowLM traz-o já convertido para a NPU como whisper-v3:turbo, um download de 623 MB, e carrega-o ao lado do modelo de chat com -a whisper-v3:turbo. Não serve o Whisper sozinho; tem de haver também um modelo de chat carregado. O áudio vai para o endpoint de transcrição padrão da OpenAI e o texto volta.

19,6 segundos de fala
Primeiro pedido, a carregar o Whisper6,2 s
Depois disso2,0 s, cerca de dez vezes o tempo real
Potência do chip inteiro~24,7 W
Precisãotodas as palavras certas

Escritas com as falsas grafias inglesas americanas, atenção: «color» e «program». A API do Whisper aceita um prompt, e um prompt escrito na verdadeira grafia do inglês britânico, o inglês de Inglaterra, de onde a língua vem, chega para o corrigir:

curl -s 'http://[::1]:52625/v1/audio/transcriptions' -F file=@speech.wav \
  -F model=whisper-v3:turbo -F language=en \
  -F 'prompt=British English spelling: colour, programme, organise, centre.'

Não devíamos ter de corrigir estes modelos de todo. O Whisper foi treinado em 99 línguas e mesmo assim escreve inglês à americana a menos que lhe digam o contrário, porque as pessoas que o construíram tratam a sua grafia como a predefinição e a de toda a gente como uma opção que tens de pedir. É o irritante «por defeito, à americana» que o resto do mundo detesta, e está embutido como um enviesamento. O prompt de sistema do modelo de chat leva a mesma instrução, na secção abaixo, pela mesma razão.

Uma janela de chat, e 7000 tokens que nunca escreveste

O Open WebUI é o front end no navegador15, no seu próprio contentor, ligado a [::1]:3000 da mesma forma e apontado à NPU. O seu botão de microfone vai para o Whisper na NPU em vez da sua própria predefinição, que teria descarregado um modelo e corrido no CPU.

A primeira mensagem que lhe enviei tinha vinte palavras. Chegou à NPU como um prompt de 7223 tokens, porque o Open WebUI 0.13 anexa as definições de todas as suas ferramentas incorporadas (memória, notas, calendário, automatizações, pesquisa na web) a cada mensagem, e um administrador recebe todas elas.

A mesma pergunta de vinte palavrasPrompt enviado à NPUEspera pela primeira palavra
Ferramentas incorporadas ligadas, a predefinição7223 tokens~12 s
Ferramentas incorporadas desligadas para o modelo127 tokensmenos de 1 s
De onde vieram 7000 tokensescrevesvinte palavraso Open WebUI acrescentatodas as definições de ferramentasa NPU lêtudo, em cada mensagemPrompt enviado à NPUferramentas ligadas, a predefinição7223 tokens, cerca de 12 s até à primeira palavraferramentas desligadas127 tokens, menos de 1 s
A mesma pergunta de vinte palavras com as ferramentas incorporadas do Open WebUI ligadas e desligadas, desenhada à escala.

Para um modelo local, essa predefinição devia estar desligada. Doze segundos, em cada resposta.

Também me disse, cheio de confiança, que tinha sido «trained by Google» e que corria «on Google’s advanced infrastructure». É um modelo Qwen, feito pela Alibaba, a correr num portátil. Isso é um completo disparate, e não devia acontecer.

Não é da configuração. Um modelo só vê o texto que lhe é enviado, e o nome na lista pendente é uma etiqueta para o servidor, nunca passada ao modelo. Por isso aquela resposta veio só do modelo, e ele errou o único facto sobre si próprio que nunca devia estar em dúvida. Isso é uma falha de design, e fica com quem lançou o modelo.

O nome na lista pendente nunca chega ao modeloO que vêsnome do modelo na lista pendenteprompt de sistema, se o definiresas tuas mensagensuma etiqueta para o servidor, nunca enviadaO que o modelo vêprompt de sistema, se o definiresas tuas mensagenssem nome, sem fabricante, sem máquinaenviadosem prompt de sistema, adivinha
O modelo recebe o prompt de sistema e a conversa. O nome na lista pendente fica com o servidor.

A Alibaba sabia como o impedir. O template de chat do Qwen 2.5 abria cada conversa com «You are Qwen, created by Alibaba Cloud» a menos que lhe desses outra coisa16. O Qwen 3 deixou cair essa linha17, e o Qwen 3.5 também sai sem ela18. Nada a substituiu, e a julgar por aquela resposta o modelo nunca a aprendeu bem o suficiente para se safar sozinho. Pergunta a um modelo 4B «what are you?» sem prompt e ele recorre à resposta mais comum nos seus dados de treino, que é a de outra pessoa.

É uma coisa pequena? Não. Um modelo que te diz, com toda a confiança, quem o construiu e em que centro de dados corre, e erra as duas, fará o mesmo com qualquer outra coisa que não possa verificar. Aqui sabes a resposta certa. Na maioria das vezes não vais saber.

Por isso tem de lhe ser dito, num prompt de sistema:

Pergunta «what are you, and what are you running on?»Resposta
Sem prompt de sistema«a large language model trained by Google… Google’s advanced infrastructure»
Com um«Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350’s NPU via FastFlowLM»

O mesmo prompt diz-lhe para escrever em inglês britânico, outra vez por causa do «por defeito, à americana» que o Whisper também tem. Dito, fá-lo. Continua a não conseguir dizer-te que dia é. Um modelo sem calendário e sem internet adivinha datas e acontecimentos recentes, e nem sempre o diz, peça o prompt o que pedir.

Três anos para correr IA em Linux

A AMD pôs o Ryzen AI em palco em janeiro de 2023 como «the first dedicated artificial intelligence hardware in an x86 processor»19. Conta a partir dessa keynote:

QuandoO que aconteceu em LinuxDepois da keynote
4 de janeiro de 2023Ryzen AI anunciado, no Ryzen 7040
25 de janeiro de 2024amd/xdna-driver publicado no GitHub41 ano
24 de março de 2025amdxdna no Linux mainline, 6.14202 anos e 2 meses
27 de março de 2025este chip, o Ryzen AI 7 PRO 350, é lançado12 anos e 2 meses
11 de março de 2026FastFlowLM 0.9.35, a sua primeira versão nativa para Linux213 anos e 2 meses
11 de agosto de 2026FastFlowLM 1.0.0, agora sob o ROCm da AMD63 anos e 7 meses
hojeainda nenhum runtime de LLM para os 7040 e 804023 anos e 10 meses

Três anos e dois meses para correr um modelo de linguagem na NPU em Linux, ponto, e não foi o software da própria AMD que o fez. Foi o FastFlowLM, um projeto que começou fora da empresa e foi absorvido sob o ROCm este ano. As suas notas de versão para Linux abrem com «The wait is finally over», e depois dizem que usa «the exact same recipe you already know and love on Windows»21. O Fisher-Price OS (Windows) recebeu-o primeiro, e disseram-no. O próprio Ryzen AI Software da AMD ainda diz, nas notas de versão atuais, «Model generation is not supported on Linux in this release»22.

Quem comprou a primeira geração está pior. Um portátil Ryzen 7040 de 2023 tem uma NPU em que nenhum runtime de modelos de linguagem em Linux toca, e nada publicado diz que venha algum. O mesmo emblema.

Posso perguntar porquê? Não quem, porquê. O que é que no processo da AMD deixou vender um chip com IA no nome enquanto o software para usar essa IA em Linux apareceu anos depois, vindo de fora? A ficha técnica diz «Up to 50 TOPS»1. O emblema diz Ryzen AI. Ambas são declarações feitas a quem compra o portátil, e no primeiro ano deste chip em Linux ambas não valeram nada.

Apontado ao Copilot, não ao centro de dados

Não é que a AMD ache o Linux difícil. No centro de dados o Linux é de primeira classe e a AMD sabe-o: o El Capitan, em Lawrence Livermore, são processadores AMD EPYC e aceleradores AMD Instinct, foi o computador mais rápido do mundo até junho deste ano23, e corre o TOSS, a compilação própria de Red Hat Linux de Livermore24. Consegues imaginar a AMD a vender um acelerador Instinct e a dizer ao comprador que o software para Linux viria mais tarde, de outra pessoa? Seria um não. A AMD até escreveu o driver de kernel desta NPU e meteu-o no mainline. A última camada, a que põe o hardware a fazer o trabalho para o qual foi vendido, foi a parte que ficou à espera.

Nunca devia ter sido um projeto de portátil. A mesma arquitetura XDNA foi para uma placa de centro de dados no mesmo ano, a Alveo V70, vendida como «the first Alveo production card leveraging AMD XDNA architecture with AI Engines»25. Constrói uma pilha de software para o AI Engine, Linux primeiro como o resto do centro de dados, e o portátil recebe-a de borla. O servidor também. Um acelerador pequeno e frugal é exatamente o que queres distribuir por máquinas virtuais, uma fatia a cada, para os modelos pequenos que não precisam de uma GPU inteira. O kernel só aprendeu a fazer isso este ano, dividindo uma NPU em funções virtuais nas novas peças AIE426. Na NPU deste portátil não o consegue fazer de todo.

Em vez disso, o esforço foi para o Fisher-Price OS (Windows), e para o Copilot. A AMD lançou a geração deste chip como processadores que «Unlock Transformational AI Experiences for Windows Copilot+ PCs»27. Quase ninguém aderiu. As máquinas Copilot+ foram 2,3% dos PCs Fisher-Price OS (Windows) vendidos no primeiro trimestre de 2025, e as funcionalidades Copilot mais recentes da Microsoft correm na nuvem de qualquer forma: «only one of its new AI capabilities actually requires an NPU»28. A Microsoft também reporta o que ganha com os fabricantes de PCs a cair 7% devido a «lower PC market demand», com «roughly 30% of the installed base still on Windows 10»29. Portanto a NPU foi apontada a um sistema operativo que as pessoas não estão a atualizar, para correr um assistente que não pediram, que na maior parte não usa a NPU.

Também não é onde a IA é construída. As pessoas que fazem isto para ganhar a vida correm Linux, porque é lá que as suas ferramentas correm. O TensorFlow diz claramente que a 2.10 «was the last TensorFlow release that supported GPU on native-Windows»30. O servidor de modelos vLLM «does not support Windows natively»31. O JAX lista a sua compilação para Fisher-Price OS (Windows) como experimental, e o seu suporte AMD como «AMD GPU (Linux)»32. Onde o Fisher-Price OS (Windows) corre de facto estas ferramentas, é através do WSL 2, que pela própria descrição da Microsoft é «an actual Linux kernel inside a managed VM»33. A AMD apontou o seu chip de IA ao único desktop que a profissão de IA não usa. Suportar isso em parte não chega, AMD.

Depois a AMD vende-se aos investidores como uma empresa de IA. A 11 de novembro de 2025, a sua presidente e CEO disse que a AMD «is uniquely positioned to lead the next generation of high-performance and AI computing», num comunicado que se gaba de ter feito crescer o seu «AI PC portfolio 2.5x since 2024» e termina com «full-stack AI solutions»34. Full stack. No PC de IA deste artigo, o topo dessa pilha veio de um projeto que a AMD não começou, e na primeira geração nunca chegou. Uma empresa de IA cujo próprio chip de IA esperou três anos para correr IA no sistema operativo sobre o qual o seu negócio de centro de dados está construído? Ridículo.

O suporte de primeira classe é simples de descrever. Funciona no dia em que compras a máquina, no sistema operativo que corres, vindo da empresa que te vendeu o chip. Esta NPU ainda não chegou lá. Comprei o portátil pelo resto e a NPU veio por arrasto, que é a única razão pela qual isto é um artigo e não uma reclamação. Quem comprou um pela IA do emblema, e corre Linux, comprou uma promessa que foi cumprida tarde, e por outra pessoa.

Sê dono do silício que pagaste

A NPU veio com o portátil. Da forma como é vendida, é a parte que torna a máquina pronta para a IA, e a IA em oferta é a de outra pessoa, no centro de dados de outra pessoa, a ler o que escreves para poder ser paga de outra forma. Nada no hardware precisa desse arranjo. Um modelo 4B a 21 W responde a uma pergunta, lê uma colagem de 175 000 palavras se lhe deres tempo, e escreve o que dizes, e nada disso sai da secretária.

Software acabado não é, e cada aresta por limar acima custou uma hora a encontrar e uma ou duas linhas a corrigir. É isso que o open source custa quando o corres a sério. Continua a ser melhor negócio do que alugar de volta a mesma capacidade, e a hora compra-te saber como funciona.

Os contentores mantêm-no honesto. Nada no host além de um módulo de kernel e o seu firmware, um dispositivo passado a um contentor, um endereço a que mais ninguém chega, e uma verificação que falha no momento em que as peças deixam de corresponder. Levou um dia. Vai continuar a funcionar, porque sei porque é que cada linha lá está e a verificação vai dizer-me na manhã em que uma delas deixar de ser verdade.


  1. AMD — Ryzen AI 7 PRO 350 — 8 núcleos, 16 threads, Radeon 860M, «NPU TOPS: Up to 50 TOPS», data de lançamento «3/27/2025». ↩︎ ↩︎ ↩︎

  2. Lemonade — LLMs on Linux with FastFlowLM — só XDNA2 (Ryzen AI 300/400, Strix Halo), não XDNA1; firmware da NPU 1.1.0.0 ou posterior; não definir amd_iommu=off. ↩︎ ↩︎ ↩︎ ↩︎

  3. Linux kernel documentation — amdxdna — o driver de acelerador na árvore para as NPUs da AMD. ↩︎

  4. amd/xdna-driver — driver, submódulo XRT e plugin; compilar o pacote base do XRT a partir do submódulo incluído para que funcione com o plugin; repositório criado a 25 de janeiro de 2024. ↩︎ ↩︎

  5. Linux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c — AMDXDNA_DRIVER_MAJOR 0, AMDXDNA_DRIVER_MINOR 10; o mesmo na v7.2. ↩︎

  6. ROCm/FastFlowLM — runtime de LLM na NPU para XDNA2, servidor compatível com OpenAI, parte do ROCm desde a v1.0.0; a versão usada aqui é a v1.0.12. ↩︎ ↩︎

  7. FastFlowLM — LICENSE_BINARY.txt — termos para os binários de kernels da NPU incluídos. ↩︎

  8. RPM 6.0.0 release notes — «RPM defaults to enforcing signature checking». ↩︎

  9. podman-systemd.unit(5) — unidades Quadlet .container, incluindo AddDevice=, Ulimit=, StopSignal= e Exec=. ↩︎

  10. loginctl(1) — enable-linger inicia um gestor de utilizador no arranque e mantém-no a correr depois do fim de sessão. ↩︎

  11. Qwen/Qwen3.5-4B — «Context Length: 262,144 natively»; camadas híbridas Gated DeltaNet e de atenção com gating. ↩︎

  12. ggml-org/llama.cpp — a imagem de contentor server-vulkan usada nas execuções na GPU, build 12352. ↩︎

  13. mlc-ai/mlc-llm — testado com os pacotes nightly 0.26. ↩︎

  14. openai/whisper-large-v3-turbo — «a state-of-the-art model for automatic speech recognition (ASR) and speech translation»; podado a partir do large-v3, «the number of decoding layers have reduced from 32 to 4»; 809M parâmetros; licença MIT. ↩︎

  15. open-webui/open-webui — versão v0.13.3 usada aqui. ↩︎

  16. Qwen/Qwen2.5-7B-Instruct — tokenizer_config.json — a mensagem de sistema predefinida do template de chat: «You are Qwen, created by Alibaba Cloud. You are a helpful assistant.» ↩︎

  17. Qwen/Qwen3-4B — tokenizer_config.json — template de chat sem mensagem de sistema predefinida. ↩︎

  18. Qwen/Qwen3.5-4B — tokenizer_config.json — template de chat sem mensagem de sistema predefinida. ↩︎

  19. AMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 4 de janeiro de 2023: «AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.» ↩︎

  20. Kernel Newbies — Linux 6.14 — lançado na segunda-feira, 24 de março de 2025; «an amdxdna driver for AMD NPUs». ↩︎

  21. FastFlowLM v0.9.35 release notes — 11 de março de 2026: «The wait is finally over… FastFlowLM is officially available natively on Linux!» ↩︎ ↩︎

  22. AMD — Ryzen AI Software release notes — problemas conhecidos: «Model generation is not supported on Linux in this release.» ↩︎

  23. TOP500 — June 2026 — «LineShine debuts as the new No. 1 system, ending El Capitan’s run atop the list»; o El Capitan «is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators». ↩︎

  24. LLNL — TOSS: Speeding Up Commodity Cluster Computing — «a fully functional cluster operating system, based on Red Hat Linux». ↩︎

  25. AMD — Alveo V70 — «the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency». ↩︎

  26. Linux — accel/amdxdna: Add basic support for AIE4 devices — «Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement». A tabela do driver dá entradas de funções virtuais apenas a essas peças; a NPU deste portátil é a 17f0. ↩︎

  27. AMD — AMD Unveils Next-Gen “Zen 5” Ryzen Processors to Power Advanced AI Experiences — Computex, 2 de junho de 2024: «AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs». ↩︎

  28. Engadget — Microsoft’s Copilot+ AI PC plan fizzled, but it still served a purpose — 5 de dezembro de 2025: os sistemas Copilot+ «made up just 2.3 percent of Windows machines sold in the first quarter of 2025»; «only one of its new AI capabilities actually requires an NPU». ↩︎

  29. Windows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 31 de julho de 2026, citando a apresentação de resultados da Microsoft: «Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand»; «roughly 30% of the installed base still on Windows 10». ↩︎

  30. TensorFlow — Install TensorFlow with pip — «TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.» ↩︎

  31. vLLM — GPU installation — «vLLM does not support Windows natively». ↩︎

  32. JAX — Installation — wheels de CPU para «Windows, x86_64 (experimental)»; secções de GPU para NVIDIA, Google Cloud TPU, Mac e «AMD GPU (Linux)». ↩︎

  33. Microsoft — Comparing WSL versions — «the use of an actual Linux kernel inside a managed VM». ↩︎

  34. AMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — Financial Analyst Day, 11 de novembro de 2025: «AMD is uniquely positioned to lead the next generation of high-performance and AI computing»; «AMD has expanded its AI PC portfolio 2.5x since 2024»; «AMD delivers full-stack AI solutions». ↩︎