50 TOPS che non fanno niente
Ogni portatile Ryzen AI venduto negli ultimi due anni ha dentro una Neural Processing Unit (NPU), un blocco di silicio costruito solo per la matematica dei modelli di AI. Sul mio, un ThinkPad con un Ryzen AI 7 PRO 350, AMD la dichiara fino a 50 TOPS, migliaia di miliardi di operazioni al secondo1. L’hai pagata. Su un’installazione Linux di serie non fa niente.
Quest’anno è cambiato. Una volta configurata, la NPU fa girare un modello linguistico da 4 miliardi di parametri dietro una finestra di chat, più la trascrizione vocale, tutto sul portatile, senza account, senza abbonamento e senza che nulla lasci la macchina, che per qualunque cosa preferiresti non scrivere nel sito di qualcun altro è esattamente il punto. L’intero chip assorbe circa 21 W mentre risponde, e a riposo sta sotto i 9 W.
| Cosa gira | Dove | Indirizzo |
|---|---|---|
| Qwen 3.5 4B, contesto da 256k token | NPU, in un container | http://[::1]:52625/v1 |
Trascrizione vocale: Whisper di OpenAI, whisper-v3:turbo | NPU, stesso container | lo stesso, /audio/transcriptions |
| Open WebUI, la pagina di chat | CPU, in un container | http://[::1]:3000 |
| driver del kernel amdxdna, firmware | host | /dev/accel/accel0 |
Due regole hanno dato forma alla build. Sull’host vanno solo il driver del kernel e il suo firmware; ogni framework per i modelli gira in un container podman rootless. E ogni servizio ascolta solo sul loopback IPv6, con niente del tutto su IPv4. Entrambe si sono rivelate meno lavoro che fare le cose alla buona, ed entrambe hanno scovato problemi che altrimenti avrei messo in produzione.
Cosa serve su Linux
La NPU di questo chip è il progetto AMD di seconda generazione, XDNA2. Conta, perché il software che ci fa girare i modelli linguistici supporta le parti XDNA2 (serie Ryzen AI 300 e 400, Strix Halo) e non la prima generazione dei Ryzen 7040 e 80402. Controlla la tua prima di cominciare:
$ lspci -nn | grep -i 'neural\|signal processing'
c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20)
Tra quel dispositivo e una risposta in chat ci sono quattro strati, e la divisione tra host e container è tutto il progetto:
| Strato | Cos’è | Dove sta |
|---|---|---|
amdxdna | driver del kernel, crea /dev/accel/accel03 | host, via DKMS |
| Firmware della NPU | npu_7.sbin, 1.1.2.64 su questo chip | host, da linux-firmware |
XRT + plugin amdxdna | la libreria runtime di AMD e il suo backend per la NPU | container |
| FastFlowLM | il runtime LLM, kernel NPU inclusi | container |
Il kernel 7.x include amdxdna nell’albero, ma AMD lo sviluppa prima nel proprio repository, e il
plugin in userspace deve corrispondere al modulo del kernel con cui parla4. Il divario tra i due
non è piccolo. Su questo portatile:
| Nell’albero, 7.2.15 e 7.3.3 di Fedora | Fuori albero, amd/xdna-driver a 24dfd686 | |
|---|---|---|
| Interfaccia del driver | 0.105 | 0.19 |
| Versione del modulo | nessuna | 2.27.0_20261113 |
| ID PCI di NPU che gestisce | 6 | 8 |
| File di firmware che chiede | 7 | 59 |
| Firmware che carica questo chip | 17f0_10/npu_7.sbin, 1.1.2.64 | lo stesso file |
Nove versioni di interfaccia di distanza, e Linux 7.3, l’ultima release, porta ancora la 0.10. L’unica
cosa su cui concordano è il firmware, e quello arriva da linux-firmware di Fedora, non da nessuno dei due
driver. Così compilo entrambe le metà da un solo commit di amd/xdna-driver, metto il modulo sull’host,
e incorporo nell’immagine lo userspace corrispondente.
Il driver: compila tutto, tieni solo la parte del kernel
amd/xdna-driver include XRT come submodule git, e la build produce RPM per XRT e un
pacchetto plugin. Il pacchetto plugin contiene anche il sorgente del driver, che registra con
DKMS (Dynamic Kernel Module Support, quello che ricompila un modulo per ogni nuovo kernel).
Niente di tutto questo è difficile:
git clone --recursive https://github.com/amd/xdna-driver.git && cd xdna-driver
sudo ./tools/amdxdna_deps.sh
(cd xrt/build && ./build.sh -npu -opt) # XRT RPMs in xrt/build/Release/
(cd build && ./build.sh -release) # plugin RPM, driver source inside
Su Fedora 45 lo script delle dipendenze finisce con un errore. Ignoralo:
| Chiede | Cosa succede | Importa? |
|---|---|---|
protobuf-devel | va in conflitto con un protobuf3-compiler installato | no, senza di esso XRT salta solo uno strumento di tracing |
redhat-lsb | il pacchetto non esiste, Fedora l’ha tolto | no |
| tutto il resto | già installato |
L’ultima release con tag lì è di febbraio, quindi main è il canale di rilascio. Sono passato da una
build di maggio a quella di novembre: 550 commit, XRT da 2.23 a 2.27.
L’aggiornamento cancella il driver che ha appena installato
Il mio primo tentativo di aggiornamento ha fatto sparire del tutto il modulo. RPM esegue lo script di
installazione del nuovo pacchetto, che compila e registra il nuovo driver con DKMS, e poi esegue lo script
di rimozione del vecchio pacchetto. Quello script di rimozione legge la versione del driver da un file che il nuovo pacchetto ha
già sovrascritto, quindi deregistra la versione appena installata. L’output di dnf
lo dice in due righe, una dopo l’altra:
>>> Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0
>>> Removing driver source: xrt-amdxdna/2.27.0...
Niente è fallito, niente è diventato rosso, e al boot successivo il kernel avrebbe caricato in silenzio quello
che aveva di serie. Posso chiedere perché uno script di rimozione gira durante un aggiornamento senza controllare se si tratta
di un aggiornamento? RPM passa questa risposta a ogni scriptlet come primo argomento. È un solo if.
È anche il motivo per cui ora l’host non riceve affatto gli RPM. Il sorgente del driver è un tarball dentro il pacchetto plugin, quindi lo tiro fuori e lo do direttamente a DKMS:
T=$(mktemp -d) && rpm2cpio xrt_plugin*.rpm | (cd $T && cpio -idm --quiet)
D=$T/opt/xilinx/xrt/share/amdxdna
sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0
sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0
sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/
sudo dkms install xrt-amdxdna/2.27.0
sudo modprobe -r amdxdna; sudo modprobe amdxdna
Nessun riavvio. È Linux, e a quel punto niente ha il dispositivo aperto, quindi il modulo si sostituisce
a caldo. Poi DKMS lo
ricompila per ogni kernel che dnf installa; quando è arrivato il 7.3.3 era già compilato prima che io
riavviassi per usarlo.
Controlla che sia caricata la build DKMS e non quella nell’albero, e che il firmware sia abbastanza recente. FastFlowLM vuole la 1.1.0.0 o successiva2:
$ modinfo -F filename amdxdna
/lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz
$ cat /sys/bus/pci/drivers/amdxdna/*/fw_version
1.1.2.64
$ journalctl -k | grep 'Initialized amdxdna'
[drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0
DKMS sposta da parte il modulo proprio del kernel invece di cancellarlo, in
/var/lib/dkms/xrt-amdxdna/original_module/, quindi togliere la build DKMS lo rimette al suo posto.
Un’altra cosa da lasciare stare: amd_iommu=off sulla riga di comando del kernel disattiva la NPU2.
FastFlowLM in un container
FastFlowLM è il runtime che rende la NPU utile per i modelli linguistici. È una riga di comando in stile Ollama e un server compatibile con OpenAI, scritto per XDNA2, e quest’anno è passato sotto l’organizzazione ROCm di AMD6. Il runtime è sotto licenza MIT. I kernel NPU che distribuisce sono binari chiusi, liberi da usare e ridistribuire senza modifiche7. Preferirei che fossero aperti, e lo dico, ma sono nel repository e non c’è niente da scaricare da nessun altro posto.
L’immagine è in tre stadi su Fedora 45: XRT dalla build del driver, FastFlowLM compilato contro di esso, poi un runtime con solo quello che serve. La parte che conta:
FROM registry.fedoraproject.org/fedora:45 AS xrt
ARG XDNA_COMMIT
COPY dist/xdna-${XDNA_COMMIT}/ /rpms/
RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \
&& rpm -i --noscripts --nodeps --nosignature \
--excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \
/rpms/xrt_plugin*.rpm \
&& echo /opt/xilinx/xrt/lib64 > /etc/ld.so.conf.d/xrt.conf && ldconfig
Ognuno di quei flag c’è perché senza qualcosa si è rotto:
| Problema | Soluzione |
|---|---|
| Gli script del plugin compilano un modulo del kernel, che va sull’host | --noscripts, ed esclusi sorgente del driver e firmware |
| RPM 6 di Fedora 45 impone la verifica delle firme per default8, e un RPM compilato in proprio non è firmato | --nosignature: l’ho compilato io, so da dove viene |
Le librerie di XRT sono in lib64, che non è nel percorso del linker | /etc/ld.so.conf.d/xrt.conf dentro l’immagine |
FastFlowLM trova XRT tramite pkg-config, e setup.sh di XRT non imposta il percorso | PKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig nello stadio di build |
L’immagine finita pesa 609 MB, e il suo tag porta il commit del driver,
fastflowlm:v1.0.12-xdna24dfd686. Un health check lo confronta con il commit che riporta il modulo
caricato e fallisce se sono diversi. Un’immagine costruita per il driver sbagliato è l’unico guasto
qui davvero difficile da diagnosticare, quindi viene preso prima che arrivi così lontano.
Il container riceve un solo dispositivo, la NPU, e il limite di memory lock di cui FastFlowLM ha bisogno per bloccare i suoi buffer:
podman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \
localhost/fastflowlm:v1.0.12-xdna24dfd686 validate
[Linux] NPU: /dev/accel/accel0 with 8 columns
[Linux] NPU FW Version: 1.1.2.64
[Linux] Memlock Limit: infinity
Il self-test di AMD, xrt-smi validate, ha misurato la NPU a 51 TOPS su una moltiplicazione di matrici. Sono i
50 scritti sulla scatola, consegnati.
Avvio al boot, solo su IPv6
Quadlet trasforma un breve file .container in un servizio systemd9. Come unit utente gira
rootless, come me, e con il lingering attivo parte al boot senza nessuno collegato10:
[Unit]
Description=FastFlowLM NPU server
ConditionPathExists=/dev/accel/accel0
[Container]
Image=localhost/fastflowlm:v1.0.12-xdna24dfd686
AddDevice=/dev/accel/accel0
Ulimit=memlock=-1:-1
Network=host
Volume=%h/.config/flm:/models:Z
Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo
StopSignal=SIGINT
[Install]
WantedBy=default.target
loginctl enable-linger $USER
cp fastflowlm.container ~/.config/containers/systemd/
systemctl --user daemon-reload && systemctl --user start fastflowlm
-c 262144 imposta la finestra di contesto, e il test di contesto più sotto spiega
perché è così grande. -a whisper-v3:turbo carica un secondo modello accanto a quello di chat, uno che
trasforma la voce in testo; ha una sezione tutta sua.
Tre righe lì dentro le ho imparate a mie spese:
| Riga | Senza |
|---|---|
StopSignal=SIGINT | FastFlowLM ignora SIGTERM, il segnale di stop di podman, e viene ucciso dieci secondi dopo |
--host ::1 | ascolta su 127.0.0.1, IPv4 |
::1, non [::1] | la forma con le parentesi non viene interpretata; le parentesi vanno dentro un URL |
Verifica l’indirizzo invece di fidarti:
$ ss -ltn 'sport = :52625'
LISTEN 0 4096 [::1]:52625 [::]:*
$ curl -s http://127.0.0.1:52625/v1/models || echo refused
refused
localhost funziona ancora per qualunque cosa lo risolva prima a ::1, e lo fanno sia /etc/hosts di
Fedora sia Chrome.
Cosa fa, misurato
Nove modelli attraverso il benchmark di FastFlowLM, dove il decode è la velocità con cui scorre la risposta:
| Modello | Decode, contesto 1k | Decode, contesto 8k | Lettura del prompt, 8k |
|---|---|---|---|
llama3.2:1b | 77 tok/s | 56 tok/s | 2.009 tok/s |
qwen3.5:2b | 32 | 29 | 1.533 |
llama3.2:3b | 30 | 20 | 857 |
phi4-mini-it:4b | 25 | 17 | 744 |
qwen3:4b | 23 | 15 | 613 |
qwen3.5:4b | 17 | 15 | 657 |
gemma4-it:e4b | 14 | 12 | 642 |
qwen3:8b | 13 | 10 | 418 |
qwen3.5:9b | 11 | 10 | 451 |
La velocità di lettura è da cinque a otto token al secondo, quindi ognuno di questi ti sta davanti. Il decode
si dimezza grosso modo ogni volta che il modello raddoppia, che è quello che ti aspetti quando il limite è la banda
di memoria e non il calcolo. Io uso qwen3.5:4b. Phi-4 mini è più veloce, ma Qwen 3.5 mantiene la velocità mentre la conversazione cresce,
gestisce immagini e chiamate a strumenti, e tiene una cache del prompt che evita di rileggere tutta la cronologia a
ogni turno. È questo che decide.
256.000 token di contesto
Qwen 3.5 è costruito per una finestra da 262.144 token11, e FastFlowLM di default usa 32.768. Oltre quel
limite fa una cosa che vale la pena sapere: scrive nel log Max length reached, stopping prefilling
e chiude la connessione senza risposta e senza errore, così la finestra di chat resta lì con una risposta
vuota e ti tocca indovinare se è caduto il modello, il server o il browser.
Così l’ho alzato con -c 262144 e l’ho testato come si deve. Un codice nascosto nella prima riga di un
prompt da 232.250 token, circa 175.000 parole, richiesto alla fine:
| Contesto 8k | Contesto 232k | |
|---|---|---|
| Risposta | corretta | corretta, AMBER-FALCON-7731 |
| Lettura del prompt | 657 tok/s | 210 tok/s |
| Attesa della prima parola | 12 secondi | 18,4 minuti |
| Decode | 15 tok/s | 2,4 tok/s |
| Memoria riservata | ~5 GB | ~12,7 GB |
Funziona. È lento. E la memoria viene riservata che tu usi la finestra o no. Con 90 GB nella macchina lo pago volentieri pur di avere una risposta a un lungo incolla invece di vederlo scartato in silenzio.
La GPU può aiutare?
Lo stesso chip ha una Radeon 860M, quindi la domanda ovvia è se può prendersi una parte del carico. Dividere un solo modello tra NPU e GPU, leggendo il prompt su una e scrivendo la risposta sull’altra, oggi non lo fa nessun runtime su Linux. Far girare un secondo runtime sulla GPU sì, quindi ho misurato quello.
«Efficiente» qui significa velocità ed energia insieme. Il driver amdgpu riporta la potenza del package per
l’intero chip senza root, e il driver amdxdna riporta la NPU da sola, quindi ogni prova
qui sotto è stata campionata quattro volte al secondo. Stesso modello a 4 bit in tutte.
Dei runtime per GPU che ho guardato, uno ha funzionato:
| Runtime | Risultato sulla 860M |
|---|---|
| llama.cpp, backend Vulkan12 | funziona; immagine da 881 MB |
| llama.cpp, backend ROCm | vede la GPU, poi va in segfault al primo lavoro, con o senza override della versione GPU; immagine da 23 GB |
| MLC-LLM, Vulkan13 | il suo compilatore va in segfault costruendo l’architettura Qwen 3.5 |
| vLLM, SGLang | non provati: fatti per GPU da data centre e molti utenti, non per una iGPU da 8 unità |
E la NPU contro quello che ha funzionato:
| Qwen 3.5 4B | NPU, FastFlowLM | GPU, llama.cpp Vulkan |
|---|---|---|
| A riposo, modello caricato | 8,6 W | 16,0 W, contro 9,7 W con il server fermo |
| Lettura del prompt, ~6k token | 557 tok/s a 23,8 W | 411 tok/s a 46,1 W |
| Energia per token di prompt | 0,043 J | 0,112 J |
| Decode | 18,2 tok/s a 21,0 W | 23,5 tok/s a 40,7 W |
| Energia per token generato | 1,16 J | 1,73 J |
La GPU scrive le risposte circa il 29% più in fretta. Ci brucia il doppio della potenza. La NPU legge i prompt più in fretta e con meno della metà dell’energia. Il numero più grosso è quello a riposo: il server sulla GPU caricato e fermo costa 6,3 W in più della stessa macchina con il server spento, tutto il giorno. Farli girare entrambi insieme ha portato la NPU da 18,2 a 14,2 token al secondo e la GPU da 23,5 a 13,9, perché condividono la stessa memoria. Per questo il container per la GPU esiste, ma lo avvio quando voglio un secondo modello, e non è abilitato al boot.
La NPU in sé ha assorbito meno di 2 W in ogni prova. La maggior parte dei 21 W è la CPU e la memoria che la alimentano. È quello il limite da tenere d’occhio nelle prossime release di FastFlowLM.
Anche la trascrizione vocale sulla NPU
Whisper è il modello di riconoscimento vocale di OpenAI: audio in ingresso, testo in uscita, in 99 lingue, e rilasciato sotto licenza MIT, quindi gira ovunque senza chiedere niente a nessuno14. Large-v3 è la versione completa attuale. Turbo è lo stesso modello con il decoder, la metà che scrive il testo, ridotto da 32 strati a 4. La model card mette lo scambio in chiaro: «way faster, at the expense of a minor quality degradation». Con 809 milioni di parametri è un quinto del modello di chat.
FastFlowLM lo distribuisce già convertito per la NPU come whisper-v3:turbo, un download da 623 MB, e
lo carica accanto al modello di chat con -a whisper-v3:turbo. Whisper da solo non lo serve;
deve esserci anche un modello di chat caricato. L’audio va al normale endpoint di trascrizione di OpenAI
e il testo torna indietro.
| 19,6 secondi di parlato | |
|---|---|
| Prima richiesta, con il caricamento di Whisper | 6,2 s |
| Dopo | 2,0 s, circa dieci volte il tempo reale |
| Potenza dell’intero chip | ~24,7 W |
| Precisione | ogni parola giusta |
Scritto però con l’ortografia finta dell’inglese americano: «color» e «program». L’API di Whisper accetta un prompt, e un
prompt scritto nella vera ortografia dell’inglese britannico, l’inglese dell’Inghilterra da cui la lingua
viene, basta a sistemarlo:
curl -s 'http://[::1]:52625/v1/audio/transcriptions' -F file=@speech.wav \
-F model=whisper-v3:turbo -F language=en \
-F 'prompt=British English spelling: colour, programme, organise, centre.'
Non dovremmo dover correggere questi modelli per niente. Whisper è stato addestrato su 99 lingue e ancora scrive l’inglese all’americana a meno che non gli si dica altrimenti, perché chi l’ha costruito tratta la propria ortografia come predefinita e quella di tutti gli altri come un’opzione da chiedere. È il fastidioso predefinito americano che il resto del mondo detesta, ed è incorporato come un bias. Il system prompt del modello di chat porta la stessa istruzione, nella sezione qui sotto, per lo stesso motivo.
Una finestra di chat, e 7.000 token che non hai mai scritto
Open WebUI è il front end nel browser15, nel suo container, legato a [::1]:3000 allo stesso
modo e puntato sulla NPU. Il suo pulsante del microfono va a Whisper sulla NPU invece del suo
default, che avrebbe scaricato un modello e l’avrebbe fatto girare sulla CPU.
Il primo messaggio che gli ho mandato era di venti parole. È arrivato alla NPU come un prompt da 7.223 token, perché Open WebUI 0.13 allega le definizioni di tutti i suoi strumenti integrati (memoria, note, calendario, automazioni, ricerca web) a ogni messaggio, e un admin li riceve tutti.
| Stessa domanda da venti parole | Prompt mandato alla NPU | Attesa della prima parola |
|---|---|---|
| Strumenti integrati attivi, il default | 7.223 token | ~12 s |
| Strumenti integrati disattivati per il modello | 127 token | meno di 1 s |
Per un modello locale quel default dovrebbe essere spento. Dodici secondi, a ogni risposta.
Mi ha anche detto con sicurezza di essere «trained by Google» e di girare «on Google’s advanced infrastructure». È un modello Qwen, fatto da Alibaba, che gira su un portatile. È una sciocchezza completa, e non dovrebbe succedere.
Non è la configurazione. Un modello vede solo il testo che gli viene mandato, e il nome nel menu a tendina è un’etichetta per il server, mai passata al modello. Quindi quella risposta è venuta dal modello da solo, e ha sbagliato l’unico fatto su di sé che non dovrebbe mai essere in dubbio. È un difetto di progettazione, e sta in capo a chi ha distribuito il modello.
Alibaba sapeva come evitarlo. Il chat template di Qwen 2.5 apriva ogni conversazione con «You are Qwen, created by Alibaba Cloud» a meno che non gli dessi qualcos’altro16. Qwen 3 ha tolto quella riga17, e anche Qwen 3.5 esce senza18. Niente l’ha sostituita, e a giudicare da quella risposta il modello non l’ha mai imparata abbastanza bene da cavarsela da solo. Chiedi a un modello 4B «cosa sei?» senza prompt e ripiega sulla risposta più comune nei suoi dati di addestramento, che è quella di qualcun altro.
È una cosa da poco? No. Un modello che ti dice, con piena sicurezza, chi l’ha costruito e in quale data centre gira, e sbaglia entrambe le cose, farà lo stesso con qualunque altra cosa che non può verificare. Qui conosci la risposta giusta. La maggior parte delle volte no.
Quindi bisogna dirglielo, in un system prompt:
| Domanda: «cosa sei, e su cosa stai girando?» | Risposta |
|---|---|
| Senza system prompt | «a large language model trained by Google… Google’s advanced infrastructure» |
| Con un system prompt | «Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350’s NPU via FastFlowLM» |
Lo stesso prompt gli dice di scrivere in inglese britannico, sempre per via del predefinito americano che ha anche Whisper. Se glielo dici, lo fa. Però non sa ancora dirti che giorno è. Un modello senza calendario e senza internet tira a indovinare le date e i fatti recenti, e non sempre lo dice, qualunque cosa chieda il prompt.
Tre anni per far girare l’AI su Linux
AMD ha portato Ryzen AI sul palco nel gennaio 2023 come «the first dedicated artificial intelligence hardware in an x86 processor»19. Conta in avanti da quel keynote:
| Quando | Cosa è successo su Linux | Dopo il keynote |
|---|---|---|
| 4 gennaio 2023 | annunciato Ryzen AI, nel Ryzen 7040 | |
| 25 gennaio 2024 | amd/xdna-driver pubblicato su GitHub4 | 1 anno |
| 24 marzo 2025 | amdxdna nel Linux mainline, 6.1420 | 2 anni e 2 mesi |
| 27 marzo 2025 | esce questo chip, il Ryzen AI 7 PRO 3501 | 2 anni e 2 mesi |
| 11 marzo 2026 | FastFlowLM 0.9.35, la sua prima release nativa per Linux21 | 3 anni e 2 mesi |
| 11 agosto 2026 | FastFlowLM 1.0.0, ora sotto ROCm di AMD6 | 3 anni e 7 mesi |
| oggi | ancora nessun runtime LLM per i 7040 e 80402 | 3 anni e 10 mesi |
Tre anni e due mesi per far girare un modello linguistico sulla NPU sotto Linux, punto, e non l’ha fatto il software di AMD. L’ha fatto FastFlowLM, un progetto nato fuori dall’azienda e preso sotto ROCm quest’anno. Le sue note di rilascio per Linux si aprono con «The wait is finally over», poi dicono che usa «the exact same recipe you already know and love on Windows»21. Il Fisher-Price OS (Windows) l’ha avuto per primo, e lo hanno detto. Il Ryzen AI Software di AMD dice ancora, nelle sue note di rilascio attuali, «Model generation is not supported on Linux in this release»22.
Chi ha comprato la prima generazione sta peggio. Un portatile Ryzen 7040 del 2023 ha una NPU che nessun runtime per modelli linguistici su Linux tocca, e niente di pubblicato dice che ne arriverà uno. Stesso marchio.
Posso chiedere perché? Non chi, perché. Che cosa nel processo di AMD ha permesso di vendere un chip con AI nel nome mentre il software per usare quell’AI su Linux arrivava anni dopo, da fuori? La scheda tecnica dice «Up to 50 TOPS»1. Il marchio dice Ryzen AI. Sono entrambe affermazioni fatte a chi compra il portatile, e per il primo anno di questo chip su Linux non valevano niente.
Puntato su Copilot, non sul data centre
Non è che AMD trovi Linux difficile. Nel data centre Linux è di prima classe e AMD lo sa: El Capitan al Lawrence Livermore è fatto di processori AMD EPYC e acceleratori AMD Instinct, è stato il computer più veloce del mondo fino a giugno di quest’anno23, e gira su TOSS, la build di Red Hat Linux propria di Livermore24. Riesci a immaginare AMD che vende un acceleratore Instinct e dice al cliente che il software Linux arriverà prima o poi, da qualcun altro? Sarebbe un no. AMD ha perfino scritto il driver del kernel di questa NPU e l’ha portato nel mainline. L’ultimo strato, quello che fa fare all’hardware il lavoro per cui è stato venduto, è stato il pezzo lasciato ad aspettare.
Non sarebbe mai dovuto essere un progetto da portatile. La stessa architettura XDNA è finita in una scheda da data centre lo stesso anno, la Alveo V70, venduta come «the first Alveo production card leveraging AMD XDNA architecture with AI Engines»25. Costruisci un solo stack software per l’AI Engine, prima Linux come il resto del data centre, e il portatile lo riceve gratis. Anche il server. Un acceleratore piccolo e parco è proprio quello che vuoi distribuire alle macchine virtuali, una fetta ciascuna, per i modelli piccoli che non hanno bisogno di un’intera GPU. Il kernel ha imparato a farlo solo quest’anno, dividendo una NPU in virtual function sulle nuove parti AIE426. Sulla NPU di questo portatile non può farlo affatto.
Invece lo sforzo è andato al Fisher-Price OS (Windows), e a Copilot. AMD ha lanciato la generazione di questo chip come processori che «Unlock Transformational AI Experiences for Windows Copilot+ PCs»27. Non ci ha creduto quasi nessuno. Le macchine Copilot+ erano il 2,3% dei PC Fisher-Price OS (Windows) venduti nel primo trimestre del 2025, e le funzioni Copilot più recenti di Microsoft girano comunque nel cloud: «only one of its new AI capabilities actually requires an NPU»28. Microsoft riporta anche gli incassi dai produttori di PC in calo del 7% per «lower PC market demand», con «roughly 30% of the installed base still on Windows 10»29. Quindi la NPU è stata puntata su un sistema operativo che la gente non aggiorna, per far girare un assistente che nessuno ha chiesto, che per lo più non usa la NPU.
E non è nemmeno dove l’AI si costruisce. Chi lo fa di mestiere usa Linux, perché è lì che girano i suoi strumenti. TensorFlow dice chiaramente che la 2.10 «was the last TensorFlow release that supported GPU on native-Windows»30. Il model server vLLM «does not support Windows natively»31. JAX elenca la sua build per il Fisher-Price OS (Windows) come sperimentale, e il suo supporto AMD come «AMD GPU (Linux)»32. Dove il Fisher-Price OS (Windows) fa girare questi strumenti, lo fa tramite WSL 2, che per descrizione della stessa Microsoft è «an actual Linux kernel inside a managed VM»33. AMD ha puntato il suo chip per l’AI sull’unico desktop che la professione dell’AI non usa. Supportarla in parte non basta, AMD.
Poi AMD si vende agli investitori come un’azienda di AI. L'11 novembre 2025 chi la presiede e la guida ha detto che AMD «is uniquely positioned to lead the next generation of high-performance and AI computing», in un comunicato che si vanta di aver fatto crescere il suo «AI PC portfolio 2.5x since 2024» e chiude con «full-stack AI solutions»34. Full stack. Sull’AI PC di questo articolo la cima di quello stack è arrivata da un progetto che AMD non ha avviato, e sulla prima generazione non è mai arrivata. Un’azienda di AI il cui chip per l’AI ha aspettato tre anni per far girare l’AI sul sistema operativo su cui è costruito il suo business del data centre? Ridicolo.
Il supporto di prima classe è semplice da descrivere. Funziona il giorno in cui compri la macchina, sul sistema operativo che usi, dall’azienda che ti ha venduto il chip. Questa NPU non ci è ancora arrivata. Ho comprato il portatile per tutto il resto e la NPU è venuta con lui, ed è l’unico motivo per cui questo è un resoconto e non un reclamo. Chi ne ha comprato uno per l’AI sul marchio, e usa Linux, ha comprato una promessa mantenuta in ritardo, e da qualcun altro.
Possiedi il silicio che hai pagato
La NPU è arrivata con il portatile. Per come viene venduta, è il pezzo che rende la macchina pronta per l’AI, e l’AI in offerta è quella di qualcun altro, nel data centre di qualcun altro, che legge quello che scrivi così da poter essere pagata in qualche altro modo. Niente nell’hardware ha bisogno di quell’accordo. Un modello 4B a 21 W risponde a una domanda, legge un incolla da 175.000 parole se gli dai il tempo, e trascrive quello che dici, e niente lascia la scrivania.
Software finito non è, e ogni spigolo qui sopra è costato un’ora per trovarlo e una riga o due per sistemarlo. È quello che costa l’open source quando lo usi davvero. È comunque un affare migliore che riprendersi in affitto la stessa capacità, e l’ora ti compra il sapere come funziona.
I container lo tengono onesto. Niente sull’host tranne un modulo del kernel e il suo firmware, un dispositivo passato a un container, un indirizzo che nessun altro può raggiungere, e un controllo che fallisce nel momento in cui i pezzi smettono di combaciare. Ci è voluto un giorno. Continuerà a funzionare, perché so perché ogni riga lì dentro c’è e il controllo mi dirà la mattina in cui una di esse smette di essere vera.
AMD — Ryzen AI 7 PRO 350 — 8 core, 16 thread, Radeon 860M, «NPU TOPS: Up to 50 TOPS», data di lancio «3/27/2025». ↩︎ ↩︎ ↩︎
Lemonade — LLMs on Linux with FastFlowLM — solo XDNA2 (Ryzen AI 300/400, Strix Halo), non XDNA1; firmware della NPU 1.1.0.0 o successivo; non impostare
amd_iommu=off. ↩︎ ↩︎ ↩︎ ↩︎Linux kernel documentation — amdxdna — il driver acceleratore nell’albero per le NPU AMD. ↩︎
amd/xdna-driver — driver, submodule XRT e plugin; compila il pacchetto base di XRT dal submodule incluso perché funzioni con il plugin; repository creato il 25 gennaio 2024. ↩︎ ↩︎
Linux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c —
AMDXDNA_DRIVER_MAJOR 0,AMDXDNA_DRIVER_MINOR 10; lo stesso nella v7.2. ↩︎ROCm/FastFlowLM — runtime LLM per NPU XDNA2, server compatibile con OpenAI, parte di ROCm dalla v1.0.0; la release usata qui è la v1.0.12. ↩︎ ↩︎
FastFlowLM — LICENSE_BINARY.txt — condizioni per i binari dei kernel NPU inclusi. ↩︎
RPM 6.0.0 release notes — «RPM defaults to enforcing signature checking». ↩︎
podman-systemd.unit(5) — unit
.containerdi Quadlet, compresiAddDevice=,Ulimit=,StopSignal=edExec=. ↩︎loginctl(1) —
enable-lingeravvia uno user manager al boot e lo tiene attivo dopo il logout. ↩︎Qwen/Qwen3.5-4B — «Context Length: 262,144 natively»; strati ibridi Gated DeltaNet e gated attention. ↩︎
ggml-org/llama.cpp — l’immagine container
server-vulkanusata per le prove sulla GPU, build 12352. ↩︎mlc-ai/mlc-llm — provato con i pacchetti nightly 0.26. ↩︎
openai/whisper-large-v3-turbo — «a state-of-the-art model for automatic speech recognition (ASR) and speech translation»; ridotto da large-v3, «the number of decoding layers have reduced from 32 to 4»; 809M parametri; licenza MIT. ↩︎
open-webui/open-webui — release v0.13.3 usata qui. ↩︎
Qwen/Qwen2.5-7B-Instruct — tokenizer_config.json — il messaggio di sistema predefinito del chat template: «You are Qwen, created by Alibaba Cloud. You are a helpful assistant.» ↩︎
Qwen/Qwen3-4B — tokenizer_config.json — chat template senza messaggio di sistema predefinito. ↩︎
Qwen/Qwen3.5-4B — tokenizer_config.json — chat template senza messaggio di sistema predefinito. ↩︎
AMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 4 gennaio 2023: «AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.» ↩︎
Kernel Newbies — Linux 6.14 — rilasciato lunedì 24 marzo 2025; «an amdxdna driver for AMD NPUs». ↩︎
FastFlowLM v0.9.35 release notes — 11 marzo 2026: «The wait is finally over… FastFlowLM is officially available natively on Linux!» ↩︎ ↩︎
AMD — Ryzen AI Software release notes — problemi noti: «Model generation is not supported on Linux in this release.» ↩︎
TOP500 — June 2026 — «LineShine debuts as the new No. 1 system, ending El Capitan’s run atop the list»; El Capitan «is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators». ↩︎
LLNL — TOSS: Speeding Up Commodity Cluster Computing — «a fully functional cluster operating system, based on Red Hat Linux». ↩︎
AMD — Alveo V70 — «the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency». ↩︎
Linux — accel/amdxdna: Add basic support for AIE4 devices — «Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement». La tabella del driver dà voci di virtual function solo a quelle parti; la NPU di questo portatile è
17f0. ↩︎AMD — AMD Unveils Next-Gen “Zen 5” Ryzen Processors to Power Advanced AI Experiences — Computex, 2 giugno 2024: «AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs». ↩︎
Engadget — Microsoft’s Copilot+ AI PC plan fizzled, but it still served a purpose — 5 dicembre 2025: i sistemi Copilot+ «made up just 2.3 percent of Windows machines sold in the first quarter of 2025»; «only one of its new AI capabilities actually requires an NPU». ↩︎
Windows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 31 luglio 2026, citando la conference call sui risultati di Microsoft: «Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand»; «roughly 30% of the installed base still on Windows 10». ↩︎
TensorFlow — Install TensorFlow with pip — «TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.» ↩︎
vLLM — GPU installation — «vLLM does not support Windows natively». ↩︎
JAX — Installation — wheel CPU per «Windows, x86_64 (experimental)»; sezioni GPU per NVIDIA, Google Cloud TPU, Mac e «AMD GPU (Linux)». ↩︎
Microsoft — Comparing WSL versions — «the use of an actual Linux kernel inside a managed VM». ↩︎
AMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — Financial Analyst Day, 11 novembre 2025: «AMD is uniquely positioned to lead the next generation of high-performance and AI computing»; «AMD has expanded its AI PC portfolio 2.5x since 2024»; «AMD delivers full-stack AI solutions». ↩︎