Faire tourner un LLM sur le NPU Ryzen AI, dans un conteneur
Le NPU dâun portable Ryzen AI, ce sont 50 TOPS qui dorment sur la plupart des installations Linux. Ce billet montre comment compiler le pilote amdxdna dâAMD en ne gardant que le module noyau sur lâhĂŽte, compiler FastFlowLM avec le runtime XRT dâAMD dans un conteneur podman rootless accordĂ© Ă ce pilote, tout lier au loopback IPv6 et le lancer au dĂ©marrage avec Quadlet. Puis ce que ça donne : neuf modĂšles mesurĂ©s, un test de contexte Ă 232 000 tokens, la transcription vocale Whisper Ă dix fois le temps rĂ©el, Open WebUI et les 7 000 tokens cachĂ©s quâil ajoutait Ă chaque message, et la vitesse et lâĂ©nergie du NPU mesurĂ©es face Ă llama.cpp sur lâiGPU Radeon 860M. Pour finir, la chronologie : trois ans entre lâannonce de Ryzen AI par AMD et un modĂšle de langage sur son NPU sous Linux, livrĂ© par un projet quâAMD nâa pas lancĂ©, pendant que lâeffort partait vers Copilot+ sur le Fisher-Price OS (Windows) au lieu du data centre et des outils Linux dont se servent vraiment les professionnels de lâIA.