在容器里用 Ryzen AI NPU 跑大语言模型
Ryzen AI 笔记本里的 NPU 有 50 TOPS 算力,在大多数 Linux 系统上却闲着。本文一步步讲:编译 AMD 的 amdxdna 驱动,宿主机上只留内核模块;把 FastFlowLM 和 AMD 的 XRT 运行时一起构建进一个 rootless podman 容器,并与该驱动版本匹配;所有服务只绑定 IPv6 回环地址,用 Quadlet 开机启动。然后看它能做什么:9 个模型的基准测试,一次 232,000 token 的上下文测试,Whisper 语音转文字跑到实时速度的十倍,Open WebUI 以及它往每条消息里偷偷塞的 7,000 个 token,还有 NPU 与 Radeon 860M 核显上 llama.cpp 的速度和能耗实测对比。最后是时间线:从 AMD 发布 Ryzen AI 到 Linux 上能在它的 NPU 上跑语言模型,用了三年,而且是一个不是 AMD 发起的项目做到的;与此同时,力气都花在了 Fisher-Price OS (Windows) 上的 Copilot+,而不是数据中心和 AI 从业者真正在用的 Linux 工具链。