50 TOPS 在吃干饭

过去两年卖出的每一台 Ryzen AI 笔记本里都有一个神经网络处理单元(NPU),一块专门为 AI 模型背后那些数学运算而造的硅片。我手上这台是 ThinkPad,CPU 是 Ryzen AI 7 PRO 350,AMD 给它标的算力最高 50 TOPS,也就是每秒几十万亿次运算1。这钱你是付了的。在一个原装的 Linux 系统上,它什么都不干。

今年情况变了。装好之后,这颗 NPU 能在一个聊天窗口背后跑一个 40 亿参数的语言模型,外加语音转文字,全部在笔记本本地完成:不要账号,不要订阅,没有任何东西离开这台机器。凡是你不愿意敲进别人网站的东西,这一点就是全部意义所在。回答问题时整颗芯片大约 21 W,空闲时不到 9 W。

跑的是什么在哪里地址
Qwen 3.5 4B,256k token 上下文NPU,容器里http://[::1]:52625/v1
语音转文字:OpenAI 的 Whisper,whisper-v3:turboNPU,同一个容器同上,/audio/transcriptions
Open WebUI,聊天页面CPU,容器里http://[::1]:3000
amdxdna 内核驱动、固件宿主机/dev/accel/accel0

这次搭建守着两条规矩。宿主机上只放内核驱动和它的固件;所有模型框架都跑在 rootless podman 容器里。每个服务都只监听 IPv6 回环地址,IPv4 上什么都没有。结果这两条都比乱搞一通还省事,而且都抓出了我本来会带着上线的问题。

在 Linux 上要做些什么

这颗芯片里的 NPU 是 AMD 第二代设计 XDNA2。这一点很要紧,因为在它上面跑语言模型的软件支持 XDNA2 的产品(Ryzen AI 300 和 400 系列、Strix Halo),不支持 Ryzen 7040 和 8040 里的第一代2。动手之前先查查你的:

$ lspci -nn | grep -i 'neural\|signal processing'
c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20)

从这个设备到一条聊天回复,中间隔着四层,宿主机和容器之间怎么切分,就是整个设计:

层是什么放在哪里
amdxdna内核驱动,创建 /dev/accel/accel03宿主机,通过 DKMS
NPU 固件npu_7.sbin,这颗芯片上是 1.1.2.64宿主机,来自 linux-firmware
XRT + amdxdna 插件AMD 的运行时库和它的 NPU 后端容器
FastFlowLMLLM 运行时,自带 NPU 内核容器
什么放在宿主机上,什么放在容器里Rootless podman,想重建就重建Open WebUI聊天页面,在 CPU 上[::1]:3000FastFlowLM[::1]:52625XRT + NPU 插件与驱动提交号匹配宿主机:内核模块和它的固件,别无他物没有 XRT、运行时和模型。跨进容器的只有一个设备节点。amdxdna 模块,由 DKMS 构建npu_7.sbinXDNA2 NPU/dev/accel/accel0
切分方式。经常变的东西都放在容器里;宿主机只留一个内核模块和它的固件,跨过去的只有一个设备节点。

7.x 内核已经把 amdxdna 收进了主线,但 AMD 是先在自己的仓库里开发它的,而用户态插件必须和它对话的那个内核模块版本匹配4。两者之间的差距可不小。在这台笔记本上:

主线版,Fedora 的 7.2.15 和 7.3.3树外版,amd/xdna-driver 的 24dfd686
驱动接口0.1050.19
模块版本无2.27.0_20261113
绑定的 NPU PCI ID68
请求的固件文件759
这颗芯片加载的固件17f0_10/npu_7.sbin,1.1.2.64同一个文件

接口版本差了九个,而最新的 Linux 7.3 里带的还是 0.10。两者唯一一致的是固件,而固件来自 Fedora 的 linux-firmware,哪个驱动都不管。所以我从 amd/xdna-driver 的同一个提交把两半都编出来,模块放到宿主机上,匹配的用户态打进镜像里。

驱动:全部编译,只留内核那一块

amd/xdna-driver 把 XRT 作为 git 子模块带着,编译会产出 XRT 的 RPM 和一个插件包。插件包里还带着驱动源码,并把它注册到 DKMS(Dynamic Kernel Module Support,每装一个新内核就替你重编一次模块的那个东西)。这些都不难:

git clone --recursive https://github.com/amd/xdna-driver.git && cd xdna-driver
sudo ./tools/amdxdna_deps.sh
(cd xrt/build && ./build.sh -npu -opt)    # XRT RPMs in xrt/build/Release/
(cd build && ./build.sh -release)         # plugin RPM, driver source inside

在 Fedora 45 上,依赖脚本最后会报错。别管它:

它要装结果要紧吗?
protobuf-devel和已装的 protobuf3-compiler 冲突不要紧,没有它 XRT 只是跳过一个跟踪工具
redhat-lsb没这个包,Fedora 已经不要它了不要紧
其他所有早就装了

那里最后一个打了 tag 的版本是 2 月的,所以 main 就是发布渠道。我从 5 月的构建升到了 11 月的:550 个提交,XRT 从 2.23 升到 2.27。

升级会删掉它刚装上的驱动

我第一次升级,直接把模块弄没了。RPM 先跑新包的安装脚本,把新驱动编好注册到 DKMS,再跑旧包的卸载脚本。这个卸载脚本从一个文件里读驱动版本,而那个文件已经被新包覆盖了,于是它注销的正是刚装上的那个版本。dnf 的输出用前后两行就把这事说清楚了:

>>> Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0
>>> Removing driver source: xrt-amdxdna/2.27.0...

没有任何报错,没有一处变红,下次开机就会悄悄加载内核自带的那个版本。我能问一句吗:为什么一个卸载脚本在升级时运行,却不先检查一下这是不是升级?RPM 会把这个答案作为第一个参数交给每一个 scriptlet。就是一个 if 的事。

一次 RPM 升级如何注销它刚装上的驱动一次 dnf 升级,按 RPM 的执行顺序新包 %post编译 2.27,注册到 DKMSDKMS:2.27新文件落盘版本文件现在写着 2.27DKMS:2.27旧 %preun读这个文件,注销 2.272.27 没了下次开机加载主线模块,没有任何警告不是你编的那个DKMS 里有:修法就是一个判断。%preun scriptlet 在升级时拿到 $1 = 1,卸载时拿到 $1 = 0。只有卸载才该注销任何东西。
RPM 执行一次升级的顺序。新包注册它的驱动,然后旧包注销共享版本文件里写的那个版本,而那时候写的已经是新版本了。

这也是为什么现在宿主机根本不装这些 RPM。驱动源码是插件包里的一个 tarball,所以我把它拿出来,直接交给 DKMS:

T=$(mktemp -d) && rpm2cpio xrt_plugin*.rpm | (cd $T && cpio -idm --quiet)
D=$T/opt/xilinx/xrt/share/amdxdna
sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0
sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0
sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/
sudo dkms install xrt-amdxdna/2.27.0
sudo modprobe -r amdxdna; sudo modprobe amdxdna

不用重启。这是 Linux,而且这时候没有任何东西打开着这个设备,所以模块可以在线替换。之后 dnf 每装一个内核,DKMS 就重编一次;7.3.3 来的时候,我还没重启进去,它就已经编好了。

驱动直接交给 DKMS从软件包到已加载的模块,软件包本身不安装插件 RPM驱动源码是里面的 tarball/usr/srctarball 解开,dkms.conf 放在旁边dkms install为当前内核编译模块modprobe -r再 modprobe:在线,不重启dnf 装了新内核你还没重启进去,DKMS 就重编好了rpm2cpio 把 tarball 取出来。宿主机从不安装这些 RPM,所以那里不会跑任何打包脚本。
驱动从软件包直接到 DKMS,软件包本身从来没被安装,所以宿主机上不会跑任何打包脚本。

确认加载的是 DKMS 构建的版本而不是主线版,并且固件够新。FastFlowLM 要求 1.1.0.0 或更高2:

$ modinfo -F filename amdxdna
/lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz
$ cat /sys/bus/pci/drivers/amdxdna/*/fw_version
1.1.2.64
$ journalctl -k | grep 'Initialized amdxdna'
[drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0

DKMS 不会删掉内核自带的模块,而是把它挪到 /var/lib/dkms/xrt-amdxdna/original_module/,所以把 DKMS 构建的版本拿掉,原来的就回来了。

还有一件事别去碰:内核命令行上的 amd_iommu=off 会把 NPU 禁掉2。

容器里的 FastFlowLM

FastFlowLM 是让 NPU 能跑语言模型的那个运行时。它是一个 Ollama 风格的命令行工具,外加一个兼容 OpenAI 的服务端,专为 XDNA2 编写,今年已经归入 AMD 的 ROCm 组织6。运行时本身是 MIT 许可。它带的 NPU 内核是闭源二进制,可以免费使用,也可以原样再分发7。我更希望它们是开源的,这话我也照直说,但它们就在仓库里,不需要从别的什么地方去下载。

镜像基于 Fedora 45,分三个阶段:先装驱动构建产出的 XRT,再针对它编译 FastFlowLM,最后是一个只带必需品的运行时。要紧的部分是这段:

FROM registry.fedoraproject.org/fedora:45 AS xrt
ARG XDNA_COMMIT
COPY dist/xdna-${XDNA_COMMIT}/ /rpms/
RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \
 && rpm -i --noscripts --nodeps --nosignature \
        --excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \
        /rpms/xrt_plugin*.rpm \
 && echo /opt/xilinx/xrt/lib64 > /etc/ld.so.conf.d/xrt.conf && ldconfig

每一个参数都在那儿,是因为没有它就出过问题:

问题解决办法
插件的脚本会编一个内核模块,而那东西属于宿主机--noscripts,并排除驱动源码和固件
Fedora 45 的 RPM 6 默认强制校验签名8,自己编的 RPM 没签名--nosignature:我自己编的,我知道它从哪儿来
XRT 的库在 lib64 里,不在链接器路径上镜像里加 /etc/ld.so.conf.d/xrt.conf
FastFlowLM 通过 pkg-config 找 XRT,而 XRT 的 setup.sh 不设置这个路径构建阶段设 PKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig

做好的镜像 609 MB,tag 里带着驱动的提交号:fastflowlm:v1.0.12-xdna24dfd686。一个健康检查会把它和已加载模块报告的提交号对比,不一致就失败。为错误驱动构建的镜像,是这里唯一一个真正让人摸不着头脑的故障,所以要在它走到那一步之前就拦下来。

FastFlowLM 镜像如何构建和检查基于 Fedora 45 的三个阶段阶段 1:xrtXRT 和插件 RPM,不跑脚本,不带固件阶段 2:build针对那个 XRT编译 FastFlowLM阶段 3:runtime只带必需品,609 MB健康检查:镜像和宿主机必须一致镜像 tag 写着v1.0.12-xdna24dfd686=已加载的模块写着24dfd686不一致即不健康,赶在问题变得难查之前。
三个构建阶段,再加一个把镜像和它所针对的驱动绑在一起的健康检查。

容器只拿到一个设备,也就是 NPU,再加上 FastFlowLM 锁定缓冲区所需的内存锁定上限:

podman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \
  localhost/fastflowlm:v1.0.12-xdna24dfd686 validate
[Linux]  NPU: /dev/accel/accel0 with 8 columns
[Linux]  NPU FW Version: 1.1.2.64
[Linux]  Memlock Limit: infinity

AMD 自己的自检工具 xrt-smi validate 在一次矩阵乘法上测出 NPU 是 51 TOPS。盒子上写的 50,兑现了。

开机自启,只走 IPv6

Quadlet 能把一个简短的 .container 文件变成一个 systemd 服务9。作为用户单元,它以我的身份 rootless 运行;开启 lingering 之后,没人登录它也会在开机时启动10:

[Unit]
Description=FastFlowLM NPU server
ConditionPathExists=/dev/accel/accel0

[Container]
Image=localhost/fastflowlm:v1.0.12-xdna24dfd686
AddDevice=/dev/accel/accel0
Ulimit=memlock=-1:-1
Network=host
Volume=%h/.config/flm:/models:Z
Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo
StopSignal=SIGINT

[Install]
WantedBy=default.target
loginctl enable-linger $USER
cp fastflowlm.container ~/.config/containers/systemd/
systemctl --user daemon-reload && systemctl --user start fastflowlm

-c 262144 设定上下文窗口,为什么要这么大,看下面的上下文测试。-a whisper-v3:turbo 在聊天模型旁边再加载第二个模型,用来把语音转成文字;它有单独一节。

里面有三行是吃了亏才学到的:

这一行没有它会怎样
StopSignal=SIGINTFastFlowLM 不理 podman 的停止信号 SIGTERM,十秒后被强杀
--host ::1它会监听 127.0.0.1,也就是 IPv4
写 ::1,不写 [::1]带方括号的写法解析失败;方括号只该出现在 URL 里

地址要证明,别光信:

$ ss -ltn 'sport = :52625'
LISTEN 0  4096  [::1]:52625  [::]:*
$ curl -s http://127.0.0.1:52625/v1/models || echo refused
refused

凡是先把 localhost 解析成 ::1 的程序,用 localhost 照样能连上,Fedora 的 /etc/hosts 和 Chrome 都是这样。

启动顺序,以及唯一会应答的地址开机启动开机启动用户管理器loginctl enable-lingerQuadlet.container 变成服务两个用户服务fastflowlm, open-webui谁能连上浏览器Open WebUI[::1]:3000FastFlowLM[::1]:52625127.0.0.1拒绝NPU
lingering 让用户管理器在开机时启动,Quadlet 生成服务,每一个有应答的地址都在 IPv6 回环上。

它能做什么,实测数据

九个模型跑 FastFlowLM 自带的基准测试,decode 就是答案往外吐字的速度:

模型Decode,1k 上下文Decode,8k 上下文读提示词,8k
llama3.2:1b77 tok/s56 tok/s2,009 tok/s
qwen3.5:2b32291,533
llama3.2:3b3020857
phi4-mini-it:4b2517744
qwen3:4b2315613
qwen3.5:4b1715657
gemma4-it:e4b1412642
qwen3:8b1310418
qwen3.5:9b1110451
各模型的 decode 速度,对比阅读速度1k 上下文下的 decode,每秒 token 数阅读速度,每秒 5 到 8 个 tokenllama3.2:1b77qwen3.5:2b32llama3.2:3b30phi4-mini-it:4b25qwen3:4b23qwen3.5:4b17 我用这个gemma4-it:e4b14qwen3:8b13qwen3.5:9b11
1k 上下文下的 decode 速度。每个模型都快过阅读速度;模型大一倍,速度大约减半。

人的阅读速度是每秒五到八个 token,所以这些模型个个都跑在你前面。模型每大一倍,decode 大约减半,瓶颈在内存带宽而不在算力时就该是这样。我用的是 qwen3.5:4b。Phi-4 mini 更快,但 Qwen 3.5 在对话变长时还能保持速度,能处理图片和工具调用,还有提示词缓存,省得每一轮都把整段历史重读一遍。就凭这个定了。

256,000 token 的上下文

Qwen 3.5 设计的窗口是 262,144 个 token11,FastFlowLM 默认只给 32,768。超过这个上限时,它的表现值得知道:日志里记一句 Max length reached, stopping prefilling,然后关掉连接,没有回复,也没有报错。聊天窗口就停在那儿,答案是空的,你只能去猜是模型、服务端还是浏览器挂了。

所以我用 -c 262144 把它调大,并且认真测了一下。在一个 232,250 token(大约 175,000 个英文单词)的提示词第一行里藏一个代码,最后再问它:

8k 上下文232k 上下文
答案正确正确,AMBER-FALCON-7731
读提示词657 tok/s210 tok/s
等第一个字12 秒18.4 分钟
Decode15 tok/s2.4 tok/s
预留内存约 5 GB约 12.7 GB

能用。慢。而且不管你用不用这个窗口,内存都预留着。机器里有 90 GB,我愿意付这个代价,让一大段粘贴进去的东西得到回答,而不是被悄无声息地丢掉。

GPU 能帮上忙吗?

同一颗芯片里还有一块 Radeon 860M,所以显而易见的问题是:它能不能分担一部分负载。把一个模型拆开跑在 NPU 和 GPU 上,一边读提示词、一边写答案,目前没有哪个 Linux 运行时能做到。在 GPU 上跑第二个运行时倒是可以,所以我测了这个。

这里的“高效”是速度和能耗一起算。amdgpu 驱动不需要 root 就能报告整颗芯片的封装功耗,amdxdna 驱动单独报告 NPU 的功耗,所以下面每一次运行都按每秒四次采样。全程同一个模型,4-bit 量化。

我看过的 GPU 运行时里,只有一个能用:

运行时在 860M 上的结果
llama.cpp,Vulkan 后端12能用;镜像 881 MB
llama.cpp,ROCm 后端能看到 GPU,然后第一项工作就段错误,加不加 GPU 版本覆盖都一样;镜像 23 GB
MLC-LLM,Vulkan13编译 Qwen 3.5 架构时它的编译器段错误
vLLM、SGLang没试:它们是为数据中心 GPU 和大量用户造的,不是为一块 8 个计算单元的核显

再拿 NPU 和那个能用的比一比:

Qwen 3.5 4BNPU,FastFlowLMGPU,llama.cpp Vulkan
空闲,模型已加载8.6 W16.0 W,停掉时是 9.7 W
读提示词,约 6k token557 tok/s,23.8 W411 tok/s,46.1 W
每个提示词 token 的能耗0.043 J0.112 J
Decode18.2 tok/s,21.0 W23.5 tok/s,40.7 W
每个生成 token 的能耗1.16 J1.73 J
NPU 对 GPU,同一个模型NPU,FastFlowLMRadeon 860M GPU,llama.cpp Vulkan每个提示词 token 的能耗越低越好0.043 J0.112 J每个回答 token 的能耗越低越好1.16 J1.73 J空闲,模型已加载越低越好8.6 W16.0 Wdecode 速度越高越好18.2 tok/s23.5 tok/s
同一个模型,两种加速器,每根条按同组中较大的那个缩放。GPU 答得更快;其他所有方面 NPU 都更省电。

GPU 写答案大约快 29%。代价是功耗翻倍。NPU 读提示词更快,能耗还不到一半。更大的数字是空闲那一项:GPU 服务端加载着、什么都不干,比同一台机器把它停掉时多耗 6.3 W,一整天都这样。两个同时跑,NPU 从 18.2 掉到 14.2 tok/s,GPU 从 23.5 掉到 13.9,因为它们共用同一块内存。所以 GPU 容器是有的,但只在我想要第二个模型时才启动,不设开机自启。

每一次运行里 NPU 本身都不到 2 W。21 W 里大部分是喂数据给它的 CPU 和内存。这才是以后的 FastFlowLM 版本里值得盯着的上限。

语音转文字也跑在 NPU 上

Whisper 是 OpenAI 的语音识别模型:输入音频,输出文字,支持 99 种语言,以 MIT 许可发布,所以在哪儿跑都不用征得谁同意14。Large-v3 是目前的完整版本。Turbo 是同一个模型,只是把解码器(负责把文字写出来的那一半)从 32 层砍到了 4 层。模型卡把这笔交易说得很直白:“way faster, at the expense of a minor quality degradation”。它有 8.09 亿参数,是聊天模型的五分之一大。

FastFlowLM 已经把它转换好给 NPU 用了,名字叫 whisper-v3:turbo,下载 623 MB,用 -a whisper-v3:turbo 加载在聊天模型旁边。它不会单独提供 Whisper 服务;必须同时加载一个聊天模型。音频发到标准的 OpenAI 转写接口,文字就回来了。

19.6 秒的语音
第一次请求,加载 Whisper6.2 秒
之后2.0 秒,约为实时速度的十倍
整颗芯片功耗约 24.7 W
准确度每个词都对

不过拼写用的是美国那套冒牌英语拼写:“color”和“program”。Whisper 的 API 接受一个 prompt 参数,用真正的英式英语拼写写一段提示,也就是这门语言发源地英格兰的英语,就足以纠正过来:

curl -s 'http://[::1]:52625/v1/audio/transcriptions' -F file=@speech.wav \
  -F model=whisper-v3:turbo -F language=en \
  -F 'prompt=British English spelling: colour, programme, organise, centre.'

我们本来就不该去纠正这些模型。Whisper 用 99 种语言训练,除非你另外告诉它,它照样按美国的方式写英语,因为造它的人把自己的拼写当作默认,把其他所有人的当作得专门开口要的选项。这就是全世界都讨厌的那种烦人的美国默认主义,而且它作为一种偏见被烤进了模型里。聊天模型的系统提示词里也带着同样的指示,见下面一节,理由相同。

一个聊天窗口,和你从没打过的 7,000 个 token

Open WebUI 是浏览器前端15,在它自己的容器里,同样绑定在 [::1]:3000,指向 NPU。它的麦克风按钮接的是 NPU 上的 Whisper,而不是它自己的默认方案,那个方案会下载一个模型放在 CPU 上跑。

我发给它的第一条消息是二十个英文单词。到了 NPU 那里,它变成了一个 7,223 token 的提示词,因为 Open WebUI 0.13 会把它所有内置工具(记忆、笔记、日历、自动化、网页搜索)的定义附在每一条消息上,而管理员每一个都有。

同一个二十词的问题发给 NPU 的提示词等第一个字
内置工具开启,默认7,223 token约 12 秒
该模型关闭内置工具127 token不到 1 秒
7,000 个 token 从哪儿来你输入二十个词Open WebUI 加上每一个内置工具的定义NPU 读的是全部,每条消息都这样发给 NPU 的提示词工具开启,默认7,223 token,约 12 秒才出第一个字工具关闭127 token,不到 1 秒
同一个二十词的问题,Open WebUI 内置工具开和关,按比例画出。

对本地模型来说,这个默认值就该是关的。每个回答都多等十二秒。

它还信心满满地告诉我,它是“由 Google 训练的”,跑在“Google 先进的基础设施上”。它是阿里巴巴做的 Qwen 模型,跑在一台笔记本上。这完全是胡说八道,而且根本不该发生。

问题不在配置。模型只看得到发给它的文字,下拉菜单里的名字是给服务端的标签,从来不会传给模型。所以那个回答完全出自模型自己,而它答错的,恰恰是关于它自己、本来绝不该有疑问的那一个事实。这是设计缺陷,责任在发布这个模型的人身上。

下拉菜单里的名字永远到不了模型那里你看到的下拉菜单里的模型名系统提示词(如果你设了)你的消息给服务端的标签,从不发送模型看到的系统提示词(如果你设了)你的消息没有名字,没有厂商,没有机器发送没有系统提示词,它就靠猜
模型拿到的是系统提示词和对话内容。下拉菜单里的名字留在服务端。

阿里巴巴知道怎么防止这个。Qwen 2.5 的聊天模板在你不另给提示词时,每段对话开头都是“You are Qwen, created by Alibaba Cloud”16。Qwen 3 去掉了这一行17,Qwen 3.5 发布时也没有18。没有任何东西补上它,而从那个回答看,模型也从没被教到能自己答对的程度。不给提示词,问一个 4B 模型“你是什么?”,它就退回到训练数据里最常见的答案,而那是别人的答案。

这是小事吗?不是。一个模型能信心十足地告诉你是谁造了它、它跑在谁的数据中心里,结果两样都错,那它对任何它没法核实的东西都会这样。这一次你知道正确答案。大多数时候你不会知道。

所以必须在系统提示词里告诉它:

问“你是什么,跑在什么上面?”回答
没有系统提示词“a large language model trained by Google… Google’s advanced infrastructure”
有系统提示词“Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350’s NPU via FastFlowLM”

同一段提示词还让它写英式英语,原因还是 Whisper 身上也有的那种美国默认主义。告诉了,它就照做。但它还是说不出今天是几号。一个没有日历、不联网的模型会去猜日期和近期发生的事,而且不管提示词怎么要求,它都不一定会说自己在猜。

在 Linux 上跑 AI 用了三年

2023年1月,AMD 把 Ryzen AI 搬上舞台,称之为“the first dedicated artificial intelligence hardware in an x86 processor”19。从那场主题演讲往后数:

时间Linux 上发生了什么距主题演讲
2023年1月4日Ryzen AI 发布,搭载于 Ryzen 7040
2024年1月25日amd/xdna-driver 在 GitHub 上公开41 年
2025年3月24日amdxdna 进入 Linux 主线,6.14202 年 2 个月
2025年3月27日本文这颗芯片 Ryzen AI 7 PRO 350 上市12 年 2 个月
2026年3月11日FastFlowLM 0.9.35,它的第一个原生 Linux 版本213 年 2 个月
2026年8月11日FastFlowLM 1.0.0,此时已归入 AMD 的 ROCm63 年 7 个月
今天7040 和 8040 仍然没有 LLM 运行时23 年 10 个月

光是能在 Linux 下用 NPU 跑一个语言模型,就用了三年零两个月,而且做到这件事的不是 AMD 自己的软件。是 FastFlowLM,一个在公司外面起步、今年才被收进 ROCm 的项目。它的 Linux 版发布说明开头是“The wait is finally over”,接着说它用的是“the exact same recipe you already know and love on Windows”21。Fisher-Price OS (Windows) 先拿到了,他们自己也是这么说的。AMD 自家的 Ryzen AI Software 在当前版本的发布说明里仍然写着“Model generation is not supported on Linux in this release”22。

买了第一代的人更惨。一台 2023 年的 Ryzen 7040 笔记本,里面的 NPU 没有任何 Linux 上的语言模型运行时会去碰,也没有任何公开的东西说会有。贴的是同一个标。

我能问一句为什么吗?不是问谁,是问为什么。AMD 的流程里是什么东西,让一颗名字里带着 AI 的芯片被卖出去,而在 Linux 上使用这个 AI 的软件却在几年之后才出现,还是从外面来的?规格表上写着“Up to 50 TOPS”1。标上写着 Ryzen AI。这两样都是对买笔记本的人做出的陈述,而在这颗芯片上市后的第一年里,在 Linux 上这两样一文不值。

瞄准的是 Copilot,不是数据中心

不是 AMD 觉得 Linux 难。在数据中心,Linux 是头等公民,AMD 心里清楚:劳伦斯利弗莫尔国家实验室的 El Capitan 用的是 AMD EPYC 处理器和 AMD Instinct 加速器,直到今年 6 月都是世界上最快的计算机23,跑的是 TOSS,利弗莫尔自己构建的 Red Hat Linux24。你能想象 AMD 卖出一块 Instinct 加速器,然后告诉买家 Linux 软件早晚会有、而且是别人来做吗?不可能。这颗 NPU 的内核驱动 AMD 甚至都写了,还送进了主线。偏偏最后一层,也就是让硬件去干它被卖出来要干的那份活的那一层,被晾在那儿等着。

这本来就不该是一个笔记本项目。同一年,同样的 XDNA 架构用进了一块数据中心卡 Alveo V70,卖点是“the first Alveo production card leveraging AMD XDNA architecture with AI Engines”25。为 AI Engine 做一套软件栈,像数据中心里其他东西一样以 Linux 为先,笔记本就白捡了。服务器也一样。一块小巧、省电的加速器,正是你想切片分给虚拟机的东西,每台一份,给那些用不着一整块 GPU 的小模型用。内核今年才学会这一招,在新的 AIE4 产品上把 NPU 拆成虚拟功能26。在这台笔记本的 NPU 上,它根本做不到。

力气反而都花在了 Fisher-Price OS (Windows) 和 Copilot 上。AMD 发布这一代芯片时,说它们是“Unlock Transformational AI Experiences for Windows Copilot+ PCs”的处理器27。几乎没人买账。2025 年第一季度,Copilot+ 机器只占 Fisher-Price OS (Windows) PC 销量的 2.3%,而微软更新的那些 Copilot 功能反正也是在云上跑的:“only one of its new AI capabilities actually requires an NPU”28。微软还报告说,它从 PC 厂商那里的收入因为“lower PC market demand”下降了 7%,“roughly 30% of the installed base still on Windows 10”29。所以这颗 NPU 瞄准的,是一个人们不肯升级的操作系统,用来跑一个人们没要过的助手,而这个助手大多数时候根本不用 NPU。

那里也不是 AI 被造出来的地方。以此为生的人跑的是 Linux,因为他们的工具在那儿跑。TensorFlow 直说 2.10“was the last TensorFlow release that supported GPU on native-Windows”30。vLLM 模型服务端“does not support Windows natively”31。JAX 把它的 Fisher-Price OS (Windows) 版本列为实验性的,AMD 支持一栏写的是“AMD GPU (Linux)”32。Fisher-Price OS (Windows) 上真能跑这些工具的地方,靠的是 WSL 2,而按微软自己的描述,那是“an actual Linux kernel inside a managed VM”33。AMD 把它的 AI 芯片瞄准了 AI 这一行唯一不用的那个桌面系统。AMD,只支持一半是不够的。

然后 AMD 还向投资者把自己包装成一家 AI 公司。2025年11月11日,它的董事长兼 CEO 说 AMD“is uniquely positioned to lead the next generation of high-performance and AI computing”,同一份新闻稿还炫耀“AI PC portfolio 2.5x since 2024”,结尾落在“full-stack AI solutions”上34。全栈。在本文这台 AI PC 上,这个栈的最顶层来自一个不是 AMD 发起的项目,而在第一代上它压根没来。一家 AI 公司,自己的 AI 芯片等了三年,才能在它数据中心业务赖以立足的操作系统上跑 AI?可笑。

头等支持很好描述。买机器的当天就能用,在你用的操作系统上能用,由卖你芯片的那家公司提供。这颗 NPU 到现在还没达到。我买这台笔记本是冲着别的东西,NPU 是顺带的,这也是为什么这篇是一份记录而不是一封投诉。凡是冲着标上那个 AI 买的、又跑 Linux 的人,买到的是一个兑现得很晚、而且是别人替它兑现的承诺。

拥有你付了钱的硅片

NPU 是跟着笔记本一起来的。按它的卖法,它是让机器为 AI 做好准备的那一块,而人家提供的 AI 是别人的,放在别人的数据中心里,读着你敲的字,好换个法子把钱挣回来。硬件本身完全不需要这种安排。一个 4B 模型,21 W,能回答问题,你肯给它时间的话能读完一段 175,000 词的粘贴,还能把你说的话记下来,而这一切都不离开桌面。

这还算不上成品软件,上面每一处毛刺都花了一个小时去找、一两行去修。真正把开源软件跑起来,代价就是这个。它仍然比把同样的能力租回来划算,而那一个小时买到的,是你知道它怎么工作。

容器让这一切老老实实。宿主机上除了一个内核模块和它的固件什么都没有,一个设备交给一个容器,一个别人够不着的地址,再加一个零件一旦对不上就立刻失败的检查。花了一天。它会一直好用下去,因为里面每一行为什么在那儿我都清楚,而哪天早上其中一行不再成立,那个检查会告诉我。


  1. AMD — Ryzen AI 7 PRO 350 — 8 核 16 线程,Radeon 860M,“NPU TOPS: Up to 50 TOPS”,上市日期“3/27/2025”。 ↩︎ ↩︎ ↩︎

  2. Lemonade — LLMs on Linux with FastFlowLM — 只支持 XDNA2(Ryzen AI 300/400、Strix Halo),不支持 XDNA1;NPU 固件 1.1.0.0 或更高;不要设置 amd_iommu=off。 ↩︎ ↩︎ ↩︎ ↩︎

  3. Linux kernel documentation — amdxdna — AMD NPU 的主线加速器驱动。 ↩︎

  4. amd/xdna-driver — 驱动、XRT 子模块和插件;用自带的子模块构建 XRT 基础包,才能和插件配合;仓库创建于 2024年1月25日。 ↩︎ ↩︎

  5. Linux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c — AMDXDNA_DRIVER_MAJOR 0、AMDXDNA_DRIVER_MINOR 10;v7.2 中也是如此。 ↩︎

  6. ROCm/FastFlowLM — 面向 XDNA2 的 NPU LLM 运行时,兼容 OpenAI 的服务端,自 v1.0.0 起属于 ROCm;本文所用版本为 v1.0.12。 ↩︎ ↩︎

  7. FastFlowLM — LICENSE_BINARY.txt — 随附 NPU 内核二进制的许可条款。 ↩︎

  8. RPM 6.0.0 release notes — “RPM defaults to enforcing signature checking”。 ↩︎

  9. podman-systemd.unit(5) — Quadlet .container 单元,包括 AddDevice=、Ulimit=、StopSignal= 和 Exec=。 ↩︎

  10. loginctl(1) — enable-linger 在开机时启动用户管理器,注销后也保持运行。 ↩︎

  11. Qwen/Qwen3.5-4B — “Context Length: 262,144 natively”;Gated DeltaNet 与门控注意力的混合层。 ↩︎

  12. ggml-org/llama.cpp — GPU 测试所用的 server-vulkan 容器镜像,build 12352。 ↩︎

  13. mlc-ai/mlc-llm — 用 0.26 nightly 包测试。 ↩︎

  14. openai/whisper-large-v3-turbo — “a state-of-the-art model for automatic speech recognition (ASR) and speech translation”;由 large-v3 剪枝而来,“the number of decoding layers have reduced from 32 to 4”;8.09 亿参数;MIT 许可。 ↩︎

  15. open-webui/open-webui — 本文所用版本 v0.13.3。 ↩︎

  16. Qwen/Qwen2.5-7B-Instruct — tokenizer_config.json — 聊天模板的默认系统消息:“You are Qwen, created by Alibaba Cloud. You are a helpful assistant.” ↩︎

  17. Qwen/Qwen3-4B — tokenizer_config.json — 聊天模板,没有默认系统消息。 ↩︎

  18. Qwen/Qwen3.5-4B — tokenizer_config.json — 聊天模板,没有默认系统消息。 ↩︎

  19. AMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 2023年1月4日:“AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.” ↩︎

  20. Kernel Newbies — Linux 6.14 — 2025年3月24日(星期一)发布;“an amdxdna driver for AMD NPUs”。 ↩︎

  21. FastFlowLM v0.9.35 release notes — 2026年3月11日:“The wait is finally over… FastFlowLM is officially available natively on Linux!” ↩︎ ↩︎

  22. AMD — Ryzen AI Software release notes — 已知问题:“Model generation is not supported on Linux in this release.” ↩︎

  23. TOP500 — June 2026 — “LineShine debuts as the new No. 1 system, ending El Capitan’s run atop the list”;El Capitan“is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators”。 ↩︎

  24. LLNL — TOSS: Speeding Up Commodity Cluster Computing — “a fully functional cluster operating system, based on Red Hat Linux”。 ↩︎

  25. AMD — Alveo V70 — “the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency”。 ↩︎

  26. Linux — accel/amdxdna: Add basic support for AIE4 devices — “Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement”。驱动的设备表只给这两款产品提供虚拟功能条目;这台笔记本的 NPU 是 17f0。 ↩︎

  27. AMD — AMD Unveils Next-Gen “Zen 5” Ryzen Processors to Power Advanced AI Experiences — 2024年6月2日 Computex:“AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs”。 ↩︎

  28. Engadget — Microsoft’s Copilot+ AI PC plan fizzled, but it still served a purpose — 2025年12月5日:Copilot+ 系统“made up just 2.3 percent of Windows machines sold in the first quarter of 2025”;“only one of its new AI capabilities actually requires an NPU”。 ↩︎

  29. Windows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 2026年7月31日,引用微软财报电话会:“Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand”;“roughly 30% of the installed base still on Windows 10”。 ↩︎

  30. TensorFlow — Install TensorFlow with pip — “TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.” ↩︎

  31. vLLM — GPU installation — “vLLM does not support Windows natively”。 ↩︎

  32. JAX — Installation — CPU wheel 支持“Windows, x86_64 (experimental)”;GPU 部分有 NVIDIA、Google Cloud TPU、Mac 和“AMD GPU (Linux)”。 ↩︎

  33. Microsoft — Comparing WSL versions — “the use of an actual Linux kernel inside a managed VM”。 ↩︎

  34. AMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — 2025年11月11日金融分析师日:“AMD is uniquely positioned to lead the next generation of high-performance and AI computing”;“AMD has expanded its AI PC portfolio 2.5x since 2024”;“AMD delivers full-stack AI solutions”。 ↩︎