Skip to content
Open WebUI 到 FastFlowLM 再到 XDNA2 NPU,全走 IPv6 回环:回答时 21 W,一个提示词 232,000 token,从 AMD 发布会到 Linux 用了三年

在容器里用 Ryzen AI NPU 跑大语言模型

Ryzen AI 笔记本里的 NPU 有 50 TOPS 算力,在大多数 Linux 系统上却闲着。本文一步步讲:编译 AMD 的 amdxdna 驱动,宿主机上只留内核模块;把 FastFlowLM 和 AMD 的 XRT 运行时一起构建进一个 rootless podman 容器,并与该驱动版本匹配;所有服务只绑定 IPv6 回环地址,用 Quadlet 开机启动。然后看它能做什么:9 个模型的基准测试,一次 232,000 token 的上下文测试,Whisper 语音转文字跑到实时速度的十倍,Open WebUI 以及它往每条消息里偷偷塞的 7,000 个 token,还有 NPU 与 Radeon 860M 核显上 llama.cpp 的速度和能耗实测对比。最后是时间线:从 AMD 发布 Ryzen AI 到 Linux 上能在它的 NPU 上跑语言模型,用了三年,而且是一个不是 AMD 发起的项目做到的;与此同时,力气都花在了 Fisher-Price OS (Windows) 上的 Copilot+,而不是数据中心和 AI 从业者真正在用的 Linux 工具链。

2026年11月13日 · 20 分钟 · 2304 字 · Damien Dye
step-ca 的 SSH CA 为主机密钥和用户密钥签名;客户端信任主机 CA,服务器信任用户 CA,双方都不用维护密钥列表

由 step-ca 签名的 SSH 登录:告别 authorized_keys

把 step-ca 0.30.2 用作 SSH 证书颁发机构,在 OpenSSH 10.0 上测试。为什么证书胜过 authorized_keys 和首次使用即信任;在第一次设置 step-ca 时打开 SSH CA;为主机密钥签名(以及会让它出错的参数顺序);两行 sshd_config 和 known_hosts 里唯一一行 @cert-authority;一张 16 小时的用户证书;四项登录测试,包括错误的用户和不受信任的主机;用 sshpop 续期主机证书;以及它在哪里会出问题。

2026年10月9日 · 6 分钟 · 507 字 · Damien Dye
容器里的 step-ca 用它的中间证书签发证书,一份 CRL 把一部丢失的手机标记为已吊销

你自己的证书颁发机构:容器里的 step-ca

在 Podman 或 Docker 容器里运行 Smallstep 的 step-ca 0.30.2,作为家里所有东西的证书颁发机构,全部经过测试。为什么对内部名称来说,私有 CA 胜过自签名证书和公共证书;启动时打开 ACME 和 SSH;镜像生成的两个密码以及各自该放在哪里;在每台设备上信任根证书;为 Caddy 或任何支持 ACME 的东西提供内部 HTTPS;以及用 step ca renew 为不支持 ACME 的服务续期。客户端证书和 SSH 各有自己的文章。

2026年10月9日 · 6 分钟 · 590 字 · Damien Dye