[{"content":"50 TOPS 在吃干饭 过去两年卖出的每一台 Ryzen AI 笔记本里都有一个神经网络处理单元（NPU），一块专门为 AI 模型背后那些数学运算而造的硅片。我手上这台是 ThinkPad，CPU 是 Ryzen AI 7 PRO 350，AMD 给它标的算力最高 50 TOPS，也就是每秒几十万亿次运算1。这钱你是付了的。在一个原装的 Linux 系统上，它什么都不干。\n今年情况变了。装好之后，这颗 NPU 能在一个聊天窗口背后跑一个 40 亿参数的语言模型，外加语音转文字，全部在笔记本本地完成：不要账号，不要订阅，没有任何东西离开这台机器。凡是你不愿意敲进别人网站的东西，这一点就是全部意义所在。回答问题时整颗芯片大约 21 W，空闲时不到 9 W。\n跑的是什么 在哪里 地址 Qwen 3.5 4B，256k token 上下文 NPU，容器里 http://[::1]:52625/v1 语音转文字：OpenAI 的 Whisper，whisper-v3:turbo NPU，同一个容器 同上，/audio/transcriptions Open WebUI，聊天页面 CPU，容器里 http://[::1]:3000 amdxdna 内核驱动、固件 宿主机 /dev/accel/accel0 这次搭建守着两条规矩。宿主机上只放内核驱动和它的固件；所有模型框架都跑在 rootless podman 容器里。每个服务都只监听 IPv6 回环地址，IPv4 上什么都没有。结果这两条都比乱搞一通还省事，而且都抓出了我本来会带着上线的问题。\n在 Linux 上要做些什么 这颗芯片里的 NPU 是 AMD 第二代设计 XDNA2。这一点很要紧，因为在它上面跑语言模型的软件支持 XDNA2 的产品（Ryzen AI 300 和 400 系列、Strix Halo），不支持 Ryzen 7040 和 8040 里的第一代2。动手之前先查查你的：\n$ lspci -nn | grep -i \u0026#39;neural\\|signal processing\u0026#39; c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20) 从这个设备到一条聊天回复，中间隔着四层，宿主机和容器之间怎么切分，就是整个设计：\n层 是什么 放在哪里 amdxdna 内核驱动，创建 /dev/accel/accel03 宿主机，通过 DKMS NPU 固件 npu_7.sbin，这颗芯片上是 1.1.2.64 宿主机，来自 linux-firmware XRT + amdxdna 插件 AMD 的运行时库和它的 NPU 后端 容器 FastFlowLM LLM 运行时，自带 NPU 内核 容器 什么放在宿主机上，什么放在容器里 Rootless podman，想重建就重建 Open WebUI 聊天页面，在 CPU 上 [::1]:3000 FastFlowLM [::1]:52625 XRT + NPU 插件 与驱动提交号匹配 宿主机：内核模块和它的固件，别无他物 没有 XRT、运行时和模型。 跨进容器的 只有一个设备节点。 amdxdna 模块，由 DKMS 构建 npu_7.sbin XDNA2 NPU /dev/accel/accel0 切分方式。经常变的东西都放在容器里；宿主机只留一个内核模块和它的固件，跨过去的只有一个设备节点。 7.x 内核已经把 amdxdna 收进了主线，但 AMD 是先在自己的仓库里开发它的，而用户态插件必须和它对话的那个内核模块版本匹配4。两者之间的差距可不小。在这台笔记本上：\n主线版，Fedora 的 7.2.15 和 7.3.3 树外版，amd/xdna-driver 的 24dfd686 驱动接口 0.105 0.19 模块版本 无 2.27.0_20261113 绑定的 NPU PCI ID 6 8 请求的固件文件 7 59 这颗芯片加载的固件 17f0_10/npu_7.sbin，1.1.2.64 同一个文件 接口版本差了九个，而最新的 Linux 7.3 里带的还是 0.10。两者唯一一致的是固件，而固件来自 Fedora 的 linux-firmware，哪个驱动都不管。所以我从 amd/xdna-driver 的同一个提交把两半都编出来，模块放到宿主机上，匹配的用户态打进镜像里。\n驱动：全部编译，只留内核那一块 amd/xdna-driver 把 XRT 作为 git 子模块带着，编译会产出 XRT 的 RPM 和一个插件包。插件包里还带着驱动源码，并把它注册到 DKMS（Dynamic Kernel Module Support，每装一个新内核就替你重编一次模块的那个东西）。这些都不难：\ngit clone --recursive https://github.com/amd/xdna-driver.git \u0026amp;\u0026amp; cd xdna-driver sudo ./tools/amdxdna_deps.sh (cd xrt/build \u0026amp;\u0026amp; ./build.sh -npu -opt) # XRT RPMs in xrt/build/Release/ (cd build \u0026amp;\u0026amp; ./build.sh -release) # plugin RPM, driver source inside 在 Fedora 45 上，依赖脚本最后会报错。别管它：\n它要装 结果 要紧吗？ protobuf-devel 和已装的 protobuf3-compiler 冲突 不要紧，没有它 XRT 只是跳过一个跟踪工具 redhat-lsb 没这个包，Fedora 已经不要它了 不要紧 其他所有 早就装了 那里最后一个打了 tag 的版本是 2 月的，所以 main 就是发布渠道。我从 5 月的构建升到了 11 月的：550 个提交，XRT 从 2.23 升到 2.27。\n升级会删掉它刚装上的驱动 我第一次升级，直接把模块弄没了。RPM 先跑新包的安装脚本，把新驱动编好注册到 DKMS，再跑旧包的卸载脚本。这个卸载脚本从一个文件里读驱动版本，而那个文件已经被新包覆盖了，于是它注销的正是刚装上的那个版本。dnf 的输出用前后两行就把这事说清楚了：\n\u0026gt;\u0026gt;\u0026gt; Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0 \u0026gt;\u0026gt;\u0026gt; Removing driver source: xrt-amdxdna/2.27.0... 没有任何报错，没有一处变红，下次开机就会悄悄加载内核自带的那个版本。我能问一句吗：为什么一个卸载脚本在升级时运行，却不先检查一下这是不是升级？RPM 会把这个答案作为第一个参数交给每一个 scriptlet。就是一个 if 的事。\n一次 RPM 升级如何注销它刚装上的驱动 一次 dnf 升级，按 RPM 的执行顺序 新包 %post 编译 2.27， 注册到 DKMS DKMS：2.27 新文件落盘 版本文件 现在写着 2.27 DKMS：2.27 旧 %preun 读这个文件， 注销 2.27 2.27 没了 下次开机 加载主线模块， 没有任何警告 不是你编的那个 DKMS 里有： 修法就是一个判断。%preun scriptlet 在升级时拿到 $1 = 1，卸载时拿到 $1 = 0。 只有卸载才该注销任何东西。 RPM 执行一次升级的顺序。新包注册它的驱动，然后旧包注销共享版本文件里写的那个版本，而那时候写的已经是新版本了。 这也是为什么现在宿主机根本不装这些 RPM。驱动源码是插件包里的一个 tarball，所以我把它拿出来，直接交给 DKMS：\nT=$(mktemp -d) \u0026amp;\u0026amp; rpm2cpio xrt_plugin*.rpm | (cd $T \u0026amp;\u0026amp; cpio -idm --quiet) D=$T/opt/xilinx/xrt/share/amdxdna sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0 sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0 sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/ sudo dkms install xrt-amdxdna/2.27.0 sudo modprobe -r amdxdna; sudo modprobe amdxdna 不用重启。这是 Linux，而且这时候没有任何东西打开着这个设备，所以模块可以在线替换。之后 dnf 每装一个内核，DKMS 就重编一次；7.3.3 来的时候，我还没重启进去，它就已经编好了。\n驱动直接交给 DKMS 从软件包到已加载的模块，软件包本身不安装 插件 RPM 驱动源码是 里面的 tarball /usr/src tarball 解开， dkms.conf 放在旁边 dkms install 为当前内核 编译模块 modprobe -r 再 modprobe： 在线，不重启 dnf 装了新内核 你还没重启进去，DKMS 就重编好了 rpm2cpio 把 tarball 取出来。 宿主机从不安装这些 RPM， 所以那里不会跑任何打包脚本。 驱动从软件包直接到 DKMS，软件包本身从来没被安装，所以宿主机上不会跑任何打包脚本。 确认加载的是 DKMS 构建的版本而不是主线版，并且固件够新。FastFlowLM 要求 1.1.0.0 或更高2：\n$ modinfo -F filename amdxdna /lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz $ cat /sys/bus/pci/drivers/amdxdna/*/fw_version 1.1.2.64 $ journalctl -k | grep \u0026#39;Initialized amdxdna\u0026#39; [drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0 DKMS 不会删掉内核自带的模块，而是把它挪到 /var/lib/dkms/xrt-amdxdna/original_module/，所以把 DKMS 构建的版本拿掉，原来的就回来了。\n还有一件事别去碰：内核命令行上的 amd_iommu=off 会把 NPU 禁掉2。\n容器里的 FastFlowLM FastFlowLM 是让 NPU 能跑语言模型的那个运行时。它是一个 Ollama 风格的命令行工具，外加一个兼容 OpenAI 的服务端，专为 XDNA2 编写，今年已经归入 AMD 的 ROCm 组织6。运行时本身是 MIT 许可。它带的 NPU 内核是闭源二进制，可以免费使用，也可以原样再分发7。我更希望它们是开源的，这话我也照直说，但它们就在仓库里，不需要从别的什么地方去下载。\n镜像基于 Fedora 45，分三个阶段：先装驱动构建产出的 XRT，再针对它编译 FastFlowLM，最后是一个只带必需品的运行时。要紧的部分是这段：\nFROM registry.fedoraproject.org/fedora:45 AS xrt ARG XDNA_COMMIT COPY dist/xdna-${XDNA_COMMIT}/ /rpms/ RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \\ \u0026amp;\u0026amp; rpm -i --noscripts --nodeps --nosignature \\ --excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \\ /rpms/xrt_plugin*.rpm \\ \u0026amp;\u0026amp; echo /opt/xilinx/xrt/lib64 \u0026gt; /etc/ld.so.conf.d/xrt.conf \u0026amp;\u0026amp; ldconfig 每一个参数都在那儿，是因为没有它就出过问题：\n问题 解决办法 插件的脚本会编一个内核模块，而那东西属于宿主机 --noscripts，并排除驱动源码和固件 Fedora 45 的 RPM 6 默认强制校验签名8，自己编的 RPM 没签名 --nosignature：我自己编的，我知道它从哪儿来 XRT 的库在 lib64 里，不在链接器路径上 镜像里加 /etc/ld.so.conf.d/xrt.conf FastFlowLM 通过 pkg-config 找 XRT，而 XRT 的 setup.sh 不设置这个路径 构建阶段设 PKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig 做好的镜像 609 MB，tag 里带着驱动的提交号：fastflowlm:v1.0.12-xdna24dfd686。一个健康检查会把它和已加载模块报告的提交号对比，不一致就失败。为错误驱动构建的镜像，是这里唯一一个真正让人摸不着头脑的故障，所以要在它走到那一步之前就拦下来。\nFastFlowLM 镜像如何构建和检查 基于 Fedora 45 的三个阶段 阶段 1：xrt XRT 和插件 RPM， 不跑脚本，不带固件 阶段 2：build 针对那个 XRT 编译 FastFlowLM 阶段 3：runtime 只带必需品， 609 MB 健康检查：镜像和宿主机必须一致 镜像 tag 写着 v1.0.12-xdna24dfd686 = 已加载的模块写着 24dfd686 不一致即不健康，赶在问题变得难查之前。 三个构建阶段，再加一个把镜像和它所针对的驱动绑在一起的健康检查。 容器只拿到一个设备，也就是 NPU，再加上 FastFlowLM 锁定缓冲区所需的内存锁定上限：\npodman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \\ localhost/fastflowlm:v1.0.12-xdna24dfd686 validate [Linux] NPU: /dev/accel/accel0 with 8 columns [Linux] NPU FW Version: 1.1.2.64 [Linux] Memlock Limit: infinity AMD 自己的自检工具 xrt-smi validate 在一次矩阵乘法上测出 NPU 是 51 TOPS。盒子上写的 50，兑现了。\n开机自启，只走 IPv6 Quadlet 能把一个简短的 .container 文件变成一个 systemd 服务9。作为用户单元，它以我的身份 rootless 运行；开启 lingering 之后，没人登录它也会在开机时启动10：\n[Unit] Description=FastFlowLM NPU server ConditionPathExists=/dev/accel/accel0 [Container] Image=localhost/fastflowlm:v1.0.12-xdna24dfd686 AddDevice=/dev/accel/accel0 Ulimit=memlock=-1:-1 Network=host Volume=%h/.config/flm:/models:Z Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo StopSignal=SIGINT [Install] WantedBy=default.target loginctl enable-linger $USER cp fastflowlm.container ~/.config/containers/systemd/ systemctl --user daemon-reload \u0026amp;\u0026amp; systemctl --user start fastflowlm -c 262144 设定上下文窗口，为什么要这么大，看下面的上下文测试。-a whisper-v3:turbo 在聊天模型旁边再加载第二个模型，用来把语音转成文字；它有单独一节。\n里面有三行是吃了亏才学到的：\n这一行 没有它会怎样 StopSignal=SIGINT FastFlowLM 不理 podman 的停止信号 SIGTERM，十秒后被强杀 --host ::1 它会监听 127.0.0.1，也就是 IPv4 写 ::1，不写 [::1] 带方括号的写法解析失败；方括号只该出现在 URL 里 地址要证明，别光信：\n$ ss -ltn \u0026#39;sport = :52625\u0026#39; LISTEN 0 4096 [::1]:52625 [::]:* $ curl -s http://127.0.0.1:52625/v1/models || echo refused refused 凡是先把 localhost 解析成 ::1 的程序，用 localhost 照样能连上，Fedora 的 /etc/hosts 和 Chrome 都是这样。\n启动顺序，以及唯一会应答的地址 开机启动 开机启动用户管理器 loginctl enable-linger Quadlet .container 变成服务 两个用户服务 fastflowlm, open-webui 谁能连上 浏览器 Open WebUI [::1]:3000 FastFlowLM [::1]:52625 127.0.0.1 拒绝 NPU lingering 让用户管理器在开机时启动，Quadlet 生成服务，每一个有应答的地址都在 IPv6 回环上。 它能做什么，实测数据 九个模型跑 FastFlowLM 自带的基准测试，decode 就是答案往外吐字的速度：\n模型 Decode，1k 上下文 Decode，8k 上下文 读提示词，8k llama3.2:1b 77 tok/s 56 tok/s 2,009 tok/s qwen3.5:2b 32 29 1,533 llama3.2:3b 30 20 857 phi4-mini-it:4b 25 17 744 qwen3:4b 23 15 613 qwen3.5:4b 17 15 657 gemma4-it:e4b 14 12 642 qwen3:8b 13 10 418 qwen3.5:9b 11 10 451 各模型的 decode 速度，对比阅读速度 1k 上下文下的 decode，每秒 token 数 阅读速度，每秒 5 到 8 个 token llama3.2:1b 77 qwen3.5:2b 32 llama3.2:3b 30 phi4-mini-it:4b 25 qwen3:4b 23 qwen3.5:4b 17 我用这个 gemma4-it:e4b 14 qwen3:8b 13 qwen3.5:9b 11 1k 上下文下的 decode 速度。每个模型都快过阅读速度；模型大一倍，速度大约减半。 人的阅读速度是每秒五到八个 token，所以这些模型个个都跑在你前面。模型每大一倍，decode 大约减半，瓶颈在内存带宽而不在算力时就该是这样。我用的是 qwen3.5:4b。Phi-4 mini 更快，但 Qwen 3.5 在对话变长时还能保持速度，能处理图片和工具调用，还有提示词缓存，省得每一轮都把整段历史重读一遍。就凭这个定了。\n256,000 token 的上下文 Qwen 3.5 设计的窗口是 262,144 个 token11，FastFlowLM 默认只给 32,768。超过这个上限时，它的表现值得知道：日志里记一句 Max length reached, stopping prefilling，然后关掉连接，没有回复，也没有报错。聊天窗口就停在那儿，答案是空的，你只能去猜是模型、服务端还是浏览器挂了。\n所以我用 -c 262144 把它调大，并且认真测了一下。在一个 232,250 token（大约 175,000 个英文单词）的提示词第一行里藏一个代码，最后再问它：\n8k 上下文 232k 上下文 答案 正确 正确，AMBER-FALCON-7731 读提示词 657 tok/s 210 tok/s 等第一个字 12 秒 18.4 分钟 Decode 15 tok/s 2.4 tok/s 预留内存 约 5 GB 约 12.7 GB 能用。慢。而且不管你用不用这个窗口，内存都预留着。机器里有 90 GB，我愿意付这个代价，让一大段粘贴进去的东西得到回答，而不是被悄无声息地丢掉。\nGPU 能帮上忙吗？ 同一颗芯片里还有一块 Radeon 860M，所以显而易见的问题是：它能不能分担一部分负载。把一个模型拆开跑在 NPU 和 GPU 上，一边读提示词、一边写答案，目前没有哪个 Linux 运行时能做到。在 GPU 上跑第二个运行时倒是可以，所以我测了这个。\n这里的“高效”是速度和能耗一起算。amdgpu 驱动不需要 root 就能报告整颗芯片的封装功耗，amdxdna 驱动单独报告 NPU 的功耗，所以下面每一次运行都按每秒四次采样。全程同一个模型，4-bit 量化。\n我看过的 GPU 运行时里，只有一个能用：\n运行时 在 860M 上的结果 llama.cpp，Vulkan 后端12 能用；镜像 881 MB llama.cpp，ROCm 后端 能看到 GPU，然后第一项工作就段错误，加不加 GPU 版本覆盖都一样；镜像 23 GB MLC-LLM，Vulkan13 编译 Qwen 3.5 架构时它的编译器段错误 vLLM、SGLang 没试：它们是为数据中心 GPU 和大量用户造的，不是为一块 8 个计算单元的核显 再拿 NPU 和那个能用的比一比：\nQwen 3.5 4B NPU，FastFlowLM GPU，llama.cpp Vulkan 空闲，模型已加载 8.6 W 16.0 W，停掉时是 9.7 W 读提示词，约 6k token 557 tok/s，23.8 W 411 tok/s，46.1 W 每个提示词 token 的能耗 0.043 J 0.112 J Decode 18.2 tok/s，21.0 W 23.5 tok/s，40.7 W 每个生成 token 的能耗 1.16 J 1.73 J NPU 对 GPU，同一个模型 NPU，FastFlowLM Radeon 860M GPU，llama.cpp Vulkan 每个提示词 token 的能耗 越低越好 0.043 J 0.112 J 每个回答 token 的能耗 越低越好 1.16 J 1.73 J 空闲，模型已加载 越低越好 8.6 W 16.0 W decode 速度 越高越好 18.2 tok/s 23.5 tok/s 同一个模型，两种加速器，每根条按同组中较大的那个缩放。GPU 答得更快；其他所有方面 NPU 都更省电。 GPU 写答案大约快 29%。代价是功耗翻倍。NPU 读提示词更快，能耗还不到一半。更大的数字是空闲那一项：GPU 服务端加载着、什么都不干，比同一台机器把它停掉时多耗 6.3 W，一整天都这样。两个同时跑，NPU 从 18.2 掉到 14.2 tok/s，GPU 从 23.5 掉到 13.9，因为它们共用同一块内存。所以 GPU 容器是有的，但只在我想要第二个模型时才启动，不设开机自启。\n每一次运行里 NPU 本身都不到 2 W。21 W 里大部分是喂数据给它的 CPU 和内存。这才是以后的 FastFlowLM 版本里值得盯着的上限。\n语音转文字也跑在 NPU 上 Whisper 是 OpenAI 的语音识别模型：输入音频，输出文字，支持 99 种语言，以 MIT 许可发布，所以在哪儿跑都不用征得谁同意14。Large-v3 是目前的完整版本。Turbo 是同一个模型，只是把解码器（负责把文字写出来的那一半）从 32 层砍到了 4 层。模型卡把这笔交易说得很直白：“way faster, at the expense of a minor quality degradation”。它有 8.09 亿参数，是聊天模型的五分之一大。\nFastFlowLM 已经把它转换好给 NPU 用了，名字叫 whisper-v3:turbo，下载 623 MB，用 -a whisper-v3:turbo 加载在聊天模型旁边。它不会单独提供 Whisper 服务；必须同时加载一个聊天模型。音频发到标准的 OpenAI 转写接口，文字就回来了。\n19.6 秒的语音 第一次请求，加载 Whisper 6.2 秒 之后 2.0 秒，约为实时速度的十倍 整颗芯片功耗 约 24.7 W 准确度 每个词都对 不过拼写用的是美国那套冒牌英语拼写：“color”和“program”。Whisper 的 API 接受一个 prompt 参数，用真正的英式英语拼写写一段提示，也就是这门语言发源地英格兰的英语，就足以纠正过来：\ncurl -s \u0026#39;http://[::1]:52625/v1/audio/transcriptions\u0026#39; -F file=@speech.wav \\ -F model=whisper-v3:turbo -F language=en \\ -F \u0026#39;prompt=British English spelling: colour, programme, organise, centre.\u0026#39; 我们本来就不该去纠正这些模型。Whisper 用 99 种语言训练，除非你另外告诉它，它照样按美国的方式写英语，因为造它的人把自己的拼写当作默认，把其他所有人的当作得专门开口要的选项。这就是全世界都讨厌的那种烦人的美国默认主义，而且它作为一种偏见被烤进了模型里。聊天模型的系统提示词里也带着同样的指示，见下面一节，理由相同。\n一个聊天窗口，和你从没打过的 7,000 个 token Open WebUI 是浏览器前端15，在它自己的容器里，同样绑定在 [::1]:3000，指向 NPU。它的麦克风按钮接的是 NPU 上的 Whisper，而不是它自己的默认方案，那个方案会下载一个模型放在 CPU 上跑。\n我发给它的第一条消息是二十个英文单词。到了 NPU 那里，它变成了一个 7,223 token 的提示词，因为 Open WebUI 0.13 会把它所有内置工具（记忆、笔记、日历、自动化、网页搜索）的定义附在每一条消息上，而管理员每一个都有。\n同一个二十词的问题 发给 NPU 的提示词 等第一个字 内置工具开启，默认 7,223 token 约 12 秒 该模型关闭内置工具 127 token 不到 1 秒 7,000 个 token 从哪儿来 你输入 二十个词 Open WebUI 加上 每一个内置工具的定义 NPU 读的是 全部，每条消息都这样 发给 NPU 的提示词 工具开启，默认 7,223 token，约 12 秒才出第一个字 工具关闭 127 token，不到 1 秒 同一个二十词的问题，Open WebUI 内置工具开和关，按比例画出。 对本地模型来说，这个默认值就该是关的。每个回答都多等十二秒。\n它还信心满满地告诉我，它是“由 Google 训练的”，跑在“Google 先进的基础设施上”。它是阿里巴巴做的 Qwen 模型，跑在一台笔记本上。这完全是胡说八道，而且根本不该发生。\n问题不在配置。模型只看得到发给它的文字，下拉菜单里的名字是给服务端的标签，从来不会传给模型。所以那个回答完全出自模型自己，而它答错的，恰恰是关于它自己、本来绝不该有疑问的那一个事实。这是设计缺陷，责任在发布这个模型的人身上。\n下拉菜单里的名字永远到不了模型那里 你看到的 下拉菜单里的模型名 系统提示词（如果你设了） 你的消息 给服务端的标签，从不发送 模型看到的 系统提示词（如果你设了） 你的消息 没有名字，没有厂商，没有机器 发送 没有系统提示词，它就靠猜 模型拿到的是系统提示词和对话内容。下拉菜单里的名字留在服务端。 阿里巴巴知道怎么防止这个。Qwen 2.5 的聊天模板在你不另给提示词时，每段对话开头都是“You are Qwen, created by Alibaba Cloud”16。Qwen 3 去掉了这一行17，Qwen 3.5 发布时也没有18。没有任何东西补上它，而从那个回答看，模型也从没被教到能自己答对的程度。不给提示词，问一个 4B 模型“你是什么？”，它就退回到训练数据里最常见的答案，而那是别人的答案。\n这是小事吗？不是。一个模型能信心十足地告诉你是谁造了它、它跑在谁的数据中心里，结果两样都错，那它对任何它没法核实的东西都会这样。这一次你知道正确答案。大多数时候你不会知道。\n所以必须在系统提示词里告诉它：\n问“你是什么，跑在什么上面？” 回答 没有系统提示词 “a large language model trained by Google… Google\u0026rsquo;s advanced infrastructure” 有系统提示词 “Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350\u0026rsquo;s NPU via FastFlowLM” 同一段提示词还让它写英式英语，原因还是 Whisper 身上也有的那种美国默认主义。告诉了，它就照做。但它还是说不出今天是几号。一个没有日历、不联网的模型会去猜日期和近期发生的事，而且不管提示词怎么要求，它都不一定会说自己在猜。\n在 Linux 上跑 AI 用了三年 2023年1月，AMD 把 Ryzen AI 搬上舞台，称之为“the first dedicated artificial intelligence hardware in an x86 processor”19。从那场主题演讲往后数：\n时间 Linux 上发生了什么 距主题演讲 2023年1月4日 Ryzen AI 发布，搭载于 Ryzen 7040 2024年1月25日 amd/xdna-driver 在 GitHub 上公开4 1 年 2025年3月24日 amdxdna 进入 Linux 主线，6.1420 2 年 2 个月 2025年3月27日 本文这颗芯片 Ryzen AI 7 PRO 350 上市1 2 年 2 个月 2026年3月11日 FastFlowLM 0.9.35，它的第一个原生 Linux 版本21 3 年 2 个月 2026年8月11日 FastFlowLM 1.0.0，此时已归入 AMD 的 ROCm6 3 年 7 个月 今天 7040 和 8040 仍然没有 LLM 运行时2 3 年 10 个月 光是能在 Linux 下用 NPU 跑一个语言模型，就用了三年零两个月，而且做到这件事的不是 AMD 自己的软件。是 FastFlowLM，一个在公司外面起步、今年才被收进 ROCm 的项目。它的 Linux 版发布说明开头是“The wait is finally over”，接着说它用的是“the exact same recipe you already know and love on Windows”21。Fisher-Price OS (Windows) 先拿到了，他们自己也是这么说的。AMD 自家的 Ryzen AI Software 在当前版本的发布说明里仍然写着“Model generation is not supported on Linux in this release”22。\n买了第一代的人更惨。一台 2023 年的 Ryzen 7040 笔记本，里面的 NPU 没有任何 Linux 上的语言模型运行时会去碰，也没有任何公开的东西说会有。贴的是同一个标。\n我能问一句为什么吗？不是问谁，是问为什么。AMD 的流程里是什么东西，让一颗名字里带着 AI 的芯片被卖出去，而在 Linux 上使用这个 AI 的软件却在几年之后才出现，还是从外面来的？规格表上写着“Up to 50 TOPS”1。标上写着 Ryzen AI。这两样都是对买笔记本的人做出的陈述，而在这颗芯片上市后的第一年里，在 Linux 上这两样一文不值。\n瞄准的是 Copilot，不是数据中心 不是 AMD 觉得 Linux 难。在数据中心，Linux 是头等公民，AMD 心里清楚：劳伦斯利弗莫尔国家实验室的 El Capitan 用的是 AMD EPYC 处理器和 AMD Instinct 加速器，直到今年 6 月都是世界上最快的计算机23，跑的是 TOSS，利弗莫尔自己构建的 Red Hat Linux24。你能想象 AMD 卖出一块 Instinct 加速器，然后告诉买家 Linux 软件早晚会有、而且是别人来做吗？不可能。这颗 NPU 的内核驱动 AMD 甚至都写了，还送进了主线。偏偏最后一层，也就是让硬件去干它被卖出来要干的那份活的那一层，被晾在那儿等着。\n这本来就不该是一个笔记本项目。同一年，同样的 XDNA 架构用进了一块数据中心卡 Alveo V70，卖点是“the first Alveo production card leveraging AMD XDNA architecture with AI Engines”25。为 AI Engine 做一套软件栈，像数据中心里其他东西一样以 Linux 为先，笔记本就白捡了。服务器也一样。一块小巧、省电的加速器，正是你想切片分给虚拟机的东西，每台一份，给那些用不着一整块 GPU 的小模型用。内核今年才学会这一招，在新的 AIE4 产品上把 NPU 拆成虚拟功能26。在这台笔记本的 NPU 上，它根本做不到。\n力气反而都花在了 Fisher-Price OS (Windows) 和 Copilot 上。AMD 发布这一代芯片时，说它们是“Unlock Transformational AI Experiences for Windows Copilot+ PCs”的处理器27。几乎没人买账。2025 年第一季度，Copilot+ 机器只占 Fisher-Price OS (Windows) PC 销量的 2.3%，而微软更新的那些 Copilot 功能反正也是在云上跑的：“only one of its new AI capabilities actually requires an NPU”28。微软还报告说，它从 PC 厂商那里的收入因为“lower PC market demand”下降了 7%，“roughly 30% of the installed base still on Windows 10”29。所以这颗 NPU 瞄准的，是一个人们不肯升级的操作系统，用来跑一个人们没要过的助手，而这个助手大多数时候根本不用 NPU。\n那里也不是 AI 被造出来的地方。以此为生的人跑的是 Linux，因为他们的工具在那儿跑。TensorFlow 直说 2.10“was the last TensorFlow release that supported GPU on native-Windows”30。vLLM 模型服务端“does not support Windows natively”31。JAX 把它的 Fisher-Price OS (Windows) 版本列为实验性的，AMD 支持一栏写的是“AMD GPU (Linux)”32。Fisher-Price OS (Windows) 上真能跑这些工具的地方，靠的是 WSL 2，而按微软自己的描述，那是“an actual Linux kernel inside a managed VM”33。AMD 把它的 AI 芯片瞄准了 AI 这一行唯一不用的那个桌面系统。AMD，只支持一半是不够的。\n然后 AMD 还向投资者把自己包装成一家 AI 公司。2025年11月11日，它的董事长兼 CEO 说 AMD“is uniquely positioned to lead the next generation of high-performance and AI computing”，同一份新闻稿还炫耀“AI PC portfolio 2.5x since 2024”，结尾落在“full-stack AI solutions”上34。全栈。在本文这台 AI PC 上，这个栈的最顶层来自一个不是 AMD 发起的项目，而在第一代上它压根没来。一家 AI 公司，自己的 AI 芯片等了三年，才能在它数据中心业务赖以立足的操作系统上跑 AI？可笑。\n头等支持很好描述。买机器的当天就能用，在你用的操作系统上能用，由卖你芯片的那家公司提供。这颗 NPU 到现在还没达到。我买这台笔记本是冲着别的东西，NPU 是顺带的，这也是为什么这篇是一份记录而不是一封投诉。凡是冲着标上那个 AI 买的、又跑 Linux 的人，买到的是一个兑现得很晚、而且是别人替它兑现的承诺。\n拥有你付了钱的硅片 NPU 是跟着笔记本一起来的。按它的卖法，它是让机器为 AI 做好准备的那一块，而人家提供的 AI 是别人的，放在别人的数据中心里，读着你敲的字，好换个法子把钱挣回来。硬件本身完全不需要这种安排。一个 4B 模型，21 W，能回答问题，你肯给它时间的话能读完一段 175,000 词的粘贴，还能把你说的话记下来，而这一切都不离开桌面。\n这还算不上成品软件，上面每一处毛刺都花了一个小时去找、一两行去修。真正把开源软件跑起来，代价就是这个。它仍然比把同样的能力租回来划算，而那一个小时买到的，是你知道它怎么工作。\n容器让这一切老老实实。宿主机上除了一个内核模块和它的固件什么都没有，一个设备交给一个容器，一个别人够不着的地址，再加一个零件一旦对不上就立刻失败的检查。花了一天。它会一直好用下去，因为里面每一行为什么在那儿我都清楚，而哪天早上其中一行不再成立，那个检查会告诉我。\nAMD — Ryzen AI 7 PRO 350 — 8 核 16 线程，Radeon 860M，“NPU TOPS: Up to 50 TOPS”，上市日期“3/27/2025”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLemonade — LLMs on Linux with FastFlowLM — 只支持 XDNA2（Ryzen AI 300/400、Strix Halo），不支持 XDNA1；NPU 固件 1.1.0.0 或更高；不要设置 amd_iommu=off。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — amdxdna — AMD NPU 的主线加速器驱动。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\namd/xdna-driver — 驱动、XRT 子模块和插件；用自带的子模块构建 XRT 基础包，才能和插件配合；仓库创建于 2024年1月25日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c — AMDXDNA_DRIVER_MAJOR 0、AMDXDNA_DRIVER_MINOR 10；v7.2 中也是如此。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nROCm/FastFlowLM — 面向 XDNA2 的 NPU LLM 运行时，兼容 OpenAI 的服务端，自 v1.0.0 起属于 ROCm；本文所用版本为 v1.0.12。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFastFlowLM — LICENSE_BINARY.txt — 随附 NPU 内核二进制的许可条款。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRPM 6.0.0 release notes — “RPM defaults to enforcing signature checking”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npodman-systemd.unit(5) — Quadlet .container 单元，包括 AddDevice=、Ulimit=、StopSignal= 和 Exec=。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nloginctl(1) — enable-linger 在开机时启动用户管理器，注销后也保持运行。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3.5-4B — “Context Length: 262,144 natively”；Gated DeltaNet 与门控注意力的混合层。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nggml-org/llama.cpp — GPU 测试所用的 server-vulkan 容器镜像，build 12352。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nmlc-ai/mlc-llm — 用 0.26 nightly 包测试。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopenai/whisper-large-v3-turbo — “a state-of-the-art model for automatic speech recognition (ASR) and speech translation”；由 large-v3 剪枝而来，“the number of decoding layers have reduced from 32 to 4”；8.09 亿参数；MIT 许可。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopen-webui/open-webui — 本文所用版本 v0.13.3。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen2.5-7B-Instruct — tokenizer_config.json — 聊天模板的默认系统消息：“You are Qwen, created by Alibaba Cloud. You are a helpful assistant.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3-4B — tokenizer_config.json — 聊天模板，没有默认系统消息。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3.5-4B — tokenizer_config.json — 聊天模板，没有默认系统消息。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 2023年1月4日：“AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKernel Newbies — Linux 6.14 — 2025年3月24日（星期一）发布；“an amdxdna driver for AMD NPUs”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFastFlowLM v0.9.35 release notes — 2026年3月11日：“The wait is finally over… FastFlowLM is officially available natively on Linux!”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — Ryzen AI Software release notes — 已知问题：“Model generation is not supported on Linux in this release.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTOP500 — June 2026 — “LineShine debuts as the new No. 1 system, ending El Capitan\u0026rsquo;s run atop the list”；El Capitan“is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLLNL — TOSS: Speeding Up Commodity Cluster Computing — “a fully functional cluster operating system, based on Red Hat Linux”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — Alveo V70 — “the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux — accel/amdxdna: Add basic support for AIE4 devices — “Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement”。驱动的设备表只给这两款产品提供虚拟功能条目；这台笔记本的 NPU 是 17f0。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Unveils Next-Gen \u0026ldquo;Zen 5\u0026rdquo; Ryzen Processors to Power Advanced AI Experiences — 2024年6月2日 Computex：“AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEngadget — Microsoft\u0026rsquo;s Copilot+ AI PC plan fizzled, but it still served a purpose — 2025年12月5日：Copilot+ 系统“made up just 2.3 percent of Windows machines sold in the first quarter of 2025”；“only one of its new AI capabilities actually requires an NPU”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 2026年7月31日，引用微软财报电话会：“Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand”；“roughly 30% of the installed base still on Windows 10”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTensorFlow — Install TensorFlow with pip — “TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nvLLM — GPU installation — “vLLM does not support Windows natively”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJAX — Installation — CPU wheel 支持“Windows, x86_64 (experimental)”；GPU 部分有 NVIDIA、Google Cloud TPU、Mac 和“AMD GPU (Linux)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Comparing WSL versions — “the use of an actual Linux kernel inside a managed VM”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — 2025年11月11日金融分析师日：“AMD is uniquely positioned to lead the next generation of high-performance and AI computing”；“AMD has expanded its AI PC portfolio 2.5x since 2024”；“AMD delivers full-stack AI solutions”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/hardware/ryzen-ai-npu-llm-in-a-container/","summary":"Ryzen AI 笔记本里的 NPU 有 50 TOPS 算力，在大多数 Linux 系统上却闲着。本文一步步讲：编译 AMD 的 amdxdna 驱动，宿主机上只留内核模块；把 FastFlowLM 和 AMD 的 XRT 运行时一起构建进一个 rootless podman 容器，并与该驱动版本匹配；所有服务只绑定 IPv6 回环地址，用 Quadlet 开机启动。然后看它能做什么：9 个模型的基准测试，一次 232,000 token 的上下文测试，Whisper 语音转文字跑到实时速度的十倍，Open WebUI 以及它往每条消息里偷偷塞的 7,000 个 token，还有 NPU 与 Radeon 860M 核显上 llama.cpp 的速度和能耗实测对比。最后是时间线：从 AMD 发布 Ryzen AI 到 Linux 上能在它的 NPU 上跑语言模型，用了三年，而且是一个不是 AMD 发起的项目做到的；与此同时，力气都花在了 Fisher-Price OS (Windows) 上的 Copilot+，而不是数据中心和 AI 从业者真正在用的 Linux 工具链。","title":"在容器里用 Ryzen AI NPU 跑大语言模型"},{"content":"先说明：我在 croit 工作，FlashStore 就是 croit 写的。下面的一切都读自 Ceph v21.2.0 的源码和文档，以及 croit 公开的 ceph-rust 快照，全部链接都在页面底部。凡是 croit 自己的理由站在某一方的地方，我都会说明这是谁的理由。\n同一个守护进程的两次重写 经典的 Ceph OSD 是一个多线程的 C++ 服务器，是在机械硬盘上长大的。 在高速 NVMe 和高速网络上，它把大量 CPU 花在了不是存你数据的事情上：在线程池之间传递操作、拿锁、等别的线程。 有两个项目打算干脆重写 OSD 来解决这个问题。\n一个是 Crimson，Ceph 自己的。 Umbrella 的文档称它为“the next generation ceph-osd”，其构建目的是“to deliver enhanced performance on fast network and storage devices”1。 另一个是 croit 的 FlashStore OSD，出自 ceph-rust 项目，自 2026年11月9日起公开预览2。\n两者都说自己可以直接替换。 两者都说自己是为 NVMe 准备的。 两者都在预览阶段，今天都不该存放生产数据。 所以如果你跑的是 NVMe 上的 Ceph，正在琢磨该关注哪一个，那就值得弄清楚它们真正的区别在哪里，因为那并不在标题让你以为的地方。\n本文按你在 Ceph 21.2.0 Umbrella 上会看到的样子来比较它们：Crimson 按该版本的文档和发布形态，FlashStore 则是针对同一版本构建和测试的2。 它接着 FlashStore 对比 Umbrella BlueStore 往下讲，那里已经讲过的关于 FlashStore 的内容，这里默认你已经读过。\n一个守护进程的两次重写 经典 ceph-osd C++，多线程 Crimson Ceph 上游，基于 Seastar 的 C++ croit-flashstore-osd croit，Rust，自有运行时 BlueStore 默认 SeaStore 原生 CyanStore 不存数据 FlashStore 唯一的存储 经典 OSD 的两次重写。Crimson 保留三种存储可选，默认是 BlueStore；FlashStore 只有一种。 各自从哪里来 第一个区别是谁来做、怎么做。\nCrimson FlashStore 开发方 Ceph 上游，在主代码树中 croit 语言 C++ Rust 框架 Seastar croit 自己的单线程执行器 代码 在 ceph/ceph 中 净室重写，不链接任何 Ceph 代码 开发方式 上游，公开 预览期为只读快照；首个生产版本之后公开 许可证 Ceph 的 守护进程 LGPL-3.0，客户端 MPL-2.0 用它自己的话说的状态 “not suitable for production use” “not yet recommended for production data” 计划 GA 未说明 2027 年第一季度 Crimson 住在 Ceph 自己的仓库里，由 Ceph 自己的开发者构建。 它写在 Seastar 上，这是一个出自 ScyllaDB、面向每核一线程服务器的 C++ 框架3。 Umbrella 的文档说得很直白，它“is in a tech-preview stage and is not suitable for production use”1。\nFlashStore 是用 Rust 从零写的，完全不链接任何 Ceph 代码；Ceph 的 C++ 只作为参考来读，再按 croit 自己的规格重新实现4。 它的 README 说它用于测试和评估，“not yet recommended for production data”，正式可用计划在 2027 年第一季度2。 公开仓库是一个只读快照：“no issue tracker, no contribution workflow”2。\n这一行值得仔细读。 Crimson 是公开开发的，谁都可以读拉取请求，在上面争论。 FlashStore 目前是以一家公司做好的快照形式出现：每一行你都能读，但你还不能给它提交补丁。 这是预览阶段的状态，不是计划。 预览的作用是在 croit 内部跑生产测试用例、把这个 OSD 标为可安全使用之前，先收集社区反馈。 公开开发会在首个生产版本之后到来，这也是大多数由企业赞助的开源项目走的路。 这话来自 croit 内部，而不是来自一份公开的路线图，所以要让他们说到做到。\ncroit 确实考虑过 fork Crimson，并写下了为什么没有这么做。 它的 ADR 说 Crimson“tries to support everything (HDD, alienstore/BlueStore, all pool types)”，并补了一句“Complex code is never fast”4。 这是 croit 对 Crimson 的看法，不是测量结果，我也会就这么看待它。 同一份 ADR 拒绝 fork 的理由之一是 LGPL4，而 croit 八天之后就把自己的守护进程用 LGPL-3.0 授权了5。 所以许可证从来就不是真正的理由。\n内存安全：Rust 对比 C++ OSD 是存着你数据的那段代码。 它里面的一个释放后使用或缓冲区溢出，不是那种重启一下就好的崩溃；它是磁盘上被损坏的数据，还会被复制到每一个副本。 这恰恰是西方网络安全机构过去三年一直在要求整个行业从设计上消除的那一类缺陷。\n指引 谁署了名 它说了什么 The Case for Memory Safe Roadmaps，2023年12月 CISA、NSA 和 FBI（美国），ASD\u0026rsquo;s ACSC（澳大利亚），CCCS（加拿大），NCSC-UK，NCSC-NZ，CERT-NZ C 和 C++ 是内存不安全的；发布一份摆脱它们的路线图 Product Security Bad Practices v2.0，2025年1月 CISA 和 FBI 在有内存安全语言可用的情况下，用 C 或 C++ 开发新的关键基础设施产品线是 “dangerous” 联合指引说得很直白：“Programming languages such as C and C++ are examples of memory unsafe programming languages”6。 CISA 和 FBI 走得更远，在本可以使用内存安全替代方案时，把“the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)”称为危险做法7。 这是指引，不是法律。 但关键服务底下的存储，恰恰就是它瞄准的那类代码，而这两个都是下一代 OSD，都会被拿来对照它评判。\nFlashStore 符合它。 它是用 Rust 写的，croit 的 ADR 用一句话给出了理由：“Storage = correctness-critical; memory-safety bugs = data loss”8。 编译器在除了标为 unsafe 的代码之外的所有地方检查内存安全，而同一份 ADR 把这些代码限定在 FFI、DMA、NVMe 和网络驱动模块里，每一处都带 SAFETY 注释8。 我在快照里数过：696,125 行 Rust 里，有 1,216 行提到 unsafe，约 0.17%，它们都在 RDMA、运行时、NVMe 和存储这几个 crate 里，也就是代码跟硬件打交道的地方。 联合指引本身就点了这个逃生口，指出 Rust“can contain the \u0026lsquo;unsafe\u0026rsquo; keyword”6，所以这才是诚实的衡量方式：不是零，但很少，被圈起来了，而且就在你预料的地方。 它确实调用的 C 代码，也就是 SPDK 和 DPDK，同样待在这些边界后面8。\nCrimson 不符合。 它是一个用 C++ 写在 C++ 框架上的新 OSD13，而 C++ 正是上面那些机构点名为内存不安全的语言。 它的每一行都在编译器能检查内存安全的范围之外，而且在默认配置下，它把存储交给 BlueStore，后者也是 C++。\nCrimson FlashStore 语言 C++ Rust 编译器检查内存安全 否 是，unsafe 之外 未经检查的代码 全部 约 0.17% 的代码行，驱动和 FFI 代码 默认存储 BlueStore，C++ FlashStore，Rust 符合五眼联盟内存安全指引 否 是 Ceph 的开发者选择 C++ 并非草率；Crimson 是从一个 C++ 代码库里长出来的，就地重写就意味着留在 C++ 里。 这是一条合理的工程路线。 但它仍然让下一代 Ceph OSD 用的正是五个国家的机构要求新的关键代码抛弃的那一类语言。\n各自如何加入集群 这是两者之间最大的实际区别，而且跟性能毫无关系。\nFlashStore OSD 加入的是你已有的池。 它和经典的 BlueStore OSD 并排待在同样的归置组里，你一次换一块盘就行2。\nCrimson OSD 不行。 差得远。 Umbrella 的文档说：“Crimson OSD won\u0026rsquo;t instantiate PGs from non-Crimson pools”1。 代码也正是这么做的。当 monitor 要求一个 Crimson OSD 在一个没有 crimson 标志的池里创建 PG 时，它会记下“pool lacks crimson flag”，然后取消创建9。\n各自会服务哪些池 你现有的池 没有 crimson 标志 经典 OSD BlueStore FlashStore OSD 同样的 PG Crimson OSD 只服务 crimson 池 PG 被忽略 新池，--crimson 关闭自动伸缩 FlashStore 在你现有的池里接手 PG。Crimson 只服务带 crimson 标志创建的池，所以它需要新池，并把数据复制进去。 所以试用 Crimson 就意味着新池，用 crimson 标志创建，再把你的数据挪进去。 而这些池还带着 monitor 强制执行的条件：\nCrimson 池规则（Umbrella） 位置 创建池时必须关闭 PG 自动伸缩 OSDMonitor，创建池10 拒绝 PG 合并（缩小 pg_num） OSDMonitor，pg_num 变更11 只有在 crimson_allow_pg_split 为 true 时才允许 PG 分裂 同上，以及该选项12 EC 池必须是优化型 EC，没有例外 OSDMonitor，创建池13 EC 池上不支持 OMAP 同上13 FlashStore 服务经典池，副本池和纠删码池都行，对它不支持的 EC 配置是在 OSD 这边拒绝接手，而不是在 monitor 那里拒绝14。 两种做法都没有错。 但一种让你在一份真实池布局的副本上测试，另一种让你先另建一套。\n你已有的池过不去 那么，能不能把一个现有的池变成 Crimson 池，然后一次一块盘地迁过去？ 不能。\nUmbrella 的文档说 Crimson“aiming to allow seamless migration from existing ceph-osd deployments”1。 是“aiming”，目标而已。这个版本做不到，而源码说明了为什么做不到。 crimson 标志是 ceph osd pool create 上的一个选项，别处都没有15。 ceph osd pool set 没有一个可以在已有池上设置的 crimson 变量16。 而且如上所述，Crimson OSD 会忽略没有这个标志的池里的每一个 PG9。 我在源码和文档里都没找到转换工具。\n迁移一个现有池 Crimson（Umbrella） FlashStore，现在 保留同一个池 否，需要一个新池 是 池能否事后打标志 否，只能在创建时 不需要 数据怎么挪 你自己从池复制到池 集群自己回填 客户端要改指向 是，指向新池 否 一次一块盘 否 是 这让迁到 Crimson 变成了一次你自己跑的数据复制：RBD 镜像可以“between different pools”实时迁移17，对象或文件数据则要靠你的应用用来复制它们的随便什么东西。 然后每个客户端都得改指向新池。\nFlashStore 与你今天跑着的池兼容。 你在一块盘上准备好它，集群回填分给它的归置组，而你的客户端根本不会察觉池在底下变了，因为它确实没变18。 加入你集群的重写和坐在你集群旁边的重写，区别就全在这里。\n各自向 monitor 报告什么 Crimson 会自报家门。 启动时它发送 osd_type=crimson19，除非设置了 allow_crimson 这个 OSDMap 标志，否则 monitor 拒绝放它进来，并记下一行日志，说 crimson-osd“is considered unstable and may result in crashes or data loss”20。 走到这一步需要文档里的四条命令，第一条设置的选项叫 enable_experimental_unrecoverable_data_corrupting_features1。\nFlashStore 正好相反。 它根本不发送 osd_type，并报告 osd_objectstore=bluestore，所以 monitor 看到的是一个经典 OSD，什么都不问21。 上一篇讲过原因：Umbrella 的 monitor 会以池里每个 OSD 都报告 BlueStore 为前提来开放 EC 覆写之类的功能21。 这是针对今天生产环境里的原版 monitor 和 manager。 在 croit 自己的 Ceph 构建上，monitor 和 manager 打过补丁、认得它，FlashStore 就报告自己是 flashstore21。\nmonitor 在启动时检查什么 Crimson OSD osd_type=crimson mon：设了 allow_crimson 吗？ set-allow-crimson 否：拒绝启动 \"crashes or data loss\" FlashStore OSD 没有 osd_type mon：一个经典 OSD objectstore=bluestore 启动，无需标志 服务现有池 Crimson 得被点名放行，还要躲在一个 monitor 会发出警告的标志后面。FlashStore 以经典 OSD 的身份直接走进来。 我更希望软件告诉我它是什么。 Crimson 就这么做。 它的方式是诚实的那种，那个标志的名字也让你对自己同意的是什么毫无疑问。 FlashStore 的方式，是让它能在人们现在跑着的原版 monitor 和 manager 上直接替换的关键，这是一项兼容措施，不是最终形态。 两者都是有意为之，也都写在了文档里。 只是在你数 OSD 的时候，要知道自己面对的是哪一种。\nCPU 核心：reactor 对比绑核轮询线程 两个项目都扔掉了线程池。 好。 两者都是每核一个线程，按核心对工作分片。 区别在于它们对运维人员要求多少，以及抓住核心抓得有多紧。\nCrimson FlashStore 工作单元 每核一个 Seastar reactor 每核一个绑核线程 核心数 crimson_cpu_num，无默认值，必须设置 flashstore_cores，默认 8 绑定到核心 仅在设置 crimson_cpu_set 时 是，flashstore_lcores 空闲行为 轮询 200 µs，然后休眠 轮询，自适应空闲 完全忙轮询 可选，crimson_poll_mode 设计如此，带空闲退避 部署后能否更改 否 存储分片在准备时固定 在 Crimson 上，crimson_cpu_num“does not have a default value”，必须在部署 OSD 之前设置，并且“cannot be changed after deployment”1。 除非你同时设置 crimson_cpu_set，否则它不会绑定线程，而文档把这个选项描述为“generally less recommended due to its complexity”1。 reactor 空闲时先轮询 200 µs 再回去休眠，另有一个完全轮询模式，“at the expense of 100% cpu usage”，默认关闭22。 SeaStore 在 mkfs 之后也拒绝 reactor 数量的变化23。\nFlashStore 按设计就绑核，按设计就轮询，空闲时退避2425。 它的存储分片数在准备存储时固定，同样的约束，只是放在了不同的地方26。\n实际上，两者都想要整颗核心，也都希望你在部署之前就定好数量。 Crimson 把轮询做成一个你选择开启的选项。FlashStore 把它作为默认，并让空闲逻辑抢回一部分 CPU。\nCrimson 的默认存储是 BlueStore 这是让我吃惊的部分。 其实本不该吃惊。\nCrimson 有两类对象存储。 原生的跑在 Seastar reactor 里面；非原生的通过“a thread pool proxy”交给“alien threads: worker threads not managed by Seastar”1。 SeaStore 是原生的那个。BlueStore 是非原生的。 而 BlueStore 是默认的。\n文档对此毫不含糊。 SeaStore“is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages”1。 除非另行指定，Cephadm 部署 Crimson 时用的是 --objectstore bluestore，即便指定了，SeaStore 也不能用 --method raw 部署；文档让你用 LVM1。\nCrimson 的默认存储，对比 FlashStore Crimson，默认存储 Seastar reactor crimson_cpu_num 线程池代理 交出 reactor 之外 alien 线程 crimson_bluestore_num_threads BlueStore BlueFS 上的 RocksDB FlashStore 拥有该 PG 的核心 绑核，轮询 存储分片，同一核心 无交接 NVMe 队列，同一核心 SPDK 或 io_uring 一个默认的 Crimson OSD 把每一个存储操作从 reactor 里交出去，交给一池跑着 BlueStore 的普通线程。FlashStore 让整条路径都留在拥有该 PG 的那颗核心上。 所以今天按默认值部署的 Crimson OSD，是在经典 OSD 用的同一套 BlueStore、RocksDB 和 BlueFS 之上跑一个 Seastar 前端，并为其留出 crimson_bluestore_num_threads 个线程22。 在存储这一侧，跟经典 OSD 相比啥也没变。 作为迁移路径，这是一种明智的搭法。这也是为什么拿“Crimson”和 FlashStore 比性能几乎没有意义，除非你说清楚 Crimson 跑的是哪种存储。\n存储层面公平的比较，是 SeaStore 对比 FlashStore。 这就是本文剩下的部分。\nSeaStore 和 FlashStore：元数据放在哪里 两种存储从一开始就是为 NVMe 写的，都按核心分片，也都把元数据放在自己的 B 树里，而不是 RocksDB。 但它们的布局仍然大不相同。\nSeaStore 给每个 reactor 一个自己的根27。 根下面有一棵 onode 树、一棵 LBA 树和一棵 backref 树。 然后每个对象的 onode 指向它自己的 OMAP B 树和它自己的 XATTR B 树，以及带逻辑地址的数据 extent27。 LBA 树把这些逻辑地址映射到物理地址，这样一个块可以在磁盘上移动，而对象自己的树不用改；文档说正是这层间接让大多数 extent“can be relocated freely”27。\nFlashStore 把所有东西放在每个分片一棵写时复制 B+ 树里：onode、xattr、OMAP、每 4 KiB 块带一个 crc32c 的 extent 映射、PG 日志，以及分配器的位图28。 extent 映射直接指向物理块。中间没有逻辑层。\n元数据放在哪里 SeaStore 根 onode 树 LBA 树 backref 树 onode OMAP 自有 B 树 XATTR 自有 B 树 数据 逻辑地址 逻辑地址，经 LBA 树，再到磁盘 FlashStore 每个分片一棵 COW B+ 树 onode、xattr OMAP extent 映射 + crc32c PG 日志、PG 信息 分配器位图 extent 映射，再到磁盘 SeaStore：每类东西一棵树，每个对象一棵 OMAP 和 xattr 的 B 树，再用一棵 LBA 树找到数据。FlashStore：每个分片一棵树，直接指向磁盘。 两种选择都有理由。 SeaStore 的间接层正是让它的清理器便宜的原因：它可以移动活数据，而不必重写每一棵指向这些数据的树。 FlashStore 不需要这个，因为它没有清理器，下面会讲。 它的 ADR 把“Per-object omap subtree/root”列在考虑过并否决的备选方案里28。\n关于校验和有一个值得知道的区别：SeaStore 对整个缓存 extent 计算 crc32c29，而 FlashStore 每 4 KiB 块保留一个28。\n一次写入的提交顺序 SeaStore 的默认设备类型是 SSD，用的是分段后端30。 在这个后端上，一个事务就是一条携带 delta 的日志记录，数据则可能有两种去向。\n小而短命的 extent 可以内联在日志记录里，那么这条记录就是整个提交27。 更大或更长寿的 extent 会写到单独的外部段里，这时文档规定了顺序：“final record with the deltas should be written only once the other blocks are persisted”27。 这就是先后串行的两次写入，和 BlueStore 先数据、后 RocksDB 的提交是同一个形状。\nFlashStore 同时写数据 extent 和 WAL 单元，把新数据的 crc32c 放进 WAL 记录里以便重放时校验，两者都持久化后才确认28。 一次设备往返，不论大小。\n提交何时可以发出 SeaStore 小 extent 日志记录 extent 内联 + delta 确认 1 次往返 SeaStore 外部写入 extent 写入 OOL 段 等待持久化 日志记录 delta 确认 2 次往返 FlashStore 数据，新的 4 KiB WAL 单元，数据 crc 确认 1 次往返 时间 SeaStore 在默认的分段设备上：extent 能放进日志记录时一次往返，写到外部时串行两次。FlashStore：数据和日志记录一起写。 这有多要紧取决于你的工作负载，和 BlueStore 那篇比较里完全一样。 在低队列深度下，客户端每次写都要等，第二次往返就是实打实的延迟。 在负载下，批处理会把大部分藏掉。\n把空间要回来 日志结构设计的另一半，是清理。\n分段后端上的 SeaStore 只往打开的段里写。 一个段要重新使用之前，它里面的活块必须重写到别处，设计文档说明了这要付出什么：“we must \u0026lsquo;clean\u0026rsquo; one byte of an existing segment for every byte written at steady state”27。 它把一部分清理掺进正在进行的写入里以免出现尖峰，其余的在盘比较闲的时候放到后台做27。 段大小默认是 64 MiB31。\nSeaStore 确实还有第二个面向 NVMe 的后端，即随机块管理器（RBM），文档说它“Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren\u0026rsquo;t worth the overhead”27。 它不是默认的。你要通过 seastore_main_device_type 来选它30。\nFlashStore 没有段清理器。 一个都没有。 一个被替换掉的块，在某个检查点越过它之后就还给分片的分配器；只要有尚未持久化的工作，检查点每五秒发生一次，WAL 环形缓冲区半满时会更早28。 它的设计文档直接否决了日志结构布局28。 这不是说它没有后台工作：它仍然要合并和压缩树页、整理空闲空间碎片，节奏压在客户端 I/O 之下28。 但它从不为了腾地方去复制你的活数据。\n把空间要回来 SeaStore，分段（默认） 已关闭的段 活块 + 死块 清理器重写活块 写入一个打开的段 段已清空 discard，重用 稳态：每写一字节，约清理一字节 FlashStore 块被替换 由新的 extent 替换 保留到检查点 每 5 秒或 WAL 半满 回到位图 不搬动活数据 SeaStore 的默认后端用一个搬动活数据的清理器来为顺序写买单。FlashStore 在检查点之后原地释放被替换的块，什么都不搬。 在闪存上，盘里本来就在跑自己的垃圾回收，我宁可 OSD 别在上面再跑第二套。 从 SeaStore 自己的文档对 RBM 后端的说法来看，它们似乎也同意。 区别在于，FlashStore 把这做成了唯一的选项，而 SeaStore 把它做成了非默认的那个。\n各自能跑在什么上 Crimson（Umbrella） FlashStore HDD 是，配 BlueStore；SeaStore 有一种 HDD 段类型 否 NVMe 是 是，唯一目标 掉电保护 未说明要求 必需，没有的话 mkfs 拒绝 设备布局 通过 cephadm 为 SeaStore 使用 LVM 整个命名空间，不分区 线上协议 仅 msgr2 仅 msgr2 I/O 后端 默认 io_uring；linux-aio、epoll 默认 SPDK，io_uring 档 池 带 crimson 标志的新池 现有的经典池 迁移现有数据 复制到新池 回填进同一个池 部署方式 cephadm，--osd-type crimson 软件包，croit-flashstore-tool 推荐构建 main 的最新 CI 构建 发布快照 Crimson 保住了覆盖面。 文档说 SeaStore“may not be suitable for traditional HDDs”，但“Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs”1，而且 SeaStore 的设计文档仍然列着对 HDD 的兴趣27。 它的 messenger 直接拒绝 v1，“ProtocolV1 is no longer supported”32，和 FlashStore 做了同样的选择33。 它的文档推荐“one of the latest available builds, as Crimson evolves rapidly”，实际上就是 main 的 CI 镜像1。\nFlashStore 把一切收窄到带掉电保护的 NVMe 上，它的简单就是从这里来的34。 这恰恰就是 croit 的 ADR 从另一面描述的那个取舍。\n同一个问题的两种回答 两个项目都从同一个观察出发：经典 OSD 浪费了高速硬件。 它们给出的回答截然不同。\nCrimson 的回答是社区式的。 在 Ceph 内部就地重写 OSD，在新存储成熟的过程中让每一种旧存储、每一块旧盘都继续能用，并且让所有人在工作进行时就能看到。 这很慢，也看得出来。 在 Umbrella 里，默认的 Crimson OSD 仍然通过线程池跑着 BlueStore，它自己的池和你的池是隔开的，而开启它意味着要亲手敲下“unrecoverable data corrupting”这几个词。 但它属于每一个跑 Ceph 的人，谁也没法把它从你手里拿走。\nFlashStore 的回答是厂商式的。 选一个更窄的目标，带掉电保护的 NVMe，把只为其他硬件而存在的东西统统扔掉，交付一个能直接放进你已有池里的存储。 这更快，也看得出来。 但它来自一家公司，在首个生产版本之前都是只读快照，而在原版集群上，它是靠告诉 monitor 自己是 BlueStore 才进得去的。\n我就在那家公司工作，所以下面的话请自行掂量。 对全闪存集群来说，croit 押对了技术。对 Ceph 这个项目来说，Crimson 押对了。 这两者不是一回事。 一个服务所有人的项目不能丢下 HDD。一个厂商可以，而且如果客户买的就是这个，它就应该丢。\n我不会做的，是凭任何一方的基准测试图表在两者之间做选择。 Crimson 的数字取决于它三种存储里跑的是哪一种；FlashStore 的数字来自 croit 自己的实验室。 两个项目都公开了设计文档。 读一读，然后把两者都放到你真正会部署的盘上，跑你自己的工作负载。 当押上的是你的数据时，仍然做到了文档上所说的那个，才是值得等的那个。\nCeph Umbrella, Crimson (Tech Preview) — “the next generation ceph-osd”、“not suitable for production use”、所需的标志、crimson_cpu_num、原生与非原生后端、SeaStore “not the default”、不支持 --method raw。源文件：doc/crimson/crimson.rst at v21.2.0。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit ceph-rust, README at snapshot 48f9014 — 直接替换的说法，自 2026年11月9日起预览，2027 年第一季度 GA，“not yet recommended for production data”，“no issue tracker, no contribution workflow”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeastar — Crimson 所基于的 C++ 框架。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0003, green-field, no Crimson fork — “Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -\u0026gt; complexity. Complex code is never fast.”；以“C++, complexity, LGPL”为由否决 fork。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0164, licences — 日期 2026-10-17；守护进程 LGPL-3.0-only。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA, NSA, FBI, ASD\u0026rsquo;s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (December 2023) — “Programming languages such as C and C++ are examples of memory unsafe programming languages”；Rust “can contain the \u0026lsquo;unsafe\u0026rsquo; keyword”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA and FBI: Product Security Bad Practices, v2.0 (January 2025) — 面向关键基础设施的新产品线“in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0002, language: Rust — “Storage = correctness-critical; memory-safety bugs = data loss”；unsafe “confined to ffi/dma/nvme/net-driver modules with SAFETY comments”；通过 FFI 调用 SPDK 和 DPDK。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/osd/shard_services.cc — “ignoring pgid {}, pool lacks crimson flag”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, crimson pool creation — “crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to \u0026lsquo;off\u0026rsquo;”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, crimson pg_num changes — “pg merging is not yet supported in Crimson”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson_allow_pg_split — “Allow Crimson pools to increase their PG count (split)”，默认 true。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, EC pools for Crimson — “For Crimson - only EC-optimized pools are supported”，“Omap is not supported by EC pools in crimson”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, erasure-coded pools — 默认服务传统 EC 和优化型 EC；不支持的池由 OSD 拒绝接手。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, MonCommands.h, osd pool create — name=crimson,type=CephBool,req=false，这是唯一接受该标志的地方。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, MonCommands.h, osd pool set — 可设置的变量；其中没有 crimson。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, RBD image live-migration — “RBD images can be live-migrated between different pools”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, migrate from classic — 加一块盘或腾出一块盘，准备 FlashStore，让回填把数据挪过去。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/osd/osd.cc — m-\u0026gt;metadata[\u0026quot;osd_type\u0026quot;] = \u0026quot;crimson\u0026quot;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, boot check — “Disallowing boot of crimson-osd without allow_crimson OSDMap flag”，“considered unstable and may result in crashes or data loss”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0019, report osd_objectstore=bluestore — 没有 osd_type 键，monitor 的 BlueStore 功能门槛。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson.yaml.in — crimson_reactor_idle_poll_time_us 200，crimson_poll_mode “at the expense of 100% cpu usage” 默认 false，crimson_bluestore_num_threads。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_require_partition_count_match_reactor_count — “disable osd shards changes upon restart”，默认 true。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0006, thread-per-core runtime — 每核一个绑核忙轮询线程，PG 归属于某一颗核心。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0004, storage I/O — SPDK 与 io_uring 档，按设备计时的空闲。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, configuration reference — flashstore_cores 默认 8，flashstore_lcores，flashstore_store_shards 在准备时固定。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, SeaStore developer documentation — 每个 reactor 的根，onode、OMAP、LBA 和 backref 树，每写一字节就要“clean”一字节，日志记录顺序，RBM 后端。源文件：doc/dev/crimson/seastore.rst at v21.2.0。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0021, storage engine — 每个分片一棵 COW B+ 树，并行提交，检查点，后台维护，被否决的备选方案包括日志结构和“Per-object omap subtree/root”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/os/seastore/cached_extent.h — “Returns crc32c of buffer”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_main_device_type — “The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)”，默认 SSD。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_segment_size — 默认 64 MiB。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/net/SocketMessenger.cc — “ProtocolV1 is no longer supported”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0168, out of scope — 不支持 msgr1，仅 v2。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, hardware and host requirements — 需要掉电保护，使用整个命名空间。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/ceph/flashstore-against-crimson/","summary":"Crimson 是 Ceph 自己对 OSD 的重写，用 C++ 写在 Seastar 框架上，带一个叫 SeaStore 的新原生存储；FlashStore 是 croit 的重写，用 Rust 写，有自己的存储。两者都处于预览阶段，都瞄准 NVMe 和高速网络。本文以 Ceph 21.2.0 Umbrella 发布的 Crimson 为准，依据 Ceph 的源码和文档以及 croit 的 ceph-rust 快照对两者做比较：各自从哪里来、用什么许可证，为什么 Rust 符合五眼联盟的内存安全指引而 C++ 不符合，为什么 Crimson 需要自己的池和一个实验性标志而 FlashStore 能直接放进现有池，为什么 Umbrella 没有办法把现有池变成 Crimson 池、数据只能复制过去，各自在启动时向 monitor 报告什么，Seastar reactor 对比绑核轮询线程，默认的 Crimson OSD 其实仍在跑 BlueStore 这一事实，SeaStore 的 onode、OMAP 和 LBA 树对比 FlashStore 每个分片一棵树，各自提交一次写入的顺序，SeaStore 的段清理器，以及各自能接受什么硬件和池。","title":"FlashStore 对比 Crimson：同一个 OSD 的两次重写"},{"content":"先把话说在前头：我在 croit 工作，这东西是 croit 写的。下面的一切都读自两个项目公开发布的源代码和文档，链接列在页尾；凡是 croit 自己的文档和 croit 自己的代码对不上的地方，我都会直说。\nCeph 的 OSD，从零重写 croit 发布了 ceph-rust，一个用 Rust 从零写起的 Ceph OSD，并用一个自己的对象存储 FlashStore 取代了 BlueStore1。 它在 2026年11月9日进入公开预览，正式发布（GA）计划在 2027 年第一季度1。 它不是一个分叉。 这个项目自己定的规矩是：把 Ceph 的 C++ 当作参考来读，用 croit 自己的话写成规范，然后照着规范去实现2。\n对任何在跑 Ceph 的人来说，要紧的是“即插即用”这一条。 你的 monitor、你的 manager、ceph 命令行和你的客户端都原样不动。 一个 FlashStore OSD 会加入和已有的经典 OSD 相同的存储池、相同的放置组，你可以一次换一块盘1。\n换掉的是什么 ceph-mon, ceph-mgr 经典 21.2.0 客户端 librados, librbd, krbd 同一个存储池，同样的放置组 ceph-osd BlueStore RocksDB 跑在 BlueFS 上 C++，来自 Ceph croit-flashstore-osd FlashStore COW B+ 树 + WAL Rust，来自 croit 只有 OSD 变了。monitor、manager 和客户端仍是经典 Ceph，同一个放置组可以在两种 OSD 上各放一份副本。 所以对运维的人来说，问题很实际。 如果你把一个 BlueStore OSD 换成 FlashStore OSD，它底下有什么不同？ 不是抽象地比，也不是去比几年前某场会议演讲里的那个 BlueStore。 而是比你今天在 Umbrella（Ceph 21.2.0）上实际跑着的那个 BlueStore，这也正是 FlashStore 构建和测试所针对的版本1。\n所以本文就比这一件事，只比这一件事。 按 Umbrella 自己的源代码和文档描述的 BlueStore，对比按其源代码和决策记录描述的 FlashStore。\n这关系到所有跑 NVMe Ceph 集群的人，以及所有算过一个 OSD 要吃掉多少核心的人。 它和 HDD 集群完全无关，原因下面会讲到。\n仓库里有什么 这个仓库是 croit 私有开发树的一份只读快照。 没有问题跟踪，没有合并请求；更新以新的快照提交的形式到来1。 这就是预览阶段，它的存在是为了收集社区反馈，同时 croit 在内部跑自己的生产测试用例，之后才会把它标为可放心使用。开放式开发会在第一个生产版本之后开始，大多数由企业赞助的开源项目都是这样。 这份快照的日期是 2026年11月10日，里面有大约 700,000 行 Rust，以及 450 多份架构决策记录，也就是 ADR：记录每一项设计选择为什么这么做的简短文档。\n对这样一次比较来说，ADR 是最有用的部分。 它们说话直白，带着测量数据，既记录了留下来的东西，也记录了试过又扔掉的东西。\n组件 它取代什么 预览 GA（计划） FlashStore OSD ceph-osd + BlueStore 2026年11月 2027 年第一季度 librustyrados librados 2026年11月 2027 年第一季度 librustyrbd librbd 2026年11月 2027 年第一季度 RDMA（RoCEv2）传输 Umbrella 里没有对应物 2026年11月 2027 年第一季度 CephFS2、Rust RGW MDS、RGW 2027 年第一季度 2027 年第二季度 ceph-mon、ceph-mgr 不取代 不适用 不适用 在拿它搭任何东西之前，许可证值得先弄清楚。 守护进程和工具是 LGPL-3.0-only，客户端库是 MPL-2.0，文档是 CC-BY-SA-4.03。 客户端库选 MPL，是为了让 Rust 程序可以静态链接它们，而不必承担 LGPL 带来的重新链接义务，这是一个讲得通的选择，而且照此写进了记录3。\n预览就是预览的意思。 croit 自己的 README 说它用于测试和评估，“not yet recommended for production data”1。 我也不会现在就把客户数据放上去，本文后面的内容也改变不了这一点。\n两种存储，并排看 一个 OSD 分两半。 上半部分讲 Ceph 协议，管放置组，做对等、恢复和擦洗。 下半部分是对象存储，它把“把这些字节写进这个对象”变成磁盘上的块，并保证它们能扛过断电。\nBlueStore 是 Umbrella 的下半部分。 它的文档说它“reads and writes to the devices directly in a \u0026lsquo;raw\u0026rsquo; fashion”4，并且它使用“raw block devices or partitions”5。 对象数据直接写到块设备。其余一切，包括对象元数据、OMAP 和它自己的账目，都进入一个内嵌的 RocksDB 键值数据库，而 RocksDB 跑在 BlueFS 上，那是 BlueStore 专门为它带着的一个小文件系统56。\nFlashStore 把这些全扔了。 每个存储分片一棵写时复制 B+ 树，装下所有东西：集合、对象元数据、扩展属性、extent 映射、OMAP、PG 日志、引用计数，甚至分配器自己的位图7。 树旁边是一个 redo 预写日志环和数据区。没有 RocksDB，没有 BlueFS，也没有第二个要调优的数据库。\n一个 OSD 底下的两套栈 Umbrella BlueStore FlashStore ceph-osd 8 个 op 分片 × 2 线程 BlueStore 对象层 hybrid 分配器 对象数据 原始块设备，aio RocksDB onode、omap、延迟写 BlueFS block 或 block.db 内核块设备层 提交前刷新 HDD、SSD 或 NVMe，任意分区 croit-flashstore-osd 每核 1 个绑定线程 每核一个存储分片 独立分配器，无共享锁 对象数据 新的 4 KiB extent COW B+ 树 元数据、omap、PG 日志 WAL 环 redo 日志，每分片一个 SPDK（vfio）或 io_uring 热路径上不刷新 带 PLP 的 NVMe，4 KiB，整个命名空间 Umbrella 的 BlueStore 在顶层就把数据和元数据分开，元数据经 RocksDB 和 BlueFS 落盘。FlashStore 改为按核心切分，每个分片内由一棵树装下对象数据以外的一切。 另一个大分歧是磁盘本身。 BlueStore 经过内核的块设备层，去访问你给它的任何设备。 FlashStore 和 NVMe 打交道，要么用 SPDK，一个通过 vfio 把设备从内核手里接过来的用户态驱动，要么经过内核用 io_uring89。 SPDK 是默认后端。io_uring 这一档是在 vfio 不能用的地方也能用的那一档，因此也是我在 Proxmox 的构建里最终用上的那一档。\n元数据放在哪里 从这里说起。其余大部分都由此而来。\nUmbrella BlueStore FlashStore 对象元数据 RocksDB 键 每分片一棵 COW B+ 树 OMAP RocksDB 键 默认在同一棵 B+ 树；prepare 时可选 LSM 或 RocksDB PG 日志 RocksDB 键 同一棵 B+ 树 分配器状态 hybrid 分配器，空闲列表在 RocksDB 每分片一个位图，在树里 元数据设备 可选的 block.db 和 block.wal 没有，同一块 NVMe 数据校验和 默认每 4 KiB 一个 crc32c 每 4 KiB 一个 crc32c，存在 extent 映射里 每个 OSD 的存储数 一个 每核一个 BlueStore 这边的默认值直接来自 Umbrella 的选项文件：键值后端是 RocksDB，分配器是 hybrid，校验和是 crc32c61011。 BlueStore 的元数据校验“is handled by RocksDB and uses the crc32c algorithm”，而数据的开销是“a checksum value (usually 4 bytes) for every 4 KB block of data”4。 在校验和上两种存储意见一致。FlashStore 在 extent 映射里为每个 4 KiB 块存一个 crc32c，读取时校验7。\n分道扬镳的是结构。 BlueStore 的 RocksDB 是一棵日志结构合并树（LSM），所以它先写，然后在后台压缩，把已经写过的数据再重写一遍。 FlashStore 的树以写时复制方式更新，在检查点时折叠到磁盘：只要还有未持久化的东西，就每五秒一次，或者在 WAL 环写到一半满时7。\n进一步的结果是，FlashStore 没有给元数据用的快速设备，因为它不需要。 在 Umbrella 上你可以把 block.db 放到更快的盘上，BlueStore 会把“as much metadata as it can on the DB device”4。 FlashStore 假定每块盘本来就是快速的 NVMe，把元数据和数据放在一起。 对它瞄准的硬件来说，这个假定很公道。这也正是它根本不谈 HDD 的原因。\nOMAP 是 FlashStore 唯一留了后手的地方。 默认用树，但一个存储在 prepare 时可以改用 croit 自己的 LSM 引擎，或者 RocksDB，接口不变12。 OMAP 引擎在创建存储时选定。你不能在运行中的 OSD 上切换它。\n一次 4 KiB 写入，两种走法 如果你能感觉到什么差别，就是这个。\n拿 Umbrella 在闪存上用默认设置时，对一个对象的 4 KiB 写入来说。 bluestore_min_alloc_size_ssd 是 4 KiB，bluestore_prefer_deferred_size_ssd 是 0，所以一整个 4 KiB 的写入会写到一块新分配的 4 KiB 上1314。 BlueStore 提交这次数据写入，事务停在 STATE_AIO_WAIT，直到磁盘说写完了15。 然后元数据才排队进入 RocksDB，RocksDB 的同步线程在提交前先刷新块设备16。 然后客户端才拿到确认。\n两次访问设备，串行。\nFlashStore 两件事同时发出。 数据写到一个新的 4 KiB extent，WAL 单元同时写进日志环。WAL 记录带着每个新数据块的 crc32c，所以崩溃后重放时能判断数据有没有落盘7。 当数据、WAL 单元以及之前的每一个事务都已持久化时，确认按日志顺序发出7。 ADR 对这个设计给出的理由原话是“parallel commit gives one device latency per ack”7。\n一次 4 KiB 写入，看时间线 BlueStore 数据写入 新的 4 KiB，aio，等待 RocksDB 提交 BlueFS 日志 + 刷新 确认 2 次访问 FlashStore 数据，新的 4 KiB WAL 单元，数据 crc 确认 1 次访问 时间 同一次 4 KiB 写入。BlueStore 等数据写完才提交 RocksDB；FlashStore 把数据和它的日志记录一起写。 有两点让这个比较保持公道。 在繁忙的 OSD 上，两种存储都会批量提交，所以负载下的差距小于每次写入一个设备延迟。 而在 NVMe 上，一次设备访问也就几十微秒。你能不能察觉，取决于你的客户端是在低队列深度下等延迟，RBD 上的数据库往往就是这样，还是在拼吞吐量，那样的话差别就被冲淡了。\ncroit 还试过走得更远，像 ZFS 那样每个事务只写一次设备。 他们做出来了，测了，然后扔了：收益只在队列深度为 1 时出现，复杂度不值得17。 我看重这一点胜过任何跑分图。这是一份公开的决策记录，写着“我们做了这个，它不值得”。\n不足 4 KiB 的写入 更小的写入，才是两者真正分道的地方。\n假设一个客户端在一个已经有数据的块中间覆盖写 512 字节。 Umbrella 默认仍然走它原来的写路径；返工后的 bluestore_write_v2 发布时是关着的18。 在这条路径上，向一个已分配的块写入小于 min_alloc_size 的数据，会变成一次延迟写（deferred write）19。 数据作为 L 前缀下的一个键，搭在 RocksDB 事务里，等客户端被告知安全之后，才写到它真正的位置2021。\n不足 4 KiB 的写入 BlueStore，延迟写 1 读出其余部分 补齐到 4 KiB 2 数据放进键 L RocksDB 日志 3 提交，刷新 客户端已确认 4 原地写入 同一个 4 KiB 再写一次 5 删除键 L 又一次提交 FlashStore 一整个新的 4 KiB + WAL 单元 并行，从不原地覆盖 客户端已确认 旧块稍后释放 Umbrella 对向已用块写入不足 4 KiB 数据所走的延迟路径，对比 FlashStore 的新 extent。粉色标出的是数据本身每一次被写入。 所以数据到达磁盘两次。 Umbrella 的文档并不讳言：“writes smaller than min_alloc_size must first pass through the BlueStore WAL”4。\nFlashStore 从不原地覆盖活数据，就这么简单7。 不超过 2 KiB 的对象更进一步，整个住在树里，所以一次 WAL 写入就是全部提交7。\n这也意味着 FlashStore 没有要排空的延迟写队列，挂载时没有延迟重放，也没有要清理的 L 键。 它的代价付在别处：释放的块要留到下一个检查点，所以空间回收最多滞后一个检查点间隔7。\n线程对比核心 OSD 的上半部分差别一样大。\nUmbrella 的 ceph-osd 是一个经典的多线程服务器，下图左半边的每一个数字都是它在闪存上的默认值22。 一个操作一路上要穿过好几个这样的线程池。它们在锁后面共享状态。\nFlashStore 让整段旅程都待在一个绑定的、轮询的核心上，从网卡到磁盘再回来23。 每个放置组只属于一个核心，PG 碰到的一切也都只属于那个核心：“no locks, no atomics, no shared mutable state”24。 跨核心的流量走单生产者环形队列，消息的所有权也跟着一起交过去。\n线程对比核心 Umbrella ceph-osd 3 个 messenger 线程 mClock 操作队列 8 个分片 × 2 线程 bstore_kv_sync, bstore_kv_final RocksDB, BlueFS croit-flashstore-osd 核心 0 核心 1 核心 n 网卡队列 msgr2、PG 存储分片 NVMe 队列 网卡队列 msgr2、PG 存储分片 NVMe 队列 网卡队列 msgr2、PG 存储分片 NVMe 队列 核心之间用 SPSC 环形队列，无锁 Umbrella 把一个操作在线程池之间传来传去。FlashStore 从网络到磁盘都把它留在一个核心上，只通过环形队列跨核心。 存储也按同样的方式切分。 flashstore_store_shards 默认每核一个分片，每个分片有自己的 WAL 环、树和分配器，一个 PG 只住在一个分片里257。 BlueStore 是每个 OSD 一个存储、一个 RocksDB。\n这是有代价的，ADR 也写明了：“idle cores burn CPU (accepted; optional adaptive sleep later)”23。 后来的工作加了自适应空闲和按设备计时的等待，这样在低队列深度下，核心不必在整个设备延迟期间空转8，但原则没变，而且在你不指定核心范围时，flashstore_cores 默认是 825。 你要把整颗核心交给 FlashStore。\n在专用存储节点上，这没问题。 在超融合机器上，那些核心还要跑虚拟机，这是你要算的第一笔账。\n磁盘必须说话算话 BlueStore 的写法，是为了应付一块在“数据何时安全”这件事上撒谎的盘。 FlashStore 干脆拒绝和这种盘打交道。\nUmbrella BlueStore FlashStore 什么让一次写入变得持久 RocksDB 提交前刷新块设备 在 PLP 盘上写入完成 热路径上的刷新 有 没有 带易失性写缓存的盘 照用，并刷新 mkfs 拒绝；主机检查 FAIL 强制覆盖 不需要 仅限实验室：每次持久写入都设 FUA 位 BlueStore 这边就是前面引用过的 kv 同步线程16。 FlashStore 这边是持久性 ADR 和主机检查：PLP 意味着磁盘报告自己没有易失性写缓存，所以一次完成就意味着数据已经在稳定介质上2426。\n对它瞄准的目标来说这是正确的决定，但要清楚它排除了什么，因为几乎所有消费级 NVMe 都有易失性缓存而没有 PLP，不少靠价格卖的“数据中心级”设备也是如此。 没有 PLP，就没有 FlashStore。 不管你对它别的方面怎么看。\nFlashStore 不能在什么上面运行 把要求并排一放，目标市场一目了然。\nUmbrella BlueStore FlashStore 介质 HDD、SSD、NVMe 只要 NVMe 掉电保护 不要求 必须，没有的话 mkfs 拒绝 扇区格式 512 B 或 4 KiB 预期 4 KiB，否则警告 布局 分区，经 ceph-volume 用 LVM 整个命名空间，不用分区 独立的 DB/WAL 设备 支持 没有这回事 静态加密 经 ceph-volume 用 --dmcrypt 不在范围内 msgr1 客户端 默认绑定 拒绝，只用 msgr2 缓存分层 已弃用，仍然存在 拒绝，存储池变为被动 内核要求 任何受支持的版本 io_uring：Linux 5.19+，或带回移补丁的 RHEL 9 的 5.14；SPDK 需要大页 BlueStore 这一列来自 Umbrella 自己：ceph-volume 对逻辑卷加密“using dmcrypt by specifying the --dmcrypt flag”27，而 ms_bind_msgr1 默认仍是 true28。 FlashStore 这一列来自它的硬件参考和范围决策2629。\n其中两条值得多说几句，不止一行表格。\n静态加密被排除了，理由是：SPDK 绕过 dm-crypt，而存储内加密不在计划中。ADR 给出的答案是自加密的 NVMe 盘，或者在存储之上、在客户端或 RGW 那里加密29。 如果你有合规要求点名要在 OSD 上用 dm-crypt，那今天这就是一道过不去的坎。\nmsgr1 被排除，作为一项已接受的风险。 早于 5.11 的内核客户端和 Nautilus 之前的 librados 根本无法和 FlashStore OSD 通信29。 大多数环境早就过了那个阶段。也有一些没有，而发现这一点的，往往是角落里那台被遗忘的旧机器。\n它告诉 monitor 自己是 BlueStore 这一条会坑到人。\n默认情况下，FlashStore OSD 启动后会告诉 monitor osd_objectstore=bluestore30。 它不是在藏。它会在旁边加上自己的 flashstore_version 和 flashstore_build 键30。 原因是兼容性：Umbrella 的 monitor 只有在存储池里每个 OSD 都报告 BlueStore 时，才允许该池启用 EC 覆盖写之类的功能，而 Prometheus 和遥测这类 manager 模块也按同一个值分支30。 ADR 写得很明白，这里的 bluestore“is a compat value for mon/mgr feature gates, not a product name”30。\n有一个开关 flashstore_report_objectstore=flashstore，它会把所有东西改名：元数据、bluestore_bdev_* 键、性能计数器、tell 命令以及 BLUESTORE_* 健康代码。它需要打过补丁的 monitor，默认值仍是 bluestore2530。 croit 自己的 Ceph 构建带着这些补丁，所以在那上面 FlashStore 会报告自己是 flashstore，下面说的都不适用。 bluestore 这个名字，是给今天人们在生产中跑的原版 monitor 和 manager 准备的。\nmonitor 被告知了什么 FlashStore OSD 默认设置 osd_objectstore=bluestore flashstore_version=… mon、mgr：BlueStore 允许 EC 覆盖写 FlashStore OSD report=flashstore osd_objectstore=flashstore flashstore_bdev_* 经典 mon：不是 BlueStore 需要打过补丁的 mon 两行里的存储完全一样。变的只是它报出的名字。 同一个存储，两个名字。默认值让 Umbrella 的 monitor 和 manager 满意，代价是 FlashStore OSD 在你看的每个地方都被算作 BlueStore。 我理解为什么。 以一个字符串作为钥匙的 monitor 闸门，是 Ceph 的设计，不是 croit 的，而拒绝说 bluestore 会在没打补丁的集群上把功能关掉。 这就是原版集群上的陷阱。 你的每个仪表盘、每个资产清单脚本、你运行的每一条 ceph osd count-metadata osd_objectstore，都会把 FlashStore OSD 算成 BlueStore。 在迁移期间，恰恰是你最需要知道哪个 OSD 是哪种的时候，那个显而易见的字段啥也不告诉你。\n所以要在 ceph osd metadata 里查 flashstore_version，而不是 osd_objectstore。 在第一个 FlashStore OSD 上线之前，就把这一条写进你的运维手册。\n同样的旋钮，不同的行为 FlashStore 会读取 Ceph 现有的大量选项，这大体上是好消息。 但并不是每个选项的意思都和在 Umbrella 上一样，而意思变了的那些，正是一个调优过的集群会被吓一跳的地方。\n选项 Umbrella BlueStore FlashStore compression_mode，按存储池 none、passive、aggressive、force 同样四种，意思相同 compression_algorithm 默认 snappy snappy、zlib、zstd、lz4；zstd 级别固定为 1 bluestore_compression_max_blob_size_ssd 64 KiB 64 KiB 分块 osd_memory_target 4 GiB，缓存在运行中自动调整 启动时读一次，用来确定存储缓存大小，不自动调整 osd_op_queue mclock_scheduler 接受并忽略 osd_mclock_* 生效 接受并忽略 csum_type 默认 crc32c，可选 xxhash 变体 固定 crc32c；其他任何值都记一条警告31 压缩是一致的。 BlueStore 的默认模式是 none，默认算法是 snappy3233；FlashStore 实现了同样的四种模式、同样的存储池选项和同样的 64 KiB 分块，ADR 还指出，一个可压缩 50% 的 64 KiB 分块在两边占用的空间相同34。 它原本不一定会有。这份 ADR 的文件名至今仍叫 no-store-compression，来自最初的决定，后来 croit 定下了与经典 Ceph 功能完全对等的硬指标，这个决定才被推翻34。\n内存就不对等了。 Umbrella 在运行时会对照 osd_memory_target 自动调整 BlueStore 的缓存3536。 FlashStore 在启动时读一次这个目标值，分摊到各个分片上，用 ceph config set 做的修改要到下次重启才生效37。 它也不会把进程压在目标值以内：大页、网络缓冲区和 PG 状态都在它之外37。 所以 osd_memory_target 决定的是 FlashStore 缓存的大小。它不会像你可能习惯的那样给 OSD 的内存封顶。\n而 mClock 被直接忽略37。 不是调低。是忽略。 没有可以配置的操作调度器，因为每个核心自己拥有自己的 PG。 恢复和 backfill 改由 osd_max_backfills、osd_recovery_max_active 和各种 sleep 选项来压住37。 如果你在 Umbrella 上为重建调过 mClock 配置档，这些设置在 FlashStore OSD 上什么也不做，也不会有任何东西提醒你。\n没有转换，哪个方向都没有 你不能把一个 BlueStore OSD 转换成 FlashStore OSD。 croit 的迁移指南说得很直白：“There is no in-place conversion of a BlueStore device”38。 它给了两种顺序，两种都是 backfill38：\n先加后删 先腾后加 需要 一个空闲的 NVMe 槽位 不需要任何空闲 第 1 步 在新盘上 prepare FlashStore ceph osd out，等到 clean 第 2 步 等到 active+clean 停掉并清除经典 OSD 第 3 步 移除经典 OSD 在腾出来的盘上 prepare FlashStore 进行中的风险 除了正常的 backfill 没有别的 backfill 结束前少一份副本 以后也不会变容易。 FlashStore 的磁盘格式带有特性位，遇到未知的位就拒绝挂载：“Every format change means mkfs; unknown bits refuse mount (no downgrade)”7。 所以 FlashStore 后续版本里的一次格式变更，和第一次迁移一样，就是排空再灌满。\n唯一的通道 BlueStore OSD nvme0 上的 osd.N FlashStore OSD 全新 mkfs 不能转换，哪个方向都不行 集群 从副本 backfill out，purge backfill 填入 backfill 是两种存储之间唯一的桥，也是两个 FlashStore 格式之间的桥。 文档有一处写错了。 迁移指南的检查清单要求确认“the pools do not use erasure coding on croit-flashstore-osd OSDs”38。 同一份快照里的纠删码指南却说，FlashStore 默认服务旧式 EC 存储池，代码里优化 EC 的默认值是 all3940。 两者之中有一个过时了，从代码看，是迁移指南。 不过，在让 EC 存储池横跨两种 OSD 之前，我仍会把 EC 指南从头读到尾，因为它描述的故障是 PG 降级、backfill 卡住39。\n为我们真正会买的盘而造的存储 BlueStore 是为了能在一切东西上运行而造的。 机械盘、便宜的 SSD、NVMe、分区、LVM、加密卷、慢速数据盘前面挡一块快速 DB 盘。 正是这种广度让它成了默认选项，也正是因为这种广度，它带着一条延迟写路径、每次提交前的一次刷新、一个跑在自带文件系统上的键值数据库，以及一池子线程来让这一切转起来。 其中每一样之所以存在，都是因为某处有某块盘需要它。\nFlashStore 从另一头出发。 它假定磁盘是 NVMe，有掉电保护，而且快到软件反而成了瓶颈。 然后它把所有只为别的盘而存在的东西都扔了。\n这个赌押得对吗？ 对于新建的全闪存集群，用的是正经的企业级 NVMe，对。 Ceph 集群正往那个方向走，而一个把核心花在锁、交接和身后不停压缩的数据库上的 OSD，每天每一秒都在为这种集群永远用不上的灵活性买单。\n但这个赌是有代价的，我宁愿你在买进之前就看清它。 你放弃了 HDD、dm-crypt、msgr1、运行时内存调整和 mClock。 在原版集群上，你得到的是一个告诉 monitor 自己是 BlueStore 的 OSD，因为今天的 monitor 和 manager 没给它留别的路；croit 自己的构建不需要这样。 你得到的是一种转换不进去的格式，而且它自己的不同版本之间也转换不了。 而且你是在预览阶段、从单一厂商那里得到它，这家厂商碰巧雇着我。\n所以，把源代码当作证据，而不是这篇文章，也不是 croit 的跑分报告。 决策记录是公开的，它们写着测了什么、扔了什么。 去读它们，用你真正会部署的设备搭一个测试集群，测你自己的工作负载。 如果它在你的盘上做到了 ADR 说的那些，你会知道。如果没做到，你也会知道，而且你是在测试集群上发现的。\ncroit ceph-rust, README at snapshot 48f9014 — 组件、状态和路线图，“not yet recommended for production data”，与 v21.2.0 和 v20.2.4 线协议兼容。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0003, green-field, no Crimson fork — “No fork, no linking of Ceph code”；把 Ceph 源代码当作参考来读，规范用自己的话写。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0164, licences — 守护进程和工具用 LGPL-3.0-only，客户端库用 MPL-2.0，文档用 CC-BY-SA-4.0，以及选择 MPL 的理由。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, BlueStore configuration reference — 原始设备访问、DB 设备、“writes smaller than min_alloc_size must first pass through the BlueStore WAL”、校验和。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, storage devices — BlueStore“consumes raw block devices or partitions”；内部元数据用内嵌的 RocksDB。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_kvbackend — 默认 rocksdb。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0021, storage engine — 每分片 COW B+ 树、WAL 环、并行提交、检查点、内联数据、延后释放，“Every format change means mkfs”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0004, storage I/O — 经 vfio 的 SPDK，后修订为加上 io_uring 的两档，以及按设备计时的空闲。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, prepare and activate — spdk 是默认后端，kernel 和 kernel-cmd 让 NVMe 留在内核驱动上。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_allocator — 默认 hybrid。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_csum_type — 默认 crc32c。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, croit-flashstore-tool usage — “fresh prepare/mkfs \u0026ndash;omap-engine btree|lsm|rocksdb”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_min_alloc_size_ssd — 默认 4 KiB。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_prefer_deferred_size_ssd — 默认 0。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, transaction state machine — 有未完成的 aio 时，事务先进入 STATE_AIO_WAIT，之后才排队等待键值提交。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, kv sync thread — 在提交 RocksDB 之前“flush/barrier on block device”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0027, single-IO atomic commit, rejected — “gain only at QD1”，做出来后又移除了。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_write_v2 — “Use faster write path”，默认 false。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, _do_write_small — 先读头尾，然后“chunk-aligned deferred overwrite”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, \u0026ldquo;journal deferred items\u0026rdquo; — 延迟事务作为一个键，放进同一个 RocksDB 事务里。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, key prefixes — PREFIX_DEFERRED = \u0026quot;L\u0026quot;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0 线程默认值 — osd_op_num_shards_ssd 8；osd_op_num_threads_per_shard_ssd 2；osd_op_queue mclock_scheduler；ms_async_op_threads 3；BlueStore.cc thread creation，bstore_kv_sync 和 bstore_kv_final。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0006, thread-per-core runtime — 每核一个绑定的忙轮询线程，PG 归一个核心所有，“idle cores burn CPU (accepted \u0026hellip;)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0008, concurrency and durability — “no locks, no atomics, no shared mutable state”；要求 PLP，mkfs 拒绝非 PLP 盘，实验室可用 FUA 强制覆盖。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, configuration reference — flashstore_cores 默认 8，flashstore_store_shards 自动，flashstore_report_objectstore。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, hardware and host requirements — 易失性写缓存判为 FAIL、4 KiB LBA、不用分区、内核和 io_uring 要求。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, ceph-volume encryption — “Logical volumes can be encrypted using dmcrypt by specifying the --dmcrypt flag”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, ms_bind_msgr1 — 默认 true。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0168, encryption at rest, msgr1, cache tiering out of scope — “SPDK bypasses dm-crypt”；只支持 v1 的客户端“cannot reach croit-flashstore-osd”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0019, report osd_objectstore=bluestore — monitor 的功能闸门、额外的 flashstore_* 键，以及 flashstore 报告选项。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, pgs.rs — “csum_type {v} unsupported; using fixed crc32c per 4096-byte block”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_compression_mode — 默认 none。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_compression_algorithm — 默认 snappy。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0059, per-pool store compression — 与 BlueStore 相同的模式和选项，zstd 级别固定为 1，50% 可压缩时占用空间“identical to BlueStore”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, osd_memory_target — 默认 4 GiB。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_cache_autotune — 默认 true。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0062, memory target and mClock — 目标值只读一次，不自动调整，不强制限制 RSS；mClock 选项“ACCEPTED and IGNORED”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, migrate from classic — “There is no in-place conversion of a BlueStore device”；两种顺序；关于 EC 的那条检查项。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, erasure-coded pools — ec_enable_pools 默认 all，ec_enable_optimized 默认 all，以及被拒绝的存储池是什么样子。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, OSD config defaults — (\u0026quot;ec_enable_optimized\u0026quot;, \u0026quot;all\u0026quot;)。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/ceph/flashstore-against-umbrella-bluestore/","summary":"croit 的 ceph-rust 是对 Ceph OSD 的净室 Rust 重写，带有自己的对象存储 FlashStore，自 2026年11月9日起公开预览。本文把它和 Ceph 21.2.0 Umbrella 原样自带的 BlueStore 并排比较，依据是两个项目的源代码和文档：仓库里有什么、用什么许可证；两种存储各把元数据放在哪里；一次 4 KiB 写入和一次不足 4 KiB 的写入在两边各自如何到达磁盘；Umbrella 的线程池对比 FlashStore 的每核一线程；为什么 FlashStore 把掉电保护定为硬性要求；它不能在什么上面运行；为什么它告诉你的 monitor 它是 BlueStore；它遵从哪些 BlueStore 选项、忽略哪些；以及为什么两者之间唯一的路是 backfill。","title":"FlashStore 对比 Umbrella BlueStore：croit 在 OSD 底下改了什么"},{"content":"发布当天的 Rust OSD croit 在2026年11月9日把 FlashStore OSD 放进公开预览1。 它是一个用 Rust 从零写起的 Ceph OSD，用自己的对象存储取代 BlueStore，说的是 Ceph 的线路协议。 宣称的是：它可以直接塞进你已经在跑的集群。你的监视器、管理器、ceph 命令行和客户端都原样不动，你一次换一块盘1。\n这个说法对 Proxmox 用户比对大多数人更要紧。 在超融合的 Proxmox VE 节点上，Ceph 不是你单独装的东西。 它从 Proxmox 的 GUI 里来，出自 Proxmox 自己的软件源，由 Proxmox 构建和打补丁，整套东西由 pveceph 驱动。 如果别人家的 OSD 能坐进这套体系而不把它弄坏，你就能换上新的存储引擎，又不用放弃这些工具。 如果不能，你会以最难受的方式发现，而且是在一个同时跑着你虚拟机的节点上。\n所以我试了。\n我在 croit 工作，FlashStore 就是 croit 做的。 这就是我在它发布两天之内就去试的原因，也是下文什么都不打折扣的原因。 它是预览版，README 写着它 “not yet recommended for production data”1，而这篇是在真实硬件上跑起来到底要做些什么的记录，不是宣传册。\n一个节点上，谁提供什么 RBD 上的虚拟机磁盘 QEMU，用 Proxmox 自带的 librbd 来自 Proxmox：pveceph ceph-mon, ceph-mgr 21.2.0-pve1 命令行、GUI、存储池、RBD 存储 从 8006 端口的向导安装 来自 croit：FlashStore croit-flashstore-osd 21.2.0 每块 Optane 一个守护进程 从 .deb 手工安装 SN750 启动盘：永不做 OSD 8 × Optane P4800X，4 KiB，整个命名空间 谁提供什么。Proxmox 安装监视器和管理器，掌管 GUI、存储池和存储定义。croit 的软件包只提供 OSD 守护进程，每块盘一个。 简短的回答：能用。 我写这些字的时候，八个 FlashStore OSD 正在一个原装 Proxmox VE 9.2 节点上给一台虚拟机提供 RBD 存储池，HEALTH_OK。 更长的回答是：要做两处文档里没提的修复，一处是因为 Proxmox 存放 Ceph 配置的方式，一处是因为 Proxmox 的内核，本文剩下的部分就是这两处修复以及它们是怎么被找出来的。 如果你只想让它跑起来，文末附近有个脚本把这一切都做了，而且已经在这个节点上跑过。\n这台机器 实验环境是单个节点 pve2，在我家的局域网里，是一台 2021 年的破烂 Minisforum B550 迷你主机。 生产环境不会用单节点 Ceph，后面那条 CRUSH 规则就是为此付的代价，但这里的每一步，在有邻居的节点上都一样。\nProxmox VE pve-manager 9.2.26，内核 7.0.14-28-pve，Debian 13.7 机器 Minisforum B550 迷你主机，2021 年；主板报告为 BESSTAR TECH B550，BIOS 5.17 CPU AMD Ryzen 7 5700G，8 核 16 线程，1 个 NUMA 节点 内存 58 GiB OSD 盘 8 × Intel Optane P4800X 375 GB（6 块 Dell 品牌，2 块 Intel 零售） 到 Optane 的 PCIe 八块全在一个 Broadcom PEX880xx 交换芯片后面，经一条来自 APU 的 PCIe 3.0 x16 链路 启动盘 WD SN750 512 GB，VG pve，完全不参与这一切 网络 一个 2.5 GbE 端口，vmbr0 FlashStore snapshot-2026-11-10，上游提交 c5792750020e2 用 Optane 是因为 FlashStore 有两条硬性要求，很多盘过不了。 盘必须有掉电保护，命名空间必须用 4096 字节的块，而且整个命名空间直接用，上面不能有分区或文件系统1。 FlashStore 在写入落盘持久之后才确认，所以一块用易失缓存在持久性上撒谎的盘，会在 mkfs 时被拒绝3。 每块 P4800X 在 Identify 数据里都报告没有易失写缓存（vwc 0），这是盘自己在说：缓存不会丢掉一个已经确认的写入。\n因此，这次深入测试的瓶颈是这台迷你主机，不是 FlashStore，也不是盘。 八个核意味着每个 OSD 一个核，一个都不富余；58 GiB 要同时喂 Ceph 和虚拟机；八块 Optane 共享一条 PCIe 3.0 链路，因为 APU 就只给得出这么多。 下面每个数字，都要当成这台机器所允许的上限来读。\n要么 Umbrella，要么没戏 FlashStore 一次只针对一个 Ceph 版本构建。 由分支决定：main 对应 Ceph 21.2.0 Umbrella，v20.2.4 分支对应 20.2.4 Tentacle4。 守护进程启动时检查集群的版本，不在自己窗口内的一律拒绝4。 发布页上的软件包是从 main 构建的，二进制文件自己也这么说：croit-flashstore-osd 21.2.0 umbrella。\nProxmox VE 9 提供三个 Ceph 软件源，只有一个对得上。\n版本窗口 Proxmox VE 9 软件源 FlashStore 分支 ceph-squid: 19.2.7 没有 squid 分支 ceph-tentacle: 20.2.5 20.2.5 不是 20.2.4 v20.2.4: tentacle 20.2.4 ceph-umbrella: 21.2.0-pve1 21.2.0 对得上 main: umbrella 21.2.0 守护进程拒绝窗口之外的集群版本。 Proxmox 的 Tentacle 软件源已经越过了 20.2.4，而 Squid 根本没有对应分支。Umbrella 21.2.0-pve1 是两边唯一一致的版本。 Tentacle 是 Proxmox 的默认选项，那它是稳妥的选择吗？ 它恰恰是用不了的那个。 Proxmox 软件源里的 Tentacle 已经到了 20.2.5-pve1，而 FlashStore 的 Tentacle 分支只认 20.2.4。 Proxmox 软件源里的 Umbrella 是 21.2.0-pve1，正是 main 针对的那个版本。\nProxmox 并没有隐瞒 Umbrella 是什么。 PVE/Ceph/Releases.pm 把它列为 unsupported =\u0026gt; 15，你一选它，GUI 向导就用大白话告诉你。\n“Technology Preview”，没有企业软件源，安装程序在动 apt 之前还在终端里再问一遍 continue (y/N)?。 警告给得恰到好处，而且值得把它当成对整个技术栈的表态来读：预览版的 OSD，跑在预览版的 Ceph 上。\n安装就是原装 Proxmox 的流程。 Datacenter → Ceph → Install，版本选 Umbrella，软件源选 No-Subscription，然后是公共网络和第一个监视器。\n升级 13 个包，新装 46 个，下载 107 MB。 清单里有一样东西是 Umbrella 新有的：ceph-osd 旁边多了个 ceph-osd-classic。 两者在这里都用不上，因为从头到尾没建过一个经典 OSD。 大约一分钟后，mon.pve2 和 mgr.pve2 跑起来了，ceph versions 报告 21.2.0 … umbrella，健康状态 OK，只是还没东西可存。\n四块盘还是 512 字节 八块 Optane 里有四块之前直通给过一台实验虚拟机，还是 512 字节格式，上面留着旧的 ZFS 标签。 另有两块格式是对的，但带着同样的标签。 两种情况的修法都很简单：从虚拟机上撤下来，格式化成 4 KiB，擦掉标签。\nP4800X 把 4096 字节、无元数据的格式作为 LBA 格式 3 提供，nvme id-ns 报告为 lbaf 3 : ms:0 lbads:12。\nnvme format /dev/nvme0n1 --lbaf=3 --force --timeout=900000 wipefs -a /dev/nvme0n1 sgdisk --zap-all /dev/nvme0n1 第一次尝试失败了，后来又有一次也失败了。 两次 nvme format 都返回 Interrupted system call，盘仍然是 512 字节。 内核日志里写着原因：\nnvme nvme0: I/O tag 0 (0000) opcode 0x2 (Admin Cmd) QID 0 timeout, reset controller nvme nvme1: I/O tag 9 (0009) opcode 0x6 (Admin Cmd) QID 0 timeout, reset controller 操作码 0x2 是 Get Log Page，0x6 是 Identify。 两个都不是格式化。 P4800X 会格式化整个介质，在这里每块盘花了 345 到 351 秒。 格式化进行时，控制器不响应其他管理命令，所以任何向盘提问的东西都得等着。 等过了内核 60 秒的管理命令超时，内核就放弃并复位控制器，而这一复位就把格式化杀掉了。\n格式化是怎么被中止的 nvme format 345 到 351 s 每块 P4800X 管理命令 smartctl、nvme list、 GUI 刷新磁盘列表 60 s 超时 内核复位 控制器 格式化中止 EINTR，rc 1 盘仍是 512 B 修法：每次格式化放进自己的 systemd 服务单元，一次一块盘， 完成之前不给盘发任何别的东西。 超时的并不是格式化命令。是别的什么东西向盘提了个问题，排在格式化后面等着，随后的复位把格式化中止了。 尝试 什么东西到了盘上 结果 nvme0，第一次 09:53:04 的一个 Get Log Page，正值 Ceph 安装中途 中止，仍是 512 B nvme0，放进服务单元 什么都没有 345 s 完成 4 KiB nvme1 我自己查看进度的 nvme list 中止，仍是 512 B nvme2、nvme3 什么都没有 351 s 和 350 s 完成 4 KiB nvme1，单独 什么都没有 346 s 完成 4 KiB 修法是把每次格式化放进一个带长超时的临时服务单元里，一次一块盘，在完成之前别去碰这些盘：\nsystemd-run --unit=fmt4k /root/fmt4k.sh journalctl -u fmt4k -f # read progress from the journal, not from the drive 这样唯一的进度检查就是日志，没有任何东西会碰到控制器。 之后八块盘在 nvme list 里全都显示 4 KiB。\n软件包 发布页提供 .deb 和 .rpm 软件包，其中有 Debian 13 trixie 的，Proxmox VE 9 就是基于它构建的2。 一个构建通吃所有发行版，要求 glibc 2.34 或更新6。\nB=https://github.com/croit/ceph-rust/releases/download/snapshot-2026-11-10-0b6783237291 curl -LO \u0026#34;$B/flashstore_21.2.0+git.20261110063351.c5792750020e_debian-trixie_amd64.deb\u0026#34; curl -LO \u0026#34;$B/sha256sums.txt\u0026#34; sha256sum flashstore_*_debian-trixie_amd64.deb grep debian-trixie/flashstore_ sha256sums.txt 手工校验一下。 sha256sum -c 校验不了这个下载，因为校验和文件里写的名字是 debian-trixie/flashstore_…_amd64.deb，而实际文件叫 flashstore_…_debian-trixie_amd64.deb。 哈希是一致的，两边都是 ce1fb352…26c8，所以文件没问题，只是清单和实际文件对不上。\napt install ./flashstore_*_debian-trixie_amd64.deb croit-flashstore-osd --version croit-flashstore-osd 21.2.0 umbrella (build 0.0.0) git c5792750020e net tiers: kernel (+rdma upgrade) 它干净地装在了 Proxmox 自己的 ceph-osd 和 ceph-osd-classic 旁边。 软件包只在没有 ceph-osd.target 的主机上安装一个最小版本6，而 Proxmox 已经有一个了，所以 FlashStore 的服务单元挂在经典 OSD 本会挂的同一个 target 上。\n在你针对这个软件包写脚本之前，有三件事值得知道：\n文档怎么说 软件包实际是什么 软件包名 apt remove flashstore …6 croit-flashstore-osd，文件名是 flashstore_… 存储后端 main 的生产特性集是 knet,spdk,rdma,mimalloc1 没有 SPDK：--check 报告 “SPDK NVMe driver: compiled out” flashstore_dev 的取值 spdk:\u0026lt;pci\u0026gt;，开发构建里还有 file:7 内核层 kernel:/dev/… 是这个构建里唯一真正可用的存储路径 中间那行很要紧。 SPDK 层，也就是需要把盘绑定到 vfio-pci 的用户态 NVMe 驱动，不在发布的 Debian 软件包里。 里面有的是内核层：盘留在内核自己的 nvme 驱动上，FlashStore 通过 io_uring 跟它打交道。 源码显示它是编译进去了的，因为 knet 特性会拉进 kernel-nvme8，可主机检查的汇总行却说它 “compiled out of this build”。 那一行是错的。 信了它的读者会就此止步。\n主机检查怎么说 croit-flashstore-osd --check 是只读的，在写入任何东西之前运行。 它检查构建、CPU、内存、IOMMU、每个 NVMe 控制器、网卡、内核和配置，并为每一项发现打印出确切的修法9。 在这个节点上它跑了 115 项检查，而且做得很好：每项发现都附带修复它的命令，省了我一大堆翻找。\n发现 结果 我怎么处理 大页：一个都没预留 FAIL 按它要求预留 16 GiB，写进 /etc/sysctl.d 持久化 SN750 启动盘：易失写缓存 FAIL 不管，它不是 OSD 候选盘 没加载 vfio-pci WARN 不管，这个构建没有 SPDK 可用 memlock 限制 8 MiB WARN 不管，它测的是 shell；服务单元设置了 LimitMEMLOCK=infinity 没有 isolcpus / nohz_full WARN 记下，属于延迟调优 IOMMU 是 translated，不是 iommu=pt WARN 记下 init_on_alloc=1 WARN 记下，据它说大块读时要多花 15 到 20 % 的 CPU 2.5 GbE 端口、默认网卡环、中断分布在五个 CPU 上 WARN 记下 8 × P4800X：无 VWC、当前 4096+0、x4 @ 8 GT/s、空闲 OK io_uring 支持 SEND_ZC 和固定缓冲区，内核 7.0 OK 第二个 FAIL 要提前打算好。 检查会把机器里每个控制器都算进去，启动 SSD 有写缓存，所以过不了掉电测试，尽管同一个检查正确地把它标为 “in use, not a candidate”。 教程说退出码 0 表示没有 FAIL9。 在任何从消费级 SSD 启动的主机上（很多 Proxmox 主机都是这样），无论你修了什么，--check 都不可能以 0 退出。 脚本要按每项检查的输出行来判断，不要看退出码。\n调优类的 WARN 我都留着没动。 每一项都要改内核命令行并重启，而这是一次部署，不是跑分。 在任何人引用这台机器的数字之前，这份清单就是该逐项处理的东西。\n八个 OSD 的核与大页 FlashStore 是每核一线程的模型，检查把这意味着什么说得很明白：“one core = one shard/PG owner”，每个 OSD 最多 8 个核，而且每个 OSD 核都要独占一个物理核，不和 SMT 兄弟线程共用。 八个物理核、八个 OSD，就是每个一核，flashstore_lcores = 0 到 7，SMT 兄弟线程留给 Proxmox 和虚拟机。 把这个写进配置再跑一遍，检查把每个核规划都标为 OK。\n一台机器上的核与大页 每个物理核一个 OSD；SMT 兄弟线程留给主机 0: osd.0 1: osd.1 2: osd.2 3: osd.3 4: osd.4 5: osd.5 6: osd.6 7: osd.7 线程 8 到 15：Proxmox、虚拟机、OSD 辅助线程 大页：预留 16 GiB，八个 OSD 用了 4 GiB 已用 4 GiB 12 GiB 预留但闲置，主机共 58 GiB 每个 OSD 一个物理核。大页池按检查的默认值每个 OSD 2048 MiB 来定，而每个运行中的 OSD 只用了其中四分之一。 再看一眼大页。 检查要求每个 OSD 2048 MiB，这是守护进程默认的 --mem，所以八个 OSD 需要预留 16 GiB。 运行起来以后，每个 OSD 只用了 2048 里的 512 MiB。 这和 croit 自己关于内核后端的设计说明吻合，那里给负载分配器的预算就是 --mem 的四分之一10。 所以在这台机器上，八个全跑起来时，有 12 GiB 内存作为大页被预留着，没有任何东西去碰，而这台主机还有虚拟机要喂。 存储节点无所谓。 在 Proxmox 节点上，那块内存本可以是一台虚拟机，后文会把它削减到 OSD 实际用的量。\n我能问一句，它为什么读不了 ceph.conf 吗？ 盘格式化好了，软件包装上了，主机检查也过了，第一个 OSD 却起不来。\ncroit-flashstore-tool: refused: /etc/ceph/ceph.conf: Permission denied (os error 13) 在 Proxmox 上，/etc/ceph/ceph.conf 是指向 /etc/pve/ceph.conf 的符号链接，而 /etc/pve 是 pmxcfs，那个让每个节点的配置保持同步的集群文件系统。 那里的文件是 root:www-data 0640，pmxcfs 不允许你按文件去改11。 Proxmox 自己的 Ceph 守护进程之所以没事，是因为它们以 root 启动，读完配置，再降到 ceph 用户，每个 ceph-osd@ 服务单元上的 --setuser ceph --setgroup ceph 干的就是这个。\nFlashStore 的服务单元不以 root 启动。 它从第一条指令起就是 User=ceph，ExecStartPre 也一样12，所以它根本没机会读到那个文件。\n我能问一句吗：一个为 Debian 构建、号称即插即用的产品，为什么没在最常见的基于 Debian 的 Ceph 平台上试过？ 我问的不是谁。 pveceph 把配置放在 pmxcfs 上，每个由 pveceph 管理的节点上的每个 FlashStore OSD，第一次启动都会撞上这个问题。\n答案其实已经内置在守护进程里了。 它的源码描述了经典的 --setuser/--setgroup 降权：“started as root by a classic unit (--setuser ceph --setgroup ceph), the daemon becomes that user before it opens the store, a socket or a file”13。 所以一个按 Proxmox 启动自家 OSD 的方式来启动这个服务单元的 drop-in，应该就够了。\n还差一点。 以纯 root 启动后，下一个拒绝来自盘。\nactivate: device kernel:/dev/ng0n1 not ready: /dev/nvme0n1: Permission denied (os error 13) 服务单元的 CapabilityBoundingSet 里没有 CAP_DAC_OVERRIDE12，所以 root 也要守普通的文件权限，而命名空间节点属于 ceph:ceph。 以 root 启动、组设为 ceph，两头都顾到了：root 拥有配置文件，ceph 组打开盘，守护进程在做任何别的事之前降到 ceph。\n启动服务单元的三种方式 原样发布 User=ceph Group=ceph /etc/pve/ceph.conf root:www-data 0640 读配置时 Permission denied 以 root 启动 没有 CAP_DAC_OVERRIDE /dev/nvme0n1 ceph:ceph 0660 打开盘时 Permission denied root，ceph 组 然后 --setuser ceph 以属主读配置，以组打开盘， 守护进程以 ceph 身份运行 原样发布的服务单元读不了 pmxcfs。纯 root 打不开盘，因为能力边界集拿掉了越权。root 加 ceph 组两样都能做，然后降权。 # /etc/systemd/system/croit-flashstore-osd@.service.d/pve-ceph-conf.conf [Service] User=root Group=ceph ExecStart= ExecStart=/usr/bin/croit-flashstore-osd run --id %i --cluster ${CLUSTER} -f --setuser ceph --setgroup ceph 守护进程在自己的日志里确认了降权：set uid:gid to 64045:64045 (ceph)。\n还有个更短的修法，SupplementaryGroups=www-data，我没用。 它会让 OSD 能读 /etc/pve 下每一个组可读的文件，而不只是 Ceph 配置。 OSD 没有理由去读集群其余的配置，而上面那个 drop-in 给它的，一点都不比 Proxmox 给自家 OSD 的多。\n然后是设备节点。 FlashStore 的文档说命名空间节点必须可被 ceph 写入，“(udev rule)”14，而软件包一条都没带。 下面这条按型号匹配盘，所以无论编号怎么变，它都不可能误中启动盘：\n# /etc/udev/rules.d/70-croit-flashstore-optane.rules SUBSYSTEM==\u0026#34;nvme-generic\u0026#34;, KERNEL==\u0026#34;ng*n*\u0026#34;, ATTRS{model}==\u0026#34;Dell Express Flash NVMe P4800X*|INTEL SSDPE21*\u0026#34;, OWNER=\u0026#34;ceph\u0026#34;, GROUP=\u0026#34;ceph\u0026#34;, MODE=\u0026#34;0660\u0026#34; SUBSYSTEM==\u0026#34;block\u0026#34;, KERNEL==\u0026#34;nvme*n*\u0026#34;, ENV{DEVTYPE}==\u0026#34;disk\u0026#34;, ATTRS{model}==\u0026#34;Dell Express Flash NVMe P4800X*|INTEL SSDPE21*\u0026#34;, OWNER=\u0026#34;ceph\u0026#34;, GROUP=\u0026#34;ceph\u0026#34;, MODE=\u0026#34;0660\u0026#34; 执行 udevadm trigger 之后，十六个 Optane 节点都成了 ceph:ceph 0660，SN750 仍是 root。\n这个内核不肯做的直通 内核层有两种模式，你指定哪个节点就决定了用哪种。 kernel:/dev/ngXnY 通过 io_uring 把 NVMe 命令直接发给盘，croit 管这叫 kernel-cmd。 kernel:/dev/nvmeXnY 在块设备上做 O_DIRECT 读写，叫 kernel 或 direct10。 croit 测过的每一格里 kernel-cmd 都领先10，README 自己的快速入门也用它1，所以我配的就是它。\n权限理顺之后，守护进程降到 ceph，读了配置，然后在第一次读盘时停了：\ncroit-flashstore-osd: --dev kernel:/dev/ng0n1: /dev/ng0n1: kernel-cmd fixed-buffer probe read: Errno(13) 同样的探测一分钟前在 activate 里还通过了，那时它还带着 root 的能力。 所以问题是：这个内核是否允许一个非特权进程经 /dev/ngXnY 发送 I/O 命令。 不用 FlashStore 就能回答，以 ceph 身份用 nvme-cli 做同样的读：\n身份 在 /dev/ng0n1 上的命令 结果 ceph Identify Namespace 允许 ceph Read，LBA 0，4 KiB Permission denied root Read，LBA 0，4 KiB 允许 八块 Optane 给出的答案一样，包括两块我从没格式化或复位过、跑的是 Intel 固件而不是 Dell 固件的盘。 所以不是盘的问题，也不是早上那几次格式化的问题。\n上游说这应该行得通。 在 Linux 7.0 里，nvme_cmd_allowed() 允许非特权进程发送 I/O 命令，只要盘的 Commands Supported and Effects 日志把它标为支持且没有异常影响；只有写入或改变数据的命令才要求以可写方式打开15。 P4800X 的 effects 日志把 Read 标为支持，00000001，别的什么都没有。 读是允许的。\nProxmox 的内核不是上游的内核。 它这个构建的变更日志里，恰好在这条路径上有一个回移植的修复，CVE-2026-90227: nvme/ioctl: check SUBMIT_IO with nvme_cmd_allowed()，从字面看涉及的是另一个 ioctl，不是我测的那个。 我还没查清 7.0.14-28-pve 内核里到底是哪处改动造成了差别，我也不会去猜。 确定的是行为：在这个内核上，非特权的 NVMe 直通 I/O 会被拒绝。\nFlashStore 对被拒绝的直通有个回退机制，但它没触发。 croit 的设计说明说，当 Identify 被拒绝时，kernel-cmd 设备会退回到在其块设备节点上做直接 I/O，并在启动时说明10。 这里 Identify 允许而 Read 不允许，所以回退从未触发，OSD 直接停了。\n进入盘的两条路 kernel-cmd：NVMe 直通 kernel：直接块 I/O io_uring URING_CMD /dev/ng0n1，通用字符设备 以 ceph 用户身份被拒：EACCES io_uring READ/WRITE_FIXED /dev/nvme0n1，O_DIRECT 可行：只需对节点有读写权限 直通要经过 NVMe ioctl 的权限检查，Proxmox 的内核对 ceph 用户拒绝了它。块设备上的直接 I/O 只需要对节点有读写权限，udev 规则已经给了。 直接 I/O 不在乎这个。 每个 OSD 一行：\nflashstore_store_backend = kernel 这样一来，osd.0 起来了。\ncroit-flashstore-osd: store mounted (1 shards, replayed 4 txns in 16 ms) croit-flashstore-osd: set uid:gid to 64045:64045 (ceph) [ 1.398] crush location set (create-or-move updating item name \u0026#39;osd.0\u0026#39; weight 0.3359 at location {host=pve2,root=default} to crush map) [ 2.406] osd.0 is now active (up_from 10, map 10) 2.4 秒进入 active。\n准备并启动 OSD 每个 OSD 在 Ceph 配置里有自己的一节，在 Proxmox 上就是编辑 /etc/pve/ceph.conf，手工改没问题。\n[osd.0] flashstore_dev = spdk:0000:05:00.0 flashstore_store_backend = kernel flashstore_lcores = 0 设备按 PCI 地址指定，而不是 /dev/nvme0n1，这里的 spdk: 前缀也不代表 SPDK。 设了内核后端之后，守护进程每次启动都会在 sysfs 里查这个地址，找到控制器当前的节点10。\n给盘起一个不会变的名字 [osd.0] spdk:0000:05:00.0 查 sysfs 每次启动时 /dev/nvme0n1 /dev/ng0n1 nvme 编号跟随探测顺序，在这台主机上已经变过： SN750 十月份是 nvme7，现在是 nvme8。 PCI 地址由插槽决定。nvme 编号由探测顺序决定，而探测顺序是不固定的。 这一点在这里很要紧。 SN750 启动盘十月份是 nvme7，现在是 nvme8，通用节点的次设备号也不按盘的顺序来，ng1n1 是次设备号 0，ng0n1 是 2。 写着 /dev/nvme4n1 的配置，重启之后可能指向另一块盘。 写着 0000:0b:00.0 的配置不会。\n然后每块盘一条命令，写入存储并向监视器注册 OSD：\ncroit-flashstore-tool prepare --dev spdk:0000:05:00.0 --id 0 kernel-cmd /dev/ng0n1: fixed-buffer NVMe passthrough probe ok (IORING_URING_CMD_FIXED on) mkfs: device lba 4096 B x 91573146 (375083606016 B), awupf 1 lba, vwc false, max_xfer 32 lba mkfs: 1 store shards, WAL ring 4096 MiB each osd.0 prepared in /var/lib/ceph/osd/ceph-0 以 root 身份，两秒。 prepare 从 /var/lib/ceph/bootstrap-osd/ceph.keyring 读取 bootstrap 密钥16，而 pveceph 只在第一次创建它自家的 OSD 时才写这个文件，所以在没有经典 OSD 的情况下得先把它取出来：\nceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring 六块盘第一次就 prepare 成功。 两块被拒绝了：\ncroit-flashstore-tool: refused: device is not empty (non-zero data in the first 8192 bytes); --wipe destroys it croit-flashstore-tool: refused: device is not empty (non-zero data at 65536 bytes); --wipe destroys it lsblk 和 blkid 都报告这两块盘是空的。 上面其实是一个早先实验留下的 LVM 卷组的文本元数据区，那个卷组早就删了，开头的标签也已经清零。 FlashStore 的探测会读开头 8 KiB 以及 64 KiB 和 256 KiB 处的区域17，比常用工具看得更远，而它是对的。 除非被告知 --wipe，否则拒绝一块上面有任何东西的盘，这正是 OSD 工具该做的。 要不要擦，是盘的主人该做的决定，不是工具该做的。 决定之后，--wipe 大约两秒就 prepare 好了这两块，它们是在后面安装完成之后才加入的，所以面板截图和安装数据里都是六个。\n然后启动它们：\nsystemctl enable --now croit-flashstore-osd@0 ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 2.01535 root default -3 2.01535 host pve2 0 nvme 0.33589 osd.0 up 1.00000 1.00000 1 nvme 0.33589 osd.1 up 1.00000 1.00000 2 nvme 0.33589 osd.2 up 1.00000 1.00000 3 nvme 0.33589 osd.3 up 1.00000 1.00000 4 nvme 0.33589 osd.4 up 1.00000 1.00000 5 nvme 0.33589 osd.5 up 1.00000 1.00000 每个 OSD 都把自己放到 host=pve2 下，设备类别 nvme。 它们向集群报告的关于自己的信息，值得读一遍：\n字段 监视器和管理器 FlashStore OSD ceph versions 21.2.0 (087cd25db8f1) umbrella (dev - None) 21.2.0 (b060042deb05) umbrella (dev - croit-flashstore-osd) 构建者 Proxmox，-pve1 软件包 croit，基于 README 指名的上游 v21.2.0 提交1 osd_objectstore bluestore，每个 bluestore_bdev_* 字段都填好了 它实际是什么 FlashStore，没有 BlueFS，没有 RocksDB 报告 BlueStore 是有意为之。 flashstore_report_objectstore 默认是 bluestore，因为经典监视器只有在每个 OSD 都这么报告时才启用某些特性，所以这个默认值让混合集群能继续工作7。 它不是真的，在你读集群元数据并信以为真之前，值得知道这一点。\nProxmox 怎么看待它们 Proxmox 的 OSD 面板列出全部六个，up 且 in，类别 nvme，版本 21.2.0，每个 344 GiB。 它还把它们叫作 FileStore。\nFileStore 是被 BlueStore 取代的那个对象存储。 Proxmox 在 PVE/API2/Ceph/OSD.pm 里推断这个标签：OSD 元数据里有 bluefs 键就是 BlueStore，其他一律是 FileStore18。 FlashStore 没有 BlueFS，因为它底下没有 RocksDB，所以它在一个字段里报告 BlueStore，又因另一个字段被标成 FileStore。 两个都不对。 而面板恰恰是大多数 Proxmox 管理员首先看的地方。\n空闲时延迟列显示 0 / 0。 在下面的安装过程中，ceph osd perf 报告六个 OSD 的提交延迟在 0 到 3 ms 之间。\n面板里的 Start、Stop 和 Restart 操作的是经典服务单元 ceph-osd@N，而那不是正在运行的东西19。 因此，面板只是这些 OSD 的一个视图，而不是它们的控制台。 凡是碰守护进程的事，用 systemctl … croit-flashstore-osd@N 和命令行，Create: OSD 和 Destroy 对它们千万别碰。\n一个存储池、一个存储和一台 Fisher-Price OS (Windows) 虚拟机 集群里的第一个 PG，也就是管理器的 .mgr 池，OSD 一起来就处于 undersized+degraded。 怪单节点。 默认的 replicated_rule 把每份副本放在不同主机上，而这里只有一台主机。\nceph osd crush rule create-replicated replicated_osd default osd nvme ceph osd pool set .mgr crush_rule replicated_osd 一条故障域为 osd、设备类别为 nvme 的规则20把每份副本放在不同的 OSD 上，PG 几秒内就变成了 active+clean。 在有三台或更多主机的真实集群上，保留按主机的规则，跳过这一步。\n之后的一切都是照常的 Proxmox GUI。 Ceph → Pools → Create：名称 flashstore，size 3，min size 2，规则 replicated_osd，勾选 Add as Storage。 后来为了下面的负载测试，改成了 size 2，min size 1。\nProxmox 一次就建好了存储池和 RBD 存储定义，flashstore 出现在树里，可用 654 GiB，也就是 2 TiB 裸容量除以三份副本再减去开销。 129 个 PG 变成 active+clean，不久之后自动伸缩器把新池从 128 个 PG 降到 32 个。\n测试用的客户机是一台 Fisher-Price OS (Windows) 虚拟机。 这不是我的偏好，而是很大一部分客户在他们的 Proxmox 存储池上实际跑的东西，所以它才是算数的负载：16 GiB 内存，4 核，一块放在 flashstore 上的 60 GiB 磁盘，开了 discard 和 iothread。 它对磁盘又话多又低效，这正是重点：存储测试要的就是最压磁盘的客户机。\n从虚拟机磁盘到 Optane 虚拟机磁盘 scsi0，60 GiB QEMU + librbd 21.2.0-pve1 存储池 flashstore replicated_osd，size 2 FlashStore OSD，副本 1 FlashStore OSD，副本 2 Proxmox 的经典 librbd 与 croit 的 OSD 通信；这里没有安装 librustyrbd。 虚拟机的写入经过 Proxmox 自带的 librbd，进入存储池的规则，在 size 2 下落到两个 FlashStore OSD 上。croit 自己的 librustyrbd 没装，所以这是经典客户端对 Rust OSD。 在安装的头十五分钟里，每十秒对存储池采样一次：\n存储池写入 活跃时中位数 9.3 MB/s，峰值 302 MB/s 写操作 峰值每秒 2,486 次 存储池读取 峰值 60 MB/s 已用裸空间 六个 OSD 共 35 GiB 健康状态 全部 90 个样本都是 HEALTH_OK OSD 重启 0 OSD 常驻内存 之后每个 565 到 871 MiB 这些是一个安装程序的数字，虚拟机和 OSD 在同一台主机上，调优类 WARN 一个没动，它们完全不说明 FlashStore 的速度。 它们说明的是：一个经典的 Proxmox 客户端把一整个操作系统装到了 Rust OSD 上，35 GiB 裸容量，没出一个故障，而这正是本文要检验的说法。\n负载下它表现如何 装得上，证明它能用。 它不告诉你这台虚拟机用起来怎么样。\n于是虚拟机跑了 CrystalDiskMark 9.0.321，跑了三次：Real World Performance [+Mix] 配置、Read\u0026amp;Write [+Mix]、C: 上一个 16 GiB 文件、70/30 读写混合，一次三遍，两次九遍。 这个配置一切都在单线程上一次一个请求地跑，这才是桌面或小型数据库实际的样子，而不是规格书的样子。\n那时配置已经和安装时不同了。 虚拟机有六个核，存储池在 GUI 里改成了 size 2、min size 1、256 个 PG。 在单台机器上，size 2 加 min size 1 是实验室设置：只剩一份副本时，存储池仍继续接受写入，而这些写入一次故障就可能丢掉。 别的地方，保持 3 和 2。\n磁盘用的是 Proxmox 的默认设置，no cache，这从 Proxmox 2 起就是默认值22。\nReal World Performance [+Mix]，16 GiB 3 遍 9 遍 再 9 遍 SEQ1M Q1T1 读 1,279.71 MB/s 1,675.33 MB/s 1,852.32 MB/s SEQ1M Q1T1 写 563.67 MB/s 576.65 MB/s 580.08 MB/s SEQ1M Q1T1 混合 1,043.75 MB/s 1,043.28 MB/s 986.10 MB/s RND4K Q1T1 读 5,342 IOPS，186.57 µs 5,659 IOPS，176.17 µs 5,706 IOPS，174.73 µs RND4K Q1T1 写 2,419 IOPS，412.51 µs 2,405 IOPS，414.79 µs 2,435 IOPS，409.77 µs RND4K Q1T1 混合 3,938 IOPS，253.13 µs 3,826 IOPS，260.49 µs 3,936 IOPS，253.25 µs 写入和小块延迟每次之间相差都在 1% 左右以内。 顺序读三次下来涨了 45%。 这是第一个迹象：读那一列测的并不是它看上去在测的东西。\n三次运行全程每五秒对主机采样一次，八块 Optane 用 /proc/diskstats，存储池用 ceph status，每个进程和线程用 /proc，而两个视角讲的不是同一个故事。\n写入：盘只占小头 一次一个 4 KiB 随机写，最后一次运行 虚拟机看到的每次写入耗时 409.77 µs 每块 Optane 上的每次写入耗时 17 µs 虚拟机每写一次，到达 Optane 的写入次数 4.05：两份副本，每份大约两次写入 大块顺序写 虚拟机侧 580 MB/s，Optane 侧 1.14 GB/s，第二份副本让它翻倍 一次小写入里，盘只占不到 5%。 另外那 393 µs 是路上花掉的：QEMU、librbd、进入 OSD 的 messenger、OSD 本身，以及等第二份副本。 这里没有把这些拆开测，所以我不会给每一段报个数。 能说的是：在这台机器上，一次一个的 I/O 瓶颈不在 Optane，换一块更快的盘也动不了那 410 多少。 瓶颈已经转移到客户端，也就是 Proxmox 自带的 librbd；等 croit 自己的 librustyrbd 在这里部署之后，这方面还有后续。\n读取：是缓存，不是 Optane 在最后一次运行里，4 KiB 随机读那一遍在整个 16 GiB 文件上每秒做了 5,700 次读，而八块 Optane 一个字节都没读。 顺序读那一遍在存储池层面达到 2.2 GB/s，与此同时盘自己的读取从 755 MB/s 掉到了零。 CrystalDiskMark 绕过客户机的缓存，磁盘在 QEMU 里也没有缓存，所以干活的内存在 OSD 里。 这个构建里 flashstore_obj_cache 默认开启，size 2 下每个 OSD 分到的文件份额大约 2 GiB，而每个 OSD 都长到了大约 2.6 GiB。 FlashStore 不报告命中情况，所以只能说几乎可以肯定，而不是已经证明。 这也是为什么顺序读每次运行都在涨：文件已经有更多部分在里面了。 把读那一列当成缓存数字，而不是存储数字。\nCPU：核都去哪儿了 最后一次运行，单位为核 主机繁忙 OSD 客户机 vCPU librbd 和 Ceph 客户端 QEMU 两遍之间空闲 20 到 24% 3.3 0.1 0.03 0.03 4 KiB 随机写 30% 3.9 0.38 0.20 0.08 4 KiB 随机读 30% 3.6 0.47 0.39 0.15 顺序混合 41 到 53% 3.8 1.5 到 2.3 0.5 0.12 虚拟机那三列来自它的线程：QEMU 给客户机的 vCPU 命了名，而 librbd 的 messenger 和工作线程跑在同一个进程里。\nOSD 那一列几乎不动。 八个轮询的 OSD 什么都不干要花 3.3 个核，满负荷 3.9 个，所以在一台 16 线程的机器上，虚拟机还没开口要东西，五分之一的 CPU 就没了。 别的东西都没接近上限。 最忙的单个线程是一个客户机 vCPU，47%，librbd 最忙的线程一直不到 15%。 一次一个请求时，瓶颈是等待，不是干活，而 CPU 数字显示不出等待。\n内存：按峰值来规划 三次运行全程 健康状态 每个样本都是 HEALTH_OK，每个 PG 都是 active+clean，没有 OSD 重启 使用中的大页 从头到尾 4 GiB 主机还能分出去的内存，跑着一台 16 GiB 虚拟机 3.1 到 4.0 GiB 大页那一行就是前面预算那一节，只不过这次是在负载下：每个 OSD 512 MiB，另外 12 GiB 从没碰过。\n普通内存才是要盯的数字，因为上面那个缓存就是用它做的。 一次读把文件拉进来之后，每个 OSD 都停在大约 2.5 GiB，下面是 Ceph 在一台 58.7 GiB 主机上占着的东西：\n峰值时 Ceph 的内存，默认 4 GiB 目标 OSD 进程，八个合计 19.9 GiB，每个 2.4 到 2.6 GiB 为 OSD 预留的大页 16 GiB，其中用了 4 GiB 监视器和管理器 0.3 GiB 合计 36.2 GiB，占主机的 62% 主机还能分出去的，跑着一台 16 GiB 虚拟机 3.6 GiB 它确实会还回来，但没有任何我能看出来的时间规律。 它在 19.9 GiB 停了 25 分钟，空闲间隙也算在内，然后在最后一次运行结束时降到 13.9 GiB，主机又有 10.2 GiB 可以分出去了。 这期间 osd_memory_target 一直是默认的每个 OSD 4 GiB，所以还没算一个大页，八个 OSD 就有权占 32 GiB。 在一个同时要跑虚拟机的节点上，峰值才是在盘之前就要算清楚的预算，也是那 12 GiB 闲置大页最伤人的地方。\n同时跑三台虚拟机，预算更紧 一台虚拟机还宽裕得很。三台，预算就得算对了。 所以先改了两项设置。\nceph config set osd osd_memory_target 1073741824 # 1 GiB per OSD, was 4 sysctl -w vm.nr_hugepages=2048 # what eight OSDs use, was 8192 目标值不需要别的操作：每个 OSD 几秒内就报告了新值，但还是一个一个地重启了，每次都等全部 257 个 PG 回到 active+clean 再重启下一个。 大页有个坑。 每个 OSD 启动之前，croit-flashstore-prep 都要有一整份 --mem，也就是 2048 MiB 空闲，不够就把池扩大，但它从不再缩回去。 削减之后重启 osd.7，池立刻又涨回去了：\ncroit-flashstore-prep[7]: hugepages 2048kB: free 256 \u0026lt; need 1024, nr_hugepages 2048 -\u0026gt; 2816 所以能扛过重启的下限，是 OSD 实际用的量加上一次启动的余量：2,816 页，5.5 GiB，而检查要求的是 16 GiB。 后面的安装脚本现在预留的正是这么多。 八个全部起来之后再削回 2,048，在下次重启之前还能再省出 1.5 GiB。\n然后用这台虚拟机克隆出三台，每台 10 GiB，同时跑 CrystalDiskMark：Real World Performance [+Mix]，三遍，但每台用 1 GiB 的文件而不是 16 GiB。 这让读那一列比以往更像缓存数字，所以看写。\nCrystalDiskMark，三台虚拟机同时 VM 104 VM 105 VM 106 三台合计 单台虚拟机 SEQ1M Q1T1 写 346.99 MB/s 318.99 MB/s 446.98 MB/s 1,113 MB/s 580.08 MB/s SEQ1M Q1T1 读 796.05 MB/s 905.03 MB/s 1,160.93 MB/s 2,862 MB/s 1,852.32 MB/s RND4K Q1T1 写 1,901 IOPS 1,928 IOPS 1,862 IOPS 5,691 IOPS 2,435 IOPS RND4K Q1T1 写延迟 524.56 µs 517.00 µs 535.42 µs 409.77 µs RND4K Q1T1 读 3,773 IOPS 3,916 IOPS 3,909 IOPS 11,598 IOPS 5,706 IOPS RND4K Q1T1 混合 2,978 IOPS 3,027 IOPS 3,411 IOPS 9,416 IOPS 3,936 IOPS 三台虚拟机拿到的小写入是一台的 2.3 倍，每台为此在延迟上付出了大约 27%。 原因仍然不在 Optane。 它们峰值每秒 20,900 次写入，每次 17 µs，和一台虚拟机时一样是 17 µs，八块里最忙的那块也只有 14% 繁忙。\n主机，运行全程每五秒 默认 4 GiB 目标，一台虚拟机 1 GiB 目标，三台虚拟机 最大的 OSD 进程 2.7 GiB 峰值 1.15 GiB，之后 0.8 八个 OSD 进程合计 19.9 GiB 峰值 8.0 GiB，之后 5.8 预留的大页 16 GiB，用了 4 4 GiB，全部用上 分给虚拟机的内存 16 GiB 30 GiB 主机还能分出去的内存，最低时 3.1 GiB 14.8 GiB swap 增长 无 无 所以 FlashStore 确实守着 osd_memory_target。 它在一遍读的峰值时超出 15%，然后又回到目标之下，缓存是在预算之内干活，而不是在预算之外。 靠目标值加上削减大页，同一台机器上有 26 GiB 回到了虚拟机手里。\n三台虚拟机时的 CPU，单位为核 主机繁忙 OSD 客户机 librbd 和 Ceph 客户端 QEMU 三台 Fisher-Price OS (Windows) 启动 81 到 89% 3.4 到 3.6 6.3 到 7.9 0.4 到 0.7 0.3 跑分 42 到 73% 3.7 到 4.5 1.2 到 4.0 0.4 到 1.6 0.2 到 0.4 之后空闲 20 到 24% 3.3 0.3 0 0 启动三台客户机比给它们跑分更费 CPU。 底下的存储从没接近过上限，这就是迷你主机在设限，本来也注定如此。\n全部内容，一个脚本 上面的一切都在一个脚本里。 给它你想做成 OSD 的盘的 PCI 地址，剩下的它按本文的顺序做完，两处 Proxmox 修复也内置了。\n\u0026#8615; flashstore-pve-setup.sh：在 Proxmox VE 节点上部署 FlashStore OSD flashstore-pve-setup.sh · 17 kB lspci -D -d ::0108 # find the drives bash flashstore-pve-setup.sh --dry-run 0000:05:00.0 # show the plan, change nothing bash flashstore-pve-setup.sh 0000:05:00.0 0000:06:00.0 它检查 它写入 它运行 Proxmox VE 9 和 Ceph 21.2.0 Umbrella bootstrap-osd 密钥环 以 ceph 身份做一次直通读，以选择 kernel-cmd 或 kernel 每块盘：NVMe、无写缓存、未挂载、未分区、未被占用 先 root 后 --setuser 的 drop-in 每块盘执行 prepare 和 systemctl enable --now FlashStore 自己的探测会读的区域里没有数据 每块盘一条 udev 规则，按序列号匹配 主机检查，只在 OSD 需要的项目上停下 4 KiB 块 每块盘一节 [osd.N]，每个一个物理核 下载软件包，并对照发布的 SHA-256 校验 除非你要求，否则什么都不会被销毁。 --format-4k 会重新格式化不是 4 KiB 的盘，一次一块，各自放在自己的服务单元里，什么都打断不了它；--wipe 允许它覆盖有数据的盘。 --single-node 会加上 replicated_osd 规则，再跑一次会跳过已经是 OSD 的盘。\n它在这里测过，不只是写出来而已。 它因为写缓存拒绝了 SN750，在 osd.7 的盘上还有存储时拒绝了它；然后在 osd.7 被清除、节点交还给 root 之后，用 10.5 秒从零重建了它，自己选了 kernel 后端。 它不做的事是安装 Ceph。 那一步要你接受一个 Technology Preview，这是你的决定，不是脚本的。\n该修的地方 这些都拦不住一个铁了心的管理员，但每一样都能拦住一个忙碌的管理员。 每一项都是 croit 对任何下载这个软件包的人做出的说明，而每一项我第一次尝试就撞上了。\n位置 发生了什么 怎么修 systemd 服务单元 User=ceph 读不了 pmxcfs，所以在 pveceph 节点上 OSD 永远起不来 发布先 root 后 --setuser 的启动方式，或者一个 Proxmox 用的 drop-in kernel-cmd 回退 只在 Identify 被拒时回退；在 PVE 的内核上被拒的是 Read，OSD 直接停下 任何直通 I/O 被拒都回退到直接 I/O udev 文档要求一条把命名空间节点交给 ceph 的规则；但没有随包提供 提供一条，按配置的设备来写 --check 汇总 说内核 NVMe 是 “compiled out”，而它恰是唯一编译进去的存储路径 改正这个标签 --check 退出码 启动 SSD 过不了 PLP 测试，所以退出码 0 根本达不到 只给已配置或候选的设备打分 大页 按每个 OSD 2048 MiB 计算，且 prep 每次启动都要这么多空闲；内核后端只用 512 内核后端按实际用量计算，prep 也只要求同样多 sha256sums.txt 文件名和发布的文件对不上 按发布时的名字写 软件包名 文档说 apt remove flashstore；软件包叫 croit-flashstore-osd 统一一个名字，或者在文档里写对 flashstore_dev 参考 只列了 spdk: 和 file: 写明 kernel:，以及带内核后端的 spdk: 这些都不是新工作。 守护进程已经有了降权、直接后端和回退逻辑。 只是还没在大多数人会首先拿来试的那个平台上把它们串起来。\n预览版就是让你发现这些的地方 上面每一项发现，放在预览版里都是对的地方，但留在那里就是错的。 预览版就是干这个的：有人把它带回家，装在自己实际有的硬件上，把它在哪儿摔倒记下来。 要紧的部分都扛住了。 存储几毫秒就起来了，OSD 加入了一个用别人的工具搭起来的集群，一整个操作系统装到它们上面，一个故障都没出。\n绊倒它的是守护进程周围的一切。 一个放在服务单元读不了的文件系统上的配置文件，一个对上游允许的调用说不的内核，一块检查死活不肯不算的启动盘。 这些都不难。 可这一切正是 “能用的软件” 和 “在你机器上能用的软件” 之间的差别，而唯一能填平它的办法，是在人们手里实际有的机器上测，而不是在你专门为它搭的机器上测。\n话虽如此，这是个有希望的开端。 在一台破烂迷你主机上，客户端还是经典的 librbd，八块盘全挤在一条 PCIe 3.0 链路上，Optane 在这里被压榨得比在 BlueStore 下还狠。 随着它的发展，我会回来更深入地挖，随着更多技术栈被替换，还会看看 CephFS2。\n“即插即用” 是对一个没时间读源码的管理员许下的承诺。 Proxmox 的监视器、Proxmox 的 GUI、Proxmox 的内核，再加上别人家的软件包，正是这个承诺所针对的情形。 它现在差一点就兑现了。 九处小修复，它就能兑现；我宁可做那个周三早上把它们找出来的人，也不愿做那个周五晚上才撞上它们的客户。\ncroit/ceph-rust README — 自2026年11月9日起公开预览，“not yet recommended for production data”，硬件要求、快速入门、生产特性集、测试过的 Ceph 提交。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust release snapshot-2026-11-10 — 本文用到的软件包，包括 flashstore_…_debian-trixie_amd64.deb 和 sha256sums.txt。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — hardware requirements — 易失写缓存检查、大页、内核版本说明。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — branches and versions — main 针对 v21.2.0，v20.2.4 针对 v20.2.4；“The daemon refuses a cluster release outside its supported window.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/Ceph/Releases.pm — umbrella 以 release =\u0026gt; '21.2' 和 unsupported =\u0026gt; 1 列出。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — build and install packages — 支持的发行版、glibc 2.34、ceph-osd.target 的处理、apt remove 那一行。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — configuration reference — flashstore_dev、flashstore_lcores、flashstore_report_objectstore，以及它为什么默认为 bluestore。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd Cargo.toml — 第 29 行，knet = [… \u0026quot;kernel-nvme\u0026quot;]。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — first OSD tutorial — 只读的主机检查；“Exit 0 means no FAIL.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — ADR 0169, kernel NVMe backend — 两种内核模式、实测对比、负载分配器预算、spdk: 地址解析，以及仅针对 Identify 的回退（修订 6）。在发布当晚加入仓库。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE — Proxmox Cluster File System (pmxcfs) — /etc/pve 下的集群文件系统，及其固定的属主和权限。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd@.service — User=ceph、ExecStartPre=… activate，以及不含 CAP_DAC_OVERRIDE 的 CapabilityBoundingSet。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd privdrop.rs — 经典的 --setuser/--setgroup 降权。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — prepare the host — “the namespace node must be readable and writable by user ceph (udev rule)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux v7.0, drivers/nvme/host/ioctl.c — nvme_cmd_allowed()，非特权 NVMe 直通的规则。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — security — “prepare defaults --keyring to /var/lib/ceph/bootstrap-osd/\u0026lt;cluster\u0026gt;.keyring”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — prepare, activate and list — 非空设备探测和 --wipe。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/API2/Ceph/OSD.pm — 只有元数据带 bluefs 时 osdtype 才是 bluestore，否则是 filestore。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/Ceph/Services.pm — ceph_service_cmd() 把 osd.N 映射到 systemd 服务单元 ceph-osd@N。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph documentation — CRUSH maps — 副本规则、故障域和设备类别。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCrystalDiskMark — Crystal Dew World 的磁盘基准测试工具；“Various measure mode (Peak/Real World/Demo)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Performance Tweaks — 磁盘缓存模式：“cache=none seems to be the best performance and is the default since Proxmox 2.X”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/proxmox/flashstore-osd-on-proxmox/","summary":"croit 的 FlashStore OSD 是用 Rust 写的 ceph-osd 和 BlueStore 替代品，2026年11月9日起公开预览。本文把它超融合地部署在单个 Proxmox VE 9.2 节点上：监视器和管理器用 PVE 向导装的 Ceph Umbrella 21.2.0，OSD 用跑在 Intel Optane P4800X 上的 FlashStore。内容包括：为什么 Umbrella 是唯一对得上的 Proxmox 版本；把盘格式化成 4 KiB，以及会让格式化中途失败的控制器复位；croit-flashstore-osd \u0026ndash;check 报告了什么；为什么自带的服务单元读不到 Proxmox 的 ceph.conf，以及修好它的 drop-in；Proxmox 内核拒绝的 NVMe 直通，以及能用的 direct 后端；按 PCI 地址 prepare OSD；PVE 的 OSD 面板怎么看待它们；一个存储池、RBD 存储，以及装在上面的 Fisher-Price OS (Windows) 虚拟机；在该虚拟机里跑 CrystalDiskMark，并对照盘自己的计数器来解读；八个 OSD 全部工作时 Ceph 的内存；在 1 GiB 内存目标下同时跑三台虚拟机；最后是一个把这一切做完的安装脚本，靠从零重建一个 OSD 测试过。","title":"Proxmox VE 上的 FlashStore OSD：在一个节点上跑起来要做些什么"},{"content":"一个控制台，许多客户 如果你替别人照看 Proxmox，那么每个新节点都是同一件活，只是每次做法略有不同。 每个客户都有自己的国家、时区、root 密钥、磁盘布局、主机命名和订阅密钥。 新节点上错了其中任何一项，你要么在第一次有人登录时发现，要么在第一次审计问为什么时钟差了一小时时发现。\n我是为一个正好有这个问题的客户搭的这套东西，他们的要求朴素得让人舒心。 每个站点都按自己的命名、自己的 root 密码和自己的 SSH 密钥来构建。 站点上的人不用做任何花哨的事：把服务器上架，插进正确的 VLAN，开机。 没人去收集序列号，也没人为每台机器写应答文件。 而这样加进来的服务器，最终要进入该站点现有的集群。\n他们要的 这里由什么来实现 站点自己的命名、密码和密钥 每个站点一份预备应答，由该站点的令牌选中 插进正确的 VLAN，开机，走人 DNS 发现、iPXE，以及 Caddy 按源子网选择令牌 不要序列号，不要每台机器一份应答文件 应答只按产品过滤；站点信息来自网络 新服务器加入现有集群 不在本文范围：PDM 没有首次启动钩子，见下文 本文讲前三项：让一台裸服务器从开机走到一个装好的 Proxmox 节点，并带上正确站点的设置。 这一半几乎任何拥有不止一个站点的人都会碰到，不管是不是 MSP，所以值得单独成篇。 加入集群是另一件活，讲缺失的首次启动钩子那一节会解释为什么 PDM 目前还替你做不了。\nProxmox Datacenter Manager（PDM）1.1 补上了缺失的那一块1。 它现在可以充当 Proxmox 自动安装程序的应答服务器，于是一台裸机启动后，上报自己是什么，拿回一份预备好的应答，然后在控制台前没有人的情况下自行安装。 对一个已经把 PDM 当作管理控制台在用的托管服务提供商（MSP）来说，这显然就是存放每个客户安装设置的地方。\n你不想要的是每个客户一台 PXE 服务器。 每一台都是一个简单文件传输协议（TFTP）服务器、一份 DHCP 配置、一套启动文件，外加一个每次 Proxmox 发布小版本都要重建的 ISO。 十个客户就是十套这样的东西要保持更新。 这扩展不了。 这里的目标是一套 PXE 环境：一个启动镜像、一条 DNS 记录、一个 PDM，而每个站点仍然拿到自己的应答。\n所有站点一套 PXE site1 10.10.50.0/24 site2 10.20.50.0/24 site3 10.30.50.0/24 443 上的 Caddy 进：通用令牌 出：站点令牌， 按子网选择 PDM 应答按令牌 限定 8443 在回环上 所有站点共用一个启动镜像、一条 DNS 记录和一个 DHCP 服务 最终设计。每个站点都启动同一个镜像。Caddy 按子网判断请求来自哪个站点，把该站点的令牌交给 PDM，而 PDM 只提供限定于该令牌的应答。 PDM 1.1 自己就能走完大部分路。 它在两处做不到，在你围绕它规划部署之前，这两处都值得知道：它没有办法把应答匹配到一个站点，也没有办法给新节点一个首次启动脚本。 本文用 PDM 自己的源代码证明这两点，绕过第一点，并在我实验室里运行 1.1.9 的 PDM 上把整套东西搭起来，代理经过加固，保存机密的部分都关得严严实实。\nPDM 1.1 给了你什么 这个功能位于 Remotes → Automated Installations，分三部分：安装记录、预备应答和认证令牌2。 预备应答就是 PDM 版本的安装程序 answer.toml，通过表单填写，而不是手写。\n部分 作用 要紧的细节 预备应答 国家、键盘、时区、root 密码哈希、SSH 密钥、网络、磁盘布局、订阅密钥、安装后动作 每次请求都重新渲染 目标过滤器 决定哪台机器拿哪份应答 用 JSON Pointer 指向安装程序的系统信息，值用通配符匹配3 模板 FQDN、管理员邮箱、IP、网关和 DNS 字段里可用 MiniJinja installation_nr 这类计数器每送出一次应答就加一4 认证令牌 安装程序发送 Authorization: Bearer \u0026lt;name\u0026gt;:\u0026lt;secret\u0026gt; 与 PDM 的 API 令牌是不同类型；每份应答列出它接受的令牌2 安装记录 每次请求一条记录，带完整系统信息 安装后 webhook 回调时从进行中变为已完成 权限 查看要 Sys.Audit，修改要 Sys.Modify 都在 /system/auto-installation 上4 安装程序这一侧早就有了。 proxmox-auto-install-assistant prepare-iso 命令会构建一个通过 HTTP 获取应答的 ISO；从 Proxmox VE 9.2 的 ISO 起，它还能生成 iPXE 通过网络启动整套东西所需的内核、initrd、ISO 和 boot.ipxe5。\n计数器是单独一个 answer.toml 完全没有的东西。 一份预备应答就能给它构建的每台主机编号，而静态文件得每台机器复制一份。 这是实打实的进步，但仍然只是初版。 表单还没赶上独立的应答文件6，而且有一块完全缺失：1.1 里没有任何形式的首次启动脚本7。 这个缺口，以及它无法匹配的站点，就是接下来两节的内容。\n它无法按站点匹配 PDM 挑选应答的方式，是用过滤器去比对安装程序上报的系统信息。 所以问题在于那份文档里有什么，因为不在里面的东西就没法匹配。\n键 内容 能否指明站点？ product fullname、product（pve、pbs、pmg）、enable_btrfs 不能 iso release、isorelease 不能 dmi 系统、主板和机箱：名称、序列号、UUID、SKU、资产标签 只有有人把站点写进资产标签时才能 network_interfaces {link, mac} 的列表 只能通过你自己维护的清单 全部就这些8,9。 没有地址，没有主机名，没有 DHCP 选项，没有任何关于这台机器插在哪里的信息。\n桌面管理接口（DMI）字段看上去很有希望，直到你读到真实的值。 我实验室里的每一次安装，系统名称都是 Standard PC (Q35 + ICH9, 2009)，序列号和资产标签都是空的。 真实服务器会填这些字段，但填的是厂商放进去的东西，不是你客户的名字；而按序列号或 MAC 地址匹配，只有在你维护一份将来要安装的每一台机箱的清单时才行得通，而这恰恰是这套东西本该省掉的记账活。 按主机，可以。按站点，不行。\n那么这台机器插在哪个网络上？PDM 永远不知道。 安装程序上报时手里就握着它的 DHCP 租约，而 MSP 对一个新节点唯一确知的事实，偏偏就是它丢下不报的那一个。 按源地址匹配（IPv4 或 IPv6）是一个尚未处理的功能请求，是我自己提的，编号 826310。\n选择规则里还藏着第二个限制，我的实验室一头撞了上去。\nPDM 如何挑选应答 1. 令牌有效？ 已启用，未过期 否 约半秒后返回 401 不记录 2. 该令牌上的应答 按文件顺序，别无其他 3. 过滤器全部匹配？ 只匹配字符串，可用通配符 第一个 渲染应答 其上每个计数器加 1 都不 4. 该令牌上有默认应答？ 整个 PDM 只有一个默认应答 否 400: no answer file found 记录在 Installations 下 PDM 的选择逻辑，取自源代码。令牌最先检查，并限定其后的一切，包括默认应答。 令牌最先检查，只有授权给该令牌的应答才会被考虑，包括默认应答4。 PDM 整个系统只允许一个默认应答。 所以你没法用默认标志给每个站点各自一个兜底。 我的实验室有一个叫 fallback 的默认应答，挂在它自己的令牌上，它一次都没被送出过，因为从来没有东西发送那个令牌。 每个站点需要的是在自己的令牌上放一个全匹配过滤器，比如 /product/product=*，放在文件最后。\n同一份代码里还有两件事，排错时值得记在脑子里：\n按文件顺序，第一个匹配胜出，第二个匹配只记一条警告。从 1.1.1 起就是这个规则11。 过滤器只匹配字符串。 /product/enable_btrfs 是布尔值，永远匹配不上任何东西；数组需要索引，比如 /network_interfaces/0/mac。 在 1.1.9 上，未知或过期的令牌会在故意延迟约半秒后得到 401，而且不留任何记录。 有效令牌但没有任何匹配，会得到 400，正文是 no answer file found，而这次尝试会被记录，连同完整的系统信息。 在为一台新机箱写过滤器之前，那条记录是读出它真实序列号和 MAC 地址的最快办法。\n它无法运行首次启动脚本 安装程序本身支持首次启动钩子。 应答可以带一个 [first-boot] 段，source = \u0026quot;from-iso\u0026quot; 或 \u0026quot;from-url\u0026quot;，顺序可选 before-network、network-online 或 fully-up，另有一个可选的证书指纹9。 prepare-iso --on-first-boot 会为 from-iso 的情况把脚本嵌入 ISO。\nPDM 从不发送这个段。 一次都没有。 安装程序自己的应答类型有这个字段，first_boot: Option\u0026lt;FirstBootHookInfo\u0026gt;12。 PDM 的预备应答根本没有对应字段，而由它构建应答的代码无条件写入 first_boot: None4。 表单里没有，API 里没有，配置文件里也没有你能手工加的东西。 这是一个尚未处理的功能请求，编号 7699，2026年6月提交，写本文时仍无人认领7。 将近五个月过去，Proxmox 一个回复都没有，8263 也一样。 这种沉默才是让人担心的地方。有人花时间写下你的产品可以如何改进，就该得到一个答复，哪怕答复是不行，这是起码的职业礼貌。 更何况写信来的人是付费客户和合作伙伴，他们在投入时间之前，就已经在这个产品上投了钱。\n而 ISO 上的脚本也救不了你。 安装程序只在 if let Some(first_boot) = \u0026amp;answer.first_boot 时才设置首次启动服务，而那是唯一会读取嵌入文件的路径13。 你嵌入一个永远不会有应答来要的脚本，prepare-iso 不会给任何警告。 它就躺在 ISO 上，什么也不干。\n首次启动的缺口 ISO 上的脚本 prepare-iso --on-first-boot 来自 PDM 的应答 first_boot: None，始终如此 安装程序 设置首次启动钩子 仅当应答带有 [first-boot] 脚本留在 ISO 上 永远不运行，也没有警告 两半都到达了安装程序，而来自 PDM 的那一半从不要求这个钩子。ISO 上的脚本是死重。 这对 MSP 来说比对任何人都更要紧。 安装程序产出的节点是一个裸系统，带一个哈希过的 root 密码和几把 SSH 密钥。 它不是 PDM 的 remote，不在任何集群里，你的监控、软件源和存储一样都没有。 在我的实验室里，三个节点都装完并回报了，PDM 里的 SITEA remote 事后还是得手工添加。\n所以无论你用什么来收尾一个节点，Ansible 也好，别的也好，都得从外部触发：从安装后 webhook，从一个盯着安装列表的作业，或者由一个人来做。 我就讲到这里。 本文讲的是让一套 PXE 环境服务所有站点，而首次启动的缺口是要绕着规划的限制，不是我打算在这里糊过去的东西。\n令牌就是站点 PDM 看不见站点，但它确实按令牌限定应答，而令牌不过是一个请求头。 谁设置这个请求头，谁就决定安装程序能拿到哪一组应答。 整个窍门就这么简单。\n所以在 PDM 前面放一个知道请求从哪里来的东西：\n启动镜像携带一个通用令牌，catch-all:not-a-secret，每个镜像里都一样，就公开在这里。它不是 PDM 令牌，自己什么都打不开。 PDM 前面的 Caddy 反向代理查看携带通用令牌的应答请求的源子网，把请求头换成该站点真正的令牌。 PDM 看到的是 site2-2026q4:\u0026lt;secret\u0026gt;，于是只提供 site2 的应答。 机密从不靠近启动镜像，所以丢一个 U 盘或者被人复制一份 ISO，谁也得不到任何东西。 轮换一个站点的令牌是改 Caddy，不是重建镜像。 而增加一个站点，就是一行 Caddy 配置加 PDM 里一个新令牌。\n这依赖于源地址是诚实的，而这是你网络的属性，不是代理的属性。 这个取舍和其他取舍都列在下文“还剩什么要决定”里。\n镜像里不写 URL，安装程序怎么找到 PDM 所有站点一个镜像，前提是镜像里也不带 PDM 的地址。 安装程序按顺序在三个地方找它的应答 URL14：\n安装程序从哪里找到应答 URL 1. ISO 里写死了 URL？ prepare-iso --url 是 采用，不再问 DHCP 和 DNS 每个 PDM 一个镜像：本文避免 否 2. DHCP option 250？ 从安装程序的租约中读取 是 采用，并用 option 251 提供 指纹：本文不发送 否，或任何 DHCP 错误 3. DNS TXT 查询 搜索域取自 resolv.conf proxmox-auto-installer.example.doc URL 和指纹都来自 DNS 安装程序遵循的顺序。镜像里不写 URL，也不发送 option 250，每个站点都会落到 DNS。 规则 代码做了什么 对你意味着什么 顺序 ISO 里的 URL 优先；其次 DHCP；任何 DHCP 失败都退回 DNS14 构建镜像时不加 --url，任何地方都不发送 option 250 记录名 URL 用 proxmox-auto-installer.\u0026lt;search domain\u0026gt;，指纹用 proxmox-auto-installer-cert-fingerprint.\u0026lt;search domain\u0026gt; 一个区，两条 TXT 记录 搜索域 /etc/resolv.conf 的第一行 search，按单个空格切分 只下发一个域；两个会变成一个无效名称 没有域 以 Could not find search domain in resolv.conf. 失败 检查 DHCP option 15 或 119 有没有发出 TXT 值 dig txt +short，去掉所有 \u0026quot;，再去首尾空白 TXT 值拆成多个字符串会在 URL 里留下空格；保持为一个字符串 指纹 只有 URL 也来自 DNS、且镜像里没写死指纹时才从 DNS 取 发布 PDM 的证书指纹，Caddy 提供的也是这张证书 令牌 以 Authorization: Bearer \u0026lt;token\u0026gt; 发送，以明文存放在 ISO 上9 这就是镜像只带通用令牌的原因 安装程序检查的证书，是在 443 上应答的那一张。 在这个设计里，Caddy 在那里提供 PDM 自己的证书，所以客户端在 443 上看到的证书和 PDM 在 8443 上的一样，只需要发布一个指纹。\n动手搭建：PDM、启动文件和 DNS 示例使用域名 example.doc 和三个站点：10.10.50.0/24、10.20.50.0/24 和 10.30.50.0/24。 .doc 不是真实的顶级域名，换成你自己的。 PDM、Caddy、dnsmasq 和启动文件都在一台主机上，pdm.example.doc，地址 10.10.50.10，远程站点通过网关上的 DHCP 中继到达它。 管理网络是 10.99.0.0/24，因此也是唯一能看到 PDM 网页界面的网络。\nPDM 里的令牌和应答 在 Remotes → Automated Installations → Authentication Tokens 下，为每个站点加一个令牌，过期时间与你的部署窗口对齐。 名称不是机密，而且会出现在日志里，所以让它有点意义：site1-2026q4。 密钥显示时就复制下来。\n然后为每个站点的每个产品加一份预备应答，只授权给该站点的令牌：\n字段 site1，Proxmox VE 授权令牌 site1-2026q4 目标过滤器 /product/product=pve 国家、键盘、时区 gb、en-gb、Europe/London Root 访问 SSH 密钥，外加通过表单设置的密码，PDM 只以哈希形式存储和发送4 网络 DHCP，固定网卡名称 FQDN {{ product.product }}-site1-{{ installation_nr }}.example.doc 磁盘 你的布局，例如两块指定磁盘上的 ZFS 镜像 安装后 webhook 基础 URL https://pdm.example.doc，带 PDM 的证书指纹 每送出一次应答计数器就加一，重试也算，所以名字可能跳号。 我实验室的计数器在三次完成安装后停在 4。 如果你需要可预测的名字，就用 FQDN from DHCP，把主机名放到 DHCP 预留里。\nwebhook 基础 URL 是这个设计里唯一必须改的设置。 很自然会把它指向 PDM 本身的 8443 端口，我实验室原来就是这样，而 8443 马上就要关掉。 把它指向 Caddy。\n启动文件 在任何装了 Proxmox 软件源的 Proxmox VE 或 Debian 主机上：\napt install proxmox-auto-install-assistant xorriso mkdir -p /srv/www/pve-9.2 proxmox-auto-install-assistant prepare-iso proxmox-ve_9.2-1.iso \\ --fetch-from http \\ --answer-auth-token \u0026#39;catch-all:not-a-secret\u0026#39; \\ --pxe-loader ipxe \\ --output /srv/www/pve-9.2/ 不加 --url，因为 DNS 会提供。 --pxe-loader ipxe 隐含 --pxe，而有了 --pxe，输出必须是一个已经存在的目录15。 你会得到四个文件：vmlinuz；initrd.img，从 zstd 重新压缩为 gzip，因为 iPXE 加载不了 zstd 的 initrd；去掉了 /boot 的预备 ISO；以及一个 boot.ipxe 菜单，十秒后默认进入自动安装，并以相对名称引用其他文件15。 四个文件放在同一个目录里。\n每台目标机需要足够的内存来容纳内核、initrd 和整个 ISO。 Proxmox VE 9.2 的说明写的是 “at least 6 GiB of available memory on the host”5。 同一份说明还列出一个已知问题：9.2 ISO 的内核在 megaraid_sas 控制器以及部分处于 JBOD（just a bunch of disks）模式的 NVMe 盘上有问题，建议用 9.1 ISO 安装后再升级5。 在把网络路径托付给你的硬件之前，先测一测。\nDNS 记录 在与 DHCP 下发的那唯一一个搜索域相对应的区里：\n$ORIGIN example.doc. pdm IN A 10.10.50.10 proxmox-auto-installer IN TXT \u0026#34;https://pdm.example.doc/api2/json/auto-install/answer\u0026#34; proxmox-auto-installer-cert-fingerprint IN TXT \u0026#34;63:C4:D6:...:85:07\u0026#34; 指纹是 PDM 自己的证书：\nopenssl x509 -in /etc/proxmox-datacenter-manager/auth/api.pem -noout -fingerprint -sha256 按安装程序的方式检查它们：\ndig txt +short proxmox-auto-installer.example.doc @10.10.50.10 # one quoted string, nothing split Caddy，进入 PDM 的唯一一扇门 PDM 的 API 监听 [::]:8443，这是编译进二进制的常量，不是一个设置项16。 你没法把它绑定到回环地址。 所以 Caddy 成为唯一的入口，防火墙来确保这一点。\nPDM 前面的 Caddy 路由 请求 结果 应答 POST，站点子网，通用令牌 改写为该站点的令牌 post-hook POST，站点子网 去掉 Authorization，放行 网页界面或 API，管理子网 原样放行，需 PDM 登录 其他一切，来自任何地方 中止，永远到不了 PDM 8443 端口，来自本机之外 被 nftables 丢弃 Caddy 看到的每个请求都落到五个去处之一。只有前三个会到达 PDM。 PDM 恰好有两条不需要 PDM 登录就能用的路由：带安装程序令牌的 POST /api2/json/auto-install/answer，以及正文里带一次性令牌的 POST …/installations/{uuid}/post-hook4。 置备网络应该能到达的，只有这两条。\n使用 Caddy 2.11.1 或更高版本。 2.11.1 修复了一个路径匹配器绕过漏洞 CVE-2026-27587，而这正是本方案所依赖的那种路径把关17。 Debian 13 自带的软件包是 2.6.2，所以从 trixie-backports（带 2.11.2）或 Caddy 自己的软件源获取18。\nCaddyfile，/etc/caddy/Caddyfile：\n{ # the admin API on a socket only root can open, never on TCP admin unix//run/caddy/admin.sock|0600 auto_https disable_redirects servers { protocols h1 h2 } } # PDM itself, on the loopback, trusted by its own certificate (pdm_upstream) { reverse_proxy https://[::1]:8443 { transport http { tls_trust_pool file /etc/proxmox-datacenter-manager/auth/api.pem tls_server_name pdm.example.doc } } log_append pdm_status {http.reverse_proxy.status_code} } # one site: name, subnet, PDM token name, PDM token secret (site) { @{args[0]} { method POST path /api2/json/auto-install/answer remote_ip {args[1]} header Authorization \u0026#34;Bearer catch-all:not-a-secret\u0026#34; } handle @{args[0]} { log_append site {args[0]} log_append pdm_token {args[2]} request_header Authorization \u0026#34;Bearer {args[2]}:{args[3]}\u0026#34; import pdm_upstream } } pdm.example.doc, 10.10.50.10 { tls /etc/proxmox-datacenter-manager/auth/api.pem /etc/proxmox-datacenter-manager/auth/api.key import site site1 10.10.50.0/24 site1-2026q4 {env.PDM_SECRET_SITE1} import site site2 10.20.50.0/24 site2-2026q4 {env.PDM_SECRET_SITE2} import site site3 10.30.50.0/24 site3-2026q4 {env.PDM_SECRET_SITE3} @post_hook { method POST path /api2/json/auto-install/installations/*/post-hook remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 } handle @post_hook { request_header -Authorization import pdm_upstream } # the PDM web UI and API, from the management network only @mgmt remote_ip 10.99.0.0/24 handle @mgmt { import pdm_upstream } # anything else, from anywhere, never reaches PDM handle { abort } log { output file /var/log/caddy/pdm.log format filter { request\u0026gt;headers\u0026gt;Csrfpreventiontoken replace REDACTED } } } # boot files, to the sites and management only http://:80 { @hidden path_regexp /\\. handle @hidden { abort } @boot remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 10.99.0.0/24 handle @boot { root * /srv/www file_server } handle { abort } } 承担安全职责的部分，以及各自存在的理由：\n行 原因 站点匹配器里的 header Authorization \u0026quot;Bearer catch-all:not-a-secret\u0026quot; 没有它，来自站点子网的任何 POST 都会拿到真令牌；请求必须既来自正确的子网，又携带通用令牌 request_header Authorization … 设置请求头，覆盖客户端发来的任何值，所以伪造的令牌会被替换，绝不会被转发19 remote_ip 直接对端；安装程序和 Caddy 之间不要放 NAT 或负载均衡器20 命名的 handle 块 按书写顺序保留且互斥，所以裸的 handle { abort } 是最终裁决21 @mgmt 完整的 PDM 界面和 API，原样不动，所以 PDM 自己的登录、API 令牌和 cookie 照常工作；站点子网一样都拿不到 admin unix//…|0600 管理 API 默认监听 TCP localhost:2019，没有任何认证22 protocols h1 h2 Caddy 默认在 UDP 443 上监听 HTTP/322；这一行把它关掉，而不是留着一个谁也没打算开的端口 @hidden file_server 会提供其根目录下的每个文件，包括点文件，而文档明确说 hide 不是安全边界23 Csrfpreventiontoken replace REDACTED Caddy 默认会在访问日志里遮蔽 Authorization 和 Cookie，但不遮蔽 PDM 的 CSRF 请求头24 路径匹配器比 PDM 宽松，这个方向是对的。 Caddy 在匹配之前会清理路径、解码百分号编码、合并重复斜杠并忽略大小写20。 所以 //answer、%61nswer 和 ANSWER 都算作应答路由，而 /api2/extjs/… 变体或末尾斜杠匹配不上站点路由，会落到 abort。\n里面有两个选择需要解释。\nCaddy 直接从 PDM 的文件提供 PDM 的证书。 Caddy 在 PDM 存放 api.pem 和 api.key 的地方读取它们，所以安装程序、webhook 和浏览器看到的都是 PDM 在 8443 上出示的证书，也没有第二份副本会走样。 给它这个访问权限的显而易见的办法，是把 caddy 用户加进 www-data。 我在实验室里检查了这个组成员身份实际能碰到什么，以 caddy 用户逐个测试文件：\n/etc/proxmox-datacenter-manager/ 下的文件 www-data 里的 caddy 能否读取 remotes.shadow，每个受管 remote 的凭据 能 autoinst/tokens.shadow，每个安装程序令牌的密钥 能 auth/api.key、auth/csrf.key 能 access/user.cfg、subscriptions/ 能 这张清单里没有一样东西该靠近网页代理。 那样的话，代理里的一个 bug 就等于 PDM 管理的每一个集群都被攻破。\n所以 Caddy 不进 www-data，只在它需要的那两个文件上拿一条 ACL，外加穿过其上两级目录、但不能列出目录内容的权限：\n#!/bin/sh # /usr/local/sbin/pdm-cert-acl # let Caddy read PDM\u0026#39;s certificate and key in place, and nothing else of PDM\u0026#39;s set -e D=/etc/proxmox-datacenter-manager; A=$D/auth setfacl -m u:caddy:x \u0026#34;$D\u0026#34; \u0026#34;$A\u0026#34; setfacl -m u:caddy:r \u0026#34;$A/api.pem\u0026#34; \u0026#34;$A/api.key\u0026#34; 运行之后，在实验室里以 caddy 用户测试：\n路径 caddy auth/api.pem、auth/api.key 能读 auth/csrf.key、auth/authkey.key、auth/authkey.pub 不能读 remotes.shadow、remotes.cfg、autoinst/tokens.shadow、access/user.cfg 不能读 列出 auth/ 被拒绝 问题出在续期上。 PDM 把续期后的证书写到一个新文件，再重命名到位，而新文件不会带上旧文件的 ACL。 所以 PDM 续期时，由 systemd 把 ACL 补回去并重载 Caddy，不需要任何人参与。\n检查证书和私钥是否配对，因为续期时它们是一个接一个写入的：\n#!/bin/sh # /usr/local/sbin/pdm-cert-pair-ok # exit 0 only when PDM\u0026#39;s certificate and key belong together d=/etc/proxmox-datacenter-manager/auth c=$(openssl x509 -noout -pubkey -in \u0026#34;$d/api.pem\u0026#34;) || exit 1 k=$(openssl pkey -pubout -in \u0026#34;$d/api.key\u0026#34;) || exit 1 [ \u0026#34;$c\u0026#34; = \u0026#34;$k\u0026#34; ] 一个同时监视两个文件的 path 单元，以及它启动的服务：\n# /etc/systemd/system/caddy-pdm-cert.path [Unit] Description=Watch the PDM certificate and key for renewal [Path] PathChanged=/etc/proxmox-datacenter-manager/auth/api.pem PathChanged=/etc/proxmox-datacenter-manager/auth/api.key Unit=caddy-pdm-cert.service [Install] WantedBy=multi-user.target # /etc/systemd/system/caddy-pdm-cert.service [Unit] Description=Let Caddy read the renewed PDM certificate in place, then reload Caddy [Service] Type=oneshot ExecCondition=/usr/local/sbin/pdm-cert-pair-ok ExecStart=/usr/local/sbin/pdm-cert-acl ExecStart=/usr/bin/systemctl try-reload-or-restart caddy.service apt install acl systemctl daemon-reload systemctl enable --now caddy-pdm-cert.path 下文的覆盖配置会在每次 Caddy 启动前运行同一个 ACL 脚本，所以即使续期发生在 Caddy 停止期间，也不会漏掉。\n让它运转起来的细节，每一项都验证过：\n组件 原因 两个文件都监视 第一次写入触发单元；在两者不匹配期间条件会跳过它，第二次写入时以匹配的一对再次触发 ExecCondition 条件失败会跳过本次运行而不是让它失败，所以写了一半的续期永远到不了 Caddy25 PathChanged 被监视的文件以写方式打开后关闭时触发26；在实验室里，新文件重命名覆盖旧文件时也会触发 每次运行都执行 ACL 脚本 重命名进来的文件没有 ACL，脚本再次运行之前 Caddy 读不了它 try-reload-or-restart Caddy 在运行就重载，不在运行就什么也不做 Caddy 单元里的 reload --force 不加 --force，Caddy 看到配置相同，会继续提供旧证书 最后一行不是猜的。 我在一个一次性的 Caddy 2.11.7 容器里，在服务器运行时替换了证书文件：普通的 caddy reload 继续提供旧证书，caddy reload --force 提供了新证书。 打包的单元本来就用 --force 重载27，所以如果你覆盖 ExecReload，保留那一行。\n在实验室里，我按续期的方式替换了 PDM 的 api.key 和 api.pem：写入新文件，再重命名覆盖旧文件。 刚重命名完，api.key 上没有 caddy 的 ACL 条目。 四秒之内，path 单元已经触发，两个文件的 ACL 都回来了，Caddy 原地重载，进程 ID 不变。\n令牌名称和密钥分开存放。 名称写在 Caddyfile 里，会被记录到日志。 密钥放在只有 root 能读的环境文件里，Caddy 在请求时通过 {env.*} 读取。\n记录用了哪个令牌，绝不记录密钥 我实验室的第一版就泄露了。 Caddy 打包的单元以 caddy run --environ 启动它，而 --environ 会在启动前打印整个环境28,27。 每次重启都把站点令牌以明文写进 journal：我数的时候已经有八行。 访问日志里没有，PDM 自己的日志里也没有，全都来自那一个参数。\n令牌密钥和令牌名称的去向 密钥 pdm-secrets.env 仅 root，0600 Caddy 的环境 {env.PDM_SECRET_SITE1} Authorization 请求头 只在通往 PDM 的回环一跳 名称 Caddyfile 中的 import 行 访问日志，每个应答请求 \"pdm_token\":\"site1-2026q4\" 从不写入 journal 已去掉 --environ 管理 API unix 套接字，0600 配置导出 只有占位符 密钥只有一个用途、一条路径。记录日志用的是名称。 所以密钥文件只放密钥，别的什么都不放：\ninstall -m 0600 /dev/null /etc/caddy/pdm-secrets.env printf \u0026#39;PDM_SECRET_SITE1=%s\\nPDM_SECRET_SITE2=%s\\nPDM_SECRET_SITE3=%s\\n\u0026#39; \\ \u0026#39;\u0026lt;secret1\u0026gt;\u0026#39; \u0026#39;\u0026lt;secret2\u0026gt;\u0026#39; \u0026#39;\u0026lt;secret3\u0026gt;\u0026#39; \u0026gt; /etc/caddy/pdm-secrets.env 而单元覆盖配置去掉 --environ，并给管理套接字安个家：\n# systemctl edit caddy [Service] EnvironmentFile=/etc/caddy/pdm-secrets.env RuntimeDirectory=caddy RuntimeDirectoryMode=0700 # PDM\u0026#39;s certificate and key, read where PDM keeps them ExecStartPre=+/usr/local/sbin/pdm-cert-acl # the access log directory and its files belong to Caddy ExecStartPre=+/usr/bin/install -d -o caddy -g caddy -m 0750 /var/log/caddy ExecStartPre=+/usr/bin/chown -R caddy:caddy /var/log/caddy ExecStart= ExecStart=/usr/bin/caddy run --config /etc/caddy/Caddyfile ExecReload= ExecReload=/usr/bin/caddy reload --config /etc/caddy/Caddyfile --force + 让这几行在 Caddy 以自己的用户启动之前以 root 运行。 一旦有别的东西碰 /var/log/caddy，这几行日志相关的配置就要紧了：被 root 轮转的日志，或者测试时手工创建的文件，都会让 Caddy 打不开自己的访问日志。 在实验室里我把 pdm.log 设成 root:root 再重启 Caddy；它变回了 caddy:caddy，Caddy 没有记录任何权限错误。\n改完之后要重启而不是重载，因为重载不会重新读取环境。 用 {env.NAME}，绝不要用 {$NAME}：后一种形式在适配 Caddyfile 时就被替换掉，于是密钥会落进 JSON 配置、自动保存文件以及任何导出它们的东西里29。 管理套接字在这里也要紧。 {env.*} 会解析进程环境里的任何变量，没有白名单，所以任何能通过 TCP 管理 API 加载配置的人，都能让 Caddy 把密钥读回给他们30。\n现在访问日志里的每一行应答都写明站点和令牌，而请求头本身被遮蔽。以下来自实验室，两者都叫 siteA：\n{\u0026#34;site\u0026#34;:\u0026#34;siteA\u0026#34;,\u0026#34;pdm_token\u0026#34;:\u0026#34;siteA\u0026#34;,\u0026#34;pdm_status\u0026#34;:400,\u0026#34;status\u0026#34;:400, \u0026#34;request\u0026#34;:{\u0026#34;headers\u0026#34;:{\u0026#34;Authorization\u0026#34;:[\u0026#34;REDACTED\u0026#34;]}}} 我验证过，而不是相信它。 先在这份配置的一个 podman 副本上用假密钥，再在实验室上，我把能想到的每条路径都走了一遍发送应答：正常情况、开启调试日志、上游宕机得到 502、一次重载和一次重启。 然后我在 journal、访问日志、Caddy 的配置和数据目录以及适配后的 JSON 里逐个统计每个密钥的出现次数。 每个计数都是零。 对照组，也就是同一份配置以 --environ 启动，把密钥打印了两次。\n那次测试有两点保留意见。 开启 debug 时，Caddy 会记录整个适配后的配置，所以通用令牌和 {env.*} 占位符会出现在那里；它们背后的值没有出现。 无论如何，生产环境里关掉调试。 另外，如果某个密钥已经进过 journal，像我的那样，就在 PDM 里重新生成它并更新文件；删日志行不是解决办法。\n防火墙：8443 永远不出这台机器 我的实验室根本没有防火墙，所以 8443 对置备网络上的每台主机都有应答，Caddyfile 里的每条规则都能被绕过去。 把它关掉。 nftables，默认丢弃：\n#!/usr/sbin/nft -f flush ruleset define SITES = { 10.10.50.0/24, 10.20.50.0/24, 10.30.50.0/24 } define MGMT = { 10.99.0.0/24 } table inet filter { chain input { type filter hook input priority filter; policy drop; iifname \u0026#34;lo\u0026#34; accept ct state established,related accept ct state invalid drop meta l4proto { icmp, ipv6-icmp } accept # PDM\u0026#39;s API listens on [::]:8443 and cannot be rebound tcp dport 8443 counter drop ip saddr $MGMT tcp dport { 22, 80, 443 } accept udp dport { 67, 69 } accept ip saddr $SITES meta l4proto { tcp, udp } th dport 53 accept ip saddr $SITES tcp dport { 80, 443 } accept } chain forward { type filter hook forward priority filter; policy drop; } } PDM 连接它的 remote 都是出站方向，所以关闭入站 8443 对那边没有任何影响。 第一次加载新规则集时带一个定时回滚，这样出错只会让你损失九十秒，而不是跑一趟控制台：\nsystemd-run --unit=nft-rollback --on-active=90 /usr/sbin/nft flush ruleset nft -f /etc/nftables.conf # still connected? then: systemctl stop nft-rollback.timer \u0026amp;\u0026amp; systemctl enable nftables 在实验室里，全部完成之后：\n检查 结果 从管理网络访问 8443 连不上；丢弃计数在增长 从管理网络经 Caddy 的 443 访问 PDM 网页界面 能登录，正常工作 从站点地址访问 PDM 网页界面 被中止 站点带通用令牌发送应答 POST 带着站点令牌到达 PDM：一个故意不匹配的探测得到 400 no answer file found 同样的探测用编造的令牌直接发给 PDM 401 不带通用令牌的应答 POST，或以 /api2/extjs/… 形式发送 被中止 存放 PDM 机密的文件，以 caddy 身份读取 一个都读不了 改动之后，站点密钥在 journal、访问日志或 Caddy 数据里出现的次数 0 DHCP、iPXE 与循环 服务器固件只能通过 TFTP 获取第一个文件，所以 TFTP 提供小小的 iPXE 加载器，其余一切由 iPXE 通过 HTTP 获取。 陷阱在于 iPXE 会发出自己的 DHCP 请求，而如果服务器再次回答 ipxe.efi，机器就会永远绕圈子。 DHCP 服务器必须分得清固件和 iPXE。\n为什么普通 DHCP 回复会循环 普通回复：循环 固件请求启动文件 回复：ipxe.efi iPXE 启动，再次请求 同样回复：ipxe.efi 服务器分不清固件 和 iPXE，所以永远前进不了 识别 iPXE：可行 固件请求启动文件 不是 iPXE：经 TFTP 给 ipxe.efi iPXE 再次请求，带 option 175 回复：boot.ipxe 的 URL，走 HTTP 内核、initrd 和 ISO，然后安装 同样的请求两次，得到同样的回答两次。只有 iPXE 才发送的 option 175，就是服务器区分第二次请求和第一次请求的依据。 DHCP 服务器 如何打破循环 dnsmasq 给携带 option 175（只有 iPXE 发送）的请求打标签，把 HTTP URL 交给它们31 ISC dhcpd if exists user-class and option user-class = \u0026quot;iPXE\u0026quot;32 FortiGate filename 字段只接受一个值，所以构建一个内嵌 URL 的 iPXE 加载器，统一提供给所有请求 dnsmasq，服务它自己的网络，并通过中继服务另外两个网络，只用预留：\n# /etc/dnsmasq.d/pxe.conf local=/example.doc/ domain=example.doc address=/pdm.example.doc/10.10.50.10 txt-record=proxmox-auto-installer.example.doc,\u0026#34;https://pdm.example.doc/api2/json/auto-install/answer\u0026#34; txt-record=proxmox-auto-installer-cert-fingerprint.example.doc,\u0026#34;63:C4:D6:...:85:07\u0026#34; dhcp-authoritative dhcp-range=set:site1,10.10.50.0,static,255.255.255.0,1h dhcp-range=set:site2,10.20.50.0,static,255.255.255.0,1h dhcp-range=set:site3,10.30.50.0,static,255.255.255.0,1h dhcp-option=tag:site1,option:router,10.10.50.1 dhcp-option=tag:site2,option:router,10.20.50.1 dhcp-option=tag:site3,option:router,10.30.50.1 dhcp-option=option:dns-server,10.10.50.10 dhcp-option=option:domain-search,example.doc dhcp-match=set:ipxe,175 dhcp-match=set:efi64,option:client-arch,7 dhcp-match=set:efi64,option:client-arch,9 dhcp-boot=tag:efi64,tag:!ipxe,ipxe.efi dhcp-boot=tag:ipxe,http://pdm.example.doc/pve-9.2/boot.ipxe # no option 250 anywhere: DNS discovery depends on it enable-tftp tftp-root=/srv/tftp tftp-secure # TFTP block-size ceiling: lower it for an IPsec or other tunnel in the path tftp-mtu=1500 # dhcp-host=\u0026lt;mac\u0026gt;,\u0026lt;ip inside that site\u0026#39;s /24\u0026gt;,\u0026lt;hostname\u0026gt; dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01 dhcp-host=aa:bb:cc:dd:ee:02,10.20.50.21,pve01 static 表示没有地址池：只有做了预留的机器才能拿到地址，这样陌生机器就进不了安装路径。 每条预留的地址必须落在它自己站点的 /24 里，因为 Caddy 正是用这个地址来挑选令牌。 预留到错误子网的节点会拿到错误站点的应答，或者什么也拿不到。\n预留是一张 MAC 地址清单，而这恰恰是客户不想要的那种按机器记账的活。 如果“插上就启动”真的是硬要求，那就给每个置备 VLAN 一个小的动态范围，例如 dhcp-range=set:site1,10.10.50.100,10.10.50.150,255.255.255.0,1h。 站点信息仍然来自子网，所以 Caddy 仍然挑对令牌，而带 installation_nr 的 FQDN 模板会给节点命名。 代价是“还剩什么要决定”的第一行：插进那个 VLAN 的任何东西现在都能取到该站点的应答，所以 VLAN 本身成了那道门。\ndnsmasq 会与客户端协商 TFTP 块大小。 不去管它的话，它会把上限设为它自己接口的 MTU31，这在通往某站点的路径比 dnsmasq 所在链路的 MTU 小之前都没问题。 所以配置里把上限写明为 tftp-mtu=1500，而不是继承。 这样，负责某个位于 IPsec 隧道或其他会占用包空间的东西后面的站点的人，就能看到这个数字，把它调低到路径真正能承载的值，而不是从一次卡在半路的传输里才发现。 如果某个网卡 ROM 只要这个选项被批准就出毛病，tftp-no-blocksize 可以关掉协商。\n从 Debian 的 ipxe 软件包里把 ipxe.efi 复制到 /srv/tftp，属主设为 dnsmasq 用户，因为 tftp-secure 会拒绝其他任何属主的文件。 优先用 UEFI。 Secure Boot 需要签名过的 iPXE，所以要么配好它，要么安装时关掉 Secure Boot、装完再打开。\n启动、观察，以及哪里会出问题 在碰硬件之前，先在一个站点网络上用一台虚拟机测试：UEFI 固件、8 GiB 内存、一块接在该 VLAN 上的网卡，就能重现整条链路。\n启动时发生了什么 目标服务器 UEFI 网络启动 6 GiB 或更多 1. DHCP 和 TFTP 一个租约、一个搜索域，然后是 ipxe.efi 2. 80 端口上的 HTTP boot.ipxe、vmlinuz、initrd.img 和 ISO，载入内存 3. DNS 两条 TXT 记录：应答 URL 和 PDM 的指纹 4. 443 上的 Caddy，然后是 PDM 现在是应答，重启后是 webhook 四段独立的对话，每段失败时都有自己该去查看的地方。 以及按顺序的全过程，从开机到 PDM 标记为 Finished 的安装：\n从开机到完全装好 目标机 dnsmasq, :80 Caddy :443 PDM DHCP：一个租约 TFTP：ipxe.efi iPXE 再次请求 HTTP：内核、initrd、ISO 安装程序：一个域 DNS：两条 TXT 记录 POST，通用令牌 站点令牌 进行中 渲染好的应答，经 Caddy 安装到磁盘 webhook，一次性令牌 去掉 Authorization Finished 重启；首次启动 激活密钥 每一步，按顺序。webhook 由安装程序在重启之前发送，所以 Finished 表示已安装，不表示已启动；订阅密钥是之后在首次启动时激活的。 步骤 发生了什么 去哪里看 1 固件通过 TFTP 取得 ipxe.efi，iPXE 通过 HTTP 取得 boot.ipxe journalctl -u dnsmasq，Caddy 的日志 2 十秒后菜单启动自动安装条目；下载内核、initrd 和 ISO 四个 GET，其中一个约 1.6 GB 3 安装程序拿到租约，读取搜索域，查询两条 TXT 记录 目标机上的 /tmp/fetch_answer.log 4 POST 到 Caddy，令牌被替换，PDM 挑选应答 Caddy 的日志写明令牌；PDM 显示一条新的安装记录 5 安装运行 /tmp/auto_installer.log、/tmp/install-low-level-start-session.log 6 仍在安装程序里时，webhook 经 Caddy 回调，然后机器重启33 安装记录变为 Finished，附带磁盘、网卡和 SSH 主机密钥 失败时安装程序会落到一个 shell，除非应答设置了 Reboot on Error，所以测试期间别开它。\n症状 可能原因 Could not find search domain in resolv.conf. DHCP 没有发送域 对一个带空格的名字做 TXT 查询 不止一个搜索域 Got empty response. 记录缺失、区不对，或 option 6 指向了另一台 DNS 服务器 URL 中间有一个空格 TXT 值被拆成了多个字符串 日志说 URL 来自 DHCP 网络上某处有 option 250 POST 时出现 TLS 错误 DNS 里的指纹不是 Caddy 当前的证书 连接被关闭，没有响应 Caddy 中止了它：子网不对、没带通用令牌，或者路由不是那两条之一 400 no answer file found 令牌有效；没有过滤器匹配，且该令牌上没有默认应答 应答不对 过滤器重叠；文件里第一个胜出 状态一直是进行中 webhook 基础 URL 仍指向 8443 iPXE 无休止地重新加载自己 DHCP 服务器没有区分 iPXE 和固件 PXE-E32 TFTP 超时 next-server 不对，或者 UDP 69 被拦截 加入 Proxmox Backup Server 这条路径没有任何部分是 Proxmox VE 专属的。 用 PBS 4 的 ISO 和同一个通用令牌再构建一套启动文件，放进 /srv/www/pbs-4/，并为每个站点加一份 PBS 应答，过滤器为 /product/product=pbs，授权给该站点的令牌。 DNS 记录、Caddy、令牌和防火墙都不用变。\n对同时有两者的站点，得有东西来决定一台机器装哪个产品，而菜单不是做这个决定的合适东西。 iPXE 的 choose 不加 --timeout 会在控制台前永远等一次按键，这和无人值守恰恰相反。\n改由 DHCP 预留来决定。 你本来就按 MAC 地址预留了每个节点，所以给 PBS 那些打上标签，并给每个标签发送它自己的 boot.ipxe：\n# /etc/dnsmasq.d/pxe.conf, replacing the single iPXE dhcp-boot line dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01 dhcp-host=aa:bb:cc:dd:ee:31,set:pbs,10.10.50.31,pbs01 dhcp-boot=tag:ipxe,tag:!pbs,http://pdm.example.doc/pve-9.2/boot.ipxe dhcp-boot=tag:ipxe,tag:pbs,http://pdm.example.doc/pbs-4/boot.ipxe 预留上的 set:pbs 只给那一台机器打标签31，而 tag:!pbs 让两条启动行互斥，所以不存在哪条胜出的问题。 每个产品自己的 boot.ipxe 本来就会在十秒后无人操作地启动其自动安装条目15。\n这几行在 2.91（我实验室的版本）上通过了 dnsmasq --test，并遵循文档中的 dhcp-host 和标签语法。 我还没有通过它们 PXE 启动过一个 PBS 节点，所以在依赖它之前，先拿一台打了标签的机器试一试。\n从这里开始，路径和 Proxmox VE 一样。 PBS 安装程序上报 \u0026quot;product\u0026quot;: \u0026quot;pbs\u0026quot;，Caddy 换入该站点的令牌，PDM 挑选该站点的 PBS 应答。 自始至终没有任何东西靠手工选择，一个节点变成什么产品，写在一个地方：预留，就在它的地址旁边。\n由什么决定 存放在哪里 启动哪个 ISO DHCP 预留上的 set:pbs 标签 适用哪个站点的应答 源子网，通过 Caddy 的令牌替换 该站点内的哪份应答 PDM 里的 /product/product=pbs 过滤器 安装程序只铺下操作系统。 数据存储放在与系统盘分开的存储上，这是收尾节点的那个东西的另一件活，于是又回到了缺失的首次启动钩子。\n还剩什么要决定 这些都不妨碍你使用这个设计。每一项都需要有人负责。\n取舍 为什么要紧 怎么办 源地址就是那道门 置备 VLAN 上的任何东西，或能在上面伪造地址的东西，都能取到该站点的应答：root 密码哈希、SSH 密钥、订阅密钥 隔离 VLAN、端口安全、只用预留、令牌过期、两次部署之间禁用令牌 通用令牌不是机密 它在每个镜像里，也在本页上 它只过滤掉零散请求；子网和 Caddy 里保存的真令牌才是那道门 Caddy 能读 PDM 的私钥 提供 PDM 的证书意味着代理要读那一把私钥 只在 api.pem 和 api.key 上加 ACL，PDM 的其他东西一概不可读，主机锁好；私钥从不离开它 DNS 是被信任的 伪造的 TXT 记录会把安装程序引到别处，如果指纹也来自 DNS，伪造者就两样都控制了 保护置备用 DNS，或用 --cert-fingerprint 把 PDM 的指纹写进镜像，变了就重建 启动文件走明文 HTTP 在线路上可被读取或替换 保持网络隔离；如果你的构建支持，就让 iPXE 走 HTTPS webhook 令牌 16 个随机字节，一次性，回调后清除，但没有时限4 清理旧的安装记录 订阅密钥 网络起来后激活一次；失败时密钥被删除，单元失败，不重试34 在新节点上检查 systemctl --failed PDM 是单点 目前没有高可用 宕机会停掉新安装，不影响运行中的集群 只有一块管理网卡 应答里没有 bond、VLAN 或网桥选项9 那是安装后的活，面临同样的首次启动问题 一个初版，在其上好好构建 这是该功能的第一个版本，作为第一个版本，它不错。 应答表单合理，选择规则读懂之后很清楚，webhook 能用，代码是开放的，而这正是上面所有内容能被证明而不是被猜测的唯一原因。 这个补丁系列在公开邮件列表上走了四轮才合入35，看得出来。\n缺口在于把安装服务器变成置备系统的那两样东西。 站点是 MSP 思考问题的单位，而安装程序发出请求时就站在站点上。 首次启动钩子，是“装好了”的节点和“完工了”的节点之间的区别。 两者都已经有了一半：安装程序有钩子，PDM 有令牌。 我预计两者都会到来，到那时，这个设计中间的 Caddy 会变得更简单，而不是消失，因为一个把 PDM 的机密挡在够不着的地方、把 8443 挡在网络之外的代理，无论如何都值得拥有。\n在那之前这样做的理由，就是开头那一条。 十台 PXE 服务器，就是十样东西以十种不同的速度过时，而每一样只有在你需要它的那天出故障时才会被看一眼。 一套环境，只需保持更新一次，站点由网络判断，机密放在一个地方，要你负责的东西就少。 要负责的少，出错的就少，而这差不多就是这份工作的大部分。\nProxmox — Proxmox Datacenter Manager 1.1 press release — 自动安装，Remotes 下新增一个跟踪安装进度的选项卡。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Datacenter Manager documentation — Automated Installations — 预备应答、目标过滤器、模板，以及 “a dedicated token mechanism, separate from the normal API tokens”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, lib/pdm-api-types/src/auto_installer.rs — 目标过滤器的键 “are JSON Pointers as per [RFC6901], the values globs”；只有一个默认应答。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, server/src/api/auto_installer/mod.rs — 令牌检查先于默认应答、按文件顺序第一个匹配、first_boot: None、计数器递增、一次性 post-hook 令牌、无需 PDM 登录即可访问的两条路由，以及 /system/auto-installation 上的 Sys.Audit/Sys.Modify 权限。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — Proxmox VE 9.2 — PXE 和 iPXE 准备、“at least 6 GiB of available memory on the host”，以及 megaraid_sas 和 NVMe JBOD 的已知问题。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 8078 — “prepared answer disk setup does not allow to specify multiple udev filters with same name”，2026年9月26日提交，2026年11月7日状态为 NEW。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 7699 — “Add on-first-boot parameter to the PDM remote installation”，2026年6月12日提交，2026年11月7日状态为 NEW。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox, proxmox-installer-types/src/lib.rs — SystemInfo：产品、ISO、DMI 和网络接口。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Automated Installation — [first-boot] 和 [network] 选项、上报的系统信息，以及认证令牌 “is stored in plain text inside the prepared ISO”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 8263 — “[Feature Request] auto-installer: client source IP (or X-Forwarded-For) for answer selection and templating”，2026年10月31日提交，2026年11月7日状态为 NEW。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, debian/changelog — 1.1.1：“match prepared answers in the configuration\u0026rsquo;s stable order and let the first match win”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox, proxmox-installer-types/src/answer.rs — AutoInstallerConfig 带有 first_boot: Option\u0026lt;FirstBootHookInfo\u0026gt;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-auto-installer/src/bin/proxmox-auto-installer.rs — 只有应答带 first_boot 段时才设置首次启动可执行文件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-fetch-answer/src/fetch_plugins/http.rs — 先 ISO URL，再 DHCP，再 DNS；TXT 名称；resolv.conf 解析；去掉引号的 dig txt +short；Bearer 请求头。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-auto-install-assistant/src/main.rs — --pxe-loader 隐含 --pxe、输出目录、gzip 的 initrd、从 ISO 中去掉 /boot，以及生成的 boot.ipxe。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, server/src/bin/proxmox-datacenter-api/main.rs — PDM_LISTEN_ADDR 是 PDM_PORT（8443）上的 IPv6 未指定地址，构建时固定。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy releases — 2.11.1 修复了 CVE-2026-27587，一个通过转义序列绕过路径匹配器的漏洞。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian sources — caddy — trixie 中为 2.6.2-12+deb13u1，trixie-backports 中为 2.11.2-1~bpo13+1。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — request_header — “With no prefix, the field is set (overwritten).”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Request matchers — remote_ip 是直接对端；路径匹配不区分大小写、经 URL 解码和清理，重复斜杠会合并。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — handle — “only the first matching handle block will be evaluated”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Global options — admin 默认为 localhost:2019；protocols 默认为 h1 h2 h3。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — file_server — hide 不应被当作安全边界。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — log — Cookie、Set-Cookie、Authorization 和 Proxy-Authorization 记录为 REDACTED。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd.service — ExecCondition= — 退出码为 1 到 254 时 “the remaining commands are skipped and the unit is not marked as failed”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd.path — PathChanged= — “activated if the file which was open for writing gets closed”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncaddyserver/dist, init/caddy.service — ExecStart=/usr/bin/caddy run --environ --config /etc/caddy/Caddyfile。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Command line — --environ 在启动前打印环境。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Caddyfile concepts, environment variables — {$NAME} 在解析 Caddyfile 之前就被替换。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncaddyserver/caddy, replacer.go — 任何以 env. 开头的键都会传给 os.Getenv。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndnsmasq manual page — dhcp-match、dhcp-boot、带 set:\u0026lt;tag\u0026gt; 的 dhcp-host、enable-tftp、tftp-secure、tftp-mtu、tftp-no-blocksize 和 static 范围。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\niPXE — Configuring ISC dhcpd — if exists user-class and option user-class = \u0026quot;iPXE\u0026quot; 把脚本交给 iPXE、把加载器交给固件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, unconfigured.sh — proxmox-post-hook 在 proxmox-auto-installer 成功后立即运行，早于重启。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-first-boot/proxmox-first-boot-subscription — “always drop the staged key, regardless of whether activation succeeded”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npdm-devel — \u0026ldquo;add auto-installer integration\u0026rdquo;, v4, 40 patches — 加入该功能的补丁系列，附 v3 到 v4 的变更说明。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/proxmox/pdm-unattended-installs-for-many-sites/","summary":"Proxmox Datacenter Manager 1.1 可以为 Proxmox 自动安装程序提供应答文件，这让它天然适合作为照看许多客户站点的 MSP 的安装服务器。用例是一个客户：每个站点都要按自己的命名、root 密码和 SSH 密钥来构建，做法是把服务器插进正确的 VLAN 然后开机，不收集序列号，也不为每台机器写应答文件；本文讲的是启动和安装这一半，加入集群那一半先放一边。PDM 无法按站点匹配应答，也无法给节点一个首次启动脚本，这两点都用 PDM 自己的源代码证明。尽管如此，本文还是为所有站点搭了一套 PXE：一个启动镜像，携带一个不含机密的通用令牌；用 DNS TXT 做发现，镜像里不写任何 URL；再用一个 Caddy 代理，按源子网把通用令牌换成该站点自己的 bearer 令牌。内容涵盖 PDM 如何挑选应答、为 iPXE 运行 prepare-iso、DNS 记录、dnsmasq 和 iPXE 循环、一个加固过的 Caddy（在 443 上提供整个 PDM 界面，8443 由 nftables 关死）、只按名称记录用了哪个令牌、安装后 webhook、加入 Proxmox Backup Server，以及仍然存在的取舍。","title":"所有客户共用一套 PXE：用 Proxmox Datacenter Manager 做无人值守安装"},{"content":"英国改革党（Reform UK）说，它是被辜负了的普通劳动人民的政党。所以我做了我对任何这类说法都会做的事。我去读了这个党真正白纸黑字写下的东西，它的人公开说过的话，登记册显示谁在给它出钱，以及法院、监管机构和记者查出了什么。然后把这些摆在一起。\n这是一篇评论文章，立场很硬。但文中每一个事实都在页脚有编号的出处，记录没有覆盖到的地方，我会直说。法院或监管机构判改革党有理的地方，也写在这里。一个把对自己不利的部分藏起来的论证，算不上论证。\n问题是，改革党到底为谁服务？先从它会怎么对待已经住在这里的人说起。\n收回、重新申请，或者走人 无限期居留权（indefinite leave to remain，ILR）是一个人在这里合法生活、工作多年之后拿到的身份。有了它，护士、工程师或护工就不用再一次次续签证，可以安心过日子。改革党要把它收回。\n不只是停发新的。是从已经拿到的人手里收回。这是该党自己的措辞，出自它 2026年4月的政策文件：\n\u0026ldquo;Reform will abolish ILR as an immigration category completely, meaning no new awards and those currently holding it will have it rescinded… Anyone currently with ILR will need to reapply for visas that do not offer recourse to welfare.\u0026rdquo;1\n它的政策页面用更少的字说了同一件事：“废除 ILR 并收回已发放的”，一种“5 年可续签签证”，“更高的薪资门槛”，以及“外国公民不得领取福利”2。\n已在这里定居的人会遇到什么 改革党自己的原话 他们的定居身份 “收回”（rescinded）1 他们必须做什么 “重新申请不享有福利的签证”1 能重新申请的签证 “5 年可续签”，附带语言流利度和“品行良好”测试2 需要达到的薪资 门槛“高于英国收入中位数”1 门槛具体是多少 未定：“临近大选时根据净财政成本模型确定”1 谁可豁免 BN(O) 签证持有者、乌克兰相关计划、欧盟定居身份“最初”豁免1 请你以一个在这里住了十年的人的身份去读这张表。你交所得税、国民保险（National Insurance）和市政税。你可能有房贷，孩子在本地上学。按这个方案，你留下来的权利到头了，能不能重新挣回来，取决于一条薪资线，而这条线该党要到大选前夕才肯告诉你。如果你的收入低于中位数，按定义就是一半的劳动者，那你回来的路已经比你当初进来的路更窄。\n“高于收入中位数”这种门槛，定起来很容易，只要它永远落不到你自己头上。这个党四英镑里有三英镑来自住在海外的捐赠者，党魁收过 500 万英镑的个人赠款3，四个小时推销黄金就拿了 135,000 英镑4。定这条门槛的人，没有一个需要跨过它。收入低于中位数的护工却要。\n签证里那个“品行良好”测试，也值得拿来对照一下写它的那些人。这个我放到快结尾的地方做。\n该党自己的文件承认了一点，而这一点本该让整个方案就此作罢。文件写道，“技术工人是唯一在一生中始终保持财政净贡献的群体”1。按改革党自己的算法，这些人交进去的比拿出来的多，而这个方案把他们每一个人都重新放回可续签签证上。\n为了对这份文件公平：遣返不是自动的。符合新测试的人可以留下。但没有人公布过会有多少在工作、在纳税的人通不过测试，改革党自己也没有，而且没有任何独立机构对这个方案做过成本测算。\n他们用来推销它的数字 第一个标题数字是 2340 亿英镑，2025 年 Farage 引用它，说这是“我们的改革将为英国纳税人节省”的钱。Full Fact 查出这根本不是一个福利数字，而这项研究出自的那家智库说，“整体成本估算不应再被使用”5。\n于是 2026年4月的文件换了一个新数字：6220 亿英镑。这是改革党自己的模型，不是任何独立机构的，而文件自己在两行之后给出了第二个数字：“如果按 HM Treasury Green Book 建议的 3.5% 折现率折算，则为 1540 亿英镑”1。Green Book（绿皮书）是英国财政部规定一切公共成本应当如何计算的方法。按政府自己的方法，这个标题数字缩水四分之三。\n我想问一句：一个自称对人坦诚的政党，为什么要拿一个连它自己的文件都说算法不对的数字来打头阵？\n他们不碰的那部分福利开支 改革党说它要削减福利开支，2026年8月它公布了方案。方案会对任何不是英国公民的人停发 Universal Credit（统一福利）、Jobseeker\u0026rsquo;s Allowance（求职者津贴）、Child Benefit（儿童福利）、免费托儿、Housing Benefit（住房补贴）、Pension Credit（养老金补助）和残疾福利6。标题数字是每年节省 500 亿英镑7。\n在判断这意味着什么之前，先看看福利开支实际上花在了哪里。\n福利开支花在哪里，2025/26 大不列颠福利支出 2025/26，单位：十亿英镑 国家养老金 146.1 其他养老金领取者福利 31.6 劳动年龄福利 126.1 改革党的 500 亿英镑 其他 5.3 受三重锁承诺保护 削减只能落在这里 大不列颠 2025/26 年度福利支出，数据来自 DWP（工作与养老金部）自己的统计表。养老金领取者拿走其中 57.5%，单是国家养老金就占 47.3%。改革党已经把国家养老金圈起来保护，所以 500 亿英镑的削减几乎只能全部出自 1260 亿英镑的劳动年龄那一栏。 所有福利支出里将近一半是国家养老金（State Pension）：2025/26 年度 3090 亿英镑里的 1460 亿英镑8。改革党在2026年4月2日承诺保留三重锁（Triple Lock）9，而在此之前的几个月里，Farage 说“这个可以讨论”，Tice 说“我们不保证三重锁”9。福利方案发布当天，该党说“我们今天谈的内容没有一项是关于养老金领取者的”10。\n所以国家养老金是安全的。这一点要说清楚，因为我专门去找过改革党削减养老金的方案，根本没有。正如本站关于养老金的文章所说，国家养老金是由今天在工作的人来供养的。\n这就回到了算术上。如果养老金不能动，那 500 亿英镑就得从其他所有项目里出。财政研究所（Institute for Fiscal Studies，IFS）算过这笔账：改革党计划“每年节省约 500 亿英镑，几乎全部来自劳动年龄人口的福利开支，而这部分开支在 2030–31 年度预计略高于 2000 亿英镑”7。\n落在谁头上 记录显示什么 领取国家养老金的人 受保护，三重锁保留9 不是英国公民的贫困养老金领取者 失去 Pension Credit，它在“仅限公民”清单上6 领取 Universal Credit 的非公民 约 130 万人，其中 650,000 人没有工作7 领取 Universal Credit 且在工作的非公民 按 IFS 的数字，大约是另外那 650,000 人：在工作，在纳税，照样失去补贴 IFS 预计他们会怎样 “领取者收入一夜之间大幅下降”和“生活困难显著增加”7 领取 PIP 的残疾人 个人独立补助（Personal Independence Payment）被取消，换成一种“健康保障津贴”，可能把多达三分之二的现有领取者排除在外11 被判定能工作的长期领取者 每周 20 小时社区劳动，否则停发11 交了几十年国民保险的劳动年龄人士 失去定居身份，失去福利，而且在他们还没到领取年龄时，文件里没有任何条款保护他们已经积累的养老金 最后一行是我把两份文件放在一起读出来的，不是改革党说过的话。但它们就是指向那里。改革党的常见问题解答说，“已达领取养老金年龄并缴纳了足够国民保险”的外国公民，保留在这里生活的权利和国家养老金2。到了领养老金的年龄，你就安全了。要是你四十五岁，缴了二十年，那你就是在一张可续签签证上，没有任何安全网。\n那些已经在工作的人 “福利”这个词想要掩盖的，就是这一部分。Universal Credit 不是失业救济。2026年4月，领取它的人里有 310 万人在工作，占全部领取者的 37.7%12。他们去上班，为挣到的钱交所得税和国民保险，而 Universal Credit 是用来补足低到活不下去的工资的。\n用改革党自己的目标人群算一算。IFS 估计领取 Universal Credit 的非公民约 130 万人，其中 650,000 人没有工作7。一减，大约有 650,000 人在工作。改革党的方案会停掉他们的 Universal Credit、住房补贴、儿童福利和免费托儿6，而托儿恰恰是让一个低薪的家长能去上班的那样东西。\n我想问一句：这到底替谁省了钱？不是纳税人。失去补贴的工人，要么去多干根本不存在的工时，要么不干了，花掉更多的钱，要么离开，把税和劳动力一起带走。真正合算的，是那些把工资压得低到要国家来补的雇主。改革党不碰低工资。它碰的是工人。\n这是一个保护最可能去投票的选民、把整张账单都压在劳动年龄人口身上的方案，不管他们有没有工作。他们当中很多人，正在为它保护的那些养老金买单。\n加不起来的承诺 改革党的承诺靠不靠得住，我们是知道的，因为它许下的承诺多到足以一一核对。下面是记录，一条一条来：\n承诺 后来怎样了 2024 年竞选纲领：每年约 900 亿英镑减税 IFS：“这份纲领里的账算不平”，差距“每年达数百亿英镑”13。Tice 在 2025年10月说：“竞选纲领是基于某个时间点的。”14 取消定居身份可省 2340 亿英镑 这个数字背后的智库：“不应再被使用”5 换上的 6220 亿英镑 改革党自己的模型。按财政部自己的方法，是 1540 亿英镑1 花 100 亿英镑遣返多达 600,000 人 该党自己的明细是 40 亿加 15 亿加 20 亿，合计 75 亿英镑，至今没人把这两个数对上15 每年从福利里砍 500 亿英镑 IFS：几乎全部来自劳动年龄补助，而且“能省多少，取决于这个群体中有多少人为此去入籍”716 能源账单降 200 英镑，然后 150 英镑，然后 250 英镑 一年里数字变了三次17182，而政策页面说成本转给“财政部”，所以你是通过税而不是账单来付这笔钱2 “改革党执政的市议会将冻结、然后降低你的市政税” 一个都没做到。改革党执政的市议会平均上调了 3.94%19 肯特郡 4000 万英镑的净零节省 市议会后来称之为“前瞻性假设”，没有审计师签字认可20 三重锁 “我们不保证三重锁”，然后在2026年4月给出了保证9 其中两条改革党做对了一部分，公道就是公道。它的市议会上调市政税的幅度确实低于全国平均的 4.86%19，保留三重锁也是实打实的承诺。但一个每次有人核账就变一次的承诺不是计划。那是推销话术，而它推销的对象，正是账算不平时要掏钱的那些人。\n变的也不只是账。把这个党和它的人说过的话按时间排一排：\n当初 后来 欧盟定居身份持有者不受福利方案影响，2025年9月21 包括欧盟公民在内的外国公民被取消福利，2026年8月6 三重锁“可以讨论”9 2026年4月给出保证9 一份 900 亿英镑的竞选纲领 “竞选纲领是基于某个时间点的”14 Jenrick：“让改革党关门大吉”22 改革党的候任财政大臣23 Farage 不参加 2024 年大选 参选了，就在收到 500 万英镑个人赠款几周之后3 Putin，“作为一个操盘手”令人钦佩24 Putin，“一个非常坏的家伙”25 人会改变主意，一个从不改主意的政客更糟。但一个立场随着上一次民调、上一位捐赠者或上一条负面新闻的需要而移动的政党，并没有在告诉你它会做什么。它在告诉你它认为什么能让它上台。凭这份记录，我的看法是：改革党为了赢得权力什么都肯说，它真正相信什么，你要等事后才知道。\n改革党归谁所有 英国的大多数政党是俱乐部。工党和保守党是非法人社团，实际上归党员所有。改革党曾经是一家有股东的公司，而它的党魁持有大部分股份。\nCompanies House（英国公司注册处）关于这家公司的记录显示了谁持有它。这家公司起初叫 The Brexit Party Limited，后来改名 Reform UK Party Limited26：\n谁 控制权 起 止 Catherine Blaiklock “重大影响或控制” 2018年11月23日 2019年5月3日 Nigel Farage 股份“超过 50% 但少于 75%”，外加任命董事的权利 2019年5月8日 2025年2月19日 Richard Tice 股份“超过 25% 但不超过 50%” 2019年5月1日 2025年2月19日 一家新的担保有限公司 75% 或以上 2025年2月19日 至今 Tice 的持股通知是2024年8月15日提交的，比它记录的日期晚了五年26。\n2025年2月20日，党主席宣布：“Nigel Farage 已把 Reform UK 的所有权交给了党员。Reform UK 现在是非营利组织，没有股东，是担保有限公司。”27\n这话一半是真的。现在确实没有股东了。旧公司的股份以 15 英镑转给了新公司，297 万英镑的净资产以 1 英镑转了过去，所以没人在退出时发一笔横财28。这一点要承认。\n但“把所有权交给了党员”，并不是新公司自己经审计的账目所说的。附注 20：“The company has two members, who have equal voting rights. Neither member has individual control of the company and, accordingly, there is no ultimate controlling party.”（公司有两名成员，表决权相等。任何一名成员都不单独控制公司，因此不存在最终控制方。）28\n两名成员。在公司法里，拥有并控制一家担保有限公司的人就是它的成员（members），而这家公司只有两个。账目没有写出他们的名字。交党费的人不是这家经营政党的公司的成员。他们在 2025 年一共往里交了 450 万英镑28，却控制不了它。因此，“把所有权交给了党员”描述的，是一件申报文件里并不存在的事。\n它向谁负责 一个俱乐部式的政党向它的党员负责，因为党员就是这个俱乐部。一家公司向控制这家公司的人负责，这一点要牢牢记住。新公司成立时，它的两名担保人是 Farage 和当时的党主席 Zia Yusuf29。Yusuf 在 2025年6月离开董事会，Farage 至今仍是董事30。账目没有说现在那两名成员是谁。\nByline Times 拿到了 2025年9月通过的党章31。下面是它给交党费的人的东西，对比它留在顶层的东西：\n党员得到什么 党魁保留什么 大会动议 仅供参考，董事会只需讨论一下 内部选举的投票 按第 4.3 条，由董事会绝对酌情决定 8 个董事会席位中选举产生的 3 个 他任命的 3 个席位，加上他自己，再加上一个由他任命、也可由他撤换的主席 对党魁的不信任投票 需要 50% 的党员书面提出，约 135,000 人，由他自己的主席核查，再由他所在的董事会决定 董事会会议，通常一年两次 两次会议之间，“董事会的全部权力均授予党魁，由其酌情行使” 表里每一行都出自同一份文件，而 Byline Times 得先弄到一份才能报道它31。改革党自己的前副党魁 Ben Habib 说，这份党章“让 Farage 的领导地位几乎无法撼动”32。\n我想问一句：党魁做错了，改革党的党员到底能做什么？写一封信，再找 134,999 个人也写一封，寄给一个由他任命的人。这不是问责，这是意见箱。一个想治理国家的政党，至少应该对自己的党员负责。这个党只对它的党魁负责。\n它生来就是一家归领导它的人所有的公司，而且六年里一直就是这样26。现在没人在拿分红，我不会假装有。但一家由寥寥几个人经营、拿付费顾客代替党员的公司，是一种商业模式，不是民主。钱是围绕它赚的，不是从它身上赚的，后面几节会说明。\n钱来自海外 改革党的资金，绝大部分来自不住在这里的人。\n选举委员会（Electoral Commission）的登记册记录了每一笔超过申报门槛的捐款、谁捐的、什么时候捐的。它不记录捐赠者住在哪里，所以居住地要靠报道来确定。把报道中住在海外的六位捐赠者拿出来，下面是改革党的钱里出自他们的份额3334：\n居住在国外的捐款人所占捐款比例 居住在国外的捐款人的捐款，占总额 % 脱欧党，2019 至 2020 年 75% Reform，2025 年 66% Reform，2026 年 1 至 3 月 78% Reform，2026 年 4 至 6 月 81% Reform，2025年7月至2026年6月 78% 保守党，2025-26 年 3.6% 工党，2025-26 年 0.15% 登记册，据报道住在国外的六名捐款人 the Independent 的统计 来自据报道住在海外的捐赠者的捐款份额，数据来自选举委员会登记册。2025年7月到2026年6月是 78%，几乎全部来自两个人。The Independent 自己对 2025-26 年度的统计口径略有不同，改革党是 80%，保守党是 3.57%，工党是 0.15%。 几乎全部都压在两个名字上。\n捐赠者 住在哪里 登记册上给改革党和脱欧党的捐款 2026年9月宣布的捐款 Christopher Harborne 1990 年代起住在泰国，2011 年起为泰国公民3536 2519 万英镑33 3600 万英镑37 Ben Delo 2026 年前住在香港38 800 万英镑33 3600 万英镑37 这是 9月里两天之内、两个加密货币亿万富翁、给一个政党的 7200 万英镑。Tice 说 Delo 提前一次付清，“这样工党就没法立法阻止它”37。\n这些捐款每一笔都是合法的，这一点需要说清楚。一个登记在英国选民名册上的英国公民，不管住在哪里，都是合规的捐赠者，而这两个人都是英国公民。Channel 4 报道说，Harborne “专门重新登记为英国居民，以便在脱欧公投中投票，而仅仅几个月后，他在一份英国公司文件中申报自己住在泰国”，专家称之为“巨大的漏洞”35。巨大，是的。违法，没有。\n2026年3月，政府着手把住在海外的英国公民的捐款上限定为每年 100,000 英镑39，Delo 没有停止捐款。他搬了家。他此前已经从香港捐了 400 万英镑，随后宣布搬回英国，这样上限就不适用于他，还敦促其他富有的海外侨民也这么做38。\n在改革党的移民方案下，住在这里、在这里纳税，保不住你的位置。不住在这里，却不妨碍你资助写出这个方案的政党。\n有代表，无纳税 交税却没有发言权，有个现成的说法：无代表，不纳税（taxation without representation）。改革党的资金正好反过来。发言权，而且是很大的发言权，来自那些不用承受后果的人。\n这不是一个新的担忧，也不是我的发明。议会在 2009 年就处理过。《2009 年政党与选举法》（Political Parties and Elections Act 2009）第 10 条规定，政党不得从任何人那里接受超过 7,500 英镑，除非此人在所得税意义上“居住、通常居住且住所在英国”40。按这条规定，Harborne 超过 7,500 英镑的部分一分钱都捐不了。\n它从来没有生效过。Legislation.gov.uk 至今把这一条标为“Prospective”（待生效），意思是它“从未生效”40。十七年，四届政府。然后，从2024年1月16日起，旅居海外的英国公民满十五年后从选民名册上除名的旧规则被废除，所以一个公民现在可以终身留在名册上，也就可以终身捐款41。\n政府自己关于政治中外国资金的审查，即 2026年3月提交议会的 Rycroft Review（Rycroft 审查报告），没有点名，但描述了这种模式：\n\u0026ldquo;wealthy individuals who have chosen to live abroad in order to have their wealth taxed abroad are nevertheless currently entitled to make unlimited donations to UK political parties. Despite choosing to minimise their contribution to the UK Exchequer, these individuals have the opportunity to make potentially game-changing donations into British politics.\u0026rdquo;42\n关于风险，它说这些捐款“带来外国资金渗入英国政治的额外风险”，因为“追溯海外个人所提供资金的来源，比国内捐款更复杂”42。\n为什么外国资金被当作腐败风险 欧洲委员会（Council of Europe）关于政党资金腐败的规则，要求各国“对来自外国捐赠者的捐款作出专门限制、禁止或其他规范”43。这些规则所在的文件，整个标题讲的就是腐败。大约 63% 的国家彻底禁止外国向政党捐款44。追踪这一问题的 International IDEA（国际民主与选举援助学会）给出的理由，一句话就像是专门写给改革党的：\n\u0026ldquo;A party that receives a significant amount of its funds from overseas may be less reliant on generating funds at home, thus weakening the ties between it and the citizens it should represent.\u0026rdquo;44\n外国资金买到政治结果的真实定罪案例是有的。在美国，Lev Parnas 因用一名俄罗斯富人的钱进行非法捐款而被定罪45，Imaad Zuberi 因把外国资金输送进竞选活动被判 12 年46。在英国，一位前改革党威尔士领导人正在服十年半的刑期，原因是收受了可追溯到 Vladimir Putin 一位朋友的贿赂，这一点后面再说。\n现在说公道的一面，因为它很重要。上面这些案子，没有一件涉及住在海外的英国公民合法地向政党捐款。欧洲委员会自己的法律顾问说，如果海外公民能在国内投票，一般“不应受到限制”47，Rycroft Review 也认为全面禁止“过于严厉”42。它还发现没有证据表明 2024 年大选受到了外国干预的扭曲42。海外侨民和这里有真实的联系。家人、养老金、一个打算回来的家。\n所以问题不在于谁在捐。在于捐多少。\n国家 海外公民能否捐款？ 上限 爱尔兰 能 每年给一个政党 3,100 欧元48 加拿大 公民和永久居民可以 每年 1,775 加元49 美国 能 联邦捐款上限50 英国，2026年3月之前 能 没有 每一个允许海外公民捐款的可比民主国家，都给捐款设了上限。直到今年，英国都没有。从曼谷投出的一票就是一个声音，和我的一样。一天之内 3600 万英镑不是一个声音。那是一个政党的预算。\n谁算英国人，谁花钱来决定 把这篇文章的前后两半放在一起看。改革党把谁属于这里的那条线划得越来越紧。定居身份没了。福利只给公民6。有人问一个已定居的家庭该怎么办，一位改革党议员建议他们去申请入籍10。它在 Gorton and Denton 补选中的候选人说得更进一步：“要让一个人成为‘英国人’，光靠一张纸是不够的。”51\n然后再看看是谁在为划这条线的政党买单。一个在泰国住了三十年、持有泰国国籍的人36。一个从香港捐款、遇到上限挡路时才搬回来的人38。正是他们的英国护照让这些钱合法。按改革党自己的逻辑，光靠一张纸是不够的。\n在这里住了十年、纳了十年税的护士，必须证明她属于这里。三十年前就走了的捐赠者不用，只要文件齐全就行。我不认为这是一个为英国人服务的政党。我认为这是一个决定谁算英国人、却由不住在这里的人出钱的政党。\n捐赠者做的是什么生意 两位大捐赠者都说不图回报。Harborne 把他的 3600 万英镑称为“给我们国家的慈善馈赠”，还说“我的好胜心促使我跟着捐了同样的数目”52。Farage 说得更短：“你知道 Ben Delo 和 Christopher Harborne 想要什么吗？什么都不要。”53\n我不打算告诉你谁想要什么。我会摆出他们拥有什么，针对这些查出过什么，以及改革党对这些行业说过什么、做过什么。点和点之间的线，你自己连。\nChristopher Harborne 他持有什么 记录显示什么 Tether，最大的稳定币 12%，这是他自己在美国一宗诽谤案中的说法54 QinetiQ，英国国防部的承包商 14.98%，通过一家特拉华州公司持有55。国防部在 2025年5月延长了与 QinetiQ 价值 15 亿英镑的测试合同56 AML Global，一家航空燃料经纪商 他是唯一具有重大控制权的人57。据 The Guardian 报道，它拿到了超过 1.4 亿美元的美国军方合同58 其他政治捐款 给保守党约 179 万英镑33，给 Boris Johnson 的私人办公室 100 万英镑59 Tether 这家公司有它自己的记录。要把它和 Harborne 分开看，他是少数股东，在这里没有被指控任何事。\n纽约州总检察长：“Bitfinex 和 Tether 鲁莽且非法地掩盖了巨额财务损失。”它们支付了 1850 万美元，没有承认违法60。 美国商品期货监管机构对 Tether 罚款 4100 万美元，并查明在一个 26 个月的样本期里，它的代币背后有足额储备的时间“只占 27.6% 的天数”61。 联合国毒品和犯罪问题办公室（UNODC）：“TRON 区块链上的 USDT 已成为东亚和东南亚加密货币洗钱者的首选。”62 Tether 对此有异议。 国家犯罪调查局（National Crime Agency）破获一个收购银行来帮助俄罗斯打仗的洗钱网络时，The Guardian 报道说，查获的加密货币“绝大部分”由 Tether 发行，并补充说“没有迹象表明 Harborne 本人牵涉其中”63。 他的律师的回答是，把用户拿 Tether 代币干的事怪到一个 Tether 投资者头上，“就好比说美国财政部因为印美元而成了洗钱的帮凶”63。就 Harborne 而言，这话在理。就 Tether 而言，这算不上什么回答。\nBen Delo Delo 是加密货币交易所 BitMEX 的联合创始人。2022 年他在纽约认罪，罪名是“故意未能在 BitMEX 建立、实施和维持反洗钱……计划”，并缴纳了 1000 万美元罚款，“代表从该罪行中获得的金钱利益”64。\n“故意”的意思是他知道有这项义务，却选择不履行。美国联邦检察官自己的话：“Arthur Hayes 和 Benjamin Delo 建了一家专门用来无视这些义务的公司；他们故意不实施、不维持哪怕最基本的反洗钱政策。”美国司法部对结果的定论：“由于故意不实施 AML 和 KYC 计划，BitMEX 实际上成了一个洗钱平台。”64 从 2014 年到 2020 年，它一份可疑活动报告都没提交过，包括在 2018 年被告知有被黑的资金正在经过它之后64。BitMEX 本身后来被罚了 1 亿美元65。\n这份认罪不是洗钱定罪，他也没有被指控亲自为任何人洗钱。2025年3月，Donald Trump 赦免了他66。Delo 现在称之为“一个在英国甚至都不算犯罪的监管失误”67。\n改革党对他们的行业说过什么、做过什么 捐赠者的利益 改革党的立场，用它自己的话或行动 稳定币，国家发行的数字英镑可能会挤压它 Farage 游说英格兰银行行长放弃“Britcoin”，还说为了阻止它，他“准备好去坐牢”68 Tether Farage 在 LBC 上说：Tether“即将被估值为一家 5000 亿美元的公司”，英国应当“拥抱”它69 加密货币行业 Farage 对一群加密圈听众说：“说到你们这个行业……我就是你们的代言人。”69 政治中的加密资金 “我们是英国第一个可以接受比特币和其他加密货币捐款的政党。”70 加密货币税 承诺把加密货币的资本利得税从 24% 降到 10%，并设立英格兰银行比特币储备70 海外捐赠者上限和加密货币捐款禁令 Tice：改革党会“推翻它”71 国防 “用激励措施和税收减免来提振英国国防工业”58 改革党说 Harborne“没有和党讨论过国防开支、国防政策或外交政策”58。他的律师说他的商业利益“与他的政治立场没有任何关系”58。我没有相反的证据，也不声称有。我只是指着这张表。\n500 万英镑的赠款 据 Harborne 自己的律师说，2024年4月5日，他个人给了 Nigel Farage 500 万英镑72。几周后，Farage 推翻了不参加大选的决定3。这笔赠款没有申报。The Guardian 在 2026年4月把它曝了出来。\n他的解释是一个接一个来的：\n时间 Farage 说这 500 万英镑是什么 2026年4月，对 Telegraph 用于他个人安保的钱3 2026年5月，对 Sun 在“无条件的基础上”给的，“是对我为脱欧奔走 27 年的奖励”73 2026年7月 他可以“花在法拉利上”的东西74 2026年8月 “如果说我犯了什么错，那就是我没填一张纸。我没有违反任何法律。”75 议会标准专员（Standards Commissioner）在2026年5月13日以“未登记利益”为由立案调查76。7月7日，Farage 辞去议席，迫使举行补选。调查暂停，然后在8月14日，也就是宣布他再次当选的那天，重新启动75。还有人投诉 George Cottrell。此人是 Farage 的朋友，有诈骗前科，据 Sunday Times 披露，他在 2024 年大选前为社交媒体工作、住宿和安保付过钱。专员没有确认这些款项现在是否也在调查范围内77。Jenrick 称这个程序是“有点像袋鼠法庭。这是一个圈套。”78\n目前还没有结论。Farage 说不需要申报，最后他也许是对的。但请你把那张表里他的解释再从上往下读一遍。安保，然后是奖励，然后是法拉利。每一个说法，都是在上一个被拆穿的时候才冒出来的。\n没人核查的捐赠者 法律对公司捐赠者只问一个问题：它是不是在这里注册、在这里经营业务？它不问钱从哪里来，公司拿不拿得出这笔钱，也不问背后真正是谁。下面两个捐赠者说明了什么样的钱能过关。\n一个 100 亿美元的信托、一家设计公司和伊朗 Sasan Ghandehari 是一位出生在伊朗的英国亿万富翁，据报道是瑞士税务居民，正把居住地迁到英国以便捐款。他对改革党的承诺是：“一两百万，会更多”，以及“也许排第二、第三。会是定期付款。”79 他家族的 HP Trust，他估值约 100 亿美元，在2026年1月为 Farage 的达沃斯通行证支付了 50,482.16 英镑80，Farage 正是在那次行程里承诺要“和全球主义者斗”81。\n然后是那家公司。\nInterior Architecture Landscape Ltd 给了改革党什么 200,000 英镑，分七笔，2025年6月到8月82 Companies House 显示什么 一家景观建筑公司；2021 年起由 John Richard Simpson 控制；在他之前，2020年12月到2021年5月，由 Richard Darby 控制83 FT 和 The Guardian 查到了什么 FT：Darby 曾为 HP Trust 工作，这家公司负债累累，看不出有任何客户；The Guardian：HMRC（英国税务海关总署）曾申请对它清盘84 The Guardian 查到了什么 Simpson 接手了 Orico General Trading，一家由 HP Trust 拥有、向伊朗运送电信设备的迪拜公司85 他们怎么说 Ghandehari 的律师：这个家族是这家公司的客户，但“不对它的捐款负责”。公司方面：Simpson“对公司事务行使真正的控制”，捐款来自正当的英国业务8485 还有 Orico 供货的那个项目。据 The Guardian 报道的一份法国仲裁裁决，HP Trust 旗下的 Ori Group 在 2013 年到 2016 年间持有一个伊朗光纤合资项目 49% 的股份。另外 51% 属于 Astan Quds Razavi，这个宗教基金会在 2021 年被美国制裁，理由是它为当时的最高领袖控制着伊朗经济的“主要部分”85。Ghandehari 的律师说，这个项目得到了法国和美国当局的批准，目的是扩大信息获取，项目以他家族在伊朗的资产被没收而告终，而且他已经三十年没去过伊朗。制裁是在合资项目结束五年后才来的，也没有任何东西表明给改革党的钱有哪一分来自伊朗。\n所以我不会说它来自伊朗。我要说的是这些。Farage 对德黑兰立场强硬。他的达沃斯通行证，是由一个曾和最高领袖的基金会做生意的信托付的钱，而 200,000 英镑从一家公司流进了他的党，这家公司的老板正是关停那个信托迪拜供货公司的人。一位工党议员已经要求 Companies House 查一查这家公司到底归谁所有84。改革党想查每一个移民的文件。我找不到改革党就这笔钱查过什么的任何公开声明。\n濒临倒闭的公司 Byline Times 查到至少七家公司，在面临除名、解散或明显财务困难的同时，一共给了改革党 485,000 英镑86。FK Building 是最清楚的一个，因为它自己的申报文件就把事情讲完了：\n日期 FK Building Ltd 2025年8月26日 Companies House 发出将其从登记册除名的通知87 2025年10月6日 补交逾期账目，显示净负债 290,543 英镑87 2025年10月7日 除名程序中止87 2025年10月8日 给改革党 100,000 英镑88 2026年2月 姊妹公司 FK Group、FK Construction 和 FK Facades 进入破产管理，欠债超过 1900 万英镑；其中 54 个岗位转到 Keenan Holdings，这家公司归 Deborah Keenan 所有，据报道她是创始人的女儿86899091 2026年7月6日 FK Building 进入清算；董事们自己的陈述显示有 310 万英镑缺口，其中欠 HMRC 409,647 英镑92 2026年10月16日 集团的建筑安全与整改业务 FK Resolv 从 FK Group 转到 FKR Group Ltd，这家公司成立于2026年6月25日，归 FK Building 的董事 Francis Anthony Keenan 所有9394 这笔捐款是合法的。选举委员会说这些捐款“不在调查之列”，并要求立一条规矩：捐款的公司必须真的在赚钱86。破产管理之后把员工和一家子公司转到家族公司，也是合法的，破产管理人要就此向债权人交代。但看看所有东西最后落到了哪里。在规则改变之前，一家付不起税务局的钱的公司，照样付得起改革党的钱。债权人，包括 HMRC，拿到的是几家空壳公司和一个 310 万英镑的窟窿。Keenan 一家拿到了员工和整改业务。改革党拿到了 100,000 英镑。\n名气就是钱 这里我得跟你实话实说，因为显而易见的那个故事并不完全是真的那个。\n我去找这个党给它的高层发钱的证据，申报文件里啥也没有。Farage 登记的身份是“无薪党魁”4。Tice 借给党约 100 万英镑，免息，后来把其中 613,000 英镑转成了捐款3395。2025 年该党坐拥 766 万英镑的盈余28。看不出党费流进了谁的口袋。\n钱在于名气在党外能挣到的东西。Farage 自己的利益登记册496：\n谁付钱给 Farage 为了什么 金额 GB News 主持节目，2025 年 约 330,000 至 370,000 英镑 Direct Bullion “品牌大使”，4 小时 135,000 英镑 Direct Bullion 2026年5月起三个月，每月“最多四小时” 270,000 英镑 Cameo 定制视频，2025 年 62,868 英镑 Blockworks，一家加密货币媒体公司 2 小时 30,000 英镑 Club for Growth，华盛顿 一次演讲，外加一趟 9,466 英镑的棕榈滩之行 27,857 英镑 自 2024年12月以来，Direct Bullion 一共付给他 685,500 英镑，而 Byline Times 发现，这家黄金公司的营销把改革党政府和社会动荡联系在一起，鼓动观众买黄金97。他在 GB News 的报酬进了他自己的公司 Thorn In The Side Ltd，The Guardian 指出这“并不违法”98。这家公司有 310 万英镑净资产，每年付给 Farage 10,000 英镑，租用他自己的演播室99。\n标准专员查明，他因为延迟登记其中 384,000 英镑，违反议员行为准则 17 次，并接受了这是“由于人手和其他行政问题而无意造成的”100。\n党的一些钱确实流向了和它亲近的人。该党自己的支出申报显示，有 440,571 英镑付给了五家由内部人士和关系人经营的公司。202,124 英镑给了 Oak Hall Studios，经营者是后来当上党主席的 David Bull。Jupiter Visual Communications 拿了 125,672 英镑，后来又捐回 50,000 英镑101102。没有人证明这些活没干或者价钱虚高，我也不是这个意思。\n所以“摇钱树”这个比方是错的。对的比方是一个平台。正是这个党，让 Nigel Farage 四个小时值 135,000 英镑。\n加密货币：拿钱推广，选民买单 上面那笔 Blockworks 的酬金不是一次性的。下面是改革党周围的加密货币生意，出自 Farage 自己的登记册、法院和该党自己的文件：\n什么 记录 和改革党的关系 BTC Inc 2025年9月为约 11 小时付给 Farage 7,410 英镑103 经营比特币大会，改革党正是在这个大会上推出了它的加密货币法案104 Blockworks 2025年10月为 2 小时付给 Farage 30,000 英镑105 一家加密货币媒体公司给党魁付钱 Zebu Group 2025年10月22日为 2 小时付给 Farage 20,000 英镑106 就在同一天，路透社问他加密企业是否资助改革党，他回答“据我所知没有”107 Stack BTC plc 一家持有比特币的公司；Farage 的公司持有它约 6.3% 的股份，买入价每股 5 便士和 10 便士108109 党魁是股东：“我一直是英国为数不多为比特币发声的政治人物之一” “Farage coin”“NIG Finance”“Stonks Finance”“Trump Mania” 用他的付费 Cameo 视频推广的迷因币，每段 72 英镑起；The Guardian 能查到价格的每一个，事后都跌了110 党魁的付费代言 Celsius 的 CEL 代币 一段 133 英镑的 Cameo，告诉它的开发者要为它“战斗”110。另外，Celsius 的创始人因诈骗被判入狱 12 年，CEL 的价格“有时”是靠“客户存款”撑起来的111 党魁的付费代言 Tether 联合国估计东亚和东南亚有 370 亿美元的诈骗损失，并说这个市场靠稳定币运转；Tether 说它已冻结超过 50 亿美元，并与 340 个执法机构合作112113 改革党最大的捐赠者持有它 12% 改革党的加密货币法案 在比特币大会上推出，然后在2026年5月30日从党的网站上撤下104 该党自己的政策，不加解释地撤回 加密货币捐款 政府的审查警告说，加密货币可能“把外国资金引入政治体系”；选举委员会说“改革党没有和我们分享任何加密钱包地址”114115 这个党专门准备好了接收它们 Farage 的发言人说，人们事后拿一段 Cameo 视频去做什么，“显然不在 Farage 先生的知情或控制范围内”110，而且上面每一笔酬金都申报了。改革党没有报告过任何加密货币捐款，Harborne 和 Delo 的大额捐款也是现金。没有人查出 Farage 违反了哪条规定。\n现在看看是谁在买单。2025 年，这个国家的人在投资诈骗中损失了 8.798 亿英镑，平均每人 25,612 英镑，“往往是养老储蓄”。60 岁以上的人最可能报案116。2024 年，66% 的报案涉及加密货币，55 到 64 岁的人损失最多117。金融行为监管局（FCA）对加密货币的建议只有一行：“你应该做好损失全部资金的准备”118。\n所以，一个自称替养老金领取者说话的政党，它的党魁拿加密公司的钱，持有一家比特币公司的股份，卖视频给那些后来跌价的币做推广，而在加密货币上赔掉养老金的人，正是他声称要替他们出头的那个年龄段。他不需要亲自骗过谁，这事照样臭。他只要一直卖下去就行。\nTice：房产、税务，以及一家 28,864 英镑的公司捐了 500,000 英镑 Richard Tice 是改革党副党魁，Boston and Skegness 选区的议员。从政之前他经营房地产公司：在家族的 Sunley Group 当了 14 年联合首席执行官，然后在 2010 年到 2014 年担任 CLS Holdings 首席执行官119。之后是他自己的房地产生意 Quidnet。\n他控制的 Quidnet REIT 在 2025 年税前亏损 690,000 英镑，楼宇出租率 52%，背着 1340 万英镑的银行债务，却照样在那一年派发了 359,501 英镑股息，2026年1月又派了同样的数目120。他当议员期间从它那里按季度领取一笔费用121。\n在税的问题上，他把自己的立场说得一清二楚：\n\u0026ldquo;How many friends of yours would voluntarily choose to pay more tax than they are legally obliged to do?… Don\u0026rsquo;t morally or voluntarily give more tax to incompetent, wasteful hard-left, socialist governments.\u0026rdquo;122\n这是他对一些报道的回应，报道称他的公司通过 REIT 结构避掉了将近 600,000 英镑的公司税。另一篇报道说，付给他和他的泽西岛信托的股息中，约有 91,000 英镑没有代扣。Tice 称这是一个“技术细节”，说 HMRC 总体上收到了应收的金额123。HMRC 没有对他作出任何裁定，他说所有税都交了。\n那家捐了五十万的公司 Britain Means Business Ltd，前身是 Leave Means Leave，Tice 是它唯一的董事和控制人124。2024年6月，它在一周之内给了改革党 500,000 英镑33。它自己提交的账目显示，2023 年底净资产 28,864 英镑，2024 年底 10,479 英镑，员工一名124。\nBritain Means Business 数字 2024年6月9日和11日给改革党 500,000 英镑 2023 年底净资产 28,864 英镑 2024 年底净资产 10,479 英镑 更早以 Leave Means Leave 名义给改革党，2020年3月 990,000 英镑 我想问一句：一家 2023 年底只值 28,864 英镑的公司，六个月后从哪里找来的 500,000 英镑？它的账目没说。选举委员会在 2025年2月把这些捐款移交给伦敦警察厅（Metropolitan Police），警方正在调查是否存在违反《政党、选举和公投法》（Political Parties, Elections and Referendums Act）第 61 条的行为，这一条针对的是规避捐赠者资格规则。已有两人接受警诫问询，没有人被捕125。报道称，一位名叫 Fiona Cottrell 的捐赠者在那年 6月给了 Britain Means Business 100 万英镑，其中一半转给了改革党125。Byline Times 问另一半去了哪里95。Tice 的回答是：“在我看来，她是合规的捐赠者，事情就到此为止。”126\nTice 称这项调查是“出于政治动机的抹黑运动”127。他说这话的时候，调查已经进行了 17 个月。\n他身边的人 谁 和 Tice 的共同点 记录显示什么 Arron Banks 共同创立 Leave.EU；Tice 在 2016 年到 2017 年间是它的董事128 Leave.EU 被选举委员会罚款，上诉后减为 66,000 英镑。没有任何裁定点了 Tice 的名129 George Cottrell 没有共同的公司 2024年12月向 Tice 的公司 Tisun Investments 打入一笔 78,100 英镑的借款。标准专员拒绝调查130 Fiona Cottrell 没有共同的公司 分三笔给了改革党 750,000 英镑33 Nicholas Tribe、Anthony Yiannakis、John Purcell 各自和他共享三四家房地产公司131 没有捐款，也没有监管记录。共同的董事会只是共同的董事会 他自己也在被调查。标准专员的清单上写着“Richard Tice MP (opened 20 August 2026) Rule 13 Disclosing details in relation to an investigation”76，起因是他在 X 上公开了一桩更早的投诉，并把投诉背后的团体称为“反犹反以色列的游说团体”132。目前还没有结果。\nJenrick：从“让它关门”到入阁候选 2024年8月，Robert Jenrick 说：“I want to put Reform out of business. I want to make them redundant.”22 2025年4月：“I want to send Nigel Farage back to retirement.”133\n2026年1月15日，Kemi Badenoch 把他踢出影子内阁，理由是她所说的“irrefutable evidence that he was plotting”叛逃134。他当天就加入了 Reform，说“I want Nigel to be prime minister”，并且拒绝辞去议席、在 Newark 重新参加补选135。一个月后，Reform 宣布他是该党属意的财政大臣人选23。\n当时 现在 “put Reform out of business”22 Reform 属意的财政大臣23 “send Nigel Farage back to retirement”133 “I want Nigel to be prime minister”135 保守党内阁大臣 “the two main parties are rotten… They both broke Britain”136 九个月。“让它关门”就撑了这么久。\nWestferry 2020年1月，时任住房大臣的 Jenrick 批准了 Richard Desmond 在伦敦东区的 Westferry Printworks 项目。他自己的官员记下了时间安排：“SoS is/was insistent that decision issued this week ie tomorrow - as next week the viability of the scheme is impacted by a change in the London CIL regime.”137 那次征费调整会让这个项目多付大约 £40 million138。批准两周后，Desmond 给保守党捐了 £12,000139。两人曾在一场筹款晚宴上同桌，用 Jenrick 在下议院的原话说，Desmond“did bring out his iPhone and show me some images of the development”137。\n案子闹上法庭后，Jenrick 承认这个决定“unlawful by reason of apparent bias”，决定被撤销139。他说：“We don\u0026rsquo;t believe there was any bias.”140 从来没有作出过违反大臣守则的认定，首相认为此事已经了结137。记录就是这样：承认存在表面偏颇，但没有实际偏颇的认定。\n之后 选举委员会就他 2024 年保守党党魁竞选收到的 £37,500 提交了移交，指称这笔钱来自境外，2026年1月6日送到伦敦警察厅，比他叛逃早九天。伦敦警察厅正在调查。Jenrick 称这件事“entirely false”，是“an establishment determined to stop Reform”所为141。目前没有人被起诉。 他在一次晚宴上说，在伯明翰的 Handsworth，“I didn\u0026rsquo;t see another white face. That\u0026rsquo;s not the kind of country I want to live in”142。 2026年9月 Reform 的党代会上，一名女性抗议者被揪着头发拖出去并遭殴打。Jenrick：“Oh boohoo… come on, get a life.”143 接着又说：“He should be given a medal for what he did.”144 当移民事务大臣时，他在下议院说，被羁押的外国罪犯里有 71% 声称自己是现代奴役受害者。英国统计局局长说，内政部自己的数据显示大约只有五分之一145。 Farage 在布鲁塞尔 从 1999 年到 2020 年，Farage 当了二十年欧洲议会议员，待在一个他想让英国退出的议会里。他很清楚这份差事给了他多少钱。2009 年，被问到自 1999 年以来拿了多少报销和津贴时，他说：“It is a vast sum… I don\u0026rsquo;t know what the total amount is but - oh lor - it must be pushing £2 million.”146 他用津贴给自己的妻子发工资146。\n记录 来源 从 2018年1月起被扣薪 €40,000，这笔钱是付给 Christopher Adams 当助理的，而 Adams 当时是 UKIP 的全国提名官，这笔开支“cannot be proved by Farage” 议会消息人士，the Guardian147 他只参加了 37% 的表决，在 751 名议员中排第 748 VoteWatch，the Guardian147 Arron Banks 旗下公司 Rock Services 提供的两年办公场地，2019年7月1日才申报，那时已经结束，而且是对 Banks 资助的调查启动六周之后 他本人的申报148 带司机的专车、切尔西一栋 £4.4m 房子的租金和赴美行程，据报道 Banks 为此出了最多 £450,000，从未申报 Channel 4 拿到的发票，the Independent149 他唯一一宗欧盟诉讼，起因是他把欧洲理事会主席叫作“damp rag”而被罚 10 天，结果被驳回，认定“manifestly inadmissible”，诉讼费由他承担 普通法院150 每一次，他那边都说这是迫害。关于那 €40,000，他所在的党团说这是“a vindictive campaign by the European parliament of selective persecution of Eurosceptic MEPs”147。Farage 谈到 Banks 的资助时说：“it\u0026rsquo;s a purely private matter”151。他从来没有在法庭上对那 €40,000 提出异议。钱被追回了。\n不过公道归公道，这些抱怨里有一项是赢了的。2016 年，欧洲议会要求以 UKIP 为主的欧洲政党 ADDE 退还 €172,654.92。2019 年，欧盟普通法院撤销了这个决定，因为作出决定的小组中有一名成员事先公开指责 UKIP“fraudulent manipulation”，法院认定其公正性“seriously compromised”152。在这一件上，“vindictive”的说法成立了。该党的基金会 IDDE 则承认 €33,863.50 属于不合规开支，自己的官司也输了，此前欧洲议会已把“serious allegations regarding the establishment of a system whereby donations were received in exchange for the award of contracts”移交给欧盟反欺诈办公室153。反欺诈办公室的结论至今没有公布。\n普京、特朗普和一个受贿的领导人 Nathan Gill 从 2021年3月起领导威尔士 Reform。2025年11月，他对八项受贿罪名认罪，被判入狱十年半。法官认定“The architect of these bribes was Oleg Voloshyn, a former pro-Russian Ukrainian MP”，而 Viktor Medvedchuk，“a close friend of Vladimir Putin”，是“the ultimate source of the requests and the money you received”154。这些罪行发生在 2018 年和 2019 年，当时他是脱欧党的欧洲议会议员。法院没有对 Reform 作出任何认定，Reform 称他的行为“reprehensible, treasonous and unforgivable”155。Farage 说他是一颗“bad apple”25。\nFarage 自己对普京的说法，一直随风向在变：\n时间 Farage 谈普京 2014 他最钦佩的世界领导人：“As an operator, but not as a human being, I would say Putin.”24 2024年6月 “We provoked this war. It\u0026rsquo;s – you know, of course it\u0026rsquo;s [Putin\u0026rsquo;s] fault, he\u0026rsquo;s used what we\u0026rsquo;ve done as an excuse.”156 2025年10月 “Obviously, Putin is a very bad dude”25 在特朗普这件事上，记录倒是稳定得多。按 DeSmog 的统计，2024 年大选以来，Farage 已在十五场与特朗普有关的活动上发言，包括共和党全国代表大会和 CPAC157。2025年9月他在美国国会作证158，还在椭圆形办公室发帖：“It\u0026rsquo;s good to be back in the Oval Office.”159 他的利益登记显示，他从 Club for Growth、Hillsdale College 等美国保守派机构拿过演讲费和差旅4。那位捐款人 Delo 手里握着特朗普给的特赦66。\n记录里没有的，是流进党内的美国钱。登记册上没有任何美国政府或与特朗普有关的捐款，DeSmog 自己也说“no suggestion”有直接资助；Elon Musk 嚷嚷了几个月，一分钱没给，然后对全世界说“Farage doesn\u0026rsquo;t have what it takes”160。眼下有一宗警方调查，涉及据称想把美国钱弄进来的企图，后面再说。\n房间里还有谁 捐款人的钱不只进了党的账上，它还替党魁在别人的饭桌上买了座位。下面是官方记录在案的行程，以及谁买的单：\n行程 谁付的钱 金额 记录 Farage 出席特朗普第二次就职典礼，2025年1月 Christopher Harborne £27,616.76 选举委员会161 Farage 和两名工作人员赴美，2025年11月，“speaking engagement and charity event”，据报道在 Mar-a-Lago Reform 捐款人 Bassim Haidar £54,921.02 Farage 的利益登记162，DeSmog163 Farage 赴阿联酋，2025年12月，“to attend the F1 and for meetings” 阿布扎比政府和 Abu Dhabi F1 £10,000 Farage 的利益登记164 Tice 赴以色列，2025年9月，“meetings with President and Foreign Minister” RFOI Ltd 两人 £6,250 Tice 的利益登记165 Reform 代表团赴以色列，2025年11月，成员包括党主席、一名董事会成员和 Tice 的幕僚长 以色列外交部 每人 £4,861.27 伦敦议会登记166，Lancashire Lead167，Novara168 华盛顿、棕榈滩、阿布扎比、以色列，全在十二个月之内，没有一趟是 Reform 自称代表的那些人买的单。\n美国的房间 和 MAGA 的牵连并不止于 Farage 的演讲日程。GB News 的老板 Paul Marshall 和 Legatum，也是 Alliance for Responsible Citizenship 的创办者和后台。它 2025年2月在伦敦开的大会上，Farage 是主讲嘉宾，同台的有美国众议院议长 Mike Johnson、特朗普的能源部长 Chris Wright 和 Vivek Ramaswamy，据报道 Peter Thiel 也通过视频参加了169。DeSmog 拿到的一份捐款人名单上有 Ben Delo，排在特朗普的捐款人 Ken Griffin 和 Anthony Pratt 旁边170。\n再说 Tether，Reform 最大的捐款人持有它 12% 的股份，它和特朗普政府绑在一起。Cantor Fitzgerald 谈下了大约 5% 的股份，谈成这笔交易时，掌舵的是 Howard Lutnick，如今特朗普的商务部长171；Tether 新设的美国分支由 Bo Hines 管，他就是从特朗普自己的加密货币委员会出来的172。这些是公司的牵连，不是 Harborne 本人的。但那是他的公司。\n以色列的房间 Tice 的那趟行程，是 RFOI Ltd，也就是 Reform Friends of Israel 出的钱。这是一家私人有限公司，2025年6月成立，登记为公关公司173。\nCompanies House 上的 RFOI Ltd 董事兼重大控制人，2025年6月16日至12月8日 Roy Zabludowicz，持有 75% 或以上表决权173 他的退出 2026年2月11日才申报，比记录的退出日期晚两个月173 2025年12月8日起的董事 Jason Pearlman 和 Lois Perry173 Jason Pearlman 以色列总统 Rivlin 的媒体顾问，2018 年起任 Henry Jackson Society 副主任174，之后两届担任 Herzog 总统的媒体顾问175。Farage 称请到他是“a real coup”176 Henry Jackson Society Pearlman 2018 年起的雇主，一家跨大西洋的外交与安全政策智库174。其联合创始人兼执行主任 Alan Mendoza 2025年11月加入 Reform，任全球事务首席顾问，Farage 称之为“an excellent addition”177178 Lois Perry 2024年5月至6月任 UKIP 党魁，2024年12月起任 Heartland Institute UK/EU 执行主任，这是一家否认气候变化的美国智库的欧洲分支，成立时 Farage 是“special guest of honour”179180 现在谁控制它 公司申报称没有可登记的控制人173 一位出生年月相同的 Roy Zabludowicz 两家 Tamares 公司的董事，与 Chaim Zabludowicz 同列181 Chaim“Poju”Zabludowicz 掌管 Tamares Group，创办并主持 BICOM，这个机构代表以色列游说英国政府；他给保守党捐过大约 £380,000。家族生意起家于以色列国防承包商 Soltam182。Declassified UK 说 RFOI 的 Roy Zabludowicz“appears to be”他的儿子183，我就照他们的措辞，到此为止。\n看看现在是谁在管它。一名董事出身以色列总统办公室，中间在 Henry Jackson Society 待过，而这家智库的头儿如今是 Reform 的全球事务首席顾问。另一名董事管着一家美国智库的欧洲分支，而那个分支是 Farage 帮着揭幕的。Reform 的以色列之友公司，正是以色列的房间和美国的房间交汇的地方。\n所以 RFOI 又是一家私人公司。它出钱的时候由一个人控制，他退下来之后，公司申报说根本没人控制。你能看到谁坐了飞机，你看不到谁付的钱。我认为这正是它存在的意义：一家专门用来藏住谁在为 Reform 的以色列之行买单的公司。它的申报材料里，没有任何东西让我有理由换个想法。\n两个月后，以色列政府自己掏钱请了一个 Reform 代表团。Novara 援引 Declassified UK 的说法，称以色列外交部在这趟六天的行程上总共花了超过 £50,000，行程里还有戈兰高地168。兰开夏郡的 Reform 议会领袖去了，郡内阁会议为此取消了一次167。一名 Reform 籍伦敦议会议员也去了166。一个外国政府的宾客名单，从党主席和党董事会一路排到地方政府，覆盖国家两头，兰开夏郡议会和伦敦市政厅。\n2026年6月，下议院就亲以色列势力的影响举行辩论，Tice 说引发这场辩论的请愿“antisemitic in its very motivation and at its core”。7月，有人投诉他发言前本应申报那趟行程，调查随之启动184；2026年10月27日，议会标准专员裁定投诉成立，认定他违反了行为守则，但属无心之失185。\n一个要让四十五岁的护理工签可续期签证的党，它的副党魁坐飞机的钱来自一家谁也看不透的公司，它的党主席坐飞机的钱来自一个外国政府。我能不能问一句：在 Reform 政府里，外交政策由谁决定？照这份记录，不是选民。\n俄罗斯的房间 Reform 的登记册上没有俄罗斯的钱，我也不会装作有。有的是这些：\n事项 记录在案的内容 另一方的说法 Harborne 给 Farage 的 £5m 国防大臣要求 Farage 确认其中没有任何一笔“derived from transactions with Russian state-linked energy companies”，并说这封信的目的“is not to make allegations”186 Harborne 的燃料公司 AML Global 说它“complied fully with all UK and international sanctions”186 AML Global 的美军燃料合同 据 Unearthed 统计，合同里列出的炼油厂接收了超过 6200 万吨俄罗斯、伊朗或委内瑞拉原油187 Unearthed 自己也说“there is no suggestion that the company has breached UK or international sanctions”187 Tice 在法国里维埃拉的度假，2025年8月 从 Lubov Chernukhin 那里接受了 £1,400 的款待，她丈夫在 2004 年之前是俄罗斯财政部副部长188 她说夫妇俩和普京政权没有任何联系，并谴责了这场战争188 这些都不是对任何人的认定，右边那一栏摆在那儿，就是让你自己掂量。可把它们和 Nathan Gill、和 Farage 那句“As an operator… Putin”放在一起，留在脑子里的就是国防大臣那句话：一个“under a Russian cloud that only transparency can lift”的党186。\n有一个关于 GB News 老板的俄罗斯故事，你会看到被反复转述，但它是假的。说 Legatum 创始人和俄罗斯情报机构有联系，这个说法被美国法院裁定为“a complete fabrication”，陪审团判那个调查人员赔他 $8 million189。它不该出现在这篇文章里，也不该出现在任何文章里。\n“We Just Don\u0026rsquo;t Have British-Resident Donors” 2026年9月，Channel 4 News 和 Verbatim 播出了一期卧底调查。一名记者假扮一位美国富豪的儿子，见了 Reform 的政策主管 James Orr 和资深助手 Dan Jukes，安排一家美国公司为该党委托做的三份民调付钱，金额约 £32,500190191。后来，一名扮演父亲的演员被带去见 Farage，谈一笔源自美国、数额大得多的捐款190。\nOrr 在镜头前把不该说的话说出了口：“we just don\u0026rsquo;t have British-resident donors, British entities, that would support us.”191 Farage 被拍到谈起其中一份民调时说：“It worked. Boom.”192\n发生了什么 时间 节目播出 2026年9月3日 Reform：“a hoax perpetuated by foreign-funded climate-change activists”193 9月4日 Orr 和 Jukes 下台，党主席说他们“no chance”回来192 9月4日 伦敦警察厅：“potential offences requiring investigation”，并入其现有的捐款调查194 9月9日 Reform 自己的调查，由它自己的大律师和总书记主持，结论是“no breach of electoral law by Reform UK”195 10月7日 Farage 说那是“loose pub talk”，是“a clear case of entrapment”196。该党否认有任何不当行为，也没有人被起诉。但一个党在针对同一件事的刑事调查还没结束的时候，靠自己的人给自己洗清嫌疑，那什么也没洗清。\n把点连起来 全部情况都在这一页上。实线是官方记录在案的：登记册、申报文件、法院或监管机构的认定，或者当事人自己的原话。虚线是有名有姓的媒体的报道。指控一律不画线。\n把点连起来 Paul Marshall\u0026#160;(GBR) GB News 40% Legatum\u0026#160;(ARE) GB News 40% GB News 亏损 £131m ARC 大会 Marshall、Legatum 阿布扎比政府\u0026#160;(ARE) 为 Farage 行程买单 Bassim Haidar\u0026#160;(IRL) 生于 NGA，付美国之行 Tether 12% Cantor Fitzgerald 持股 Howard Lutnick\u0026#160;(USA) Chris Harborne\u0026#160;(THA) £25.2m + £36m QinetiQ 14.98% 国防部承包商 Nigel Farage\u0026#160;(GBR) £5m 赠款，£585k 特朗普与 MAGA\u0026#160;(USA) 15 场活动 反对 Britcoin 加密货币减税 Heartland\u0026#160;(USA) 美国气候否认 Nick Candy\u0026#160;(GBR) 司库 Nathan Gill\u0026#160;(GBR) 入狱，普京盟友行贿 Reform UK 75% 至 80% 来自国外 BitMEX 认罪 特朗普特赦 Ben Delo\u0026#160;(GBR, ex-HKG) £8m + £36m Henry Jackson Society 头儿：Reform 顾问 以色列外交部\u0026#160;(ISR) 为 Reform 行程买单 2025年11月，£50k+ 每人 £4,861 谁去了 David Bull，主席 Gawain Towler，董事会 Tice 的幕僚长 Atkinson，兰开夏郡 Wilson，伦敦 Richard Tice\u0026#160;(GBR) 副党魁 RFOI Limited Reform Friends of Israel RFOI 董事 Roy Zabludowicz\u0026#160;(GBR) 至 2025年12月，75%+ Jason Pearlman\u0026#160;(GBR) 曾任职 Herzog、HJS Lois Perry\u0026#160;(GBR) Heartland UK/EU Britain Means Business 给 Reform £500k 伦敦警察厅调查 进行中，未起诉 加密货币公司 付 Farage £57k 酬劳 Stack BTC：他持 6.3% Ghandehari\u0026#160;(CHE) HP Trust，约 $10bn 付达沃斯通行证 £50k IAL Ltd 景观设计公司 给 Reform £200k Keenan 家族\u0026#160;(GBR) 接手员工，FK Resolv FK Building Ltd 给 Reform £100k 欠 HMRC £410k 官方记录 具名媒体报道 谁资助 Reform，谁资助替它发声的频道，谁为它的行程买单，哪些加密公司给它的党魁付钱，它们拥有什么，以及 Reform 的立场在哪里与之相碰。每条线的出处都在下表。一条线是关于一层关系的事实，不是对不当行为的认定。 关联 我们怎么知道 迪拜公司 Legatum 和 Paul Marshall 各持有 GB News 约 40%，该频道已亏损 £131m Wikipedia197，Left Foot Forward198 GB News 付钱让 Farage 当主持人，2024年7月至2025年12月共 £585,000 利益登记4，The New World199 Tice 在 GB News 当过主持人 The New World199 Marshall 和 Legatum 支持 ARC 大会，Farage 在会上发言 Left Foot Forward169，DeSmog170 Harborne 为 Farage 出席特朗普就职典礼买单 选举委员会161 Reform 捐款人 Bassim Haidar 为 Farage 的美国之行买单，据报道去的是 Mar-a-Lago Farage 的利益登记162，DeSmog163 阿布扎比政府为 Farage 的阿联酋之行出钱 Farage 的利益登记164 一家由 Howard Lutnick（如今特朗普的商务部长）掌管的公司谈下了 Tether 的股份 The Block171 Farage 和司库 Nick Candy 在特朗普和 MAGA 活动上发言；Farage 去过 Heartland，Heartland 在 Reform 党代会上办了一场专题讨论 DeSmog157 RFOI 董事 Lois Perry 管着 Heartland UK/EU DeSmog179 Harborne 给 Reform 和脱欧党 £25.19m，另宣布 £36m 选举委员会登记册33，BBC37 Harborne 个人给 Farage £5m，未申报 Guardian，他律师给出的日期72 Harborne 持有 Tether 12% 他本人在美国法院的诉状54 Harborne 持有国防部承包商 QinetiQ 14.98% 证券交易所申报55，国防部56 Farage 游说反对 Britcoin，并替 Tether 说话 Guardian68，Byline Times69 Reform 承诺给加密货币减税，并推翻捐款上限 The Block70，Guardian71 Delo 为绕开上限搬了家，之后捐出 £8m，另宣布 £36m 登记册33，Searchlight38 Delo 就 BitMEX 认罪，后获特朗普特赦 美国司法部6466 Farage 在 MAGA 活动上发言，并从美国保守派机构拿钱 利益登记4，DeSmog157 Tice 的公司 Britain Means Business 捐出 £500,000，而公司资产负债表不到 £29,000 登记册33，Companies House124 伦敦警察厅调查经由这家公司的捐款，以及那次卧底调查 伦敦警察厅经 PA 发布的声明125194 前威尔士 Reform 领导人 Gill 受贿，钱追溯到普京的一位盟友 量刑意见154 RFOI Ltd，当时由一人独控，为 Tice 的以色列之行买单 Tice 的利益登记165，Companies House173 RFOI 董事 Jason Pearlman 曾任 Henry Jackson Society 副主任，该机构的头儿 Alan Mendoza 成了 Reform 的全球事务首席顾问 Henry Jackson Society174，City AM177 以色列外交部为 Reform 赴以代表团买单 伦敦议会登记166 Ghandehari 的 HP Trust 为 Farage 的达沃斯通行证付了 £50,482.16 Farage 的利益登记80 IAL Ltd 给 Reform £200,000；控制它的是 HP Trust 的一名前员工，它的所有者接手了 HP Trust 在迪拜的供货公司 选举委员会82，Companies House83，FT 和 Guardian8485 FK Building 在注销被叫停的第二天给 Reform £100,000，随后进入清算，欠着 HMRC 的钱 选举委员会88，Companies House8792 员工和修缮业务转到 Keenan 家族名下的公司 Companies House919493 BTC Inc、Blockworks 和 Zebu 付给 Farage 共 £57,410 的酬劳；他的公司持有 Stack BTC 6.3% Farage 的利益登记103105106108 把右边那一栏从上往下读一遍。里面没有一样是我的观点。观点是左边那一栏加起来意味着什么，我的观点放在最后告诉你。\n“The Bad Apples Are Gone” 2024年6月，Channel 4 拍到 Reform 在 Clacton 的一名拉票员用种族侮辱的词称呼 Rishi Sunak，还提议把移民当作“target practice”200。Farage 说那人是“an actor by profession”201。Ofcom 驳回了 270 多宗针对 Channel 4 的投诉，称这些投诉“not raise substantive issues warranting further investigation”202，也从来没有人拿出过证据证明他是托儿。随后 Farage 许下承诺：“Have we had a few bad apples? We have… the bad apples are gone. We\u0026rsquo;ll never have them back.”203\n两年后，ITV 让一名记者在党内潜伏了一年。它的节目 Undercover: A Year in Reform 拍到：一名 Solihull 议员兼副市长把亚裔家庭称作“absolute parasites”，说要“stick them on planes and f*** them off to Pakistan”；一名 Bromley 议员说黑人孩子“like f****** animals”；一名活动人士说“you cannot be a Muslim and British… it\u0026rsquo;s like oil and water”204205。Reform 的回应：“There is no room for racism in Reform UK”，以及“a handful of individuals who do not share our values will initially make it through vetting.”206\n一小撮。下面是 ITV 之前就已经记录在案的，每一条都有主流媒体报道过：\n谁 职位 说了什么 后来怎样 Ian Cooper Reform 籍斯塔福德郡议会领袖 “No foreign national or first generation migrant should be allowed to sit in Parliament” 党籍被撤销207 Chris Parry 市长候选人 Lammy“must go home to the Caribbean”；后来又把一个犹太志愿者团体比作“Islamists on horseback” 第一次后留用，第二次后停职208 Sarah Pochin 下议院议员 “adverts full of black people, full of Asian people” Farage 说那“ugly”，没有处理209 Senga Beresford 苏格兰议会议员 对“deport the lot of them”（说的是穆斯林）回复“yes” 苏格兰党魁说是“something fruity in the past”，没有处理210 Stuart Prior 议员 发帖称白人是“the master race”（他否认那个账号是他的） 开除211 Glenn Gibbins Sunderland 议员 尼日利亚人应该被“melted down”去“fill in the pot holes” 停职，复职，随后被警方起诉212 还有来自最高层的，党魁自己的原话。2024 年谈穆斯林：“I\u0026rsquo;m afraid I found some of the recent surveys saying that 46% of British Muslims support Hamas.”213 2026年3月，谈一场公开的斋月开斋饭，他说那是“the attempt to overtake, intimidate and dominate our way of life”，以及“we have to stop this kind of mass demonstration”214。\n没有任何法院或监管机构认定 Reform 作为一个政党是种族主义的。Ofcom 和埃塞克斯警方了结了 2024 年的事，向平等监管机构的投诉没有下文，Gibbins 案还没开审212。关于 Farage 学生时代的指控有争议，他本人否认。但公众已经有了自己的判断：YouGov 发现 47% 的成年人认为 Reform 总体上是种族主义的，少数族裔成年人中这个比例是 69%215216。\n因偏执停职，入夏就回来 停职会公布，复职不会。记录显示出一个规律：\n谁 因何停职 怎么回来的 Tom Pickup，兰开夏郡 一个 WhatsApp 群里有成员呼吁“mass Islam genocide”；他自己的言论“inappropriate” 三个月后恢复党鞭，随后被任命为负责成人社会护理的内阁成员217218 Paul Cutts，Doncaster 帖子“targeted the Muslim faith in a derogatory way” 大约六周后恢复党鞭219 Glenn Gibbins，Sunderland 那条关于尼日利亚人的帖子 带着“final written warning”复职，随后被起诉220212 Ben Rowe，Plymouth 帖子说“the Jews”在“forcing other races on our societies” 带着“final written warning”复职220 再对比一下这个党怎么对待不忠。和党领导层闹翻的下议院议员 Rupert Lowe 被停职，被党报了警，然后被开除。皇家检控署没有提出任何指控221。在肯特郡，一段视频泄露后和领导闹翻的议员，以“undermining the interests of the party”为由被开除222。\nITV 拍下了这一切从内部看是什么样子。党的传播主管 Ed Sumner 对卧底记者说，要准备好“defend the indefensible”，他说某个候选人“clearly a racist”，还说预计那人会被炒掉。Farage 对同一个候选人的指示是：“He must apologise to Lammy, if David Lammy\u0026rsquo;s taken offence.”223 那人被留用了。一名官员听说某议员在一个白人民族主义交友网站上有资料，回答是：“It\u0026rsquo;s not a resignation issue, is it?”224\n种族主义帖子换来三个月停职和一条回头路。不忠就会被扫地出门。没有哪段录像拍到有人说停职只是做做样子，我也不说有。光那张表就够了。一个党如果像惩治异见那样惩治种族主义，那张表会短得多。\n什么都是抹黑 这些事每一件得到的都是同一个回答：抹黑、骗局、托儿、建制派。所以我数了一下。该党或者它的高层有十二次公开把一则报道打发掉，下面是之后发生了什么：\n报道 他们怎么称呼它 后来怎样 Clacton 拉票员，2024 “an actor by profession”201 被撤出竞选团队；Ofcom 驳回 270 多宗投诉202 Farage 的 £5m 赠款，2026 “There is no case to answer”；“a stitch up”78225 他承认收了钱也没申报；议会标准调查进行中76 Sunderland 议员，2026 Tice：“all of this smearing and this sneering”226 被警方起诉，再次停职212 Jenrick 的党魁竞选捐款，2026 “just a smear… put out by the Conservative Party”227 伦敦警察厅立案调查141 伦敦警察厅的捐款调查，2026 Tice：“a politically motivated smear campaign”127 已经开展 17 个月，两人接受警诫问话125 捐款卧底调查，2026 “a hoax”，“yet another establishment attack”，“entrapment”193196 两名助手一天之内走人；五天后伦敦警察厅介入调查192194 ITV 卧底调查，2026 “no depth that the establishment won\u0026rsquo;t sink to”228 多名议员辞职或停职229 BBC 报道 Coutts，2023 Farage 说这家银行“very, very dishonest”230 他说对了：BBC 道了歉231 Lowe，2025 Lowe：“a sinister attempt to weaponise the criminal justice system against me”232 他说对了：没有起诉221 另外三件还没有定论。十二件里有七件至少部分站得住。有两次打发是对的。该党对广播机构提出的投诉，没有一宗被支持。\n同样的词在不同的人、不同的年份里反复出现：“the establishment”、“plant”、“election interference”。ITV 的视频一出来，Reform 就把记者报了警。新闻媒体协会说这是“a sinister approach that stifles public-interest reporting”，并说指控决不能被“used to intimidate journalists or deflect attention from the issues their reporting has exposed”233。全国记者工会称之为“a thinly-masked Strategic Lawsuit Against Public Participation (SLAPP) style move”234。汉普郡警方说正在审查材料，伦敦警察厅说不知道有相应的报案233。\n它为什么管用，为什么不够格 研究里有个专门的说法。把一则真实的报道说成假的，政客能拿到“the liar\u0026rsquo;s dividend”235。American Political Science Review 上一项覆盖 15,000 多人的研究发现，谎称“这是虚假信息”能提升政客的支持率，效果比保持沉默或道歉都好。研究也发现，这一招面对视频证据基本不灵236。这或许就是为什么对 ITV 视频的回应是报警。\n所有担任公职的人都签字认可的标准，是公共生活七项原则。问责：担任公职者“must submit themselves to the scrutiny necessary to ensure this”。诚实：他们“should be truthful”237。下议院议员行为守则就建立在这些原则上238。把一件事说成抹黑，并不构成议会标准专员能处理的违规，我也没这么说。我说的是，这和接受监督恰恰相反。\nFarage 知道真正的反驳是什么样子，因为他做过一次。BBC 把他的 Coutts 报道搞错了，他从银行拿到自己的档案，证明了这一点，BBC 道了歉231。这才是对付抹黑的办法：拿证据。编辑协会用一句话说透了：“If a council believes a report is inaccurate, it should challenge it with evidence.”239 有证据的时候，证据就会被拿出来。没有证据的时候，你听到的就是“建制派”。\n为什么你总能看到他们 Reform 在 650 个议席里有五个。看电视你可不会知道。\n卡迪夫大学统计主要晚间新闻报道了什么。他们的数字240241242：\n指标 Reform 对比 BBC News at Ten 中出现该党的节目比例，2025 年上半年 25% 自由民主党，72 名议员：17% 作为新闻条目的主要焦点，BBC 和 ITV at Ten，2025 69 条 保守党 45，自由民主党 14，绿党 4 被提及最多的反对党，2025年9月 Reform，37 正式反对党保守党，25 Farage 在 ITV News at Ten 上，2025年9月 被提及 49 次 Badenoch 33，Davey 10 BBC 的理由是民调242。行。那就一视同仁地用。同一批研究者发现，2025 年下半年绿党的民调从 11% 涨到 17%，他们的报道量纹丝不动242。一条只会抬高一个党的规则，算不上规则。\n而这些播出时间承载的是口号，不是记录。这篇文章里的大多数认定都在某处被报道过，有些还是 BBC 报的。没有人在节目里做的，是把它们加起来。常见的辩护是公正性，BBC 自己的规则就把它驳倒了：“Achieving impartiality does not preclude making evidence-based judgements or making an editorial judgement to focus scrutiny on a particular position”，以及“false equivalence does not achieve impartiality and should be avoided”243。对每个党都做同样的核查，用同样的栏目、同样的证据标准，那才叫公正。对谁都不做，不是中立，只是让记录无人讲述。而被蒙在鼓里的，正是 Reform 的手法所依赖的那些人，它需要他们好带的那些选民，他们每晚都听到口号，却从来听不到认定。\n这也不是新鲜事。Farage 上过 38 次 Question Time，几乎都在他进下议院之前。历来排在他前面的名字都是长期在任的议员或大臣，而他每年 1.9 次的出场频率是所有人里最高的244245。\n自家的宣传频道 还有 GB News，它很大一部分归迪拜所有、由迪拜出钱。后面细说。帮着创办它的 Andrew Neil 说，它现在对 Reform 起的作用，就像 Fox News 对特朗普：“they have turned GB News into the Reform channel”199。\nReform 人物 GB News 给他们什么 党魁 Nigel Farage 自己的节目，2024年7月至2025年12月 £585,000 的酬劳，他的公司还持有近五十万股 GB News 股份199 下议院议员 Lee Anderson 在议员薪水之外每年 £100,000，主持一档周五晚间节目199 副党魁 Richard Tice 主持人199 Matt Goodwin 主持人，他就 Gorton and Denton 补选主持过一期节目，四天后被宣布为 Reform 在该补选中的候选人199 离开 Reform 后的 Ben Habib 和 Rupert Lowe 各自另立政党后，邀约就停了246 The New World 请了 20 名资深记者，两人一组看一个节目，看了好几个小时的播出内容，结论是“a systemic use of Reform politicians, candidates and supporters”199。一位审看者把 Farage 自己的节目称为“Farage propaganda dressed up as a panel show”199。\n那就直说吧。一个频道付钱让党魁、副党魁和一名议员当主持人，给它的候选人排节目，把离开它的人踢掉，再请一个对立面的嘉宾来给人抢话，这不是一个有倾向的新闻频道。这是一个持有广播执照的 Reform 宣传频道。这是我的观点，证据就在上面那张表里。\n归迪拜所有，由迪拜出钱 Reform 张口闭口是英国人的英国。看看推销它的那个频道归谁所有。\nGB News 母公司 All Perspectives Ltd 的股东 所在地 持股 Legatum Limited，一家私人投资公司，由新西兰出生的 Christopher Chandler 创办 阿拉伯联合酋长国迪拜 约 40%197247 Sir Paul Marshall，对冲基金经理，也是 The Spectator 和 UnHerd 的老板 伦敦 约 40%197 高管、编辑和主持人，其中包括 Farage 的公司 其余部分197199 GB News 的董事长 Alan McCormick 是 Legatum 的合伙人197。频道开播时筹集的 £60 million，大部分来自 Legatum、Marshall 和 Discovery197。\n而且它从来没赚过钱。截至 2025年5月的那一年，它亏了 £22 million，收入 £26.2 million；从 2021 年开播到现在累计亏了 £131 million。那一年股东又投进去 £17.7 million 让它继续播下去198248。没有哪门生意会为了赚钱这样连亏五年。它存在，是为了它能买到的东西。\n现在把这和政党捐款的法律放在一起看。一家公司要向英国政党捐款，必须依据《公司法》注册、在英国成立并在英国开展业务249。Legatum 一条都不沾。它不能给 Reform 一分钱。\n它也用不着。一家迪拜公司的钱填补一个频道的亏损，而这个频道付钱给 Reform 的党魁、副党魁和一名议员，让它的候选人上节目，晚间时段全在讲 Reform 的议题。这些都不算捐款，所以都不会出现在选举委员会的登记册上。Farage 把酬劳申报为收入，制度能看到的就只有这些4。\n我不是说有人在洗钱。洗钱是犯罪，没有人因此被起诉，我不会这么说。但一条能让境外的钱流到一个党的党魁和它的宣传上、而登记册上没有任何捐款记录的路子，恰恰是应该调查和审计的那种事，哪怕只是为了确认一下。我要说的是，效果是一样的，而且是合法的。法律不让从正门进党的钱，通过一个电视频道流到了党魁手里、流进了党的宣传，捐款规则一概看不见。选举委员会主席对议员们说，这些规则软弱又过时246。软弱又过时，就是这个样子。\n我能不能问一句：一个想给谁算英国人设上限、想定规矩决定谁能留下的党，为什么对靠海湾的钱上电视毫无意见？两个最大的捐款人在泰国和香港安身立命。这家广播机构五分之二归迪拜所有。被叫去把英国放在第一位的选民，是整条链子上唯一对这一切毫无发言权的人。\n监管机构呢？2024年10月，Ofcom 因 GB News 在大选前给 Rishi Sunak 一个无人质疑的平台而罚了它 £100,000，理由是“the seriousness and repeated nature of this breach”250。GB News 就 Jacob Rees-Mogg 的节目把 Ofcom 告上高等法院，2025年2月胜诉251。在那之后，Ofcom 撤销了对 GB News 起用 Farage 一事的调查246。于是，一个民调领先的政党的党魁，在一个部分由迪拜出钱的频道上拿钱播新闻，而没有人在查。\n把这和本文其余部分放在一起。这个党的钱来自国外。它党魁的收入来自一个部分由国外出钱的频道。这个频道让党上节目，BBC 又跟着那些播出时间帮着抬起来的民调走。这一切运转起来，不需要任何人下一道命令。\n同一本剧本 这些都不新鲜。这是 MAGA 的剧本，Reform 一页一页照着演。\n这本剧本的作者亲口告诉过我们它是写给谁的。2016年2月庆祝内华达州胜选时，特朗普把投给他的人群挨个数了一遍：“We won with highly educated. We won with poorly educated.”然后：“I love the poorly educated!”252 八年后，皮尤研究中心对经核实选民的研究发现，没有大学学位的选民以 14 个百分点的优势支持他，有学位的则以 16 个百分点的优势支持 Harris253。\n英国也一样。2024 年大选，在最高学历为 GCSE 或更低的人群中，Reform 拿到 23% 的选票，在大学毕业生中只有 8%254。两年后，它在前一个群体中以 40% 领先，在毕业生中以 14% 排第五255。\n所以我就直说了。Reform 的选票建立在受正规教育最少的人身上，它的手法靠的就是这些人好带。一个他们不会去核对的数字。一个现成递到手里的替罪羊。谁一核对，马上就喊抹黑。这不是碰巧谁喜欢 Farage 的问题。这是生意模式，和特朗普公开说出来的是同一个，操盘的人指望着被他们利用的人永远不会读到标题以外的东西。\nMAGA 的招数 Reform 的版本 媒体是“the enemy of the American People”256 记者被报警，记者被禁止进入党代会233257 每一篇揭露都是“fake news” 每一篇揭露都是“smear”、“hoax”、“plant”193201 一边“Drain the swamp”，一边由亿万富翁出钱 一边骂“the establishment”，一边由两个加密货币亿万富翁出钱37 给一个加密货币老板特赦 给 Reform 出钱的那个加密货币老板，手里就握着这份特赦66 把加密货币当成一项事业 “When it comes to your industry… then I am your champion”69 一个大数字，加不加得起来无所谓 £234bn，然后 £622bn，按财政部自己的方法算是 £154bn51 按 DeSmog 的统计，自 2024年7月当选以来，Farage 已在十五场与特朗普有关的活动上发言，2026年7月他还对 CPAC 新成立的英国分会说：“I\u0026rsquo;ve spoken at over 10 CPACs in America”157。清单如下：\n时间 地点 是什么 2024年7月 密尔沃基 共和党全国代表大会 2024年8月 亚利桑那 Arizona Liberty Network 2024年9月 芝加哥 Heartland Institute 40 周年筹款活动，主讲嘉宾 2024年11月 宾夕法尼亚 特朗普竞选集会 2024年12月 伦敦 Heartland UK/EU 成立活动，由 RFOI 的 Lois Perry 主管 2024年12月 纽约 New York Young Republicans Club 2025年2月 伦敦 Alliance for Responsible Citizenship 2025年2月 华盛顿 CPAC 2025年6月 伦敦 Heartland 在威斯敏斯特办的能源专题讨论 2025年9月 华盛顿 National Conservatism，与 Project 2025 的设计者之一 Russell Vought 同台 2025年10月 密歇根 Hillsdale College 2026年3月 华盛顿 Club for Growth，2024 年为共和党候选人筹集了 $163 million 2026年6月 伦敦 Alliance for Responsible Citizenship 2026年7月 伦敦 CPAC Great Britain，压轴嘉宾 2026年7月 华盛顿 一场“Redcoats and Rebels”独立日活动 再加上就职典礼，以及两次去 Mar-a-Lago 的会面，那两次他没发言157。差不多同样这两年里，他在下议院提到自己的选区 Clacton 六次，而且他在那里的发言有四分之一是在为特朗普攻击英国政府政策撑腰157。\n这些东道主里有好几家参与撰写了 Project 2025，也就是特朗普第二任期的蓝图。Heartland 就是其中之一。它还在 Reform 的 2025 年党代会上办了一场专题讨论，并说自己在气候政策上为该党提供建议157。而且不只是 Farage。DeSmog 列出 Reform 的政策主管 James Orr、司库 Nick Candy、议员 Danny Kruger 和 Suella Braverman、Zia Yusuf 以及 Matt Goodwin，都曾为 MAGA 团体发言。Orr 担任 Edmund Burke Foundation 英国分支的主席，这个基金会主办 National Conservatism 大会；Yusuf 在召集制定 Project 2025 的 Heritage Foundation 发过言，承诺特朗普式的“mass deportations”157。\n职业生涯里去过十多次 CPAC。当选以来提到自己选区六次。他去不是为了天气。他是去学手艺的。\n这门手艺是这么干的。找到那些被辜负过、完全有理由愤怒的人。给他们一个比他们更穷的人去怪罪。喂他们一个数字。数字崩了，再喂一个。谁一核对，就喊抹黑，把核对的人叫作建制派。然后把账单寄给你口口声声说在为之奋斗的那些人。这在美国管用了。Reform 赌它在这里也管用，赌的就是你永远不会去读一份政策文件、一份 Companies House 申报或一本利益登记册。\n这篇文章就是在读。\n他们自己能通过品格测试吗？ Reform 要求每一个已定居的移民都通过“good character”测试，才能继续住在这里2。内政部本来就有一套，用于申请入籍英国的人，它的个案工作人员指引写明了什么情况通不过258。那就做个思想实验：拿内政部自己的测试，过一遍 Reform 自己的人物。\n内政部的测试 指引怎么说 记录里有什么 犯罪记录 如果某人“not respected or are not prepared to abide by the law”，例如有定罪，则拒绝258 Reform 的前威尔士领导人，因受贿被判十年半154 恶名 包括“publicly expressing unsavoury views on a subject such as race, religion or sexuality”258 “46% of British Muslims support Hamas”213；“I didn\u0026rsquo;t see another white face”142；“adverts full of black people”209 坦诚 “Concealment of information or lack of frankness will raise doubt about, and therefore reflect poorly on, the applicant\u0026rsquo;s character”258 一笔 £5m 的赠款未申报3；17 次逾期登记100；Arron Banks 两年的资助在结束后才申报148 尊重法律 同上258 任住房大臣时的一项决定被承认“unlawful by reason of apparent bias”139 财务稳健 “they have failed to pay taxes for which they were liable”258 HMRC 对 Tice 没有任何认定，所以这一项他过关 个案工作人员必须合理行事，指引里也是这么写的258。并不是每一行单独拿出来都足以让一份申请被拒，而且这些人是英国公民，永远不用参加这个测试。这正是要害所在。他们在给护士和工程师写一套品格测试，他们自己的前排人物都难以通过，而他们永远不用去考。\n没被起诉不等于清白 每当这些事里有一件沉寂下去，总有人说“反正也没人被起诉”。那就把这句话的意思说清楚。\n决定不起诉不是认定无罪。皇家检控署只有在证据足以带来现实的定罪可能、而且起诉符合公共利益时才会起诉259。没过这道门槛的案子没有经过审判。没有人被洗清。它只是从来没被摆到法庭面前。\n而这篇文章里的大部分事情还没走到那一步。伦敦警察厅的捐款调查还在进行。两人接受了警诫问话，尚未作出起诉决定125。针对 Farage 和 Tice 的议会标准调查还在进行76。Jenrick 的捐款在调查中141。Gibbins 11月9日受审212。\n但其中有一些已经到了法院或监管机构那里，这部分谁也没法叫它抹黑。把这些认定并排放在一起：\n谁 与 Reform 的关系 认定 Nathan Gill 曾领导威尔士 Reform 老贝利，2025年11月：因受贿被判入狱十年半，钱追溯到普京的一位朋友154 Ben Delo 第二大捐款人 美国联邦法院，2022：承认故意不执行反洗钱核查；后获特朗普特赦6466 BitMEX Delo 联合创办的交易所 美国司法部，2025年1月：依据《银行保密法》被罚 $100 million65 Tether 最大捐款人持有 12% 纽约州总检察长和 CFTC，2021：$18.5 million 和解，以及因错报储备被罚 $41 million6061 Crispin Odey 2023 年给 Reform 捐了 £10,000 FCA 和上级审裁处，2026年9月：以“unfit”为由禁止从事金融服务，罚款 £1.53 million；FCA 未对背后的指控作出认定，他本人否认这些指控260 Reform UK 党本身 选举委员会，2022年9月：其 2019 年选举开支报告存在违法行为；未予处罚261 Robert Jenrick Reform 属意的财政大臣 高等法院，2020：承认他的 Westferry 决定“unlawful by reason of apparent bias”139 Richard Tice 副党魁 议会标准专员，2026年10月：在一场关于亲以色列势力影响的辩论中未申报由 RFOI 出资的以色列之行，违反议员守则；认定为“inadvertent”185 Andy Osborn Reform 东北剑桥郡主席，后任郡议员 威斯敏斯特治安法院，2026年4月：依据《人民代表法》，因发布关于竞争对手候选人的虚假陈述被定罪，罚款并被取消资格262 肯特郡议会 2025 年起由 Reform 主政 信息专员，2026年7月：在其“效率”行动相关记录上违反信息自由法，被责令重新答复263 从威尔士领导人到捐款人名单，再到党自己的账目，每一层都有认定。一条是运气不好。十条就是一种类型。\n我不会告诉你谁犯了法院没有认定的罪。我会告诉你我怎么想，你自己掂量。一个党用“抹黑”回答每一个问题，在警方还在调查时靠自己的大律师给自己洗清，把种族主义者请回来、把批评者赶出去，它并没有证明自己没什么要交代的。它证明的是它根本不打算交代。\nReform 到底为谁服务？ 不是你。从来就不是。\nReform 是一场骗局，而且不是什么高明的骗局。它对劳动人民说它是他们的党，然后写出一份计划：把在这里纳税十年的护士的定居身份剥掉，把全部福利削减压在劳动年龄人口身上，再设一道它自己的捐款人永远不用跨的薪资门槛。这不是为劳动人民出头。这是拿他们当工具。\n顺着钱走，它只朝一个方向流。流进来的，是一个住在曼谷的泰国国民的钱，还有一个加密货币老板的钱，这人承认故意经营一家被美国政府称为“in effect a money laundering platform”的交易所，拿到了特朗普的特赦，还为了绕开捐款上限搬了国家。流上去，到一个党魁手里，他揣走了从未申报的 £5 million，还有推销黄金四个小时拿的 £135,000。四个小时。没有手艺，没有产品，没有出力。光是嘴皮子，还大半是胡扯，而那个价码，他想让签可续期签证的那位护士得干好几年才挣得到。流出去，到党内自己人开的公司。最后账单落到你头上。\n那就问问：一个党四镑里有三镑来自两个住在国外的人，它听谁的？不听党员的，党员连公司都控制不了。不听选民的，选民换来的是一张可续期签证和一刀福利削减。它听的是能把钱掐断的那些人。看看 Reform 在为什么而战：不要会威胁 Tether 的数字英镑，加密货币按 10% 征税，推翻对海外捐款人的上限，给国防工业减税。每一样都和它的金主手里的东西对得上号。\n我没法给你看哪道命令被下达了，我也不说有。我用不着。一个靠两个人的钱活着的党，用不着别人告诉它他们想要什么。它早就知道。木偶做到家就是这个样子。没人需要扯线，因为木偶自己会动。\n他们嘴上说要夺回控制权。然后他们把控制权交给了曼谷的一个人，和一个只是为了能继续掏钱才回国的人，而且是为了钱交出去的。\n这些人没有原则。它的候任财政大臣去年还想让它关门。它的党魁对普京的口径随风转。它的副党魁叫你不要“morally or voluntarily give more tax”超过法律要求的数目。有原则的人，不会每逢捐款人、民调或头条需要就掉头。有价码的人才会，而登记册告诉你是谁在付这个价。\n再看看这套双重标准，因为整个党就浓缩在这一张表里。\nReform 对已定居移民的要求 Reform 自己圈子里的记录 通过“good character”测试，否则失去居留权 它的前威尔士领导人，收受追溯到普京一位朋友的贿赂，被判十年半 不得有犯罪记录 Farage 的一位朋友，在美国被判电信欺诈，为他 2024 年竞选期间的社交媒体、住宿和安保出过钱，还借给 Tice 的公司 £78,100 尊重法律 它的第二大捐款人，承认故意不执行美国法律要求的反洗钱核查，最后带着特朗普的特赦全身而退 对当局坦诚 一个有 £5 million 未申报、17 次逾期登记的党魁 收入高于中位数，否则走人 一个说四个小时话就拿 £135,000 的党魁 这些人没有一个能过得了 Reform 想派去盯着那位护士的个案工作人员那一关。对她一套规矩，对他们另一套。这不是失误。这就是设计。\n而且他们没有一个人为了做出一件你能拿在手里的东西，老老实实干过一天活。看看这篇文章里写的。党魁靠说话拿钱。副党魁靠房产和股息赚钱。候任财政大臣把政治当了一辈子的职业。给他们任何一个人一套工具，让他在工地、病房或生产线上干一个星期，看看那张嘴能管多大用。可就是这些人，在告诉一个护理工她得证明自己配得上留在这里。\n接下来这部分应该让你心里一凉。很多干这些苦活的人，靠建造、修理、搬运和照护过日子的人，正在投票给他们。Reform 最强的票仓是学历最低的人255，也就是最可能在干这些活的人。有人在向他们推销一个政党，推销的人干不了他们的活，出钱的人不住在这里，而这个党要削减的，正是和他们在同一条线上干活的人的补助和身份。这是火鸡投票支持过圣诞节。他们之所以看不见烤箱，是因为 Reform 递给了他们一个可以去恨的对象。在祈祷的穆斯林。广告里的黑人面孔。隔壁病房的移民护士。把人们的怒气引向在他们身边干活的人，他们就不会去看是谁在掏他们的口袋。这是这场骗局最拿手的地方，它靠的是这个党故意煽起来的偏执。被它抢的人，正是给它叫好的人。\n而且其中很多人领的正是 Reform 要砍的那些福利。Reform 在残障选民中领先264。它想从工党手里抢的那些议席，恰恰是最依赖健康相关福利的地方，比例高得不成比例265。每一位 Reform 议员的多数票优势，都小于他自己选区里领 PIP 的人数266，而 PIP 正是 Reform 要取消、换成一种可能把多达三分之二领取者挡在门外的津贴的那项福利11。他们排着队投票把自己的补助投掉，还一边投一边欢呼。\n等他们需要人照顾的时候，Reform 觉得谁来干？2023 年，英格兰 NHS 的护士里每十个有三个、医生里超过三分之一不是英国国籍267。自 2020/21 年以来，社会护理行业流失了 130,000 名英国员工268，多年来这个缺口是靠从国外招人来填的，仅 2023/24 年就有 105,000 人269。Reform 要把的正是这些人重新放回可续期签证上，再加一道高于收入中位数的薪资门槛。把护理工遣送走，那位残障的 Reform 选民失去的就不只是一项福利。他失去的是那个上门给他洗澡、喂饭、扶他下床的人。Reform 里没有人说过谁来接替他们，因为 Reform 里没有人会需要一个自己雇不起的护理工。\n那就直说。一个党让发过种族主义帖子的议员几个月内就回来，提拔其中一个去管成人社会护理，却在几天之内把批评者赶出门，它就是一个种族主义政党，不管它的新闻办公室怎么说。有人告诉过它。有人拍下过它。它自己选的。\n而每次被抓住，它都喊抹黑。它称为抹黑的十二则报道里，有七则站得住。对一则后来证明属实的报道喊抹黑，不是辩护。那是承认你啥也没有了。\n爱国？得了吧。一个靠曼谷和香港的钱撑着、排队去参加 MAGA 集会的党，要把在这里生活、工作、纳税的人赶出去，而几十年前就离开的亿万富翁却在供它运转。那不是爱国。那是裹在银行账户上的一面国旗。\n投它一票也不是爱国。一个爱国者会照顾那些让这个国家运转下去的人，护士、工程师、护理工，不管他们起初拿的是哪本护照。把你的票交给一个要把他们赶走、由不住在这里的人出钱的党，那不是爱你的国家。那是被人利用来跟它作对。上面那些人不是爱国者，把他们送上去的人也不是，不管他们挥的是什么旗。\n那么，Reform 到底为谁服务？为登记册上的那些名字。去读一读。如果你的名字不在上面，你的利益也不在。\nReform UK — The Cost of the Boriswave — 党的政策文件，2026年4月：ILR 持有者 \u0026ldquo;will have it rescinded\u0026rdquo;，薪资门槛 \u0026ldquo;above median UK earnings\u0026rdquo;，\u0026quot;£154 bn if discounted at the 3.5% rate suggested by the HM Treasury Green Book\u0026quot;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReform UK — Policies (archived 19th October 2026) — \u0026ldquo;abolish ILR and rescind existing awards\u0026rdquo;，\u0026ldquo;5 year renewable visa\u0026rdquo;，缴足 National Insurance 的退休人员保留居留权和国家养老金。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage was given undisclosed £5m by crypto billionaire in 2024 — 2026年4月29日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Members\u0026rsquo; Financial Interests: Nigel Farage — 通过 interests API 查阅，2026年10月28日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — Daily Mail corrects report about Reform UK\u0026rsquo;s disputed immigration savings — 2025年10月3日；该智库表示 \u0026ldquo;the overall cost estimates should no longer be used\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuronews — Reform UK pledges to strip all foreign nationals of benefits — 2026年8月17日；列入“仅限公民”清单的福利，包括 Pension Credit。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIFS — Reform UK\u0026rsquo;s plan for welfare: IFS response (archived) — 2026年8月17日；\u0026ldquo;almost entirely from a working-age benefits bill\u0026rdquo;，领取 Universal Credit 的非英国公民 130 万人。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Benefit expenditure and caseload tables 2026 — Spring Forecast 2026；2025/26 年度大不列颠合计 £309.06bn，退休人员 £177.65bn，国家养老金 £146.07bn，工作年龄人口 £126.08bn。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Farage guarantees the triple lock on pensions — 2026年4月2日，附早前 \u0026ldquo;open for debate\u0026rdquo; 和 \u0026ldquo;we\u0026rsquo;re not guaranteeing the triple lock\u0026rdquo; 的言论。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSTV News — Reform\u0026rsquo;s welfare pledges aim to please pensioners — 2026年8月17日；\u0026ldquo;nothing that we talk about today is about pensioners\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Week — Are welfare cuts Reform\u0026rsquo;s stumbling block? — 2026年8月；PIP 被一项 \u0026ldquo;health security allowance\u0026rdquo; 取代，该津贴 \u0026ldquo;could exclude up to two-thirds of current recipients\u0026rdquo;，外加 20 小时社区劳动。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Universal Credit statistics, 29th April 2013 to 14th May 2026 — \u0026ldquo;3.1 million people on Universal Credit in any employment … in April 2026, which was 37.7% of all people on Universal Credit\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIFS — Reform UK manifesto: initial reaction (archived) — 2024年6月；转引自 The Irish Times, 17th June 2024。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Reform to U-turn on £90 billion tax cuts — 2025年10月；Tice 在 Times Radio 上说：\u0026ldquo;A manifesto is based on a point in time.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIrish News (PA) — Reform could deport 600,000 asylum seekers under immigration plan — 2025年8月26日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBig Issue — Reform UK\u0026rsquo;s £50 billion benefits plan — 2026年8月；IFS 的 Tom Waters。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Live News — Reform promises to scrap green levies and VAT on energy bills — 2026年3月17日，约 £200。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Live News — Reform UK say they will cut bills by £150 with levy change — 2026年9月7日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — Did Reform UK break its promises on council tax? — 2026年4月9日，2026年5月6日更新：3.94% 对 4.86%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Reform-run Kent council accused of fabricating £40m net zero savings — 2026年2月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Reform defends savings claim amid questions on scope of welfare plans — 2025年9月22日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Jenrick says he wants to put Reform UK out of business — 2024年8月28日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform UK names Robert Jenrick as pick for chancellor — 2026年2月17日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Farage says Putin is his most admired leader — 2014年3月31日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage calls Putin \u0026lsquo;very bad dude\u0026rsquo; — 2025年10月16日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — 11694875, persons with significant control — 前身为 The Brexit Party Limited 的公司；Farage 和 Tice 的持股截至 2025年2月19日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Nigel Farage hands ownership of Reform to members, says party — 2025年2月20日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Reform UK Party Limited (16260766), filing history — 2025 年度经审计账目，2026年9月30日提交：附注 20 \u0026ldquo;two members\u0026rdquo;，附注 19 记载 £15 和 £1 的转让，会员收入 £4,524,299，盈余 £7,660,122。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Not-for-profit appears to own Reform UK despite Farage\u0026rsquo;s \u0026ldquo;democratisation\u0026rdquo; pledge — 2025年2月；Farage 和 Zia Yusuf 是新公司的担保人。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Reform UK Party Limited (16260766), officers — Farage 自 2025年2月18日起任董事；Yusuf 于 2025年6月5日辞任。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Chairman Farage: how Reform UK operates as a democratic party in name only — 2026年8月18日；2025年9月通过的党章，第 4.3 条和第 6.20 条。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Nigel Farage sets up a new private company for Reform UK — 2025年2月；Habib 对 FT 说：\u0026ldquo;puts Farage\u0026rsquo;s leadership in a virtually unassailable position\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donations register — Reform UK 及 Brexit Party（PP7931）的捐款和贷款，2026年10月28日查阅。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent (via inkl) — Data reveals the percentage of Reform donors recently based overseas — 2026年10月27日；Reform 为 80%，保守党 3.57%，工党 0.15%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChannel 4 News — How a crypto billionaire used \u0026lsquo;gaping loopholes\u0026rsquo; to bankroll Reform — 2026年7月27日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Christopher Harborne, the mystery billionaire bankrolling Reform UK — 2026年4月25日；2011 年以 Chakrit Sakunkrit 之名取得泰国国籍。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Second crypto billionaire matches £36m Reform donation — 2026年9月12日；Tice：\u0026ldquo;so that the Labour Party can\u0026rsquo;t legislate against it\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSearchlight — Crypto billionaire quits Hong Kong to bankroll Reform UK — 2026年4月9日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Cap on donations from overseas electors and ban on crypto donations — 2026年3月25日；每年 £100,000。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolitical Parties and Elections Act 2009, section 10 — \u0026ldquo;resident, ordinarily resident and domiciled in the United Kingdom\u0026rdquo;，状态为 \u0026ldquo;Prospective\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewcastle City Council — Elections Act 2022: overseas electors — 15 年的期限自 2024年1月16日起取消。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Rycroft Review — countering foreign financial influence and interference in UK politics — 2026年3月，第 39 段、第 51 至 53 段。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCouncil of Europe — Recommendation Rec(2003)4 on common rules against corruption in the funding of political parties — 第 7 条，来自外国捐款人的捐款。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInternational IDEA — written submission to the Australian Parliament — 2017 年；63% 的国家禁止外国人向政党捐款。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNHPR (NPR/AP) — Lev Parnas sentenced to 20 months — 2022年6月29日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCourthouse News — Trump donor sentenced to 12 years for unlawful campaign contributions — 2021年2月18日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nVenice Commission and OSCE/ODIHR — Guidelines on Political Party Regulation, 2nd edition — 2020年12月，第 229 和 230 段。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ngov.ie — Political donations — 海外爱尔兰公民可以捐款；向单个政党每年上限 €3,100。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElections Canada — contribution limits 2026 — 仅限公民和永久居民，$1,775。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Federal Election Commission — Foreign nationals — 海外美国公民可在联邦限额内捐款。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEastern Eye — Reform candidate faces backlash over comments on British identity — 2026年1月28日，引用 Matt Goodwin 早前的文章。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYorkshire Post — Yorkshire-born billionaire Christopher Harborne donates £36m to Reform — 2026年9月12日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Second crypto billionaire donates record sum to Reform UK — 2026年9月12日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReason (Volokh Conspiracy) — Cryptocurrency trader\u0026rsquo;s defamation lawsuit against Wall Street Journal can go forward — 特拉华州高等法院，2024年12月：\u0026ldquo;Harborne owned 12% of Bitfinex and its sister company Tether\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQinetiQ — Holding(s) in Company, 9th June 2026 — Klear Kite LLC，\u0026ldquo;ultimately controlled by Christopher Harborne\u0026rdquo;，14.98%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Major £1.5 billion defence contract with British firm — 2025年5月23日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — AML Global Payments LLP (OC305889), persons with significant control。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Arms and the £5m man: Christopher Harborne\u0026rsquo;s military empire — 2026年8月30日，附 Reform 及其律师的回应。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — The £1m man: why did Boris Johnson take his donor to Ukraine? — 2025年10月10日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNew York Attorney General — Bitfinex and Tether settlement — 2021年2月23日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCFTC — Tether and Bitfinex ordered to pay fines — 2021年10月15日；储备 \u0026ldquo;for only 27.6% of the days\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNODC — Casinos, Money Laundering, Underground Banking, and Transnational Organized Crime in East and Southeast Asia — 2024年1月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Cryptocurrency linked to Farage donor used for Russian war effort — 2025年11月21日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice, SDNY — Founders of cryptocurrency exchange plead guilty to Bank Secrecy Act violations (archived) — 2022年2月24日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice — BitMEX fined $100 million for violating the Bank Secrecy Act — 2025年1月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice — Clemency grants by President Donald J. Trump — Benjamin Delo，2025年3月27日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — British crypto billionaire Ben Delo says he has given £4m to Reform UK — 2026年4月8日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage trying to block Britcoin plans — 2026年6月18日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Crypto investor donates £9 million to Reform UK after Nigel Farage plugs his company — 2025年12月4日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Block — Nigel Farage pledges UK bitcoin reserve and crypto capital gains tax cut — 2025年5月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Political donations in cryptocurrency blocked — 2026年3月25日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Farage said he would need \u0026lsquo;a million a year\u0026rsquo; to stand as an MP in 2024 — 2026年7月15日；Harborne 的律师称这笔赠与的日期为 2024年4月5日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProtos — Farage says £5m Harborne gift was reward for Brexit — 2026年5月14日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Tories ask HMRC to investigate Farage over £5m gift — 2026年7月22日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Standards watchdog investigation into Nigel Farage\u0026rsquo;s financial gifts — 2026年8月14日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — allegations currently under investigation — 2026年10月28日查阅：Farage（2026年5月13日立案，Rule 5），Tice（2026年8月20日立案，Rule 13）。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage questions claim of second standards investigation — 2026年9月1日；Cottrell \u0026ldquo;paid for social media work, accommodation and security before the 2024 election\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage concluded he faced stitch-up amid probe into £5m gift, Jenrick says — 2026年7月9日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Reform gains financial backing from another billionaire — 2026年7月，转引 Telegraph；瑞士税务居所及计划中的迁居。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 14397 — Sasan Ghandehari，\u0026ldquo;Accreditation (£50,482.16) cost for me and one staffer\u0026rdquo;，达沃斯，2026年1月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Nigel Farage\u0026rsquo;s trip to Davos hosted and paid for by family trust of billionaire — 2026年1月；\u0026ldquo;the $10bn family trust of an Iranian-born billionaire\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donations from Interior Architecture Landscape Ltd — 七笔捐款，合计 £200,000，2025 年。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Interior Architecture Landscape Ltd (08363406), persons with significant control。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Labour MP calls for Companies House to probe origins of £200,000 gift to Reform — 2026年2月，转引 FT 以及 Ghandehari 的律师和该公司的声明。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIran International — Reform UK donor had ties to Iran supreme leader-linked foundation, Guardian reports — 2026年10月23日，报道《卫报》对一项法国仲裁裁决的调查；Ori Group 49%，Astan Quds Razavi 51%；Orico General Trading；律师的回应。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK donations from collapsing firms are \u0026ldquo;not under investigation\u0026rdquo;, says elections watchdog — 2026年7月3日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Building Limited (12545681), filing history。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donation C0835464 — FK Building Ltd，£100,000，2025年10月8日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Group Limited (07732053) — 已进入破产管理；FK Construction（09890502）和 FK Facades（02874877）亦然。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBuilding — More than 50 jobs saved after administrators appointed at facades firm FK Group — 54 个岗位转至 Keenan Holdings。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Keenan Holdings Limited (11920973), persons with significant control — Deborah Ruth Keenan，75% 或以上。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Building Limited, insolvency — 自 2026年7月6日起债权人自愿清算；资产负债说明：亏空 £3,149,939，HMRC £25,618 和 £384,029。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Resolv Ltd (08222605), persons with significant control — FK Group 终止，FKR Group Limited 登记，2026年10月16日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FKR Group Limited (17302053) — 2026年6月25日注册成立；Francis Anthony Keenan，75% 或以上。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK accounts raise fresh questions about origins of Richard Tice donations — 2026年8月7日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Nigel Farage declares £270,000 payment for promoting gold bullion。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Gold firm that employs Nigel Farage predicts unrest and violence under a Reform government — 2026年8月25日；自 2024年12月以来共 £685,500。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage uses private company to pay less tax on GB News earnings — 2025年9月5日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Thorn In The Side Ltd (07650770) — 截至 2025年5月31日的账目：净资产 £3,144,967；附注 8，向一名董事租用演播室，每年 £10,000。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — rectification, Mr Nigel Farage MP — 2026年1月20日；17 次违反 Rule 5，\u0026ldquo;inadvertent\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK paid £440,000 to firms linked to party insiders — 2026年8月14日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — spending search — Reform UK 竞选开支申报，按供应商汇总：五家公司共 £440,571.23；Jupiter 的 £50,000 捐款编号为 C0836534。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13453 — BTC Inc，£7,410，2025年9月22日收到。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProtos — Reform UK pulls crypto bill from website — 2026年5月30日撤下。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13771 — Blockworks Inc，£30,000，2 小时，2025年10月13日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13773 — Zebu Group Ltd，£20,000，2 小时，2025年10月22日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Nigel Farage took £50,000 from crypto firms, then said he was not aware of the industry funding his party — 2026年5月22日；他对 Reuters 的回答说的是党的捐款人，而不是他自己收的费用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 15047 — \u0026ldquo;Shares in Stack BTC PLC that are wholly owned by Thorn in the Side Ltd.\u0026quot;；另见条目 15050。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nStack BTC plc — Strategic investment by Nigel Farage MP (Investegate) — 公司公告及 Farage 的引语。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage Cameo videos backed cryptocurrencies that collapsed in value — 2026年3月19日；发言人的回应。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Attorney, Southern District of New York — Founder of Celsius sentenced to 12 years for fraud and market manipulation — 2025年5月8日；\u0026ldquo;At times, they used customer deposits to fund these market purchases.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNODC — Inflection Point (2025) — 东亚和东南亚的损失 \u0026ldquo;up to an estimated US $37 billion\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTether — freezes and law enforcement support — Tether 自己的数字：冻结超过 $5 billion，340+ 个机构。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Rycroft Review (PDF) — \u0026ldquo;there is a risk that cryptoassets are used as the vehicle to channel foreign money into the political system in the UK\u0026rdquo;；建议 3，暂停令。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — The elections watchdog doesn\u0026rsquo;t know where Reform UK\u0026rsquo;s crypto donations are coming from — 2026年3月16日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCity of London Police — UK victims lost £2.4 million every day to investment fraud in 2025 — 2026年4月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolice Professional — investment fraud figures for 2024 — 加密货币占 \u0026ldquo;66 per cent of all reports\u0026rdquo;；\u0026ldquo;Those aged 55-64 suffered the greatest financial losses\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFCA — Crypto basics — \u0026ldquo;you should be prepared to lose all your money\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — CLS Holdings plc (02714781), officers — Tice 自 2010年5月11日至 2014年4月7日任董事。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Quidnet REIT Ltd (09718143), filing history — 2025 年度账目，2026年9月29日提交。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Members\u0026rsquo; Financial Interests: Richard Tice — Quidnet REIT 的报酬，持股情况。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Richard Tice defends company\u0026rsquo;s tax arrangements — 2026年3月15日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Tice company did not withhold tax on dividends — 2026年4月12日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Britain Means Business Ltd (10893794) — 原名 Leave Means Leave Ltd；微型企业账目，净资产 £28,864（2023）和 £10,479（2024）。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSTV News (ITV/PA) — Met Police investigate donations by Richard Tice company to Reform UK — 2026年7月26日；Electoral Commission 于 2025年2月移交，两人接受了警诫问话。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Police investigate £500,000 in donations to Reform UK from Richard Tice firm。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nShropshire Star (PA) — Tice claims politically motivated smear amid scrutiny of Reform UK finances — 2026年7月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Leave.EU Group Ltd (09763501), officers — Tice 自 2016年1月29日至 2017年5月25日任董事。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — EU referendum Electoral Commission fines — Leave.EU 的 £70,000 罚款经上诉减为 £66,000。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Tice, Reform loan and George Cottrell: standards watchdog — 2026年7月29日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Richard Tice, appointments — Quidnet、Enjoyouretirement 和 Galecroft 旗下各公司的共同董事。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Standards watchdog investigating Reform\u0026rsquo;s Richard Tice — 2026年8月3日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Robert Jenrick rules out Tory pact with Reform UK — 2025年4月25日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Robert Jenrick defects to Reform after Tory sacking — 2026年1月15日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Robert Jenrick joins Reform UK — 2026年1月15日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Read in full: Robert Jenrick\u0026rsquo;s speech — 2026年1月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Jenrick releases documents on Westferry decision — 2020年6月24日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Desmond housing project unlawfully approved — 2020年5月27日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Westferry: Jenrick admits decision was unlawful — 2020年6月11日；\u0026ldquo;unlawful by reason of apparent bias\u0026rdquo;，Desmond 的 £12,000 捐款。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Westferry approval to be quashed — 2020年5月27日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Police investigate £37,500 donation to Jenrick leadership campaign — 2026年7月8日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Jenrick complained of not seeing another white face in Handsworth — 2025年10月6日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Robert Jenrick on protester at Reform conference — 2026年9月6日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Jenrick says Reform supporter who attacked woman should get a medal — 2026年9月10日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Statistics Authority on Jenrick\u0026rsquo;s modern slavery claim — 2023年7月6日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Observer — Ukip leader Nigel Farage boasts of his £2m in expenses — 2009年5月24日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage\u0026rsquo;s EU salary docked over claim he misspent public funds — 2018年1月12日；VoteWatch 排名及 EFDD 的回应。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuropean Parliament — Declaration of financial interests, Nigel Farage, revision 4 — 日期为 2019年7月1日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — EU authorities asked to investigate Farage over Arron Banks gifts — 2019年5月19日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEU General Court — Case T-564/11, Farage v Parliament and Buzek — 2012年9月5日的裁定。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Farage referred to advisory committee over Banks support — 2019年5月21日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCourt of Justice of the EU — press release 138/19, Case T-48/17 ADDE v Parliament — 2019年11月7日；2016 年的决定因缺乏公正而被撤销。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEU General Court — Case T-118/17, IDDE v Parliament — 2018年2月8日判决，第 6、9 和 55 段。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJudiciary of England and Wales — R v Nathan Gill, sentencing remarks — 2025年11月21日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Ex-leader of Reform UK in Wales jailed for 10 years over pro-Russia bribes — 2025年11月21日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Nigel Farage says the West provoked Russia to invade Ukraine — 2024年6月21日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Nigel Farage has spoken at 15 Donald Trump and MAGA events since the 2024 election — 2026年8月20日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS House Judiciary Committee — Europe\u0026rsquo;s Threat to American Speech and Innovation — 2025年9月3日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGazette — Clacton MP meets Donald Trump — 2025年9月4日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nITV News (archived) — Elon Musk says Nigel Farage doesn\u0026rsquo;t have what it takes to lead Reform — 2025年1月5日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donation V0598867 — Christopher Harborne 给 Nigel Farage，£27,616.76，2025年1月17日接受，\u0026ldquo;Second inauguration of Donald Trump\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13939 — Bassim Haidar，\u0026ldquo;Flights for me (£19,072.01) and two staffers (£35,849.01)\u0026quot;，美国，2025年11月6日至9日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Nigel Farage\u0026rsquo;s donor-funded flights to Donald Trump — 2026年1月26日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 14207 — 阿联酋，2025年12月6日至8日，\u0026ldquo;To attend the F1 and for meetings\u0026rdquo;；Government of Abu Dhabi £1,000，Abu Dhabi F1 £9,000。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13577 — Richard Tice，以色列，2025年9月26日至30日，捐赠方 RFOI Ltd，£6,250，\u0026ldquo;Education and meetings with President and Foreign Minister\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLondon Assembly — Alex Wilson, gifts and hospitality — \u0026ldquo;Reform UK Delegation to Israel including flights, accommodation and meals\u0026rdquo;，以色列外交部，£4,861.27。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLancashire Lead — Reform UK\u0026rsquo;s Lancashire leader takes Israel trip, cancelled meetings — 2025年11月30日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNovara Media — Israel spent £50k on lobbying trips for Reform — 2026年7月9日，援引 Declassified UK；代表团成员和行程。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Kemi Badenoch and Nigel Farage to speak at climate denial festival — 2025年2月，ARC 会议的演讲者名单。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Revealed: the Trump donors, Reform-backing billionaires and oil companies funding the Alliance for Responsible Citizenship — 2026年6月24日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Block — Lutnick\u0026rsquo;s Cantor Fitzgerald negotiated a 5% ownership stake in Tether, WSJ。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFortune — Tether names Bo Hines to run its US stablecoin — 2025年9月12日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — RFOI Limited (16521255), persons with significant control — 另见 officers；SIC 70210，公共关系。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHenry Jackson Society — Henry Jackson Society appoints Jason Pearlman as new Deputy Director — 2018年3月2日；\u0026ldquo;three and a half years as international media adviser to Israel\u0026rsquo;s President Reuven Rivlin\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJewish News — Jason Pearlman steps down as President\u0026rsquo;s media adviser。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJewish News — Nigel Farage\u0026rsquo;s party launching Reform Jewish Alliance and Friends of Israel groups — 2026年2月；Farage 谈 Pearlman：\u0026ldquo;a real coup\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCity AM — Top foreign policy analyst and Tory councillor jumps ship to Reform — 2025年11月；Henry Jackson Society 负责人 Mendoza 加入 Reform，\u0026ldquo;as its chief adviser on global affairs\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFitzrovia News — Second Westminster Conservative councillor defects to Reform UK — 2025年11月20日；Mendoza \u0026ldquo;co-founder and executive director\u0026rdquo;；Farage：\u0026ldquo;an excellent addition\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Lois Perry — Heartland Institute UK/Europe 成立活动，2024年12月，Farage 为 \u0026ldquo;special guest of honour\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Lois Perry — 2024年5月至6月任 UKIP 党魁；Heartland Institute UK/EU 执行董事。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Tamares Real Estate Investments (UK) Limited (02792424), officers — Roy Zabludowicz，1990年3月出生，自 2021年6月18日起任董事，与 Chaim Zabludowicz 同为董事。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Poju Zabludowicz — Tamares、BICOM、Soltam、对保守党的捐款。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeclassified UK — Friends of Israel groups have funded 56 trips for British politicians — 2025年11月26日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJTA — Reform UK deputy leader faces inquiry over Israel visit — 2026年8月4日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — Mr Richard Tice MP, rectification, Rule 6 — 2026年10月27日发布；\u0026ldquo;the failure to declare this interest was a breach of Rule 6\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — John Healey asks Nigel Farage if any of gift may have come from Russia-linked profits — 2026年5月22日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUnearthed (Greenpeace) — Christopher Harborne, jet fuel and Russian, Iranian oil — 2026年7月1日，与 The Times 合作。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Tice stayed with Tory donor Lubov Chernukhin — 2025年10月10日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNZ Herald — False Russian spy claim against top NZ businessman Christopher Chandler — 另见 Law.com，$8,000,001 的陪审团裁决，2024年10月22日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCNN — Reform UK faces criminal investigation — 2026年9月9日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Why is Farage\u0026rsquo;s Reform accused of violating UK foreign funding rules? — 2026年9月4日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Irish Times — Nigel Farage aides step down after undercover report — 2026年9月4日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuronews — Reform UK reported to police over claims of illegal donations — 2026年9月4日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChannel 4 News — Met Police launch criminal investigation into Reform UK donations — 2026年9月9日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHeart (Global) — Reform UK internal inquiry clears own adviser — 2026年10月7日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Farage on foreign funding claims — 2026年9月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — GB News — \u0026ldquo;Marshall and Legatum jointly own the company through All Perspectives Ltd., in which they each own around 40%\u0026quot;；董事长 Alan McCormick \u0026ldquo;a partner at Legatum\u0026rdquo;；£60 million 的启动融资。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — GB News reveals £22 million in new losses — 2026年3月；2024/25 年度亏损 £22m，开播以来累计超过 £130m，All Perspectives 再注资 £17.7m，收入 £26.2m。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe New World — The GB News Files (PDF) — 2026年3月；20 名审阅者；Farage 的 £585,000 及持股，Anderson 的 £100,000，Goodwin 的补选节目，Andrew Neil。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform canvasser filmed by Channel 4 — 2024年6月27日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Reform activists did not commit a criminal offence, police say — 2024年7月3日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Ofcom will not investigate Channel 4 over Reform UK undercover sting — 2024年7月3日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage claims bad apples are gone from Reform UK — 2024年6月30日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nITV News (archived) — Inside Reform: councillors\u0026rsquo; extreme and racist views on camera — 2026年10月14日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Undercover footage shows Reform activist claiming Muslims cannot be British — 2026年10月17日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Reform UK should take immediate action against racism, Burnham says — 2026年10月，附 Reform 的声明。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star — Reform UK kick Staffordshire County Council leader out of party — 2025年12月5日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe JC — Reform mayoral candidate suspended after likening Jewish security group to Islamists on horseback — 2026年3月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Nigel Farage on Sarah Pochin\u0026rsquo;s adverts remarks — 2025年10月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe National — Scottish Reform UK MSP who backed deporting Muslims elected — 2026年5月8日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform councillor expelled over posts — 2026年5月11日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Reform councillor charged over pothole post — 2026年7月；审判定于 2026年11月9日，当事人否认指控。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage under fire after saying Muslims do not share British values — 2024年5月26日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage condemned over call to ban public prayer for Muslims — 2026年3月19日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — Do Britons think Reform UK are racist? — 2025年9月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — What do Britain\u0026rsquo;s ethnic minorities think of British politics? — 2025年10月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform councillor\u0026rsquo;s whip restored — 2026年2月10日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBlog Preston — Politician in charge of Lancashire\u0026rsquo;s care homes — 2026年6月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Doncaster Reform councillor suspended over posts — 2026年2月15日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNovara Media — Reform quietly readmits suspended councillors — 2026年6月16日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — No charges to be brought against ex-Reform MP Rupert Lowe — 2025年5月14日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Four Reform councillors suspended after footage of tense meeting leaked — 2025年10月20日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIBTimes UK — ITV Exposure: Reform UK, Farage, Parry and vetting — 2026年10月16日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Daily Britain — ITV undercover Reform UK documentary — 2026年10月19日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBreakingNews.ie (PA) — Farage insists no case to answer on undeclared £5 million gift — 2026年5月6日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewswav — Reform accused of failing to condemn racism after councillor\u0026rsquo;s Nigerians post — 2026年5月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru (PA) — Jenrick blames Tory smear amid probe into leadership campaign donations — 2026年5月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIBTimes UK — Reform UK investigates members after ITV undercover report — 2026年10月15日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Reform councillors and the ITV sting — 2026年10月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGB News — Nigel Farage responds to Coutts — 2023年7月4日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — BBC apologises to Nigel Farage over Coutts report — 2023年7月24日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Spectator — Lowe brands Farage a \u0026lsquo;viper\u0026rsquo; after charges dropped — 2025年5月14日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru (PA) — Reform UK branded \u0026lsquo;sinister\u0026rsquo; for reporting journalists to police — 2026年10月22日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPress Gazette — Reform says it has reported ITV to the police — 2026年10月21日，附 NUJ 的声明。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChesney and Citron — Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security — California Law Review，2019 年。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSchiff, Schiff and Bueno — The Liar\u0026rsquo;s Dividend: Can Politicians Claim Misinformation to Evade Accountability? — American Political Science Review，2024 年。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCommittee on Standards in Public Life — The Seven Principles of Public Life。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons — Code of Conduct for Members, HC 1083 — \u0026ldquo;inspired and informed by the Seven Principles of Public Life\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSociety of Editors — Society calls for reversal of Reform UK ban in Derbyshire — 2026年10月1日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Reform become most referenced opposition party on BBC and ITV News at Ten — 2025年12月15日；Cardiff University，2025年9月：Reform 37，保守党 25；Farage 在 ITV 上 49。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Reform, with 0.7% of all MPs, featured in 25% of BBC\u0026rsquo;s recent 10pm news bulletins — 2025年11月2日；Cardiff University \u0026ldquo;Enhancing Impartiality\u0026rdquo; 研究，2025 年上半年，自由民主党 17%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru — Why isn\u0026rsquo;t the Greens\u0026rsquo; growing success reflected in media coverage? — 2026年2月28日，作者为 Cardiff University 研究人员 Maxwell Modell、Matt Walsh 和 Stephen Cushion；2025 年的头条报道数，BBC 以民调为依据的理由，绿党 11% 到 17%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC Editorial Guidelines — Impartiality — 原则 2.2.6 和 2.2.7。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — List of Question Time episodes, highest appearance makers — Farage 出场 38 次，每年 1.9 次；Clarke 1.4，Williams 1.7，Campbell 1.6，Harman 1.3，Kennedy 1.4。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Nigel Farage set for 38th appearance on Question Time — 2024年12月2日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProspect — GB News seems to have become Reform TV, and Ofcom hasn\u0026rsquo;t stopped it — Alan Rusbridger，2026年3月21日；Marshall 与 Legatum，Habib 与 Lowe，Ofcom 放弃对 Farage 的调查。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Legatum — \u0026ldquo;a private investment firm, headquartered in Dubai\u0026rdquo;，2006 年由新西兰出生的 Christopher Chandler 创立，GB News 的共同所有者。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Nerve — For GB News\u0026rsquo;s funders, a £130m loss is a small price to pay for vast influence — 自 2021 年年中以来亏损 £131m，截至 2025年5月的一年亏损 £22m。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolitical Parties, Elections and Referendums Act 2000, section 54 — 合规的公司捐款人必须根据 Companies Act 2006 注册，\u0026ldquo;incorporated within the United Kingdom\u0026rdquo;，并开展 \u0026ldquo;business in the United Kingdom\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfcom — Ofcom fines GB News £100,000 — 2024年10月31日；Rules 5.11 和 5.12，\u0026ldquo;the seriousness and repeated nature of this breach\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMishcon de Reya — High Court quashes Ofcom\u0026rsquo;s decisions against GB News — 2025年2月28日关于 Rees-Mogg 节目的判决。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSnopes — Did Trump say \u0026lsquo;I love the poorly educated\u0026rsquo;? — 内华达州党团会议胜选演讲，2016年2月23日；评定为引述属实。另见 The Week。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPew Research Center — Behind Trump\u0026rsquo;s 2024 victory: voting patterns of validated voters — 2025年6月；无大学学历的选民支持 Trump 领先 14 个百分点，大学毕业生支持 Harris 领先 16 个百分点。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — How Britain voted in the 2024 general election — Reform 在学历为 GCSE 或以下的人群中得票 23%，在更高学历人群中得票 8%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — How would Britain vote two years since the 2024 election? — 2026 年；Reform 在 GCSE 或以下人群中为 40%，在大学毕业生中以 14% 排第五。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGood Morning America (ABC) — Trump calls media \u0026rsquo;enemy of the American people\u0026rsquo; — 2017年2月17日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMiddle East Eye — Reform UK bans Middle East Eye journalist from party conference — 2026年9月2日；《卫报》的 Anna Isaac 和 Peter Geoghegan 也被拒之门外。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Office — Nationality: good character requirement, version 7.0 — 2026年4月30日发布的审案人员指引：犯罪记录、恶名、\u0026ldquo;lack of frankness\u0026rdquo;、财务状况稳健。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCrown Prosecution Service — The Code for Crown Prosecutors — Full Code Test：先看是否有现实的定罪可能，再看公共利益。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFCA — Upper Tribunal upholds Crispin Odey ban — 2026年9月，\u0026ldquo;unfit to work in financial services\u0026rdquo;，罚款 £1,529,374；另见 Decision Notice，2025年3月。Odey 于 2023年8月4日向 Reform UK 捐赠的 £10,000，在 Electoral Commission 的记录编号为 C0572678。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission (via Wired-Gov) — Investigations concluded, 27th September 2022 — Reform UK，\u0026ldquo;Failure to deliver a complete campaign spending report\u0026rdquo; 和 \u0026ldquo;Late payment of claims\u0026rdquo;，\u0026ldquo;No sanction\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLocal Government Lawyer — Reform member found guilty over false statements about rival — 2026年4月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInformation Commissioner — decision notice IC-411617-G3G8, Kent County Council — 2026年7月16日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGB News — With Reform UK leading among disabled voters — Opinium，2025年3月：残障受访者中 Reform 29%，工党 20%（子样本 407 人）。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPoliticsHome — Labour seats at risk from Reform have higher rates of people relying on disability benefits — 2025年6月3日；Trussell 的分析，247 个选区中有 140 个位于前三分之一。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Spectator Australia — Can Reform really end benefits Britain? — 2026年8月；\u0026ldquo;every Reform MP has an electoral majority smaller than the number of PIP claimants living in their constituency\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via Eastern Eye) — One in five NHS staff in England are non-UK nationals — NHS Digital 2023年9月数据：员工的 20.4%，护士和健康访视员的 30%，医生的 36.3%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLocalGov — Social care vacancy rate falls to decade low but challenges ahead — 2026年6月24日，Skills for Care：由英国国民填补的岗位自 2020/21 年度以来减少 130,000 个。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCare Provider Alliance — The size and structure of the adult social care sector and workforce in England, July 2025 — Skills for Care 报告摘要：国际招聘人数从 2023/24 年度的 105,000 降至 2024/25 年度的 50,000。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/politics/who-is-reform-actually-for/","summary":"一篇关于英国改革党（Reform UK）的评论文章，依据是该党自己的文件和公开记录。它计划收回在这里生活、工作、纳税的人的无限期居留权。一份放过国家养老金、砍掉劳动年龄人口补助的福利方案。一家到 2025 年前一直归党魁所有的政党公司，以及一份只给党员留了一个意见箱的党章。方案会砍掉的在职 Universal Credit 领取者和护理者。75% 到 80% 的捐款来自住在海外的捐赠者，议会 2009 年通过却从未生效的居住地测试，以及欧洲委员会和政府自己的审查对这类钱怎么说。捐赠者的利益：Tether、QinetiQ、加密货币，以及在美国的认罪和赦免。500 万英镑的赠款，Farage 的收入和他当欧洲议会议员的记录，Tice 的房产和税务，Jenrick 的转向与 Westferry，与 Putin 和 Trump 的关联，谁为参加 Trump 就职典礼、去 Mar-a-Lago、阿布扎比和以色列的行程买单，RFOI Ltd、Ghandehari 信托和捐了 485,000 英镑的濒临破产的公司，付钱给 Farage 的加密公司和在加密诈骗中亏钱的养老金领取者，改革党在 BBC 上得到的报道和它在 GB News 上自己的位置，种族主义和纪律记录，以及 12 项“抹黑”中有 7 项被证明属实。然后回到标题里的问题。","title":"改革党到底为谁服务？钱、人与记录"},{"content":"同一份预算案，换一个厨房 2026 年预算案是被当作“喘息空间”（breathing space）推销出来的1。这篇文章只为一个家庭读它，别的不管。另有一篇配套文章，喘息空间给谁？，讲它对大公司做了什么，以及背后的税。\n一对夫妇，两人都已 67 岁或以上，过了国家养老金（State Pension）领取年龄，除了全额新国家养老金之外别无收入。那是每人每周 241.30 英镑2，两人一年合计 25,095 英镑。他们用燃气取暖，一年 13,375 kWh，因为一个用燃气锅炉供暖的普通家庭就用这么多。他们开一辆汽油车，一年 4,000 英里。市政税（council tax）A 到 D 档，在英格兰。没有储蓄收益，没有私人养老金，没有租金收入。\n先把这份收入说清楚。国家养老金是一项福利，HMRC 把它列在要缴所得税的国家福利之中3。他们一分税都不交，原因只有一个。所得税是按人计征的，所以两人各有自己的 12,570 英镑个人免税额（Personal Allowance）4，而全额新国家养老金一年是 12,547.60 英镑2。没有其他收入，每份养老金都比这条线低 22.40 英镑。这份养老金也不是他们存进去、一直放在那里等着他们的一笔钱。政府自己的描述是，它是“unfunded”和“Pay As You Go”的，并且“State Pension payments paid to current pensioners are financed from National Insurance contributions paid by current workers”5。他们为前面的养老金领取者出过钱，今天在工作的人为他们出钱。这份预算案对它的每一项改动，都是在决定一批人要付给另一批人多少钱。\n问题是，一份被当作“喘息空间”推销的预算案，给了他们一点喘息吗？给了一些，一次性的。然后它开始往回拿，而对他们收入最大的改动要到 2030 年才来。\n一对养老金夫妇的账本 预算案里每一项碰到他们的家庭措施，出自财政部自己的文件：\n措施 时间 适用于他们？ 每年价值 100 英镑家庭能源补贴，A 到 D 档 2027年1月 是 +£100，一次性 电费 0% 增值税，延长三个月 2027年4月至7月 是，2,500 kWh，每度 28 便士，没有电动车夜间低谷电价 约 +£11，一次性 5 便士燃油税减免延长六个月 至 2027年7月 是，汽油车 约 +£12，一次性 燃气固定费并入单价 2027 年底或更晚 是，而且用量大就吃亏 −£44 Gas Shipper Obligation 挪到一般税收 原定 2028 年 是，而且每份养老金都在免税额以下 约 +£5 电力固定费，价格上限下每天 54.83 便士，一年 200 英镑 “明年公布细节” 原样不动 £0 2 英镑公交票价上限 2027 年 否，他们本来就免费乘车 £0 Pension Credit 否，他们收入太高 £0 冬季燃料补贴（Winter Fuel Payment），每人 100 英镑 不变 是，但不是新的 变化 £0 所得税 至 2030年4月 不交，每人低于免税额 22.40 英镑 £0 三重锁调整 2030年4月 是 从 2030 年起涨幅变小 电全部按全价买。没有电动车，就没有值得用的便宜夜间电价，所以 Ofgem 的典型用量 2,500 kWh6 每一度都要约 28 便士。那是一年 700 英镑的电量费加 200 英镑的固定费，900 英镑三个月的 5% 增值税约为 11 英镑。\n加起来。2027 年这对夫妇大约多了 123 英镑，几乎全是那 100 英镑补贴。燃气改革一落地，他们每年就要少大约 39 英镑，年年如此。那 123 英镑三年多一点就没了。\n预算案对一对用燃气的养老金夫妇做了什么 一对用燃气的养老金夫妇，变化（英镑） 100 英镑家庭能源补贴，仅 2027 年 +£100 电费 0% 增值税，2027 年三个月 +£11 燃油税减免，再延长六个月至 2027年7月 +£12 取消 Gas Shipper Obligation，每年 +£5 燃气固定费并入单价，每年 −£44 从 2028 年起每年，所有措施合计 −£39 每一项改变这对夫妇收支的措施。有三项是 2027 年的一次性措施。会持续下去的两项，是燃气征费上的一点小收益和燃气固定费上一笔更大的损失，所以从 2028 年起他们每年少 39 英镑。 一次性的钱，第一个春天就花完了。会持续下去的是燃气改革，而它的方向是错的。\n燃气改革对他们起的是反作用 把燃气固定费并入单价，帮的是用气少的家庭。伤的是用气多的家庭，而这对夫妇用气多。\n对典型缴费家庭来说，燃气固定费一年 108 英镑1，按 10 月的价格上限是每天 29.68 便士7。预算案要求 Ofgem 改为“through gas unit rates instead”收回这笔钱1。摊到 Ofgem 的典型用量 9,500 kWh6 上，每度大约多 1.14 便士。\n每年用气量 现在的固定费 通过单价收回 差额 9,500 kWh，Ofgem 典型值 £108 £108 £0 13,375 kWh，这对夫妇 £108 £153 −£44 一对把家里好好烧暖的夫妇，每年要多付 44 英镑。而这恰恰是一对养老金夫妇冬天应该做的事。财政部知道这一点。它说“a number of households may be less able to make the most of the reform”，并承诺“targeted mitigation”（定向缓解）1。它没说缓解是什么、给谁、什么时候给。\n所以，被这项改革多收了钱的人，得到的是一句“帮助就要来了”，没有细节。这项改革给钱的人，比如我，自动就拿到了。\n氢能征费，反过来了 Gas Shipper Obligation 是一项原计划加在燃气账单上、用来给氢能出钱的征费。预算案取消了它，改由一般税收来为氢能买单1。对一个拿工资的家庭来说，这只是把账单从电表挪到了工资条上。\n对这对夫妇来说，这是实打实的好处，该怎样就怎样说。一项加在每一度燃气上的征费，会按他们烧多少气来收钱，而他们烧得很多。政府自己估计，平均家庭燃气账单一年会多出“approximately £2.60 - £4.50”8，按他们的用量约为 5 英镑。只靠全额国家养老金、别无收入，他们根本不交所得税，所以一般税收的版本对他们没有直接成本。他们仍然要交增值税和其他所有为它出钱的税，但比在电表上交的要少得多。\n这并不会让氢能变成一个更好的赌注。它只是把成本从烧气的家庭挪到了拿工资的家庭。\n汽油车得到减免，然后继续按里程交钱 汽油车得到了一点东西。原定 1 月结束的 5 便士燃油税减免，延长“by a further six months to 1 July 2027”1。\n燃油税延期，汽油车 数字 每年英里数 4,000 油耗，一辆普通小型汽油车 45 mpg，假设值 每年升数 约 404 延长的六个月里的升数 约 202 当前汽油泵价 每升 £1.97 每年油费 约 £796 5 便士减免加上对它征收的增值税 每升 6 便士，约占泵价 3% 这份预算案带来的节省 约 £12，一次性 所以，在一年约 796 英镑、每升 1.97 英镑的油费上，这次延期值 12 英镑。就算有减免，每年也有将近 800 英镑倒进了油箱。\n而且他们已经在交一种按里程计的税了。它叫燃油税。汽油每升交 52.95 便士9，燃油税上面还要再加增值税。按 45 mpg 算就是：\n按里程计的税 汽油车，燃油税 电动车，2028年4月起的 eVED 每英里 约 5.3 便士，含增值税 6.4 便士 3 便士10 4,000 英里 约 £214，含增值税 £257 £120 所以，新的电动车消费税（Electric Vehicle Excise Duty，eVED）并不是第一次出现的按里程计税。只要有燃油税在，汽油车司机每次加油都在交一份，税率还是 eVED 的两倍左右。预算案的 5 便士减免让它少了六个月。它没有让它停下。\n让人们继续用石油是糟糕的政策，这话我说过。但对这个家庭来说，它仍然是一点小小的、实在的好处。\n领 Pension Credit 嫌多，领别的又不够 这是一项在任何账单上都看不到的。Pension Credit（养老金补助）把一对夫妇的收入补到“£363.25 if you have a partner”11。这对夫妇两人每周合计 482.60 英镑。他们每周超出 119.35 英镑，所以申请不了，随之而来的一切也都拿不到。\n夫妇每周收入 金额 全额新国家养老金，两人 £482.60 Pension Credit 把一对夫妇补到 £363.25 超出这条线 £119.35 对面向最穷养老金领取者的帮助来说，他们太宽裕了。可仍然靠固定收入过活。而这份收入还得付一张刚被预算案加大了的燃气账单。冬季燃料补贴倒是能拿到，“£100 if you and the person you live with were both born between 28 September 1946 and 27 June 1960”12，两人合计 200 英镑。这份预算案没有改动它。\n2 英镑的公交票价上限他们也用不着。免费公交卡的领取年龄取决于你住在哪里13：\n地区 免费乘公交的起始年龄 苏格兰、威尔士、北爱尔兰 60 伦敦，仅限伦敦境内 60 伦敦以外的英格兰 国家养老金领取年龄，从 66 提高到 67 本文取最高的那个，因为英格兰大多数人适用的就是它。国家养老金领取年龄正在“between 2026 and 2028”从 66 岁提高到 67 岁14，所以在英格兰，公交卡现在要到 67 岁才来，比卡迪夫或格拉斯哥的养老金领取者晚了七年。这对夫妇已经过了这个年龄，所以免费乘车。这是实实在在的好处。只是它不是新的，而一对英格兰夫妇为它等得最久。\n驾照、眼镜，以及谁来付钱 超过 Pension Credit 那条线，损失的不止补助本身，因为太多别的帮助都挂在它上面。眼镜是最清楚的例子。\nNHS 视力检查对“anyone aged 60 or over”免费。眼镜不免费。NHS 配镜代金券发给的人群里，包括领取“Pension Credit Guarantee Credit”的人15。这对夫妇领不到 Pension Credit，所以拿不到代金券，眼镜只能自己掏钱。剩下的唯一途径是需要经济状况审查的 NHS 低收入计划（Low Income Scheme），那是一张要填的表，可能给部分帮助，也可能什么都不给。\n而驾照马上就要在这一点上施压了。交通部（Department for Transport）已经就“Introducing mandatory eyesight testing for older drivers”征询意见，对象是“drivers aged 70 and over”，作为“part of the driving licence renewal process”，取代“current self-declaration system”16。征询于 2026年5月11日结束，结果还没出来。它没说谁来付钱。验光师自己的行业组织说得很直白：“Any additional costs to cover the administration of this must be funded by the driver”17。\n超过 Pension Credit 线的老年司机 谁来付钱 视力检查 60 岁起 NHS 免费15 检查说需要的眼镜 他们自己，没有代金券15 强制驾照视力检查的任何行政费用 尚未决定，验光师说由司机付17 这些都不在预算案里，而这正是问题所在。一对靠固定收入过日子的夫妇留着那辆车，因为那是他们去商店、去诊所的方式。国家正在朝着让他们证明视力才能保住驾照的方向走，而让他们能通过检查的那副眼镜，和燃气账单一样，都出自同一份国家养老金。\n免受冻结影响，直到保护到期 在一个被冻结的免税额之下，那 22.40 英镑的余地，是让一份单独的国家养老金不用交所得税的全部原因。\n财政拖累在他们身上的作用方式不一样。在工作的人每年都以现金形式交它，因为每一次加薪都落进了一个本该上调的税档。这对夫妇现在什么都不交，因为他们全部收入都在免税额之下。冻结从他们身上拿走的是余地。用法律自己的指数化规则18去套 ONS 9 月的通胀数字19，免税额会是这样：\n纳税年度 个人免税额，指数化 冻结 高出一份国家养老金的余地，指数化 余地，冻结 2026-27 £16,080 £12,570 £3,532 £22 2027-28 £16,650 £12,570 £3,663 −£417 2027-28 这一行假设三重锁只按 9 月 3.5% 的通胀上调，这是它最少要给的。这会把全额新国家养老金提高到每周 249.75 英镑，一年 12,987 英镑，让他们每人都超出冻结的免税额 417 英镑。按 20% 算，每人约 83 英镑，夫妇合计 167 英镑，年年如此，而这笔税之所以存在，完全是因为冻结。如果指数化，一份国家养老金根本不会碰到所得税。\n所以，对一个养老金领取者来说，这种拖累不会以账单的形式出现。它以一项新的减免的形式出现。预算案从 2027年4月起引入养老金免税额（Pension Tax Allowance），让那些“with incomes at or under the value of the full new State Pension will not be brought into paying tax because of State Pension uprating in this Parliament”的养老金领取者不用交税1。\n这是给冻结挖出来的坑打的一块补丁，这样做是对的。现在看看日期：\n截止 养老金免税额 “6 April 2027 until 5 April 2030”1 个人免税额冻结在 12,570 英镑 2031年4月5日4 保护比冻结早一年结束。对 2030-31 年度，财政部只说它“will consider arrangements beyond April 2030 in the usual way”1。所以，一对只靠国家养老金的夫妇有一年时间，按今天写下的规则，冻结可能会让他们开始交所得税，而对此的补救是一个以后再考虑的承诺。\n加上一份 790 英镑的职业养老金，财政拖累就把它拿走 现在给其中一人加上一份职业养老金。自动加入（auto-enrolment）在他们退休前四年才覆盖到他们，雇主只缴了法律强制它缴的，自 2019年4月起是合格收入的 3%20。按法定最低标准缴四年，能买到一份每年约 790 英镑的年金。现在退休的人里，有很多人大概就是这么多，因为他们从来只拿到最低标准，而且来得太晚，攒不出更多。\n另一位伴侣不变。下面是这 790 英镑对拿到它的那个人值多少：\n纳税年度 收入 超出免税额 所得税 790 英镑年金，到手 2026-27 £13,337.60 £767.60 £153.52 £636.48 2026-27，如果免税额指数化 £13,337.60 £0 £0 £790 2027-28，冻结，有养老金免税额 £13,777 £1,207 £158 至 £241 £549 至 £632 2027-28，如果免税额指数化 £13,777 £0 £0 £790 2030-31 起，养老金免税额取消 至少 £13,777 至少 £1,207 至少 £241 至多 £549 先看指数化的那几行。如果免税额随物价调整，今年 16,080 英镑，明年 16,650 英镑，这份年金一分税都不用交，而且还剩 2,700 英镑或更多的余地。这张表里的每一英镑税，都是财政拖累，别无其他。没有任何税率上调。免税额原地不动，而国家养老金涨上去顶到了它。\n今年，这 790 英镑让他们的收入超出冻结的免税额 767.60 英镑，其中 20% 是 153.52 英镑。\n从 2027年4月起，养老金免税额也救不了他们。它只给收入“regardless of source, is below or at the value of the full new State Pension”的养老金领取者，对“just above”的人，它会“gradually withdrawn through a taper”1。财政部还没公布递减的具体方式，所以这笔税介于 158 英镑（仅年金部分的 20%）和 241 英镑（超出冻结免税额全部金额的 20%）之间。从 2030年4月起，养老金免税额结束而冻结没有结束，于是就是 241 英镑或更多，并且随着国家养老金的每一次上涨而增长。\n他们不会收到一张账单。HMRC 通过私人养老金来征收国家养老金上欠的税：“you\u0026rsquo;ll usually pay more tax to include any tax you need to pay on your State Pension. Your tax code will change to collect this”21。所以年金到手时已经被扣过了，241 英镑里有 83 英镑是通过它把国家养老金的税收回去。这是从一份 790 英镑的年金里拿走 31%，而不是看上去应该的 20% 基本税率。\n我能问一下，为什么一个照别人说的去做、在职业养老金计划为他存在的那四年里一直留在计划里、存了钱的人，最后落得国家养老金通过他的储蓄被征税？雇主缴了最低标准，因为最低标准就是它必须缴的全部。政府冻结了免税额，因为冻结能弄到钱又不上头条。两者加在一起，一份小小的养老金每年被拿走将近三分之一，而一个指数化的免税额本来会让它一分不少。\n三重锁在 2030 年被拆掉 对这对夫妇收入最大的改动不在账本里，因为它要到 2030年4月才开始。\n在那之前，国家养老金按“by the highest of 2.5%, inflation or earnings growth”上涨1。从 2030年4月起，它按“by the highest of 2.5%, inflation, or the amount required to maintain its value relative to earnings as reached in April 2029”上涨1。财政部管这叫去掉“ratchet”（棘轮）。这对财政部值多少，用它自己的话说：\n调整后的三重锁，国家养老金支出的减少 财政部估计 到 2030 年代末 每年 150 亿英镑 到 2040 年代末 每年 500 亿英镑 这笔钱不是凭空来的。它来自原本会发放的国家养老金涨幅，也就是来自每一个靠它生活的养老金领取者的收入。预算案说它将资助一个国家护理服务（National Care Service），个人护理“free at the point of use”1，这很可能是值得拥有的。但为它出钱的人，正是将来需要它的同一批人，而本文里的这对夫妇最先付钱，付在 2030 年起每一次比原本该有的更小的涨幅里。\n锅炉什么都没得到 这正是保温和热泵资金最能帮上忙的那种房子。\n一对每年用 13,375 kWh 燃气的夫妇，正是温暖家园计划（Warm Homes Plan）的服务对象。这份预算案从它的资本补助里拿走 10 亿英镑去给国防买单1。它把热泵补助维持在每年 4 亿英镑1，每台热泵 7,500 英镑22。它还让保温、热泵、太阳能和电池安装的增值税从 2027年4月起由 0% 回升到 5%23。\n什么能让他们的账单永久降下来 预算案做了什么 保温 增值税回升到 5%，温暖家园补助削减 10 亿英镑 热泵 补助持平，增值税回升到 5% 太阳能和电池 增值税回升到 5% 靠固定收入、没有储蓄，没有帮助的话，这些设备一样都买不起。所以这对夫妇留着燃气锅炉，继续烧 13,375 kWh，付固定费改革带来的更高单价，然后等着下一个冬天的 100 英镑。\n固定收入没法靠多干活脱身 一个在工作的家庭可以多接点活、换工作，或者自己掏钱装太阳能和电池。一对靠固定收入的养老金夫妇这些都做不到。他们的收入在政府动它的时候才动，而从 2030 年起它会动得更少。他们的能源账单由一个市场决定，这份预算案给这个市场补贴而不是修好它，而唯一一项直接碰到他们账单的改革，每年让他们多花 44 英镑，“targeted mitigation”那一栏还空着。\n他们需要的，是这份预算案里没有人愿意一次性出钱去做的那件事：把他们的房子做好保温，把锅炉换掉，让账单降下来，并且一直保持在低位。他们得到的却是 100 英镑，由所有人出钱，经由市政税转到同样那些能源公司手里，明年还得再来一次。这不是喘息空间。这是被留在同样的老燃气上，付同样的老价钱，一个冬天熬过一个冬天。\nHM Treasury — Budget 2026: Breathing Space for Today, Fresh Hope for the Future — 2026年10月28日提交议会的预算案报告。三重锁见 1.28、1.29、5.23 和 Box 5A；养老金免税额见 3.19 和 6.182；能源措施见 3.4 至 3.9 和 6.24 至 6.27；燃油税见 3.13 和 6.211；Warm Homes Plan 和锅炉升级计划（Boiler Upgrade Scheme）见 4.36。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — The new State Pension: what you\u0026rsquo;ll get — “The full rate of new State Pension is £241.30 a week.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Income Tax: taxable and tax-free state benefits — 国家养老金列在应纳税的国家福利之中。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Maintaining the Personal Allowance and basic rate limit until 5 April 2031 — 个人免税额维持在 12,570 英镑，“until 5 April 2031”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Third State Pension age review: independent report call for evidence — 国家保险基金（National Insurance Fund）支付国家养老金；“this is unfunded and is often referred to as a “Pay As You Go” system”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Summary of changes to the energy price cap, revised TDCV — 2026年7月1日起的典型家庭用量：“2,500 kWh of electricity, 9,500 kWh of gas”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Changes to energy price cap between 1 October and 31 December 2026 — 燃气固定费每天 29.68 便士，单价 7.97 便士/kWh，含增值税；电费单价 26.32 便士/kWh，固定费每天 54.83 便士，至 2027年3月31日不含增值税。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Gas Shipper Obligation analytical annex — 2028 至 2037 年，平均家庭燃气账单每年“approximately £2.60 - £4.50”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Tax on shopping and services: Fuel Duty — 汽油、柴油、生物柴油和生物乙醇“52.95 pence per litre”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHM Treasury — Electric Vehicle Excise Duty (eVED) — 自 2028年4月1日起，电动车每英里 3 便士，插电混动车每英里 1.5 便士。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Pension Credit: what you\u0026rsquo;ll get — 把“your joint weekly income to £363.25 if you have a partner”补足。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Winter Fuel Payment: how much you\u0026rsquo;ll get — 夫妇两人都出生于 1946年9月28日至 1960年6月27日之间、且未领取相关福利的，每人 100 英镑。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Apply for an older person\u0026rsquo;s bus pass — 在英格兰“free travel when you reach the State Pension age”；在伦敦、威尔士、苏格兰和北爱尔兰为 60 岁。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — State Pension age timetable — “The State Pension age for men and women will now increase to 67 between 2026 and 2028.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNHS — Free NHS eye tests and optical vouchers — 60 岁或以上的人免费验光；配镜代金券发给领取 Pension Credit Guarantee Credit 的人和其他列明的群体，不单凭年龄发放。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Transport — Introducing mandatory eyesight testing for older drivers — 意见征询，2026年1月7日至 2026年5月11日，结果待公布。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAssociation of Optometrists — response on mandatory eyesight testing for older drivers — 2026年5月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 57 — 个人免税额按 “the consumer prices index for the September before the start of a tax year” 调整，并取整 “up to the nearest amount which is a multiple of £10”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nONS — CPI annual rate, all items, series D7G7 — 9 月数据：2021 年 3.1%，2022 年 10.1%，2023 年 6.7%，2024 年 1.7%，2025 年 3.8%，2026 年 3.5%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Workplace pensions: what you, your employer and the government pay — 自 2019年4月起，雇主最低缴 3%，最低总缴费 8%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Tax when you get a pension: how your tax is paid — 如果你领取私人养老金，“Your tax code will change to collect”你国家养老金上的税。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Boiler Upgrade Scheme: what you can get — 空气源或地源热泵补助 7,500 英镑。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — VAT on energy-saving materials and heating equipment (VAT Notice 708/6) — 零税率“from 1 May 2023 to 31 March 2027”，适用于保温、热泵、太阳能板和电池。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/politics/breathing-space-on-a-state-pension/","summary":"2026 年预算案对一对只靠全额新国家养老金生活的夫妇做了什么：两人一年合计 25,095 英镑，用燃气给家里供暖，一年 13,375 kWh，开一辆汽油车，一年跑 4,000 英里。一份依据英国财政部（Treasury）自己文件的账本：100 英镑的家庭能源补贴（Household Energy Payment），电费 0% 增值税，燃油税减免，燃气固定费并入单价、这让燃气用量大的家庭多花钱，以及 Gas Shipper Obligation（燃气运输商义务）挪到一般税收、这一次倒是帮了忙。然后是账单上看不到的东西：每周收入高出 119 英镑，因而够不上 Pension Credit（养老金补助）和随之而来的配眼镜补助；正在征询意见的老年司机强制视力检查；财政拖累（fiscal drag）拿走的是他们在个人免税额（Personal Allowance）之下的余地而不是现金；一项用来打补丁的养老金免税额（Pension Tax Allowance），比冻结早一年到期，还会对一份 790 英镑的职业年金征税，而如果免税额随物价调整，这份年金根本不用交税；从 2030年4月起调整的三重锁（Triple Lock），到 2030 年代末每年为财政部省下 150 亿英镑；以及本来最能帮到他们的保温和热泵资金，被削减或被征税。","title":"靠国家养老金过日子的喘息空间：从一对用燃气的养老金夫妇看 2026 年预算案"},{"content":"在我家厨房里读这份“喘息空间”预算案 2026 年预算案今天发布，标题是 Breathing Space for Today, Fresh Hope for the Future（今天的喘息空间，未来的新希望）1。它的卖点是帮你付能源账单、帮司机、帮商业街，钱由银行和有储蓄、有租金收入的人来出。\n所以我做了我对任何一张账单都会做的事。我读了文件，按我自己家算了一遍。\n对干我这行的人来说，这房子相当普通。40% 税率纳税人。我在家办公，但另一半还要开车去办公室，所以电动车一年跑大约 20,000 英里。屋顶有太阳能，车库里有电池，从电网买进来的每一度电都是 7 便士的谷时电价。燃气还接着，但只剩热水和少量供暖，一年大约 5,350 kWh。市政税（council tax）A 到 D 档，在英格兰。没有储蓄收入，也没有租金收入，因为我们这么大的房贷，月底一分都剩不下来存。\n这些设备没有一样是补贴来的。为了降低自家账单，我掏的是自己的钱：太阳能、电池、电动车，还有一年一年把燃气用量压下来。我这么做是为了自立，不是指望拿补贴，现在也不伸手要。我期待的只是，别因为我做了这些就让我多交钱。\n问题是，这样一栋房子，从这份预算案里除了税单还能拿到什么？基本拿不到。下面是算法。\n下面每一个数字都出自财政部自己的文件、Ofgem（英国天然气与电力市场监管局）、HMRC（英国税务海关总署），或政府自己的咨询文件，不是出自演讲，也不是出自媒体报道。今天流传的一份预算案摘要有好几处说错了，凡是错的地方我都指了出来。\n一栋像我家这样的房子的账本 这是预算案里每一项可能碰到这栋房子的家庭措施，以及它在这里值多少钱。正号是进账，负号是出账。\n措施 时间 这里适用吗？ 每年价值 100 英镑家庭能源补贴，英格兰 A 到 D 档 2027年1月 适用 +£100，仅一次 电费 0% 增值税，延长三个月 2027年4月到7月 适用，但进口电全是 7 便士谷电 几英镑，仅一次 燃气固定费，每天 28.75 便士，并入单价 2027 年底或更晚 适用，用得少的人占便宜 +£46 电力固定费，每天 56.61 便士，一年 £207 “细节明年公布” 原封不动 £0 Gas Shipper Obligation 挪到一般税收 原定 2028 年 从账单上拿掉，加到税上 约 £0，换个方式付 燃油税减 5 便士延期 到 2027年7月 不适用，这是电动车 £0 免税里程补贴提高到 55 便士和 35 便士 2027年4月 不适用，通勤不算2 £0 公交票价 2 英镑封顶 2027 年 不坐公交 £0 更便宜的本地公共电动车充电桩 2027 年春 不适用，在家充电 £0 储蓄和房产收入税率上调 2 个百分点 2027年4月 没有储蓄，没有租金收入 £0 现金 ISA 维持 20,000 英镑 2027 年 不适用，没有余钱可存 £0 Lifetime ISA，Your First Home 2027 年 不适用，我们的房子早就是自己挣来的 £0 电动车消费税（Electric Vehicle Excise Duty，eVED），每英里 3 便士，20,000 英里 2028年4月 适用 −£600，随 CPI 上涨 所得税起征点冻结，财政拖累 到 2031年4月 适用 今年最多 −£3,544，2027-28 年 −£4,112 加起来。2027 年这房子能多出 100 来英镑，几乎全部来自那一笔 100 英镑的补贴。从 2028年4月起，每年的措施稳定在每年亏大约 554 英镑，年年如此，还随通胀上涨。光 eVED 一项每月就拿走 50 英镑，所以那 100 英镑在它开征两个月后就没了，而且再也回不来。这还没算财政拖累，单这一项今年就能让一个 40% 税率纳税人多付最多 3,544 英镑。\n燃气上省了一点，电力上一分没省 该肯定的要肯定。这一项是真正的好处，而且和我自己原先的立场相反。\n按财政部自己的数字，典型用户的燃气固定费是一年 108 英镑1。Ofgem 10 月的价格上限把燃气固定费定在每天 29.68 便士，也是这 108 英镑3。不管你烧很多燃气还是几乎不烧，都得付这笔钱，这对一栋一直在压燃气用量的房子来说正好是反的。\n预算案要求 Ofgem 取消家庭账单上的这项收费，“目标是在 2027 年底前或此后尽快实施”，供应商改为“通过燃气单价”收回这笔成本1。\n细节还没定，所以这是估算，不是报价。如果把这 108 英镑摊到 Ofgem 典型家庭的 9,500 kWh 上4，每 kWh 大约多 1.14 便士。按 5,350 kWh 算，这房子通过单价交回大约 61 英镑，同时不再付 108 英镑的固定费。按价格上限算，一年大约省 47 英镑。这房子自己的套餐是每天 28.75 便士，一年 105 英镑，同样的算法下来是一年大约省 46 英镑。\n每年燃气用量 现在的固定费 通过单价收回 差额 5,350 kWh，本屋用量，按价格上限 £108 £61 +£47 9,500 kWh，Ofgem 典型值 £108 £108 £0 14,000 kWh，一栋大老房子 £108 £160 −£52 盈亏平衡点就是典型家庭。用得少的人赢，用燃气给一栋漏风的大房子供暖的人输，财政部自己也承认这一点，说“部分家庭可能较难充分受益于这项改革”，并承诺“有针对性的缓解措施”1。正因如此，这是一项公平的改革，它奖励的是已经省下来的家庭。这 46 英镑我收下了。\n再说另一项。对一栋有太阳能和电池的房子来说，要紧的固定费不是燃气那项，而是电力固定费。这房子每天付 56.61 便士，10 月价格上限是 54.83 便士3，一年 207 英镑，差不多是燃气固定费的两倍。你自己发的电、存的电越多，这笔固定费在电费里占的比例就越大，因为不管你从电网买 3,000 kWh 还是 30 kWh，它都要全额付。按这房子付的 7 便士谷电价，207 英镑固定费相当于大约 2,950 kWh 电的价钱，一度电还没进门就先付了。\n电费 0% 增值税在这里也没多大用。增值税是按 7 便士收的，所以本来每 kWh 就只有 0.35 便士。延长三个月，固定费上大约值 2.50 英镑，每进口 100 kWh 再值 35 便士。便宜的谷电才是省钱的地方。增值税减免只是上面的零钱。\n预算案没有把电力固定费并入单价。它只承诺“改革电力固定费”，细节“明年”公布1。所以这项改革奖励了少用燃气的家庭，而自己发电的家庭，账单上最大的那笔固定费原封不动。\n氢能征费挪了地方，并没有消失 预算案把取消 Gas Shipper Obligation（燃气运输商义务）列为“为企业和家庭节省开支”1。这不是节省。这是同一张账单，寄到了另一个地址。\nGas Shipper Obligation 是一项计划中的征费，还没开始实施。它自己的咨询文件称其为“Hydrogen Production Business Model（氢气生产商业模式）的资金机制”5，向燃气运输商收取，再按燃气用量转嫁下去，政府估算 2028 年到 2037 年间平均每户每年的成本“约 2.60 至 4.50 英镑”6。按这房子的燃气用量，一年大约 2 英镑。\n预算案在它还没进任何账单之前就把它取消了。取而代之的是：“Hydrogen Allocation Round 1（第一轮氢能分配）的资金将通过 2027-28 年度 DESNZ RDEL 增加 2,700 万英镑来解决”，以及政府将用公共资金支持未来的氢能合同，“前提是政府作出承诺，并以物有所值为条件”1。\n所以氢能照样有人买单。明年是从一般税收里出 2,700 万英镑，而“用公共资金支持”未来合同的承诺根本没有上限。我们全都还在付，只是从电表换成了报税表。\n而通过哪一边付，是有区别的。按每单位燃气收的征费，是按你烧多少燃气来收，所以一栋燃气只剩热水的房子付得很少。一般税收是按收入来收。对一个少用燃气的 40% 税率纳税人来说，这正好反了：燃气账单上少了 2 英镑，一部分成本又按高税率加了回来。占便宜的是燃气大户，首先是大型工业厂区，因为按单位收的征费本来会向他们收得最多。\n今天流传的那份摘要还错了另外两处。这项征费从来没出现在任何人的账单上，因为它还没开始。而且它的钱也不是给石油和天然气公司的。\n这是第一轮的十一个项目，来自政府自己的名单7：\n项目 主要开发商 产能 Barrow Green Hydrogen Carlton Power 21.0 MW Bradford Low Carbon Hydrogen Hygen 24.5 MW Cromarty Hydrogen Scottish Power 和 Storegga 10.6 MW Green Hydrogen 3 HYRO 10.6 MW HyBont Marubeni Europower 5.2 MW HyMarnham JG Pears 和 GeoPura 9.3 MW Langage Green Hydrogen Carlton Power 7.0 MW Tees Green Hydrogen EDF Renewables Hydrogen 5.2 MW Trafford Green Hydrogen Carlton Power 10.5 MW West Wales Hydrogen MorGen Energy 和 Trafigura 14.2 MW Whitelee Green Hydrogen Scottish Power 7.1 MW 每一个都是电解氢，用电制造。开发商是电力公司、可再生能源子公司和大宗贸易商。BP、Shell 以及北海的其他公司都不在名单上。\n氢能是一个押错了的赌注 第一轮的协议价是“加权平均执行价 241 英镑/MWh”，将支付“超过 20 亿英镑的收入支持”7，换来 125 MW 的产能。\n把这个执行价换算成家庭用户的说法。每 MWh 241 英镑就是每 kWh 24.1 便士。10 月价格上限下的燃气是每 kWh 7.97 便士，含增值税3。所以买这些氢的价格，是家庭为它要替代的燃气所付价格的三倍，而那 20 亿英镑就是用来填这个差价的，因为它靠自己按市场价根本卖不出去。Gas Shipper Obligation 本来就是干这个的。它是给一种没法竞争的燃料的补贴，挪到一般税收上，补贴还在，变的只是谁来签支票。\n那么纳税人到底在买什么？\n再看一遍那份名单。每个项目都是用电来制氢。所以计划就是：拿电，把水变成气体时损失一大块，再把气体用管道到处输送，然后烧掉。与此同时，同样的电送进热泵，出来的热量接近三倍：\n1 kWh 电能做什么 结果 驱动空气源热泵，742 户英国家庭的中位数 2.8 kWh 热量，280%8 改为制氢再燃烧取暖 同样的热量需要“五到六倍的电”9 这些数字来自研究，不是我编的。一项对 32 份独立研究的综述发现，氢能供暖比热泵效率更低、每单位热量更贵，按报道的说法，它“用于给住宅和建筑供暖完全没有道理”9。热泵的效率能超过 100%，因为它搬运热量而不是制造热量。氢永远做不到，因为它从电开始，每一步都要损失一些。\n所以氢能是浪费时间和金钱，这个国家应该走向 100% 电气化：热泵，以及其他每用一单位电能就能拿到超过一单位热量的设备，再加上路上的电动车。预算案做的正好相反。它让热泵补贴原地不动，从 Warm Homes 里砍掉 10 亿，还承诺用公共资金支持政府将来签的每一份氢能合同，上面一个上限都没写。\n一项抵过其他所有的道路税 现在说真正让这房子掏钱的那一项，预算案对它为什么存在说得相当坦白。它把电动车消费税列为“加强税基……以应对燃油税收入的长期下降”的一部分1。\neVED 是在 2025 年预算案中宣布的，这份预算案确认了它，还配上了一个里程估算工具和一个可自愿加入的“eVED Connect”，直接从车上读取你的里程1。税率是“纯电动车每英里 3 便士”和“插电混动车每英里 1.5 便士”，从 2028年4月1日起征，2029-30 年起随 CPI 上涨10。\n一年 20,000 英里就是 600 英镑。每年都要交，还挂钩通胀。这些里程大部分是去办公室的通勤，而预算案提高的免税里程补贴，不覆盖“往返你的工作地点，除非那是临时工作地点”的出行2。所以通勤吃到了新税，却拿不到任何减免。\n拿它和燃油税那一行比一比。5 便士的减税现在已经是第六次延期了1：\n同一份预算案，两辆车 汽油车或柴油车 这辆电动车 燃油税减 5 便士及推迟 RPI 上调，13.55 亿英镑 拿到 £0 2028年4月起的 eVED 不收 每英里 3 便士，20,000 英里一年 £600 照政府要求去做了的那户人家，正是它现在回过头来要钱的对象。\n燃油税减免至少能帮人们换到更便宜的出行方式吧？看看 Table 6.1（表 6.1）里的交通资金流向哪里1：\n表 6.1 中的交通措施 成本 把人推向 燃油税减 5 便士及推迟 RPI 上调 13.55 亿英镑，两年 汽油和柴油 提高免税里程补贴 2.3 亿英镑，两年 多开公务里程 公交票价 2 英镑封顶 2.3 亿英镑，两年，从能源预算出 公交 更便宜的本地公共电动车充电桩，方式尚未确定 1 亿英镑，两年，之后没了 电动 取消 Carbon Price Support（碳价支持） 2.35 亿英镑，从 2028 年起五年 更便宜的化石燃料发电 它没有解决向更便宜出行方式的转变。它是花钱让人继续用油。燃油税是一个价格信号，而在柴油“2026年10月超过每升 2 英镑”的情况下1，财政部选择再一次把它钝化，而不是把钱花在摆脱它的路上。公交封顶和充电桩加起来，拿到的大约是加油泵那边的四分之一，而充电桩的钱连一个具体方案都还不是。它是 1 亿英镑，用来从 2027 年春天起“降低本地低功率公共充电桩的成本”，对在路边充电的司机来说“每年约 150 英镑”，由交通部（Department for Transport）“在适当时候公布下一步”。让这些司机在公共充电桩上用自己家里的电价，这才是真正的解决办法，而它只得到一个工作组，去“探讨”一个“需要时间考虑的复杂提案”1。每延期一次，下一次就更难结束，而早已离开石油的家庭，正在为此交按里程计的税。\n财政拖累，一项没人宣布的加税 对一个 40% 税率纳税人来说，最大的一笔税根本不需要新宣布，而它现在已经能花掉接近 eVED 六倍的钱。这就是财政拖累。\n个人免税额（Personal Allowance）和基本税率上限被固定在“2021年4月6日的水平”，现在要维持到“2031年4月5日”11。这就是十年停在 12,570 英镑，高税率起点停在 50,270 英镑，而预算案自己都说“如今的消费价格比 2020 年平均水平高出约 33%”1。每一次只够跟上物价的加薪，都会把你更多的收入推进 40% 那一档。你的工资没有更值钱，你却要为它交更多的税。\n财政拖累，按政府自己的数字 起征点固定在 2021年4月6日的水平 冻结到 2031年4月5日，十年 2020 年以来的物价 高出约 33% 仅 2028 至 2031 年延期带来的额外税收 每年 33.65 亿、77.80 亿，然后 124.35 亿英镑 到 2030-31 年被拉进所得税的人数 700,000 收入那一行是财政部自己的测算11，它显示拖累在不断加大，因为每冻结一年，都叠加在前一年之上。\n那么，如果起征点从未冻结，它们会在哪里？法律早就写好了怎么算。两者每年 4 月都按“该纳税年度开始前那个 9 月”的消费价格指数上调，个人免税额向上取整到下一个 10 英镑12，基本税率上限向上取整到下一个 100 英镑13。下面就是用 ONS（英国国家统计局）自己的 9 月数据跑这条规则的结果，3.1%、10.1%、6.7%、1.7%、3.8% 和 3.5%14：\n纳税年度 个人免税额，按指数调整 高税率起点，按指数调整 冻结在 额外所得税，40% 税率纳税人 2022-23 £12,960 £51,860 £12,570 和 £50,270 £396 2023-24 £14,270 £57,170 £12,570 和 £50,270 £1,720 2024-25 £15,230 £61,030 £12,570 和 £50,270 £2,684 2025-26 £15,490 £62,090 £12,570 和 £50,270 £2,948 2026-27 £16,080 £64,480 £12,570 和 £50,270 £3,544 2027-28 £16,650 £66,750 £12,570 和 £50,270 £4,112 高税率起点现在应该是 64,480 英镑，而不是 50,270 英镑。这就是 14,210 英镑的收入，现在按 40% 征税，而按法律本来该按 20% 征税，或者根本不征。\n额外税收那一列针对的是收入高于调整后起点、低于 100,000 英镑的 40% 税率纳税人。个人免税额每多一英镑省 40 便士，基本税率区间每多一英镑省 20 便士，所以 2026-27 年是 3,510 英镑按 40% 加上 10,700 英镑按 20%。把截至 2027年4月的五年加起来，就是 11,292 英镑，这还没宣布任何一项新税。这里只算所得税，没算国民保险（National Insurance），因为把国民保险上限按指数调整，会让同样的收入有更多部分按 8% 而不是 2% 缴纳，方向正好相反。\n没有人每年站出来宣布它。这是一个 40% 税率纳税人交得最稳当的税，也正是这份预算案选择不碰的那一项。\n而低收入者最先为它买单 按英镑算，40% 那一档在冻结中损失最多。但看看它咬谁咬得最狠。下面是同一条规则用在 2026-27 年四位劳动者身上，只算所得税：\n劳动者，2026-27 年 现在交的所得税 如果起征点跟上物价 每年多交 占工资比例 兼职，£16,000 £686 £0 £686 4.3% 全职，拿国家生活工资（National Living Wage），£23,132 £2,112 £1,410 £702 3.0% £40,000 £5,486 £4,784 £702 1.8% 40% 税率纳税人，£70,000 £15,432 £11,888 £3,544 5.1% 要看的是那位兼职者。每一个收入在 12,570 英镑到 16,080 英镑之间的人，现在都在为法律本来不会碰的钱交所得税，而政策文件预计冻结将“到 2030 至 2031 年把 700,000 人拉进所得税”11。一个 40% 税率纳税人扛得住 3,544 英镑，发几句牢骚而已。16,000 英镑里的 686 英镑，从来就不是闲钱。而且国民保险也从同样冻结的 12,570 英镑起征，所以低收入者还要在上面再交一份。\n现在说预算案确实希望你看到的头条。国家生活工资将在 2027年4月从现在的每小时 12.71 英镑15涨到 13.21 英镑，“相当于一名全职劳动者的年税前收入增加 910 英镑”1。在同一年，即 2027-28 年，冻结的个人免税额从这同一位劳动者身上多拿走 816 英镑的所得税，比法律本来规定的多。涨薪是真的。财政部已经把它的大部分花掉了。\n然后是它选择保护的人。从 2027年4月起，新的养老金免税额（Pension Tax Allowance）意味着，“收入等于或低于全额新国家养老金的”养老金领取者，“不会因为本届议会期间国家养老金上调而被纳入纳税范围”1。这是对冻结的修补，而且是公平的修补。我能问一句，为什么它只管养老金领取者？一个收入相同、为此干满一整周的劳动者，一点免税额都拿不到。\n帮你付账单，还是补贴一个失灵的市场？ 先说那 100 英镑到底是什么。今天流传的那份摘要说它是打进你银行账户的钱。预算案的说法是“给 A 到 D 档家庭的 100 英镑市政税返还”1，由地方议会从 2027年1月起发放。不管哪种说法，它都花在能源账单上。\n而它和 0% 增值税都没有改变能源本身的成本。账单还是那么大。只是纳税人替你付了一部分。那么一张账单的钱去了哪里？Ofgem 自己对 2026年7月起典型账单的拆分4：\n典型账单的去向，2026年7月至9月 占比 批发能源，含差价合约 45% 电网 25% 运营、坏账和行业成本 16% 政策成本 6% 增值税 5% 供应商利润额度（EBIT） 2.6% 余量和均衡调整 1.5% 每十英镑里有七英镑给了发电商和电网公司。供应商的利润率直接写进了价格上限里。所以这 36.85 亿英镑是公共资金，靠一般税收筹集，银行附加税帮了一把，而它的每一英镑最后都落进了这些私人手里。这不是帮你解决能源问题。这是给能源市场的补贴，绕道你的市政税，好让它看起来像是帮助。\n补贴的到底是什么？按财政部自己的说法，家庭能源价格比 2020 年平均水平上涨了 73%1，家庭能源欠款“几乎翻了三倍，超过 50 亿英镑”1。一个自俄罗斯入侵乌克兰以来积累了这么多家庭债务的市场，就是一个失灵的市场。这份预算案没有修好它。它替它付了今年冬天的账，明年冬天还得再付，因为价格里什么都没动。\n拿它和同一份预算案向发电商要回来的东西比一比。电力生产商征费（Electricity Generator Levy）从 45% 提高到 55%，持续到 2028年3月，表 6.1 显示它能筹集 9,500 万英镑1。未来六年，纳税人往那些发电商赖以收钱的账单里投入 36.85 亿英镑。暴利征费拿回来 9,500 万英镑。差不多是 39 比 1。\n银行通过附加税付其中的 14.75 亿英镑，这是公平的部分，我承认。但一项让价格原地不动的补贴，买不到任何持久的东西。唯一持久的能源帮助，是下面“屋顶分文没有”里说的那一种，让一栋房子少用能源的那一种。\n钱实际给了谁 如果不是这栋房子，那是谁？预算案自己的成本表，Table 6.1（表 6.1），列出了 2026-27 到 2031-32 年每一项措施的成本1，所以这里不用靠猜。下面是最大的几笔让利，按六年加总。\n2026 年预算案的钱给了谁 财政部六年成本，2026-27 至 2031-32 年，百万英镑 家庭账单补贴 3,685 司机：燃油税、里程补贴 2,510 10,000 家制造商 2,320 焚烧垃圾，碳不计价 1,505 创业者减免 1,285 商业街小企业 1,165 经营免税额提至 £3,000 745 以家庭的名义发出 大企业和富人 小企业 2026 年预算案表 6.1 中最大的几笔让利，2026-27 至 2031-32 年加总。蓝色以家庭的名义发出，粉色流向大企业和富人，金色给小企业。10,000 家制造商拿到的，几乎和全国所有司机加起来一样多。 家庭那一栏看起来是所有让利里最大的一笔。上一节说的就是这笔钱实际落到了哪里。\n不过，往下看看那几根粉色的柱子。\n10,000 家制造商，23.2 亿英镑。 从 2027年4月起，British Industrial Competitiveness Scheme（英国工业竞争力计划）让“符合条件的企业……免于承担 Renewables Obligation、Feed in Tariffs 和 Capacity Market 计划的间接成本”1，让它们的电费“最多降低 25%”。仅 2027-28 年就是 12.35 亿英镑，平均每家企业约 123,500 英镑，对比每户家庭 100 英镑。而这三项计划照样压在这房子进口的每一度电上。 垃圾焚烧发电，15.05 亿英镑。 推迟对焚烧垃圾征收碳价。这一项一行说不清，所以下面单独讲。 创业者，12.85 亿英镑。 一项新的创业者减免（Founders\u0026rsquo; Relief）：“对高成长、创新型公司的合格创始人，终身最多 1,000 万英镑的收益适用 10% 的资本利得税税率”1。 表 6.1 里垃圾焚烧发电那一行只有九个英文单词：“Delay the inclusion of energy from waste in the ETS”（推迟将垃圾焚烧发电纳入 ETS）1。下面是它背后的东西。\n焚烧垃圾与碳价 2024 年的计划 “从 2028 年起”全面纳入英国排放交易体系（UK Emissions Trading Scheme）16 要收的是什么 只收化石来源的 CO2，即被烧掉的东西里的塑料16 2026年8月27日的决定 “不会在 2028 年实施”，没有定新日期17 财政部损失，2028-29 至 2031-32 年 15.05 亿英镑1 发电厂早就在这个体系里，“电力行业属于英国 ETS 的覆盖范围”16，而且在 2028 年之前还要另交碳价支持（Carbon Price Support），“对化石燃料发电每吨 CO2e 18 英镑”1。一座烧塑料的焚烧厂一分都不用交，什么时候开始交也没有日期。\n说清楚谁得了好处，不只是运营商。碳成本本来会“转嫁给地方政府”，而地方议会自己的回收行业组织欢迎这次推迟，称之为“一些即时的缓解”17。这说得过去，因为地方议会并没有制造它收到的那些塑料。但政府自己的咨询文件早就找到了答案。它提议通过包装的生产者延伸责任（Extended Producer Responsibility）来分担成本，也就是让把包装投放市场的企业为包装买单的那个制度，并估计“被焚烧的化石来源废物中，按重量计有 20-30% 在覆盖范围内”16。换句话说，向制造塑料的人收钱。\n结果谁都不用付。运营商躲过了，包装生产商躲过了，15.05 亿英镑从财政部那一边的账上扣掉。碳照样从烟囱里排出去。\n然后是数据中心。一项新的数据中心公约（Data Centre Covenant）要求它们支付“应承担的能源份额”。所有数据中心都被“鼓励满足这些测试”，只有寻求加强支持的战略性数据中心才被要求满足1。作为回报，一个部长级控制中心（Ministerial Control Centre）将“加快通电时间”，预留未来的电网容量，并“重新分配其他项目退出接入队列时释放的容量”1。全国最大的新增用电户被挪到了所有人都在排的那条队伍前面，而它们要满足的那些测试，大多数只是被“鼓励”满足。\n创业者减免，只有放在同一张表里对那些建立普通企业的人做了什么旁边，才看得明白。\n小企业为大点子买单 表 6.1 里有两次置换，两次都是让小企业掏钱。\n两次置换：谁给谁买单 出售企业的老板，扩张中的创业者 BADR 终身限额减半 拿走 £1,085m 新的创业者减免，税率 10% 送出 £1,285m 网店卖家，商业街小店 平台代收增值税 拿走 £1,270m 商店和酒吧的营业税减免 送出 £1,165m 收上来 送出去 表 6.1 中的两次置换，按六年加总，粉色是收上来的，蓝色是送出去的。从出售企业的老板那里拿走的减免给了高成长创业者，商业街的营业税减免由网店卖家买单。 第一次置换是创业者对老板。 企业资产处置减免（Business Asset Disposal Relief，BADR）是水管工、小店或小型工程公司的老板出售企业或退休时用的减免。从 2026年4月6日起，处置税率已经是 18%18。这份预算案把它的终身限额减半，“从 2027年4月起由 100 万英镑降至 500,000 英镑”，筹集 10.85 亿英镑1。在同一张表里，创业者减免给“高成长、创新型公司”最多 1,000 万英镑适用 10% 税率，成本 12.85 亿英镑。\n企业资产处置减免 创业者减免 给谁 任何出售合格企业的人 “高成长、创新型公司”的创始人 税率 18% 10% 终身限额 从 100 万英镑砍到 500,000 英镑 1,000 万英镑 六年影响 筹集 10.85 亿英镑 花掉 12.85 亿英镑 财政部的辩护是，“四分之三的 BADR 申请人仍将就其全部收益获得减免”1。这是真的，而这也正是问题所在。失去减免的那四分之一，是用一辈子的工作建起了价值超过五十万英镑的东西的人，而他们的减免给了收益高达一千万的人。\n第二次置换是商业街对网店卖家。 给商店、酒吧和餐饮业的小企业营业税（business rates）减免是真的，也值得欢迎：又有 70,000 家企业完全不用交营业税，三项营业税措施总成本 11.65 亿英镑。财政部直白地说了钱从哪里来：“确保有大量线上销售的企业缴纳它们应缴的增值税，要求线上交易平台代为收取”1。这筹集 12.70 亿英镑。\n所以商业街上的小企业，是由网上的小企业来买单的。没有一家大企业往里放一分钱。\n温暖家园出局，武器入场 这份预算案里最大的一次重新排序根本不在任何账单上。它是国防。\n6 月，政府宣布在 2026-27 至 2029-30 年间为国防投资计划（Defence Investment Plan）投入 150 亿英镑。这份预算案通过“在 2027‑28 至 2029‑30 年进一步削减各部门资本预算 1%，筹集 30 亿英镑”，再从财政部的资本储备里拿 17 亿英镑，凑齐了最后的 47 亿英镑1。每个部门的建设预算都要出钱。\n能源部（DESNZ）那一份，正好落在一栋像我家这样的房子上：\n从能源部削减用于国防的资金 金额 Warm Homes Plan（温暖家园计划）资本补贴 10 亿英镑 氢能项目 5 亿英镑 碳捕集、利用与封存 2 亿英镑 Great British Energy 2 亿英镑 这是财政部自己的清单1。其中两行我没意见。氢能和碳捕集是在浪费公共资金，出于上面“氢能是一个押错了的赌注”里说的理由，从它们身上砍掉 5 亿和 2 亿英镑是对的。本该全部砍掉。碳捕集的存在是为了让化石燃料再多烧一阵子，一个认真对待账单的政府应该向这个行业征税，而不是花钱让它继续运转。\nWarm Homes 那一行正好相反。政府说它“仍然致力于推广热泵”，而就在同一段里，从 Warm Homes Plan 拿走了十亿。它确实说了，该计划面向低收入家庭和社会住房的大部分资金“受到保护”，这一点应当公平地指出。但让一栋房子少用能源，是唯一一种明年冬天不需要再付一次的能源支持，而被砍掉拿去付这笔钱的，正是它。\n如果补贴的钱要拿走，义务就不该一起拿走。英格兰和威尔士的私人出租房已经有一条规则：“所有租约的私人房东都必须在 2030年10月1日前达到更高标准”，目标是 EPC C 级19。但看看细节：\n私人出租房，2030 年标准 规则怎么说 截止日期 2030年10月1日 房东最多需要花 “每套房产最多 10,000 英镑”，平均 5,400 英镑 要求装热泵或太阳能吗？ 都不要求，次要措施“由房东自行决定” 这是一个带支出上限和菜单的标准。削减 Warm Homes 补贴本应伴随着相反的东西：一项强制规定，每一套私人出租房到 2030 年必须装好保温、热泵和太阳能，否则就不能再出租。房东收租金。租客付能源账单。没有硬性要求，房东就没有理由去花一笔只替别人省钱的钱，而租客既要付账单，又要通过自己交的税，为账单上的补贴买单。\n然后是目标。政府将阐明“我们将如何在 2035 年前兑现将 GDP 的 3.5% 用于国防的北约承诺，并以 2030 年达到 3% 为目标日期”1。除此之外，国家财富基金（National Wealth Fund）和英国商业银行（British Business Bank）将“在未来四年向国防、军民两用及其他领域投放最多 50 亿英镑”1，英国出口融资局（UK Export Finance）也获得更多额度，“以支持英国国防出口”1。\n其中有些我是支持的，我会直说。俄罗斯入侵了乌克兰。Putin 的战争是起因，乌克兰保卫自己是对的。今年冬天给乌克兰防空额外的 5 亿英镑1，这笔钱我不心疼。\n但看看钱实际流向了谁。下面是国防部自己 2025/26 年度的认证统计20：\n国防部对产业的支出，2025/26 年度 数字 支付给产业，英国和外国 434 亿英镑 仅十家供应商所占份额 40% 仅 BAE Systems 一家 略超过 73 亿英镑，16.5% 单一供应商份额创自以下年度以来新高 2007/08 通过非竞争性合同支付 47%，205 亿英镑 那么，我们是不是都在交税给军火公司？是的，按国防部自己的统计。而且其中将近一半的钱是不经竞标就花出去的。\n其中一部分干脆直接流出了国境。下面是国防部自己数据表里的这十家供应商，以及各自的所在地21：\n国防部前十大供应商，2025/26 年度 百万英镑 英国公司？ BAE Systems PLC 7,258 是 Babcock International Group PLC 3,288 是 Rolls-Royce Holdings PLC 1,562 是 QinetiQ Group PLC 1,114 是 Airbus Group SE 834 否，欧洲企业，注册于荷兰 Leonardo SpA 778 否，意大利 Thales 736 否，法国 Serco Group PLC 726 是 Leidos Holdings Inc. 646 否，美国 The Boeing Company 597 否，美国 前十名里一半是外国公司，它们一共拿走了 35.91 亿英镑，占这十家所得的五分之一。而且不止前十名。同一张表再往下，还有西班牙国家自己的工业控股公司 Sociedad Estatal de Participaciones Industriales，3.89 亿英镑，以及法国国家持股机构 Agence des participations de l\u0026rsquo;État，3 亿英镑21。这是英国的国防资金直接付给了两个外国政府。\n那么名单上最大的两个英国名字呢？值得问问它们拿这些钱干了什么。下面是它们自己的账目：\n出自它们自己的账目 BAE Systems，2025 年 Babcock，截至 2026年3月的年度 国防部支付，2025/26 年度21 £7,258m £3,288m 研发 自筹 £407m22 费用化 £203.3m23 已付股息 £1,027m £36.7m 股票回购 £502m £155.3m 返还给股东 £1,529m £192.0m BAE 一年之内返还给股东 15.29 亿英镑，差不多是它投入自己研发的 4.07 亿英镑的四倍。它还拿了 2,900 万英镑的研发税收抵免22，纳税人又掏了一次。国防部一年付给它 73 亿英镑，股东拿走了 15 亿英镑。\nBabcock 正好反过来，公道要讲。它花在研发上的比还给股东的多。它全球收入的 63.5% 也来自国防部20，这使它实际上是一家靠纳税人养着的公司。一家这么依赖公共资金的公司，就应该为付钱给它的公众而经营。\n然后还有根本不经过任何承包商的钱。国防部通过对外军售（Foreign Military Sales）付了 7.44 亿英镑，这是“一种从美国政府采购装备的机制”，额外付在 434 亿英镑之上，其中 4.69 亿英镑是给 Boeing 的20。这是我们的税钱进了另一个国家政府的军火项目，而在我看来，它资助的恰恰是全球的不稳定，然后我们又被告知必须花更多的钱来防范这种不稳定。预算案自己新设的多边国防机制（Multilateral Defence Mechanism）是为“伙伴之间的联合采购”而建的1，这意味着更多订单下到国外，而不是更少。\n我的立场很简单。英国的国防资金一英镑都不应该给外国承包商。如果这个国家要把自己全部收入的 3.5% 花在国防上，每一英镑都应该在这里培养技能、建工厂、创造就业，并在这里纳税。在这里造，否则就别买。\n我能问一句，为什么国防部连统计都不统计？它自己的统计数据把付给“英国和外国所有的组织”的总额作为一个数字给出，两者之间没有拆分20。一个没人公布的数字，你没法把它降下来。\n完全没有的，是任何减少这笔支出的努力。我把全部 162 页都搜了一遍：\n预算案中的词 出现次数 defence（国防） 超过 120 diplomacy（外交） 0 ceasefire（停火） 0 de-escalation（降级） 0 有一整章讲如何壮大国防工业、用私人资本为它融资、扩大出口，却没有一行讲如何减少对它的需要。一场没人试图阻止的军备竞赛只有一组赢家，他们列在国防部的供应商表格里，而不在英格兰的某个厨房里。\n屋顶分文没有 最便宜的一度电，是一栋房子永远不用买的那一度。阁楼的保温层和屋顶的太阳能，在那 100 英镑花光很久以后，每个冬天还在回本。那么，一份以降低账单为卖点的预算案，为它们做了什么？\n它提高了增值税。\n在住宅中安装节能材料，“从 2023年5月1日到 2027年3月31日”适用零税率，清单涵盖保温材料、太阳能板、电池和热泵24。这份预算案让它到期结束。第 6.215 段的标题是“Revert to reduced rate on energy saving materials (ESMs) as planned”（节能材料按计划恢复为优惠税率），从 2027年4月1日起又是 5%，唯一的变化是把储热电池加进了清单1。一套 10,000 英镑的太阳能加电池工程，就多出 500 英镑。\n所以在同一份文件里，你买的电上拿掉了增值税，而让你不用再买电的设备上又加回了增值税。\n再数数词。162 页里，“insulation”（保温）出现零次。“rooftop”（屋顶）和“solar panel”（太阳能板）出现零次。热泵被提到两次，两次都在那一段里，就是从 Warm Homes Plan 拿走 10 亿英镑去付国防的那一段1。\n热泵补贴本身呢？锅炉升级计划（Boiler Upgrade Scheme）支付“7,500 英镑用于空气源热泵”25，预算案将“把锅炉升级计划维持在 2027‑28 年 4 亿英镑的现有资金水平，此后大致随通胀增长”1。所以没砍，但也没增加。4 亿英镑，每台 7,500 英镑，一年最多大约 53,000 台热泵。财政部统计英国大约有 2,900 万户家庭1。照这个速度，要覆盖每一户需要超过 500 年。\n2026 年预算案的能源资金 六年数字 冬天过后还剩什么 100 英镑补贴和电费 0% 增值税 花掉 36.85 亿英镑 什么都不剩，钱没了 Warm Homes Plan 资本补贴 砍掉 10 亿英镑 更少的房子做了保温 保温、太阳能和电池的增值税 从 0% 回到 5% 自己动手更贵了 我自己的设备是自己掏钱装的，所以我很清楚缺的是什么。如果一个政府真想让账单永久降下来，它会给每一栋需要的房子做保温，在每一个能装的屋顶装上太阳能，从今往后建的每一栋新房开始。做一次，做好，这份帮助明年冬天就再也不用重新买。这份预算案为冬天买单，却对解决办法征税。\n不，在 eBay 上卖你自己的旧东西不会被征税 很多人把线上交易平台的新规则理解为：在 eBay 或 Vinted 上卖旧东西不交增值税的日子到头了。不是这样，预算案明明白白说了。\n从 2027年10月起，平台对“英国增值税登记企业的销售，以及在单一平台上年销售额达到最低门槛 90,000 英镑的其他任何英国企业的销售”代收增值税。这些规则“不适用于非经营性（即个人）销售、二手商品或企业对企业的交易”1。\n混淆来自三个不同的门槛，被人当成一条规则来引用：\n规则 门槛 意思是什么 平台新代收增值税 一家企业在单一平台上年销售 90,000 英镑 平台代收这家企业本来就欠的增值税 平台向 HMRC 报告，自 2024 年起 一年 30 笔销售，或约 1,700 英镑 平台报告你。这不是税 是否构成经营 HMRC 的九项“经营标志”（badges of trade） 决定你到底欠不欠税 关于报告，HMRC 说得很直白：“平台向 HMRC 报告你的信息，并不自动意味着你欠税”26。如果你“在一个日历年内销售商品少于 30 笔”并且“收入少于 2,000 欧元（约 1,700 英镑）”，平台就不会报告你26。它自己的新闻办公室也说：“如果你不是在经营，只是偶尔在网上卖掉不要的东西，就不需要交税”27。\n那么什么是大量卖家？没有一个件数标准。你是否在经营，由 HMRC 的经营标志来决定，其中包括“逐利动机”、“交易数量”、“资产的性质”和“对资产的改动”，而 HMRC 自己也说，“某一项标志的有无，本身不太可能给出决定性的答案”28。清理阁楼不是经营，哪怕卖了超过 30 件、超过 1,700 英镑、被报告了也不是。买进存货再加价卖出才是。\n注意这个报告测试到底是什么。它是少于 30 笔并且低于约 1,700 英镑，所以超过任何一个都会被报告。在 eBay 上把你的旧车卖到 1,700 英镑以上，这一笔就够了。真碰上了也别慌。被报告不等于税单，而 HMRC 列出的资本利得税应税项目是“大多数价值 6,000 英镑或以上的个人物品，你的汽车除外”29。你自己开的车不在其中。\n但报告针对的是你，而不是那辆车，车免税并不让你那一年卖的其他东西也跟着免税。其他每一笔销售都单独判断，和以往完全一样。你自己不要的东西仍然不算经营，单件价值低于 6,000 英镑的个人物品不在资本利得税范围内29。但凡是你买来加价转卖的东西，就是经营，而一旦你被报告，HMRC 面前就摆着你的销售记录。如果其中有一部分是经营，每年头 1,000 英镑免税，按这份预算案，从 2027年4月6日起提高到 3,000 英镑1。所以记下每样东西是什么：你自己的，还是买来转卖的。\n至于清理阁楼，报告本身才是浪费。一个清理自己房子的人，信息被送到 HMRC，平台花钱编制报告，HMRC 花钱处理报告，而在个人销售上它一分钱都收不到，因为本来就不欠什么。这纯粹是开支，最后照样落到你的税单上。\n所以关于这份预算案的恐慌是一场空。对下一份预算案的担心可不是。机器现在已经造好了。平台从 2024 年起就在向 HMRC 报告卖家，从 2027年10月起还要为企业卖家在源头代收增值税。个人销售的豁免只是预算案里的一行字，而预算案里的一行字，下一份预算案就可以删掉，什么新东西都不用建。管道一旦铺好，把它加宽只需要改一行。我不会因为这个豁免今天还在，就赌它会一直在。\n这份预算案在那一行里真正要紧的，是上面那次置换。\n喘息空间是要付钱买的 “喘息空间”对一份预算案来说是个好词。听起来像是解脱。读一读成本测算，它更准确的说法是一组决定：让谁憋着气。\n我在这里核算的这栋房子，做了这个国家说它想要的事。它电气化了。它自己发电、自己储电。它几乎戒掉了燃气。它一年 20,000 英里靠电跑，其中很多来自自家屋顶，不需要加油泵的任何东西。\n这就是自立，而回报是一项按里程收的税和一个冻结的起征点，再加上第一个冬天用来缓一缓的 100 英镑。这份预算案有些地方是合理的。让银行为能源补贴出一部分钱是公平的，让少用燃气的人不再为几乎不用的燃气交固定费也是公平的。但底下的模式再清楚不过。帮助流向账单吵得最响的地方：大工业用户，有一千万收益的创业者，明天就要接电网的数据中心，拿着一份别人都不许竞标的合同的军火公司。那个安安静静把自己的事办妥了的家庭，正是收入的来源，恰恰因为它不抱怨，也搬不走。\n而这份喘息空间，你要付不止一次的钱。你通过交税为账单上的补贴付钱，你付账单，明年冬天你再把两样都付一遍，因为这份预算案里没有一样东西是冲着账单为什么高去的。燃油税减免也一样，又延期了，因为它撑着的石油从来没被替代；氢能合同也一样，每年都得付，因为这种燃料自己站不住。一个解决办法只付一次钱。一项补贴每年都要付，由同一群人付，只要根源还留在原地就一直付下去。这就是这份预算案一行接一行做出的选择：让人再憋一个冬天的气，而不是把气道清开。\n根源之所以从来没被解决，是因为成本从来没有落到能解决它的人身上。这份预算案没有把负担转到从补贴中获益的人身上，所以他们没有理由改变任何东西。不肯把房子改造达标的房东继续收着租金，租客付账单，纳税人为账单付补贴。只要财政部一直让他们的产品在加油泵上保持便宜，石油公司就没有理由把钱投进清洁技术。燃气行业照着同一个浪费的模式继续干，烧一次再买更多，而早已埋在地下的管道，本可以成为区域供热的起点，输送热量而不是燃料。只要有别人付钱让他们继续干便宜又浪费的事，就没有人去做那件昂贵而明智的事。而这份预算案里的每一次置换都是同一个方向。政府确保大公司都过得好好的，小人物来买单。\n我知道这份预算案让这栋房子付出了什么，我也看得到文件封面上给它标的价。这不是同一个数字。这个差距，就是你应该自己去读成本测算、而不是去听演讲的原因，因为写演讲稿的人谁都不会替你去读。\nHM Treasury — Budget 2026: Breathing Space for Today, Fresh Hope for the Future — 2026年10月28日提交议会的预算案报告。能源措施见第 3.2 至 3.9 段及 Box 3.A，燃油、里程和电动车充电见 3.12 至 3.16，eVED 见 1.30 和 2.38，BADR 见 2.53，BICS 见 4.24 和 6.31，Gas Shipper Obligation 见 4.22 和 6.27，数据中心见 4.137 和 4.138，Warm Homes Plan 和锅炉升级计划见 4.36，国防见 2.5、2.6、5.28 至 5.36（含 5.30 的多边国防机制）以及 6.134 至 6.141，节能材料见 6.215，创业者减免见 6.257，经营免税额（Trading Allowance）见 6.254，线上交易平台见 6.154，国家生活工资见 3.18，养老金免税额见 3.19 和 6.182，碳价支持见 4.25，成本测算见表 6.1。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Claim tax relief for your job expenses: vehicles you use for work — “This does not include travelling to and from your work, unless it\u0026rsquo;s a temporary place of work.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Changes to energy price cap between 1 October and 31 December 2026 — 燃气固定费每天 29.68 便士，单价 7.97 便士/kWh，含 5% 增值税；2026年10月1日至 2027年3月31日电费不含增值税。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Summary of changes to the energy price cap, 1 July to 30 September 2026, revised TDCV — 2026年7月1日起的典型家庭用量：“2,500 kWh of electricity, 9,500 kWh of gas”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Funding mechanism for the Hydrogen Production Business Model: proposed design of the Gas Shipper Obligation — 咨询文件，2025年1月至4月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Gas Shipper Obligation analytical annex — 2028 至 2037 年平均家庭燃气账单每年 “approximately £2.60 - £4.50”，按用量计征设计，2023 年价格。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Hydrogen Production Business Model / Net Zero Hydrogen Fund: HAR1 successful projects — 十一个项目、开发商和产能，241 英镑/MWh 的加权平均执行价，以及 “over £2 billion of revenue support”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Systems Catapult — Heat pumps shown to be three times more efficient than gas boilers — 政府资助的 Electrification of Heat 试验，安装了 742 台热泵：“The median SPF observed in ASHP systems \u0026hellip; was 2.80 (280%)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJan Rosenow, \u0026ldquo;Is heating homes with hydrogen all but a pipe dream? An evidence review\u0026rdquo;, Joule, 2022 — 32 项独立研究；引文按 IEEE Spectrum，2022年10月4日 的报道。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHM Treasury — Electric Vehicle Excise Duty (eVED) — 政策文件，2026年7月13日：纯电动和氢燃料汽车每英里 3 便士，插电混动 1.5 便士，2028年4月1日起。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Maintaining the Personal Allowance and basic rate limit until 5 April 2031 — 2025 年预算案政策文件：起征点固定在 “at their 6 April 2021 levels”，维持 “until 5 April 2031”，到 2030-31 年将 700,000 人纳入所得税，以及延期对财政的影响。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 57 — 个人免税额按 “the consumer prices index for the September before the start of a tax year” 调整，并取整 “up to the nearest amount which is a multiple of £10”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 21 — 基本税率上限按同样方式调整，并取整 “up to the nearest amount which is a multiple of £100”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nONS — CPI annual rate, all items, series D7G7 — 9 月数据：2021 年 3.1%，2022 年 10.1%，2023 年 6.7%，2024 年 1.7%，2025 年 3.8%，2026 年 3.5%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — National Minimum Wage and National Living Wage rates — 2026年4月1日起，21 岁及以上劳动者每小时 12.71 英镑。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK ETS Authority — UK Emissions Trading Scheme scope expansion: waste, consultation, 2024 — “from 2028” 纳入垃圾焚烧发电和焚烧，只计化石来源 CO2，并通过包装生产者延伸责任分担成本。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLARAC — UK ETS will not be extended to waste incineration in 2028 — 2026年8月27日，地方议会回收协会对推迟的回应；另见 LocalGov，2026年8月27日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Business Asset Disposal Relief — “18% on all gains on qualifying assets disposed of from 6 April 2026”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Improving the energy performance of privately rented homes: government response — 2026年1月21日更新：“by 1 October 2030” 达标，房东 “invest up to £10,000 per property”，平均 5,400 英镑，次要措施 “at the discretion of the landlord”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMinistry of Defence — MOD trade, industry and contracts 2026 — 经认证的官方统计，2026年10月1日：2025/26 年度对产业支出 434 亿英镑，40% 给十家供应商，BAE Systems 占 16.5%，非竞争性支付占 47%（205 亿英镑）；对外军售 7.44 亿英镑，其中 4.69 亿英镑给 Boeing；支出没有按英国和外国所有权拆分；Babcock 从国防部获得的款项相当于其全球收入的 63.5%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMinistry of Defence — Data tables relating to MOD trade, industry and contracts 2026 — 表 4a，2025/26 年度收款 5,000 万英镑及以上的私营部门控股公司。国家指各控股公司总部或注册所在地。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBAE Systems — Preliminary results announcement 2025 — 2026年2月18日：自筹研发 “£407m”，“dividends increased to £1,027m”，回购 “at a cost of £502m”，“the Group returned £1,529m to shareholders”，研发税收抵免 2,900 万英镑。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBabcock International — Annual Report and Financial Statements 2026 — 截至 2026年3月31日的年度：“Total research and development costs expensed in the period was £203.3 million”，“£36.7 million dividends paid” 以及 “£155.3 million purchase of own shares”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — VAT on energy-saving materials and heating equipment (VAT Notice 708/6) — “A zero rate applies to the installation of certain specified energy-saving materials from 1 May 2023 to 31 March 2027”，涵盖保温材料、太阳能板、电池和热泵。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Boiler Upgrade Scheme: what you can get — 空气源或地源热泵补贴 7,500 英镑，生物质锅炉 5,000 英镑。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Selling goods or services on a digital platform — 30 笔销售和 2,000 欧元的报告门槛，以及报告 “does not automatically mean you owe tax”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — No tax changes for online sellers — 新闻稿，2024年12月4日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC Business Income Manual — BIM20205, the badges of trade — 九项经营标志，以及没有任何一项单独具有决定性。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Capital Gains Tax: what you pay it on — 应税资产包括 “most personal possessions worth £6,000 or more, apart from your car”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/politics/breathing-space-for-whom/","summary":"2026 年预算案对一位 40% 税率纳税人到底做了什么：他在家办公，另一半通勤的电动车每年跑 20,000 英里，家里有太阳能和电池，燃气只剩热水和少量供暖。一份逐项账本，依据是英国财政部（Treasury）自己的文件：100 英镑的家庭能源补贴（Household Energy Payment），电费 0% 增值税，燃气固定费并入单价、而更高的电力固定费原封不动，Gas Shipper Obligation（燃气运输商义务）从燃气账单挪到一般税收，以及这笔钱付给谁；为什么用电制氢输给了效率 280% 的热泵；eVED 里程税对 20,000 英里通勤意味着什么；以及从 2021 年冻结到 2031 年的起征点带来的财政拖累（fiscal drag），对照法律本应设定的水平，分别算给 40% 税率纳税人和最先被它打到的低收入者。然后，根据预算案自己的成本测算，看钱实际给了谁：10,000 家高耗能制造商，垃圾焚烧发电运营商，高成长创业者对比出售自家企业的普通老板，由小型网店买单的商业街小店，排在电网接入队伍最前面的数据中心，以及部分靠削减 Warm Homes Plan（温暖家园计划）来出钱的国防扩张，附上国防部（MoD）自己关于多少钱流向 BAE Systems、多少钱未经竞标就花出去的数字。它在保温和屋顶太阳能上什么也没做，增值税回升到 5%，热泵补贴怎么样了。还有新的线上交易平台增值税规则对在 eBay 上卖自己旧东西意味着什么。","title":"喘息空间给谁？从一栋有电动车、太阳能和电池的房子看 2026 年预算案"},{"content":"到达硬盘的字节更少 VDO 是 Linux 内核里的去重和压缩层。 它坐在卷组下面，以 4 KiB 的块为单位工作。它以前见过的每一个块，都只存一次。\n这对硬件意味着什么很简单。到达硬盘的字节更少。 我通过 VDO 写了一组 75% 重复、50% 可压缩的混合数据，每次 30 秒，硬盘自己的计数器说它收到的是客户机写入量的 23% 到 28%。 一个模板磁盘的六个完整克隆，加起来只多出 8 个数据块。三十二 KB。\n到达硬盘的字节 无 VDO，任何数据 100% VDO，4k 随机，75% 重复 28% VDO，128k，75% 重复 23% VDO，128k，随机数据 100% 客户机字节中到达硬盘的比例，每次 30 秒，两次平均。混合数据：75% 重复，50% 可压缩。 客户机写入的字节与硬盘收到的字节，每种负载 30 秒，两次运行取平均。没有 VDO，硬盘收到全部。有 VDO，现实的混合数据它只收到大约四分之一，完全随机的数据则一样不少。 字节更少就是磨损更少，硬盘上或它前面控制器里的任何缓存要干的活也更少。 要做到这一点得付出 CPU 和延迟，在快硬盘上这个代价下面会和同一块完全不带 VDO 的 Optane 对比着量出来。 在慢速的机械硬盘上，同样的代价会消失在寻道时间里，这才是有意思的地方。\n两条规则决定了后面的一切。 这个栈是厚上加厚：VDO 上面的任何东西，以及 VDO 自己，都不能承诺比硬盘实际容量更多的空间。 而且 VDO 自己的元数据，也就是它的索引和日志，可以放在 NVMe 上，数据则放在更慢的地方。\n这里的每个数字都来自同一台 Proxmox VE 9.2 主机：Ryzen 7 5700G，16 个 CPU，内核 7.0.14-25-pve，LVM 2.03.31 和 Debian 的 vdo 8.3.1.1 工具，用的是两块事后清空了的 Intel Optane 硬盘。\nVDO 是什么，放在哪里 内核把 dm-vdo 描述为一个 device-mapper 目标，它 “provides block-level deduplication, compression, and thin provisioning”1。 每个进来的 4 KiB 块都会被计算哈希。如果已经存了一个完全相同的块，VDO 只记一个引用，而不是再存一份。 不重复的块会经过 LZ4 压缩，几个打包进一个物理块；全零的块则根本不存2。\n整件事由 LVM 驱动。 lvcreate --type vdo 创建一个 VDO 池，存放真正的块，并在它上面创建一个 VDO LV，虚拟大小随你指定2。 一个厚置备的卷组放在 VDO LV 上，Proxmox 把它当作普通的 lvm 存储来用。\n厚上加厚：VDO 上的 LVM 虚拟机磁盘：厚置备 LV 客户机看到的 卷组 vdovg，35 GiB Proxmox 读的：lvm 存储 这条线以下 Proxmox 什么都看不到 VDO LV vdolv，35 GiB 虚拟 去重、LZ4、丢弃全零块 VDO 池 vdopool，40 GiB 真实的块：vdostats 读这里 硬盘：nvme8n1 虚拟 35 GiB，永远不超过实际容量 Proxmox 看到的是一个普通的厚置备卷组。VDO 坐在它的物理卷下面，大小定得让它永远不会承诺超过硬盘容量的空间。 层 实验里的名字 作用 虚拟机磁盘 vm-9901-disk-0 等 厚置备 LV，由 Proxmox 创建 卷组 vdovg，35 GiB 普通 LVM，Proxmox 的 lvm 存储读的就是它 VDO LV vdolab/vdolv，35 GiB 虚拟 去重、LZ4、丢弃全零块 VDO 池 vdolab/vdopool，40 GiB 真正的块、VDO 的元数据和索引 物理设备 nvme8n1 VG vdolab 要么厚上加厚，要么别做 VDO 本身就是一个精简置备器：VDO LV 可以给任意虚拟大小。 把它设得比池能装的更大，上面的卷组就是厚置备在一个承诺之上，那就是把精简套精简往下挪了一层。 我第一次搭的时候恰恰就这么干了：40 GiB 的池上一个 120 GiB 的 VDO LV。结果 VDO 已经满了，Proxmox 还显示有三分之一的存储空闲。\n所以 VDO LV 的大小要按池实际能寻址的来定，不能多。 lvcreate 会打印这个数字，在这个 40 GiB 的池上是 “can address 36.00 GB”，而 VDO 用于逻辑空间的块映射也从同一块地方里出，所以我给了 35 GiB。\n然后我用笨办法证明了它。 一块虚拟机磁盘拿走 Proxmox 肯给的全部 extent，34 GiB，从头到尾填满 VDO 完全无能为力的随机数据：\n# vdostats --human-readable Device Size Used Available Use% Space saving% vdolab-vdopool-vpool 40.0G 38.1G 1.9G 95% 0% 磁盘在它自己的尽头用完了空间，厚置备磁盘就该这样。VDO 还剩 1.9 GiB 空闲，比 Proxmox 剩下可分配的 1 GiB 还多。 Proxmox 的数字才是真正的上限，VDO 不可能先用完。\n你放弃的是超配：去重省下的空间体现为硬盘上从未被写入的部分，而不是给 Proxmox 多出来的磁盘。 对这篇讲硬件的文章来说，这是正确的取舍。 也别在上面放 lvmthin 池。两层精简置备就是两本账3。\n存一个字节之前就要付的代价 VDO 在池本身上维护一个去重索引，即 UDS 索引。 一个空的 40 GiB 池报告已用 4.0 GiB，可用 36.0 GiB。 同一个 vdo 软件包里的 vdolistmetadata 会列出设备上的每一个元数据块，几乎能把这些空间全部对上账：\n区域 4 KiB 块数 大小 UDS 索引 679,127 2.59 GiB 恢复日志 32,768 128 MiB 引用计数和日志，18 个 slab 6,372 25 MiB 不够再放第十九个 slab 的空间 336,555 1.28 GiB 合计 约 4.0 GiB 剩余那一行值得知道：slab 是 2 GiB，所以池的大小要按整数个 slab 加上开销来定，否则余下的部分就白白闲着。\n内存是另一笔账。不管池是忙是闲，都得付：\n开销 lvmvdo(7) 里的规则 这个 40 GiB 的池 固定 38 MiB 38 MiB 块映射缓存 每 MiB 缓存 1.15 MiB，最少 150 MiB 150 MiB（默认 128 MiB） 物理空间 每 TiB 268 MiB 11 MiB UDS 索引（dense） 最少 250 MiB，默认值 256 MiB 合计 约 455 MiB 默认的 dense 索引覆盖大约 256 GiB 的去重窗口，因为一个配 1 GiB 内存的 dense 索引 “maintains a 1 TiB deduplication window”2。 128 MiB 的块映射缓存是按 “efficient access to 100 GB of logical space at a time” 来定的，内核文档把它列为随着工作集增长最需要调整的值1。\n搭建这个栈 让 LVM 看到 LV 上的 PV 卷组坐在一个 LV 上，而 LVM 默认不把 LV 当作物理卷。 devices/scan_lvs 打开这个功能，LVM 的参考文档附带了相应的警告：“Caution is required to avoid using PVs that belong to guest images stored on LVs”4。 否则，一个在自己磁盘里用 LVM 的客户机，它的卷组就会出现在宿主机上。\n所以过滤器也要改。同一次修改。 这台主机上的默认过滤器只拒绝 ZFS zvol 和 RBD 设备。我加了一条，拒绝所有 Proxmox 虚拟机磁盘：\n# lvmconfig devices/global_filter devices/scan_lvs global_filter=[\u0026#34;r|/dev/zd.*|\u0026#34;,\u0026#34;r|/dev/rbd.*|\u0026#34;,\u0026#34;r|/dev/mapper/.*-(vm|base)--[0-9]+--disk--[0-9]+|\u0026#34;] scan_lvs=1 同一份参考文档说 scan_lvs “does not enable autoactivation of layered VGs”4。 Proxmox 并不需要它。它的 LVM 插件在虚拟机启动时用 lvchange -aey 激活每块磁盘5。 我按开机后的状态测试过：所有东西都停用，然后跑同样的 pvscan udev 流程。VDO 下面的 VG 起来了，qm start 自己激活了虚拟机的磁盘。 问题在更下面一层。VDO 下面的 VG 不完整时，同样的 qm start 失败，报 “Volume group ‘vdovg’ not found”。\nVDO 池，厚置备，设置写在创建命令里 格式化工具在 Debian 的 vdo 软件包里6：\n# apt install vdo 然后是池。 -L 是真实空间，-V 是虚拟大小，保持在池能寻址的范围内。 线程布局和 discard 大小写在同一行，因为这两样以后要改，都得先停掉池上的所有虚拟机：\n# pvcreate /dev/nvme8n1 Physical volume \u0026#34;/dev/nvme8n1\u0026#34; successfully created. # vgcreate vdolab /dev/nvme8n1 Volume group \u0026#34;vdolab\u0026#34; successfully created # lvcreate -y --type vdo -L 40G -V 35G -n vdolv vdolab/vdopool /dev/nvme8n1 --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; Wiping vdo signature on /dev/vdolab/vdopool. The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB. It can grow to address at most 16.00 TB of physical storage in 8192 slabs. If a larger maximum size might be needed, use bigger slabs. Logical volume \u0026#34;vdolv\u0026#34; created. # dmsetup table vdolab-vdopool-vpool 0 73402368 vdo V4 /dev/dm-7 10485760 4096 32768 16380 deduplication on compression on maxDiscard 4096 ack 1 bio 2 bioRotationInterval 64 cpu 3 hash 2 logical 4 physical 4 线程布局是后面为 16 个 CPU 的主机测出来的那一套；max_discard=4096 有单独一节。\n卷组和 Proxmox 存储 # pvcreate /dev/vdolab/vdolv Physical volume \u0026#34;/dev/vdolab/vdolv\u0026#34; successfully created. # vgcreate vdovg /dev/vdolab/vdolv Volume group \u0026#34;vdovg\u0026#34; successfully created # pvesm add lvm vdo-lvm --vgname vdovg --content images,rootdir --on-volume-remove discard=1 # pvesm status | grep -E \u0026#34;Name|vdo-lvm\u0026#34; Name Type Status Total (KiB) Used (KiB) Available (KiB) % vdo-lvm lvm active 36696064 0 36696064 0.00% on-volume-remove discard=1 很要紧，下面会讲。\n去重省下了什么 我写入了 Proxmox 主机真正会存的东西，每写完一样就读一次 VDO 的块计数器。 logical blocks used 是上层写入的量；data blocks used 是 VDO 实际存下的量。两者都以 4 KiB 块计。\n写入的内容 新增逻辑块 新增数据块 节省 Rocky Linux 10 根文件系统，4 GiB 磁盘上的 ext4 114,505 60,537 47% 它的六个完整克隆（qm clone --full，每个约 4 秒） 6,291,456 8 99.9999% Proxmox Datacenter Manager 1.1 ISO，1.36 GiB 356,172 351,965 1.2% 它的 -auto 重建版，字节几乎相同 356,399 40 99.99% 4 GiB 全零 1,048,575 0 100% 1 GiB 随机数据 262,143 262,144 0% 每个克隆都写满了 4 GiB，连零一起，因为完整克隆到厚置备 LV 上会复制每一个块。VDO 把零存成了什么都没有，其余的存成引用。\nVDO 对见过的数据非常拿手。对什么都没有的数据也一样。 对已经压缩或加密的数据它毫无用处，所以第一个 ISO 大部分是 squashfs，只省了 1.2%。\n模板和六个克隆都就位后，Proxmox 显示存储已用 80.01%，35 GiB 里有 28 GiB 的厚置备磁盘。 硬盘上实际只有 4.3 GiB，其中大部分还是索引。 在厚置备存储上，这正是重点：Proxmox 数的是分配出去了多少，硬盘装的是真正不一样的东西。\n硬盘实际收到了什么 盘上省下的空间只是一张快照。硬件在乎的是数据流。 所以我测量了写入时到达硬盘的字节：fio 跑 30 秒，前后各读一次 /sys/block 里硬盘的写入计数器，同一块 Optane 有 VDO 和没 VDO 各跑两遍。\n在 Optane 上对比了什么 Optane，无 VDO VDO，16 线程 fio，30 秒 普通 LV nvme8n1：在这里读写入计数器 fio，30 秒 vdovg 里的 LV VDO LV：去重、LZ4 VDO 池 nvme8n1：在这里读写入计数器 Optane 上每一组有无 VDO 数字背后的两个栈：同样的 fio 任务，同一块硬盘，在最底层读写入计数器。 这个计数器是诚实的。整个测试下来它累计了 794 GB，硬盘自己的 SMART “Data Units Written” 也正好增加了 794 GB。\n负载，30 秒 无 VDO 有 VDO，16 线程 到达硬盘的字节 4k 随机写，QD32，4 个任务，75% 重复，50% 可压缩 582,013 IOPS，p99 244 µs 460,887 IOPS，p99 1.05 ms 28% 128k 写，QD8，75% 重复，50% 可压缩 2,345 MiB/s，p99 490 µs 2,179 MiB/s，p99 1.02 ms 23% 4k 随机写，QD32，4 个任务，随机数据 571,721 IOPS 272,366 到 381,005 IOPS 59% 到 100% 128k 写，QD8，随机数据 2,346 MiB/s 1,051 到 1,854 MiB/s 100% 在现实的混合数据上，VDO 保住了裸盘吞吐量的 79% 到 93%，只给硬盘送去四分之一的字节。 在完全随机的数据上，它什么都省不了，代价还很大，两次运行的结果差得太远，我只给出范围。\n尾延迟来自 VDO 自己的处理，不是硬盘。p99 大约一毫秒，裸盘则是它的四分之一。\nOptane 没有缓存可以减负 这些硬盘自己就这么说：nvme id-ctrl 给出 vwc 0，/sys/block 里是 write through。 Optane 原地写入，没有 DRAM 或 SLC 暂存，所以在这种硬件上，收益是字节和磨损，而不是一个填得更慢的硬盘缓存。 带 SLC 缓存的 NAND SSD，或者带回写缓存的 RAID 控制器，才是字节更少还能换来响应更快的地方。那就是下面的 RAID6 一节。\n让 VDO 的线程匹配 CPU 开箱即用时，LVM 给 VDO 十个线程：一个 logical、一个 physical、一个 hash zone、两个 CPU、四个 bio 提交、一个确认。 在一台 16 个 CPU 的主机上，这让机器的大部分闲着，而 VDO 的块映射工作排在唯一一个 logical 线程后面。\n内核文档解释了这些参数1。 每个 logical 线程拥有 “a disjoint section of the block map”，physical 线程拥有 “a disjoint section of the data blocks”，两者都 “can increase throughput”，而线程过多则 “can waste resources and increase contention”。 logical 线程最多 60 个，physical 最多 16 个，而且每个 physical 线程至少要有一个 slab。这个池有 18 个 slab，够用。\n布局 logical physical hash cpu bio ack 合计 LVM 默认 1 1 1 2 4 1 10 匹配 16 个 CPU 4 4 2 3 2 1 16 再翻一倍 8 8 4 6 2 2 30 每种布局都用随机数据把同样的 fio 任务交替跑两遍，另外像七台虚拟机一起开机那样，同时读七块克隆磁盘：\n测试，两次平均 默认 匹配 16 个 CPU 再翻一倍 4k 随机写，QD32，4 个任务 292,466 IOPS 365,314 IOPS 302,461 IOPS 4k 随机写 p99，4 个任务 2.1 到 3.7 ms 1.5 到 1.6 ms 2.1 到 2.2 ms 1M 顺序写 1,153 MiB/s 1,729 MiB/s 1,507 MiB/s 4k 随机读，QD32，4 个任务 507,450 IOPS 503,827 IOPS 485,263 IOPS 同时读七块克隆磁盘 7.5 s 3.1 s 3.4 s 匹配 CPU 数几乎全赢：并行写多四分之一，顺序写多一半，七块盘的读取快 2.4 倍，尾延迟也更紧。 再翻一倍则全面变差。这就是文档警告的那种争用。 默认布局也是最不稳定的，七盘读取在两次运行之间从 6.1 秒摆到 8.8 秒。\n因此，规则是每个 CPU 一个 VDO 线程，按上面那样分配到各类型，physical 线程数受 slab 数限制。\nVDO 在快硬件上的代价 同一块 Optane 不带 VDO，对比线程匹配好的 VDO，随机数据，两次平均：\n测试 Optane，无 VDO VDO，16 线程 4k 随机写，QD1 42,294 IOPS，19.4 µs 55,806 IOPS，12.1 µs 4k 随机写，QD32 142,416 IOPS 144,292 IOPS 4k 随机写，QD32，4 个任务 572,293 IOPS 365,314 IOPS 4k 随机读，QD1 55,276 IOPS，14.4 µs 27,988 IOPS，31.4 µs 4k 随机读，QD32，4 个任务 586,463 IOPS 503,827 IOPS 1M 顺序写，QD8 2,348 MiB/s 1,729 MiB/s 同时读七块模板磁盘 11.1 s 3.1 s 直白地读。 单个随机读经过 VDO 要花两倍多的时间。并行随机写少了三分之一以上，顺序写少了四分之一。 在这么快的硬盘上，VDO 每次读多出来的 17 µs 工作，就占了读取的大头。\nQD1 写入经过 VDO 反而更快，这不是白捡的便宜。远不是。 VDO 在写入落盘之前就确认了，内核文档说得很清楚，“unflushed writes may or may not persist after a crash”1。那个数字测的是一次确认。会刷盘的客户机，而每个文件系统都会，得到的就是它要求的持久性。\n七盘那一行是 VDO 完胜的一项，值得说清楚为什么。 七份普通拷贝要读 28 GiB 的真实字节，连零一起。VDO 只读一套共享的块，零直接跳过。\n所以在快闪存上，VDO 是拿延迟换字节。 不过这些微秒每一个都是固定成本，下面的硬盘变慢时它不会跟着增长。\n把 VDO 的元数据放到 NVMe 上 VDO 没有单独的元数据设备。所有东西都在同一个池 LV 上。 但 dm-vdo 的源码表明布局是固定的，而一个 LV 可以由不同硬盘上的片段拼成。\n格式化代码从数据区开头放块映射的根，然后从末尾放 slab 摘要和恢复日志，中间填满 slab7。 UDS 索引在这一切之前，紧跟在 geometry 块后面。 vdolistmetadata 在实验池上证实了这一点：\n块 内容 位置 0 到 679,188 geometry、UDS 索引、super block、块映射根 最前面 2.59 GiB 每个 2 GiB 的 slab 内部 数据、块映射叶子、130 个引用块和 224 块的 slab 日志 分布在整个池里 10,452,928 到 10,485,695 恢复日志 差不多最后 128 MiB 10,485,696 到 10,485,759 slab 摘要 最后的 256 KiB 所以把池 LV 分三段搭：头部在 NVMe 上，中间在慢硬盘上，尾部在 NVMe 上。 元数据放在 NVMe 上的 VDO 虚拟机磁盘：厚置备 LV 客户机看到的 卷组 vdovg Proxmox 读的 VDO LV，35 GiB 虚拟 去重、LZ4、丢弃全零 头部 中间：slab 尾部 VDO 池 LV，三段 慢硬盘：nvme8n1 数据、引用计数 NVMe: nvme6n1 索引、根、恢复日志 元数据拆出去之后的整个栈。Proxmox 看到的是同一个卷组；下面的池 LV 是两块硬盘上的三段。 然后把它转换成 VDO 池，lvmvdo(7) 记载了对现有 LV 的这种做法2。 这里 nvme6n1 代表 NVMe，nvme8n1 代表慢硬盘：\n# lvcreate -y -L 3G -n splitpool vdolab /dev/nvme6n1 Logical volume \u0026#34;splitpool\u0026#34; created. # lvextend -l +9408 vdolab/splitpool /dev/nvme8n1 Size of logical volume vdolab/splitpool changed from 3.00 GiB (768 extents) to 39.75 GiB (10176 extents). Logical volume vdolab/splitpool successfully resized. # lvextend -l +64 vdolab/splitpool /dev/nvme6n1 Size of logical volume vdolab/splitpool changed from 39.75 GiB (10176 extents) to 40.00 GiB (10240 extents). Logical volume vdolab/splitpool successfully resized. # lvconvert -y --type vdo-pool -n splitlv -V 35G vdolab/splitpool --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; WARNING: Converting logical volume vdolab/splitpool to VDO pool volume with formatting. THIS WILL DESTROY CONTENT OF LOGICAL VOLUME (filesystem etc.) The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB. It can grow to address at most 16.00 TB of physical storage in 8192 slabs. If a larger maximum size might be needed, use bigger slabs. Logical volume \u0026#34;splitlv\u0026#34; created. Converted vdolab/splitpool to VDO pool volume and created virtual vdolab/splitlv VDO volume. 再检查 VDO 是否把元数据放在了 extent 所在的地方：\n# vdolistmetadata /dev/mapper/vdolab-splitpool_vdata | grep -v \u0026#34;slab [0-9]* \\(reference\\|journal\\)\u0026#34; 0 .. 0: geometry block 1 .. 679127: index 679128 .. 679128: super block 679129 .. 679188: block map tree roots 10452928 .. 10485695: recovery journal 10485696 .. 10485759: slab summary 一个 extent 是 1,024 个块。 NVMe 头部是 extent 0 到 767，即块 0 到 786,431，覆盖了索引和根，顺带还有第一个 slab 大约 420 MiB 的数据。 NVMe 尾部是 extent 10,176 到 10,239，即块 10,420,224 往后，覆盖了恢复日志和 slab 摘要。\nVDO 的元数据在两端，放在 NVMe 上 extent 0 到 767 extent 768 到 10,175 10,176 to 10,239 NVMe (nvme6n1) 慢硬盘（nvme8n1） NVMe (nvme6n1) UDS 索引、super block、 块映射根 18 个 slab：数据、块映射叶子、 引用计数、slab 日志 恢复日志、 slab 摘要 未按比例：头部 3 GiB，中间 36.75 GiB，尾部 256 MiB。 分成三段的池 LV。VDO 固定的元数据在两端，所以两端放 NVMe，slab 放慢硬盘。 VDO 的工作有多少跟着挪了过去，每次 30 秒运行，按设备计数：\n负载 NVMe 写 I/O 数据盘写 I/O NVMe 占比 4k 随机写，75% 重复，50% 可压缩 388,430 到 538,223 3.42 到 3.63 百万 10% 到 13% 128k 写，75% 重复，50% 可压缩 458,214 到 634,167 3.30 到 3.53 百万 12% 到 15% 4k 随机写，随机数据 181,457 到 384,507 3.25 到 8.49 百万 4% 到 5% 4k 随机读 0 次写，读的 2% 0 大约十分之一的写操作：恢复日志、索引更新，以及 NVMe 头部上 slab 0 的那一片。 它们是小而分散的元数据写入，正是机械硬盘最不擅长的那种。在 NVMe 上它们什么都不算。\n两个限制。 每个 slab 的元数据，即引用计数、slab 日志和块映射叶子，住在 slab 里面，跟着数据走。 另外我没有测试扩大一个拆分过的池。日志是从末尾放的，所以每次 lvextend 之后，都要再跑一遍 vdolistmetadata，看看它跑到哪儿去了，再决定信不信它。\nVDO 叠在 bcache 上：一块 NVMe，两份活 bcache 是把闪存放在慢盘前面的另一种办法。 我在机械硬盘上的 Ceph 下面跑的就是它，每个设置都在 bcache 那篇文章里讲过。 所以问题是：VDO 坐在 bcache 缓存上面时，会对这个缓存做什么。\n一块 NVMe 干两份闪存的活，分成两个分区：\n设备 大小 用途 nvme8n1p1 32 GiB bcache 缓存，writeback nvme8n1p2 8 GiB VDO 的头部和尾部：索引、根、恢复日志、slab 摘要 nvme6n1 349 GiB bcache 后端设备，数据住在这里 /dev/bcache0 349 GiB VDO 池的中间段，即 slab 两块硬盘又都是 Optane，所以 nvme6n1 是在扮演机械硬盘。 下面每个数字都要记住这一点。这里的后端设备很快，所以测的是到达缓存的量，而不是一个主轴要花多久把它冲刷下去。\nVDO 叠在 bcache 上：一块 NVMe，两份活 虚拟机磁盘：厚置备 LV 客户机看到的 卷组 vdovg Proxmox 读的 VDO LV，35 GiB 虚拟 去重、LZ4、丢弃全零 头部 中间：slab 尾部 VDO 池 LV，三段 bcache0, writeback 客户机字节的四分之一 p1：缓存 nvme6n1：数据 32 GiB 缓存，349 GiB 后端 p2：VDO 的元数据 p1 和 p2：同一块 Optane， nvme8n1 叠在 bcache 上的 VDO。池的两端去元数据分区，slab 经过 bcache，两个分区共用一块 Optane。 分区和缓存集，用的是那篇文章里的设置：\n# sgdisk --zap-all /dev/nvme8n1 # sgdisk -n 1:0:+32G -c 1:bcache-cache -n 2:0:+8G -c 2:vdo-meta /dev/nvme8n1 # blockdev --rereadpt /dev/nvme8n1 # apt install bcache-tools # make-bcache -C /dev/nvme8n1p1 -B /dev/nvme6n1 --writeback # B=/sys/block/bcache0/bcache # echo 0 \u0026gt; $B/sequential_cutoff # echo 40 \u0026gt; $B/writeback_percent # echo 81920 \u0026gt; $B/writeback_rate # echo 20480 \u0026gt; $B/writeback_rate_minimum # CS=/sys/fs/bcache/47bac36f-a1d5-4e8e-8695-2e7ff944172d # echo 0 \u0026gt; $CS/congested_read_threshold_us # echo 0 \u0026gt; $CS/congested_write_threshold_us 这些 echo 行只管到下次重启。bcache 那篇文章里的 udev 规则才能让它们持久。\n然后是池，按上面同样的方式拆分，两端用 nvme8n1p2，中间用 bcache0：\n# pvcreate /dev/bcache0 /dev/nvme8n1p2 # vgcreate vdolab /dev/bcache0 /dev/nvme8n1p2 # lvcreate -y -L 3G -n vdopool vdolab /dev/nvme8n1p2 # lvextend -l +9408 vdolab/vdopool /dev/bcache0 # lvextend -l +64 vdolab/vdopool /dev/nvme8n1p2 # lvconvert -y --type vdo-pool -n vdolv -V 35G vdolab/vdopool --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; # lvs -a --segments -o lv_name,lv_size,segtype,seg_start_pe,seg_size_pe,devices vdolab LV LSize Type Start SSize Devices vdolv 35.00g vdo 0 8960 vdopool(0) vdopool 40.00g vdo-pool 0 10240 vdopool_vdata(0) [vdopool_vdata] 40.00g linear 0 768 /dev/nvme8n1p2(0) [vdopool_vdata] 40.00g linear 768 9408 /dev/bcache0(0) [vdopool_vdata] 40.00g linear 10176 64 /dev/nvme8n1p2(768) vdolistmetadata 打印出的块范围和拆分搭法一样，所以索引和两个日志都在 nvme8n1p2 上。 vdovg 和 Proxmox 存储照旧放在上面。\n到达缓存的是什么 对比的是直接放在 bcache0 上的一个 8 GiB LV 和 vdovg 里的一个 8 GiB LV，同样的 fio 任务跑 30 秒，跑两遍，每次运行之间都把缓存冲刷干净。 /sys/class/block 里的设备计数器说明了字节去了哪里。\n在 bcache 上对比了什么 仅 bcache VDO 叠在 bcache 上 fio，30 秒 bcache0 上的 8 GiB LV bcache0, writeback p1：缓存 nvme6n1：数据 fio，30 秒 vdovg 里的 8 GiB LV VDO LV 和池，16 线程 bcache0, writeback p2：元数据 p1：缓存 nvme6n1：数据 bcache 数字背后的两个栈。同一个缓存，同一块后端硬盘；唯一的区别是上面有没有 VDO。 75% 重复，50% 可压缩，30 秒 仅 bcache VDO 叠在 bcache 上 4k 随机写，QD32，4 个任务 212,222 和 205,585 IOPS 390,206 和 304,757 IOPS p99 1.89 和 2.04 ms 1.45 和 2.54 ms 客户机写入 24.29 和 23.53 GiB 44.67 和 34.88 GiB 写进 bcache 缓存 25.00 和 24.26 GiB 11.48 和 10.44 GiB 写到 VDO 的元数据分区 1.18 和 0.59 GiB 每字节客户机写入对应的缓存写入 103% 26% 和 30% 结束时缓存里剩下的脏数据 6.0 和 6.5 GiB 5.5 和 5.2 GiB 128k 写，QD8 2,001 和 1,985 MiB/s 1,878 和 1,416 MiB/s 每字节客户机写入对应的缓存写入，128k 101% 24% 和 27% bcache 单独跑，顶到每秒大约 210,000 次小写入，而且把每个字节都写进了缓存，外加 3% 它自己的。 前面放上 VDO，缓存只收到四分之一的字节。第一次运行时，同一个缓存随后扛住了每秒 390,206 次写入，几乎翻倍，结束时等着写回慢盘的脏数据还更少。 瓶颈本来是缓存。VDO 把它挪开了。\n第二次运行才是对一个用过一阵的池来说诚实的那次。 fio 默认每次运行都用同样的方式给随机数生成器播种8，所以第二次写入的数据，索引早就见过，指向的却是之后已经被 discard 掉的块。 VDO 把索引当作提示，在共享之前会把每个候选块读出来，核实它确实是重复的9。 在一个只写的测试里，第二次运行从缓存里读回了 7.11 GiB，从数据盘读了 1.20 GiB。第一次只读了 0.12 GiB。 过时的提示不是免费的，而在一个虚拟机来来去去的池上，总会有一些。\n随机数据是另一面：\n随机数据，30 秒 仅 bcache VDO 叠在 bcache 上 4k 随机写，QD32，4 个任务 205,984 和 203,066 IOPS 203,186 和 85,882 IOPS p99 2.04 和 2.15 ms 5.7 和 17.7 ms 128k 写，QD8 2,038 和 2,017 MiB/s 878 和 357 MiB/s 4k 随机读，QD1 36,609 和 36,639 IOPS，21.6 µs 26,345 和 26,202 IOPS，33.6 和 33.7 µs 4k 随机读，QD32，4 个任务 471,585 和 471,730 IOPS 335,461 和 336,941 IOPS 没东西可省，VDO 就是纯开销，在索引过时的那次运行里，它让小写入掉了一半还多。 两列里的每一次读都来自缓存。VDO 多出来的 12 µs，就是它在裸 Optane 上加的那份固定成本。\n所以数据有重复的地方，两者叠得很好。 缓存只收到四分之一的字节，能扛更久的突发，要写回机械盘的也更少。数据不重复的地方，bcache 自己单干更好。\n在 HDD 硬件 RAID6 上：推演，不是实测 我手上没有 HDD RAID6 的主机可以测，所以这一节是建立在上面测量之上的推理。真要依赖它之前，先测你自己的阵列。\nHDD RAID6 上的 VDO，推演 虚拟机磁盘：厚置备 LV 客户机看到的 卷组 vdovg Proxmox 读的 VDO LV，厚置备 去重、LZ4、丢弃全零 头部 中间：slab 尾部 VDO 池 LV，三段 RAID6 虚拟盘 客户机字节的四分之一 控制器回写缓存 四倍的余量 HDD 一次寻道吞掉 VDO 的 17 µs NVMe 索引和日志离开主轴 这一节推演的栈，不是我测过的：slab 在控制器缓存后面的 RAID6 虚拟盘上，索引和日志在一块 NVMe 上。 在 HDD RAID6 上 VDO 改变了什么 到达阵列的写入 大约四分之一，前提是混合数据和实测的相似 控制器回写缓存 填充速度只有四分之一，所以能扛住大约四倍长的突发 VDO 的 CPU 开销 每次读 17 µs，淹没在 5 到 10 ms 的寻道里 恢复日志写入 约占写 I/O 的十分之一，小而且要刷盘：放到 NVMe 上 索引查找 盯着 vdostats 里的 dedupe advice timeouts；在慢存储上 VDO 可能放弃查找，照样把重复数据写下去 从头到尾读一个克隆 更慢：它的块指回模板的块，散落在整个阵列里 前两行就是硬件层面的答案。 控制器的电池或闪存保护缓存还有空间时，客户机看到的是缓存的延迟。缓存满了，客户机看到的就是主轴。 只给它四分之一的字节，同一个缓存就有大约四倍的余量，要冲刷的也只有四分之一。 上面 bcache 那一节，就是用软件缓存代替控制器缓存把这件事测了出来。\n第三行说明了为什么 VDO 更适合慢盘而不是快盘。 在 Optane 上，VDO 让读延迟翻了一倍。在 7,200 转的硬盘上，同样的固定成本消失在一次寻道里。\n最后三行是代价。 一模一样的克隆同时开机会变快，但从头到尾读一个克隆会变慢，因为去重把它打散了。 而且 VDO 自己的小写入也会落到阵列上，这就是上面拆分布局的理由：索引和日志放 NVMe，slab 放 RAID6。\n删除磁盘：让 Proxmox 对它做 discard 删除一个 LV 会在 LVM 里释放它的 extent。但它不会告诉 VDO 这些块没用了，所以 VDO 留着它们。 内核文档说明了这为什么要紧：“If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space”1。 在厚置备存储上它不会用完，但没被 discard 的块仍然是硬盘空间，为没人要的数据占着。\n存储上的 on-volume-remove discard=1 选项就是解决办法。Proxmox 把它描述为发出 “discard (TRIM) requests before removal”5：\n删除 释放的 VDO 块 普通 lvm 存储，一块装了 1 GiB 的磁盘 0 加上 on-volume-remove discard=1，同样的磁盘 262,140，整整 1 GiB 不过在大磁盘上它很慢。 删除填充测试里那块 34 GiB 的磁盘，Proxmox 花了 262.6 秒，而对同类数据用 blkdiscard，2.25 秒就处理了 15 GiB。 所以对任何大的东西，先 blkdiscard 磁盘，再删除。\ndiscard 的大小也要紧。VDO 默认的 max_discard 是每个请求一个 4 KiB 块1：\ndiscard 15 GiB 随机数据 耗时 CPU（sys） max_discard=1，默认值 8.06 s 8.06 s max_discard=4096，16 MiB 2.25 s 0.00 s 在客户机里，打开磁盘的 Discard 选项，让它们的 TRIM 能到达存储10，并定期跑 fstrim。\n它在哪里值得用 合适 不合适 从同样几个模板来的大量虚拟机 数据库和高队列深度下受延迟约束的工作 回写控制器缓存后面的 HDD RAID6 每一微秒都要的全 NVMe 主机 机械盘放数据，一块 NVMe 放 VDO 的元数据 已经压缩过的数据：媒体、备份、ISO 机械盘数据前面的 bcache，且数据有重复 数据不重复时前面的 bcache 写入寿命是瓶颈的硬盘 加密的客户机磁盘，永远去不了重 每个池能腾出半 GB 内存的主机 小池，索引会吃掉十分之一 设置 默认 设为 以后能改吗 VDO 虚拟大小 -V 你要多少给多少 不超过池能寻址的大小 只能增大，不能缩小 VDO 线程 10，一个 logical 每个 CPU 一个，按上面分配 只能在池上虚拟机都停下时改 max_discard 1，即 4 KiB 4096，即 16 MiB 只能在池上虚拟机都停下时改 存储上的 on-volume-remove 未设置 discard=1 可以，pvesm set 每块虚拟磁盘上的 Discard 关 开 可以，逐块磁盘改 scan_lvs 和过滤器 0，不拒绝虚拟机磁盘 1，拒绝虚拟机磁盘 可以，在 lvm.conf 里 这些都不难。这些也都不是默认值。\n最便宜的写入，是你从没发出去的那一次 VDO 让我印象最深的，是它被推销得有多糟。 它总是以“能在磁盘上放比磁盘容量更多的东西”的面目出现，而这恰恰是它最没用的本事。我第一次搭的时候就无意中这么干了，结果 VDO 满了，Proxmox 还显示有三分之一的存储空闲。超配是一笔贷款，硬盘会以全速写入的方式来催债。\n真正的价值在大多数人从来不测的那一行。 到达硬盘的字节只有四分之一，就是磨损只有四分之一，控制器缓存能撑四倍长的时间。那不是容量。那是硬件为同样的结果干更少的活，这是唯一一种不会回头咬你一口的节省。\n它要花 CPU，在快闪存上还要花延迟，而且两者都是固定的。这就是这笔交易，直说：花处理器时间，让机器里又慢又贵的那部分少干活。 在 RAID 控制器或 bcache 后面的机械盘上，索引和日志放在 NVMe 上，这笔账算下来很划算。在全 Optane 的主机上，大多算不过来。\n而且它不会自己照顾自己。 每一个要紧的默认值，对这份活来说都是错的：十六个 CPU 配十个线程，一个烧掉一整个核的 discard 大小，一个你想设多少就设多少的虚拟大小，存储配置里也没有任何东西告诉 Proxmox 把空间还回去。 这些都没藏着。全在文档里。\n所以就搭成厚置备，一次，好好地搭，设置写在创建命令里，元数据放在它该在的地方。 这么做，硬盘只干四分之一的活。跳过这些，你就是又买了一层承诺比实际拥有更多的东西。\nLinux kernel documentation — dm-vdo — 该目标 “provides block-level deduplication, compression, and thin provisioning”；“If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space”；“unflushed writes may or may not persist after a crash”；128 MB 的块映射缓存支持 “efficient access to 100 GB of logical space at a time”；线程参数、其上限和调优建议；maxDiscard “in 4096-byte blocks”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nlvmvdo(7) — Support for Virtual Data Optimizer in LVM — VDO 池和 VDO LV，用 lvconvert --type vdo-pool 转换现有 LV，内存用量，dense 索引及其每 GiB 内存对应 1 TiB 的窗口，以及 “You cannot reduce the size of a VDOPoolLV”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — drivers/md/dm-thin.c — 当数据设备容纳不了一个完整的 thin chunk 时，disable_discard_passdown_if_not_supported() 会关闭 discard 下传，VDO 的默认设置放在精简池下面时就是这样。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLVM2 — conf/example.conf.in — devices/scan_lvs：“Caution is required to avoid using PVs that belong to guest images stored on LVs” 以及 “This option does not enable autoactivation of layered VGs”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-storage — LVMPlugin.pm — on-volume-remove 属性，“Use \u0026lsquo;discard=1\u0026rsquo; to issue discard (TRIM) requests before removal”；卷用 lvchange -aey 逐个激活，而不是用 vgchange -aly。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian trixie — package vdo — “Management tools for Virtual Data Optimizer”，版本 8.3.1.1-1，提供 vdoformat、vdostats 和 vdolistmetadata。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — drivers/md/dm-vdo/encodings.c — vdo_initialize_layout() 把块映射分区放在开头，slab 摘要和恢复日志分区放在末尾，slab depot 用剩下的空间。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfio documentation — randrepeat — “Seed all random number generators in a predictable way so the pattern is repeatable across runs. Default: true.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — Design of dm-vdo — “vdo treats the locations in the index as hints, and reads each indicated block to verify that it is indeed a duplicate before sharing the existing block with a new one.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE documentation — Qemu/KVM Virtual Machines, Trim/Discard — “For the guest to be able to issue TRIM commands, you must enable the Discard option on the drive.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/proxmox/vdo-dedup-for-local-lvm/","summary":"VDO 是内核里的去重和压缩层。放在厚置备的 LVM 卷组下面，它让 Proxmox VE 的本地磁盘对虚拟机之间共享的每个块只写一份，所以真正到达硬盘的字节少得多。本文在一台 Proxmox VE 9 主机上把它搭成厚上加厚：VDO 的大小按它真正拥有的空间来定，上面的任何一层都没法超配；讲 lvm.conf 的 scan_lvs 设置和它的过滤器，以及让 VDO 的线程匹配 CPU 数。它测量了在一个模板和六个完整克隆、两个 ISO、全零数据和随机数据上去重省下了多少，硬盘实际收到的字节和客户机写入的字节之比，以及和同一块完全不带 VDO 的 Intel Optane 相比 VDO 的代价。然后把存储池搭成 VDO 的索引和日志在 NVMe 上、数据在第二个设备上，用 vdolistmetadata 证明布局，测量 I/O 怎么分流；再把 VDO 叠在 bcache 上，一块 NVMe 分区给 bcache 缓存和 VDO 的元数据，测量有无 VDO 时到达缓存的字节数。最后推演这一切在 HDD 硬件 RAID6 上意味着什么，并讲删除时的 discard。","title":"Proxmox 本地 LVM 下的 VDO：到达硬盘的字节更少"},{"content":"两个你设过一次就忘了的设置 Proxmox VE 9 不用你开口，就替你做了两件有用的事。 它给 Fisher-Price OS (Windows) 客户机提供在 KVM 上正常运行所需的半虚拟化功能，并且在启动时加载最新的 CPU 微码。\n两者都是自动的。两者也都取决于你曾经做过一次的某个决定，可能是好几年前，此后再也没看过。\n第一个取决于你创建虚拟机时选的 OS 类型。 选 Microsoft Windows 下的任何一项，Proxmox 每次启动都会加上 Hyper-V enlightenments。 留在 Other（导入磁盘或克隆老机器时很容易就这么留着了），客户机就一个都拿不到。 它能启动，能运行，只是更慢，而且没有任何东西告诉你。\n第二个取决于主机是怎么到 9 版本的。 9.0 安装程序会启用 Debian 的 firmware 组件，并为你的 CPU 安装微码软件包。 从 8.x 升级上来的主机保留原来的软件源，在大多数主机上，这意味着根本没有微码软件包。 在运行内核 6.17.9 或更新版本的 AMD Zen 5 主机上，这不是理论上的缺口：使用 EPYC CPU 类型的客户机会启动不了。\n两个默认设置，两个被遗忘的选择 虚拟机：由它的 OS 类型决定 OS 类型，设一次 Microsoft Windows Other 或 Linux 加上 hv_ 标志 每次启动 一个都没有 也没有警告 主机：由它怎么到 9 决定 Proxmox VE 9 主机 9.x 安装程序 从 8.x 升级 微码软件包 已安装 没有软件包 pve8to9 只是警告 两个默认设置都挂在一个早在出问题之前就做出的选择上。每种情况下右边那条路，就是没有任何警告的那条。 本文接下来逐个讲：它是什么，Proxmox 套用的确切规则，在缺失的地方如何打开，以及如何证明它生效了。 这些规则来自一台运行中的 9.2 主机上的 qemu-server 和 pve-manager 代码，不是凭记忆，因为其中两条和大多数人的猜测不一样。\nEnlightenment 到底是什么 为真实硬件写的客户机操作系统，会在很多到了虚拟机里就纯属浪费的事情上花大量力气。 它通过模拟芯片来编程定时器，在一个连调度都没被调度上的 vCPU 持有的锁上空转，主机偷走几毫秒时它就触发看门狗。\n半虚拟化解决这个问题的办法，是让客户机知道自己是客户机，直接和 hypervisor 对话。 Linux 用的是 KVM 自己的接口。 Fisher-Price OS (Windows) 只会说一种半虚拟化方言，就是 Hyper-V 的，所以 KVM 实现了这种方言，并告诉客户机它运行在一个兼容 Hyper-V 的 hypervisor 上。 其中的每一项叫作一个 enlightenment。\n没人要求，就一项都不开。 QEMU 的文档说得很直白：“No Hyper-V enlightenments are enabled by default by either KVM or QEMU”1。 在 Proxmox 上，负责提出要求的是 qemu-server，而且它只在 OS 类型是 Microsoft Windows 下某一项时才提。\n在任何主机上你都能看到差别。 下面是我 9.2 节点上的一台 Linux 虚拟机，ostype: l26，CPU 类型 host：\n# qm showcmd 101 --pretty | grep -- -cpu -cpu host,+kvm_pv_eoi,+kvm_pv_unhalt \\ 两个给 Linux 自己的半虚拟化中断和自旋锁处理用的 KVM 标志，一个 hv_ 标志都没有。 对 Linux 来说是对的。对只懂 Hyper-V 的客户机来说是错的。\n每个 enlightenment 做什么，按 QEMU 的说明1：\n标志 客户机得到什么 省掉了什么 hv_time Hyper-V 参考时钟和 TSC 页 无需 exit 的时间戳读取 hv_relaxed 被告知关掉看门狗超时 vCPU 被调度出去时的误报超时 hv_vapic 给 APIC 用的 VP assist 页 无需 exit 的中断结束 hv_spinlocks 半虚拟化自旋锁，通知主机前的重试次数 在一个持有者没在运行的锁上空转 hv_vpindex 它自己的虚拟处理器编号 后面四项的前提 hv_runtime 每个 vCPU 实际运行了多久 如实看到被偷走的时间 hv_synic, hv_stimer 合成中断控制器和定时器 模拟的定时器硬件 hv_ipi 一次 hypercall 向多个 vCPU 发 IPI 每个目标 CPU 一次 APIC exit hv_reset 通过 hypervisor 复位 hv_evmcs enlightened VMCS，仅限 Intel 更快的嵌套虚拟化 hv_tlbflush 半虚拟化 TLB shoot-down 等待没在运行的 vCPU OS 类型就是开关 规则在一个函数里：qemu-server 的 CPUConfig.pm 中的 get_hyperv_enlightenments2。 OS 类型先被换算成一个版本号：win11 变成 11，win10 变成 10，w2k8 和 wvista 都变成 6，XP 和 2003 类型变成 5。 Linux、Other 以及其他一切都变成 0。\n然后按顺序过关卡。\nqemu-server 逐道关卡加上哪些 hv_ 标志 从 OS 类型到 hv_ 标志，按代码运行的顺序 OS 类型版本低于 6？ 是 停止：什么都不加 OVMF 固件且版本低于 8？ 是 停止：什么都不加 机器版本 2.3，然后 2.6 或更新 加上 spinlocks vapic time reset vpindex runtime 版本 7 或以上 加上 relaxed synic stimer ipi Intel 主机，版本 11，机器版本 11.0+pve2 加上 evmcs qemu-server 套用它们的顺序。版本低于 6 的在第一道关卡就停了；UEFI 客户机如果类型早于 8.x，就在第二道停下，什么都不加。 读规则是一回事，跑一遍更好。 所以我在两台 9.2 主机上加载了已安装的 CPUConfig.pm，AMD 那几行用我的 AMD Ryzen 节点，Intel 那几行用一台 Intel Celeron N5100 节点，然后用每种组合去调用这个函数：\nOS 类型 固件 机器版本 主机 加上的 enlightenments l26 或 other 任意 任意 任意 无 wxp (5) SeaBIOS 11.0 任意 无 w2k8 (Vista/2008) SeaBIOS 11.0 任意 spinlocks、vapic、time、reset、vpindex、runtime win7 SeaBIOS 11.0 任意 上面六项，再加 relaxed、synic、stimer、ipi win7 OVMF 11.0 任意 无 win10 OVMF 11.0+pve2 Intel 完整的十项，没有 evmcs win11 OVMF 11.0+pve1 Intel 完整的十项，没有 evmcs win11 OVMF 11.0+pve2 Intel 完整的十项，再加 evmcs win11 SeaBIOS 11.0+pve2 AMD 完整的十项，没有 evmcs 在你动 GUI 之前，这里面有三点值得知道。\nOS 类型早于 8.x 的 UEFI 客户机什么都拿不到。 固件是 OVMF 且版本低于 8 时，代码会提前返回。 一台你迁到 UEFI 的 7/2008r2 客户机，已经悄无声息地丢掉了它原有的每一个 enlightenment。\nhv_evmcs 要同时满足三个条件。 Intel 主机、11/2022/2025 OS 类型，以及 11.0+pve2 或更新的机器版本。 10/2016/2019 客户机默认永远拿不到它，不管机器版本多新。\n主机厂商是在虚拟机启动时读取的。 检查调用的是执行启动的那个节点上的 read_cpuinfo，而不是虚拟机当初创建的地方。 在 Intel 和 AMD 混合的集群里，同一台虚拟机在一个节点上有 hv_evmcs，在另一个节点上没有，每次冷启动都重新决定。\n更老的机器版本关卡（2.3、2.6、2.12、3.1）只对固定在 QEMU 远古机器版本上的虚拟机有意义。 你今天创建的任何东西都能通过它们。\n所以，选和客户机最接近的 OS 类型，而不是列表里最新的那个。 10/2016/2019 客户机就该用 10/2016/2019。 Proxmox 的文档给出了类型除了这些标志之外还重要的第二个理由：它还会设定诸如虚拟 RTC 是否按本地时间运行之类的东西3。\n为什么你的旧虚拟机拿不到 7 月的修复 默认带上 hv_evmcs 是新近的事。 它在 2026年7月15日 随 qemu-server 9.2.0 到来，用于“mitigate guest freezes and 100% CPU usage seen on certain Intel CPUs with Windows guests that use Virtualization-Based Security (VBS)”4，并且和机器版本 11.0+pve2 绑在一起。\n问题就出在这个绑定上，因为 Proxmox 会在每台 Microsoft Windows OS 类型的虚拟机创建的那一刻，把它的机器版本固定下来。 文档给出了理由：“Windows is sensitive to changes in the virtual hardware - even between cold boots”3。 这是个合理的决定。它同时也意味着，一台 2026年6月 创建的虚拟机停在 11.0+pve1 或更老的版本上，并会一直停在那里，直到有人去挪它。\n会有人替你挪吗？不会。 新的默认值只对新虚拟机和你主动升级的虚拟机生效，别的一概不管。\n如果你有 Intel 主机在跑开了 VBS 的 11/2022/2025 客户机，而其中有任何一台曾经卡死在 100% CPU，这是第一件要查的事：\nqm config \u0026lt;vmid\u0026gt; | grep -E \u0026#39;^(ostype|machine):\u0026#39; ostype: win11 配上低于 pc-q35-11.0+pve2 的 machine: 行，就需要往上挪才能拿到修复。 挪动会改变客户机看到的虚拟硬件，而这恰恰是固定版本要防止的事。 所以要在维护窗口里做，先做好备份或快照，然后通过 Hardware → Machine → Edit，勾上 Advanced，选择版本。\n如果这一行是以 pc-i440fx- 开头的，版本反倒是小问题：这台客户机根本就不该在 i440fx 上，理由见 Always Use Q35, Not i440fx，下文的 设置它，并证明它生效了 会讲到。\n同样这几个月里还落地了两个相关的默认值，既然你都到这儿了，值得知道。 qemu-server 9.1.12 为 11/2022/2025 类型关掉了 cet-ibt 和 cet-ss 标志，因为在 QEMU 11.0 和暴露这两个标志的 7.x 内核下，开了 VBS 的客户机启动失败4。 而 9.1.14 暴露了 CPU 的 level 属性，文档描述它是“a known workaround for Hyper-V boot failures of Windows guests on recent Intel hosts when the CPU type is host or max”3。\nQEMU 这一侧，逐个版本看 qemu-server 负责构造命令行。pve-qemu-kvm 是运行它的那个 QEMU，7 月的修复两者都需要。\n只有装了 QEMU 11.0 二进制，才能选机器版本 11.0+pve2，因为 qemu-server 拒绝任何比它在主机上找到的 QEMU 更新的机器版本5。 +pve2 是 qemu-server 自己的修订计数，不是 QEMU 的，所以任何 11.0 构建都满足它。 9.2.0 发布当天，这一对是这样的：\n软件包 版本 发布日期 带来了什么 qemu-server 9.2.0 2026年7月15日 hv-evmcs 默认值和机器版本 11.0+pve2 pve-qemu-kvm 11.0.2-1 2026年7月1日 QEMU 11.0.2，当天的最新版 pve-qemu-kvm，最低要求 11.0.0-1 2026年5月5日 第一个 QEMU 11.0 构建 apt 会确保你两个都有吗？不会。 qemu-server 9.2.0 声明的依赖不比 pve-qemu-kvm (\u0026gt;= 7.1~) 更强6，所以一个把 QEMU 压在 10.x 上的节点，会一声不吭地装上新的 qemu-server，然后却提供不了修复所依赖的那个机器版本。 两个都要查，每个节点都要查。这是我今天的 9.2 主机，两者都早已超过：\n# pveversion -v | grep -E \u0026#39;^(qemu-server|pve-qemu-kvm):\u0026#39; pve-qemu-kvm: 11.0.3-4 qemu-server: 9.2.11 自 Proxmox VE 9.0 搭载 10.0.2 发布以来7，每个 QEMU 版本都为 Fisher-Price OS (Windows) 客户机带来了自己的修复。 下面是涉及客户机的那些，出自 Proxmox 的软件包变更日志8和 QEMU 上游的变更日志9：\nQEMU Proxmox 构建 为客户机修了什么 10.0 10.0.2-1，2025年6月17日 “PCI Label Id” 缺陷，英文版无害，但可能让本地化安装卡死 10.1 10.1.2-3，2025年11月17日 一个弄坏鼠标指针的 VNC 剪贴板回归 10.1 10.1.2-5，2025年12月22日 带 TPM 磁盘的虚拟机备份卡住，一个 io_uring 修复 11.0 11.0.0-1，2026年5月5日 swtpm 存放 TPM 状态所用的 FUSE 导出中的一个回归 11.0 11.0.2-1，2026年7月1日 Hyper-V enlightenments 被识别为 CPUID 标志，于是自定义 CPU 型号可以带上它们 QEMU 11.0 也弄坏了一样东西：它开始暴露 cet-ibt 和 cet-ss，这就是让 VBS 客户机启动不了、迫使 qemu-server 9.1.12 把它们关掉的原因，上文已经讲过。\n同一批版本里 guest agent 的修复是另一回事。QEMU 10.1、10.2 和 11.0 各自修了 guest agent 的 VSS 和文件系统冻结处理中的一部分，包括 11.0 治好的那个“Access denied Event ID 8194”9。 这些都不会随 pve-qemu-kvm 一起到来。这类客户机的 agent 是放在 virtio-win 驱动 ISO 里发布的10，所以只有你在虚拟机里更新 agent 时它才会变。\n两个可以手动设置的标志 Proxmox 不让你给虚拟机随便加 CPU 标志。 Hardware → Processors → Edit，勾上 Advanced，Extra CPU Flags 提供一个固定列表，定义在 CPUFlags.pm 里11。 列表上有两项是 enlightenment，而且正是 Proxmox 默认不设置的那两项，至少到 7 月之前是这样。\n标志 Proxmox 自己的描述 什么时候设置 hv-tlbflush “Improve performance in overcommitted Windows guests. May lead to guest bluescreens on old CPUs.” 可选。先拿一台虚拟机试，盯着它。 hv-evmcs “Improve performance for nested virtualization. Only supported on Intel CPUs.” 在 Intel 上，客户机里跑嵌套 Hyper-V、WSL2 或 VBS 时。11/2022/2025 在 11.0+pve2 下已经默认打开。 两者都是在 2019年7月23日 的 qemu-server 6.0-6 中改成需要手动开启的，变更日志里的描述是“sometimes problematic”4。 hv-tlbflush 这样一待就是七年。这已经清楚地暗示了，在你把它推到整个集群之前它需要多少测试。\nQEMU 自己对 hv-evmcs 的说明是：它只适用于 Intel，并且“some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled”1。 在一台没做嵌套虚拟化的客户机上手动打开它，你什么也得不到，还要付出这个代价。\n设置它，并证明它生效了 新虚拟机：Create VM → OS，把 Type 设为 Microsoft Windows，Version 选最接近的那个。\n已有的虚拟机：Options → OS Type → Edit，选版本，OK。 把已有虚拟机改成 Microsoft Windows 类型时，Proxmox 会固定它的机器版本，和创建时一样4，所以配置里的 machine: 行也会跟着变，这在意料之中。\n还要把它放到 q35 上。一个开了 enlightenments 的客户机没理由待在 pc-i440fx 上。 那是一个没有 PCIe 总线的芯片组，理由远不止直通，全都在 Always Use Q35, Not i440fx 里。\n向导不会拦你，而且对大多数 Microsoft Windows 类型，它恰恰会把你放在那里。 Proxmox 自己的文档称 Intel 440FX 为“the default”3，而 GUI 的 OS 默认值只为一项覆盖了它：11/2022/2025 得到 machine: 'q35' 和 bios: 'ovmf'12。 其他每一种 Microsoft Windows 类型都继承通用默认值，而通用默认值根本不设机器类型。 所以一台一路点 Next 创建的 10/2016/2019 客户机会落在 i440fx 上，开着 enlightenments，同时用着错误的芯片组。\n向导里选的 OS 类型 得到的机器类型 得到的固件 11/2022/2025 q35 OVMF 10/2016/2019 以及更老的每一种 Microsoft Windows 类型 i440fx SeaBIOS Other、Linux i440fx SeaBIOS 在完成向导之前，到 System 选项卡改掉它。 对已经存在的虚拟机，换芯片组对虚拟硬件的改动比升机器版本更大，所以同样的维护窗口和备份规则都适用，客户机对此会作何反应，q35 那篇文章里有讲。\n然后要正经地停机。 enlightenments 是 QEMU 命令行上的参数，而这一行只在 QEMU 进程启动时才构造。 从客户机内部重启，用的还是同一个进程，所以还是旧标志。关机，等到 stopped，再点 Start。\n从主机上证明，因为答案在那里：\nqm showcmd \u0026lt;vmid\u0026gt; --pretty | grep -o \u0026#34;hv_[a-z_]*[=0-9a-fx]*\u0026#34; | sort -u 它打印出 qemu-server 下次启动时会交给 QEMU 的东西。 Intel 上一台 11.0+pve2 的 11/2022/2025 客户机应该列出十一项：hv_evmcs、hv_ipi、hv_relaxed、hv_reset、hv_runtime、hv_spinlocks=0x1fff、hv_stimer、hv_synic、hv_time、hv_vapic 和 hv_vpindex。 同样的客户机在 AMD 上列出十项。结果为空，说明 OS 类型不是 Microsoft Windows 下的某一项，或者是 UEFI 上一个早于 8.x 的类型。\n如果改完之后客户机启动不了，就把 OS 类型改回 Other 启动一次，以确定是不是 enlightenments 的问题。 没有它们也能跑。只是跑得更差。\n微码：它修什么，从哪里来 第二个默认设置位于 hypervisor 之下，而不是之上。\nCPU 微码是厂商给处理器本身的固件。 更新会修复安全漏洞和严重的 CPU 缺陷，而对担心速度损失的人来说，Proxmox 管理指南说中了要害：“a patched microcode is usually still more performant than an unpatched microcode where the kernel itself has to do mitigations”13。\n它可以来自三个地方，彼此独立。\n来源 何时应用 谁发布 今天在我的 9.2 主机上 主板 BIOS/UEFI 更新 每次上电，持久 主板或服务器厂商 最后一版 BIOS 带的是什么就是什么 Debian non-free-firmware 启动早期，从 initramfs 加载 Debian intel-microcode 3.20251111.1~deb13u1，amd64-microcode 3.20250311.1 Proxmox VE 软件源 启动早期，从 initramfs 加载 Proxmox amd64-microcode 3.20251202.1~bpo13+1，没有 Intel 软件包 BIOS 这条路是 Proxmox 推荐的13。 早期加载这条路是安全网，用在主板厂商已经不再发布 BIOS 更新的时候，而对任何用了几年的设备，他们通常已经不发了。\n第三行让我意外。 Proxmox 在自己的软件源里带了一个比 Debian trixie 更新的 amd64-microcode14，pin 优先级相同，所以 apt 会选 Proxmox 的那个。 在配置了 Proxmox 软件源的 AMD 主机上，你最终运行的就是这个版本，而且下一节会说明，要紧的正是这个版本。\n启动过程中微码在哪里应用 一次启动，从左到右 上电 BIOS 微码 引导程序 加载 initramfs 内核启动 早期更新 主机运行 客户机启动 后期加载 被封掉 持久， 主板厂商 来自 initramfs， Debian 或 Proxmox 黑名单位于 /etc/modprobe.d 早期加载发生在内核启动任何其他东西之前。在运行中的系统上做后期加载，是 Debian 封掉的那条路，而且一直封着。 早期加载是本文要配置的东西。 微码被放进 initramfs，内核在启动的最开始、任何其他东西运行之前应用它。\n后期加载是把它应用到一个正在运行的系统上。 内核自己的文档有一节标题就叫“Why is late loading dangerous?”，而且从 5.19 起它默认不再启用15。 Debian 也封掉了它。这是我主机上的文件，原样照录：\n# cat /etc/modprobe.d/amd64-microcode-blacklist.conf # The microcode module attempts to apply a microcode update when # it autoloads. This is not always safe, so we block it by default. blacklist microcode 别动它。上面这台主机有这个文件，照样显示了一次成功的早期更新，所以它不碍任何事。\n两条路都需要重启。绕不过去。\n而且只适用于 x86。Proxmox 的指南直说了：“There is no equivalent operating-system-level microcode package for arm64”13。\n为什么升级来的主机上一个都没有 non-free-firmware 里的“non-free”讲的是许可证，不是钱，也不是 Proxmox 订阅。 Debian 的 wiki 解释过：内核那一侧是自由软件，但厂商的更新数据是“opaque”，“and its contents are unknown to Debian”16。 这就是它为什么单独放在一个组件里，也是为什么 Debian 系统不打开这个组件就拿不到它。\nProxmox VE 9.0 的安装程序会打开它。发行说明说，ISO 会“Install the microcode package matching the current platform”，并且“installations now have the non-free-firmware repository enabled”7。 升级两样都不做，因为它保留你在 8.x 上的软件源配置。\n全新安装 9.x 从 8.x 升级 non-free-firmware 由安装程序启用 8.x 上是什么就是什么，经常没有 微码软件包 按检测到的 CPU 安装 没有，直到你加上这个组件 谁告诉你 用不着 pve8to9，一个 FAIL 加一个 WARN，而且前提是你运行了它 后续更新 apt full-upgrade 加一次重启 一样，只要软件包装上了 检查工具确实会标出来，比我预料的还响。这是它在我那台从 8.x 升上来的 Intel 节点上的输出：\n# pve8to9 | grep -i -B1 -A2 microcode PASS: Legacy file \u0026#39;/etc/sysctl.conf\u0026#39; is not present. INFO: Checking if matching CPU microcode package is installed. FAIL: unable to determine installed intel-microcode version. WARN: The matching CPU microcode package \u0026#39;intel-microcode\u0026#39; could not be found! Consider installing it to receive the latest security and bug fixes for your CPU. apt install intel-microcode SKIP: NOTE: Expensive checks, like CT cgroupv2 compat, not performed without \u0026#39;--full\u0026#39; parameter 那个 FAIL 是副作用：版本查询会为任何没安装的软件包记录一次失败，然后微码检查才轮到发出它自己的警告17。 不管怎样，pve8to9 是检查工具，不是关卡。它不执行升级，也拦不住升级，所以升级会直接从它身边开过去。\n这在实际中要紧吗？下面是两个要紧的例子，第一个就是我自己的。\n那台 Intel 节点是一颗 Celeron N5100。它的软件源列表里早就有 non-free-firmware，所以软件包只差一条命令，而直到 2026年10月27日 都没人运行过它。 就算别人都没注意到，内核注意到了：\n# dmesg | grep -i microcode [ 0.000000] x86/CPU: Running old microcode [ 0.497219] microcode: Current revision: 0x0000001d # lscpu | grep -i \u0026#39;old microcode\u0026#39; Vulnerability Old microcode: Vulnerable 内核保存着“a table of released microcode”，用任何更老版本启动的 CPU 都“will say \u0026lsquo;Vulnerable\u0026rsquo;”18。 老到什么程度？Intel 的发行说明为这颗芯片给出了答案19：\n修订号 Intel 发布 在这台主机上 0x1d microcode-20210608 今天主板固件加载的版本 0x2400001f microcode-20220207 0x24000023 microcode-20220510 比这块主板的 BIOS 构建早六个月发布 0x24000024 microcode-20230214 0x24000026 microcode-20240312 在 Debian 的 intel-microcode 3.20251111.1~deb13u1 里 BIOS 版本 5.19，日期 2022年11月8日，它加载的仍然是 Intel 为这颗芯片发布的第一个微码，而构建它的时候已经有两个更新的版本发布了。 这正是早期加载这条路存在的意义：四个更新，就躺在一个这台主机本来就看得到的软件包里。 我写这篇文章时把它装上了，结果如何写在 开启它 里，因为那里有个坑。\n第二个例子是 AMD 的。Zen 5 处理器的 RDSEED 指令有缺陷20。 Proxmox 9.1 的发行说明记录了接下来会发生什么：6.17.9 起的内核，“without active microcode update will disable the RDSEED32 CPU-bit, and will fail to run Qemu guests with a CPU type that exposes that bit (for example EPYC or EPYC-v4)”21。 修复是 amd64-microcode 3.20251202.1~bpo13+1 或更新的版本，那是 Proxmox 软件源里的版本，不是 Debian 的。\n这里面还套着第二个坑。 在 BIOS 早于 AMD Entrysign 漏洞修复的 Zen 5 主板上，内核会拒绝新微码，并记录 No sha256 digest for patch ID，Proxmox 的建议是更新 BIOS21。 所以在这种硬件上，操作系统这条路只有在主板厂商尽了自己那份责任之后才走得通。\n开启它 先记下你现在的状态。在主机上，以 root 身份：\npveversion grep -m1 vendor_id /proc/cpuinfo # GenuineIntel or AuthenticAMD grep microcode /proc/cpuinfo | uniq # revision running now dpkg -l intel-microcode amd64-microcode 2\u0026gt;/dev/null | grep ^ii dmesg | grep -i microcode lscpu \u0026gt; /root/lscpu-before.txt # vulnerabilities and mitigations 如果 dpkg 已经显示对应的软件包是 ii，这台主机就已经好了，可以直接跳去检查结果。\n启用这个组件。 Trixie 的 apt 偏好 deb822 的 .sources 格式，Proxmox 的升级指南指向 apt modernize-sources 来转换旧的单行文件，原文件保留为 .bak22。 然后在 /etc/apt/sources.list.d/debian.sources 里，主仓库和安全仓库两段的 Components: 行都加上 non-free-firmware。 这是我主机上的文件，来自安装程序：\nTypes: deb URIs: http://deb.debian.org/debian/ Suites: trixie trixie-updates Components: main contrib non-free-firmware Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg Types: deb URIs: http://security.debian.org/debian-security/ Suites: trixie-security Components: main contrib non-free-firmware Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg 两段都要，因为 Debian 通过这两条路向 stable 发布微码。 安全仓库带的是 intel-microcode 3.20250812.1~deb13u1，而主仓库已经到了 3.20251111.1~deb13u123，你要的是最新的那个。\n装上和 CPU 对应的那个。\napt update apt install intel-microcode # Intel apt install amd64-microcode # AMD 只装你那个厂商的。此后新的微码会随普通的 apt full-upgrade 一起到来，每个新版本都和第一次一样需要重启。\n安装它会重建 initramfs，因为早期微码必须放在那里。 内核从 initrd 最前面的一个未压缩归档里读取它，路径是 kernel/x86/microcode/GenuineIntel.bin 或 AuthenticAMD.bin15，软件包的安装脚本会触发 initramfs 触发器把它放进去24。 这是写这篇文章时，我的 Intel 节点装上这个软件包的过程：\n# grep -A6 \u0026#39;Setting up intel-microcode\u0026#39; /var/log/apt/term.log Setting up intel-microcode (3.20251111.1~deb13u1) ... intel-microcode: microcode will be updated at next boot Processing triggers for man-db (2.13.1-1) ... Processing triggers for initramfs-tools (0.148.4) ... update-initramfs: Generating /boot/initrd.img-7.0.14-24-pve Running hook script \u0026#39;zz-proxmox-boot\u0026#39;.. Re-executing \u0026#39;/etc/kernel/postinst.d/zz-proxmox-boot\u0026#39; in new private mount namespace.. zz-proxmox-boot 是 Proxmox 的钩子。在 EFI 分区由 proxmox-boot-tool 维护的主机上，它会把新镜像复制过去；这台主机没有需要同步的。\n现在看看它生成的是哪个镜像。不指定内核时，update-initramfs -u 只重建最新的那个：“The default is the latest kernel version”25。 同一个节点，紧接着：\n# uname -r 7.0.14-23-pve # for f in /boot/initrd.img-*; do echo \u0026#34;$f: $(lsinitramfs $f 2\u0026gt;/dev/null | grep -c GenuineIntel.bin)\u0026#34;; done /boot/initrd.img-7.0.12-1-pve: 0 /boot/initrd.img-7.0.14-11-pve: 0 /boot/initrd.img-7.0.14-12-pve: 0 /boot/initrd.img-7.0.14-19-pve: 0 /boot/initrd.img-7.0.14-23-pve: 0 /boot/initrd.img-7.0.14-24-pve: 1 /boot/initrd.img-7.0.14-8-pve: 0 七个镜像里只有一个带了微码，而且不是主机正在运行的那个。\n下次启动 initramfs 里有没有微码 CPU 最终用的修订号 7.0.14-24，默认启动项 有 软件包里的 0x24000026 7.0.14-23，固定的或后备启动项 没有 BIOS 的 0x1d 任何更老的 没有 BIOS 的 0x1d 所以装完之后要重建所有镜像，每次微码更新之后也要再来一次，因为每次都会触发同样的只重建最新镜像。然后再跑一遍上面的循环来证明它：\nupdate-initramfs -u -k all 重启并检查。 这是我的 AMD 9.2 主机装上 Proxmox 软件源的软件包之后：\n# grep microcode /proc/cpuinfo | uniq microcode\t: 0xa500012 # dmesg | grep -i microcode [ 0.587928] microcode: Current revision: 0x0a500012 [ 0.587930] microcode: Updated early from: 0x0a50000d Updated early from 就是证明它生效的那一行。 Proxmox 自己的管理指南还显示着较早的措辞 microcode updated early to revision13；当前内核打印的是上面那两行26。两种形式都说明成功了。\n没有这一行本身并不是故障。 只有当软件包里有比 CPU 内置修订号和 BIOS 加载的修订号都更新的东西时，它才会出现。 一个软件包覆盖非常多的 CPU 型号，指南说得对：软件包上的日期并不能告诉你，你的型号上一次拿到东西是什么时候13。\n在集群上滚动推进 软件源的修改和安装可以在所有节点上同时进行。重启之前什么都不会变。 重启则一次一个节点，每个节点恢复健康之后，下一个才能停机。\n微码滚动重启，每轮一个节点 逐个节点，然后下一个 检查 法定人数、Ceph 维护模式 客户机迁走 noout 可选 重启 检查 dmesg 等待 OSD 都 up 和 in 释放 取消，迁回 下一个节点，同样的步骤 每轮一个节点。两个 Ceph 步骤只适用于超融合集群，noout 那一对是可选的。 步骤 命令 完成标志 集群健康 pvecm status、ceph -s 有法定人数，HEALTH_OK 清空节点 ha-manager crm-command node-maintenance enable \u0026lt;node\u0026gt;，非 HA 客户机手动迁移 节点上没有客户机了 可选，Ceph ceph osd set noout ceph -s 里显示该标志 重启，验证 dmesg | grep -i microcode 显示新的修订号 Ceph 已恢复 ceph -s 所有 OSD 都是 up 和 in，HEALTH_OK 释放 node-maintenance disable \u0026lt;node\u0026gt;、ceph osd unset noout HA 客户机迁回 HA 维护模式会记录每个 HA 客户机从哪里来，等节点退出维护后把它迁回去27。 非 HA 客户机是你的事。\n关于 noout，意见不一，两边都有道理。 Ceph 很快就会把一个没动静的 OSD 标记为 down，但要过了 mon_osd_down_out_interval 才会标记为 out，这个值默认是十分钟28，而触发重平衡的是 out。 一次正常的重启远在这之前就回来了。一台 POST 很长、有固件提示、或者 RAID 控制器很慢的服务器，就未必。 设置 noout 可以防止一次慢重启变成一次重平衡。代价是要记得取消它，而一个被遗忘的 noout 会在之后掩盖真正的故障。\n整个集群在一个窗口里做完。 各节点跑着不同的微码修订号，恰恰就是这样一种情形：一台 CPU 类型为 host 的客户机（它直接看到物理 CPU 的特性）可以在线迁移到一个报告着另一组特性的节点上。\n微码更新出问题时 很少见，但确实会发生，Proxmox 的指南讲得很周全13。\n情形 这样做 为什么 你怀疑新微码 用 dis_ucode_ldr 启动一次 只在这次启动时禁用加载器29 旧修订号没事，新的有事 装回较早的版本并 hold 住 purge 可能让一个更老的 BIOS 修订号跑起来 几周之后 apt-mark unhold，然后 full-upgrade 别处的修复可能在同一微码版本下就治好它 一次性启动：GRUB 菜单（如果隐藏了就按住 Shift），在 Proxmox 启动项上按 E，在以 linux 开头的那一行末尾加上 dis_ucode_ldr，然后 Ctrl+X。 用 systemd-boot 而不是 GRUB 的主机，管理指南的引导程序一章里有讲。\n在 Intel 上降级：\napt list -a intel-microcode # what versions exist apt install intel-microcode=\u0026lt;version\u0026gt; # pick the earlier one apt-mark hold intel-microcode # stop the next upgrade undoing it reboot AMD 上换成 amd64-microcode。只降级，绝不 purge。\n默认值是给走了预期那条路的人的承诺 这两件事都不是缺陷。 Proxmox 两次都做了明智的事：在安全的地方打开功能，在可能不安全的地方关着，并把客户机挑剔的虚拟硬件固定住。 安装程序修好了，升级检查工具会标出来，变更日志写明了改了什么、什么时候改的。 Proxmox 尽了它的那份责任。\n但默认值是对那个按厂商预期方式做事的人许下的承诺。 全新安装，OS 类型正确，虚拟机在 7 月之后创建。 任何一个环境有历史的人，也就是每个在跑真东西的人，都有一部分落在这个承诺之外，而这个缺口不会自己吭声。 它表现为一台有点慢的客户机，一次没人会联想到机器版本的 VBS 卡死，或者一个 Zen 5 节点，内核更新之后上面的 EPYC 客户机启动不了。\n发行说明描述的是全新安装会得到什么。 关于你的主机实际在跑什么，它们只字未提，而这是两个不同的问题。 回答第二个问题的唯一办法就是去看：客户机上的 qm showcmd，主机上的 dmesg，配置里的 machine 那一行。 每台机器都花不了一分钟。\n那一分钟就是这份工作。Proxmox 给了你检查的工具，因此，你以为的和实际在跑的之间的那个缺口，得由你来补上，不是他们。\nQEMU documentation — Hyper-V Enlightenments — “No Hyper-V enlightenments are enabled by default by either KVM or QEMU”；各标志的说明；hv-evmcs：“The feature is Intel-only”以及“some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — CPUConfig.pm — get_hyperv_enlightenments：OVMF 和版本关卡、机器版本限制，以及 hv_evmcs 的 GenuineIntel 检查。本文在 qemu-server 9.2.11 上实际运行。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — Qemu/KVM Virtual Machines — “You can choose between the default Intel 440FX or the Q35 chipset”和“switch from the default SeaBIOS to OVMF”；“For Windows guests, the machine version is pinned during creation, because Windows is sensitive to changes in the virtual hardware - even between cold boots”；这类客户机的 level 属性以及 cet-ibt/cet-ss 默认值。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — Debian changelog — 9.2.0（2026年7月15日）从机器版本 11.0+pve2 起为 Intel 上的 11/2022/2025 客户机启用 hv-evmcs；9.1.14 暴露 level；9.1.12 禁用 cet-ibt 和 cet-ss；切换到 Microsoft Windows OS 类型时固定版本（2025年1月）；6.0-6（2019年7月23日）“Make sometimes problematic \u0026lsquo;hv-tlbflush\u0026rsquo; and \u0026lsquo;hv-evmcs\u0026rsquo; CPU flags optional”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — Machine.pm — 当机器版本对应的 QEMU major.minor 比已安装的二进制更新时，can_run_pve_machine_version 返回 false；+pveN 修订号也列在同一个文件里。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server 9.2.0 — debian/control — 在 2026年7月15日 的“bump version to 9.2.0”提交中，运行时依赖是 pve-qemu-kvm (\u0026gt;= 7.1~)。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — 9.0, Installation ISO — “Install the microcode package matching the current platform… This also means that installations now have the non-free-firmware repository enabled.”；同一版本列出了“QEMU 10.0.2”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-qemu — Debian changelog — 10.0.2-1（2025年6月17日）“update QEMU and downstream patches for 10.0.2 release”，其中带有下面那个上游 10.0 修复；10.1.2-3“a regression with VNC clipboard breaking mouse pointer in Windows guests”；10.1.2-5 针对“backup with TPM disk potentially getting stuck”的 io_uring 修复；11.0.0-1“regression when using fuse export for swtpm”；11.0.2-1“recognize Hyper-V enlightenments in the list of supported CPUID flags”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU upstream changelogs, 10.0 — “Workaround \u0026lsquo;PCI Label Id\u0026rsquo; Windows bug, which is normally harmless but on localized versions can lead to guest hangs”；guest agent 的 VSS 和冻结修复见 10.1、10.2 和 11.0，其中包括“Fix guest-fs-freeze cause ‘Access denied Event ID 8194’ in Event Viewer”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Qemu-guest-agent — 对这类客户机：“First you have to download the virtio-win driver iso”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — CPUFlags.pm — 单台虚拟机的标志列表，含上文引用的 hv-tlbflush 和 hv-evmcs 描述。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager — OSDefaults.js — win11 条目设置 machine: 'q35' 和 bios: 'ovmf'；其他 Microsoft Windows 条目继承 generic，而它不设机器类型。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — CPU Microcode Updates — 操作系统早期更新、推荐的 BIOS/UEFI 途径、arm64 没有操作系统层面的软件包、dis_ucode_ldr 步骤，以及降级而不是 purge。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE pve-no-subscription repository for trixie — 带有 amd64-microcode 3.20251202.1~bpo13+1，没有 intel-microcode，2026年10月27日 读取。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — The Linux Microcode Loader — “Since kernel 5.19, late loading is not enabled by default”，以及“Why is late loading dangerous?”一节。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian Wiki — Microcode — CPU 厂商提供的“opaque”更新数据“is non-free, and its contents are unknown to Debian”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager — pve8to9.pm — check_cpu_microcode_package 记录这条警告；它先调用的 $get_pkg 查询会为任何没安装的软件包把“unable to determine installed $pkg version.”记为一次失败。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — Old Microcode — “The kernel keeps a table of released microcode. Systems that had microcode older than this at boot will say \u0026lsquo;Vulnerable\u0026rsquo;.”（内层引号由双引号改为单引号）\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel — Linux Processor Microcode Data Files, release notes — 06-9c-00/01“Celeron N4500/N4505/N5100/N5105”的 JSL 各行，覆盖 20210608 到 20240312 各版本；0x24000026 读自 Debian 软件包中 06-9c-00 的文件头。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD security bulletin AMD-SB-7055 — Zen 5 处理器上的 RDSEED 问题。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — 9.1 known issues, AMD Zen5 CPU issue with RDSEED — 客户机启动失败、修复后的软件包版本，以及在没有 Entrysign BIOS 修复的主板上出现的 No sha256 digest 消息。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Upgrade from 8 to 9 — apt modernize-sources 转换为 deb822，并把旧文件加上 .bak 后缀保留。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian packages — intel-microcode in trixie — stable 和 security 的版本，并在主机上用 apt-cache policy 交叉核对过。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian sources — intel-microcode.postinst — dpkg-trigger --no-await update-initramfs，然后是“microcode will be updated at next boot”；amd64-microcode 也一样。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian manual — update-initramfs(8) — 关于 -k：“The default is the latest kernel version”，而“all”作用于“on all installed kernel versions that already have an initramfs (with -d or -u)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — arch/x86/kernel/cpu/microcode/core.c — 打印“Current revision: 0x%08x”和“Updated early from: 0x%08x”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — High Availability, maintenance mode — HA 服务会被迁走，并在“automatically once the maintenance mode is disabled and the node is back online”时迁回。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph documentation — Configuring Monitor/OSD Interaction — mon_osd_down_out_interval，“The number of seconds Ceph waits before marking a Ceph OSD Daemon down and out”，默认 10 分钟。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — kernel parameters — dis_ucode_ldr：“Disable the microcode loader.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/proxmox/hyper-v-enlightenments-and-microcode/","summary":"Proxmox VE 9 会给 Fisher-Price OS (Windows) 客户机打开 Hyper-V enlightenments，并在新主机上安装 CPU 微码，但前提是虚拟机的 OS 类型选的是 Microsoft Windows，并且主机是用 9.x 安装程序装的。本文讲这些 enlightenments 做什么；qemu-server 挑选它们的确切规则（在一台运行中的 9.2 主机上实测）；为什么机器版本固定会让旧虚拟机拿不到 2026年7月的 hv-evmcs 修复；这个修复需要哪个 pve-qemu-kvm 版本，以及 10.0 以来每个 QEMU 版本为这类客户机修了什么；为什么它们应该用 q35、绝不用 i440fx（而创建向导仍然把多数这类客户机交给 i440fx）；两个可以手动设置的标志；如何证明一台虚拟机实际在跑什么；微码从哪里来（主板固件、Debian 以及 Proxmox 自己的软件源）；为什么升级来的主机上一个都没有（以一台落后 Intel 四个版本的 Intel 节点为例）；安装微码会触发的 initramfs 重建，以及这次重建漏掉的旧内核；随之而来的 Zen 5 RDSEED 故障；如何启用；在 Ceph 集群上滚动重启；以及如何回退一次有问题的更新。","title":"两个你可能并没有的 Proxmox VE 9 默认设置：Hyper-V Enlightenments 与 CPU 微码"},{"content":"Google 的地图，我的摄像头，一个应用 我在车机屏幕上只想要一样东西。Google 的地图、Google 的路况、Google 的逐向导航，上面叠加我自己的测速摄像头数据，并且只在摄像头真正对着我这一侧道路时才提醒我。\n我在 Android Auto 上找不到任何能做到这一点的东西。Google 地图有地图和路线规划，但没有办法把你自己的摄像头数据库加载进去。所以我自己来做。\n它叫 AutoNavAlerts。这是一款基于 Google Navigation SDK 的 Android Auto 导航应用，上面写了一套摄像头和兴趣点提醒系统。第一个摄像头数据源是 PocketGPSWorld，用的是我自己付费的订阅。代码以 Apache License 2.01 公开在 github.com/damo2929/AutoNavAlerts。\n这是一个系列的第一部分。它讲这个应用做什么，Google 会让、不会让第三方应用在车机屏幕上做什么，以及它是怎么做出来的，因为几乎每一行代码都是 Claude（Anthropic 的 AI 模型）写的，由我定规则、做测试、对结果负责。最后这一点本身就是个故事。\n它是 0.1.0 版。它是侧载安装的，不在 Play Store 上，只真正上路开过一次。把它当作开发日志来读，不是产品发布。\n它现在能做什么 测试版里有这些东西，以及每一部分是干什么用的：\n方面 它做什么 导航 带路况的 Google 地图、地点搜索、带预计到达时间的路线预览，车机屏幕、侧栏和仪表显示屏上的逐向导航 导航到联系人 说出或输入一个名字，联系人保存的地址会出现在 Places 结果上方。只有你选中的那个地址会发给 Google 与音乐共存 只用导航模板，所以分屏时音乐保留自己的卡片。提醒语音会压低音乐，从不暂停它 摄像头提醒 每个摄像头分三个阶段，只针对朝向你行驶方向、在你所在道路上的摄像头 区间测速 只有前方还有另一个限速相同的摄像头时区间才开始，在最后一个摄像头处结束 速度面板 你的车速和道路限速，始终并排显示在右下角 离线限速 一次性下载英国的 OpenStreetMap 限速数据：手机上 29 MB 存 1,326,619 条道路。开车时不做任何查询 电动车路线 最快路线和 Google 的节能路线并排显示，由你选 摄像头数据 你自己的 PocketGPSWorld 订阅，每天检查一次，导航途中绝不替换。也可以导入 iGO、KML、GPX、OV2 或 CSV 文件 上报摄像头 在车上点一下，保存位置、朝向和限速，可附一段语音备注。审核和发送都在手机上做，绝不在开车时做 摄像头提醒是这个应用存在的理由，所以下一节专门讲它。\n摄像头只有朝着你才算数 一个对着对向车道响起来的测速提醒，比没有提醒还糟。它会把你训练成对这东西充耳不闻。所以设计里第一条硬规则就是：摄像头只有朝向你的行驶方向时才提醒。这条规则绝不放宽，绝不靠默认值绕过，也绝不因为数据不好处理就丢掉。\n一次定位如何变成摄像头提醒 输入 每次定位，四项检查 输出 车速和车辆 GPS 车辆提供时 手机 GPS 每秒 10 次定位 你自己的摄像头数据 在手机上 1. 够近 2. 在你前方 3. 朝向你 4. 在你的路上 车机地图 上的横幅 语音提醒， 音乐压低 地图上 高亮摄像头 任一检查不过：不提醒；背向的摄像头画成暗色并带箭头 一次定位怎样变成一次提醒。每秒最多十个位置要过四道检查；只有四道全过的摄像头才会被播报并作为提醒弹出。 引擎在每次定位时运行，每秒最多十次。对附近的每个摄像头，它按顺序问四个问题：\n检查 何时通过 为什么要有它 够近 在触发距离加 200 m 以内，上限 3 km 不在几英里外的摄像头上浪费功夫 在你前方 指向摄像头的方位与你的航向相差 45° 以内 身后的摄像头已经过去了 朝向你 摄像头的方位与你的航向相差 45° 以内，弯道上则与指向摄像头的方位比 对向车道保持安静 在你的路上 距前方路线 50 m 以内；自由行驶时则是一条随距离变宽的 40 m 走廊 平行道路保持安静 45° 并不宽松。PocketGPSWorld 的 TomTom 文件只用八个罗盘方位给出摄像头方向，所以还没算别的，22.5° 就已经被数据吃掉了。GPS 航向再吃掉几度，道路弯曲再吃掉几度。这就是为什么别的东西一概不许再往里挤。\n方向检查不过的摄像头仍会画在地图上，颜色调暗，带一个箭头标出它朝哪边。你看得到它。它只是不跟你说话。\n70 mph 下的三个提醒阶段 默认提前量：按你的车速 15 秒，这里是 70 mph 你，70 mph 摄像头 朝向你 对面车道，背向：暗色，不出声 第一次提醒 469 米前，15 秒 第二次提醒 235 米前，7.5 秒 经过 100 码（91 米） 未按比例；242 米和 142 米的下限让低速时前两次提醒保持间隔 70 mph、默认提前 15 秒时的三个阶段。前两个按你的车速计时；经过提醒固定在 100 码，只要开着声音就不能关。 各阶段是按时间算的，不是固定距离。第一次提醒在以当前车速还有 15 秒到达时响起，第二次在一半时间处，两者都有下限，所以绝不会挤到第三次上。第三次固定在 100 码，只要开着声音就是强制的。接近过程中触发距离只会变大，所以急刹车不会缩短你本该得到的提醒。\nGoogle 允许应用在车机屏幕上做什么 有意思的地方就在这里，因为 Android Auto 上的第三方应用不是 Google 地图。它运行在 Android Auto 的 Car App Library 定下的规则里，这个库给应用提供“a set of visual templates approved for driver safety”2，同时也受限于 Navigation SDK 愿意开放的东西。\n有三个缺口对这个应用的塑造，比我自己选择做的任何东西都大：\n什么 车上的 Google 地图 基于 Navigation SDK 的应用 上报事故、警察或道路施工 内置 不提供。Google 自己的文档：“real-time disruptions are not available on Android Auto”3 道路限速 显示 只给你超出的百分比，而且只在你超速时给4 触摸 SDK 自己的地图控件 不适用 不行。Android Auto “limits screen surface interaction to a series of SurfaceCallback methods”2 就拿限速来说。Google 知道限速。Google 会告诉应用你超了多少，以百分比和严重程度的形式，而你没超速时什么都不说。能问一句，为什么司机只有在已经违规之后才被允许知道限速？这个问题我不会得到答案，所以应用自己绕过去。你超速时，它从你的车速和那个百分比反推出限速。没超速时，它用你正在接近的摄像头，再用 OpenStreetMap 下载的数据；实在没有限速时，它显示一个横杠，而不是什么都不显示。\n事件上报也是同样的情形。上报 API 在手机的导航视图上有，在车机上没有。已经有人向 Google 提过这个需求5，至今仍未关闭。应用在运行时检查这些 API，所以如果以后的 SDK 加上了它们，Google 的上报按钮会直接出现，我的代码一行不用改。一个 GitHub Actions 任务每季度检查一次，出现的当天就开一个 issue。\n触摸规则可把我坑惨了。SDK 的车机地图会画自己的到达卡片、顶栏、重新居中按钮、速度表和行程栏。它们一个都点不了，因为触摸根本到不了 SDK 的视图。它们看着像按钮，实际上屁用没有。所以它们全被关掉了，应用在点击真正能生效的地方画自己的控件。\n自带密钥，自带数据 有两个决定让这个应用在钱和许可证上保持老实，两个都是有意为之。\n没有内置的 Maps 密钥。 Google Maps Platform 需要“a billing-enabled Cloud project”6，Navigation SDK 需要一个启用了它的项目7。如果我在应用里附带一个密钥，所有人开车的费用都会记到我头上，或者密钥泄露出去，费用照样记到我头上。所以每个用户都在自己的 Google Cloud 账号里自带密钥。手机应用可以用你自己的 Google 账号创建一个，或者你粘贴一个进去。它在手机上加密保存。没有任何形式的后备，在你的密钥填进去之前，应用一次 SDK 调用都不会发。\n应用里没有摄像头数据。 PocketGPSWorld 的数据库授权给个人使用，每次下载都给会员打上水印，并禁止把它放到购买者以外任何人能拿到的地方。所以应用从不附带它、从不托管它，也从不在手机之间同步它。你用自己的订阅登录，手机把你自己那份带水印的副本下载到不参与备份的私有存储里。在测试台上，那是 33 组共 19,826 个摄像头，每个文件一组，从不合并。\n自动同步在这件事上很有分寸。它每天读一次 PocketGPSWorld 的公开 RSS 源8，只有出了新版本才登录。导航途中它绝不替换摄像头数据。\n他们许可证里有一条并没有因此完全解决，就是关于把数据并入应用程序的那一条。我自己用，我接受这一点。在应用交给别人之前，我会给 PocketGPSWorld 发邮件问清楚。\n两天，87 个 commit，先写设计文档 现在是大家会吵起来的部分。这些代码不是我敲的。是 Claude 通过 Claude Code 写的，用了两个模型，Claude Fable 和 Claude Opus。需求是我写的，每个决定是我做的，测试台是我跑的，车是我开的，回来的东西是我审的。每个含有 AI 写的改动的 commit 都带着一行注明这一点的 trailer，README 里也写了。\n以下数字直接从仓库里读出来：\n指标 数值 Commit 87 个，从 2026年10月11日 22:10 到 10月13日 12:44 带 Claude 合著者行的 commit 83 个（Fable 56 个，Opus 27 个） 应用及其核心库中的 Kotlin 15,334 行 单元测试 211 个，共 3,464 行 DESIGN.md，规格说明 1,763 行，在写任何代码之前写成 设计文档先行，这是我能告诉任何做这件事的人最有用的一句话。它的第一行就说，在它获批之前不写任何代码，之后的任何改动都先在它里面改。每个类都写明了它的职责。每个阈值都有理由。我定的每条规则都标明是我定的，并注明日期。\n这很重要，因为模型会忘事。一段长会话会被压缩成摘要，摘要留下大意、丢掉细节，而 bug 恰恰藏在细节里。仓库自己的 AGENTS.md 说得很直白：不要依赖凭记忆或上一次会话得来的这些文件的摘要。代理要回去读文档。每一次都是。\n第二阶段还有两个代理并行工作，一个负责导航引导、地图和界面，另一个负责定位、提醒、语音和地图标记。每个代理拥有一份写明的文件清单，两者之间的接口事先定死：只加，不改名。它们合并得干干净净，因为边界是在两边动手之前就定下的，而不是事后才发现的。\n每一条硬规则都来自我亲眼看到的东西 设计里有一份硬规则清单，没有一条是在白板上想出来的。每一条都来自看着它在 Desktop Head Unit9（Google 在电脑上的车机屏幕模拟器）里或者在车里运行，看到它做错了什么。\n硬规则 让它成为规则的那件事 摄像头只有朝着你这边才提醒 对面车道的提醒是噪声，只会教你学会无视提醒 车机屏幕上不放任何不起作用的东西 屏幕上有两个停止按钮，其中一个是摆设 同一个功能不显示两次 还是那对按钮，外加两个回中按钮、两个车速显示 只有一个取消，用 Google 的 角落里带 X 的那张卡片是 Android Auto 自己的，根据应用发布的行程画出来，所以应用自己的停止按钮去掉了 车机屏幕上不许抖动 停着车的时候“更多”页面在抖，因为它每秒重发一次完全相同的界面，而 Android Auto 每次刷新都做动画 所有按钮都在右侧 车机屏幕报告尺寸之前，地图按钮一直待在左上角；现在从一开始就是右边一列，左边没有我们的任何东西 永远不内置 Maps 密钥 谁开车的费用都不能记到别人账上 抖动是我最喜欢的一条，因为它太小了，差一点就发布出去了。一行实时 GPS 每秒跳一次。每跳一次就把整个界面原封不动地重发一遍，宿主再给它做一次动画，于是车停着不动，下面每一行都在抖。修复只是一次比较：只有某一行变了才重画。规则比修复更大。一个静止的界面必须看起来是静止的，检查方法是连拍一组截图，每一张都必须完全相同。\n这才是 AI 写代码时真正的工作。它不会累，也不介意重写，但它看不见车机屏幕。你看得见。把你看到的东西写成规则，注上日期，才能防止它在三次会话之后又回来。\n代码哪里写错了，又是怎么抓到的 错的不少。没有一个是稀奇古怪的，而且每一个都是靠运行抓到的，不是靠读代码：\n故障 它干了什么 怎么抓到的 路线匹配到了错误的一段 Google 从停着的车出发规划的路线先往北，在环岛掉头，再沿同一条路往南回来。匹配器把车钉在 10 米外的北行那段上，于是每个南行摄像头都“偏离道路”一公里多。一个提醒都没有 测试台上的脚本化驾驶；提醒日志对每个摄像头都写着 offRoad lateral=1204 语音看门狗太短 它只给 1.5 秒加每个字符 70 毫秒。数字念出来比这慢，所以每一条第二阶段提醒都在句子中间被掐断 一次测试台运行的语音记录 引擎里的限流 窗口是三秒，同一个路口的两个摄像头，有一个永远丢了 追查第一次真正上路时那些没出声的提醒 过时的航向 模拟器不管你怎么做都报告 0° 方位，所以在南行的路上每个摄像头都过不了方向检查 沿 A61 的一次模拟运行 限速变化被当成摄像头提醒念出来 前方限速变化被排进了第一阶段摄像头提醒的队列 测试台上的语音日志 第二个值得停一下。每一个单独的测试都通过了。按它自己的标准，代码是对的。只是那个超时是由一个从没听过手机把距离念出来的人定的。能抓住它的测试，是在一次真实运行里用真实的语音计时。\n第一次真正上路 2026年10月12日，我把一个 release 版本装到手机上，开着小鹏 G6 通过无线 Android Auto 出门。出了两个问题。停车时设好的路线，起步几秒钟后就自己清掉了。还有一些提醒念出来了，一些没有，看不出任何规律。\n接着是更糟的问题。什么都没留下可读的。我手机的 ColorOS 会把应用的日志行丢掉，所以这趟驾驶完全没有留下证据。是应用的问题，Google SDK 的问题，还是 Android Auto 本身的问题？我说不上来。\n所以第一次上路之后的修复不是改代码，而是留证据。应用现在一直在手机上写两份日志，一份记录路线和地图，一份记录每一个提醒决定，每 15 秒写一批，另外还有一个可选的行车记录器，保存每一个位置，这样一趟驾驶可以在测试台上回放。然后那些靠猜的地方才得到修复，每一处都改成少做一点，并把它做了什么记下来。引导结束的每一种方式，现在都会记下是谁结束的。\n此后在测试台上，Android Auto 调用过一次停止，是在一次引导驾驶开始后 2 分 35 秒。当时我正在车机上到处点，所以最可能是它自己卡片上的那个 X。没人碰屏幕的时候，这事没再发生过。下一次上路就能定论，因为这一次驾驶会留下痕迹。\n接下来是什么 测试台上的清单还很长。接下来的几次驾驶要检查取消按钮、弯道和逆向的场景、车辆 GPS 和手机 GPS 之间的切换，以及 G6 的驾驶员显示屏到底会不会显示第三方应用的转向卡片。\n这个系列后面的几部分会好好讲提醒引擎的数学、限速的变通办法、PocketGPSWorld 的格式，还有测试台本身：没有车、只有一段脚本化的 GPS 和一个以为每条路都朝北的模拟器，你怎么测试一个 Android Auto 应用。\n机器负责打字，标准归你 关于 AI 写代码的说法我看了很多，大多出自卖它的人或者怕它的人。我发现的东西比两边说的都平淡，也更有用。\n它打字很快，也不会腻。同一个界面让它重写第四遍，它连口气都不叹。它不会做的，是注意到“更多”页面在抖，或者一句话被掐断了，或者一个死按钮挨着一个活按钮。它看不见车。那些是我该看见的，它们之所以修好了，唯一的原因是我把每一条都写成了规则，它在动任何东西之前都必须先读。\n正因如此，责任不会转移。代码是我的，因为它要达到的标准是我定的，坐在车里的也是我。让它保持老实的东西，没有一样是 AI 的方法。先写规格再写代码，把学到的东西写下来，留证据而不是靠猜，这本来就是正经工程一直以来的做法。工具改变不了这一点。它只是让你更快发现谁一直在偷工减料。\nApache License, Version 2.0 — AutoNavAlerts 代码发布所用的许可证。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: Android Auto — Car App Library 提供 \u0026ldquo;a set of visual templates approved for driver safety\u0026rdquo;，并且 \u0026ldquo;Android Auto limits screen surface interaction to a series of SurfaceCallback methods\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: real-time disruptions — \u0026ldquo;real-time disruptions are not available on Android Auto\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: speed alerts — onSpeedingUpdated(float percentageAboveLimit, SpeedAlertSeverity speedAlertSeverity)：给的是超出限速的百分比和严重程度，而不是限速本身。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ngooglemaps/flutter-navigation-sdk issue #726 — “Incident reporting on Android Auto \u0026amp; CarPlay”，2026年6月17日提出，至今未关闭。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle Maps Platform — Get started — \u0026ldquo;you must create a billing-enabled Cloud project and enable the desired APIs or SDKs\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: set up your project — \u0026ldquo;A Google Cloud console project with the Navigation SDK enabled.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPocketGPSWorld — 应用同步数据所用的英国测速摄像头数据库，每个用户用自己的订阅。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — Test using the Desktop Head Unit — Google 的 Android Auto 车机屏幕模拟器。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/android/autonavalerts-part-one-a-sat-nav-of-my-own/","summary":"AutoNavAlerts 是我在 Google Navigation SDK 上开发的一款 Android Auto 导航应用：Google 的地图、路况、搜索和逐向导航，上面叠加一套摄像头提醒系统，加载我自己的 PocketGPSWorld 订阅数据，只对朝向我行驶方向的摄像头发出提醒。第一部分讲它现在能做什么，Google 允许第三方应用在车机屏幕上做什么、又扣着什么不给（事件上报、道路限速、触摸它自己的控件），为什么每个用户都要自带 Maps 密钥和自己的摄像头数据，以及代码是怎样和 Claude 一起写出来的：先写设计文档，不到两天 87 个 commit，测试台上得出的硬规则，代理写出的 bug 以及每一个是怎么抓到的，还有第一次真正开车上路。","title":"AutoNavAlerts 第一部分：我自己的 Android Auto 导航"},{"content":"你请求页面时，什么都不运行 这周 PHP 项目发布了 PHP2Shell 的修复，它的公告说这个攻击可以在 “before any application code runs” 时就触发1。这对 PHP 意味着什么，我在 PHP：二十九年来一直敞着大门 里写过了。这篇讲的是答案的另一半：如果根本什么都不运行呢？\n这个博客就是这么工作的。你请求这个页面时，我的任何程序都没有启动，没有读数据库，没有检查登录，也没有生成任何 HTML。一个早已存在的文件被发了回来。仅此而已。\n下面就是这个差别的样子，同一天实测，一边是在实验环境里全新安装的原装 WordPress，一边是这个网站现在的线上版本：\n原装 WordPress 7.1.3 本站 REST API 路由 133 0 接受写入的 REST 路由 62 0 XML-RPC 方法 80 0 在服务器上执行的文件 1,514 个 PHP 0 提供网站的那个用户可写的文件 3,785 个中的 3,785 个 没有：没有东西运行，也就没东西去写 数据库 12 张表，应用账户拥有全部权限 无 登录页 wp-login.php，在线 无；该路径返回 404 对首页发 POST、PUT 或 DELETE PHP 照样运行并渲染页面 在边缘被以 405 拒绝；什么都不运行 这些零没有一个是我关掉某个设置得来的。它们是零，是因为它们统计的那个东西在这里根本不存在。你攻击不了一个从来没被建出来的登录页。\n原装 WordPress 往互联网上放了什么 我不想凭记忆来论证，所以我实测了。用官方的 wordpress 和 mariadb 容器镜像，在我自己的机器上用 podman 跑，只绑定 localhost，安装时什么都没加：除了自带的没有任何插件，默认主题，一个管理员。PHP 8.3.36 上的 WordPress 7.1.3。然后我清点它会应答什么。\n是什么在应答请求：WordPress 对比静态网站 一个 WordPress 请求 一个对本站的请求 互联网 网页服务器 PHP 每次请求都运行代码 WordPress 核心：1,514 个 PHP 文件 外加每个插件和主题 133 个 REST 路由，80 个 XML-RPC 方法 所有文件都可被同一用户改写 数据库，ALL PRIVILEGES 登录页、后台、cron、上传 互联网 Cloudflare 边缘 发回一个文件 6,343 个文件，预先构建 不运行我们的任何代码 POST、PUT、DELETE：405 服务器上没有可写的东西 没有数据库 没有登录页、后台和 cron 是什么在应答请求。在 WordPress 上，每次页面访问都要经过核心、插件和数据库运行 PHP，而这些文件同一个用户就能改写。在这里，一个现成的文件被发回去，什么都不运行。 REST API 是最大的单一攻击面。五个命名空间，133 个路由，257 个路由与方法的组合，62 个路由接受某种写入。它在 WordPress 4.7 时进入核心，“with REST API endpoints for posts, comments, terms, users, meta, and settings”2。而且官方告诉你别关它：“You should not disable the REST API; doing so will break WordPress Admin functionality that depends on the API being active.”3 所以它一直开着。\n默认暴露了什么 WordPress 自己的文档怎么说 XML-RPC，80 个方法 自 3.5 起默认开启：“Enable XML-RPC by default, remove Writing Settings option”4 REST API，133 个路由 “content that is public on your site is generally publicly accessible via the REST API”5 用户列表 GET /wp/v2/users 在默认视图里返回每个作者的显示名、slug、链接和头像6 wp-login.php 和 xmlrpc.php “xmlrpc.php is a frequent brute‑force target”；“Apply rate limits to /wp-login.php and /xmlrpc.php globally.”7 wp-cron.php “WP-Cron works by checking, on every page load, a list of scheduled tasks to see what needs to be run.”8 主题和插件编辑器 “This is often the first tool an attacker will use if able to login, since it allows code execution.”9 用户列表值得再看一眼。在我的实验环境里，对这个端点的一次匿名请求就返回了那个唯一的管理员账户，带着显示名和 slug。一个从没登录过的人，在还没尝试任何东西之前，就知道了这个网站有哪些账户，而且是在全新安装上，是设计如此。没人需要配错什么。\n然后是文件。官方镜像以 www-data 运行 Apache，而 www-data 拥有整个网站根目录。全部 3,785 个文件，包括其中 1,514 个 PHP 文件，都可以被运行代码的同一个用户改写。每一个文件。代码也包括在内。存着数据库密码的 wp-config.php 就躺在网站根目录里，权限 644。WordPress 用的数据库账户对它的数据库拥有 ALL PRIVILEGES。\n这就是 PHP 那篇里讲的单进程模型，活生生、原封不动，出自官方镜像。这不是一个管得很烂的网站。这是每个 WordPress 网站的起点，在装上第一个插件之前。\n而大部分问题来自插件。Patchstack 统计到 2025 年 WordPress 生态里新出现了 11,334 个漏洞。“91% of new vulnerabilities were found in plugins, and 9% were found in themes. There were only 6 vulnerabilities reported in the WordPress core.”10 将近一半在公开时还没有修复，而攻击者想要的那些漏洞，从公开到被大规模利用的中位时间是五个小时10。\n本站往互联网上放了什么 这个博客是 6,343 个文件。全部在这里，按类型分：\n文件类型 数量 是什么 .html 3,486 页面，五种语言 .xml 1,576 RSS 订阅源和站点地图 .svg 1,181 图示、封面、图标 .png 46 截图 .json 10 搜索索引和构建戳 .js 4 在你浏览器里运行的小脚本，不是在服务器上 .css、字体及其他 40 样式，以及附在文章上的文件 在服务器上执行的 0 里面有几个 .py 和 .sh 文件。它们是附在文章上供读者下载的脚本，服务器把它们当文本发送。服务器上没有任何东西运行它们。服务器上压根没啥能运行它们的东西。\n它作为静态资源部署到 Cloudflare，完全没有 Worker 脚本。部署配置里没有入口点，Cloudflare 的文档说明了这意味着什么：“The main key is optional for assets-only Workers.”11 当请求的路径匹配一个文件时，“that file will be served”，不会调用 Worker 代码，而且 “If no Worker script is present, a 404 Not Found response is returned.”12 它也不花钱：“Requests to static assets are free and unlimited.”13\nCloudflare 是一个选择，不是必需。输出是一个装满文件的文件夹，任何能发送文件的 HTTPS 服务器都能提供它：nginx、Caddy、一个只提供静态文件的 Apache，或者 CDN 后面的一个对象存储桶。链接都是相对的，所以同一份构建无论放在域名根目录还是子目录下都能原样提供；这一点检查过：把构建好的网站放在 /preview/ 下提供，确认六个页面上全部 592 个本地引用都能解析。换主机就是复制一个文件夹。唯一跟 Cloudflare 绑定的是 _headers 文件；换到别处，同样的头部写进服务器自己的配置就行。带过去的是真正要紧的那个特性：不管用什么来提供它，它只需要发送文件，所以永远不需要运行你的代码。\n所以线上网站是这样应答的：\n$ for m in POST PUT DELETE; do curl -s -o /dev/null -w \u0026#34;$m %{http_code}\\n\u0026#34; -X $m https://blogs.damiendye.uk/en/; done POST 405 PUT 405 DELETE 405 $ for p in wp-login.php xmlrpc.php wp-admin/ wp-json/; do curl -s -o /dev/null -w \u0026#34;%{http_code} $p\\n\u0026#34; https://blogs.damiendye.uk/$p; done 404 wp-login.php 404 xmlrpc.php 404 wp-admin/ 404 wp-json/ 没有东西应答。这就是设计。\n安全头部来自仓库里一个纯文本的 _headers 文件，Cloudflare 在部署时读取它14，随每个文件一起发出。内容安全策略把每个脚本、样式、图片、字体和连接都锁定在这一个源上。它的缺口我直说：script-src 和 style-src 仍然带着 'unsafe-inline'，因为主题会往页面里写几段小脚本。这是那个文件上尚未完成的工作，在仓库里也就是这么记下的。\n而且发布不需要一扇门。在 WordPress 上，发布就是一次经 HTTP 的写入：编辑器、REST API 和 XML-RPC 之所以存在，是因为文章就是这么到服务器上去的，而它们每一个都是一条进来的路。在这里，我把文章写成一个文本文件，推到一个 Git 仓库，构建再通过 Cloudflare 的部署 API 上传最终文件。提供网站的东西没有一样接受来自网络的写入，因为根本不需要。仓库也是私有的。不带我的凭据去问 GitHub 要，回答是 404，所以源码、草稿和历史也都不在互联网上。\n攻击面是个数数的事，不是感觉 OWASP 把攻击面定义为 “the sum of all paths for data/commands into and out of the application, and the code that protects these paths”15，并说缩小它的办法是 “turning off features and interfaces that aren\u0026rsquo;t being used”15。英国国家网络安全中心说得更直白：“If would-be attackers can\u0026rsquo;t reach an interface, they can\u0026rsquo;t attack it.”16 它的 Cyber Essentials 计划把这定为硬性要求：“remove or disable unnecessary software (including applications, system utilities and network services)”17。\n所以把这些路数一数，按它们是什么来数，而不是按有多少条：\n进出的路 WordPress 静态网站 登录和猜密码 wp-login.php、XML-RPC 无 管理界面 /wp-admin/，带代码编辑器 无 可编程 API REST 和 XML-RPC，可写入 无 每次请求运行的服务器端代码 核心、主题、每个插件 无 数据库 有，上面每一项都能碰到它 无 服务器上的可写存储 上传目录，在原装镜像里则是一切 无 由访客触发的定时任务 页面加载时的 wp-cron.php 无 你必须持续打补丁的第三方代码 每个插件和主题，在服务器上 构建工具，不在服务器上 被偷走的会话能让攻击者得到什么 整个网站 没有可登录的东西 九行。没有一行会在服务器上运行代码。每一行都出于同一个原因：活儿在有人请求页面之前就干完了。\n倒数第二行是老老实实要交代的那个坑，本文剩下的部分就讲它。静态网站仍然要运行代码。只是换了个地方运行，在发布之前，运行一次。\nHugo 如何让构建守规矩 Hugo 是 “a static site generator written in Go”18，所以负责构建的程序本身是内存安全的编译型程序，在读过 PHP 那篇之后，这一点很要紧。它的安全页面画的那条线和本文画的正好一样：输出 “runs directly in the browser”，但 “during development and site building, the hugo executable itself is the runtime environment.”19 至于提供页面，说得明明白白：“We have no online production server”19。很好。\n在构建内部，它默认是锁死的。“Hugo\u0026rsquo;s built-in security policy, which restricts access to os/exec, remote communication, and similar operations, is configured via allowlists. By default, access is restricted.”20\nHugo 的默认设置 它拦住了什么 “No arbitrary commands”19 模板不能调用机器上的 shell exec.allow 仅限 Sass、Go、Git、Node 和 PostCSS20 只有点了名的工具，参数固定 funcs.getenv 仅限 ^HUGO_ 和 ^CI$20 模板读不到环境变量里你的机密 远程获取拒绝以 IP 地址和 localhost 为主机20 模板伸不进你自己的网络 模块对照 go.sum 校验19 被篡改的依赖会让构建失败 本站有意放宽了其中一项。它把 CI 的提交变量加进了 funcs.getenv，这样 /en/version.json 上的构建戳就能记录是哪个提交构建了线上网站。这是一个做出并记录下来的选择，而这正是白名单的意义所在。因此，它不是漏洞。它是一个决定。\n风险转移到了哪里：构建 把服务器拿掉，风险并不会消失。它转移到了构建这些文件的东西上。SLSA 框架把这两种威胁点得很准：一种是 “build integrity threat”，攻击者引入 “behavior to an artifact without changing its source code”；另一种是 “dependency threat”，手段是 “compromising some other artifact that the former depends on at build time”21。\n代码在哪里运行：WordPress、本站和离线构建 代码在哪里运行 公众能碰到什么 WordPress 公共服务器，每次请求 PHP、插件、数据库 本站 Cloudflare 的构建容器，每次推送 只有静态文件 离线构建 你自己的机器，一次 只有静态文件 构建仍然信任 Hugo、主题以及运行它的那台机器 每种模式下代码在哪里运行。WordPress 在公共服务器上为每个访客运行它。本站在 Cloudflare 的构建容器里每次推送运行一次。离线构建的话，它在你自己拥有的机器上运行一次。 本站在中间那一行，我不打算假装不是。每次推送到仓库，它都在 Cloudflare 的构建容器里构建。那个容器不是应答你的服务器，构建一结束它就没了。但在构建的那段时间里，最终放到网站上的一切都托付给了它。\n而构建有两个漏洞，都是我写这篇时发现的。一个已经修了。一个是选择。\n漏洞 为什么要紧 状态 Hugo 二进制是凭信任拿来的：脚本自己的下载没有校验和检查，而在 CI 里它干脆跳过下载，用 Cloudflare 构建镜像装好的那个副本 一个被调包的二进制想构建什么就构建什么 已修复，2026年10月23日：构建总是自己下载 Hugo，对照发布页公布的 SHA-256 校验22，不匹配就拒绝构建 主题每次构建都跟踪上游的 master 分支 上游一个改动就能在这里没有任何提交的情况下改变线上网站 未修复，出于选择；修法是把它钉在某个提交上，或者改成受 go.sum 保护的 Hugo 模块19 第一个是那种只有逐行读自己的构建脚本才能发现的东西。脚本确实检查了版本。但版本字符串是二进制对自己的说法。它对字节什么都证明不了。现在校验的是字节：\nFetching Hugo Extended 0.167.0... Hugo verified: sha256 0163f5c3deddac1f494a1629ddc40c65d18de9d5794facd98f7f96ac2c7d8957 而同一个压缩包多加一个字节的副本，会被拒绝：\nRefusing to build: hugo_extended_0.167.0_linux-amd64.tar.gz does not match the release checksum expected 0163f5c3deddac1f494a1629ddc40c65d18de9d5794facd98f7f96ac2c7d8957 got 92682d765d9d34bc53d6f818d56e598d34b5b8267a1cc3b9971da0f53c792251 主题是一个有意的取舍，要新不要可复现，也是作为取舍记下来的。但它恰恰就是 SLSA 描述的依赖威胁，老实的做法就是说出来。两个漏洞都从没让线上网站暴露在访客面前。两者都是对构建的信任，而我宁可把它们列出来，也不愿让读者自己去发现。\n就连校验和也有它的局限。它证明你下载的文件就是发布页上的那个文件。它不证明是谁把它放上去的：发布的文件里没有任何签名22。这是完整性，不是真实性，而这已经是这个项目目前能提供的全部了。\n离线构建，只构建一次 最严格的版本，是把构建从任何别人的机器上拿走。在一台你拥有并掌控的机器上构建，检查你构建出来的东西，然后只上传最终文件。互联网上没有任何东西运行你的构建，主机除了输出什么都看不到。\n步骤 为什么 安装确切的 Hugo 版本，并对照公布的 SHA-256 校验 你知道是哪个二进制构建了你的网站 把主题和所有模块钉在具体提交上，并提交 go.sum 只有你改了，构建才会变 构建到一个干净的输出目录，不带 --buildDrafts 你发布的就是你本来要发布的 在输出离开之前，查找里面任何可执行的东西 静态网站里不该有任何服务器会运行的东西 只上传输出目录，用一个只能部署的凭据 主机永远拿不到你的源码、工具和历史 用一个对静态文件不运行任何代码的主机来提供 提供页面时没什么需要打补丁的了 这是几条命令的事，不是一个项目。而它改变了攻击者要伤到你必须身在何处。要改一个 WordPress 网站，他们只需要对服务器发一个请求。要改这种网站，他们需要你的构建机器。那是个小得多的目标，而且是一个你可以拔掉网线的目标。\n一万个页面，实测 攻击面是每次请求都运行代码的一种代价。电费是另一种，磁盘也是。所以我把两边放在同样的负载下：首页请求 10,000 次，每次并发十个，从同一台笔记本发出，走 localhost 上的纯 HTTP，这样双方都不用为 TLS 付出开销。一边是实验环境里的原装 WordPress。另一边是本站真正构建出来的文件，由容器里的 nginx 提供，因为 Cloudflare 的边缘我没法装个电表。我在每次运行前后从 cgroup 读取每个容器用掉的 CPU 时间，每边跑三次。\n10,000 次页面请求 原装 WordPress 7.1.3 本站，用 nginx CPU 时间，三次运行 409 s、530 s、575 s 0.15 s、0.18 s、0.19 s 每个页面的 CPU 时间 41 到 57 ms 15 到 19 µs 每秒页面数 168 到 236 23,679 到 28,044 负载下的内存 302 到 310 MiB，另加数据库 145 MiB 15 MiB 失败请求 0 0 同样一万个页面，处理器时间是两千到三千五百倍。那些 CPU 秒每一秒都是从墙上插座里取的电，变成了热。静态那一边提供全部 10,000 个页面，用的处理器时间大约相当于 WordPress 花在它三四个页面上的时间。\n磁盘讲的是同一个故事：\n磁盘上和内存里 原装 WordPress 本站 运行它所需的容器镜像 WordPress 803 MB，MariaDB 334 MB nginx 166 MB，在 Cloudflare 上则什么都不要 网站本身 网站根目录 115 MB，而且是个空网站 114 MB，五种语言，每篇文章和每张图示 数据库 163 MB 的文件，装着 0.72 MB 的数据 无 闲置时占用的内存 170 MiB，另加数据库 139 MiB 13 MiB WordPress 的数字是全新安装加一篇示例文章。静态的数字是这整个博客。\n对 WordPress 公平一点，一个整页缓存插件能把 CPU 差距缩小很多。但看看这个修法是什么。它是每个页面的一份静态副本，挡在 PHP 前面，让 PHP 不运行。药方正是本文在主张的东西，被拴在本文所反对的东西的旁边，而登录页、API 和数据库全都还在它后面。\n你放弃了什么 老实的清单，因为静态网站不是什么都适用的工具：\n你放弃了 本站的替代做法 评论 没有；读者可以发邮件 服务器端搜索 一个随网站一起构建的 JSON 索引，在你的浏览器里搜索 向服务器提交的表单 没有 登录和会员区 没有；这里的一切都是公开的 在浏览器里编辑 文章是 git 仓库里的文本文件 不经构建即时发布 构建要一两分钟 如果你需要网店、会员区或用户账户，你就需要服务器上有东西在跑，本文并没有跟你说不是这样。本文要跟你说的是：一个博客、一个宣传网站或一套文档，这些都不需要。大多数 WordPress 网站就是这三种之一。老实承认你的是哪种。\n构建一次，然后死的提供 让我受不了的是，有多少风险是毫无理由地扛着的。一个一年改两次的公司页面，跑着一个数据库、一个登录页、一个带 62 个可写路由的 API，还有一个每次有人访问就触发的定时任务执行器。这一切都在那儿，只为了生成和昨天一模一样的 HTML。天天如此。\n这不是一个技术决定。这是一个习惯，而且是一个有人靠它收钱的习惯。托管、插件、安全附加组件、出事之后的清理。它的标价是一个托管 WordPress 套餐。它真正的代价，是那每一条路都一直敞着、打着补丁、盯着，为的是一些本可以就是一个文件夹的内容。\n我给这个网站定的标准很简单。不需要运行的东西一概不运行。每个漏洞都记在下一个人会找到的地方，包括构建里的那两个，其中一个已经堵上了。这跟耍聪明无关。标准就是在没人检查时你依然守着的东西，而在一个博客开始提供别人的代码的那一天之前，没人会去检查它。\n所以，构建一次，检查你构建了什么，然后把它当死文件提供。剩下还能被攻击的东西都在你自己的机器上，那才是它该待的地方。\nPHP — News archive 2026, 21st October — “We consider the risk highest for mod_php, with a demonstrated exploit where an unauthenticated request can trigger the attack before any application code runs”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress 4.7 release notes — “WordPress 4.7 comes with REST API endpoints for posts, comments, terms, users, meta, and settings.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API Handbook — Frequently Asked Questions — “You should not disable the REST API; doing so will break WordPress Admin functionality that depends on the API being active.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress 3.5 release notes — “Enable XML-RPC by default, remove Writing Settings option”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API Handbook — “content that is public on your site is generally publicly accessible via the REST API”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API reference — Users — GET /wp/v2/users，context 默认为 “view”；view 上下文中包含 name、slug、link、avatar_urls。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Brute force attacks — “xmlrpc.php is a frequent brute‑force target”；“Apply rate limits to /wp-login.php and /xmlrpc.php globally.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress Plugin Handbook — Cron — “WP-Cron works by checking, on every page load, a list of scheduled tasks to see what needs to be run.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Hardening WordPress — 仪表盘编辑器 “is often the first tool an attacker will use if able to login, since it allows code execution.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2026 — 2025 年数据：11,334 个新漏洞；91% 在插件，9% 在主题，核心 6 个；46% 披露时未及修复；中位 5 小时即遭大规模利用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Wrangler configuration — “The main key is optional for assets-only Workers.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Workers static assets — 匹配的文件 “will be served”，不调用 Worker 代码；“If no Worker script is present, a 404 Not Found response is returned.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Static assets billing and limitations — “Requests to static assets are free and unlimited.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Static assets headers — 头部由 “a plain text file called _headers” 设置。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — Attack Surface Analysis Cheat Sheet — “the sum of all paths for data/commands into and out of the application, and the code that protects these paths”；缩小它的办法是 “turning off features and interfaces that aren\u0026rsquo;t being used”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Making compromise difficult, 2.2 Reduce attack surface — “If would-be attackers can\u0026rsquo;t reach an interface, they can\u0026rsquo;t attack it.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Cyber Essentials: Requirements for IT infrastructure v3.2 — “remove or disable unnecessary software (including applications, system utilities and network services)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Introduction — “Hugo is a static site generator written in Go, optimized for speed and designed for flexibility.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Security model — “during development and site building, the hugo executable itself is the runtime environment”；“We have no online production server”；“No arbitrary commands”；go.sum 校验和不匹配会让构建失败。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Configure security — “By default, access is restricted”；默认的 exec、getenv 和 http 白名单。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSLSA v1.2 — Threats — 构建完整性威胁：“behavior to an artifact without changing its source code”；依赖威胁：“compromising some other artifact that the former depends on at build time”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo v0.167.0 release — 36 个文件，包括 hugo_0.167.0_checksums.txt（SHA-256）；没有签名、SBOM 或证明文件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/security/a-static-site-has-nothing-to-break-into/","summary":"这个博客用 Hugo 构建，以 6,343 个纯文件形式提供，任何请求都不会运行我的任何代码。与之对照的是一个在 podman 实验环境里实测的原装 WordPress 7.1.3：133 个 REST 路由，其中 62 个接受写入；80 个 XML-RPC 方法；1,514 个 PHP 文件；全部 3,785 个文件都可被网页服务器自己的用户改写；数据库账户拥有全部权限。本文清点两边的攻击面，讲解 Hugo 自身的安全模型在构建时做了什么，坦白承认当提供页面时什么都不运行之后风险转移到了哪里，包括这个网站构建方式里的两个漏洞，其中一个现已修复，并说明如何离线构建一个静态网站、只构建一次、只上传最终文件。","title":"静态网站没有什么可攻破的"},{"content":"PHP2Shell，就在这周 2026年10月21日，PHP 项目一次发布了四个版本，8.5.12、8.4.27、8.3.36 和 8.2.35，修复解释器本身的两个严重漏洞1。不是 WordPress，不是某个插件，是 PHP 本身。\n两个漏洞在 CVSS 4.0 下都是 9.2 分，都允许无需登录的远程代码执行。发现它们的研究人员把影响范围说得很直白：“Every PHP version released in the last decade is affected by at least one of these vulnerabilities, going back to version 5.4.”2\n剩下的，PHP 项目自己的安全公告已经说了：\n公告原文 对你意味着什么 “unauthenticated remote code execution” 攻击者不需要你网站上的任何账号 “risk highest for mod_php” 最常见的老式 Apache 部署处境最糟 “before any application code runs” 你自己的代码写得再小心，也轮不到它出场 “There are no complete mitigations, updating is the only safe choice.” 改什么配置都救不了你 “PHP 8.1 and older no longer receive updates” 大量网站根本拿不到修复 而且在任何人收到通知之前，它就已经被利用了。Amazon 的蜜罐网络在 10月17日记录到一次攻击尝试，比披露早了四天3。watchTowr 在 21日看到了在野利用，补丁发布后几个小时内，可用的概念验证代码就已公开4。\n两个都是内存安全漏洞。一个出在解释器内存耗尽之后的清理过程。另一个是释放后使用（use-after-free）：属于某个请求的内存被释放后又被读取，同一个 worker 上的下一个请求能看到它56。记住第二个，后面还会讲到它。\n这些都不是新鲜事，这正是本文要说的。PHP2Shell 不是一门谨慎的语言碰巧遇上的意外。它是一份近三十年记录里最新的一页，而这份记录里的每个数字都是公开的。\n一个进程握着一切 2014年11月到 2017年4月，我在 Pulsant 的云和托管平台做三线 Linux 工程师。工作的一部分，就是给电商客户配置 PHP-FPM 环境，并把它们调得飞快。\nPHP 被攻破是常事。不是偶尔，是常事。归根结底就两个原因：部署做得差，以及前端和后端之间毫无隔离。\n第二点是这门语言的默认做法。一个典型的 PHP 网站就是一个进程。页面模板、业务逻辑和 SQL 都在同一个请求处理程序里，常常还在同一个文件里。这个进程以一个操作系统用户运行。它能读到数据库密码，因为密码就放在代码旁边的文件里。而且它通常能写自己的 Web 根目录，因为上传和更新就是这么实现的。\n一个进程握着一切，对比各有边界的分层 常见的 PHP 部署 各有边界的分层 互联网 一个 worker，一个系统用户 HTML 模板 业务逻辑 SQL，在同一个文件里拼出 wp-config.php：数据库密码 uploads/：可写 代码本身：可写 一个漏洞就能碰到全部 数据库，完全权限 互联网 前端 渲染页面，不持有凭据 后端服务 独立用户，不能写自己的代码 只应答一个很窄的 API 数据库，最小权限 左边是常见的 PHP 网站：所有东西都在一个 worker 里、一个用户下，离全盘失守只差一个漏洞。右边是分层部署，每层都有自己的边界：前端不持有任何凭据，后端无法改写自己。 这不是我对 PHP 部署方式的个人看法，而是 PHP 和 WordPress 自己写在文档里的。\n来源 原文 PHP 手册，Apache 模块 PHP 作为 Apache 模块运行时 “it inherits Apache\u0026rsquo;s user permissions”，并且 “a malicious script could access and modify the database, even without a username and password”7 PHP 手册，Apache 安装 “The mod_php approach embeds PHP directly into every Apache httpd worker process.”8 WordPress，wp-config 这个文件 “is located in the root of your WordPress file directory and contains … database connection information”9 WordPress，文件权限 wp-config.php “is initially created with 644 permissions, and it\u0026rsquo;s a hazard to leave it like that”10 WordPress，安全加固 数据库用户 “only needs” SELECT、INSERT、UPDATE 和 DELETE，紧接着又说 “it is NOT recommended to revoke these privileges”11 把最后一行再读一遍。厂商先告诉你最小权限应该是什么样，然后又告诉你别这么做，因为更新会改动数据库结构。\n对比一下拆分后的版本。前端负责渲染页面，不持有任何机密。后端是一个独立服务，有自己的用户、一个范围很窄的 API，并且对自己的代码没有写权限。数据库账号能做后端需要的事，仅此而已。OWASP 的指南用自己的话说了同样的事：“The application\u0026rsquo;s backend database should be isolated from other servers”，放在 “a dedicated internal network segment”12。PHP 自己的手册也说，应用程序 “should never connect to the database as its owner or a superuser”13。\n这些都不稀奇，正规的做法本来就该是这样。它在这里之所以重要，道理很简单。在拆分模式下，前端的漏洞让攻击者拿到的只是一个前端。在常见的 PHP 模式下，任何地方的一个漏洞，都能让他们一次拿走模板、代码、凭据和数据。\nPHP-FPM 有帮助，PHP 自己的安装指南现在也把它标为在 Apache 下运行 PHP 的推荐方式8。它的进程池可以启动 “with different uid/gid/chroot/environment” 的 worker14。但每个网站一个池，仍然是一个网站一个进程，握着这个网站的全部家当。它是客户之间更好的一堵墙，却不是应用内部的墙。\n在下面每一节里都记住这幅图。记录里的每一个漏洞，落点都是这个进程。\n二十九年的 CVE 美国国家漏洞数据库（NVD）把所有针对 PHP 解释器的 CVE 都列在同一个产品标识符 cpe:2.3:a:php:php 下。去查一下，答案是 75715。\n每年的 PHP 解释器 CVE，及内存破坏所占部分 针对 PHP 解释器的 CVE，按发布年份 全部 CVE：757 内存破坏：至少 288 40 80 120 114 120 1997 2002 2007 2012 2016 2021 2026 按发布年份统计的每一个 PHP 解释器 CVE，叠加内存破坏所占的部分。2026年10月23日从 NVD API 统计。 这个数字只算解释器。不含 WordPress、不含 Drupal、不含插件、不含框架，就是运行你 PHP 代码的那个程序。\n时期 CVE 内存破坏 当时的情况 1997 至 2006 93 3 早期 Web，分类很少 2007 114 19 “PHP 漏洞月” 2008 至 2014 187 54 稳定的背景噪声 2015 至 2017 208 122 unserialize 与内存漏洞的年份 2018 至 2023 100 63 少了，但仍以内存为主 2024 至 2026 55 27 PHP2Shell 落在这个区间 合计 757 288 有两个尖峰很显眼。第一个是 2007年3月，一位前 PHP 安全团队成员发起了“PHP 漏洞月”（Month of PHP Bugs），“on a day by day basis” 地披露 Zend Engine、PHP 核心及其扩展里的缺陷16。他创立了 PHP 安全响应团队，后来退出了，并说明了原因：“I dislike the ways bugs are handled”17。一个项目安全团队的创始人甩手走人，然后每天公布一个漏洞，这说明了内部是什么状况。\n第二个尖峰是 2016 年：120 个 CVE，其中 65 个是内存破坏。下面再详细说。\n内存破坏的数字是下限，不是估计。NVD 把相当多的老漏洞标成“Other”，而不是具体的弱点类型，其中就包括下一节里的一些释放后使用漏洞。真实数字更高。我用的是我能拿出证据的那个。\n引擎是用 C 写的 内存安全这个论点在这里必须讲得仔细，因为 PHP 开发者会理直气壮地指出，他们的代码从来不调用 malloc。PHP 脚本不手动管理内存。你没法像在 C 里那样，在 PHP 里写出一个缓冲区溢出。\n你也不需要。运行你脚本的解释器是用 C 写的，它的扩展也是用 C 写的。你的网站收到的每一个不可信输入字节，每个请求头、每次上传、每个表单字段、每个 cookie，都在你的代码看到之前先被这些 C 代码解析。这些 C 代码一出错，你的 PHP 写得再小心也没用。PHP2Shell 证明了这一点：公告说攻击可以在 “before any application code runs” 时触发1。\n记录显示了这些 C 代码出过哪些错：\nCWE 类别 是什么 PHP 解释器 CVE CWE-119 内存缓冲区错误，泛指 93 CWE-125 越界读 50 CWE-190 整数溢出 35 CWE-189 数值错误，旧标签 33 CWE-416 释放后使用 27 CWE-787 越界写 26 CWE-476 空指针解引用 20 安全机构谈内存安全时，说的就是这几类。2022年11月，NSA 建议各机构 “to consider making a strategic shift from programming languages that provide little or no inherent memory protection, such as C/C++, to a memory safe language when possible”18。2023年12月，CISA 与包括英国国家网络安全中心在内的共同作者给出了一个数字：“two-thirds of reported vulnerabilities in memory unsafe programming languages still relate to memory issues”19。\n两份文件都没点 PHP 的名，也用不着。它们点名的是构建 PHP 的那门语言。\n最糟糕的反复案例是 unserialize()，这个函数把存储的字符串还原成 PHP 对象。同一类漏洞，在同一个地方，出现了不止一次：\nCVE 位置 NVD 的记录 CVE-2014-8142 process_nested_data unserialize 中的释放后使用20 CVE-2015-0231 同一个函数 “exists because of an incomplete fix for CVE-2014-8142”21 CVE-2015-2787 __wakeup 处理 unserialize 中的释放后使用 CVE-2016-5771 SPL，涉及垃圾回收 unserialize 中的释放后使用22 CVE-2016-5773 ZipArchive，涉及垃圾回收 unserialize 中的释放后使用 PHP 手册心知肚明。这个函数的手册页上挂着警告：“Do not pass untrusted user input to unserialize() regardless of the options value of allowed_classes.”23 这是一门语言在告诉你，它自己的一个内置函数，不能安全地用在大多数 Web 代码整天处理的东西上。\n然后是 PHP-FPM，PHP 自己的安装指南推荐用来替代 mod_php 的进程管理器。2019年10月，CVE-2019-11043 表明 “in certain configurations of FPM setup it is possible to cause FPM module to write past allocated buffers … opening the possibility of remote code execution”24。所说的配置是一种常见的 nginx 部署。它在 2019年10月24日修复25。CISA 后来把它加入了已知被利用漏洞目录，并标注为在勒索软件活动中被使用26。\nPHP 基金会确实委托做了一次正式的解释器源码安全审计，这一点值得肯定。审计结果于 2025年4月10日公布，发现了 27 个问题，其中 17 个有安全影响27。这是好的做法，本该是常态。但这也意味着，在一个已经有近三十年公开漏洞报告的代码库里，又多了 17 个。\n语言在上一层犯了同样的错 C 是一层。上面的语言在设计上犯了同一类错误：信任它根本不该信任的输入，然后花好几年才停手。\n特性 它干了什么 默认关闭或弃用 移除 历时 register_globals 把请求参数变成脚本变量 4.2.0 默认关闭，2002年4月22日28 5.4.0，2012年3月1日29 十年 magic quotes 自动转义输入，而且转错了 5.3.0 弃用，2009年6月30日 5.4.0，2012年3月1日30 三年 preg_replace /e 把替换内容当作 PHP 代码执行 5.5.0 弃用，2013年6月20日31 7.0.0，2015年12月3日32 两年半 allow_url_include 让 include 通过网络获取代码 7.4.0 弃用33 phar 元数据 访问文件时自动反序列化 8.0 修复34 0 == \u0026quot;foobar\u0026quot; 比较结果为真 8.0 修复35 register_globals 值得单独说一句。多年来，请求里的任何参数，比如 ?admin=1，都会变成你脚本里的变量；如果你的代码在给 $admin 赋值之前就检查它，攻击者已经替你赋好了。PHP 手册自己把关掉它称为 “the most controversial change in PHP”29。从默认关闭到彻底删除，用了十年。一个明知危险的特性，项目容忍了这么久，只因为删掉它会弄坏网站。\nphar 的情况是下一层的同一个模式。2018 年，Sam Thomas 在 Black Hat 上展示，对 phar:// 路径做普通的文件操作，就会反序列化攻击者提供的元数据，把 unserialize() 的问题带进了没人认为危险的函数36。2020 年底的 PHP 8.0 不再自动这么做，“to fix potential security vulnerabilities due to object instantiation, autoloading, etc.”34。\n然后是类型转换（type juggling）。PHP 的 == 会在比较之前转换类型，所以看起来像数字的字符串会被当作数字比较。在 PHP 8.0 里修掉其中一部分的那份 RFC 说得很明白：“This results in many surprising comparison results, the most notable of which is that 0 == ‘foobar’ returns true.”35\n这个修复是真的，但也只修了一部分。下面是同一个检查在官方 php:7.4-cli 和 php:8.5-cli 容器里的运行结果，后者是 8.5.12，也就是本周为 PHP2Shell 打了补丁的版本，两个输出并排放着：\n$ php -r \u0026#39;var_dump(0 == \u0026#34;foobar\u0026#34;);\u0026#39; bool(true) # 7.4.33 bool(false) # 8.5.12 $ php -r \u0026#39;var_dump(\u0026#34;0e462097431906509019562988736854\u0026#34; == \u0026#34;0e830400451993494058024219903391\u0026#34;);\u0026#39; bool(true) # 7.4.33 bool(true) # 8.5.12 两个不同的字符串，相等。两者都以 0e 开头、后面跟着数字，所以 PHP 把它们都读成 0 乘以 10 的若干次方，而 0 等于 0。两者都是 MD5 哈希的样子。用 == 而不是 === 或 hash_equals() 去比较存储的密码哈希，任何哈希值恰好以这种形式开头的输入都能匹配上。这件事已经被记录了好多年，在最新版本里照样成立。\n一个例子就看清了这门语言。修复进去了，问题留下一半，而安全的写法要求你知道还有另一个运算符存在。\n一个 shell，几乎年年都有 对任何平台，值得问的问题不是它出过多少漏洞，而是有多少次，有人能在没有密码、也没人点任何东西的情况下拿下整台服务器。\nNVD 给每个 CVE 都打了分。从 757 个里筛出恰好意味着这件事的评分，网络攻击、无需权限、无需用户交互、对机密性和完整性影响为高，得到 172 个15。\n每年的未认证完全控制评级，以及每年的确认利用 评为完全远程控制，无需登录，无需用户操作 PHP 解释器 CVE，CVSS 网络、无需权限、无需交互、高影响：172 20 40 60 65 1997 2002 2007 2012 2016 2021 2026 确认被利用：CISA KEV 中的 PHP 及 PHP 应用 每年新增条目，共 81 条；目录始于 2021年11月 16 2021 16 2022 10 2023 8 2024 11 2025 20 2026 上：被评为无需登录、无需用户操作即可完全远程控制的解释器 CVE。下：每年被加入 CISA 已知被利用漏洞目录的 PHP 及 PHP 应用。 在有 PHP CVE 的 28 年里，172 个分布在其中 23 年。只有五年是空白。仅 2016 年就有 65 个。\n严重性评分只是评级，不是入侵。所以这幅图的另一半，是 CISA 的已知被利用漏洞（KEV）目录，它只收录已确认在野被利用的缺陷26。截至 2026年10月21日，目录共有 1,754 条，其中 81 条是 PHP 本身或用 PHP 写的应用：\n加入年份 PHP 及 PHP 应用 整个目录 2021 16 311 2022 16 555 2023 10 187 2024 8 186 2025 11 245 2026，截至10月21日 20 270 2026 年已经是 PHP 在这个目录里最糟糕的一年，而 PHP2Shell 还没被收进去。今年的条目里有三条出在 WordPress 核心本身：两条在 7月21日加入，还有一个远程文件包含漏洞在 9月25日加入。\n已知被勒索软件利用的 KEV 条目 内容 CVE-2019-11043 PHP-FPM 缓冲区溢出 CVE-2024-4577 PHP-CGI 参数注入 CVE-2021-3129 Laravel Ignition CVE-2018-7600, CVE-2018-7602 Drupal 而且这个目录对 PHP 严重低估。它是围绕美国联邦系统建立的，要求既有 CVE、又有确认的利用。它只收了 3 条 WordPress 插件的条目。而 WordPress 插件生态仅 2025 年一年就记录了 11,334 个漏洞37。81 这个数字，只是有官方的人写下来的那部分。\nWordPress 把它放大了 WordPress 占全部网站的 39.6%，在能识别出内容管理系统的网站里占 58.3%38。在能看出服务器端语言的网站里，69.3% 用的是 PHP39。所以 PHP 的记录不管是什么，WordPress 都把它带到了 Web 的很大一部分，然后再加上它自己的那一份。\n核心不是主要问题，插件才是。\n2024 2025 WordPress 生态新增漏洞，Patchstack 7,96640 11,33437 在插件里 96% 91% 在核心里 7 6 公开披露时仍未修复 33% 46% 重点被利用漏洞的大规模利用中位时间 5 小时 Wordfence 用它自己的数据库，统计出 2024 年有 8,223 个，比 2023 年增长 68%，并发现 “Roughly 35% of the vulnerabilities disclosed in 2024 remain unpatched in 2025”41。数据库不同，总数不同，形状一样。\n好好看一会儿 2025 年的数字。将近一半的漏洞在公开时，开发者还没有拿出修复。而对于攻击者真正盯上的那些，从披露到大规模利用的中位间隔是五个小时。大多数人不会每五个小时检查一次插件更新。大多数人也做不到。\n插件模式就是放大器。一个网站的安全，取决于它上面装的任何东西里最不上心的那个作者；而 Wordfence 发现，被告知漏洞时 “over one third of developers are unreachable or unresponsive”41。Patchstack 统计，2024 年有 1,614 个插件和主题因为没人修的安全问题被从官方仓库下架40。又因为单进程模式，每个插件都以网站的全部权限运行。\n事件可以列一长串。下面这些都有一手来源：\n年份 事件 规模 2011 TimThumb，一个被打包进很多主题的图片脚本，让攻击者能 “upload and execute arbitrary PHP code”42 “many commercial and free themes” 2014 RevSlider，SoakSoak 攻击活动背后的插件43 “compromising over 100,000 WordPress sites” 2016 Mossack Fonseca，巴拿马文件那家律所：它的网站 “may have been breached via a vulnerable version of Revolution Slider”44 网站运行着可被利用的版本；数据是怎么流出的从未被证实 2017 WordPress 4.7.0 和 4.7.1 的 REST API 内容注入，默认启用45 按 Sucuri 的统计，Google 收录了 66,000 个被篡改页面46；四天后 Wordfence 的统计是 1,893,690 个47 2020 WP File Manager，未认证代码执行，补丁出现之前就被利用48 “over 700,000 active installations” 2025 SureTriggers，未认证创建管理员账号49 “exploitation attempts observed within hours after disclosure” 2016 年那一行我写得很小心。Wordfence 证明了这家律所的网站运行着一个轻易就能被利用的滑块插件版本，但没有证明文件就是这样被拿走的。证据说到哪，我就说到哪。\n恶意软件如何赖着不走 进来只是一半，赖着不走是另一半。PHP 让这件事变得很容易，原因直接回到单进程那幅图。\n解释器会执行它能碰到的任何 .php 文件。Web 根目录通常可以被运行代码的同一个用户写入。所以攻击者一旦有任何办法写一个文件，上传表单、插件漏洞、文件管理器，就能写一个每次有人请求都会执行的脚本。这就是 Web shell：一个小文件，待在你的网站里，接收命令。\nCISA 多年来一直说，这些东西大多用什么语言写：“The most commonly observed web shells are written in languages that are widely supported, such as PHP and ASP.”50 NSA 和澳大利亚信号局的联合指南把它们称为 “a long-standing, pervasive threat that continues to evade many security tools”，而且难以检测，因为它们 “easily modified by attackers and often employ encryption, encoding, and obfuscation”51。\n清理数据显示了它们出现得有多频繁：\n来源 发现 Sucuri，2022，清理 43,374 个网站 “69.63% of compromised websites were found to have at least one backdoor”；共清除 1,188,864 个后门52 Sucuri，2022 “90% of credit card skimmers were found in the form of malicious PHP code”52 Sucuri，2023，清理 39,594 个网站 “49.21% of compromised websites were found with at least one website backdoor”；WordPress 占感染的 95.5%53 Wordfence，2024 “just under one million distinct sites infected with malware”41 所以在最近的清理年度里，一半被黑的网站磁盘上还躺着一条回来的路。恢复数据库，给插件打补丁，攻击者照样从他留下的那个文件走回来。\n这事没有什么巧妙的解法，只有那个无聊而正规的解法，NSA 已经把它写下来了：“web applications should not have permission to write directly to a web accessible directory or modify web accessible code”51。这一句话，就是本文开头那个分层模型，由一家情报机构说出来。\n哪里出错 阻止它的控制措施 运行时用户能写代码 代码归一个独立的部署用户所有，对运行时用户只读 上传文件落在 Web 根目录里 把上传文件存放在 “outside of the webroot”，或另一台服务器上54 PHP 会执行上传目录里的任何东西 在 Web 服务器层面禁止上传路径执行脚本，并且 “disable per directory configuration overrides on upload directories”54 没人注意到新文件 对照已知良好副本做文件完整性监控51 数据库账号什么都能干 数据库用户最小权限13 顺带一提，WordPress 的安全加固指南压根没提过禁止 PHP 在上传目录里运行11。所以这张表引用的是 OWASP 和 NSA。\n注意这张表里没有什么：PHP 自己的加固设置。手册对它们很诚实。disable_functions “can be circumvented and should not be considered a sufficient security measure for shared hosting environments”，而 open_basedir “is just an extra safety net, that is in no way comprehensive, and can therefore not be relied upon when security is needed”55。一门语言自己的文档告诉你，它的安全开关不是安全边界，那就相信它。因此，边界必须来自进程之外。\n连 php.net 都被攻破过 如果项目自己的基础设施很扎实，你还可以说，这份记录只是一个难题被处理得不错的结果。可它被攻破过两次。\n时间 发生了什么 2013年10月22日至24日 “JavaScript malware was served to a small percentage of php.net users”；“two servers were compromised”，手法 “unknown at this time”56 2021年3月28日 “two malicious commits were pushed to the php-src repo”，冒用了两位核心开发者的名字57 重要的是 2021 年那次。有人冒充维护者，把代码推进了这门语言自己的源码树。它被发现了。项目的回应值得引用，因为它是对的，而且说得很直白：“maintaining our own git infrastructure is an unnecessary security risk”，于是仓库迁到了 GitHub57。\n该给的肯定要给：这是个好决定，做得快，解释也是公开的。但看看它承认了什么。多年来，一门运行着大部分 Web 的语言，其权威源码一直放在自建的基础设施上，而项目自己也认定这是它不该承担的风险。\n一半的 Web 跑着没人打补丁的版本 上面的一切都假设网站是最新的。可大量网站并不是。\nphp.net 目前支持四个分支。8.2 只有安全修复，直到 2026年12月31日。8.3、8.4 和 8.5 是其余的58。更老的全部停止支持：8.1 自 2025年12月31日起，8.0 自 2023年11月起，7.4 自 2022年11月起59。\n下面是实际运行情况的实测占比：\n多少 PHP 跑在 php.net 不再打补丁的版本上 在用的 PHP 版本，按 php.net 支持状态 PHP 网站（W3Techs） 48.3% 18.0% 33.7% WordPress 安装 34.7% 23.5% 41.8% 现已不受支持 8.2，2026年12月31日起不受支持 8.3 及更新版本 按支持状态划分的 PHP 版本使用情况。PHP 网站数据来自 W3Techs 的版本占比；WordPress 安装数据来自 wordpress.org 自己的统计。两者均读取于 2026年10月23日。 今天已不受支持 2027年1月1日起不受支持 PHP 网站，W3Techs6061 48.3% 约 66% WordPress 安装，wordpress.org62 34.7% 约 58% 光是停止支持将近四年的 PHP 7.4，就占了所有显示版本号的 PHP 网站的大约五分之一。WordPress 自己的系统要求页面要求 PHP 8.3，然后又说 WordPress “also works with PHP 7.4+”，同时注明这些版本 “have reached their official End Of Life”63。一个仍然能跑在死版本上的厂商，就是一个决定不逼你升级的厂商。\n有两点要老实说明。W3Techs 只能看到那些公开自己版本号的网站。而且一些 Linux 发行版会把修复移植回旧的 PHP 构建，所以“php.net 不再支持”并不总等于“没打补丁”。但 PHP2Shell 正好检验了这一点。这次项目确实为 7.4、8.0 和 8.1 发布了源码补丁1，可总得有人去构建、分发、安装它们。在一台跑着无主版本的共享主机上，这个“有人”就是没人。\n我已经放弃了它。你也该考虑离开 我以前写 PHP。离开 Pulsant 之后，我放弃了这门语言，因为它惹出的问题，以及那些问题带来的活。不是哪一次事故特别糟，而是一年又一年，同样的两个原因，一个网站接一个网站，收拾烂摊子的活落到当班的人头上。\n所以我就直说了。如果这个选择在你手里，考虑离开它。现在已经有更好的工具做这件事，而我首先会推荐你看 Go。\n不是因为它时髦，而是因为它默认就去掉了本文一直在清点的大部分东西：\n常见的 PHP 网站 一个 Go 服务 内存安全 引擎用 C 写成，288 个内存破坏 CVE 设计上就是内存安全的；NSA 和 CISA 都点了它的名1819 代码如何运行 除非加载了 OPcache（8.5 之前是你自己要加的扩展），否则每个请求都重新解析、编译一遍；然后由 C 写的解释器执行；8.0 起有 JIT，默认关闭6465 提前一次性编译成本机机器码66 处理请求 Web 服务器把每个请求交给一个解释器 一个编译好的二进制文件自己应答 HTTP 有文件被丢进 Web 根目录 有人一请求，这个 .php 文件就会执行 没有任何东西会因为文件的路径而执行它 HTML 输出 echo 原样输出；转义是你得记得调用的函数 html/template 默认按上下文转义67 SQL PDO 里有预处理语句，前提是你用了 文档里的写法是把参数作为函数参数传入68 依赖中的已知缺陷 从新闻里得知 govulncheck 只报告你的代码真正调用到的那些69 各部分放在哪里 代码、配置和上传文件在同一个可写目录树里 一个只读的二进制文件，配置和上传文件放在别处 编译这件事有两重意义。它更快：Go 程序 “are compiled ahead of time to native machine code”，底下没有虚拟机，它公开的设计目标之一就是 “to approach the performance of C for comparable programs”66。它也更安全，因为请求路径上没有一个在运行时解析代码的解释器，也没有一个背着 757 个 CVE 的 C 引擎挡在网络和你的程序之间。PHP 放任不管的话，做的正好相反。没有 OPcache 时，它在每个请求上都加载、解析、编译每一个脚本，毫无必要，在繁忙的网站上一分钟要来上几千次。OPcache 就是为了阻止这件事而存在的，“removing the need for PHP to load and parse scripts on each request”64。但它不是开箱即用的。到 8.4 为止（含 8.4），它都是一个独立的共享扩展，得有人用 zend_extension 加载并配置。只有 PHP 8.5 把它内置了：“The Opcache extension is now always built into the PHP binary and is always loaded”70。项目自己为这项改动写的 RFC 说 “running PHP in production without OPcache is generally considered a mistake”71。W3Techs 统计 8.5 只占 PHP 8 网站的 4.5%60，所以对于今天在跑的几乎所有东西，解决“每个请求编译每个脚本”的办法，仍然是一个得有人记得装上的附加件。而且就算加载了，它缓存的也只是交给 C 解释器去执行的字节码。Go 在程序见到任何请求之前，就把编译一次做完了。\n更快，也更安全，前提是代码写得规范。这最后一句，就是接下来几段的全部内容。\nGo 的模板包用一句话说明了它的设计：它生成 “HTML output safe against code injection”，并且 “The escaping is contextual, so actions can appear within JavaScript, CSS, and URI contexts.”67 它的数据库指南同样直白：“You can avoid an SQL injection risk by providing SQL parameter values as sql package function arguments.”68 这些都是默认行为。在 PHP 里，这些是你得自己知道、自己去拿的东西。\n我要划重点的是被丢进来的文件那一行。Sucuri 在 2023 年清理的被黑网站里，有一半磁盘上还留着后门53，而这只有在解释器会执行它能碰到的任何脚本时才行得通。一个编译好的服务不会去找脚本来执行。丢进来的文件根本没处可插，啥用都没有。\n现在说老实话，因为一门语言不是灵丹妙药。Go 更内存安全，但不是完美的。它自己的内存模型说，对 slice、map 或 interface 值的数据竞争 “can in turn lead to arbitrary memory corruption”72，而 Go 自带了抓它的工具。用 -race 构建，或者运行 go test -race，二进制文件就会带着一个检测器编译，竞争一发生就报告。它是在运行时而不是编译时抓竞争，并且 “can\u0026rsquo;t find races in code paths that are not executed”，所以它应该出现在每一次测试运行里，并且在接近真实的负载下跑73。PHP 没有任何类似的东西。把一个请求的内存和下一个请求隔开，完全交给引擎，而 PHP2Shell 就是这个引擎做错了：一个请求释放的内存，被同一个 worker 上的下一个请求读到6。除此之外，Go 挡住了本文一直在统计的内存破坏这一类，并且让另外两类的安全写法成为顺手的写法。它挡不住坏掉的登录检查、漏掉的权限校验，或者你非要用字符串拼接出来的查询。Go 也通过它的漏洞数据库发布自己的安全公告69。一个以 root 身份、从可写目录里运行的 Go 服务，照样是糟糕的部署。\n它改变的是默认值。PHP 的默认是一个进程握着一切。Go 的默认是一个只做一件事的程序，这正是本文开头说的拆分，大部分活已经替你干完了。如果 Go 不适合你的团队，Rust 是另一条出路。两者都提前编译成本机代码。Rust 运行时 “with no runtime or garbage collector”74，而 Go 的编译器和运行时从 Go 1.5 起就 “implemented in Go and assembler, without C”75。\nC# 和 Java 也在这些机构的内存安全名单上18，但它们不是走出本文开头那个问题的出路。它们各自运行在用 C++ 写的虚拟机上。OpenJDK 的 HotSpot 是 “around 3000 C/C++ header and source files, comprising more than 1.2 million lines of code”76，.NET 的垃圾回收器和 JIT 编译器是 CoreCLR 源码树里的 C++ 代码77。这和 PHP 是同一个形状：网络和你的代码之间隔着一个庞大的本机引擎。而且 Java 在设计上就会把代码加载进正在运行的应用。它的标准类加载器的存在就是为了 “to load classes and resources from a search path of URLs referring to both JAR files and directories”78，而 Log4Shell 把这一点变成了远程代码执行：控制了一条日志消息的攻击者 “can execute arbitrary code loaded from LDAP servers”79。它被直接收进了 CISA 的目录26。这和 PHP 是同一扇门，只是门前多了些排场。\n所以，选 Go 或者 Rust。先迁后端，一次一个接口，让 PHP 前端手里没有任何值得偷的东西，直到它也可以被拿掉。\n如果你还在这样部署它，你还能自称专业人士吗？ 上面的证据已经足够多，这件事不再只是一个观点了。所以我把问题直接摆出来。如果你还在把 PHP 部署成一个同时握着代码、凭据和可写 Web 根目录的进程，你还能自称专业人士吗？\n这取决于你是三种人里的哪一种。而且知道自己是哪一种，不是什么会自己落到你头上的事。确保自己知道，本身就是这份工作。\n你有真实的约束，并且写下来了。 业务依赖的某个产品只有 PHP 版本。迁移已经估了价，列进了明年的预算。那没问题。这是专业的，前提是理由写在纸上、旁边有日期，运行时用户不能写代码，上传文件不能执行，数据库账号权限已经削减，并且你这周给 PHP2Shell 打了补丁。你是有意承担一个已知风险，并且在它周围砌好了你能砌的墙。\n从来没人告诉过你。 没人给你看过这份记录，你学的那份教程把所有东西都放在一个目录里。这是一个知识缺口，谁都有缺口。从你读到这里的那一刻起，它就不再是缺口了。\n你知道，但还是照样搭。 你看过这些数字，或者看过足够多的部分。你知道数据库密码就放在 Web 根目录里，而 Web 根目录是可写的。你这样部署，因为这样更快，因为客户不愿意为更好的方案付钱，因为从没人逼你为此给出理由。这个问题针对的就是这种情况。失职之处不在于你知识上的缺口，而在于你明明已经看见了那个缺口，却从不回头去补上，还在它上面接着搭。\n谁都曾经是那样。主动选择一直待在那里，才是无法辩护的部分。\n这扇门从来都是开着的 读这份记录，让我印象最深的不是 PHP 有漏洞。每门语言都有。而是其中几乎没有一样是出人意料的。\n项目在 2002 年就知道 register_globals 危险，2012 年才删掉它。它的手册告诉你别信任 unserialize()，别信任 disable_functions，别信任 open_basedir。它自己的文档说，mod_php 下的脚本不需要密码就能碰到数据库。这些机构多年来一直在说，构建它的那门语言是三分之二内存漏洞的来源。每一条警告都在那里，白纸黑字，出自本该最清楚的那些人之口。\n而它照样一直赢，因为它便宜。托管便宜，学起来便宜，卖给一个周五之前就想要网站的客户也便宜。一个目录，一个进程，文件里一个密码，一个能用的网站。它的标价是一个共享主机套餐。它的代价从来不在发票上：一次次清理，留在磁盘上的后门，被恶意 PHP 偷走的客户银行卡号，从披露到攻击之间那五个小时的窗口。\n这正是我毫无耐心的地方。不是漏洞，而是那个决定：一群本该懂行的人一遍又一遍地认定，便宜的做法就够好了，因为没人检查。标准，就是没人检查时你仍然守着的东西。前后端分离，只读的代码，削减权限的数据库账号：这些没有一样是新的，没有一样是昂贵的，而它们本可以让上面相当多的事故变得根本不值一提。\nPHP2Shell 不是这份记录的终点，只是本周的那一条。这门语言会修补它，主机商最终会推送更新，版本占比会像往常一样慢慢往上挪。决定下一次是不是让你买单的，不是 PHP，而是你有没有把它从没给过你的那些墙砌起来，或者换到一个自带这些墙的东西上去。\nPHP — News archive 2026, 21st October — “PHP 8.5.12, 8.4.27, 8.3.36 and 8.2.35 fix two critical vulnerabilities that can allow unauthenticated remote code execution”；“We consider the risk highest for mod_php, with a demonstrated exploit where an unauthenticated request can trigger the attack before any application code runs”；“There are no complete mitigations, updating is the only safe choice.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWiz Research — PHP2Shell — 2026年10月21日；“Every PHP version released in the last decade is affected by at least one of these vulnerabilities, going back to version 5.4”；“All of the disclosed vulnerabilities are memory-safety issues”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAWS Security Blog — PHP2Shell exploitation prior to public disclosure in MadPot — 2026年10月17日记录到一次利用尝试。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nwatchTowr — PHP2Shell FAQ — 2026年10月21日观察到在野利用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2026-109618 — 内存耗尽错误处理留下部分初始化的请求数据，清理过程却把它当作有效数据；远程代码执行。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2026-109619 — 请求内存在释放后仍被使用；远程代码执行；自 5.4.0 起受影响。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Installed as an Apache module — “When PHP is used as an Apache module it inherits Apache\u0026rsquo;s user permissions”；“a malicious script could access and modify the database, even without a username and password”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Apache 2.x on Unix systems — “The mod_php approach embeds PHP directly into every Apache httpd worker process.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — wp-config.php — 位于 WordPress 目录的根目录，保存数据库连接信息。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Changing file permissions — wp-config.php “is initially created with 644 permissions, and it\u0026rsquo;s a hazard to leave it like that”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Hardening WordPress — 数据库权限、文件权限；没有关于在上传目录禁止 PHP 执行的指导。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — Database Security Cheat Sheet — “The application\u0026rsquo;s backend database should be isolated from other servers”；独立的内部网段。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Database design — “Applications should never connect to the database as its owner or a superuser.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — FastCGI Process Manager — 进程池可以启动 “with different uid/gid/chroot/environment” 的 worker。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD CVE API, virtualMatchString=cpe:2.3:a:php:php — 2026年10月23日查询：757 个 CVE。内存破坏按 CWE-119、120、121、122、125、129、131、189、190、191、415、416、476、680、787、824、843 或 908 计：288 个。完全远程控制按 CVSS 3.x AV:N/PR:N/UI:N/C:H/I:H 计，没有 3.x 评分的则按 CVSS 2 的网络访问、无需认证、机密性和完整性完全受影响计：172 个。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMonth of PHP Bugs, php-security.org, Wayback Machine — “During March 2007 old and new security vulnerabilities in the Zend Engine, the PHP core and the PHP extensions will be disclosed on a day by day basis.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Register — Stefan Esser interview, 7th February 2007 — Hardened-PHP Project 的创始人，刚刚退出 PHP 安全响应团队：“I dislike the ways bugs are handled”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNSA — Software Memory Safety, November 2022, Wayback Machine — “a strategic shift from programming languages that provide little or no inherent memory protection, such as C/C++, to a memory safe language when possible.” 另有：“Examples of memory safe language include C#, Go, Java®, Ruby™, Rust®, and Swift®.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA and partners — The Case for Memory Safe Roadmaps, December 2023 — 共同作者包括英国 NCSC 等；“two-thirds of reported vulnerabilities in memory unsafe programming languages still relate to memory issues.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2014-8142 — unserialize 过程中 process_nested_data 的释放后使用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2015-0231 — unserialize 中的释放后使用，“exists because of an incomplete fix for CVE-2014-8142”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2016-5771 — 通过 unserialize 和垃圾回收触发的 SPL 释放后使用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — unserialize — “Do not pass untrusted user input to unserialize() regardless of the options value of allowed_classes.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2019-11043 — “in certain configurations of FPM setup it is possible to cause FPM module to write past allocated buffers … opening the possibility of remote code execution.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP 7 ChangeLog — 2019年10月24日在 7.3.11、7.2.24 和 7.1.33 中修复，bug #78599。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Known Exploited Vulnerabilities catalogue — JSON 源版本 2026.10.21，共 1,754 条；按厂商和产品统计，81 条属于 PHP 或用 PHP 写的应用；勒索软件使用情况以源中记录为准。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe PHP Foundation — PHP core security audit results, 10th April 2025 — “The audit identified 27 issues, with 17 having security implications”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP 4 ChangeLog — 4.2.0，2002年4月22日：“register_globals defaults to \u0026lsquo;off\u0026rsquo; now”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Using Register Globals, Wayback Machine — “DEPRECATED as of PHP 5.3.0 and REMOVED as of PHP 5.4.0”；“the most controversial change in PHP”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Magic Quotes, Wayback Machine — “DEPRECATED as of PHP 5.3.0 and REMOVED as of PHP 5.4.0”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Deprecated features in PHP 5.5.x, Wayback Machine — “The preg_replace() /e modifier is now deprecated.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Pattern Modifiers, Wayback Machine — e “DEPRECATED in PHP 5.5.0, and REMOVED as of PHP 7.0.0.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Deprecated features in PHP 7.4 — “The allow_url_include ini directive is deprecated.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Backward incompatible changes in PHP 8.0 — phar 元数据 “will no longer be automatically unserialized, to fix potential security vulnerabilities due to object instantiation, autoloading, etc.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP RFC — Saner string to number comparisons — 在 PHP 8.0 中实现；“the most notable of which is that 0 == ‘foobar’ returns true.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSam Thomas, Black Hat USA 2018 — It\u0026rsquo;s A PHP Unserialization Vulnerability Jim, But Not As We Know It — 对 phar:// 路径的文件操作会反序列化元数据。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2026 — 2025 年数据：11,334 个新漏洞，91% 在插件里，6 个在核心里，46% 在披露时未及时修复，大规模利用的中位时间为 5 小时。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — WordPress — “58.3% of all the websites whose content management system we know. This is 39.6% of all websites.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP — “PHP is used by 69.3% of all the websites whose server-side programming language we know.” 读取于 2026年10月23日。PHP 网站中各主版本占比：8 为 65.3%，7 为 26.9%，5 为 7.7%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2025 — 2024 年数据：7,966 个新漏洞，96% 在插件里，7 个在核心里，33% 在披露时未及时修复。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — 2024 Annual WordPress Security Report — 8,223 个漏洞，增长 68%；“Roughly 35% of the vulnerabilities disclosed in 2024 remain unpatched in 2025”；“just under one million distinct sites infected with malware”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMark Maunder — Zero day vulnerability in many WordPress themes, 1st August 2011 — timthumb.php 被打包进 “many commercial and free themes”；攻击者可以 “upload and execute arbitrary PHP code”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — RevSlider vulnerability leads to massive WordPress SoakSoak compromise, 15th December 2014 — “compromising over 100,000 WordPress sites”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — Mossack Fonseca breach, Revolution Slider possible cause, 7th April 2016, Wayback Machine — “may have been breached via a vulnerable version of Revolution Slider”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — Content injection vulnerability in WordPress REST API, 1st February 2017 — “allows an unauthenticated user to modify the content of any post or page”；在 4.7.0 和 4.7.1 上默认启用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — WordPress REST API vulnerability abused in defacement campaigns, 6th February 2017 — 单个攻击活动：“Google alone shows 66,000+ pages compromised”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — Rapid growth in REST API defacements, 10th February 2017, Wayback Machine — Google 收录的被篡改页面 “from 1,496,020 to 1,893,690”；Sucuri 早先的统计是 66,000。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — 700,000 WordPress users affected by zero-day in File Manager plugin, 1st September 2020, Wayback Machine — “a WordPress plugin with over 700,000 active installations”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — SureTriggers vulnerability exploited within 4 hours, 10th April 2025 — 未认证创建管理员；“exploitation attempts observed within hours after disclosure”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Compromised Web Servers and Web Shells, TA15-314A — “The most commonly observed web shells are written in languages that are widely supported, such as PHP and ASP.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNSA and ASD — Detect and Prevent Web Shell Malware, April 2020, Wayback Machine — “web applications should not have permission to write directly to a web accessible directory or modify web accessible code”；文件完整性监控作为后备手段。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — 2022 Website Threat Research Report — 清理 43,374 个网站；69.63% 至少有一个后门；清除 1,188,864 个后门；90% 的盗卡程序以恶意 PHP 形式存在。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — 2023 Hacked Website and Malware Threat Report — 清理 39,594 个网站；49.21% 至少有一个后门；WordPress 占感染的 95.5%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — File Upload Cheat Sheet — 把上传文件存放在 “outside of the webroot”；“disable per directory configuration overrides on upload directories”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Description of core php.ini directives — disable_functions “can be circumvented”；open_basedir “can therefore not be relied upon when security is needed”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — News archive 2013, 24th October — 2013年10月22日至24日分发了恶意软件；两台服务器被攻破。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP internals — Changes to Git commit workflow, 28th March 2021 — 两个恶意提交被推送到 php-src；git.php.net 服务器停用，GitHub 成为权威仓库。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — Supported versions — 8.2 安全修复至 2026年12月31日；8.3、8.4 和 8.5 受支持。读取于 2026年10月23日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — Unsupported branches — 8.1 于 2025年12月31日停止支持，8.0 于 2023年11月26日，7.4 于 2022年11月28日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP version 8 — PHP 8 内各子版本占比；与主版本占比结合，得出 48.3% 的 PHP 网站运行不受支持的版本。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP version 7 — 7.4 占 PHP 7 网站的 73.4%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Statistics — 向 wordpress.org 报告的 WordPress 网站的 PHP 版本；34.7% 低于 8.2。读取于 2026年10月23日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Requirements — “PHP version 8.3 or greater”；也能在 7.4+ 上运行，而这些版本 “reached their official End Of Life”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — OPcache introduction — “OPcache improves PHP performance by storing precompiled script bytecode in shared memory, thereby removing the need for PHP to load and parse scripts on each request.” 到 PHP 8.4 为止，它是通过 zend_extension 加载的共享扩展。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — OPcache runtime configuration — opcache.jit 自 PHP 8.0.0 起可用，默认值为 “disable”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Frequently Asked Questions — “Go programs are compiled ahead of time to native machine code”；运行时 “does not include a virtual machine”；“One of Go\u0026rsquo;s design goals is to approach the performance of C for comparable programs”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — package html/template — “implements data-driven templates for generating HTML output safe against code injection”；“The escaping is contextual, so actions can appear within JavaScript, CSS, and URI contexts.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Avoiding SQL injection risk — “You can avoid an SQL injection risk by providing SQL parameter values as sql package function arguments.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Vulnerability management — 一个经过整理的漏洞数据库；govulncheck “only surfaces vulnerabilities that actually affect you, based on which functions in your code are transitively calling vulnerable functions”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Backward incompatible changes in PHP 8.5 — “The Opcache extension is now always built into the PHP binary and is always loaded. The INI directives opcache.enable and opcache.enable_cli are still honored.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP RFC — Make OPcache a non-optional part of PHP — 在 PHP 8.5 中实现；“running PHP in production without OPcache is generally considered a mistake”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — The Go Memory Model — 对多字值的竞争 “can in turn lead to arbitrary memory corruption”；通过 go build -race 启用的 ThreadSanitizer 会报告竞争。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Data Race Detector — 用 go test -race 运行测试；“The race detector only finds races that happen at runtime, so it can\u0026rsquo;t find races in code paths that are not executed.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRust — rust-lang.org — “Rust is blazingly fast and memory-efficient: with no runtime or garbage collector”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo 1.5 Release Notes — “The compiler and runtime are now implemented in Go and assembler, without C.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenJDK — The HotSpot Group — “around 3000 C/C++ header and source files, comprising more than 1.2 million lines of code”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndotnet/runtime — src/coreclr — 垃圾回收器（gc/gc.cpp）和 JIT（jit/compiler.cpp）都是 C++。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJava SE 21 — URLClassLoader — “to load classes and resources from a search path of URLs referring to both JAR files and directories”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2021-44228 — “An attacker who can control log messages or log message parameters can execute arbitrary code loaded from LDAP servers”；2021年12月10日加入 CISA KEV。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/security/php-twenty-nine-years-of-leaving-the-door-open/","summary":"2026年10月21日披露的 PHP2Shell，是 PHP 解释器本身的未认证远程代码执行漏洞，影响 5.4 以来的每个版本，而且在补丁出现之前就已被利用。它只是一份长长记录里的最新一条：自 1997 年以来，解释器共有 757 个 CVE，其中至少 288 个是内存破坏，172 个被评为无需登录即可完全远程控制。本文根据 NVD 和 CISA KEV 目录清点这份记录，解释为什么一个 C 写的引擎，加上一门花了十年才删掉 register_globals 的语言，会把同样的错误犯两遍；看看 WordPress 对这些数字做了什么，Web shell 如何驻留、如何阻止它们，php.net 自己两次被攻破的经过，仍在运行无人打补丁版本的网站占多大比例，以及为什么常见的部署方式，一个进程同时持有模板、逻辑、SQL 和数据库密码，会把每一个漏洞都变成全盘失守。还有，为什么我自己已经放弃了 PHP，并认为你也应该考虑把它换成 Go 这样的内存安全语言。","title":"PHP：二十九年来一直敞着大门"},{"content":"你的机器今天查过的每一个名字，它都信了，我为此专门写过一整篇。这一篇讲的是查完之后邮件遭遇了什么。简短版本：它被发往一台由 DNS 选出来的服务器，走的是一条只有在没人反对时才加密的通道，携带的消息路径上的任何人都能读、能改，而当初为了阻止这一切发明出来的保护措施，几乎一项都没打开。\n这不是一样东西坏了。是七样，每一样的设计都是：设错了，邮件照样通过。没有报错。发票到了。密码重置邮件到了。只不过它们也到了某个本不该看到它们的人那里，或者经过了这个人，而任何地方都没有提示。\n本文论证的是为什么要把这些设置每一项都做对，并给出每一项价值几何的证据。后面三篇会在真实的服务器上把它搭起来：Postfix、Microsoft 365 和 Stalwart。这一篇讲为什么。\n标准描述了这种攻击，然后禁止你防御 从两台邮件服务器之间的管道说起，因为大多数人以为这个问题早就解决了。STARTTLS 是把一条 SMTP 连接升级为 TLS 的命令。大多数邮件服务器都支持它，大多数邮件在传输中都是加密的，听起来像个已解决的问题，直到你去读这个升级是怎么提供的。\n接收方服务器在问候里通告 STARTTLS。发送方服务器看到这个提议，接受它。没有任何东西给这个提议签名，也没有任何东西保护它。所以它们之间路径上的一台机器可以把这一行删掉，下面是结果，在实验室里抓自一个设为普通机会主义默认值的发送方：\n~\u0026gt; EHLO client.test [stripped] STARTTLS removed from the greeting *** Host did not advertise STARTTLS -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; -\u0026gt; Please pay invoice 1042 to sort code 20-00-00, account 12345678. \u0026lt;- 250 2.0.0 Ok: queued as D6A84132069C 发送方没看到 STARTTLS 的提议，于是做了“机会主义”的本意：照样发，用明文。中间那台机器读了全部内容，连发票和银行账户信息都在内。邮件投递成功了。没有任何报错传到任何人那里。\n这种攻击不是我发明的。定义 STARTTLS 的标准 RFC 3207，在它自己的“安全考虑”一节里就精确描述了它：\nA man-in-the-middle attack can be launched by deleting the \u0026ldquo;250 STARTTLS\u0026rdquo; response from the server. This would cause the client not to try to start a TLS session.1\n同一节给出了防御方法，而且是最显而易见的那种：要能强制要求 TLS。“both clients and servers MUST be able to be configured to require successful TLS negotiation … for selected hosts before messages can be successfully transferred.”1 那就把接收方配置成强制要求 TLS，被剥离的会话就会被拒绝：\n[stripped] STARTTLS removed from the greeting *** Host did not advertise STARTTLS -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; \u0026lt;** 530 5.7.0 Must issue a STARTTLS command first 只是你做不到，在公共 MX 上不行，因为同一份标准禁止这么做：\nA publicly-referenced SMTP server MUST NOT require use of the STARTTLS extension in order to deliver mail locally.2\n把这两段引文放在一起读。标准描述了一种中间人攻击，告诉你防御方法是强制要求 TLS，然后又告诉你，你的公共邮件服务器不许强制要求它。再读一遍。这条规则写于 2002 年，为的是让邮件在当时还不能全都支持 TLS 的服务器之间继续流动。它至今仍然有效，这就是为什么互联网的大部分地方仍然接受明文邮件，也是为什么剥离 STARTTLS 今天仍然管用。\n攻击者也有更有本事的版本。强制要求 TLS 的接收方救不了你，因为攻击者不必把会话以明文转发出去。它可以读取发送方被降级的明文，再自己向接收方开一条完全合法的 TLS 连接，接收方看到一张有效证书，也就满意了。两半我都在实验室里演示过：暴露发送方的剥离，以及一个被严格接收方毫无异议接受的普通 TLS 客户端。接收方的策略挡不住这个。只有发送方拒绝在没有经过认证的 TLS 时发送，才能挡住它，这就是 DANE3 和 MTA-STS4 存在的全部理由，本文后面会讲到。\n七项设置，以及每一项如何失败即放行 管道是两个问题之一。另一个是身份：一封加密到达的邮件，依然只是声称来自它说的那个人。所以有七项设置在起作用，分属这两项任务，而它们的共同点，正是最值得先弄明白的东西。\n七项设置，两个问题，以及每一项设错时会怎样 管道是否私密？ 传输：两台邮件服务器之间 发件人是否真实？ 身份：邮件声称来自谁 STARTTLS 没人干扰时才加密 设错：被剥离，明文发送 MTA-STS HTTPS 策略：必须用 TLS 设错：“testing”什么都不强制 DANE / TLSA DNSSEC 钉住服务器密钥 设错：记录过期，投递中止 TLS-RPT 发送方报告 TLS 失败 缺失：失败无人看见 SPF 哪些主机可以发信 设错：~all 只是耸耸肩 DKIM 对邮件的签名 设错：无选择器，无可校验 DMARC 两者都失败时怎么办 设错：永远 p=none 两者之下：IPv6。 没有 AAAA 记录的 MX，收不到纯 IPv6 发送方的邮件。 每一项都可能设错而邮件照常流动，这就是为什么没人注意到 下面逐一列出：每一项保护什么，设错时会怎样。注意最后一列。它几乎总是说邮件照样走。\n设置 任务 保护什么 设错的话…… STARTTLS 传输 加密两台服务器之间的一跳 从问候里被剥掉，明文发送 MTA-STS 传输 一条通过 HTTPS 发布、声明必须使用 TLS 的策略 停在 testing，什么都不强制 DANE / TLSA 传输 DNSSEC 钉住服务器的密钥，TLS 就无法被降级 记录过期，发给你的邮件被延迟 TLS-RPT 传输 发送方把失败的 TLS 报告回给你5 不发布，失败就看不见 SPF 身份 哪些服务器可以代表一个域名发信 ~all 是耸耸肩，不是拒绝 DKIM 身份 对邮件的签名 没发布选择器，没东西可校验 DMARC 身份 SPF 和 DKIM 失败时怎么办 p=none 只看着，什么都不做 这七项里，有六项设错了照样投递邮件。DANE 是例外。它是整张表里唯一一项失败即关闭的设置：做错了，你的邮件会停下来，而不是泄露出去。记住这一点，因为这恰恰是人们害怕它的原因，也是它最有价值的原因。\n身份三项各说一句，因为这个系列后面都要靠它们。SPF 列出允许代表一个域名发信的服务器，以一条规则结尾：-all 意思是“别人都不行”，~all 意思是“别人都不行，不过照样投递”。DKIM 给邮件加上一个密码学签名，任何改动都会显出来，前提是这个域名确实发布了用来校验的密钥。DMARC 把这两者串起来，告诉接收方它们失败时怎么办，以及它们是否和读者实际看到的 From: 地址对齐。它们分别是 RFC 7208、6376 和 7489，每一个都值得单独写一篇。6 7 8\n光有 DMARC，被篡改的发票也能过 身份层恰好在代价最高的地方有个缺口，值得演示一下，因为“我们的 DMARC 是 reject”正是人们以为自己已经有保护时说的话。\n只要 SPF 或 DKIM 任一通过并与 From: 域名对齐，DMARC 就通过。任一，不是两者都要。所以拿一封来自某个域名、真实签过名的邮件，改掉正文里的银行账户信息，再从同一个地方发出去：\nDMARC 放过了被改的发票。按 DKIM 失败丢弃则没有 发出的是什么 到达的是什么 发票 1042，带 DKIM 签名 sort code 20-00-00, 12345678 被篡改 同一封邮件，同一个签名 sort code 40-11-22, 87654321 SPF: pass 从列出的地址发出 DKIM: fail 正文哈希不匹配 DMARC: pass 一个对齐的通过就够了 接收方怎么做 只靠 DMARC 已投递。新的银行账户信息 到达时看起来跟真的一样。 DKIM 失败即丢弃 554 5.7.1 DKIM signature does not verify 实验室抓取：Rspamd 3.12.1 给它的评分是 R_SPF_ALLOW、R_DKIM_REJECT 和 DMARC_POLICY_ALLOW。 DMARC 问的是两项检查有没有任一通过。一张来自正确地址的被改发票能过其中一项 SPF 依然通过，因为它来自一台被授权的服务器。DKIM 签名现在失败了，因为正文被改了。但 DMARC 只需要一个对齐的通过，SPF 给了它一个，所以 DMARC 通过，带着新账号的邮件被投递出去，看起来和原件一模一样。我在实验室里抓到了这个：Rspamd 给它打的是 R_SPF_ALLOW、R_DKIM_REJECT 和 DMARC_POLICY_ALLOW，单靠这些它就会被投递。唯一挡住它的，是一条遇到签名损坏就直接拒收的规则。一个处于 p=reject 的域名，并没有防住那个签名本来就是用来抓的篡改。在你宣布大功告成之前，这一点值得知道。\nDANE 的可靠程度，取决于它底下的 DNSSEC 现在讲那些真正能挡住有本事的攻击者的传输设置，因为它们把决定权交给了发送方。DANE 是其中最强的。它让一个域名在 DNS 里通过一条 TLSA 记录，发布它的邮件服务器将要出示的密钥指纹，这样发送服务器就能拒绝任何不匹配的东西。9 不涉及证书颁发机构，不用信任 TLS 握手时恰好应答的那一方。域名所有者说“这是我的密钥”，事情就到此为止。\n只是 DNS 应答是可以伪造的，所以发布在普通 DNS 里的指纹一文不值：剥离 STARTTLS 的同一个攻击者，可以递给你一个假指纹，去匹配一把假密钥。只有当它所在的 DNS 用 DNSSEC 签了名、指纹本身无法伪造时，DANE 才有意义。这就是整条链，也是为什么这篇文章属于一个从 DNSSEC 开始的系列。如果你还没接触过它，基础知识在 /zh/dns/dnssec-the-root-is-signed-you-are-not/，一句话版本是：根已经签名，每一个叫得出名字的顶级域都已经签名，然后到了人们实际使用的那些名字，戛然而止。\nTLSA 记录的价值，全看它上面的签名 已签名：alpha.test 未签名：plain.test test. 的信任锚 解析器唯一被给定的密钥 DS 38044 alpha.test 已签名，由上级担保 RRSIG _25._tcp.mail.alpha.test TLSA 3 1 1 093a80cac907a52e… 必须匹配 mail.alpha.test 公钥 SHA-256 093a80cac907a52e… plain.test 无 DS，无签名 无人担保 _25._tcp.mail.plain.test TLSA 3 1 1 0f09fe00d00d74c1… 谁都能伪造 被发送方忽略 完全不返回 DANE 策略 解读 3 1 1 3：服务器自己的密钥，不涉及 CA。1：只用公钥。1：SHA-256。 用同一把密钥续期证书，记录就永远不用改。 两个区域都发布了 TLSA 记录。只有一个能证明它 图里有两个都发布了 TLSA 记录的域名。一个位于已签名的区域，从根一路到指纹都有不间断的签名链，所以发送方可以信任它。另一个位于未签名的区域，所以它的指纹只是任何人都可能写出来的一串字节，一个正确的发送方会完全忽略它，也就得不到任何 DANE 保护。同样的记录，两种发布方式。只有一种能证明它是真的。\n要发布的记录是 3 1 1：服务器自己的密钥而不是 CA 的，公钥而不是整张证书，用 SHA-256 做哈希。中间那个数字是在运维上划算的那个，因为钉住密钥而不是证书，意味着这条记录在每次续期后都依然有效，只要你保留同一把密钥。Postfix 那篇有完整的步骤，以及让人栽跟头的那个陷阱：通常的证书续期方式每次都会生成一把新密钥，悄无声息地让记录失效。在这里，要记住的是，3 1 1 加上密钥复用，就是一条发布一次就可以不管的记录。\n内部规则，以及每一条的代价 上面的一切归结成一份简短的规则清单，接下来三篇会拿真实的服务器来对照它们。这些规则没有被打折扣，也不是免费的。下面连账单一起列出来，因为一条你藏着代价的规则，就是一条你还没真正决定要遵守的规则。\n规则 它挡住什么 你要付出什么 入站不收明文 入站这一跳上的窃读和篡改 服务器不支持 TLS 的发送方联系不上你 出站不发明文 出站这一跳上的同样问题 发往不支持 TLS 的服务器的邮件会延迟，而不是发出去 出站用 DANE 或 MTA-STS 有本事的中间人 对方那边记录过期，你发给他们的邮件就会延迟 每个 MX 都有 IPv6 纯 IPv6 发送方联系不上你 要维护 AAAA 记录和一台双栈服务器 只为已登录用户中继 你的服务器替别人洗垃圾邮件 不能再按 IP 随处发信；用户必须认证 登录身份只能以自己名义发信 员工冒充同事 按用户设规则，在信封和信头里都要强制执行 丢弃未知发件域名 反向散射和伪造的不存在发件人 没有合法邮件受影响；这些本来就没有真实发件人 拒收 SPF 和 DKIM 失败的邮件 仿冒和篡改 没做 SRS 的转发邮件会被退回 转发的代价是真会咬人的那一个，而且是真的：只按 SPF 拒收，一封从不在发件人 SPF 记录里的地方转发过来的邮件就会被拒，因为在接收方看来，转发者和伪造者长得一模一样。有修补办法，SRS 和 ARC，10 Postfix 那篇演示了这个失败。老实说，这些规则会退回一些宽松的服务器本会投递的邮件。这正是它们的意义。其中一些邮件本就该被退回，其余的则是在告诉你，有一套转发配置一直靠着没人检查才活着。\n它失败即放行，证据在这里 整篇文章立足的论断是：这些设置失败即放行，悄无声息，所以光看你分辨不出一项能用的设置和一项坏掉的。这不是理论上的担忧。为下一篇搭 Postfix 服务器的时候，这些失败每一个都发生过，而每一个都是一项看起来已经配好、实际什么都没做的设置。\n实验室里五种失败即放行，一种失败即关闭 设置，以及它何时咬人 它实际做了什么 Postfix: dane 目的地没发布 TLSA 失败即放行 退回机会主义：明文发送 Postfix：登录不匹配检查 在 25 端口，那里不登录 失败即放行 记一条警告后跳过：我们的域名被伪造 Rspamd：local.d 里的 local_addrs 想要缩小列表 失败即放行 被合并而非替换：10/8 和 fd00::/8 未检查 只靠 DMARC DKIM 失败，SPF 通过 失败即放行 被改的发票已投递 未签名区域里的 TLSA 看起来跟真的一模一样 失败即放行 被忽略：根本没有 DANE TLSA 已签名，证书不对 记录已过期 失败即关闭 延迟：什么都没发 每一行都是实验室里的抓包，不是读手册读出来的。 六项里有五项邮件照常流动。问题就在这里 六项真实的设置，每一项都来自为下一篇搭 Postfix 服务器的过程。五项失败即放行：它们投递了邮件，没有报错，看上去完全像是在正常工作。第六项，过期的 DANE 记录，失败即关闭。它是人人都害怕的那一项，也是唯一一项保护了邮件而不是让它泄露的。教训就摆在图的最后一列：人们因为它可能让邮件停下而避开的那项设置，恰恰是唯一一项表现得像一个安全控制应有样子的设置。\n那里的每一行都是一次抓包，不是读手册读出来的。分辨一项设置能用还是坏了，办法是把它本该挡住的那封邮件发出去，看看回来的是什么，这句话我在这里说一次，在这个系列剩下的部分里证明三次。\n那么到底有谁真的做了这些？ 说这些设置重要是一回事。问一问那些邮件最要紧的组织有没有把它们打开，是另一回事。所以我去查了，只用只读 DNS 和一个做验证的解析器，时间是 2026年10月22日：二十六个收邮件的域名，银行、大型服务商、德国的专业服务商和证书颁发机构，每个都按本文的七项逐一检查。11\n域名 MX 有 AAAA DNSSEC DANE (TLSA) MTA-STS DMARC SPF 英国银行 barclays.co.uk — — — — reject -all hsbc.co.uk — — — — reject — lloydsbank.com — — — — reject -all natwest.com — — — — reject — santander.co.uk — — — — reject — nationwide.co.uk — — — — reject — monzo.com 全部 — — — reject — starlingbank.com — — — — reject — 邮件服务商 gmail.com 全部 — — enforce — 无 all outlook.com — — — enforce — -all yahoo.com — — — testing reject 无 all icloud.com — — — — quarantine 无 all fastmail.com — — — testing — ~all proton.me — 是 是 enforce quarantine ~all 德国服务商 posteo.de — 是 是 enforce — ~all mailbox.org 全部 是 是 enforce reject ~all gmx.de — 是 是 — quarantine 无 all web.de — 是 是 testing quarantine 无 all t-online.de — — — testing — ~all 证书颁发机构 letsencrypt.org 全部 — — — reject -all digicert.com 全部 — — — quarantine — sectigo.com — — — — reject -all globalsign.com 全部 — — — reject — 英国公共部门 hmrc.gov.uk — — — enforce reject — nhs.uk — — — — reject -all ncsc.gov.uk — — — enforce reject -all 先顺着 DMARC 那一列往下读，因为它是基本填满了的那一列。这些域名大多发布了 DMARC 策略，银行大多是 reject。DMARC 是会被做的那项设置，因为审计员会问它，供应商能卖给你，而且它看得见：你能查到它，能打个勾。可单靠它自己，它也正是本文前面让一张被篡改的发票通过的那项设置。\n再读 DANE 那一列，这里唯一一项既不能被降级、也不能被伪造的设置。二十六个域名里有五个。每一个都是德国服务商或者 Proton。一家英国银行都没有。证书颁发机构也一家都没有，而它们整门生意就是为密钥担保。针对本文开头那种攻击的最强防护，是由少数在乎的人做的，只求合规的人一个都没做。\n银行那几行最扎眼。八家，每一家都是 DMARC reject，而加在一起：没有 DANE，没有强制执行的 MTA-STS，只有一家，Monzo，能通过 IPv6 联系上。四家证书颁发机构里有两家在自己的顶级域名上没有发布 SPF 记录。HMRC 和 NatWest 也没有。这些不是没顾上的小公司。它们正是给你发来你最怕被人伪造的那种邮件的组织，而它们手里的保护，是那块看起来最强、作用最小的牌子。\nIPv6 那一列本身就是个小丑闻。二十六个里有二十个的邮件服务器根本没有 AAAA 记录，所以跑在纯 IPv6 网络上的发送方联系不上它们，而这个数字只会往一个方向走。我写过 /zh/networking/we-never-ran-out-of-addresses/，讲这个行业拒绝把那件事做完，这次它又出现了，这回是在邮件路径上。它和 /zh/dns/dnssec-the-root-is-signed-you-are-not/ 里那次 gov.uk 普查是同一个形状：难的部分多年前就做完了，注册机构白送，而最显然应该用它的人没用。中央的 gov.uk 甚至不在表里，因为它根本没有发布 MX。它不收邮件。这也算是一种通过测试的办法。\n如果你还没做这些，你还能自称专业人士吗？ 本文提到的每一项标准，以及它底下的这次普查，都指向同一个方向：这不是一个研究问题，是一个打开开关的问题，而最适合去打开开关的那些人没去打开。当证据一边倒到这个程度，这个问题就不再是学术讨论，而是一个你必须就自己的服务器作答的问题。如果你为一家经手别人的钱或别人的健康的组织运行邮件，而你的 MX 没做 DANE，没强制执行 MTA-STS，也无法通过 IPv6 联系上，你能管这叫专业的活儿吗？\n有三种诚实的回答，只有前两种站得住。能，前提是理由写了下来，旁边标着日期： 你用的平台还不提供 DANE，你已经提了，明年的计划里有这一行。这是一个专业人士在管理一个真实的约束，没问题。能，因为你之前不知道，现在知道了，而且这周就要去弄清楚你的服务器处在什么状态。 没有谁生来就知道这些。以及，不能： 你知道的足够让你心里不踏实，你读到了这里，然后你会关掉这个标签页，什么都不改，因为邮件在流动，没有报错，也没人逼你。最后这种不是知识上的缺口。它是一个决定：让一件你负责的东西继续坏着，因为坏着更安静。\n标准不会逼你去做。这就是全部的问题，也是全部的要点。知道，不是一件会自己找上门来的事，也不会有人跑来告诉你，你的邮件服务器已经悄悄用明文发了两年信。正因为如此，确保自己知道就是你的本职，而且不是别人的。\n标准是一个在没人看着时也要遵守的承诺 这些部件多年前就全都做好了。STARTTLS 来自 2002 年，SPF、DKIM 和 DMARC 都有十年或更久了，用于邮件的 DANE 在 2015 年定下规范，MTA-STS 在 2018 年。它们没有一样藏在许可证后面，没有一样需要厂商，而负责承载 DNSSEC 记录的注册机构是白送的。难的工程已经做完了。剩下的是容易的部分，只有在有人肯费心时才容易的部分：把它打开，检查它确实开着，并在证书续期、记录必须跟着改的时候让它一直开着。\n最后这一部分，其实就是全部。标准不是那份文件。文件已经存在二十年了，邮件还在用明文走。标准是一种在没有报错逼着你时你也会坚持的东西，是在你悄悄让它失效、邮件也照样流动时，是在唯一可能知道的人只有你自己时，你依然坚持的东西。这些设置每一项都失败即放行，恰恰是为了让谁都不必被迫在乎。也就是说，在乎就是全部的活儿。\n你不会因此得到奖赏。没被改过的发票，看起来和被改过的那张一模一样。没人在传输途中读过的密码重置邮件，看起来和被人读过的那封一模一样。唯一的差别在那些有人试过的日子里，而在那些日子里，那个把这一切打开、并检查过它确实有效的人，永远不会发现自己被攻击过，因为攻击没得逞。从外面看，把活儿干好就是这个样子：什么都没发生，原因谁也看不见。\n所以无论如何，把每一项设置都做对。不是因为有人在检查，因为根本没人检查。去做，是因为说邮件安全的那个人是你，而在我们这儿，这话还是算数的。\nRFC 3207 §6 — SMTP Service Extension for Secure SMTP over TLS，“安全考虑”一节：“A man-in-the-middle attack can be launched by deleting the ‘250 STARTTLS’ response from the server”，以及客户端和服务器“MUST be able to be configured to require successful TLS negotiation … for selected hosts”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3207 §4 — “A publicly-referenced SMTP server MUST NOT require use of the STARTTLS extension in order to deliver mail locally. This rule prevents the STARTTLS extension from damaging the interoperability of the Internet\u0026rsquo;s SMTP infrastructure.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7672 — 通过机会主义 DANE TLS 实现的 SMTP 安全，定义了用于邮件的 3 1 1 记录以及它所抵御的降级攻击。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8461 — SMTP MTA Strict Transport Security (MTA-STS)。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8460 — SMTP TLS Reporting (TLS-RPT)。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7208 — Sender Policy Framework (SPF) for authorising use of domains in email, version 1。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6376 — DomainKeys Identified Mail (DKIM) Signatures。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7489 — Domain-based Message Authentication, Reporting, and Conformance (DMARC)。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6698 和 RFC 7671 — DNS-Based Authentication of Named Entities (DANE) 的 TLSA 记录，以及运维方面的更新。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8617 — Authenticated Received Chain (ARC)，让转发者能够担保在它之前认证已经通过。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n测量于 2026年10月22日，使用只读 DNS 查询一个做验证的解析器（1.1.1.1），并通过 HTTPS 获取每个 MTA-STS 策略。对每个域名检查：是否每台 MX 主机都发布了 AAAA 记录；MX 查询是否通过验证（AD 标志）；_25._tcp.\u0026lt;mx\u0026gt; 是否在已签名区域中有 TLSA 记录；发布的 MTA-STS 模式；_dmarc.\u0026lt;domain\u0026gt; 上的 DMARC 策略；以及顶级 SPF 记录上的 all 限定符。没有向这些服务器发送任何东西。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/email/why-every-mail-setting-has-to-be-right/","summary":"邮件安全的每一层，设计上都是退回到“能用”，而不是安全地失败。把 STARTTLS 那一行从问候里剥掉，机会主义发送方就会继续用明文发送，而 RFC 3207 既把这描述为一种攻击，又禁止你在公共服务器上防御它。本文在实验室里抓下了这次中间人攻击，然后逐一讲解保护传输中邮件的七项设置，说明每一项保护什么、不保护什么，以及设错时如何失败即放行。接着讲到 DANE：为什么底下没有 DNSSEC 的 TLSA 记录毫无价值，为什么 3 1 1 和密钥复用很重要，以及为什么过期记录是唯一一种会关上而不是打开的失败。最后是一次只读普查，覆盖英国各银行、大型邮件服务商和证书颁发机构，数一数到底有多少家真的做了其中任何一项。","title":"为什么每一项邮件设置都必须做对"},{"content":"从发行版装上 Postfix，接受默认设置，你就有了一台这样的邮件服务器：对任何不提供 TLS 的服务器明文发送你的邮件，并接收任何人冒充任何人发来的邮件。Debian 自带的 main.cf 把两个 TLS 级别都设成 may。没有东西检查 SPF。没有东西检查 DKIM。一个不存在的发件人域名照样被接收。\n这不是 bug。这是二十年前标准所要求的，也是今天互联网上大量邮件服务器仍在运行的方式。\n本文搭建的是另一种。它把本系列开篇文章里的家规拿过来，一条一条放进一台能工作的 Postfix，并附上每条规则拒绝某样东西时给出的回复。这些规则的理由在那篇文章里，我不再讲第二遍。这一篇是搭建。\n规则 Debian 自带的 Postfix 这次的搭建 违规者得到什么 进来不许明文 提供 TLS，但从不强制 每个监听器都设 encrypt 530 5.7.0 Must issue a STARTTLS command first 出去不许明文 对方提供就用 TLS，不提供就明文 encrypt，对方发布了就用 DANE 或 MTA-STS 延迟，dsn=4.7.4 或 dsn=4.7.5 处处 IPv6 inet_protocols = all 同样，外加每个 MX 都有 AAAA 下面每项测试都在两种协议上跑过 只为登录中继 为 mynetworks 中继 25 端口从不中继，587 和 465 需要登录 554 5.7.1 … Relay access denied 登录只能以自己的身份发信 不检查 信封和 From: 都绑定到登录 553 5.7.1 … not owned by user 发件人域名必须存在 不检查 reject_unknown_sender_domain，代码 550 550 5.1.8 … Domain not found SPF 失败、DKIM 失败 不检查 Rspamd，强制拒收 554 5.7.1 SPF hard fail / DKIM signature does not verify 本文中的每一条回复都是从一台运行中的服务器上抓取的，IPv4 和 IPv6 都有。有好几项设置，在另一项也设好之前什么都不做。每一项我都是看着它什么都不做才发现的。下面会把它们点出来，因为咬你的就是它们。\n实验室 一个隔离的网络，每台主机两种地址族都有 DNS 和策略 网络 maillab：10.89.50.0/24 和 fd89:50::/64，内部 lab-ns BIND 9.20.30，签名 test. .10 和 ::10 lab-resolver unbound 1.26.1，做验证 .11 和 ::11 lab-tlspol postfix-tlspol 1.14.4 .25 和 ::25 lab-alpha Postfix 3.10.13 alpha.test .20 和 ::20 lab-bravo Stalwart 0.16.27 bravo.test .21 和 ::21 lab-plain Postfix，无 TLS plain.test .22 和 ::22 lab-client swaks，测试发件方 sender.test .50 和 ::50 邮件服务器 证书由一次性 CA 签发。这些文章里的每项测试都在两种地址族上跑过。 文中的一切都先在这里跑过。这里没有任何东西能连到互联网，所以这里也没有任何东西是对互联网的猜测 组件 版本 职责 Postfix 3.10.13，Debian trixie alpha.test 的 MX 和提交服务器 Dovecot 2.4.1 登录的密码，所有邮件协议关闭 Rspamd、Redis 3.12.1、8.0.2 SPF、DKIM、DMARC、DKIM 签名 postfix-tlspol 1.14.4 根据 TLSA 和 MTA-STS 决定出站策略 BIND、unbound 9.20.30、1.26.1 一个签名的私有 test. 区域，以及一个验证它的解析器 域名 用途 alpha.test 本文搭建的服务器 bravo.test Stalwart，另有专文 plain.test 坏邻居：未签名的区域，没有 STARTTLS sender.test SPF -all、DKIM、DMARC p=reject：用来伪造、篡改和转发 每个监听器都绑定两种协议，每个 MX 都有 A 和 AAAA 记录。IPv6 在这里不是附加项。没有 IPv6 的邮件服务器是有缺陷的，而证明这一台有 IPv6 很简单：每项检查都跑两遍。\n一个阶段一个阶段来 SMTP 会话是一个固定的顺序，这次搭建中的每条规则在其中都有一个自然的位置。顺序之所以重要，只有一个原因：**证据允许多早拒绝，就多早拒绝。**不存在的发件人域名在 MAIL FROM 时就知道了，所以没有理由先收下正文再拒绝。被篡改的正文只有在 DATA 之后才知道，所以就在那里拒绝。\n每条规则在哪里起作用，服务器说了什么 阶段 规则，以及实验室里抓到的回复 EHLO STARTTLS AUTH MAIL FROM RCPT TO DATA TLS 建立前不提供 AUTH smtpd_tls_auth_only = yes 跳过它，其他一概不接受 530 5.7.0 Must issue a STARTTLS command first 只在 587 和 465；25 端口没有登录 554 5.7.1 Client host rejected: Access denied 发件人域名必须存在 550 5.1.8 Sender address rejected: Domain not found 我们自己的域名需要登录 554 5.7.1 Our own domain: send through submission 登录必须拥有该地址 553 5.7.1 not owned by user alice@alpha.test 25 端口从不中继 554 5.7.1 Relay access denied Rspamd: SPF, DKIM, DMARC 554 5.7.1 SPF hard fail / DKIM does not verify From: 头必须是登录用户 554 5.7.1 You may only send as your own address Postfix 把 MAIL FROM 的拒绝压到 RCPT TO 才给出，所以这三条回复晚一步到。 每条规则都有一个阶段。证据允许多早拒绝，就多早拒绝 文章其余部分按这些阶段的顺序来：进来的 TLS，出去的 TLS，登录和中继，发件人地址，然后是 Rspamd 对正文做了什么。\n进来不许明文 一行：\nsmtpd_tls_security_level = encrypt 试图跳过 STARTTLS 的客户端，除了拒绝什么都得不到：\n\u0026lt;- 220 mail.alpha.test ESMTP Postfix -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; \u0026lt;** 530 5.7.0 Must issue a STARTTLS command first 再看看 Postfix 自己的手册对这项设置是怎么说的：\nAccording to RFC 2487 this MUST NOT be applied in case of a publicly-referenced SMTP server. Instead, this should be used on dedicated servers, for example submission (port 587).1\nRFC 2487 是 RFC 3207 的旧编号，正是这条规则让互联网上大多数 MX 主机至今仍接收明文邮件。我还是把它用在了一台公开引用的 MX 上。故意的。开篇文章解释了我为什么认为这条规则是错的，而代价是真实的：服务器做不了 TLS 的发件人就联系不到你。到了 2026 年，那是一台你不想收它邮件的服务器。\n出去不许明文 这是大多数指南都弄错的一半，因为那个显而易见的设置，并不做它名字暗示的事。\nPostfix 有一个 dane 安全级别。设了它，你会以为邮件会经过认证再发出去。并不会。postconf(5) 是这样说对端什么都不发布时它的行为的：\nWhen DNSSEC-validated TLSA records are not found the effective tls security level is \u0026ldquo;may\u0026rdquo;.2\nmay 是机会性 TLS，TLS_README 对它的描述很直白：“Otherwise, messages are sent in the clear.”3 互联网上大部分域名不发布 TLSA 记录。所以单独一个 smtp_tls_security_level = dane，意味着对少数几个做了 DANE 的域名用 DANE，对其他所有服务器不提供 STARTTLS 的人用明文。机会性的，只是名字更好听。\n解决办法是把 encrypt 作为底线，当某个目的地发布了更好的东西时，再把它抬到底线之上。抬的活由 postfix-tlspol 来干。它是一个小小的策略服务器，MIT 许可，Postfix 通过 socketmap 就每个收件域名去问它。它先查签名区域里有没有可用的 TLSA 记录，再查 MTA-STS，然后回答 Postfix 应该用什么策略：\nsmtp_dns_support_level = dnssec smtp_tls_security_level = encrypt smtp_tls_mandatory_protocols = \u0026gt;=TLSv1.2 smtp_tls_policy_maps = socketmap:inet:[fd89:50::25]:8642:QUERYwithTLSRPT 三种策略，没有一种是明文 询问 域名发布了什么 POSTFIX 用的策略 postfix-tlspol 按收件域名， 经由 DNSSEC 可用的 TLSA 在签名区域里 MTA-STS，enforce 策略经 HTTPS 获取 都没有 互联网的大部分 dane-only 服务器的密钥必须匹配 secure match=… CA 证书，仅限列出的 MX encrypt 必须 TLS，但不认证 做不到时，邮件就等着 不提供 STARTTLS：dsn=4.7.4 密钥不匹配：dsn=4.7.5 自带的 dane 级别会多出第四行：没有 TLSA，就明文发送。这套设置把它去掉了 它的 README 对它返回什么说得很具体：它会 “Verify TLSA records for correctness and supported parameters, only then the dane-only policy (Mandatory DANE) will be returned.”4 问它实验室里的三个域名，它说的正是这样：\nlevel=INFO msg=\u0026#34;Evaluated policy\u0026#34; origin=network domain=alpha.test policy=dane-only ttl=214 level=INFO msg=\u0026#34;Evaluated policy\u0026#34; origin=network domain=bravo.test policy=dane-only ttl=198 level=INFO msg=\u0026#34;No policy found\u0026#34; origin=network domain=plain.test ttl=1800 plain.test 没有策略，意味着 Postfix 退回到 encrypt 底线，而 plain.test 不提供 STARTTLS。邮件就等着：\npostfix/smtp[194]: 78598130DA54: to=\u0026lt;someone@plain.test\u0026gt;, relay=mail.plain.test[fd89:50::22]:25, delay=0.02, delays=0.01/0.01/0.01/0, dsn=4.7.4, status=deferred (TLS is required, but was not offered by host mail.plain.test[fd89:50::22]) 还有证明 DANE 确实在起作用的那个例子。搭建初期，bravo.test 上的 Stalwart 还在用它自己的引导证书，而区域里发布的是真证书的 TLSA 记录。一台证书完全没毛病的服务器，只不过不是域名所有者担保的那一张：\npostfix/smtp[196]: server certificate verification failed for mail.bravo.test[fd89:50::21]:25: num=65:no matching DANE TLSA records postfix/smtp[196]: 79160130DA56: to=\u0026lt;someone@bravo.test\u0026gt;, relay=mail.bravo.test[10.89.50.21]:25, delay=5.9, delays=0/0.01/5.9/0, dsn=4.7.5, status=deferred (Server certificate not verified) 两种情况下，延迟都是正确的答案。被延迟的邮件会重试好几天，给对方留出时间修好他们那一端，什么都不会丢。明文发出去的邮件可收不回来。为此，等待永远是代价更小的失败。\n解析器是信任链的一部分 smtp_dns_support_level = dnssec 让 Postfix 向解析器要经过验证的答案，然后相信解析器的 AD 位，也就是那个表示“我检查过签名了”的标志。Postfix 自己什么都不验证。它只是信任。/etc/resolv.conf 里写的是哪个解析器，现在就由它来决定你的邮件是否经过认证。\n你会看到有建议说，除非 resolv.conf 里带着 options trust-ad，否则 glibc 会把那个位扔掉。我测试过，在这个 Postfix 上没有任何区别：有这个选项和没有，DANE 都匹配上了。源码解释了原因。只要它请求 DNSSEC，Postfix 就自己设置这个标志：\nif (DNS_WANT_DNSSEC_VALIDATION(flags)) flags |= (RES_USE_EDNS0 | RES_TRUSTAD); 这段出自 src/dns/dns_lookup.c。5 所以要紧的不是解析器选项，而是你指向哪个解析器。它必须做验证，而且通往它的路径必须是你信任的，实际上就是说它跑在邮件服务器本机上，或者在一个别人够不着的网络里。隔着互联网的公共解析器会很乐意替你设置 AD。坐在你和它之间的任何人也会。\nDANE：发布密钥，不是证书 一条 TLSA 记录钉住的是发送方服务器连上来时应该看到什么。要用的是 3 1 1，三个数字每一个都是一个选择：\n字段 值 含义 为什么选它 Usage 3，DANE-EE 匹配服务器自己的证书 链上没有 CA 需要信任，也没有 CA 会出故障 Selector 1，SPKI 只对公钥做哈希 同一把密钥，每次续期都不受影响 Matching 1，SHA-256 摘要，而不是完整的密钥 每个 DANE 客户端都必须支持 RFC 7672 用一句话给出了选这个组合的理由：\nthis record type works for all clients and need not change across certificate renewals with the same key.6\n哈希就是一条管道，下面是它对着实验室证书和签名区域提供的记录：\n$ openssl x509 -in mail.alpha.test.crt -noout -pubkey \\ | openssl pkey -pubin -outform DER | sha256sum 093a80cac907a52eb41d17df20163c95f2e15d6702c76f65174d7fc32460c69f - $ dig +dnssec _25._tcp.mail.alpha.test TLSA ;; flags: qr rd ra ad; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 1 _25._tcp.mail.alpha.test. 165 IN TLSA 3 1 1 093A80CAC907A52EB41D17DF20163C95F2E15D6702C76F65174D7FC3 2460C69F 实验室意外地证明了“不需要改变”这一点。做到一半，Python 3.13 更严格的证书检查以缺少授权密钥标识符为由拒绝了实验室证书，于是每一张都重新签发了。同样的私钥，新的证书。没有一条 TLSA 记录改变，也没有一个 DANE 发送方察觉。\n现在说陷阱。大多数人用 certbot 续期证书，自动的，每隔几周一次。certbot 自己的文档里写着：\nNot reusing private keys is the default behavior of Certbot.7\n所以默认的续期每次都生成一把新密钥。TLSA 记录不再匹配，每个检查 DANE 的发送方在续期那天开始延迟你的邮件。你这边什么都没坏。什么都不会告诉你。用 --reuse-key 运行 certbot，记录就能比你放在它后面的每一张证书都活得久。当密钥确实需要更换时，有一个顺序：\n同一把密钥：什么都不用做。新密钥：四步，按顺序 用同一把密钥续期 续期证书 同一把私钥 TLSA 不变 前后都是 093a80… 无需发布 DANE 发送方毫无察觉 更换密钥 1. 发布新 TLSA 与旧的并存 2. 等两个 TTL 缓存里还是旧记录 3. 切换密钥 服务器出示新密钥 4. 删除旧记录 只能现在，不能更早 跳过第 2 步 每个缓存了旧记录的 DANE 发送方都会延迟你的邮件，直到它过期。 续期时复用密钥，TLSA 记录就能比你放在它后面的每一张证书都活得久 第二步就是人们会跳过的那一步。结果是邮件被延迟，直到旧记录从每个缓存里过期，而延迟偏偏来自那些把安全做对了的发送方。\n没有登录，谁都不能中继 中继就是把邮件继续发往一个你不是其目的地的域名。开放中继就是垃圾邮件借别人的信誉洗白的方式。关掉它的老办法是信任一个地址段，于是办公网络里来的任何东西都能中继。那是按位置来信任。在一个有访客 WiFi、VPN 用户和偶尔一台被攻破的笔记本的网络上，位置几乎一文不值。\n所以除了本机，不信任任何地址：\nmynetworks = 127.0.0.0/8 [::1]/128 smtpd_relay_restrictions = reject_unauth_destination 25 端口只用于发往本域的邮件，别无他用。它从不为任何人中继：\n\u0026lt;** 554 5.7.1 \u0026lt;someone@plain.test\u0026gt;: Relay access denied 用户通过提交端口发信：587 端口用 STARTTLS，或者 465 端口从第一个字节起就是 TLS。两者都要先登录才肯做任何事。Dovecot 检查密码，所有邮件协议都关掉，所以它不干别的；Postfix 通过一个套接字问它。master.cf 里的提交监听器：\nsubmission inet n - y - - smtpd -o smtpd_tls_security_level=encrypt -o smtpd_sasl_auth_enable=yes -o smtpd_tls_auth_only=yes -o smtpd_client_restrictions=permit_sasl_authenticated,reject -o smtpd_sender_restrictions=reject_sender_login_mismatch -o smtpd_relay_restrictions=permit_sasl_authenticated,reject smtpd_tls_auth_only 的意思是 TLS 建立之前服务器连 AUTH 都不提供，所以密码永远不会以明文过线。对明文 EHLO 的回复里的 AUTH 行：零。连到 587 不登录就想发信的客户端寸步难行：\n\u0026lt;** 554 5.7.1 \u0026lt;unknown[fd89:50::50]\u0026gt;: Client host rejected: Access denied 一个登录拥有它自己的地址 登录证明你是谁。它没说你可以用哪些地址发信。没有这层关联，服务器上的任何用户都能以财务总监的名义发信，而邮件会被签名、被投递，就像是真的一样。Postfix 用一张地址到所有者的映射表把两者绑在一起：\nalice@alpha.test alice@alpha.test bob@alpha.test bob@alpha.test postmaster@alpha.test alice@alpha.test 提交端口上的 reject_sender_login_mismatch 拿它来约束信封发件人。以 alice 登录，试图以 bob 的身份发信：\n\u0026lt;** 553 5.7.1 \u0026lt;bob@alpha.test\u0026gt;: Sender address rejected: not owned by user alice@alpha.test 这管住了信封。它管不住 From: 头，也就是收件人实际看到的那个地址，postconf(5) 在关于这条限制的说明里就是这么说的：\nto enforce that the From: header address matches the envelope sender (MAIL FROM) address, use an external filter such as a Milter8\n这里 Rspamd 本来就是 milter，所以头部检查就是一条简短的 Lua 规则，比较登录用户和 From: 地址，再对它触发的符号加一个强制拒收：\nrspamd_config.AUTH_FROM_NOT_LOGIN = { callback = function(task) local user = task:get_user() if not user then return false end local from = task:get_from(\u0026#39;mime\u0026#39;) if not from or not from[1] or not from[1].addr then return true, \u0026#39;no From address\u0026#39; end if string.lower(from[1].addr) ~= string.lower(user) then return true, from[1].addr .. \u0026#39; is not \u0026#39; .. user end return false end, score = 0.0, description = \u0026#39;Authenticated user sent with a From: address that is not their own\u0026#39;, group = \u0026#39;headers\u0026#39;, } Alice 用 MAIL FROM:\u0026lt;alice@alpha.test\u0026gt; 和 From: bob@alpha.test 发信：\n\u0026lt;** 554 5.7.1 You may only send as your own address 显示名没问题，大小写变化也没问题。Alice \u0026lt;ALICE@alpha.test\u0026gt; 能通过，因为比较的是地址，并且忽略大小写。\n会自己关掉的检查 这是第一项默默什么都不做的设置。阻止外人在 25 端口伪造你自己域名的显而易见的办法，就是把登录不匹配检查也放到那里。Postfix 接受这份配置，启动，然后记下这些：\nwarning: restriction `reject_authenticated_sender_login_mismatch\u0026#39; ignored: no SASL support warning: restriction `reject_unauthenticated_sender_login_mismatch\u0026#39; ignored: no SASL support 25 端口关掉了 SASL，这完全正确，因为没人在那里登录。所以检查被跳过了。邮件被接收。唯一的证据是一份没人看的日志里的一条警告；检查没了，互联网上的任何人都能向这台服务器发送 MAIL FROM:\u0026lt;alice@alpha.test\u0026gt;，让它投递给 alice 的同事，就像是她写的一样。\n解决办法是在 25 端口上按名字拒绝我们自己的域名，因为我们发出的邮件从来不会合法地从那里进来：\nsmtpd_sender_restrictions = reject_non_fqdn_sender, reject_unknown_sender_domain, check_sender_access texthash:/etc/postfix/own_domains own_domains 里只有一行，alpha.test REJECT Our own domain: send through submission with a login。从外面测试：\n\u0026lt;** 554 5.7.1 \u0026lt;alice@alpha.test\u0026gt;: Sender address rejected: Our own domain: send through submission with a login 不存在的发件人域名 如果 MAIL FROM 里的域名不存在，那就永远没法往回发任何东西，也从来没有合法的东西从那里来过。当该域名 “no DNS MX and no DNS A record” 时，reject_unknown_sender_domain 会拒绝邮件。9 Postfix 对它的默认回复码是 450，一个临时失败，等于邀请伪造者过会儿再试。我把它改成了 550。\npostconf(5) 对这项设置说得很不客气：“Do not change this unless you have a complete understanding of RFC 5321.”10 说得也对。理由是这样的。4xx 告诉发送方排队重试，当答案可能改变时这是对的。一个现在没有记录的域名，不会在接下来五分钟里长出记录来。Postfix 把这种情况和答案还不知道的情况分开了：DNS 失败由 unknown_address_tempfail_action 处理，它仍然延迟。改这个代码，改的只是有答案的那种情况。\n实验室把这三种都测了，外加 IPv6 规则关心的那一种。postconf 的措辞是“A record”，而一个唯一地址是 AAAA 记录的域名，不应该被当作不存在：\n发件人域名 DNS 说 回复 nosuch-lab.co.uk NXDOMAIN 550 5.1.8 \u0026lt;someone@nosuch-lab.co.uk\u0026gt;: Sender address rejected: Domain not found v6only-lab.co.uk 只有 AAAA，没有 A，没有 MX 接收 dnsfail-lab.co.uk SERVFAIL 450 4.1.8 … Sender address rejected: Domain not found，稍后重试 sender.test MX、A、AAAA 接收 实际上“A record”涵盖了 AAAA，只有 IPv6 的域名是安全的。拒绝发生在 MAIL FROM，在发送方发出正文的一个字节之前。Postfix 默认把 MAIL FROM 的拒绝压到第一个 RCPT TO 才给出，所以回复比你可能预期的晚一步到，这也是阶段图把它画在那里的原因。\n长了牙的 SPF、DKIM 和 DMARC 这三样在开篇文章里讲得很充分。各用一句话说：SPF 说明哪些服务器可以替一个域名发信，DKIM 给邮件签名，改动就会暴露，DMARC 说明它们失败时怎么办，以及它们是否和可见的 From: 域名对得上。家规是：SPF 硬失败就拒收，DKIM 签名存在但验证不过就拒收。没签名的邮件不算 DKIM 失败。处理那种情况的是发件人域名上的 DMARC p=reject。\nRspamd 在一个 milter 里把三样都做了，外加给发出的邮件做 DKIM 签名。Postfix 把每封邮件都交给它，如果 Rspamd 不应答，邮件就等着，而不是未经检查就放过去：\nsmtpd_milters = inet:127.0.0.1:11332 non_smtpd_milters = $smtpd_milters milter_default_action = tempfail Rspamd 靠分数工作，这是关于它首先要明白的一点。开箱即用时，没有任何邮件会因为 SPF 失败而被拒。一封都没有。每个结果加减几分，总分超过 15 才拒收。把单个结果变成一个决定的，是 force_actions 模块：\nrules { SPF_FAIL_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;R_SPF_FAIL\u0026#34;; message = \u0026#34;SPF hard fail: this host is not allowed to send for that domain\u0026#34;; } DKIM_FAIL_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;R_DKIM_REJECT\u0026#34;; message = \u0026#34;DKIM signature does not verify: the message was changed or forged\u0026#34;; } DMARC_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;DMARC_POLICY_REJECT\u0026#34;; message = \u0026#34;DMARC policy of the sender\u0026#39;s domain says reject\u0026#34;; } } 五封来自 sender.test 的邮件，从实验室里的客户端发出。SPF 记录只允许 ip6:fd89:50::50，别的都不行，所以同一个客户端通过 IPv4 发信，就是该域名的一台未授权服务器。这也恰恰是一封被转发的邮件的样子：\n情况 怎么发的 SPF DKIM DMARC Rspamd 分数 回复 A 已签名，从列出的 IPv6 地址 pass pass pass 3.59 / 15 接收 B 已签名，之后改了银行信息 pass fail pass 2.30 / 15 554 5.7.1 DKIM signature does not verify C 未签名，从 IPv4 fail none reject 5.00 / 15 554 5.7.1 SPF hard fail D 已签名且完好，从 IPv4 fail pass pass 2.30 / 15 554 5.7.1 SPF hard fail E 未签名，从列出的 IPv6 地址 pass none pass 3.80 / 15 接收 看看情况 B。这是一张签名之后被改了银行分行代码和账号的发票。换句话说，发票诈骗。SPF 通过了，因为它来自正确的服务器。DMARC 通过了，因为 SPF 通过了，而且和 From: 域名对得上。按分数，Rspamd 给了它 15 分里的 2.30 分，本来会投递。唯一拦住它的，是针对损坏签名的强制拒收。只要两项检查中有一项活下来，单靠 DMARC 就会放过一封被篡改的邮件；在你因为某个域名的 DMARC 写着 reject 就说它受保护之前，这一点值得知道。\n情况 D 是代价，应该直说。一封签名正确、没被动过的邮件，因为来自一台不在 SPF 记录里的服务器而被拒。转发干的就是这个：转发方从它自己的地址把你的邮件发出去。只凭 SPF 就拒收，意味着来自带 -all 的域名的转发邮件会被退回。转发方上的 SRS 能解决它，信 DKIM 胜过信 SPF 也能，但家规就是家规，代价要写下来。\n信任每一个私有网络的默认值 第二项默默什么都不做的设置。Rspamd 对它认为是本地的地址跳过 SPF 和其他一些检查，而 options.inc 里自带的列表是这样的：\nlocal_addrs = [192.168.0.0/16, 10.0.0.0/8, 172.16.0.0/12, fd00::/8, 169.254.0.0/16, fe80::/10]; 每一个私有地址段，两种协议都有。如果你的 MX 位于一个用私有地址的负载均衡器、NAT 或代理后面，SPF 就对所有这些悄悄跳过了。在全是私有地址的实验室里，改掉这个之前 SPF 从来没失败过。\n显而易见的修法不管用。Rspamd 有两个放本地设置的目录，它的 FAQ 把区别讲得很清楚：local.d “Merges with defaults. Collections and lists are combined”，而 override.d “Replaces defaults.”11 放在 local.d/options.inc 里的更窄的列表会和自带的那份合并，也就是说什么都没收窄。它必须放进 override.d/options.inc：\nlocal_addrs = [127.0.0.0/8, ::1]; 而 rspamadm configdump options 就是你检查 Rspamd 实际得到了什么的办法，而不是你以为自己写了什么。\n这次搭建里灰名单也关掉了。它对陌生发送方给出临时拒绝，重试时再接收，确实能挡掉一些垃圾邮件，但 Rspamd 的灰名单在 SPF 和 DMARC 发表意见之前就应答了，所以测试时你在预期看到判决的地方看到的是一次延迟。12 只有关掉它，上面的测试才有意义。\n你自己的退信，被你自己的 DMARC 拒了 最后一个陷阱是在实验室里的 Stalwart 拒绝了这台服务器的一封退信时冒出来的。Postfix 发退信时用的是空的信封发件人和 From: MAILER-DAEMON@mail.alpha.test。没有信封发件人，唯一剩下的 SPF 检查就落在服务器在 HELO 里给出的名字 mail.alpha.test 上，而它没有 SPF 记录。退信也没签名。于是 DMARC 退回到 alpha.test 的策略，找到 p=reject，接收方服务器就完全照这个域名告诉它的去做了：\nsmtp.dmarc-fail … domain = \u0026#34;alpha.test\u0026#34;, policy = \u0026#34;reject\u0026#34;, result = DMARC check failed (dmarc.fail) { causedBy = Policy not aligned } 这个域名自己的策略，正在扔掉它自己的投递失败通知。给每个 MX 主机名配上它自己的 SPF 记录，就解决了：\nmail IN TXT \u0026#34;v=spf1 a -all\u0026#34; 六项看起来已经做好的设置 上面这些陷阱有一个共同的形状。每一个都是看起来已经做好、不报任何错、却什么都不做的设置。\n看起来已经做好 实际发生了什么 怎么发现的 smtp_tls_security_level = dane 凡是没发布 TLSA 的地方都明文 读 postconf(5) 25 端口上的登录不匹配检查 被跳过，日志里一条警告 发一封伪造邮件 在 local.d 里收窄 local_addrs 和默认值合并，什么都没收窄 rspamadm configdump 发件人上的 DMARC p=reject 只要 SPF 通过，被篡改的邮件就能过 情况 B certbot 续期 新密钥，TLSA 不再匹配 读 certbot 的文档 你自己域名上的 DMARC p=reject 你自己的退信被拒 一封被拒的退信 其中两项写在文档里，前提是你读到了对的那一页的对的那一段。另外四项，只有把规则本该拦住的那封邮件发出去、看看回来的是什么，才发现得了。把配置读一遍然后点头同意，一项都没发现。如果你从这篇文章里只带走一个习惯，就带走这个，因为这里的每一行都可以被复制进一台服务器，然后照样不起作用。\n默认值是别人的决定 本文中的每一次拒绝，都是 Postfix 多年来就有的设置。就连这里最新的 DANE，从 2.11 起也就有了。13 没有一样是新的，没有一样是贵的，底下的服务器还是那个一直以来的自由软件。一台让被篡改的发票通过的邮件服务器，和一台在 DATA 就拒绝它的服务器，差的是一页配置和一个下午的测试。\n那为什么互联网上这样运行的这么少？因为默认值做了决定，而默认值的设定，是为了确保邮件能在一个 TLS 还是例外的互联网上送达。在当时，那是合理的判断。现在还原封不动，你就把自己的安全决定交给了某人在 2002 年做的一个选择，针对一个已经不存在的网络，关于不是你的邮件。\n运行一台邮件服务器，就是决定对经过它的东西负责。那些设置就是把这个决定写下来。默认值，是没人做这个决定时你得到的东西。\npostconf(5): smtpd_tls_security_level — encrypt 级别：“According to RFC 2487 this MUST NOT be applied in case of a publicly-referenced SMTP server.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): smtp_tls_security_level — dane 级别：“When DNSSEC-validated TLSA records are not found the effective tls security level is ‘may’.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix TLS_README: Opportunistic TLS — “The SMTP transaction is encrypted if the STARTTLS ESMTP feature is supported by the server. Otherwise, messages are sent in the clear.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostfix-tlspol on GitHub — MIT 许可的 Postfix MTA-STS 和 DANE 策略服务器：“Verify TLSA records for correctness and supported parameters, only then the dane-only policy (Mandatory DANE) will be returned.” 这里用的是 1.14.4 版。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix source, src/dns/dns_lookup.c — “Automatically turns on the RES_TRUSTAD flag on systems that support this flag”，以及在请求 DNSSEC 验证时这样做的代码。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7672 §3.1.1 — 通过机会性 DANE TLS 保障 SMTP 安全。SMTP 服务器的 TLSA 记录 “should, in most cases, be ‘DANE-EE(3) SPKI(1) SHA2-256(1)’ records”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCertbot user guide, command-line options — --reuse-key：“When renewing, use the same private key as the existing certificate. (default: False)”，以及在 --no-reuse-key 下：“Not reusing private keys is the default behavior of Certbot.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): reject_known_sender_login_mismatch — “to enforce that the From: header address matches the envelope sender (MAIL FROM) address, use an external filter such as a Milter”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): reject_unknown_sender_domain — 当 MAIL FROM 域名 “no DNS MX and no DNS A record”，或 MX 格式错误时拒绝。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): unknown_address_reject_code — 默认 450：“Do not change this unless you have a complete understanding of RFC 5321.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRspamd FAQ: the difference between local.d and override.d — local.d “Merges with defaults. Collections and lists are combined”；override.d “Replaces defaults. Entire sections are overwritten.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRspamd greylisting module — “The greylisting module triggers a soft reject action, which is intended to be interpreted by the MTA as a temporary rejection”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix TLS_README: DANE — “Postfix ≥ 2.11 supports the new dane and dane-only security levels”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/email/postfix-dane-done-properly/","summary":"开箱即用的 Postfix，在对端不提供 TLS 时就明文发送，并接收任何人冒充任何人发来的邮件。这是另一种搭建：Postfix 3.10.13 配 Dovecot 管登录，Rspamd 管 SPF、DKIM 和 DMARC，postfix-tlspol 管 DANE 和 MTA-STS。进出都没有明文，25 端口从不中继，一个登录拥有它在信封和 From 头里的地址，不存在的发件人域名被拒绝，被篡改或伪造的邮件永远过不了 DATA。每条回复都在实验室里通过 IPv4 和 IPv6 抓取，还有六项在另一项也设好之前默默什么都不做的设置、续期时会弄坏 DANE 的 certbot 默认值，以及这一切让你在转发邮件上付出的代价。","title":"Postfix、DANE，以及每一项都做对的设置"},{"content":"前两篇文章搭了一台满足一套规则的邮件服务器，一次用四个软件包，一次用一个二进制文件。几乎没人这么干。他们付钱给 Microsoft，把域名指向 Exchange Online，让它全包了。所以这里该问的公平问题不是“我怎么搭”，而是“如果我已经为全国大多数人在用的平台付了钱，我能让它满足同样的规则吗？”\n根据 Microsoft 自己的文档和对真实租户 DNS 的只读查看，答案是：有些做得很好，有几条根本做不到，而平台不会告诉你哪条是哪条。这就是邮件安全的 Fisher-Price 版。棱角都磨圆了，锋利的工具都收起来了，几个你真正会伸手去拿的控制项根本没有可开的开关。每一条论断都引用了 2026年10月22日核查过的 Microsoft 页面，每一个 DNS 结果都可以用 dig 复现。\n记分卡 下面是首篇文章 /zh/email/why-every-mail-setting-has-to-be-right/ 里的规则，对照 Exchange Online 实际允许管理员做什么。\n规则 Exchange Online 结论 入站不收明文 只能在合作伙伴连接器上按指定域名或 IP 要求 TLS 没有租户级开关 出站不发明文 默认是机会性 TLS；强制 TLS 需要按目的地建连接器 不是默认 出站 DANE 默认开启；有按连接器的 Mandatory 模式 好 出站 MTA-STS 始终开启，自动验证 好 IPv6 入站按已接受域开启，租户或 Microsoft 都可以退出 实际上停滞了 丢弃未知发件域 没有文档记载的控制项 没有 中继需要登录 SMTP AUTH，但基本身份验证开到 2026 年底，IP 中继可以冒充任何地址发信 做了一半 登录只能以自己身份发信 SMTP AUTH 强制 Send As；Direct Send 完全不需要身份验证 一个漏洞 拒收 SPF 失败 不拒收；一个默认关闭的设置会把它标为垃圾邮件 不行 拒收 DKIM 失败 没有任何控制项仅凭 DKIM 拒收 不行 入站 DANE + DNSSEC 已 GA，但需选择加入，且不在每个租户都用的主机上 开了头，没做完 其中五条是干脆的“不行”或“没有”。整体格局是三栏：Microsoft 替你决定并且做对了的，允许你打开的少数几项，以及根本没有开关可拨的那些。\nMicrosoft 替你决定的，你可以切换的，以及你得不到的 MICROSOFT 决定，并且做得好 出站 DANE，已开启 出站 MTA-STS，已开启 邮件主机 垃圾邮件筛选 可靠投递 你从来不用开口。 它本来就是对的。 你可以打开 遵守发件方 DMARC（已开） 对合作伙伴要求 TLS IPv6，按域开启 拒收 Direct Send（需选择加入） 迁移到已签名主机 清单很短，而且大多 需要选择加入。 没有开关可开 要求所有入站 TLS 拒收 SPF 硬失败 拒收 DKIM 失败 丢弃未知发件方 你所用主机上的 DNSSEC 你最想要的 控制项。锁在玻璃后面。 针对首篇文章里那些威胁，你最想要的控制项，都在右边那一栏 接着往下读，看看每一项为什么在那个位置，因为原因比结论更说明问题。\n它做得好的地方，直说 先给好评，因为这是它挣来的。在出站路径上，Exchange Online 确实做得好。DANE 验证从 2022 年起默认开启，MTA-STS 验证是自动的，“管理员无需做任何事来应用它”，1按连接器的 Mandatory DANE 模式在 2026 年初上线。2这比大多数自建服务器开箱即用的水平都要好。\n带 DNSSEC 的入站 DANE 于 2024年10月28日正式发布，在已迁移到新主机的租户上，TLSA 记录能通过验证。34所以能力是有的。问题在于它周围的一切，也就是本文剩下的部分。\n入站不收明文：没有这个开关 第一条规则是服务器拒收以明文到达的邮件。在 Exchange Online 上，没有办法对所有发件方提出这个要求。可以要求 TLS，但只能在合作伙伴连接器上，限定于指定的域名或 IP 范围，而且这个参数“仅适用于 Partner 类型的连接器”。5对其他所有人，默认是机会性 TLS。6你可以要求你指定的合作伙伴使用 TLS。你不能要求整个互联网这样做，而这条规则针对的正是这些发件方。文档里没有记载任何租户级的强制入站 TLS 控制项。\n丢弃未知发件域：文档里根本没有 Postfix 那套搭建会在 MAIL FROM 阶段、邮件正文之前，拒收发件域不存在的邮件。我在反垃圾邮件、身份验证和反钓鱼的文档里找了 Exchange Online 的对应功能，一个都没有。最接近的是复合身份验证，而 Microsoft 明确说“复合身份验证失败并不会直接导致邮件被拦截”。7所以我谨慎地这样说：Microsoft 没有在文档里记载任何能丢弃来自不存在发件域的邮件的控制项。过滤过程中是否有什么没写进文档的处理，我从外面看不到，你也看不到，而这恰恰就是问题所在。\n拒收 SPF 和 DKIM 失败：不行，也不行 这一条应该让管理员当场愣住。规则是拒收 SPF 硬失败的邮件，或者 DKIM 签名存在但验证不通过的邮件。Exchange Online 在门口两样都不做。\nSPF 有一个设置，埋在高级垃圾邮件筛选里。它默认是“关闭”，开启后也不拒收邮件：它把来自未列出发件方的邮件标记为“高可信度垃圾邮件”。8把这句话读两遍。有人伪造一个 SPF 写着 -all 的域名，Exchange Online 能做的最强硬的事，就是把它丢进垃圾邮件箱，而且连这个出厂时都是关的。DKIM 则什么都没有：没有任何设置会仅仅因为签名验证失败就拒收邮件。失败的签名会被计入 DMARC 和复合评分，然后就到此为止。\n拒收确实会在一种情况下发生：当发件方的域名发布了 DMARC p=reject，Exchange Online 默认会遵守，并在 SMTP 阶段以 550 5.7.1 拒收。9这很好，而且默认开启，但它完全依赖发件方做了正确的事。其他几套搭建用来保护你自己入站的控制项，即拒收 SPF 失败和拒收损坏的签名，在这里没有开关可开。\nIPv6：两年过去，NCSC 仍然无法通过它送达 在本系列里，IPv6 是必须的。Exchange Online 支持入站 IPv6，按已接受域开启，需要选择加入，而且 Microsoft 还会自动让“一小部分客户”退出。10这次部署在 2024年10月宣布时说需要三到六个月。所以我查了二十二个使用 Microsoft 365 的英国组织邮件主机的 AAAA 记录。两年后，其中九个一条都没有。\nMX 没有 IPv6 有 IPv6 hmrc.gov.uk ons.gov.uk ncsc.gov.uk met.police.uk nhs.net cam.ac.uk, ucl.ac.uk, kcl.ac.uk lloydsbank.com jisc.ac.uk, ja.net mod.uk, justice.gov.uk ofcom.org.uk ico.org.uk gov.wales vodafone.co.uk, bt.com sheffield.gov.uk, birmingham.gov.uk 英国国家网络安全中心（NCSC）自己的邮箱无法通过 IPv6 送达，HMRC、NHS 邮件服务、国防部、信息专员办公室和 Lloyds Bank 也都不行。4每一家究竟是被 Microsoft 退出了，还是从来没有选择加入，从 DNS 上看不出来。结果是一样的，而且这二十二家全都在旧的邮件主机上，而我们马上会看到，那个主机无法签名。\nDNSSEC：你实际在用的主机没有计划 文档和 DNS 在这里开始互相打架，这是本文最尖锐的发现。入站 DANE 需要 DNSSEC，而 DNSSEC 需要邮件主机位于一个已签名的区域里。每一个普通的 Exchange Online 租户，MX 都指向 mail.protection.outlook.com 下的某个主机。我查了那个区域有没有签名，可以证明没有：\n$ dig @1.1.1.1 +dnssec DS protection.outlook.com ;; flags: qr rd ra ad; ANSWER: 0 protection.outlook.com. 60 IN NSEC \\000.protection.outlook.com. NS RRSIG NSEC 人人在用的主机签不了名；能签名的那个，没人迁过去 每个租户所在的地方 新主机，如果你迁移的话 *.mail.protection.outlook.com 区域未签名 NSEC 证明：没有 DS DANE 在这里无法工作 没有 TLSA 记录可发布 Microsoft：没有签名计划 *.mx.microsoft 区域有 DNSSEC 签名 有 DS，信任链通过验证 TLSA 3 1 1，DANE 可用 选择加入，手动修改 MX 抽查的英国租户无一迁移 一份已签名的声明，说明该委派没有签名。几乎所有租户都在左边 父区域是签名的，它返回一条经过验证的 NSEC 记录，证明 protection.outlook.com 没有 DS。这是一份已签名的声明，说明该委派没有签名。所以每一个 *.mail.protection.outlook.com 的 MX，也就是说地球上几乎每一个 Microsoft 365 租户，都处在一个未签名的区域里，做不了 DANE。\n新的、已签名的基础设施在另一个名字下，mx.microsoft，迁移过去是手动的、需要选择加入的变更。有多少人迁了？我抽查的大约三十五个英国域名，一个都没有。我能找到的在已签名主机上的租户，全是荷兰的。而 Microsoft 自己 2026年4月的文章说，计划并不是去修好大家都在用的那个主机：\nCurrently, there are no plans to enable DNSSEC on the mail flow domain mail.protection.outlook.com.2\n所以：DNSSEC 和 DANE 在一个新主机上可用，前提是你选择加入并迁移过去，而每个现有租户实际所在的那个主机，按 Microsoft 自己的说法，不会被签名。能力上线了。默认值没有动，也不打算动。\nMicrosoft 自己最大的两个域名就体现了这种分裂，其中一个比它说教的那些租户还要差：\nmicrosoft.com outlook.com 邮件主机 mail.protection.outlook.com olc.protection.outlook.com 区域已签名 否 否 DMARC 策略 p=reject p=none MTA-STS enforce enforce MX 有 IPv6 是 否 outlook.com，也就是面向消费者的邮件服务，发布的是 DMARC p=none：它请全世界检查它的邮件，然后对失败什么也别做，首篇文章把这个设置叫作“耸耸肩”。4Microsoft 的公司域名做得好一些。两个主机都没有签名。\n文档自己跟自己吵架 当一个厂商自己的文档在一项安全控制上自相矛盾时，这不是吹毛求疵。这是客户在一件决定其邮件是否安全的事情上，被告知了两件互不相容的事，我会像对待任何一个拿了钱就该把事做对的供应商那样，盯住这一点。三个例子，全部出自 Microsoft 发布的页面，2026年10月22日全部在线。\n内容 一个页面说 另一个页面说 SPF all 限定符 推荐 -all 硬失败 推荐软失败 MTA-STS 通配符 MX 发布 mx: *.mail.protection.outlook.com 通配符“不得使用” 主主机上的 DNSSEC 推广 DANE 和 DNSSEC “没有在 mail.protection.outlook.com 上启用 DNSSEC 的计划” SPF 页面推荐 -all，“硬失败”。11 Direct Send 的文章推荐“软失败的 SPF 配置”。12两个都是现行的，照着一个做的客户会被另一个批评。在 MTA-STS 上，入站页面告诉租户发布 mx: *.mail.protection.outlook.com，在同一页上又说“在所有 MTA-STS 场景中，都不得使用通配符或‘*’作为 MX 前缀”，1然后又印出一个恰好使用了这个通配符的示例。我不是要 Microsoft 发明什么新东西。我是在问，一个告诉客户如何保护邮件流的页面，为什么在真正起保护作用的那一行上，连自己都统一不了口径。\n然后是 Direct Send 漏洞，也就是身份规则，第六条规则，在前门就失守了。\n一扇门检查你是谁；另一扇不检查 身份验证提交 DIRECT SEND SMTP AUTH，587 端口 必须登录 强制 Send As 错误的发件人被拒绝： 5.7.60 … send as this sender 检查你的那扇门 完全不需要身份验证 默认开启 Reject Direct Send 需选择加入 而且只检查信封， 从不检查可见的 From 不检查的那扇门 经过身份验证的提交会拒绝伪造的发件人。另一条路什么都不问 有一种办法可以完全不经身份验证，以租户自己某个用户的身份把邮件发进这个租户，因为它“不需要任何形式的身份验证”，12而且默认开启。关闭它的设置 RejectDirectSend 默认是关的，只检查信封发件人，不检查可见的 From:，十八个月过去了，仍然“没有正式发布（GA）的确定日期”。12一个付费平台上线了一种未经身份验证就能伪造租户自己域名的方式，默认开着，而修复办法是一个需要选择加入的开关，没有发布日期，检查的内容还有缺口。对一个摆出“这很难”姿态的供应商，我就是用这种语气说话的。这不难。正因如此，我不会假装它难。这是一个设错了、然后就那么放着的默认值。\n你能在这上面把它搭对吗？大多不能 所以这里是诚实的结算，结论并不是说 Microsoft 365 是糟糕的邮件服务。它投递可靠，出站安全确实做得好，对一个没有邮件专业知识的组织来说，它比他们自己原本会配错的服务器更安全。这些都是真的，也都和本系列要说的问题无关。\n问题在于控制权，而在对首篇文章里那些威胁最要紧的控制项上，Exchange Online 不给你。你不能要求互联网入站使用 TLS，不能拒收 SPF 硬失败，不能拒收伪造的签名，也不能丢弃来自不存在域名的邮件。唯一无法伪造的传输保护，带 DNSSEC 的 DANE，在你所在的主机上是关的，也没有计划覆盖到它。而前门那个未经身份验证的漏洞默认开着，没有关闭的日期。\n这就是 Fisher-Price 版的意思。不是说它是给小孩用的，而是锋利的工具被收走了，递到你手里的是磨圆的那些，还告诉你这是为你好。对很多小公司来说，确实如此。对很多组织来说，确实如此。但对任何读到这里、明白那些锋利工具是干什么用的人来说，这是一个已经替你决定了哪些安全设置你可以碰的平台。你最想要的那些，都锁在玻璃后面。\n不管怎样你都得付钱。你至少可以知道，这些规则里有哪几条，它已经悄悄决定不让你守了。\nMicrosoft Learn — Enhance mail flow with MTA-STS — 自动的出站 MTA-STS 验证；还有 “MTA-STS policy files aren\u0026rsquo;t something that Exchange Online can host”，以及自相矛盾的通配符指引。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — Modernizing DNS security for Exchange Online mail flow（2026年4月23日）— 按连接器的 DANE/MTA-STS 模式，以及 “Currently, there are no plans to enable DNSSEC on the mail flow domain mail.protection.outlook.com.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — General Availability of Inbound SMTP DANE with DNSSEC（2024年10月28日）。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n2026年10月22日用 dig @1.1.1.1 +dnssec 对一个验证型解析器核查的 DNS。protection.outlook.com 返回一条经过验证的 NSEC，证明没有 DS（未签名）；mx.microsoft 已签名，其租户发布了能通过验证的 3 1 1 TLSA 记录。读取了二十二个英国组织在 *.mail.protection.outlook.com 上的 MX 主机的 AAAA 记录；其中九个没有，包括 ncsc.gov.uk、hmrc.gov.uk、nhs.net 和 mod.uk。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — New-InboundConnector — RequireTLS 参数 “applies only to Partner type connectors”，按 SenderDomains 或发件方 IP 限定范围。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Exchange Online uses TLS to secure email connections — “By default, Exchange Online always uses opportunistic TLS”，如果收件方不提供加密，就不加密发送。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Email authentication in EOP — “a composite authentication failure doesn\u0026rsquo;t directly result in a message being blocked.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Advanced Spam Filter settings — “SPF record: hard fail” 设置默认是 “Off”，会把匹配的邮件标记为高可信度垃圾邮件，而不是拒收。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Configure DMARC to validate the From address — 在 Honor DMARC 默认开启的情况下，发件方策略 p=reject 会被 “Rejected during SMTP (550 5.7.1)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — IPv6 updates for Exchange Online（2024年10月30日）— 三到六个月的部署计划，以及自动让 “a small percentage of our customers” 退出。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Set up SPF — “For Microsoft 365 domains, we recommend -all (hard fail).”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — Introducing more control over Direct Send（2025年4月28日，2026年5月20日修改）— Direct Send “does not require any form of authentication”；RejectDirectSend 默认为 False，只检查信封发件人，并且 “There is no fixed date for General Availability”；还有软失败 SPF 的推荐。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/email/microsoft-365-the-fisher-price-it-edition/","summary":"大多数组织并不自己运行邮件服务器。他们付钱给 Microsoft，让 Exchange Online 干活。所以这篇文章拿 Postfix 和 Stalwart 两套搭建所满足的同一套规则来要求 Microsoft 365，依据只有 Microsoft 自己的文档和对真实租户的只读 DNS 查询。有些规则它做得很好：出站 DANE 和 MTA-STS 默认开启，带 DNSSEC 的入站 DANE 也终于正式发布（GA）。有几条它根本做不到。没有文档记载的办法能要求所有发件方入站使用 TLS，没有办法在门口拒收 SPF 硬失败，没有任何控制项会仅因 DKIM 签名失败而拒收，也没有控制项能丢弃来自不存在的发件域的邮件。每个租户实际在用的邮件主机，明确表示没有启用 DNSSEC 的计划。原本要花六个月的 IPv6 部署，两年后 NCSC 自己的邮箱仍然无法通过 IPv6 送达。而文档在通配符、SPF 和 DNSSEC 上自相矛盾。这是全国大部分邮件所运行的平台，这就是它让你做和不让你做的事。","title":"Microsoft 365：Fisher-Price 版 IT"},{"content":"上一篇里的 Postfix 构建是四个软件包接在一起，靠一个 milter 套接字、一个 SASL 套接字和一个 socketmap 让它们步调一致。Stalwart 用一个二进制文件就全包了。全部。\n四个接在一起的软件包，对照一个二进制文件 四个软件包，接在一起 一个二进制文件 Postfix 3.10 MTA、TLS、中继 Dovecot 2.4 SASL 登录 Rspamd 3.12，Redis SPF、DKIM、DMARC postfix-tlspol 1.14 DANE、MTA-STS sasl socket milter socketmap Stalwart 0.16.27 SMTP 收发 IMAP 和 JMAP SPF、DKIM、DMARC、ARC DKIM 签名 DANE 和 MTA-STS TLS 报告 垃圾邮件过滤器 Sieve 脚本 邮件存储 无需接线 四个软件包和它们之间的套接字，对照一个已经包含了这一切的进程 SMTP、IMAP 和 JMAP，邮件存储，SPF、DKIM、DMARC、ARC、DKIM 签名、DANE、MTA-STS、TLS 报告、垃圾邮件过滤器和一个 Sieve 引擎，全在一个只需启动一次的进程里。不用接 milter，不用在套接字上跑策略守护进程，也没有第二个必须和第一个对得上的软件包。本系列里每一条在 Postfix 上需要单独工具的规则，Stalwart 内部都已经有了答案。\n这是实实在在的优势，本文不会假装不是。但“内置”和“默认安全”是两种不同的说法，它们之间的差距就是本文的全部内容。我用 Postfix 构建所满足的那套内部规则，原封不动地去要求 Stalwart 0.16.27，在同一个实验室里，并抓取了每一条回复。规则都能加上。怎么加上去，则是另一回事。\n设置是数据库，不是文件 先从让每个人都吃惊的那件事说起，因为它决定了后面的一切。Postfix 用 main.cf 配置，一个你可以阅读、diff、复制到下一台服务器的文本文件。Stalwart 只有一个配置文件，这就是它的全部：\n{\u0026#34;@type\u0026#34;:\u0026#34;RocksDb\u0026#34;,\u0026#34;path\u0026#34;:\u0026#34;/var/lib/stalwart/\u0026#34;} 它只是给数据库命名。其他所有设置，监听器、TLS 策略、垃圾邮件规则、Sieve 脚本，都住在那个数据库里面，你通过 JMAP API 或用 stalwart-cli 修改，然后重新加载：\nstalwart-cli apply --file house-policy.json stalwart-cli create Action/ReloadSettings 它也有一个 Web 界面。1 配置是一个运行中服务里的状态，而不是磁盘上的文件，这一点有利有弊。你得到一个实时 API，也不用手动重新加载守护进程。你失去的是一个文本文件白白给你的东西：diff、注释、提交，以及一份可以重新部署的已知良好副本。以声明式方式运行 Stalwart 的人，最后都会把 apply 所读取的那个计划文件纳入版本控制，这个直觉是对的，而它恰恰也就是他们一开始没有的那种基于文件的配置。\n出厂时它接受什么 在加上规则之前，先看看 Stalwart 开箱即用时的表现。这是公平的基线，而它并不让人放心。\n出厂时，Stalwart 对…… 明文会话，没有 STARTTLS 接受 被篡改的已签名发票 接受 SPF 失败的邮件 接受 伪造它自己域名的邮件 接受 不存在的发件人域名 接受 投递到只支持明文的服务器 明文发送 25 端口上的开放中继 拒绝 登录后使用错误的信封发件人 拒绝 登录后伪造 From: 头 接受 外发到无效证书的服务器，重试时 接受 那两条拒绝是这一栏里仅有的好消息，而且已登录用户仍然可以伪造可见的 From:。\n这些都不是 Stalwart 独有的。几乎每一个邮件服务器出厂时都带着同样这套宽松默认值，原因也是同一个二十年前的原因，这也正是本系列开篇文章的全部论点：/zh/email/why-every-mail-setting-has-to-be-right/。一个什么都能做的服务器，并不是一个什么都能安全地做的服务器。那仍然得由你来配置。\n放规则的四个地方 单一二进制的设计在这里真正变得不一样了。在 Postfix 上，几乎每一条入站规则都是一行 smtpd_*_restrictions 或一个 milter。在 Stalwart 上，同一套规则落在四种不同的机制里，而四种你都需要。\n一个二进制文件，四个配置规则的地方 机制 它执行什么，以及回复 网络监听器 NetworkListener 587 端口的提交走 TLS；中继需要登录。 503 5.5.1 You must authenticate first. MAIL 阶段表达式 MtaStageMail 没有 TLS、未知发件人，或不属于登录身份的发件人。 550 5.7.1 Sender address not allowed. 垃圾邮件标签，设为拒收 SpamTag SPF 硬失败、DMARC 拒收、无法解析的发件人主机。 550 5.7.1 … excessive spam score. Sieve 系统脚本 SieveSystemScript DKIM 必须验证通过；From 头必须是登录身份。 503 5.5.3 … does not verify / send as your own. 一个二进制文件，但一条规则可能是监听器设置、表达式、垃圾邮件标签或 Sieve 脚本 表达式语言、标签到动作的映射和 Sieve 脚本是三种不同的语法，这还没算监听器设置。一个二进制文件，四样东西要学。不过策略应用之后，抓取到的结果与 Postfix 构建逐条对得上：\n规则 Stalwart 的回复 不接受明文入站 550 5.7.1 Sender address not allowed. 25 端口上的中继 550 5.1.2 Relay not allowed. 587 端口上未登录就中继 503 5.5.1 You must authenticate first. 登录后以另一个信封发件人发送 501 5.5.4 You are not allowed to send from this address. 登录后伪造 From: 头 503 5.5.3 You may only send as your own address 已签名、完整、对齐的邮件 接受 被篡改的已签名邮件 503 5.5.3 DKIM signature does not verify SPF 硬失败 550 5.7.1 … excessive spam score. 每一条回复都来自运行中的实验室服务器，经 IPv4 和 IPv6。规则站得住。下面是走到这一步的过程中让我学到东西的三个地方。\nDKIM 失败要靠 Sieve 脚本，而不是那个显而易见的设置 Stalwart 有一个内置的 DKIM 结果，以及一个针对签名失败的垃圾邮件标签 DKIM_REJECT，显而易见的做法就是据此拒收。它抓不住真正要紧的那种情况。当一封已签名邮件的正文在传输途中被改动，也就是整个系列反复提到的发票诈骗情形，Stalwart 的 DKIM 验证器把结果报告为 neutral，而不是 fail。读 mail-auth 的源码可以看到，正文哈希不匹配落在 neutral 那一类里，所以拒收标签从不触发，被篡改的邮件就被投递了。2\n所以 DKIM 规则改用一个 Sieve 脚本，它直接查看验证结果，拒绝任何不是干净通过、也不是确实没有签名的情况：\nif anyof (string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;neutral\u0026#34;, string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;fail\u0026#34;, string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;permerror\u0026#34;) { ereject \u0026#34;DKIM signature does not verify: the message was changed or forged\u0026#34;; stop; } 未签名的邮件让结果为空，会被放过，因为未签名不是 DKIM 失败；那由 p=reject 的 DMARC 来处理。脚本就位后，被篡改的发票在 DATA 阶段被拒绝：\nB REFUSED (503, b\u0026#39;5.5.3 DKIM signature does not verify: the message was changed or forged\u0026#39;) 同一个脚本还承载着 From: 头规则，因为把头部和登录身份作比较也是 Sieve 的活。两条规则，一个脚本，而且两条都不是你第一反应会去找的那个设置。\n未知发件人检查比看上去要弱 在 Postfix 上，一个不存在的发件人域名会在 MAIL FROM 阶段被拒绝，正文一个字节都还没发，回复是干净的 550 5.1.8 Domain not found。Stalwart 也能做到同样的拒绝，但更晚，也更脆弱。\n这项检查是一个垃圾邮件标签 FROMHOST_NORES_A_OR_MX，当发件人域名既解析不出 A 记录也解析不出 MX 记录时触发。因此拒绝要等整封邮件接收完之后才到来，以垃圾邮件评分拒收的形式：\n550 5.7.1 Message rejected due to excessive spam score. 走了一条更长的路，得到的是正确答案，但有两点要紧。第一，读垃圾邮件过滤器的源码可以看到，这项检查只有在发件人地址通过一个“是否有效”的测试后才运行，而有效的意思是域名位于一个已知的公共后缀之下，所以一个编造出来的顶级域名会完全跳过 A 和 MX 检查。第二，也是会咬人的那一条：这次查询对 DNS 错误和 DNS 不存在区别对待。一个返回 SERVFAIL 而不是干净的“no such name”的域名，不会被打上标签，邮件就被接受了。Postfix 会推迟它。Stalwart 让它进来。这是在恰恰需要安全管控把关的模糊情形上失效放行，也是这个构建中 Stalwart 可以测量到比 Postfix 对应方案更不安全的唯一一处。\n在你改掉之前，IPv6 只是个后备 在本系列里，IPv6 是强制的，双向都是。Stalwart 在两种协议族上监听都毫不费事。外发才是陷阱：出厂的路由先解析 IPv4，所以一个双栈目的地会经 IPv4 到达，IPv6 永远只是后备。在同一个实验室里，Postfix 用的是 IPv6。Stalwart 一直用 v4，直到把路由切换为优先 v6：\n\u0026#34;ipLookupStrategy\u0026#34;: \u0026#34;v6ThenV4\u0026#34; 之后，投递到双栈服务器就走 IPv6 了，日志中到达 v6 地址的记录证实了这一点。这只是一个设置。它也不是默认值，而在 IPv6 强制要求面前，默认值正好反了。\nMTA-STS 会强制执行，但退信太早 Stalwart 会发布它自己的 MTA-STS 策略，这确实是个很贴心的设计，不需要像 Postfix 构建那样另配 nginx 这样的独立 Web 服务器。但它出厂时是 testing 模式，什么都不强制执行，而且它是用邮件主机的证书提供的，而不是与策略主机名匹配的证书，所以在你把两处都修好之前，一次做验证的获取会失败。把模式设为 enforce，并为 mta-sts 主机加载一张证书，策略就会被正确地提供和检查：\nmta-sts.policy-fetch strict = true mta-sts.authorized 发送端也会强制执行，拒绝那些策略里没有列出其 MX 的目的地。但它拒绝的方式不对：一次不匹配在第一次尝试时就是永久失败，邮件被退回。RFC 8461 明确说了不应如此：\nIn all cases, MTAs SHOULD treat such failures as transient errors and retry delivery later.3\nStalwart 确实会在失败前重新获取策略，所以标准里那条硬性规则，也就是先检查有没有新策略，是满足了的。那条较软的 SHOULD，也就是把失败视为临时的并重试，则没有满足。代价是一封被退回的邮件，而在一个通常只是暂时性的失败上，推迟本来会更友善。\n外发 TLS：先强制，能更强的地方再加强 和 Postfix 构建一样，外发一侧把 encrypt 设为底线，并在每个目的地有资格时把它提到底线之上。Stalwart 的 MtaTlsStrategy 为每种机制设定一个级别，内部策略是：\n机制 内部设置 效果 STARTTLS require 对任何人都绝不明文发送 DANE optional 在发布了签名 TLSA 的地方进行认证 MTA-STS optional 在发布了强制策略的地方遵守它 无效证书 关闭 无法验证的证书会让邮件推迟 STARTTLS 上的 require 就是出厂默认值所缺的那条底线：开箱即用时，外发策略在重试时会退而接受无效证书。底线设好之后，一个提供不了可用 TLS 的目的地会被推迟，而不是被降级。\nDANE 在那里，但实验室证明不了它 最强的外发管控 DANE 和其余的一样是内置的，它的外发 TLS 也像应有的那样失效关闭：指向一台证书无法验证的服务器时，Stalwart 拒绝发送并扣下了邮件，而不是明文发出。封闭的实验室做不到的，是展示 DANE 成功，这是一个值得记录下来的真实限制。\nStalwart 只有在能够自己验证 DNS 根密钥时才开启 DANE，而且要通过一个不是普通 UDP 的解析器连接。私有的实验室根提供不了这个，所以它会禁用 DANE，并把一条警告记到一个默认并不存在的路径上。很容易漏掉。更糟的是，对于一个已签名的区域，它随后会把 TLSA 记录报告为“not DNSSEC signed”，而真正的原因是它自己的解析器。这条消息怪错了对象。\nStalwart 恰好为此提供了一个只读的投递诊断：一个跑完整个外发路径、却从不发送邮件的端点。它边跑边逐步流式输出每一步：\nGET /api/live/delivery/\u0026lt;domain\u0026gt;?timeout=20 步骤 它报告什么 MX 查询 邮件服务器，以及查询是否通过验证 MTA-STS 获取到的策略，以及 MX 是否被授权 TLS-RPT 该域名发布的报告地址 TLSA DANE 记录，以及它们是否经过 DNSSEC 签名 Connect、EHLO、STARTTLS 直到 TLS 的会话，以及加密套件 DANE verify、QUIT 证书匹配情况，然后干净地挂断 没有 MAIL FROM，没有 RCPT TO，什么都没投递。要看到这个实验室展示不了的正面情形，就该对一个真实的 DANE 域名运行这项检查。\n证明 DANE 的正面情形，意味着要从一个连着互联网的实例上，对真实发布了 DANE 的域名运行它。这是本系列里封闭实验室唯一做不了的测试，也是实验室能给你展示的东西的诚实边界。\n那么内置更好吗？ 整篇文章一直在绕着转的就是这件事。内置意味着要安装的更少，要接的更少，要跨版本保持一致的更少，而单一进程确有真正的价值：SPF 结果就在那里供 DKIM 检查用，两者又都在那里供 Sieve 脚本用，中间没有套接字。对一个只想运行和更新一样东西的小型部署来说，这确实是个好答案，上面说的没有一条是不用它的理由。\n但本系列里每一个难点，都在搬进一个二进制文件之后幸存了下来。默认值出厂时仍然宽松。规则仍然得找到并开启，而且分散在四种机制里，而不是一种。DKIM 失败拒收仍然需要一个手写的脚本。未知发件人检查遇到 DNS 错误时仍然失效放行。MTA-STS 在该推迟时仍然退信。这些都没有因为代码住在一个进程里而变得更容易。这些是问题本身的属性，不是打包方式的属性。\n把两个构建排在一起，模式一目了然：\nPostfix 构建 Stalwart 要运行的部件 4 个软件包，3 个套接字 1 个二进制文件 配置 main.cf，一个文本文件 一个数据库，通过 API SPF、DKIM、DMARC Rspamd milter 内置 外发 DANE、MTA-STS postfix-tlspol 内置 MTA-STS 发布 单独的 nginx 内置 DKIM 失败拒收 Rspamd 强制动作 一个 Sieve 脚本（内置标签漏掉了它） 未知发件人 在 MAIL FROM 阶段 550 在 DATA 之后 550，遇 SERVFAIL 失效放行 外发 MTA-STS 不匹配 推迟、重试 第一次尝试就退信 外发 IPv6 默认就用 在切换为 v6 优先之前只是后备 出厂默认值 宽松 宽松 这就是诚实的结论，也是 Postfix 那篇从另一条路走到的同一个结论。让邮件安全的，不是二进制文件的数量。是有人决定每一条规则都要紧，找到它住在哪儿，把它打开，再把它本该拦下的那封邮件发一遍，确认它确实拦下了。Stalwart 让你在一个进程里、通过一个整洁的 API 做到这一切。放着不管的话，它也会接受明文会话、伪造的发件人和被改过的发票，和其他一切完全一样。二进制文件只有一个。活儿可不止一件。\nStalwart documentation — 通过 JMAP 管理 API 和 stalwart-cli 进行配置，设置保存在数据存储中而不是文件里。本文使用的版本为 0.16.27。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nmail-auth, the library Stalwart uses for DKIM — 它的 DKIM 验证器把正文哈希不匹配报告为 neutral 结果而不是失败，这就是为什么仅凭失败标签拒收抓不住被篡改的正文。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8461 §5 — SMTP MTA Strict Transport Security：策略验证失败时，“In all cases, MTAs SHOULD treat such failures as transient errors and retry delivery later”，并且在发送方检查是否有更新的策略之前，邮件“MUST NOT be permanently failed”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/email/stalwart-dane-and-the-rest-built-in/","summary":"Stalwart 是装在一个二进制文件里的整套邮件服务器：SMTP、IMAP 和 JMAP，SPF、DKIM、DMARC、ARC、DANE、MTA-STS、TLS 报告、垃圾邮件过滤器和邮件存储，不用接 milter，也不用在旁边跑策略守护进程。本文用与 Postfix 构建相同的内部规则来要求它，并在实验室里抓取每一条回复。规则都能加上，但门道在细节里：设置存放在数据库里而不是文件里；出厂默认值接受明文和被篡改的发票；每条规则落在四种配置机制中不同的一种里；DKIM 失败拒收需要一个 Sieve 脚本，因为内置检查把被篡改的正文报告为 neutral；未知发件人检查要等整封邮件收完才运行，而且遇到 DNS 错误时失效放行；MTA-STS 发送端在第一次尝试时就退信，而标准说应当推迟。内置确实意味着要接的东西更少。但它不等于默认安全。","title":"Stalwart：DANE 及其余一切，全部内置"},{"content":"全屋共用一个密码 WiFi 密码由每一个曾经连上来的东西共享。笔记本、手机、电视、装上之后固件就再没人更新过的门铃摄像头、圣诞节时拿到密码的客人，以及那位客人此后用过的每一部手机。它们全都在同一个网络上。每一个都能和其他每一个说话。\n按通常的办法把它拆开，意味着更多的 SSID。员工一个，IoT 一个，访客一个，各有各的密码和各自的 VLAN。能用。然后某个密码泄露了，你就得拿着新密码挨个去改那个 SSID 上的每一台设备，而这恰恰是永远没人去干的活儿。\n空着的有线端口更糟。连密码都没有。插上就进了那个端口被设成的 VLAN。\n带证书的 802.1X 把这一切倒了过来。每台设备带着自己的证书，在任何一个数据包通过之前先证明自己是什么，然后由网络来决定它去哪里，不是设备，也不是那个发密码的人。一个 SSID。每个交换机端口都一样。笔记本落在员工 VLAN，摄像头落在 IoT VLAN，而你从没签发过证书的设备哪儿也去不了。\n一个共享密码 每个 VLAN 一个 SSID 802.1X，一个 SSID 谁能进来 任何知道密码的人 任何知道那个 SSID 密码的人 只有持有你签发的证书的设备 进哪个 VLAN 全在一个里 取决于连的是哪个 SSID RADIUS 服务器给那台设备说的那个 拦住一台丢失的设备 到处改密码 到处改那个 SSID 的密码 吊销一张证书 有线端口 敞开 敞开 和 WiFi 一样的检查 要广播的 SSID 1 每个 VLAN 一个 1 这就是本文要搭的东西。step-ca 签发证书并把每台设备的角色写进去，FreeRADIUS 对照 CA 及其吊销列表检查每张证书，从中读出角色并回答一个 VLAN，交换机或接入点再把设备放到它被告知的地方。设备用的是 Netgear 或 TP-Link，能用 TLS 的地方就通过 TLS 和 FreeRADIUS 通信。在碰任何真实设备之前，这一切都在这里跑过一遍：CA 和 RADIUS 服务器在容器里，交换机端口和 WiFi 网络在模拟器里。\n四个部分，只有一个说了算 802.1X 定义了三个角色1。请求方（supplicant）是要求加入的设备。认证方（authenticator）是交换机端口或接入点。认证服务器就是 RADIUS。再加上签发证书的 CA，这就是整个系统。\n802.1X 登录中谁做什么 设备 请求方 交换机或 AP 认证方 只转发，不做决定 FreeRADIUS 挑选 VLAN step-ca 证书和 CRL EAP-TLS 端口打开 RadSec VLAN 10 CRL, HTTPS 证书，只签发一次 交换机或 AP 只负责转发。EAP 从设备出发，先装在 EAPOL 里，再装在 RADIUS 里到达 FreeRADIUS，答复带着放在三个属性里的 VLAN 回来。step-ca 从不经手任何一次登录；它事先签好了证书，并发布吊销列表。 交换机和 AP 什么都不决定。它们只转发。在设备通过认证之前，端口只放行 EAP，别的一概不放。认证方把 EAP 包进 RADIUS，发给服务器，然后照答复办事。Access-Accept 打开端口。如果 Accept 带着隧道属性，端口或 WiFi 客户端就进入它们指定的 VLAN。RFC 3580 规定了是哪三个属性，借用自 RADIUS 的隧道属性23：\n属性 值 含义 Tunnel-Type VLAN (13) 这个隧道是一个 VLAN Tunnel-Medium-Type IEEE-802 (6) 在 802 网络上 Tunnel-Private-Group-Id \u0026quot;10\u0026quot; VLAN ID，以字符串发送 所以交换机的品牌没你想的那么重要。决定权在你自己运行的一台机器上。每个支持动态 VLAN 的厂商读的都是同样这三个属性。RFC 说得很明白，VLAN ID 是“encoded as a string”3，所以它带着引号。\n为什么用证书，为什么只用 TLS 1.3 EAP 方法有好几种，实际在用的大多数都是包在 TLS 里的一个密码。对人来说这行得通。对摄像头毫无用处，因为没人在它跟前打字，而一千台摄像头共用一个密码，又回到了 WiFi 密码那一套。\n方法 用什么证明设备 如果设备信任了错误的服务器 拦住一台设备 EAP-TLS 它自己的证书和私钥 服务器得到证书，而证书本来就是公开的 吊销证书 PEAP 加 MS-CHAPv2 用户名和密码 服务器截获一次握手，可以破解回密码 改密码 EAP-TTLS 加 PAP 用户名和密码 服务器直接收到密码本身 改密码 中间那一列就是选 EAP-TLS 的原因。MS-CHAPv2 被攻破已经超过十年了。Microsoft 自己的公告说“an attacker who obtained the MS-CHAP v2 authentication traffic could then use the exploit code to decrypt a user\u0026rsquo;s credentials”4。把它包进 PEAP，只有在每台设备都检查自己在跟谁说话时才起保护作用，而正如设备那一节会展示的，很多设备并不检查。用 EAP-TLS，交换过程中没有任何可偷的秘密。私钥从不离开设备5。没什么可破解的。\nTLS 1.2 把证书广播到空中 基于 TLS 1.2 的 EAP-TLS 有个很容易被忽略的缺陷。设备在加密开始之前就发出了自己的证书。明文发送。任何监听 WiFi 的人都能读到，而本文把设备的角色写进了证书，所以他们连角色也能读到。\n这里实测过，方法是在设备发出的每一条 EAP 消息里搜索设备名和它的角色：\n运行 TLS 设备名明文可见 角色 OU=staff 明文可见 身份 laptop1 1.2 是 是 身份 laptop1 1.3 是，在身份字段里 否 身份 anonymous 1.3 否 否 TLS 1.3 解决了这个问题。RFC 9190 说，在 TLS 1.3 下“the use of privacy is mandatory and does not cause any additional round trips”6。外层身份仍然是明文，所以它也不该写设备名。RFC 建议用匿名身份6。这里哪儿都不需要真实身份，因为 FreeRADIUS 从证书里读出设备是谁。外层写 anonymous，最后一行就是窃听者能拿到的东西：啥也没有。\n所以这套搭建只跑 TLS 1.3。FreeRADIUS 两头都钉死在它上面。不会说 TLS 1.3 的设备上不了网。这有代价，代价在设备那一节里算清楚了，没有藏起来。FreeRADIUS 自己的配置至今还在用大写字母告诉你把上限设成 1.2，因为“most EAP supplicants WILL NOT DO TLS 1.3 PROPERLY”7。该夸的要夸：那份配置是本文涉及的所有文档里最诚实的，下面几乎每一个陷阱，只要你读注释，都能在里面某处找到。在一个由你挑选设备的网络上，这正是挑更好设备的理由。\n把角色写进证书 VLAN 由设备是什么来决定，而这件事写在证书里。step-ca 可以用模板把它写进去，和客户端证书那篇文章写 CRL 分发点用的是同一套机制。CA 本身怎么起，见 step-ca in a container，本文从那里接着往下，CA 的名字叫 Home Network CA。\n每张设备证书的角色放在其主题的组织单位（OU）里。模板从请求中取出角色，不在名单上的一律拒绝8：\n{{- $roles := list \u0026#34;staff\u0026#34; \u0026#34;iot\u0026#34; \u0026#34;media\u0026#34; }} {{- if not (has .Insecure.User.role $roles) }} {{- fail \u0026#34;role must be one of staff, iot or media\u0026#34; }} {{- end }} { \u0026#34;subject\u0026#34;: { \u0026#34;commonName\u0026#34;: {{ toJson .Subject.CommonName }}, \u0026#34;organizationalUnit\u0026#34;: {{ toJson .Insecure.User.role }} }, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } 给它一个专用的 provisioner，这样设备证书永远不会出自通用的 admin，它能签的最长证书是一年：\nstep ca provisioner add network --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template templates/device.tpl --x509-template 是把模板复制进 ca.json，而不是指向那个文件，所以之后再改 device.tpl 什么都不会变，直到你再跑一次 step ca provisioner update network --x509-template templates/device.tpl。然后给每台设备签发带角色的证书：\nstep ca certificate laptop1 laptop1.crt laptop1.key \\ --provisioner network --not-after 8760h --set role=staff $ openssl x509 -in laptop1.crt -noout -subject -ext extendedKeyUsage subject=OU=staff, CN=laptop1 X509v3 Extended Key Usage: TLS Web Client Authentication 没有角色或者角色不认识，什么都拿不到：\n$ step ca certificate norole norole.crt norole.key --provisioner network The request could not be completed: role must be one of staff, iot or media. .Insecure.User 之所以叫不安全，是因为它就是请求方发来的任何东西。在这里没问题。network provisioner 有密码，只有你持有，而任何能用它签名的人本来就能做出任何他想要的证书，所以他自己填进去的角色不会给他多出任何东西。\nRADIUS 服务器也需要一张证书，好让设备能检查自己在跟谁说话。它和其他服务器证书一样出自 admin provisioner，寿命是默认的 24 小时，由 step ca renew --daemon 续期，就像 step-ca 那篇文章对任何不能用 ACME 的服务所做的那样。设备检查的是名字和 CA，不是序列号。每天续期一次对它们没有任何影响。\n证书 Provisioner 有效期 扩展密钥用途 携带 radius.home.example admin 24 小时，每天续期 服务器和客户端 设备检查的那个名字 laptop1 network 1 年 仅客户端 OU=staff cam1 network 1 年 仅客户端 OU=iot tv1 network 1 年 仅客户端 OU=media switch1、ap1 nas 1 年 仅客户端 OU=nas，用于 RadSec；见下文 FreeRADIUS：决定 VLAN FreeRADIUS 3.2.10，用的是该项目自己的容器镜像。三段配置干活：EAP 模块，一个挑选 VLAN 的策略，以及一份例外清单。\nEAP 模块 只要 EAP-TLS，只要 TLS 1.3，每次登录都检查 CRL：\neap { default_eap_type = tls tls-config tls-common { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt check_crl = yes ca_path_reload_interval = 300 tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; } tls { tls = tls-common } } 文件 内容 radius.crt 服务器证书，后接 step-ca 的中间证书，就是 step ca certificate 写出来的样子 radius.key 它的私钥；和这里的所有东西一样，必须让 freerad 用户可读，否则 FreeRADIUS 起不来 ca/ 根证书、中间证书和中间证书的 CRL，用 openssl rehash ca/ 做过哈希 中间那一行让这里第一次启动失败了，不过不是因为密钥：根证书报 Permission denied，因为从 CA 拿出来的每个文件都只有属主可读。FreeRADIUS 以 freerad 身份运行，所以这三样都必须让它可读。\ncheck_crl = yes 用中间证书的 CRL 检查设备证书。它不检查中间证书本身，所以不像客户端证书那篇文章里的 nginx，FreeRADIUS 不需要根 CRL。想要的话，check_all_crl 可以打开它7。ca_path_reload_interval 比看上去重要得多，下面单独有一节讲它。\n策略 这个 CA 签过的每一张证书都能通过 TLS 检查。包括那些通过 ACME 拿到证书的 Web 服务器。所以策略把不是为这件事做的证书统统扔出去：没有客户端认证用途，或者没有角色，就拒绝。\nFreeRADIUS 如何挑选 VLAN TLS 1.3 握手，CRL 有客户端认证用途？ 在设备清单上？ 证书里有角色？ 没有角色：拒绝 拒绝 清单优先：cam1，VLAN 99 staff, 10 iot, 20 media, 30 是 no 无 no 是 先问按设备的清单，它有答案就以它为准。否则由证书里的角色挑选 VLAN。两者都没有的证书被拒绝，正是这一点挡住了 CA 的 Web 服务器证书上网。 vlan_by_certificate { if (\u0026amp;TLS-Client-Cert-X509v3-Extended-Key-Usage-OID !~ /1\\.3\\.6\\.1\\.5\\.5\\.7\\.3\\.2/) { reject } device_vlan if (!\u0026amp;reply:Tunnel-Private-Group-Id) { if (\u0026amp;TLS-Client-Cert-Subject =~ /\\/OU=([^\\/]+)/) { switch \u0026#34;%{1}\u0026#34; { case \u0026#34;staff\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;10\u0026#34; } } case \u0026#34;iot\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;20\u0026#34; } } case \u0026#34;media\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;30\u0026#34; } } case { reject } } } else { reject } } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } 这段放进 policy.d/vlan，再把一行 vlan_by_certificate 放到 sites-available/default 里 post-auth 段的最上面。post-auth 是 TLS 握手结束后、证书细节可以拿到的地方9。\n例外清单 大多数设备由角色决定。不是全部。这份清单是给少数不该由角色决定的设备用的：一台开始行为异常、在你查明原因之前想先隔离起来的摄像头，或者一台借出去一周的设备。它是一个 passwd 模块，读一个两列的文件，以证书的通用名（CN）为键：\npasswd device_vlan { filename = ${modconfdir}/device_vlan/devices format = \u0026#34;*TLS-Client-Cert-Common-Name:=Tunnel-Private-Group-Id\u0026#34; delimiter = \u0026#34;,\u0026#34; } # certificate CN,VLAN cam1,99 属性前面的 = 把它放进回复，而不是检查项10。挪动一台设备只是改文本文件里的一行，不用重签证书，也不用碰设备。\nVLAN 角色 里面放什么 10 staff 你信任的笔记本和手机 20 iot 摄像头、传感器，任何会往外打电话回家的东西 30 media 电视和流媒体盒子 99 仅限清单 隔离区：最多给上互联网，本地一概不通 碰交换机之前先证明它能用 eapol_test 随 wpa_supplicant 一起提供，它同时扮演设备和交换机，直接和 RADIUS 服务器对话。先用它。以后有东西不工作时，你就知道该看哪一半。\nnetwork={ key_mgmt=WPA-EAP eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } eapol_test -c laptop1.conf -a 192.0.2.10 -s \u0026lt;shared secret\u0026gt; 答复，来自 FreeRADIUS 自己的调试日志：\n(8) Sent Access-Accept (8) Tunnel-Private-Group-Id = \u0026#34;10\u0026#34; (8) Tunnel-Type = VLAN (8) Tunnel-Medium-Type = IEEE-802 设备 证书里的角色 在清单上 答复 VLAN laptop1 staff 否 Accept 10 cam1 iot 99 Accept 99 tv1 media 否 Accept 30 laptop2 staff，已吊销 否 Reject，certificate revoked 无 radius.home.example 无 否 Reject，没有角色 无 laptop1，没打开 TLS 1.3 staff 否 Reject，protocol version 无 最后一行值得在上线之前知道。wpa_supplicant 2.11 发布时 EAP 的 TLS 1.3 仍是关闭的，描述为“experimental - disabled by default”11。漏掉 phase1 那一行，一台完全没问题的笔记本就会被拒之门外。\n模拟一个交换机端口 eapol_test 跳过了交换机。要看交换机那一半，hostapd 有一个有线驱动，能把一个 Linux 接口变成 802.1X 端口。一根虚拟网线把它连到扮演笔记本的 wpa_supplicant，它指向同一个 FreeRADIUS。\ninterface=port1 driver=wired ieee8021x=1 use_pae_group_addr=1 auth_server_addr=192.0.2.10 auth_server_port=1812 auth_server_shared_secret=\u0026lt;shared secret\u0026gt; 端口眼中的一台正常笔记本和一台已吊销的笔记本：\nport1: CTRL-EVENT-EAP-SUCCESS2 4a:42:cf:cf:09:5a port1: AP-STA-CONNECTED 4a:42:cf:cf:09:5a port1: STA 4a:42:cf:cf:09:5a IEEE 802.1X: authorizing port port1: CTRL-EVENT-EAP-FAILURE2 de:d8:8c:88:6e:f2 port1: IEEE 802.1X: Force disconnection of de:d8:8c:88:6e:f2 after EAP-Failure in 10 ms 打开它的动态 VLAN 处理，它会报告分到的 VLAN，笔记本是 vlan=10，被隔离的摄像头是 vlan=99，然后说它 could not add dynamic VLAN interface。这是一个 Linux 端口在说实话：它能开能关，但没法把自己挪到某个 VLAN 上。网管交换机在硬件里干这部分活，下面厂商的设置讲的就是这一半。\n吊销：FreeRADIUS 收到 HUP 时无视的 CRL 丢了一台笔记本，正是这一切存在的理由。在 CA 上吊销它。admin provisioner 为那个序列号签一个吊销令牌，这不需要笔记本的私钥，因为你手里不会有那台笔记本：\nSERIAL=$(step certificate inspect laptop2.crt --format json | jq -r .serial_number) TOKEN=$(step ca token \u0026#34;$SERIAL\u0026#34; --revoke --provisioner admin) step ca revoke \u0026#34;$SERIAL\u0026#34; --token \u0026#34;$TOKEN\u0026#34; --reason \u0026#34;laptop lost\u0026#34; Certificate with Serial Number 306546036599704679037436836531698019860 has been revoked. 打开 generateOnRevoke 时，step-ca 会立即重建它的 CRL，设置方法见客户端证书那篇文章。把它复制进 FreeRADIUS 的 ca/ 目录，笔记本就出局了。可实际上并没有。它大摇大摆又连了回来。\n新 CRL 落盘之后做了什么 已吊销的笔记本 什么都没做 照样连上 kill -HUP 照样连上。日志说 HUP - No files changed. Ignoring 等过了 ca_path_reload_interval 被拒，certificate revoked 重启 FreeRADIUS 被拒，certificate revoked HUP 重新加载的是配置文件，而 ca_path 里的 CRL 不算配置文件，所以 FreeRADIUS 查了一遍它的配置文件列表，发现都没变，就继续用内存里的旧 CRL。真正能让它读到新 CRL 的是 ca_path_reload_interval。默认配置里它是关着的。把它设到 300 秒以下，FreeRADIUS 启动时会推翻你的设置：\nca_path_reload_interval is set too low, reset it to 300 那就 300。新 CRL 落盘后五分钟内吊销生效。用定时器去拉取它，就像客户端证书那篇文章已经为 nginx 做的那样，只是放到这个目录里。如果对你刚丢的那台设备来说五分钟太长，就重启 FreeRADIUS。\nCRL 也能一下子把所有人都关在门外。所以两个方向都要看。下面两种情况都是用正常证书测出来的：\nCRL 状态 FreeRADIUS 说什么 谁能连上 有效 什么都不说 每一台正常设备 ca/ 里没有 error 3 : unable to get certificate CRL 没人 过了下次更新时间 error 12 : CRL has expired 没人 step-ca 的 CRL 默认有效 24 小时。如果拉取它的定时器停了，网络上的每台设备第二天全部失败。allow_expired_crl 就是为了缓和这一点而存在的7。别用它。一个因为名单过期就放所有人进来的网络已经什么都不检查了，因此正确的修法是盯住定时器，而不是把检查关掉。\nRADIUS 至今仍是 MD5 加一个共享密钥 到目前为止的一切保护的是设备和 FreeRADIUS 之间的对话。EAP-TLS 端到端运行，中间的交换机或 AP 读不到它。承载它的 RADIUS 数据包则是另一回事。\n经典 RADIUS 是 UDP 加一个共享密钥，而这个密钥是通过 MD5 使用的。要是数据包里没装什么值钱的东西，这还没那么要紧，可 WiFi 客户端的 Access-Accept 里装着那个客户端流量的密钥。MS-MPPE-Recv-Key 和 MS-MPPE-Send-Key 是 AP 用来加密那个客户端流量的主密钥，而 RFC 2548 用 b(1) = MD5(S + R + A) 加一次 XOR 来保护它们，其中 S 就是共享密钥12。这里面没有前向保密。今天抓下 RADIUS 流量，明年从某个配置备份或某台交换机的运行配置里拿到密钥，抓到的每个密钥就都能解开，连同它们保护的 WiFi 流量。\n所以问题不在于密钥够不够长。问题在于，无线网络的钥匙凭什么要在 MD5 的保护下走在线上。它们根本不必如此。\n威胁 基于 UDP 的普通 RADIUS 强制 Message-Authenticator RadSec，TLS 1.3，双向证书 伪造 Access-Accept（BlastRADIUS） 在不带 EAP 的请求上可行，MAB 也在其中 被挡住 被挡住 从抓包里读出 WiFi 密钥 任何一个曾经得知密钥的人 一样 需要 TLS 会话密钥，而它们从不落盘 管理网络上冒充交换机的一台机器 只需要密钥 一样 需要一张带 nas 角色的证书，且来自已知地址 谁能看到哪台设备登录了 路径上的任何人 一样 没人 BlastRADIUS，以及挡住它的那一行 BlastRADIUS，即 CVE-2024-3596，让处在交换机和服务器之间路径上的攻击者，通过攻击给响应签名的 MD5，把一个拒绝变成接受13。修复办法是在每个请求和每个响应上都带 Message-Authenticator 属性13。RFC 3579 一直要求所有承载 EAP 的报文都带它14，所以 EAP-TLS 从来不是软肋。MAB 才是，因为 MAC 地址检查不带 EAP，而很多交换机发它时就不带这个属性。\nFreeRADIUS 3.2.10 开箱即强制要求它，radiusd.conf 里是 require_message_authenticator = yes。这里用一个手工构造的 MAB 请求测过：\n请求 答复 没有 Message-Authenticator 不回复。日志记为 Packet does not contain required Message-Authenticator attribute 带 Message-Authenticator 有答复，对未知 MAC 回 Access-Reject 那个设置别动。配置里警告说，把它和 limit_proxy_state 都设成 no“will allow MITM attackers to create fake Access-Accept packets to the NAS”15。\n这堵上了伪造。对密钥却毫无作用。\nRadSec：装进 TLS 1.3 的 RADIUS 能用上的最高标准是 RadSec，也就是两端各有一张证书、承载在 TLS 上的 RADIUS16。交换机或 AP 用证书证明自己是谁，FreeRADIUS 用它自己的证书证明自己是谁，整段 RADIUS 对话，连同密钥，都放在带前向保密的 TLS 1.3 里。IETF 正在把它推上标准轨道；将要取代 2012 年那份实验性 RFC 的草案“Has enough positions to pass”17。\n交换机和 AP 也和其他东西一样从 step-ca 拿证书，出自第三个 provisioner，它的模板只写 OU=nas，别的什么都不写。这意味着设备证书没法拿来冒充交换机，而交换机证书不带任何 VLAN 策略认得的角色，也没法拿来上网。\nlisten { ipaddr = * port = 2083 type = auth proto = tcp virtual_server = default clients = radsec tls { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt require_client_cert = yes check_crl = yes ca_path_reload_interval = 300 verify { tmpdir = ${run_dir} client = \u0026#34;${raddbdir}/nas-only.sh %{TLS-Client-Cert-Filename}\u0026#34; } tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; } } clients radsec { client switch1 { ipaddr = 192.0.2.21 proto = tls secret = radsec } } #!/bin/sh # Accept a RadSec client certificate only if step-ca issued it with the nas role. openssl x509 -in \u0026#34;$1\u0026#34; -noout -subject -nameopt compat | grep -q \u0026#39;/OU=nas/\u0026#39; 密钥真的就是 radsec 这个词。说真的。在 TLS 上它什么作用都没有，FreeRADIUS 自己的示例就说“TLS clients MUST have the shared secret set to \u0026ldquo;radsec\u0026rdquo;”18。有两件看起来顺理成章的事行不通，都是吃了亏才发现的。check_cert_cn = %{client:shortname} 在握手时展开为空，于是每台交换机都被拒绝，报 Certificate CN (switch1) does not match specified value ()；所以才有那个 verify 脚本。还有，在 freeradius -X 下监听器起不来，因为它关掉了线程：Threading must be enabled for TLS sockets to function properly。改用 freeradius -fxx -l stdout 来调试。\n保护到 FreeRADIUS 的每一跳 FreeRADIUS 端口 2083 只认 OU=nas Omada, hostapd 内置 RadSec RadSec, TLS 1.3 Netgear 只有 UDP radsecproxy 同一管理 VLAN UDP + Msg-Auth RadSec step-ca 签发所有证书 CRL 走 HTTPS，钉住根证书 每一跳在哪里受保护。会说 RadSec 的设备通过 TLS 1.3 直连 FreeRADIUS。只会说 UDP 的设备和同一管理 VLAN 上的 radsecproxy 对话，只有那一小段是普通 RADIUS。CRL 通过钉住根证书的 HTTPS 从 step-ca 取得。 前面那个模拟交换机端口，改成用 RadSec 重建，跑同样的测试：\n交换机出示 来自 结果 switch1，OU=nas 它登记的地址 TLS 1.3 建立；laptop1 获准进入 VLAN 10，已吊销的 laptop2 被拒 laptop1 的证书 交换机的地址 在握手中被拒；verify 脚本返回 1 switch1，OU=nas 一个未登记的地址 Ignoring request … from unknown client 哪些设备能做到 认证方 RadSec 备注 hostapd 2.11 能，前提是编译时带上 CONFIG_RADIUS_TLS=y 在它的 defconfig 里是注释掉的19。Alpine 的软件包没开它，会拒绝这份配置：unsupported RADIUS type 'TLS'。带上它编译后，一次就成 TP-Link Omada AP 和交换机 从 Controller 6.1 起，需当前固件 “Added support for RadSec (RADIUS over TLS) to secure SSID, MAC-Based, and 802.1X authentications on both APs and Switches”20 TP-Link Omada RADIUS 代理 不能 控制器自带的代理“does not support the RadSec feature”21 Netgear M4250 和 M4350 没有文档 CLI 手册对 RadSec 只字未提，还给共享密钥设了上限：“The secret must be an alphanumeric value not exceeding 16 characters”22 Netgear WAX 和 WBE AP 没有文档 手册把 RADIUS 端口描述为 UDP，默认密钥是 sharedsecret23 我能问一句吗：一台在 2026 年作为全网管卖的交换机，为什么不能通过 TLS 和它的 RADIUS 服务器说话？我问的不是谁拍的板。我问的是流程里有什么东西让它就这么出了货，而 TP-Link 的控制器、hostapd 和一个免费的代理全都能做到。16 个随机字母数字字符大约是 95 位，被破解的不会是它。问题在于这是唯一提供的保护：没有 TLS 选项，一套 1999 年的 MD5 方案守着 WiFi 密钥，还有一台出厂就把密钥设成 sharedsecret 这个词的 AP。在 Netgear 的设备上，radsecproxy 不是可选项。\nradsecproxy，给只会说 UDP 的设备 交换机或 AP 做不了 RadSec 的地方，就在它旁边放一个 radsecproxy。它接收 UDP RADIUS，发出 RadSec24，这样明文的那一跳只是交换机和代理之间几米长的管理 VLAN，而不是到服务器的整条路径：\nListenUDP *:1812 tls stepca { CACertificateFile /etc/radsecproxy/root_ca.crt CertificateFile /etc/radsecproxy/radsecproxy.crt CertificateKeyFile /etc/radsecproxy/radsecproxy.key TlsVersion TLS1_3 } client switches { host 192.0.2.32/27 type udp secret \u0026lt;long random secret\u0026gt; RequireMessageAuthenticator on } server freeradius { host radius.home.example port 2083 type tls tls stepca secret radsec certificateNameCheck on } realm * { server freeradius } 用名字。别用地址。写成 host 10.89.0.100 时代理拒绝了服务器，拒得对：No subjectaltname matching address 10.89.0.100。用名字它就以 TLSv1.3 with cipher TLS_AES_256_GCM_SHA384 建立起来，同样的设备经由它得到同样的答复：laptop1 进 VLAN 10，cam1 进 99，tv1 进 30，laptop2 被拒。一个不带 Message-Authenticator 的请求停在了代理那里：ignoring request from client switches … missing required message-authenticator。\n让那一段 UDP 老老实实。要短，要圈起来。交换机的管理地址和代理放在一个任何客户端 VLAN 都路由不过去的管理 VLAN 上，并且防火墙也是这么规定的。\nCRL 的拉取也一样 CRL 是签了名的，所以没人能伪造。但他们可以重放一份仍在有效期内的旧 CRL，从而藏起此后做出的一次吊销。要通过钉住 step-ca 自己根证书的 HTTPS 去拉取，而不是用普通 HTTP：\ncurl -fsS --cacert /etc/freeradius/certs/eaptls/ca/root_ca.crt --tlsv1.3 \\ -o /tmp/crl.der https://ca.home.example:9000/1.0/crl 换成任何别的根证书，同样的命令都会以 curl 的退出码 60 失败，FreeRADIUS 则保留它手上的那份名单。\n往哪里去 RFC 9765，即 RADIUS/1.1，在 RADIUS 跑在 TLS 上时把 MD5 彻底拿掉：“the RADIUS shared secret is no longer used, and all MD5-based packet authentication and attribute obfuscation methods are removed”25。它是实验性的。FreeRADIUS 3.2 把它放在一个编译选项 --with-radiusv11 后面，“for testing interoperability”26，而官方的 3.2.10 镜像没有带它编译；二进制里没有这个选项。带 TLS 1.3 的 RadSec 是你今天能部署的最高标准，RADIUS/1.1 是它的下一步。\n交换机：Netgear 和 TP-Link 每台值得买的网管交换机都支持带动态 VLAN 的 802.1X，不管铭牌上写的是什么，设置归结起来都是同样五件事。这两家的区别在细节上，而 TP-Link 那边有一个细节会改变你给一张办公桌布线的方式。\n设置 Netgear M4250 和 M4350 TP-Link Omada 交换机 RADIUS 服务器 Security \u0026gt; Management Security \u0026gt; RADIUS \u0026gt; Server Configuration27 Omada 控制器里的一个 RADIUS Profile28 打开 802.1X Security \u0026gt; Port Authentication \u0026gt; Basic \u0026gt; 802.1X Configuration：Dot1x Admin Mode、Authentication Admin Mode27 Authentication \u0026gt; 802.1X，Authentication Type 选“Port Based”28 由 RADIUS 分配 VLAN VLAN Assignment Mode，“The default is Disable”27 “enable \u0026lsquo;VLAN Assignment\u0026rsquo;”28 VLAN 不存在时 不会创建，除非打开 Dynamic VLAN Creation Mode，它默认也是关的27 “the switch will create the related VLAN automatically”29 接入端口 Control Mode 设为 Auto 802.1X Control mode 设为 Auto28 上联口、RADIUS 服务器的端口、AP 端口 Force Authorized 不开 802.1X：“Keep 802.1X authentication disabled on ports connected to the authentication server, the internet and the management computer”29 无论哪家，都先在交换机上建好 VLAN。一个因为某次登录凭空变出来的 VLAN，是一个没人配置过、也没人给它加过防火墙规则的 VLAN。\nTP-Link 上一个端口一个 VLAN TP-Link 自己的指南说“VLAN Assignment takes effect only when the control type is Port Based”29。基于端口意味着第一台通过认证的设备为整个端口设定 VLAN。在那个端口上接一台桌面交换机，或者一部后面串着 PC 的电话，第二台设备就搭着第一台的 VLAN 进来了，从头到尾没人问它要过证书。在员工端口上，这就意味着插在那部电话背后的任何东西都进了员工网。\n所以在 TP-Link 上：每个接入端口一台设备。墙上的网口和设备之间什么都不要接。Netgear 的基于 MAC 的模式会对一个端口上的每台设备分别认证；GS710TUP 手册说它允许“multiple supplicants connected to the same port”30。\nMAB，给那台这些都不会的打印机 有些设备根本没有 802.1X 客户端。MAC 认证旁路（MAB）让交换机把设备的 MAC 地址作为用户名和密码一起发给 RADIUS，两家厂商都支持在同一端口上和 802.1X 一起用。Netgear 先试 802.1X，不行再回退：“if a client tries 802.1X authentication… and authentication fails, the interface proceeds with MAB authentication”27。TP-Link 发送的 MAC 格式是“12 hexadecimal digits, all lowercase and no punctuation”29。\nMAC 地址不是身份。任何人都能用一条命令把自己的网卡设成打印机的 MAC，用的是他自己带进来的笔记本，人就站在那台刚被他借走网线的打印机旁边。所以 MAB 有它自己的一份清单，而策略最多只会给它 IoT VLAN 或隔离区：\nmab { if (!\u0026amp;EAP-Message \u0026amp;\u0026amp; \u0026amp;User-Name =~ /^[0-9a-f]{12}$/ \u0026amp;\u0026amp; \u0026amp;User-Password == \u0026amp;User-Name) { mab_vlan if (ok \u0026amp;\u0026amp; \u0026amp;reply:Tunnel-Private-Group-Id =~ /^(20|99)$/) { update control { \u0026amp;Auth-Type := Accept } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } else { reject } } } 这段放在 authorize 的最前面，配一个叫 mab_vlan 的 passwd 模块，读 mac,vlan 格式的行，和设备清单一模一样。证书策略用 if (\u0026amp;EAP-Message) 包起来，这样它就不碰 MAB。测试结果：\nMAB 请求 清单条目 答复 aabbccddeeff 20 Accept，VLAN 20 112233445566 无 Reject ccddeeff0011 10，员工 VLAN Reject。不管清单怎么写，策略都不会把一个 MAC 放进员工网 冒充打印机的人拿到的是打印机的 VLAN，仅此而已。一个 MAC 地址最多就只该值这么多。\n上面的 Omada 交换机设置还对照一个模拟的 Omada Software Controller 6.2.14.11 检查过，它跑在一个背后没有任何硬件的容器里。它的英文界面字符串里点到了这里用到的每一个设置：RadSec 选项，即“a TLS-encrypted transmission tunnel will be established between the client and the RADIUS server”，“Enable VLAN Assignment for Wireless Network”，“Require Message-Authenticator”，“Limit Proxy-State”，以及 RadSec 用的客户端证书和私钥导入。控制器只负责配置，不转发流量，所以这只证明这些设置在那个版本里存在，别的什么都证明不了。Netgear 没有对应的东西可跑，所以它那一列来自 Netgear 自己的手册，没在这里测过。\n接入点：一个 SSID，所有 VLAN 接入点是单一 SSID 见回报的地方。一个 WPA-Enterprise 网络，每个客户端被放进 RADIUS 为它指定的 VLAN。AP 给那个客户端的流量打上它的 VLAN 标签，顺着网线送上去，所以给 AP 供网的那个交换机端口必须带标签承载 RADIUS 可能分配的每一个 VLAN。漏掉一个，设备认证得好好的，却永远拿不到地址。\n模拟一个 SSID 在相信任何一家厂商的说法之前，整套东西先在模拟的无线电上跑了一遍。Linux 的 mac80211_hwsim 能造出真正跑 WPA-Enterprise 的虚拟 WiFi 网卡。这台机器的内核没带这个模块，所以测试在一个小小的 KVM 虚拟机里启动了同一个内核，从 Fedora 自己签名的软件包里加载它，用 hostapd 2.11 做接入点，三个 wpa_supplicant 站点各在自己的网络命名空间里31：\ninterface=wlan0 driver=nl80211 ssid=Home ieee8021x=1 wpa=2 wpa_key_mgmt=WPA-EAP rsn_pairwise=CCMP ieee80211w=1 auth_server_addr=192.0.2.10 auth_server_port=1812 auth_server_shared_secret=\u0026lt;shared secret\u0026gt; dynamic_vlan=2 vlan_tagged_interface=trunk0 vlan_bridge=brvlan dynamic_vlan=2 的意思是“必需”：答复里不带 VLAN 的登录会被拒绝，而不是扔到某个默认 VLAN 上。每个站点都以 anonymous 通过 TLS 1.3 登录，AP 自己的日志显示了 RADIUS 告诉它的内容：\nwlan0: STA 02:00:00:00:01:00 RADIUS: VLAN ID 10 wlan0: STA 02:00:00:00:02:00 RADIUS: VLAN ID 99 wlan0: STA 02:00:00:00:03:00 RADIUS: VLAN ID 30 WPA: group state machine entering state GTK_INIT (VLAN-ID 10) WPA: group state machine entering state GTK_INIT (VLAN-ID 30) WPA: group state machine entering state GTK_INIT (VLAN-ID 99) 一个 SSID，三个 VLAN laptop1 OU=staff cam1 在清单上 tv1 OU=media 接入点 SSID \"Home\" VLAN 10，密钥 A VLAN 99，密钥 B VLAN 30，密钥 C 交换机 trunk 端口 10、30、99 带标签 一根网线 一个 SSID，三台设备，三个 VLAN。AP 把每个客户端放到它自己的 VLAN 接口上，配各自的组密钥，三者都经由一条带标签的 trunk 送上去。给 AP 供网的交换机端口必须承载 RADIUS 可能指定的每一个 VLAN。 站点 证书 VLAN 网桥 它自己的网关 电视的 VLAN laptop1 OU=staff 10 brvlan10 可达 无响应 cam1 OU=iot，在清单上 99 brvlan99 可达 tv1 OU=media 30 brvlan30 可达 组密钥那几行是大家容易漏看的部分。WiFi 上的广播和组播帧用一个全网共享的组密钥加密，如果三个 VLAN 共用一个，那么不管交换机怎么想，摄像头都能从空中读到笔记本的广播。hostapd 为每个 VLAN 保留一个独立的组密钥，日志显示它为每个 VLAN 各启动了一个。同样的测试改用 WPA3-Enterprise，即强制管理帧保护的 WPA-EAP-SHA256，得到的是同样三个 VLAN 和同样三个组密钥。\n设置 Netgear WAX 和 WBE TP-Link Omada EAP 安全 WPA2 Enterprise 或 WPA3 Enterprise WPA2-Enterprise 或 WPA3-Enterprise，包括一个只用 CCMP-128 的模式 由 RADIUS 分配 VLAN Dynamic VLAN，Enable23 “Enable VLAN Assignment for Wireless Network”28 答复里没有 VLAN 客户端进入该 SSID 自己的 VLAN23 没有文档；这里的 FreeRADIUS 从不发不带 VLAN 的 Accept RADIUS 传输 只有 UDP，所以要 radsecproxy 从 Controller 6.1 起、配当前固件可用 RadSec20 Netgear 有两个细节，最好在被它们咬到之前就知道。RADIUS 服务器没给 VLAN 的客户端会被“automatically assigned the VLAN ID that you configured for the SSID”23，所以把 SSID 自己的 VLAN 设成隔离区，而不是员工网；这里的 FreeRADIUS 总会发一个 VLAN，但回退路径无论如何都应该默认关闭。还有，动态 VLAN“is mutually exclusive with a captive portal, NAT mode, wireless client isolation, and a multicast DNS (mDNS) gateway”23，所以同一个 SSID 上就别想再挂访客门户了。\nWAX620 上的 WPA3-Enterprise 是 192 位模式：“the encryption is automatically set to GCMP256”32，并且强制管理帧保护。做不了 GCMP-256 的客户端连不上它。切换之前先拿你最老的设备试一试，和 TLS 1.3 一样。\n设备，以及人人都跳过的那项检查 每台设备需要三样东西：它自己的证书和私钥，根证书，以及它应该预期的 RADIUS 服务器的名字。大多数指南讲了前两样。第三样漏掉了，照样能用，问题恰恰就在这里。\n第三样是让设备不至于信任错误服务器的东西。这里搭了两次假 RADIUS 服务器：一次用同一个 CA 签发给 ha.home.example 的完全有效的证书，一次用自签名证书。一台笔记本用三种不同的客户端设置分别指向它们：\n客户端检查 真服务器 同一 CA，别的名字 自签名 CA 和服务器名 连上 被拒，Domain mismatch 被拒 只查 CA 连上 连上 被拒 什么都不查 连上 连上 连上 看中间那一行。你的 CA 给家里的每一台 Web 服务器都签了证书。只检查 CA 的设备会把其中任何一台当成它的 RADIUS 服务器来信任，所以任何人只要拿到其中一把私钥，不管是从一台被遗忘的测试机，还是从一台没人打补丁的 Web 服务器，就能架起一个用你的 SSID 的接入点，而你的设备会一声不吭地连上去。用 EAP-TLS，它们交不出密码，但它们已经在攻击者的网络上，并且信任它。TLS 1.3 改变不了这一点；在 1.3 下测出来还是同样三行。只有名字检查能改变它。\nAndroid 先走了这一步。“Do not validate”选项被移除了，理由是“for security reasons”33，不过它也注明“saved enterprise configurations that are set up to turn off server certificate validation aren\u0026rsquo;t affected”33。一部老手机可能还带着这么一份配置。\nLinux（NetworkManager） macOS、iOS、iPadOS Android 证书和私钥 802-1x.client-cert、802-1x.private-key 配置描述文件里的 Identity 载荷 作为 Wi-Fi 证书安装 根证书 802-1x.ca-cert Certificate 载荷，通过 PayloadCertificateAnchorUUID 信任34 CA 证书字段 服务器名 802-1x.domain-match35 TLSTrustedServerNames34 域名字段；API 里是 setDomainSuffixMatch36 TLS 1.3 802-1x.phase1-auth-flags tls-1-3-enable TLSMinimumVersion 和 TLSMaximumVersion 设为 \u0026quot;1.3\u0026quot;；最大值默认是 \u0026quot;1.2\u0026quot;34 setMinimumTlsVersion(TLS_V1_3)，从 API level 34 起，前提是设备支持36 在 Linux 上整件事就是一条命令。它用 nmcli --offline 检查过，这会打印出它将要建立的连接，而不碰正在运行的系统：\nnmcli connection add type wifi con-name Home ifname \u0026#39;*\u0026#39; ssid Home \\ wifi-sec.key-mgmt wpa-eap 802-1x.eap tls 802-1x.identity anonymous \\ 802-1x.ca-cert /etc/pki/home/root_ca.crt \\ 802-1x.domain-match radius.home.example \\ 802-1x.client-cert /etc/pki/home/laptop1.crt \\ 802-1x.private-key /etc/pki/home/laptop1.key \\ 802-1x.private-key-password-flags not-required \\ 802-1x.phase1-auth-flags tls-1-3-enable 有线端口也一样，换成 type ethernet，不要 SSID。Apple 那边的陷阱是 TLS 最高版本默认为 1.2：漏掉这一项的描述文件会配出一台被这个网络拒之门外的 Mac。\n只用 TLS 1.3 的代价 这套搭建实打实的局限，在于做不到它的设备。一台带着多年前嵌入式请求方的摄像头或电视，可能能跑基于 1.2 的 EAP-TLS，却永远跑不了 1.3，而你这边没有任何设置能修好这一点。TLS 版本是在 FreeRADIUS 看到证书之前就协商好的，所以它没法为 IoT 角色网开一面。\n所以买之前先测每台设备。不是买之后。把它指向一个只跑 1.3 的 FreeRADIUS，然后读日志：recv TLS 1.3 Handshake, ClientHello 或者 protocol version，看这个就够了。测不过的设备，要么用 MAB 接到有线端口上，要么就别上网。为了迁就网上最差的那台设备而削弱整个网络，共享密码当初就是这么来的。\n完整配置，逐个文件 上面所有内容都删减到了只剩说明每个要点的那几行。这里是全部。这里的每个文件都在实验环境里跑过，从一个空的 step-ca 和一棵原装的 FreeRADIUS 配置树，一直到一台进了 VLAN 10 的笔记本，下面的副本就是那些文件，只是把实验环境的地址换成了表里的地址。可以打包下载 eap-tls-configs.tar.gz，也可以通过链接逐个获取。\n名字 地址 是什么 ca.home.example 只按名字 step-ca，端口 9000 radius.home.example 192.0.2.10 FreeRADIUS，RadSec 在 2083 radsecproxy 192.0.2.11 radsecproxy，UDP 进，RadSec 出 switch1、ap1 192.0.2.21、192.0.2.31 会说 RadSec 的设备 只会 UDP 的设备 192.0.2.32 到 .63 经由 radsecproxy；下面的 Linux AP 是 .33 上的 ap2 文件 放到 作用 step-ca/templates/device.tpl CA 里的 /home/step/templates/ 把角色写进 OU，仅客户端认证 step-ca/templates/nas.tpl CA 里的 /home/step/templates/ OU=nas，用于 RadSec step-ca/setup.sh 在 CA 里跑一次 添加 network 和 nas 两个 provisioner step-ca/issue.sh 在 step 信任该 CA 的地方跑 所有证书，以及吊销的做法 freeradius/install.sh 在 freeradius/ 里跑 把其余文件放到位 freeradius/mods-available/eap RADDB/mods-available/ EAP-TLS，TLS 1.3，检查 CRL freeradius/mods-available/device_vlan RADDB/mods-available/ 读按设备的清单 freeradius/mods-available/mab_vlan RADDB/mods-available/ 读 MAB 清单 freeradius/mods-config/device_vlan/devices RADDB/mods-config/device_vlan/ 证书名对应 VLAN freeradius/mods-config/device_vlan/mab RADDB/mods-config/device_vlan/ MAC 地址对应 VLAN freeradius/policy.d/vlan RADDB/policy.d/ 为证书挑选 VLAN freeradius/policy.d/mab RADDB/policy.d/ 为 MAC 挑选 VLAN，只限 20 或 99 freeradius/sites-available/default.patch 打到 RADDB 上 调用两个策略 freeradius/sites-available/tls RADDB/sites-available/ RadSec 监听器及其客户端 freeradius/nas-only.sh RADDB/ 只放行 OU=nas 证书 freeradius/clients.conf RADDB/ 在本机上测试用的 UDP systemd/radius-crl-refresh /usr/local/sbin/ 拉取并检查 CRL systemd/radius-crl-refresh.service /etc/systemd/system/ 运行它 systemd/radius-crl-refresh.timer /etc/systemd/system/ 每小时一次 systemd/radius-cert-renew.service /etc/systemd/system/ 续期服务器证书 radsecproxy/radsecproxy.conf /etc/radsecproxy.conf UDP 进，RadSec 出 hostapd/hostapd-wired.conf /etc/hostapd/ 一个 Linux 802.1X 交换机端口 hostapd/hostapd-wifi.conf /etc/hostapd/ 一个 Linux 接入点，一个 SSID clients/wpa_supplicant-wired.conf 设备 有线登录 clients/wpa_supplicant-wifi.conf 设备 WiFi 登录 clients/nmcli.sh 设备 同上，通过 NetworkManager FreeRADIUS 在每个发行版上的位置都不一样，而它的文件不在乎是哪个，因为里面的每条路径都是从配置目录拼出来的。install.sh 把这个目录当作 RADDB。下面三种都跑过它，FreeRADIUS 自己的配置检查 -XC 在每一种上都通过了。只有官方镜像接着跑完了本文的每一项测试；在另外两种上，那次检查就是全部证据，而且是在容器里，所以真实 Fedora 机器上的 SELinux 不在其中。\n官方镜像 Debian 13 Fedora FreeRADIUS 3.2.10 3.2.7 3.2.8 RADDB /etc/freeradius /etc/freeradius/3.0 /etc/raddb 运行用户 freerad freerad radiusd 服务 容器本身 freeradius radiusd 测试过 本文的全部内容 install.sh 和 -XC install.sh 和 -XC 两个 systemd 单元写的是 /etc/freeradius 和 freeradius 服务。在 Debian 或 Fedora 上，按上表把两者都改掉。别的都不用动。\nstep-ca 设备模板就是把角色写进证书里的那个，一行不差，只在顶上加了一段注释。nas 模板是同样的思路，只是角色写死了：\nstep-ca/templates/nas.tpl\n{{- /* Certificates for switches, access points and radsecproxy, used for RadSec. OU=nas is what FreeRADIUS checks for; it maps to no VLAN, so a nas certificate cannot get a device on the network. */ -}} { \u0026#34;subject\u0026#34;: { \u0026#34;commonName\u0026#34;: {{ toJson .Subject.CommonName }}, \u0026#34;organizationalUnit\u0026#34;: \u0026#34;nas\u0026#34; }, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } setup.sh 添加两个 provisioner。在 step-ca 容器里跑一次。它会为每个 provisioner 提示输入一个密码，它打印出来的 CRL 配置块要手工放进 ca.json：\nstep-ca/setup.sh\n#!/bin/sh # Run inside the step-ca container, as the step user, once. # Adds the two provisioners this post uses. Each asks for a password for # its own key; keep both. set -e step ca provisioner add network --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template /home/step/templates/device.tpl step ca provisioner add nas --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template /home/step/templates/nas.tpl # Then add this block at the top level of /home/step/config/ca.json and # restart the container: # # \u0026#34;crl\u0026#34;: { # \u0026#34;enabled\u0026#34;: true, # \u0026#34;generateOnRevoke\u0026#34;: true, # \u0026#34;cacheDuration\u0026#34;: \u0026#34;24h\u0026#34;, # \u0026#34;idpURL\u0026#34;: \u0026#34;http://ca.home.example/1.0/crl\u0026#34; # } issue.sh 签发本文中的每一张证书，并把吊销那一节里的做法作为注释留着，等你哪天用得上。那个做法也对这个 CA 跑过，对象是专门为此做的一台 laptop2：\nstep-ca/issue.sh\n#!/bin/sh # Issue the certificates. Run anywhere the step CLI trusts the CA. set -e # The RADIUS server: default 24 hours, renewed daily by radius-cert-renew.service. step ca certificate radius.home.example radius.crt radius.key --provisioner admin # Devices: a year each, the role decides the VLAN. step ca certificate laptop1 laptop1.crt laptop1.key --provisioner network --not-after 8760h --set role=staff step ca certificate cam1 cam1.crt cam1.key --provisioner network --not-after 8760h --set role=iot step ca certificate tv1 tv1.crt tv1.key --provisioner network --not-after 8760h --set role=media # Switches, APs and radsecproxy, for RadSec. step ca certificate switch1 switch1.crt switch1.key --provisioner nas --not-after 8760h step ca certificate ap1 ap1.crt ap1.key --provisioner nas --not-after 8760h step ca certificate radsecproxy radsecproxy.crt radsecproxy.key --provisioner nas --not-after 8760h # A lost device: revoke by serial, no key needed. # SERIAL=$(step certificate inspect laptop2.crt --format json | jq -r .serial_number) # TOKEN=$(step ca token \u0026#34;$SERIAL\u0026#34; --revoke --provisioner admin) # step ca revoke \u0026#34;$SERIAL\u0026#34; --token \u0026#34;$TOKEN\u0026#34; --reason \u0026#34;laptop lost\u0026#34; FreeRADIUS 在下载包的 freeradius 目录里运行 install.sh。它把文件复制进去，给默认站点打补丁，再建好链接。它就干这些：\nfreeradius/install.sh\n#!/bin/sh # Puts these files into a stock FreeRADIUS 3.2 tree. Run from this # directory. RADDB is /etc/freeradius on the official image, # /etc/freeradius/3.0 on Debian and Ubuntu, /etc/raddb on Fedora. set -eu RADDB=${RADDB:-/etc/freeradius} cp mods-available/eap mods-available/device_vlan mods-available/mab_vlan \u0026#34;$RADDB/mods-available/\u0026#34; mkdir -p \u0026#34;$RADDB/mods-config/device_vlan\u0026#34; cp mods-config/device_vlan/devices mods-config/device_vlan/mab \u0026#34;$RADDB/mods-config/device_vlan/\u0026#34; cp policy.d/vlan policy.d/mab \u0026#34;$RADDB/policy.d/\u0026#34; cp sites-available/tls \u0026#34;$RADDB/sites-available/\u0026#34; cp clients.conf \u0026#34;$RADDB/\u0026#34; install -m 0755 nas-only.sh \u0026#34;$RADDB/nas-only.sh\u0026#34; patch -d \u0026#34;$RADDB\u0026#34; -p0 --forward \u0026lt; sites-available/default.patch for m in eap device_vlan mab_vlan; do ln -sfn ../mods-available/$m \u0026#34;$RADDB/mods-enabled/$m\u0026#34; done ln -sfn ../sites-available/tls \u0026#34;$RADDB/sites-enabled/tls\u0026#34; # The certificates go in $RADDB/certs/eaptls: radius.crt, radius.key, # and ca/ holding root_ca.crt, intermediate_ca.crt and the CRL. All of # it readable by the user FreeRADIUS runs as: freerad, or radiusd on # Fedora. mkdir -p \u0026#34;$RADDB/certs/eaptls/ca\u0026#34; 这个补丁是原装默认站点里的两行。它是对着 3.2.10 做的，打到 3.2.7 和 3.2.8 上最多也就是个偏移：\nfreeradius/sites-available/default.patch\n--- sites-available/default +++ sites-available/default @@ -301,6 +301,9 @@ # Make *sure* that \u0026#39;preprocess\u0026#39; comes before any realm if you # need to setup hints for the remote radius server authorize { +\t# MAC Authentication Bypass, policy.d/mab. +\tmab + # # Take a User-Name, and perform some checks on it, for spaces and other # invalid characters. If the User-Name appears invalid, reject the @@ -810,6 +813,9 @@ # Once we KNOW that the user has been authenticated, there are # additional steps we can take. post-auth { +\t# The VLAN for a certificate login, policy.d/vlan. +\tvlan_by_certificate + # # If you need to have a State attribute, you can # add it here. e.g. for later CoA-Request with mods-available/eap 替换原装的那个。全文如下：\nfreeradius/mods-available/eap\n# EAP for 802.1X: EAP-TLS only, TLS 1.3 only, CRL checked on every login. # Replaces the stock mods-available/eap. mods-enabled/eap links to it. eap { default_eap_type = tls timer_expire = 60 ignore_unknown_eap_types = no max_sessions = ${max_requests} tls-config tls-common { # The server certificate followed by step-ca\u0026#39;s intermediate, # exactly as \u0026#34;step ca certificate\u0026#34; writes it. certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key # Root, intermediate and the intermediate\u0026#39;s CRL, hashed with # \u0026#34;openssl rehash\u0026#34;. radius-crl-refresh keeps the CRL current. ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt check_crl = yes # A HUP does not reload a CRL. This does, at 300 s, the minimum. ca_path_reload_interval = 300 tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; cipher_list = \u0026#34;DEFAULT\u0026#34; ecdh_curve = \u0026#34;\u0026#34; cache { enable = no } verify { } } tls { tls = tls-common } } policy.d/vlan 就是前面的策略，加上 MAB 那一节提到的 if (\u0026amp;EAP-Message) 外壳：\nfreeradius/policy.d/vlan\n# Called first in post-auth. Picks the VLAN for a certificate login: # the per-device list first, then the role in the certificate\u0026#39;s OU. vlan_by_certificate { # Certificate logins only. MAB is decided in authorize. if (\u0026amp;EAP-Message) { # Only certificates made for this job: client auth, and a role. if (\u0026amp;TLS-Client-Cert-X509v3-Extended-Key-Usage-OID !~ /1\\.3\\.6\\.1\\.5\\.5\\.7\\.3\\.2/) { reject } # 1. The per-device list wins. device_vlan # 2. Otherwise the role in the certificate decides. if (!\u0026amp;reply:Tunnel-Private-Group-Id) { if (\u0026amp;TLS-Client-Cert-Subject =~ /\\/OU=([^\\/]+)/) { switch \u0026#34;%{1}\u0026#34; { case \u0026#34;staff\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;10\u0026#34; } } case \u0026#34;iot\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;20\u0026#34; } } case \u0026#34;media\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;30\u0026#34; } } case { reject } } } else { reject } } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } } policy.d/mab 是 MAB 那一节里的策略，mods-available/device_vlan 和 nas-only.sh 和前面展示的一样，三者都加了注释。MAB 清单的模块和两份清单：\nfreeradius/mods-available/mab_vlan\n# MAC Authentication Bypass: MAC address to VLAN, for kit with no # 802.1X client. The mab policy only accepts VLAN 20 or 99 from here. # mods-enabled/mab_vlan links to it. passwd mab_vlan { filename = ${modconfdir}/device_vlan/mab format = \u0026#34;*User-Name:=Tunnel-Private-Group-Id\u0026#34; delimiter = \u0026#34;,\u0026#34; } freeradius/mods-config/device_vlan/devices\n# Certificate CN,VLAN. Overrides the role in the certificate. # cam1 is quarantined while it is looked at. cam1,99 freeradius/mods-config/device_vlan/mab\n# MAC (12 hex digits, lowercase, no punctuation),VLAN. 20 or 99 only. aabbccddeeff,20 sites-available/tls 替换原装的 RadSec 示例。verify 的临时目录是 ${run_dir}，它本来就存在，并且属于 FreeRADIUS 的运行用户，所以不用新建任何东西：\nfreeradius/sites-available/tls\n# RadSec: RADIUS over TLS 1.3 on port 2083, for switches, access # points and radsecproxy. Replaces the stock sites-available/tls; # sites-enabled/tls links to it. Requests go to the default site. listen { ipaddr = * port = 2083 type = auth proto = tcp virtual_server = default clients = radsec limit { max_connections = 16 lifetime = 0 idle_timeout = 30 } tls { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt require_client_cert = yes check_crl = yes ca_path_reload_interval = 300 # Only certificates from step-ca\u0026#39;s nas provisioner. verify { # Where FreeRADIUS writes the certificate for the script to read. tmpdir = ${run_dir} client = \u0026#34;${raddbdir}/nas-only.sh %{TLS-Client-Cert-Filename}\u0026#34; } tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; cipher_list = \u0026#34;DEFAULT\u0026#34; ecdh_curve = \u0026#34;\u0026#34; cache { enable = no } } } # One entry per switch, AP and proxy, by management address. Over TLS # the secret does nothing, and FreeRADIUS requires it to be \u0026#34;radsec\u0026#34;. clients radsec { client switch1 { ipaddr = 192.0.2.21 proto = tls secret = radsec } client ap1 { ipaddr = 192.0.2.31 proto = tls secret = radsec } client radsecproxy { ipaddr = 192.0.2.11 proto = tls secret = radsec } } clients.conf 替换原装的那个，只放行本机上的 eapol_test，别的一概不放。交换机和 AP 通过 RadSec 或经由代理进来：\nfreeradius/clients.conf\n# UDP clients. Kit talks RadSec (sites-available/tls) or goes through # radsecproxy, so plain RADIUS is only for testing on this host with # eapol_test. Replaces the stock clients.conf. client localhost { ipaddr = 127.0.0.1 proto = * secret = CHANGE-ME-test-only require_message_authenticator = yes nas_type = other } 先检查配置。然后在前台启动它，打开线程，这样 RadSec 才能用：\nfreeradius -XC freeradius -fxx -l stdout 保持更新 radius-crl-refresh 用钉住的根证书拉取 CRL，拒绝不是由中间证书签名的或已经过期的 CRL，所以一次失败的拉取会把旧名单留在原地。它绝不会拿垃圾换掉一份好名单：\nsystemd/radius-crl-refresh\n#!/bin/sh # Fetch step-ca\u0026#39;s CRL over HTTPS with the root pinned, and put it where # FreeRADIUS reads it. FreeRADIUS picks it up within ca_path_reload_interval. # Installed as /usr/local/sbin/radius-crl-refresh. set -eu CA_URL=\u0026#34;${CA_URL:-https://ca.home.example:9000}\u0026#34; DIR=\u0026#34;${DIR:-/etc/freeradius/certs/eaptls/ca}\u0026#34; TMP=$(mktemp -d) trap \u0026#39;rm -rf \u0026#34;$TMP\u0026#34;\u0026#39; EXIT curl -fsS --cacert \u0026#34;$DIR/root_ca.crt\u0026#34; --tlsv1.3 -o \u0026#34;$TMP/crl.der\u0026#34; \u0026#34;$CA_URL/1.0/crl\u0026#34; openssl crl -inform DER -in \u0026#34;$TMP/crl.der\u0026#34; -out \u0026#34;$TMP/crl.pem\u0026#34; # Refuse a list that is not signed by our intermediate, or already stale. openssl crl -in \u0026#34;$TMP/crl.pem\u0026#34; -noout -CAfile \u0026#34;$DIR/intermediate_ca.crt\u0026#34; 2\u0026gt;\u0026amp;1 | grep -q \u0026#39;verify OK\u0026#39; next=$(date -d \u0026#34;$(openssl crl -in \u0026#34;$TMP/crl.pem\u0026#34; -noout -nextupdate | cut -d= -f2)\u0026#34; +%s) [ \u0026#34;$next\u0026#34; -gt \u0026#34;$(date +%s)\u0026#34; ] install -m 0644 \u0026#34;$TMP/crl.pem\u0026#34; \u0026#34;$DIR/intermediate.crl.pem.new\u0026#34; mv -f \u0026#34;$DIR/intermediate.crl.pem.new\u0026#34; \u0026#34;$DIR/intermediate.crl.pem\u0026#34; openssl rehash \u0026#34;$DIR\u0026#34; systemd/radius-crl-refresh.service\n[Unit] Description=Fetch step-ca\u0026#39;s CRL for FreeRADIUS Wants=network-online.target After=network-online.target [Service] Type=oneshot ExecStart=/usr/local/sbin/radius-crl-refresh systemd/radius-crl-refresh.timer\n[Unit] Description=Fetch step-ca\u0026#39;s CRL for FreeRADIUS every hour [Timer] OnBootSec=1min OnUnitActiveSec=1h RandomizedDelaySec=5min Persistent=true [Install] WantedBy=timers.target 服务器证书寿命 24 小时，所以它自己续期。这里的续期保留了私钥和两个文件的权限，这很要紧，因为 FreeRADIUS 以 freerad 身份读取它们。它重启 FreeRADIUS，而不是发 HUP。原因和 CRL 一样：\nsystemd/radius-cert-renew.service\n# Keeps FreeRADIUS\u0026#39;s 24-hour server certificate renewed, and restarts # FreeRADIUS on each renewal so it loads the new one. Once, as root: # step ca bootstrap --ca-url https://ca.home.example:9000 --fingerprint \u0026lt;root fingerprint\u0026gt; # chgrp freerad radius.key \u0026amp;\u0026amp; chmod 0640 radius.key # Renewal rewrites radius.crt and keeps the key and both files\u0026#39; modes. [Unit] Description=Renew FreeRADIUS\u0026#39;s server certificate from step-ca Wants=network-online.target After=network-online.target [Service] ExecStart=/usr/bin/step ca renew --daemon \\ --exec \u0026#34;systemctl restart freeradius\u0026#34; \\ /etc/freeradius/certs/eaptls/radius.crt /etc/freeradius/certs/eaptls/radius.key Restart=on-failure RestartSec=5min [Install] WantedBy=multi-user.target radsecproxy radsecproxy/radsecproxy.conf\n# radsecproxy beside switches and APs that only speak UDP RADIUS. # Takes UDP in on the management VLAN, sends RadSec over TLS 1.3 out. ListenUDP *:1812 LogLevel 3 LogDestination file:///var/log/radsecproxy.log tls stepca { CACertificateFile /etc/radsecproxy/root_ca.crt CertificateFile /etc/radsecproxy/radsecproxy.crt CertificateKeyFile /etc/radsecproxy/radsecproxy.key TlsVersion TLS1_3 } # The kit that only speaks UDP, from 192.0.2.32 to .63 on the management # VLAN. Netgear caps the secret at 16 alphanumeric characters, so use all # 16, random: # openssl rand -base64 32 | tr -dc \u0026#39;A-Za-z0-9\u0026#39; | head -c 16 client switches { host 192.0.2.32/27 type udp secret CHANGE-ME-16chars RequireMessageAuthenticator on } server freeradius { host radius.home.example port 2083 type tls tls stepca secret radsec certificateNameCheck on } realm * { server freeradius } hostapd 一台 Linux 机器充当交换机端口，说 RadSec。模拟端口跑的就是这个文件：\nhostapd/hostapd-wired.conf\n# A Linux box as an 802.1X wired port, talking RadSec to FreeRADIUS. # Needs hostapd built with CONFIG_DRIVER_WIRED=y and CONFIG_RADIUS_TLS=y. interface=eth1 driver=wired ieee8021x=1 use_pae_group_addr=1 eap_reauth_period=3600 nas_identifier=switch1 auth_server_addr=192.0.2.10 auth_server_port=2083 auth_server_type=TLS auth_server_shared_secret=radsec auth_server_ca_cert=/etc/hostapd/root_ca.crt auth_server_client_cert=/etc/hostapd/switch1.crt auth_server_private_key=/etc/hostapd/switch1.key logger_syslog=-1 logger_syslog_level=2 接入点用的。这一个像 Netgear AP 那样，经由 radsecproxy 走 UDP，模拟无线电跑的就是这个文件：\nhostapd/hostapd-wifi.conf\n# A Linux access point: one WPA2/WPA3-Enterprise SSID, each client on the # VLAN RADIUS names. This one talks UDP to radsecproxy, like the Netgear # APs. For RadSec, build hostapd with CONFIG_RADIUS_TLS=y and use the # auth_server_* block from hostapd-wired.conf instead. interface=wlan0 driver=nl80211 ssid=Home country_code=GB hw_mode=g channel=6 ieee8021x=1 eapol_version=2 wpa=2 # WPA-EAP for WPA2-Enterprise; WPA-EAP-SHA256 with ieee80211w=2 for WPA3-Enterprise. wpa_key_mgmt=WPA-EAP WPA-EAP-SHA256 rsn_pairwise=CCMP ieee80211w=1 nas_identifier=ap2 own_ip_addr=192.0.2.33 auth_server_addr=192.0.2.11 auth_server_port=1812 auth_server_shared_secret=CHANGE-ME-16chars radius_require_message_authenticator=1 # 2 = required: no VLAN in the answer means no network. dynamic_vlan=2 vlan_naming=1 vlan_tagged_interface=eth0 vlan_bridge=brvlan ctrl_interface=/run/hostapd logger_syslog=-1 logger_syslog_level=2 设备 nmcli.sh 是设备那一节里的那条命令，外加它的有线版孪生兄弟。没有 NetworkManager 的话，wpa_supplicant 用这些：\nclients/wpa_supplicant-wired.conf\n# Linux client, wired 802.1X. Run: wpa_supplicant -D wired -i eth0 -c this-file ctrl_interface=/run/wpa_supplicant ap_scan=0 network={ key_mgmt=IEEE8021X eapol_flags=0 eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } clients/wpa_supplicant-wifi.conf\n# Linux client, WiFi, without NetworkManager. TLS 1.3, anonymous identity, # and the server name checked. ctrl_interface=/run/wpa_supplicant network={ ssid=\u0026#34;Home\u0026#34; key_mgmt=WPA-EAP WPA-EAP-SHA256 ieee80211w=1 eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } 每个文件对照什么测过 文件 对照 结果 step-ca/ step-ca 0.30.2，一个新 CA 全部 7 张证书带角色签发；laptop2 按那个做法签发并吊销 freeradius/ 3.2.10，由 install.sh 安装 laptop1 进 VLAN 10，cam1 进 99，tv1 进 30，一张 nas 证书被拒；MAB aabbccddeeff 进 VLAN 20，未知 MAC 被拒 radius-crl-refresh 基于 TLS 1.3 的 step-ca CRL 安装并做了哈希；已吊销的笔记本五分钟内被拒，无需重启 radius-cert-renew.service step ca renew 0.30.2 证书已续期；私钥和权限都没动 radsecproxy.conf radsecproxy 1.11.2 经由它的 EAP-TLS 被接受；带 Message-Authenticator 的 MAB 进 VLAN 20，不带的被丢弃 hostapd-wired.conf hostapd 2.11，带 RadSec 编译 通过 TLS 1.3 进 VLAN 10、99 和 30 hostapd-wifi.conf、wpa_supplicant-wifi.conf 模拟无线电，经由 radsecproxy 一个 SSID 上三个站点，VLAN 10、99 和 30；按原样写的客户端文件和一个只用 WPA3 的站点都连上了 wpa_supplicant-wired.conf eapol_test 2.11 答复和前面那张表一样 systemd 单元 systemd-analyze verify 除了两个程序没在这里安装，没有别的抱怨 什么会把所有人关在门外 下面每一项都是在搭建过程中撞上或测过的，只有 trunk 上缺 VLAN 那一项例外，那得有台真交换机才能演示。几乎全都是默认关闭式的失败。这是正确的失败方式，但照样是个糟糕的早晨。\n故障 你看到什么 修法 CRL 过期或缺失 每台设备都被拒；CRL has expired 或 unable to get certificate CRL 用定时器拉取 CRL 并监控它 新 CRL 没被读入 已吊销的设备照样连上 ca_path_reload_interval = 300，或者重启 FreeRADIUS 客户端关了 TLS 1.3 protocol version，设备被拒 tls_disable_tlsv1_3=0、tls-1-3-enable 或 Apple 描述文件里的那几个键 证书文件 freerad 读不了 FreeRADIUS 起不来，Permission denied 让 freerad 能读，私钥只让它读 证书没有角色 被策略拒绝 通过 network provisioner 用 --set role= 重签 交换机或 AP 的 trunk 上没有这个 VLAN 设备认证通过，拿不到地址 建好 VLAN，并在设备能到达的每条 trunk 上打标签 RADIUS 共享密钥错误 没有答复；FreeRADIUS 记下 invalid Message-Authenticator! (Shared secret is incorrect.)，交换机一直重试直到放弃 clients.conf 和交换机或 AP 上用同一个密钥 设备不检查服务器名 什么都看不到。它能用，换成冒牌货也一样能用 在每台设备上设好服务器名 请求不带 Message-Authenticator 被悄悄丢弃；交换机重试然后放弃 在交换机上打开它，或者在前面放一个 radsecproxy 在 freeradius -X 下跑 RadSec 监听器 Threading must be enabled for TLS sockets freeradius -fxx -l stdout hostapd 编译时没带 RadSec unsupported RADIUS type 'TLS' 用 CONFIG_RADIUS_TLS=y 编译，或者用 radsecproxy 给 radsecproxy 填的是服务器地址 No subjectaltname matching address 用 radius.home.example 为什么这不是每个企业网络的默认配置？ 本文没有任何新东西。EAP-TLS 发布于 1999年10月37。VLAN 属性随后在 2003年9月到来3。上面两家交换机厂商都在自己的手册里写了动态 VLAN，而 CA、RADIUS 服务器和代理都是开源的，一分钱不花。走商业路线，同样的东西就变成了预算里的一行：Cisco 把“RADIUS authentication, authorization, and accounting, including 802.1X, MAC authentication bypass”放在 ISE 的 Essentials 档里，按“concurrent active endpoints”授权，而一个端点可以是网络上的“printers, fax machines, or other types of network devices”38之一。不管哪条路，这项能力在设备里躺了二十多年了。\n那么，为什么 2026 年的企业网络还跑在一个人人共享的密码上？\n我能问一句吗：为什么那么多管理员和 MSP 干脆就懒得做？我问的不是谁。我问的是什么让这件事一直延续下去。诚实的答案有三个，因为情况有三种。\n有些人不知道。 这正是失职所在，而不是借口。知道你自己的交换机能干什么，不是一件会自己找上门的事。确保自己知道，就是这份工作本身，而写明这一点的手册是免费下载的。\n有些人知道，但放着不管。 共享密码能用。没人为它提工单。每台设备一张证书是一堆杂活，在某天丢了一台笔记本之前什么成果都看不到，因此它永远排不进待办清单。对 MSP 来说，账算得更直白：一个只有一个密码的扁平网络支持起来更便宜，没有哪份合同衡量它，客户也从来不问。MSP 系列细讲了这些激励会把人带到哪里，这里是同一个模式，只是账单小一些。这个问题针对的正是这种情况：手里有能做到的交换机、已经读到了这里、却因为没人逼他给出理由而继续用共享密钥的管理员。\n有些人确实还做不到。 没有请求方的打印机，做不了 TLS 1.3 的电视，厂商不肯更新的业务专用设备。这是实实在在的限制，答案是肯定的，这说得过去：用 MAB 放到一个圈起来的 VLAN 上，把理由写下来，旁边再写上那台设备退役的日期。\n失职不在于有缺口。谁都有缺口。失职在于明明设备出厂时就能堵上，你却从没去堵，就这么带着缺口跑一个企业网络。\n谁都用过共享密码。在企业网络上主动选择继续用一个，这才是说不过去的部分。\n为什么 Cyber Essentials 不要求这个 因为它本来就不是为这个设计的。Cyber Essentials 是政府背书的基线，而且“a growing number of organisations require suppliers to be certified to bid for work”39。它针对的是“the most common internet based cyber security threats”39，它的要求也明确写了它管到哪里为止。攻击者无法从互联网够到的无线设备不在范围内，因为“the Cyber Essentials scheme isn\u0026rsquo;t concerned with attacks that can only be launched within the signal range of the wireless device”40。它的五项控制是防火墙、安全配置、安全更新、用户访问控制和恶意软件防护40。没有一项问的是谁一开始就被允许进入网络。最接近的一条是“change any default or guessable account passwords”40，而印在前台桌上的 WiFi 密码不是账户。\nVLAN 在里面出现过，一次。一个组织的“sub-set”，即一个“segregated from the rest of the organisation by a firewall or VLAN”40的部分，可以单独评估。所以这个方案唯一碰到 VLAN 的地方，是把它当作把线圈得更小、少评估一点网络的手段。\n就它自己的定位而言，这说得过去。它是一道防范来自互联网攻击的底线，它自己也这么说。麻烦在于，一道底线一旦挂上墙变成证书会怎样。它变成目标，然后变成天花板，一家企业可以在所有设备都挤在一个扁平网络上、躲在一个连保洁员都知道的密码后面的情况下通过它。任何拿着笔记本从楼前走过的人，都在真正要紧的那个威胁模型之内，却在被评估的那个之外。\n密码是一个没人遵守的承诺 搭这套东西时让我印象深刻的是，难的部分少之又少。里面的每个陷阱都在某处写着，在某段配置注释里或某本厂商手册里，而每一个都在实验室里花一个下午就搞定了。\n可家里照样跑在一个写在冰箱上的 WiFi 密码上。不是因为替代方案难，而是因为密码是默认选项，而默认选项从来不用为自己辩护。人人都知道它是共享的。人人都知道它会泄露。没人去改它，因为改它意味着拿着新密码把家里每台设备都走一遍，于是它一用就是好几年，经历了每一位客人、每一个租客、每一部还存着它就进了回收箱的手机，它把每一个曾经拿到过它的人都放了进来。\n每台设备一张证书，是对网络用途的另一种理解。网络应该知道一样东西是什么，而不只是知道曾经有人往里敲对了一个词。这是一个没人检查时你也对自己执行的标准，也是唯一值得拥有的那种标准。摄像头不能因为碰巧在同一个 SSID 上就挨着笔记本坐。它坐在你放它的地方，在你自己拥有的设备上，按你写下且读得懂的规则。它不老实，改文本文件里的一行就挪走它。它丢了，一条命令就把它关在门外。\n代价是杂活。一份背后有定时器的 CRL，在日记本上记着日期的证书，买之前先测过的设备。这就是代价，而且方向是对的：你付出的是看得见的力气，而不是一个多年来一直悄悄放人进来的密码。\nRFC 3748 — Extensible Authentication Protocol (EAP) — EAP，以及它在其间运行的对端、认证方和认证服务器这几个角色。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2868 — RADIUS Attributes for Tunnel Protocol Support — 定义了 RFC 3580 拿来复用于 VLAN 的隧道属性。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3580 — IEEE 802.1X RADIUS Usage Guidelines — 第 3.31 节，“Tunnel-Type=VLAN (13) Tunnel-Medium-Type=802 Tunnel-Private-Group-ID=VLANID”，以及“the VLANID integer value is encoded as a string”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Advisory 2743314 — “An attacker who obtained the MS-CHAP v2 authentication traffic could then use the exploit code to decrypt a user\u0026rsquo;s credentials.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5216 — The EAP-TLS Authentication Protocol — 基于 EAP 的双向证书认证。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9190 — EAP-TLS 1.3 — “TLS 1.3 also encrypts certificates and some of the extensions. When using EAP-TLS with TLS 1.3, the use of privacy is mandatory and does not cause any additional round trips”；第 2.1.7 节建议在身份响应中使用匿名 NAI。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — mods-available/eap — check_crl，check_all_crl“Check if intermediate CAs have been revoked”，allow_expired_crl，以及“most EAP supplicants WILL NOT DO TLS 1.3 PROPERLY”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Certificate templates — 用 --set 传入的用户数据在模板里是 .Insecure.User；值一律用 toJson 包起来。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — dictionary.freeradius.internal — 策略读取的 TLS-Client-Cert-* 属性，包括 TLS-Client-Cert-Subject 和 TLS-Client-Cert-X509v3-Extended-Key-Usage-OID。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — mods-available/passwd — “Attributes marked as \u0026lsquo;=\u0026rsquo; are added to reply_items instead of default configure_items”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nwpa_supplicant — wpa_supplicant.conf — “tls_disable_tlsv1_3=0 - enable TLSv1.3 (experimental - disabled by default)”，以及 domain_match，即“Constraint for server domain name”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2548 — Microsoft Vendor-specific RADIUS Attributes — MS-MPPE-Send-Key 和 MS-MPPE-Recv-Key，加密方式为“b(1) = MD5(S + R + A) c(1) = p(1) xor b(1)”，其中 S 是共享密钥。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBlastRADIUS — CVE-2024-3596；推荐的缓解措施是“to mandate that clients and servers always send and require Message-Authenticator attributes for all requests and responses”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3579 — RADIUS Support For EAP — “the Message-Authenticator attribute MUST be used to protect all Access-Request, Access-Challenge, Access-Accept, and Access-Reject packets containing an EAP-Message attribute.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — radiusd.conf — require_message_authenticator 和 limit_proxy_state；把两者都设成“no”“will allow MITM attackers to create fake Access-Accept packets to the NAS!”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6614 — TLS Encryption for RADIUS — RadSec，2012年5月，实验性。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIETF — RadSec: RADIUS over TLS and DTLS — 预定状态为 Proposed Standard，取代 RFC 6614 和 RFC 7360；2026年10月13日查看时 IESG 状态为“Has enough positions to pass”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — sites-available/tls — RadSec 监听器，require_client_cert，proto = tls，以及“TLS clients MUST have the shared secret set to \u0026ldquo;radsec\u0026rdquo;”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhostapd 2.11 source — hostapd/defconfig：“Include support fo RADIUS/TLS into the RADIUS client”，#CONFIG_RADIUS_TLS=y。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link — Omada Software Controller 6.1 release note — “Added support for RadSec (RADIUS over TLS) to secure SSID, MAC-Based, and 802.1X authentications on both APs and Switches”，需要最新的 AP 和交换机固件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link Omada — 802.1X configuration — RADIUS Proxy：“It does not support the RadSec feature”；用 RadSec 时“it is recommended to disable Require Message-Authenticator”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — M4250 and M4350 CLI manual — radius server key：“The secret must be an alphanumeric value not exceeding 16 characters”；没有提到 RadSec。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — WAX630 user manual — “Enter the number of the UDP port on the access point that is used to access the RADIUS server”，以及“By default, the password is sharedsecret.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nradsecproxy — “made to be able to deploy RadSec (RADIUS over TLS) so that all RADIUS communication across network links could be done using TLS, without modifying existing RADIUS software”。这里用 1.11.2 测试过。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9765 — RADIUS/1.1 — 2025年4月，实验性：“the RADIUS shared secret is no longer used, and all MD5-based packet authentication and attribute obfuscation methods are removed.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — ChangeLog — RADIUS/1.1“Disabled by default, can be enabled by passing --with-radiusv11 to the configure script. For now, this is for testing interoperability.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — M4250 user manual — VLAN Assignment Mode，“The default is Disable”；Dynamic VLAN Creation Mode；Authentication Order，“if a client tries 802.1X authentication (based on the user and client credentials) and authentication fails, the interface proceeds with MAB authentication.” M4350 手册里是同样的文字。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link Omada — Dynamic VLAN with the VLAN Assignment function of RADIUS — 交换机：Authentication Type“Port Based”，“enable \u0026lsquo;VLAN Assignment\u0026rsquo;”，“make sure the 802.1X Control mode is Auto”；接入点：RADIUS profile 里的“Enable VLAN Assignment for Wireless Network”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link — Configuration guide for 802.1X VLAN assignment and MAB — “VLAN Assignment takes effect only when the control type is Port Based”；缺失的 VLAN 会自动创建；MAB 发送的 MAC 格式为“12 hexadecimal digits, all lowercase and no punctuation”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — GS710TUP user manual — 基于 MAC 的端口控制“allows multiple supplicants connected to the same port”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhostapd — hostapd.conf — 动态 VLAN“parsed from following RADIUS attributes based on RFC 3580 and RFC 2868”；dynamic_vlan“2 = required; reject authentication if RADIUS server does not include VLAN ID”；vlan_tagged_interface 和 vlan_bridge。读自 hostapd 2.11 软件包。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — WAX620 user manual — WPA3 Enterprise：“the encryption is automatically set to GCMP256”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPixel Phone Help — Connect to Wi-Fi networks — “The \u0026lsquo;Do not validate\u0026rsquo; setting option used in EAP-PEAP, EAP-TLS and EAP-TTLS configurations has been removed for security reasons.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple — WiFi.EAPClientConfiguration — TLSTrustedServerNames，“If a server presents a certificate that isn\u0026rsquo;t in this list, the system doesn\u0026rsquo;t trust it”；TLSMaximumVersion 默认为 1.2。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetworkManager — 802-1x settings — domain-match：“Constraint for server domain name”，另有 ca-cert、client-cert、private-key 和 phase1-auth-flags。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — WifiEnterpriseConfig — setDomainSuffixMatch；TLS_V1_3“Added in API level 34”，WifiManager.isTlsV13Supported() 说明“whether or not TLS v1.3 is supported”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2716 — PPP EAP TLS Authentication Protocol — 最初的 EAP-TLS 规范，1999年10月，后被 RFC 5216 取代。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — ISE licences — Essentials 涵盖“RADIUS authentication, authorization, and accounting, including 802.1X, MAC authentication bypass and easy connect”；“Concurrent active endpoints refer to the total number of supported users and devices… printers, fax machines, or other types of network devices.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — About Cyber Essentials — “A growing number of organisations require suppliers to be certified to bid for work”；它防范的是“the most common internet based cyber security threats”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Cyber Essentials: Requirements for IT Infrastructure v3.3 — 2026年4月。无法从互联网攻击的无线设备不在范围内：“the Cyber Essentials scheme isn\u0026rsquo;t concerned with attacks that can only be launched within the signal range of the wireless device”；五项技术控制；“change any default or guessable account passwords”；sub-set“is part of the organisation whose network is segregated from the rest of the organisation by a firewall or VLAN”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/networking/eap-tls-one-ssid-every-device-on-its-vlan/","summary":"为有线交换机端口和单个 WPA2/WPA3-Enterprise SSID 部署基于证书的 802.1X（EAP-TLS），由 RADIUS 服务器决定每台设备落到哪个 VLAN。step-ca 0.30.2 给每张设备证书写入一个角色，没有角色的一律拒签；FreeRADIUS 3.2.10 把这个角色映射到 VLAN，允许一份按设备的清单覆盖它，并且只跑 TLS 1.3。共享 WiFi 密码为什么是问题所在，为什么用证书、为什么用 TLS 1.3，FreeRADIUS 收到 HUP 时无视新 CRL 的吊销陷阱，不检查服务器名的设备会信任什么，用 Message-Authenticator 和基于 TLS 1.3 的 RadSec 保护 RADIUS 流量本身，给只会说 UDP 的设备用的 radsecproxy，端到端模拟的一个有线端口和一个 WiFi 网络，Netgear 和 TP-Link 的设置，Linux、Apple 和 Android 客户端的设置，每个配置文件完整给出并可打包下载，以及为什么那么多管理员和 MSP 至今懒得做、Cyber Essentials 也不要求他们做。","title":"一个 SSID，每台设备各进各的 VLAN：用 step-ca 证书做 802.1X"},{"content":" 更新，2026年10月11日 16:30： 我后来刷了 BIOS 1.30。它修不好这个偏移。tscsync 仍然能把核心对齐，但在两次同步开机里，内核还是丢掉了 TSC，这次是通过它的时钟源看门狗，而不是回跳检查：BIOS 1.30：同步保住了，TSC 还是丢了。加上 tsc=nowatchdog 之后，TSC 保住了，对照实时时钟测了五分钟，没有回跳，也没有漂移：tsc=nowatchdog：五分钟，零回跳。一次开机不等于一连串开机，所以我只说它撑住了，不说修好了。\n每次开机，同一条警告 我的 ThinkPad E595 每一次开机，内核日志里都躺着这几行：\nTSC synchronization [CPU#0 -\u0026gt; CPU#2]: Measured 6601281288 cycles TSC warp between CPUs, turning off TSC clock. tsc: Marking TSC unstable due to check_tsc_sync_source failed clocksource: Switched to clocksource hpet 什么都没崩。桌面上什么都没弹出来。这台机器从开机那一刻起，就悄悄地把整套时钟跑在一块更慢的定时器芯片上；要不是我为了别的事去翻 journal，它会一直这样跑下去。\n时间戳计数器（Time Stamp Counter，TSC）是每个 CPU 核心里以固定频率递增的计数器。读一次只要一条指令。Linux 把它当作主时钟，但前提是每个核心的计数都一致1。只要有一个核心落后，内核就不能信任它，只好退回到高精度事件定时器（High Precision Event Timer，HPET），一个独立的定时器设备。tscsync 的作者测过：在 HPET 上读一次时钟约 1.2 µs，在 TSC 上只要几十纳秒，而内核和桌面每秒要读几万次时钟1。这就是每次开机都要付出的延迟和电量，换来的是一场空。\n那这个核心到底落后多少？三秒多。在一台 2.1 GHz 的笔记本上，那是 66 亿个周期。\n固件交过来的是什么 消息里点了 CPU 0 和 CPU 2 的名，但毛病不在 CPU 2。无论是 tscsync 在引导加载程序里测，还是内核启动后测，每次看到的都是同一幅图：\n核心 相对 CPU 0 的偏移 含义 CPU 0，引导处理器（BSP） 0 基准，也是唯一的异类 CPU 1 到 7，其他核心（AP） 约 +62 亿到 +68 亿个周期 彼此相差不超过 32 个周期 按 2,096 MHz 换算的差距 2.9 到 3.3 秒 引导处理器落后，每次开机都是 七个核心一致，一个晚了三秒。固件先把引导处理器拉起来，在它上面干完自己的活，然后交给引导加载程序，却从来没有把这一个计数器拉回到和其余核心一致。\ntscsync 前后引导处理器的 TSC 之前：固件交接时 之后：tscsync 同步模式 CPU 0（BSP） CPU 1 CPU 2 CPU 3 CPU 4 CPU 5 CPU 6 CPU 7 CPU 0（BSP） CPU 1 CPU 2 CPU 3 CPU 4 CPU 5 CPU 6 CPU 7 CPU 0 落后约 68 亿个周期（3.25 s） CPU 1 到 7 相差在 32 个周期以内 BSP 已前拨，每个核心都在 45 个周期以内 Linux 保住 TSC 时钟源 左：固件交过来的状态。七个应用处理器彼此相差不超过 32 个周期；引导处理器比它们落后约 68 亿个周期。右：tscsync 在 UEFI 里把引导处理器往前拨之后，每个核心都在 45 个周期以内，内核的回跳检查通过。 为什么 Linux 不能自己修好它？Intel CPU 上有个寄存器 IA32_TSC_ADJUST，内核可以用它微调某个核心的计数器，只要有这个寄存器，内核的同步代码就会用上它2。AMD Zen CPU 没有。没有它，Linux 里没有任何东西能修复这个偏移；而内核里那个直接写计数器的尝试（tsc=directsync）已经被上游以不可靠为由拒掉了3。\n于是内核只能做剩下唯一诚实的事。它测量，发现两个核心之间时间在倒退，打出警告，然后停用 TSC2。\n四十次开机，四十次回跳 一次开机只是个例。这台机器的 journal 一直保留到 2026年5月30日，所以我去问了它。\n开机次数 回跳（周期） 按 2,096 MHz 换算 2026年5月30日至10月11日 40 次中 40 次 61.6 亿到 98.8 亿 2.94 到 4.72 s 中位数 65.7 亿 3.14 s 完全断电约 27 s 之后 1 66.0 亿 3.15 s tscsync 同步模式，BIOS 1.28 1 无记录 保住 TSC BIOS 1.30，关闭 tscsync 1 61.3 亿 2.92 s BIOS 1.30，tscsync 同步模式 2 无记录 TSC 被看门狗丢掉，见下文 BIOS 1.30，同步模式加 tsc=nowatchdog 1 无记录 保住 TSC 每一次开机。冷启动、重启、断电时间长到你会以为任何残留都该清掉了，全都一样。回跳的量会变，这与 tscsync 作者在一台 Lenovo Legion 上的发现吻合：那台机器上，回跳几乎完全和机器在引导加载程序启动前待在固件里的时长成正比3。开机画面停得越久，落后得越多。\n诱人的修法是在内核命令行加 tsc=reliable，让 Linux 别再检查。别这么干。这些核心真的差了三秒，关掉检查改变不了这一点；它只是让内核去用一个任务在核心间迁移时会往回跳的时钟。tscsync 的 README 也是这么说的，还点名了随之而来的音频和视频卡顿1。\n能问一句，这东西为什么还在出货吗？ 我不是在问是谁。我是在问 Lenovo 的流程里是什么让一个每次开机都让一个核心落后三秒的 BIOS 发了出去。\n答案就在 tscsync 的设计笔记里，而且不怎么体面。Fisher-Price OS (Windows) 在开机时自己去写 TSC3。一台只在它上面验证过的笔记本自然能过关，因为操作系统悄悄替固件收拾了烂摊子。Linux 保留着安全检查，如实报告它拿到的东西，这正是这个毛病只在 Linux 上露面的原因。\n尴尬的是，据说这个问题以前修过。有用户报告，Lenovo 曾经通过 BIOS 更新在 ThinkPad A485、T14s Gen 1 AMD 和 E495 上修好过同一类 bug4。E495 是这台机器的 14 英寸兄弟型号，两者共用一个 BIOS：Lenovo 自己的软件包说明里把两个型号都列上了5。\n我的 E595 当时是 1.28，每次开机都回跳。Lenovo 之后发布了 1.29 和 1.30，两份变更列表对 TSC 只字未提；1.30 修的是“system randomly freeze since BIOS V1.27”和一些安全问题5。于是我刷上 1.30 再测一遍。在它上面的第一次开机，关掉 tscsync，记录到 6,126,446,316 个周期的回跳：2.92 秒，CPU#0 -\u0026gt; CPU#2，跟以前一模一样。1.30 修不好它。两个型号共用一个 BIOS，所以如果 E495 的那份报告是对的，这台机器也该修好了。那份报告没写 BIOS 版本，也没附日志4。\nLenovo 会回头去管一台 2019 年的笔记本，为一个它们测试用的操作系统替它们藏起来的毛病？不会。\ntscsync，先测量 tscsync 是一个小小的 UEFI 程序，在 Linux 之前由 GRUB 或 systemd-boot 运行。它通过固件自己的多处理器服务向每个核心要 TSC，算出每个核心相对引导处理器的偏移，把落后的计数器往前拨到一致，然后用一个仿照内核回跳检查的测试来核对结果1。它从不写闪存、NVRAM 或固件设置；它改动的计数器在断电后就复位1。\n要把这么多事交给引导加载程序，所以我先读了代码，在 commit 230eaa9 上，然后才编译。安装则完全按项目要求的方式来做：\n步骤 命令 返回了什么 编译 make GRUB 和 systemd-boot 两个二进制 安装，只读 sudo scripts/install.sh 测量模式，不往计数器里写任何东西 断电、开机、查看 tscsync-status CPU 0 比全部 7 个 AP 落后 2,964 ms，AP 之间相差在微秒以内 打开同步 sudo scripts/set-mode.sh sync 下次开机生效 测量模式是这类工具都值得照抄的一点。它先在你自己的硬件上把毛病给你看，然后才允许改动任何东西；如果某次开机始终没进到 Linux，还有一个防挂死机制会把它关掉1。\n同步模式下的第一次开机，直接取自 tscsync-status：\nsurvey (read-only): cpu 1 apic 1: offset 6815086011 rtt 126 BAD ... cpu 7 apic 7: offset 6815086010 rtt 378 BAD 0 ok, 7 not ok moving BSP forward by ~6815086010 cycles to match cpu 7: bsp vs cpu 7 apic 0: before 6815086001 after 3 rtt 357 iter 3 warps bsp/ap 0/0 OK AP pass (corrects any AP still off): 7 ok, 0 not ok total 121 ms 一秒之后，内核：\nclocksource: Switched to clocksource tsc-early tsc: Refined TSC clocksource calibration: 2096.066 MHz clocksource: Switched to clocksource tsc 没有回跳那一行。没有“unstable”。/sys/devices/system/clocksource/clocksource0/current_clocksource 读出来是 tsc。花 121 ms 开机时间，换回硬件本来就该有的时钟。那是在 BIOS 1.28 上。1.30 就没这么利索了。\nLinux 否决掉的那 21 纳秒 那份报告里有一行看上去比实际情况糟，值得解释清楚而不是藏起来。tscsync 最后的核验环节标出了一个核心：\ncpu 7 apic 7: offset 45 rtt 357 warps bsp/ap 0/0 BAD 6 ok, 1 not ok RESULT: some APs out of sync (Linux will fall back to HPET) 45 个周期约等于 21 纳秒。tscsync 的目标是相差大约 10 个周期以内1，所以按它自己的标准 CPU 7 没达标，它也照实说了。然后 Linux 启动，根本没有退回 HPET。\n这两道检查问的不是同一个问题：\ntscsync 的偏移判定 内核的回跳测试 问题 计数器相差多远？ 核心之间时间有没有倒退过？ 方法 从一次计时往返中估算 核心轮流读数，与上一次读数比较2 及格线 约 10 个周期 没有任何读数比前一次低 这次开机的 CPU 7 45 个周期，BAD 没有回跳，保住 TSC 同一行里的 warps bsp/ap 0/0 就是 tscsync 在跑内核式的测试。它一次都没看到。内核也没看到。\n项目本身就知道它的判定可能比内核更严。它的硬件列表里有一台 IdeaPad，四个核心在 28 到 42 个周期处被标出来，内核却都接受了；从 2.1 版起，往返慢的情况会报 UNSURE 而不是 BAD4。README 对这种情况的规则是对的：由内核自己的检查说了算，只要时钟源是 tsc，就算通过1。在这台机器上 357 个周期的往返并不算慢，所以它报的是 BAD。一个把演算过程摆出来、再让内核说最后一句话的工具，顺序就是对的。\nBIOS 1.30：同步保住了，TSC 还是丢了 在 1.30 上，我把 tscsync 切回同步模式，重启了两次。两次它都完成了任务。它把引导处理器往前拨了约 61.7 亿个周期，每个核心都在几十个周期以内，内核没有记录任何回跳。可两次 Linux 都在几秒后落到了 HPET 上：\ntsc: Detected 2095.890 MHz processor tsc: Refined TSC clocksource calibration: 2096.053 MHz clocksource: Watchdog remote CPU 5 read timed out clocksource: Marking clocksource tsc unstable due to frequency skew clocksource: Watchdog hpet interval: 495136113ns clocksource: Clocksource tsc interval: 496026671ns tsc: Marking TSC unstable due to clocksource watchdog 这是另一道检查。回跳测试在每个核心上线时运行，问的是核心之间时间有没有倒退。时钟源看门狗则在开机后一直运行。大约每半秒，它比较一次 TSC 走了多远和 HPET 走了多远，只要两者相差超过一个小余量，就把 TSC 标为不稳定6。一旦标上，直到下次开机都不会撤销。\n两道内核检查，以及哪个启动选项跳过哪一道 固件 CPU 0 落后约 3 s tscsync，在 UEFI 中 把 CPU 0 往前拨 Linux 启动 核心上线 回跳检查 开机时一次 看门狗 每 0.5 s 对照 HPET 默认 两道都开：1.30 上 TSC 被丢掉 ✓\u0026#160;检查 ✓\u0026#160;检查 tsc=nowatchdog 这次开机：保住 TSC ✓\u0026#160;检查 ✗\u0026#160;跳过 tsc=reliable 不建议：会藏起真实回跳 ✗\u0026#160;跳过 ✗\u0026#160;跳过 有两道独立的检查都能丢掉 TSC。回跳检查只在每个核心上线时跑一次；让这台机器过关的是 tscsync。看门狗则每半秒对照 HPET 比较一次。tsc=nowatchdog 只跳过第二道，而 tsc=reliable 两道都跳过，会把真实的回跳藏起来。 1.30 上的开机 回跳检查 HPET 间隔 TSC 间隔 TSC 相对 HPET 第一次同步开机 通过 495,426,793 ns 495,006,210 ns 约慢 850 ppm 第二次同步开机 通过 495,136,113 ns 496,026,671 ns 约快 1,800 ppm 那么 TSC 是不是频率不对？不是。机器开着的时候，我用内核基于 HPET 的原始时钟给 TSC 计时 30 秒，分成 5 秒一个窗口。每个窗口都是 2,096.062 MHz，和内核自己的校准值只差约 4 ppm。真正的频率故障不会在两次开机之间从慢摆到快，然后又消失。是有什么东西在开机早期干扰了某一个半秒窗口，而它前面那行 remote CPU 5 read timed out 指向某个核心短暂没有应答。固件从 CPU 那里偷时间就说得通。我没有证明这一点。\n证据就这两次开机。我还说不准这是 1.30 的问题、是碰巧，还是 tscsync 的写入触发了什么。1.28 上唯一一次同步开机保住了 TSC，1.30 上两次都丢了，这不足以把账算到 BIOS 头上。\n针对这种情况，有一个比 tsc=reliable 窄得多的内核选项。tsc=nowatchdog 只为 TSC 关掉时钟源看门狗，开机时的回跳检查原封不动7。如果 tscsync 哪次没同步好，内核仍会抓到回跳并退回 HPET。这就是下一个测试。具体数字，以及对 tscsync 自身报告方式的一些修改建议，都在项目的 issue 里8。\ntsc=nowatchdog：五分钟，零回跳 我加上 tsc=nowatchdog 后重启。tscsync 把引导处理器往前拨了 6,207,104,421 个周期，内核没有记录回跳，也没有记录频率偏差，current_clocksource 读出来是 tsc。这是 1.30 上第一次保住它。\n这只能证明丢掉 TSC 的是看门狗。它证明不了 TSC 可以放心用；而且看门狗关了，内核里就再也没有东西在盯着它。所以我自己盯。\n我先前的频率检查在这里派不上用场。它拿 TSC 对照 CLOCK_MONOTONIC_RAW 计时，内核跑在 HPET 上时这没问题。可一旦跑在 TSC 上，那个时钟本身就是从 TSC 算出来的，测试就成了拿计数器跟自己比。HPET 也没法从用户空间读，因为 Fedora 的内核编译时没开 CONFIG_HPET_MMAP。实时时钟（RTC）可以。它靠自己的晶振走时，而且它的秒计数器每跳一下，内核都可以唤醒一个程序9。\n于是我写了个小检查程序 tsccheck。它把自己钉在 CPU 0 上，每 15 秒跑四项测试：\n检查 怎么做 出故障是什么样 频率 数 RTC 两次秒跳之间的 TSC 周期 MHz 朝一个方向漂 偏移 从 CPU 0 到每个核心各往返 3,000 次，取最快那次算偏移 偏移越来越大 回跳 每次往返中，有没有核心读到比已见过的值更低的数 任何大于零的数 时钟源 读 current_clocksource 除 tsc 以外的任何东西 往返是整件事的核心。CPU 0 读自己的计数器并传过去，另一个核心读自己的并传回来，CPU 0 再读一次。如果两个核心一致，中间那个读数必然落在另外两个之间：\nCPU 0 与另一个核心之间的一次往返 CPU 0 CPU 1 到 7，逐个测 时间 t0 t1 t2 中点 偏移 偏移 = t1 − (t0 + t2) / 2 取 3,000 次往返中最快的一次 若 t1 \u0026lt; t0 或 t2 \u0026lt; t1 即为回跳 时间倒退：出现一次就是故障 一次往返。另一个核心的读数 t1 与 CPU 0 两次读数的中点比较，3,000 次往返中最快的那次给出偏移。任何比已见过的值更低的读数都算回跳，不管偏移是多少。 干这件事的循环：\nfor (int i = 0; i \u0026lt; ITERS; i++) { uint64_t t0 = rdtsc_o(); /* CPU 0 */ atomic_store(\u0026amp;pp.t0, t0); atomic_store(\u0026amp;pp.seq, 2 * i + 1); /* the other core reads t1 now */ while (atomic_load(\u0026amp;pp.seq) != 2 * i + 2) ; uint64_t t2 = rdtsc_o(); /* CPU 0 again */ uint64_t t1 = atomic_load(\u0026amp;pp.t1); if (t1 \u0026lt; t0 || t2 \u0026lt; t1) r.warps++; /* time went backwards */ if (i \u0026gt; 100 \u0026amp;\u0026amp; t2 - t0 \u0026lt; r.rtt) { r.rtt = t2 - t0; r.offset = (int64_t)(t1 - (t0 + (t2 - t0) / 2)); } } 整个程序是面向 x86-64 Linux 的普通 C，不和 tscsync 或这台笔记本绑在一起。它需要 root 才能读 /dev/rtc0，第三个参数是你自己内核给出的数字，来自 journalctl -k -b | grep 'Refined TSC'：\ngcc -O2 -Wall -pthread -o tsccheck tsccheck.c sudo ./tsccheck 15 20 2096.073 \u0026#8615; tsccheck.c，完整的检查，共 161 行 tsccheck.c · 4 kB SHA-256 02eba1966a0097196acd5dfdcad9c4b315cafc1854c60f34c5b56080e6c38408。\n开机后立即采样，五分钟 20 个样本：\n指标 结果 时钟源 20 个样本全是 tsc，没有内核消息 回跳 约 420,000 次往返中 0 次 相对 CPU 0 的最大偏移 85 个周期，约 41 ns，没有趋势 全程频率 2,096.027 MHz，从第一分钟起都在 2,096.022 到 2,096.031 之间 每个 15 秒窗口的频率 2,095.943 到 2,096.104 MHz 每个 15 秒窗口及全程的 TSC 频率 +20 ppm 0 ppm -20 ppm -40 ppm -60 ppm 0 s 60 s 120 s 180 s 240 s 300 s 内核数值，2,096.073 MHz 15 s：窗口 -11.3 ppm，全程 -11.3 ppm 30 s：窗口 -61.1 ppm，全程 -36.2 ppm 45 s：窗口 -23.5 ppm，全程 -32.0 ppm 60 s：窗口 +15.0 ppm，全程 -20.2 ppm 75 s：窗口 -21.6 ppm，全程 -20.5 ppm 90 s：窗口 -21.8 ppm，全程 -20.7 ppm 105 s：窗口 -19.6 ppm，全程 -20.6 ppm 120 s：窗口 -50.5 ppm，全程 -24.3 ppm 135 s：窗口 +5.8 ppm，全程 -20.9 ppm 150 s：窗口 -20.3 ppm，全程 -20.9 ppm 165 s：窗口 -23.6 ppm，全程 -21.1 ppm 180 s：窗口 -13.7 ppm，全程 -20.5 ppm 195 s：窗口 -29.5 ppm，全程 -21.2 ppm 210 s：窗口 -22.3 ppm，全程 -21.3 ppm 225 s：窗口 -20.0 ppm，全程 -21.2 ppm 240 s：窗口 -24.7 ppm，全程 -21.4 ppm 255 s：窗口 -19.1 ppm，全程 -21.3 ppm 270 s：窗口 -22.2 ppm，全程 -21.3 ppm 285 s：窗口 -62.0 ppm，全程 -23.5 ppm 300 s：窗口 +9.2 ppm，全程 -21.9 ppm 单个 15 s 窗口，慢 61 ppm 截至此时的全程 15 秒窗口 截至此时的全程 对照 RTC 的频率，以相对内核数值的 ppm 表示。单个窗口成对地跳来跳去；全程数值在第一分钟内就稳定在慢 21 到 22 ppm，之后一直不变。 这些窗口看上去比实际糟。一次迟到的 RTC 跳变会让一个窗口变长、下一个变短，所以误差成对出现、互相抵消：30 秒时慢 61 ppm（百万分之一），60 秒时快 15 ppm。漂移是不会自己抵消的。全程数值几乎没动。\n整整五分钟，全程数值都比内核的 2,096.073 MHz 低 22 ppm。那是两块晶振之间的差距，而且纹丝不动。chrony 对照互联网时间服务器调校时钟，给出的是慢 16 到 19 ppm10。方向相同，大小相当。\n偏移在几个相同的值之间来回跳，正负 10、21 和 33 个周期，没有哪个核心越跑越远。那是约 550 个周期往返带来的噪声。tscsync 的核验仍会把其中一些判为 BAD。内核不会。\nTSC 撑住了吗？撑住了，我手头的每项指标都是。可一次开机后的五分钟，依然不等于一连串开机。下一步是在长时间运行之后再跑同样的检查，再重启几次各跑一遍。\n该修的是固件 tscsync 本不该需要存在。它自己的 README 就这么说：欢迎固件厂商拿走这个方法和代码，“which is where this should be fixed”1。Lenovo 手里有源码。tscsync 的作者只有自己笔记本肯告诉他的那点东西，外加 80 次开机的日志1。\n这才是让人咽不下去的地方。修这个毛病，要靠公司外的一个陌生人去测量、诊断、绕过去，而卖硬件的公司却只在那个会把毛病藏起来的操作系统上做验证。一台因为固件封闭而没法修的机器，算不上真是你的，它是附带条件借给你的。带签名更新的开放固件，本可以让任何一个肯花心思去看的人一次把它修好，修得妥妥当当。\n在那之前，tscsync 的作者干得漂亮。先有测量模式，有防挂死机制，数字公开，判定诚实，哪怕和内核意见相左。底层工具就该这么做。\n每一台用同样固件的 KVM 宿主机 在笔记本上，这只是损失些延迟和电量。在虚拟化宿主机上，每一台客户机也得跟着付，而下面说的这些都和 Proxmox 无关。它们全都在 Linux 内核的 KVM 代码里，所以任何基于 KVM 的宿主机都一样，不管上面跑的是什么：Proxmox VE、oVirt、OpenStack，还是裸的 QEMU 和 libvirt11。\n宿主机丢掉 TSC 时 KVM 会怎样 只有宿主机自己跑在 TSC 上，KVM 才会给客户机一个稳定的时钟。在内核源码里，主时钟（一台虚拟机里所有 vCPU 共享的同一个时间基准）只有在 host_tsc_clocksource 为真时才会打开12。一落到 HPET 它就关掉，好几件事同时变了：\n宿主机在 TSC 上 宿主机在 HPET 上，TSC 被标为不稳定 KVM 主时钟12 开 关 vCPU 迁移到另一个核心12 无需更新 该虚拟机的每个 vCPU 都被强制更新时钟，最多每秒 10 次 客户机的 TSC 偏移12 不动 每次迁移都重写，并进入追赶模式 发给客户机的 PVCLOCK_TSC_STABLE_BIT12 置位 不置位 客户机 clock_gettime()13 在用户空间读 变成系统调用，在客户机启动时就定下来 跨 vCPU 的客户机时钟读取14 各自独立 每次读取都要对照一个共享的全局值 最后一行就是扩展性很差的那一项。没有这个稳定位，客户机内核就不能相信每个 vCPU 的时钟彼此一致，所以每次读取都要和“last_value, a global accumulator”比较，如果更新，就用原子比较并交换写进去14。客户机里每个 vCPU 都要写这同一个值。读时钟的 vCPU 越多，在它上面排的队就越长。\n这些都不会表现为错误。客户机的时钟源仍然显示 kvm-clock，客户机里没有任何东西会告诉你它为什么变慢了。\n宿主机时钟源如何传到 KVM 客户机 宿主机在 TSC 上 宿主机时钟源：tsc 读一次只要一条指令 KVM 主时钟开启 为客户机置位稳定位 客户机在用户空间读取 vDSO，约 28 ns 宿主机在 HPET 上 宿主机时钟源：hpet 要跑一趟定时器设备 KVM 主时钟关闭 无稳定位，每次 vCPU 迁移都要更新 客户机发起系统调用 一个共享值，约 190 ns Proxmox VE、oVirt、OpenStack 或裸 QEMU 加 libvirt，都是同一套内核代码 宿主机的时钟源决定每台客户机拿到什么。在 TSC 上，客户机在用户空间读时钟。在 HPET 上，KVM 丢掉主时钟，每次 vCPU 迁移都强制更新时钟，客户机每次读时钟都变成系统调用，还要对照一个所有 vCPU 共享的值。 实测代价 我没把它停留在理论上，而是在这台笔记本上测了。宿主机的时钟源可以在运行时切换，这样关掉 KVM 主时钟的效果就和开机时的回退一样。一台一次性客户机用宿主机自己的内核启动，配 4 个 vCPU 和一个极小的 initramfs，里面唯一的程序就是给 clock_gettime() 计时。每种情况跑两遍，先宿主机，后客户机：\n每次读时钟的纳秒数，宿主机在 TSC 上对比在 HPET 上 宿主机 刻度 0 到 2,400 ns 宿主机，1 个线程，宿主机在 TSC 上：24 ns 24 ns 宿主机，1 个线程，宿主机在 HPET 上：1,542 ns 1,542 ns 1 个线程 宿主机，全部 8 个核心，宿主机在 TSC 上：29 ns 29 ns 宿主机，全部 8 个核心，宿主机在 HPET 上：1,922 ns 1,922 ns 全部 8 个核心 客户机，4 个 vCPU 刻度 0 到 300 ns 客户机，4 个 vCPU，用 1 个 vCPU，宿主机在 TSC 上：28 ns 28 ns 客户机，4 个 vCPU，用 1 个 vCPU，宿主机在 HPET 上：187 ns 187 ns 1 个 vCPU 客户机，4 个 vCPU，4 个全用，宿主机在 TSC 上：31 ns 31 ns 客户机，4 个 vCPU，4 个全用，宿主机在 HPET 上：244 ns 244 ns 4 个 vCPU 全用 宿主机时钟源 tsc 宿主机时钟源 hpet 每次 clock_gettime() 调用的纳秒数，每种情况两次运行的平均值。宿主机在 HPET 上慢了 61 到 73 倍；客户机单 vCPU 时约慢 7 倍，四个 vCPU 时约慢 8 倍。两个面板刻度不同，因为宿主机的 HPET 柱子会把客户机的压扁。 客户机并不直接付 HPET 的代价，因为 kvm-clock 底下读的仍是 TSC。它失去的是用户空间读取和 vCPU 之间的独立性，光这一点就慢了七倍。四个 vCPU 同时读时，代价又涨了一截，那就是那个共享全局值在起作用。一台 32 或 64 个 vCPU 的客户机会在它上面排更长的队。这个我没测。\n给它算个数。一台客户机在一个 vCPU 上每秒读一百万次时钟，在健康的宿主机上要花掉那个 vCPU 的 2.8%，在这台机器上是 19%。数据库、Java 虚拟机（JVM）以及其他任何给自己的工作打时间戳的东西，都会大量读时钟。\n而且这次测量还低估了。手动切换时钟源会关掉主时钟，但不会把 TSC 标为不稳定，所以上表里的那些偏移重写根本没发生。这台 E595 开机时的回退会把它标为不稳定，处在那种状态的宿主机两样都得付。\n\u0026#8615; clockbench.c，基准测试程序，可在宿主机上运行，也可作为客户机的 init clockbench.c · 2 kB 检查宿主机，以及局限 客户机时钟为什么本来就脆弱，我在 ptp_kvm 那篇文章里讲过；这是同一个问题从底下冒出来。要查的是宿主机，不是客户机：\njournalctl -k -b | grep -iE \u0026#39;TSC warp|TSC unstable\u0026#39; cat /sys/devices/system/clocksource/clocksource0/current_clocksource tscsync 从 GRUB 或 systemd-boot 运行1，大多数 KVM 宿主机都覆盖到了。Proxmox VE 用 GRUB；在 UEFI 安装、以 ZFS 为根且关闭 Secure Boot 的情况下用 systemd-boot15。不过在它靠近任何生产节点之前，先老老实实把局限摆出来。\n局限 怎么应对 只支持 AMD Zen 和 Hygon1 有 TSC_ADJUST 的 Intel 宿主机内核已经会修 硬件列表里每台机器都是笔记本4 把服务器当作未经测试，并上报结果 同步模式拒绝列表外的硬件，除非你主动选择1 覆盖之前先读明白原因 第一次同步开机可能挂死 先用测量模式，开着带外控制台，一次一个节点 BIOS 更新可能修好这个毛病 更新后切回测量模式检查1 同步干净了，TSC 仍可能被看门狗丢掉 每次开机后检查 current_clocksource；如果原因是看门狗就用 tsc=nowatchdog，然后自己测一遍 一个让笔记本损失些电量的固件毛病，会让虚拟化宿主机在运行的每一秒都从它跑的每台客户机身上削走一块，而客户机的主人根本看不到。这就是为什么你跑的每一台宿主机都该查一下 current_clocksource，不管是谁造的。\ntscsync README — 它做什么、HPET 读时钟的代价、为什么 tsc=reliable 不是修复、安全模型，以及 UNSURE 规则。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/tsc_sync.c — TSC_ADJUST 的处理、回跳测试，以及 “Measured %Ld cycles TSC warp between CPUs, turning off TSC clock.” 这条消息。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync — docs/DESIGN.md — AMD Zen 没有 IA32_TSC_ADJUST，tsc=directsync 被上游拒绝，Fisher-Price OS (Windows) 开机时自己写 TSC，以及 Legion Pro 5 上回跳随固件耗时增长。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync — docs/HARDWARE.md — 测试过的机器、IdeaPad 5 上 -28 到 -42 个周期仍被接受的核心，以及 A485、E495 和 T14s Gen 1 上报告的 BIOS 修复。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLenovo — BIOS Update Utility readme, ThinkPad E495/E595, version 1.30 — 两个型号共用一个软件包、截至 1.30（2024年5月14日）的版本历史，以及它的变更列表。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — kernel/time/clocksource.c — 时钟源看门狗、它的间隔比较，以及 “Marking clocksource %s unstable due to frequency skew” 这条消息。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — kernel-parameters — tsc=reliable 关闭运行时校验和开机时的稳定性检查；tsc=nowatchdog 只关闭时钟源看门狗。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync issue #1 — Lenovo ThinkPad E595 — 1.28 和 1.30 的报告、看门狗分析以及修改建议。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — Real Time Clock (RTC) Drivers for Linux — “The clock can also be set to generate an interrupt upon every clock update, thus generating a 1Hz signal”，通过 /dev/rtc 读取。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nchrony — chronyc manual — tracking：“The \u0026lsquo;frequency\u0026rsquo; is the rate by which the system\u0026rsquo;s clock would be wrong if chronyd was not correcting it.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKVM — Management Tools — Proxmox VE、oVirt、OpenStack 以及基于 libvirt 的工具，都在管理 KVM。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kvm/x86.c — pvclock_update_vm_gtod_copy()：“If the host uses TSC clock, then passthrough TSC as stable to the guest”，以及只有主时钟开启时才置位 PVCLOCK_TSC_STABLE_BIT。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/kvmclock.c — 只有置位 PVCLOCK_TSC_STABLE_BIT 时，客户机才启用 VDSO_CLOCKMODE_PVCLOCK 用户空间时钟。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/pvclock.c — 没有 PVCLOCK_TSC_STABLE_BIT 时，每次读取都要用原子比较并交换对照 “last_value, a global accumulator”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE — Host Bootloader — 默认 GRUB；UEFI 安装、ZFS 为根且关闭 Secure Boot 时用 systemd-boot。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/hardware/sorting-tsc-when-your-firmware-is-broken/","summary":"四个月里，我的 ThinkPad E595 每次开机交给 Linux 的都是一个比其余七个核心慢三秒的 CPU 核心，内核于是丢掉 TSC，改用 HPET。这条警告是什么意思，为什么 AMD Zen 机器没有办法在 Linux 内部修复它，40 次开机的日志对固件说了什么，为什么 tsc=reliable 是错误答案，以及 tscsync 怎样在内核看到计数器之前就在 UEFI 里测量并挪动它们，包括它判为 BAD、Linux 却照样接受的那一个核心。已针对 BIOS 1.30 更新：它修不好这个偏移，而且即使 tscsync 已经把核心同步好，内核的时钟源看门狗仍在两次开机中丢掉了 TSC。加上 tsc=nowatchdog 后 TSC 保住了，一个对照实时时钟、连源码一起公开的五分钟检查没有发现回跳，也没有发现漂移。最后，这种回退在任何 KVM 虚拟化宿主机上（不管是不是 Proxmox）会带来什么：主时钟没了，客户机失去快速读时钟的能力，在这台笔记本上客户机读一次时钟慢了七倍。","title":"固件坏了，自己把 TSC 理顺"},{"content":"为什么用证书而不是密钥 SSH 在首次使用时信任对方。连接一台新机器，它给你看一个指纹，问你是否确定。没人去核对。每个人都敲 yes。这和点过浏览器警告是同一个习惯，而这恰恰是中间那台机器需要你做的事。\n另一个方向也好不到哪里去。每台服务器为每个用户保存一个 authorized_keys 文件，而每一个都在变长。密钥被加进去，却从来不被删掉。有人离职了，他的密钥还留在一台没人记得的机器上，直到出事那天。重建一台服务器，每个客户端都大叫主机密钥变了，于是人们又学会了把警告也删掉。\nSSH 证书颁发机构把这两件事都了结了。CA 为每台主机的密钥签名，客户端信任的是 CA，而不是一串指纹。CA 为每个用户的密钥签一个只有几小时的证书，服务器信任的是 CA，而不是一串密钥。首次连接时没有什么要接受的，有人离开时没有什么要清理的，用户证书到明天就自己失效了。\n这和 你自己的证书颁发机构：容器里的 step-ca 里讲的 step-ca 的 X.509 那一面是不同的设置，所以它单独成文。同一个容器，不同的密钥，每台机器上不同的文件。这里的一切都是在 Podman pod 里用 step-ca 0.30.2 和 OpenSSH 10.0 跑出来的。\n没有 CA 有 step-ca 客户端遇到一台新服务器 显示指纹，你敲 yes 用 CA 检查主机证书，什么都不说 服务器被重建 每个客户端都警告密钥变了 给新密钥签名，客户端毫无察觉 给用户开通访问 他的密钥放进每台服务器的 authorized_keys CA 为他的密钥签名，每台服务器都接受 用户离开 在每台服务器上找出并删掉他的密钥 停止签名；他的证书 16 小时内失效 每台服务器要保存的东西 每个用户一个 authorized_keys 一把 CA 公钥 谁为什么签名，谁信任什么 step-ca 主机 CA 密钥 用户 CA 密钥 客户端 用户证书，16 小时 信任主机 CA 服务器 主机证书，30 天 信任用户 CA 为用户密钥签名 为主机密钥签名 ssh，无提示 双方检查 对方的证书 CA 为两边都签名。客户端只需信任主机 CA 的密钥，服务器只需信任用户 CA 的密钥。双方都不用保存对方的密钥列表。 打开 SSH CA SSH 密钥要么在第一次设置 step-ca 时生成，要么永远没有。第一次启动时设置 DOCKER_STEPCA_INIT_SSH=true1，日志里会多出两把密钥：\nSSH Host CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... SSH User CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... 密钥 签名对象 谁信任它 主机 CA 每台服务器的主机密钥 每个客户端，在 known_hosts 里 用户 CA 每个人的登录密钥 每台服务器，在 sshd_config 里 它还会添加一个 sshpop provisioner，主机以后就是靠它自己续期证书的。如果 CA 已经在没有 SSH 的情况下运行了，就没有开关可拨。那只能是一个新的 CA。\n为主机签名 拿服务器现有的主机密钥，签名，再把证书交还给服务器：\nstep ssh certificate --host --sign \\ --provisioner admin --provisioner-password-file prov-pass \\ nas.home.example ssh_host_ecdsa_key.pub 顺序很重要。provisioner 参数放在主机名和密钥文件之后时，step 拒绝了：\ntoo many positional arguments were provided in \u0026#39;step ssh certificate \u0026lt;key-id\u0026gt; \u0026lt;key-file\u0026gt;\u0026#39; 把所有参数放在前面，它就签了。ssh-keygen -L 读出来的证书如下：\n字段 值 类型 ecdsa-sha2-nistp256-cert-v01@openssh.com host certificate Key ID nas.home.example Principals nas.home.example 有效期 30 天，2026-10-09T18:34:30 至 2026-11-08T17:35:30 principal 是客户端连接时必须使用的名字。用证书上没有的名字连接，客户端就不会接受，所以主机应答的每个名字都要签进去。\n服务器 sshd_config 里两行2：\nHostCertificate /etc/ssh/ssh_host_ecdsa_key-cert.pub TrustedUserCAKeys /etc/ssh/ssh_user_ca_key.pub HostCertificate 把主机证书交给客户端，它的密钥“must match a private host key already specified”2。TrustedUserCAKeys 是用户 CA 的公钥，“trusted to sign user certificates for authentication”2。重启之前先跑 sshd -t。任何一个路径打错，sshd 都会说 Could not load host certificate，现在发现总比从一个被锁住的会话里发现要好得多。\n测试服务器上根本没有 authorized_keys。ls /home/damien/.ssh/authorized_keys 返回 No such file or directory，下面的登录照样成功。\n用户 CA 一次性生成密钥对并签名：\nstep ssh certificate damien id_ecdsa \\ --provisioner admin --provisioner-password-file prov-pass 字段 值 类型 user certificate Principals damien 有效期 16 小时 扩展 permit-agent-forwarding、permit-port-forwarding、permit-X11-forwarding、permit-pty、permit-user-rc 16 小时正是关键。它覆盖一个工作日，过夜就失效。吊销一个用户，基本上就是明天不再给他签名。\n客户端 known_hosts 里一行，取代了它本来会收集的每一个指纹3：\n@cert-authority *.home.example ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAy... 意思是：home.example 下任何证书由这把密钥签名的主机都是真的。@cert-authority 标记让它成为一行 CA 记录，而不是某一台主机的密钥。\n测试结果 四项测试全部来自一个客户端，它除了用户证书和那一行 known_hosts 什么都没有，并设置了 StrictHostKeyChecking=yes，所以没有任何东西能被临时接受：\n测试 结果 签过名的密钥带上证书，以 damien 登录 logged in as damien，退出码 0 同一把密钥，去掉证书 Permission denied (publickey,password,keyboard-interactive) 用证书以 root 登录 Permission denied：证书上只写了 damien 没有主机 CA 那一行的客户端 Host key verification failed. 第三项是大家容易忽略的。证书不会打开机器上的每个账户，只打开写进去的那些 principal。放在某人 authorized_keys 里的密钥做不到这一点。\n续期 主机用它已经持有的密钥为自己续期证书。这就是 sshpop provisioner，它“allows a client to renew, revoke, or rekey an SSH certificate using that certificate for authentication with the CA”4。不需要密码5：\nstep ssh renew --force ssh_host_ecdsa_key-cert.pub ssh_host_ecdsa_key 序列号 有效期至 签发 15166325869329416997 2026-11-08 17:35:30 续期 6678957789797316768 2026-11-08 17:35:59 新的序列号，重新算起的 30 天。放到一个每周的定时器上，主机就永远不会过期。之后重载 sshd，否则旧证书还留在内存里。\n用户续期就是再申请一次。每天一条 step ssh certificate，或者在当天第一次登录时，活儿就这么多。\n它在哪里会出问题 情况 会发生什么 怎么办 CA 宕机 已有的证书照常工作；没人能拿到新证书 把 CA 跑在一直在线的东西上；用户有 16 小时的余量 主机证书过期 客户端拒绝这台主机，把它当成陌生人 一个续期定时器，之后重载 sshd 某个用户必须今天走，不能等到明天 他的证书在过期前仍然有效 sshd_config 里的 RevokedKeys 接受一份吊销密钥列表2 主机名不在 principals 里 客户端拒绝这台主机 主机应答的每个名字都签进去 设置时没有生成 SSH CA 没有办法补加 新建一个 CA，设置时打开 SSH CA 的 SSH 密钥被偷 拿到它的人可以登录任何地方，冒充任何主机 把 CA 放在单独的机器上，做好备份，能离线就离线 最后一项就是代价。以前每个 authorized_keys 文件都是一个小风险。现在只有一个大风险，在一个地方。这样更好，因为一个地方可以被盯着、被锁好，但前提是有人去做。\n把信任放在能被检查的地方 指纹提示和 authorized_keys 文件有一个共同点。两者都要求一个人在没有任何信息的情况下做信任决定，每天如此，永远如此。人不擅长这个，也永远不会擅长，所以他们干脆不再判断，开始敲 yes。\nCA 把这个决定挪到一个地方，只做一次，在那里可以把它做好。整个思路就是这样，也是每一个值得拥有的标准背后的思路：把仔细的事做一次，写下来，别再让人每周在脑子里做上一百次。机器检查签名。你检查 CA。这是一种站得住的分工。\nsmallstep/certificates — docker/entrypoint.sh — DOCKER_STEPCA_INIT_SSH=true 会给 step ca init 加上 --ssh。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD manual — sshd_config(5) — HostCertificate：“The certificate\u0026rsquo;s public key must match a private host key already specified by HostKey”；TrustedUserCAKeys：“public keys of certificate authorities that are trusted to sign user certificates for authentication”；RevokedKeys：“Keys listed in this file will be refused for public key authentication”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD manual — sshd(8), SSH_KNOWN_HOSTS FILE FORMAT — “@cert-authority” 标记 “to indicate that the line contains a certification authority (CA) key”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Provisioners, SSHPOP — “An SSHPOP provisioner allows a client to renew, revoke, or rekey an SSH certificate using that certificate for authentication with the CA.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step ssh renew — 用来续期主机证书的命令。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/certificates/step-ca-ssh-certificates/","summary":"把 step-ca 0.30.2 用作 SSH 证书颁发机构，在 OpenSSH 10.0 上测试。为什么证书胜过 authorized_keys 和首次使用即信任；在第一次设置 step-ca 时打开 SSH CA；为主机密钥签名（以及会让它出错的参数顺序）；两行 sshd_config 和 known_hosts 里唯一一行 @cert-authority；一张 16 小时的用户证书；四项登录测试，包括错误的用户和不受信任的主机；用 sshpop 续期主机证书；以及它在哪里会出问题。","title":"由 step-ca 签名的 SSH 登录：告别 authorized_keys"},{"content":"为什么手机是难办的情况 step-ca 的默认设置是为服务器准备的。服务器每天早上自己续期，你自己的证书颁发机构：容器里的 step-ca 展示了这在 ACME 客户端和任何能运行 step ca renew 的东西上是怎么工作的。那篇文章还讲了启动 CA、它的两个密码以及信任根证书，本文从那里接着讲。一部为 Home Assistant 应用 持有客户端证书的手机什么都续不了，而一旦它丢了，你需要今天就把它锁在外面，而不是等到它的证书过期。挡在路上的默认设置有五个，没有一个会大声报错。它们只是让你手里的证书明天就失效，吊销列表拒绝所有人。\n默认设置 对手机的影响 解决办法 证书最长 24 小时 手机的证书明天就失效，Home Assistant 应用无法续期 在 ca.json 里调高 maxTLSCertDuration CRL 关闭 吊销一部丢失的手机，什么地方都不会变 打开 crl 配置块 CRL 作用范围与证书不匹配 nginx 拒绝每一部手机，好的也不例外 设置 idpURL，并加一个带 crlDistributionPoints 的模板 中间证书没有 CRL nginx 仍然拒绝每一部手机 每年签一份空的根 CRL CRL 有效期 24 小时 过期时 nginx 又拒绝每一部手机 用定时器刷新 Cloudflare 在免费计划上替你做了 CA 这一半，Cloudflare 版本 里有展示。自己做，就意味着五件都得做。下面的测试跑在一个名为 Home Assistant CA 的 CA 上，输出里看到的就是这个名字。\n默认设置一：证书只有一天 申请一年，CA 会拒绝：\nThe request was forbidden by the certificate authority: requested duration of 8760h1m0s is more than the authorized maximum certificate duration of 24h1m0s. 对服务器和 ACME 客户端来说这是正确的默认值，它们整天都在续期，没人察觉。手机是例外。Home Assistant 应用没有办法自己续期客户端证书，所以 24 小时的证书意味着每天都要走到每一部手机跟前去。\n有效期是一个设置，就在 step-ca 自己的配置里。ca.json 里的每个 provisioner 都接受 claims1：\n\u0026#34;claims\u0026#34;: { \u0026#34;maxTLSCertDuration\u0026#34;: \u0026#34;8760h\u0026#34;, \u0026#34;defaultTLSCertDuration\u0026#34;: \u0026#34;24h\u0026#34; } Claim 含义 设置为 maxTLSCertDuration 这个 provisioner 肯签的最长证书 8760h，一年 defaultTLSCertDuration 不特别要求时得到的有效期 保持 24h，这样一年永远是刻意的选择 minTLSCertDuration 它肯签的最短证书 不动 重启容器，一年的申请就能通过。一年是判断，不是规矩。越短，被偷的证书能派上用场的时间越少，你在屋里来回跑着重装证书的次数越多。\n默认设置二：CRL 是关着的 证书吊销列表（CRL）是 CA 签名的一份清单，列出它已经撤回的证书。丢失的手机就是靠它在证书过期之前被锁在外面的，而 step-ca 不被告知就不会生成它。文档把这个功能标为实验性的1。\n\u0026#34;crl\u0026#34;: { \u0026#34;enabled\u0026#34;: true, \u0026#34;generateOnRevoke\u0026#34;: true, \u0026#34;cacheDuration\u0026#34;: \u0026#34;24h\u0026#34; } 字段 作用 默认值 enabled 是否生成 CRL 关 generateOnRevoke 证书一被吊销就重建列表 关 cacheDuration 每份列表的有效时长 24 小时1 idpURL 列表声称自己覆盖的 URL CA 自己的名字加上 /1.0/crl2 记住这个 24 小时。它还会回来。\n默认设置三：一份谁都不接受的 CRL CRL 打开以后，吊销一部手机，然后用它检查两部手机：\n$ openssl verify -CAfile client-ca.pem -CRLfile crl.pem -crl_check phone1.crt phone2.crt CN=phone1 error 44 at 0 depth lookup: different CRL scope error phone1.crt: verification failed CN=phone2 error 44 at 0 depth lookup: different CRL scope error phone2.crt: verification failed 两部都失败，好的那部也是。把这份列表放到 nginx 前面，谁都进不来。\n列表自己就说明了原因。step-ca 给每份 CRL 都打上一个关键（critical）的 Issuing Distribution Point，意思是“这份列表覆盖指向这里的证书”。而它签发的证书哪儿也没指：\n$ openssl crl -in crl.pem -noout -text X509v3 Issuing Distribution Point: critical Full Name: URI:https://localhost/1.0/crl $ openssl x509 -in phone1.crt -noout -ext crlDistributionPoints No extensions in certificate OpenSSL 不会把作用范围与证书不匹配的列表套用上去。所以它以失败关闭。这是对的，但对谁都没用。\nCRL 声称覆盖 证书说它的 CRL 在 结果 开箱即用 https://localhost/1.0/crl，critical 哪儿都没有 different CRL scope，所有人被拒 idpURL 加模板 http://ca.home.example/1.0/crl http://ca.home.example/1.0/crl 好手机通过，被吊销的失败 默认的 URL 甚至不是 CA 实际提供服务的地址。step-ca 的源码自己也这么说：“this is currently using the port 443 by default”2。两个设置能解决它，而且两者必须写同一个 URL。idpURL 放进 ca.json 的 crl 块，provisioner 上的一个模板把匹配的 crlDistributionPoints 盖进每张证书3：\n{ \u0026#34;subject\u0026#34;: {{ toJson .Subject }}, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;serverAuth\u0026#34;, \u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } \u0026#34;options\u0026#34;: { \u0026#34;x509\u0026#34;: { \u0026#34;templateFile\u0026#34;: \u0026#34;templates/leaf-crl.tpl\u0026#34; } } 重新签发手机的证书，因为只有新证书才带这个字段，同样的检查就给出了正确答案：\nCN=phone2 error 23 at 0 depth lookup: certificate revoked error phone2.crt: verification failed phone1.crt: OK 根证书也需要 CRL 那次检查只看了手机的证书。nginx 看的是整条链。它设置了 OpenSSL 的 CRL_CHECK_ALL 标志4，文档也说得很明白：“When using intermediate certificates, their CRLs should be specified in the same file”5。step-ca 用它的中间证书签发证书，而且只列出中间证书吊销的东西。没有任何东西说明中间证书本身是否仍然有效：\n$ openssl verify -CAfile client-ca.pem -CRLfile crl.pem -crl_check_all phone1.crt O=Home Assistant CA, CN=Home Assistant CA Intermediate CA error 3 at 1 depth lookup: unable to get certificate CRL 哪份 CRL 覆盖哪张证书 根 CA 本身即受信任 中间证书 为每张证书签名 phone1 有效 phone2 已吊销 服务器 ha.example.com 签名 nginx 检查每一环 没有 CRL 的一环被拒绝 根 CRL 365 天，由 OpenSSL 生成 step-ca 的 CRL 24 小时，列出 phone2 覆盖 覆盖 根以下的每一环都需要一份由它上面那张证书签发的 CRL。step-ca 覆盖了最底下一行。在你自己签一份根 CRL 之前，没有东西覆盖中间证书。 解决办法是一份由根签名、什么都不吊销的 CRL。OpenSSL 用根密钥和 CA 自己的密码文件就能生成，而且可以有效一年，因为根平时什么都不吊销：\n[ca] default_ca = root [root] database = index.txt crlnumber = crlnumber default_md = sha256 default_crl_days = 365 private_key = root_ca_key certificate = root_ca.crt crl_extensions = crl_ext [crl_ext] authorityKeyIdentifier = keyid:always touch index.txt \u0026amp;\u0026amp; echo 1000 \u0026gt; crlnumber openssl ca -config root-crl.cnf -gencrl -passin file:password -out root.crl.pem 两份列表放进一个文件，整条链就检查通过了：\n$ openssl verify -CAfile client-ca.pem -CRLfile crl-chain.pem -crl_check_all phone1.crt phone2.crt CN=phone2 error 23 at 0 depth lookup: certificate revoked error phone2.crt: verification failed phone1.crt: OK 在日历上记下一年后的日期。根 CRL 过期的那天，每一部手机又会被锁在外面。\n发布 CRL CRL 必须放在每张证书里那个 URL 指向的地方。不是 CA 本身。\n选择 原因 前面放一个 Web 服务器，而不是 9000 端口 9000 端口是 step-ca 的整个 API，包括签名。除了列表，谁都不需要其中任何东西 普通 HTTP，不用 HTTPS RFC 5280 说分发点“SHOULD include at least one LDAP or HTTP URI”6。通过 HTTPS 获取需要检查证书，而检查证书又需要列表。HTTP 打破了这个循环 不担心篡改 列表是签过名的。改一个字节，签名就失效 只有两个 CRL 路径会应答 其他一律 404 两种 Web 服务器几行配置就能做到，都把列表从 step-ca 原样转出，并把根 CRL 作为文件提供：\nserver { listen 80; listen [::]:80; server_name ca.home.example; location = /1.0/crl { proxy_pass https://127.0.0.1:9000; proxy_ssl_trusted_certificate /etc/step/root_ca.crt; proxy_ssl_verify on; proxy_ssl_name localhost; } location = /root.crl { alias /etc/step/root.crl; default_type application/pkix-crl; } location / { return 404; } } http://ca.home.example { handle /1.0/crl { reverse_proxy https://127.0.0.1:9000 { transport http { tls_trust_pool file /etc/step/root_ca.crt tls_server_name localhost } } } handle /root.crl { header Content-Type application/pkix-crl root * /etc/step file_server } handle { respond 404 } } 请求 nginx Caddy /1.0/crl 200，application/pkix-crl，签发者为中间证书 200，application/pkix-crl，签发者为中间证书 /root.crl 200，application/pkix-crl 200，application/pkix-crl /roots.pem、/1.0/sign 和 API 的其余部分 404 404 两者在 IPv6 和 IPv4 上都应答，也理应如此。Caddy 默认两个都监听。nginx 只在被告知的地方监听，所以单独一行 listen 80; 只有 IPv4，旁边还需要 listen [::]:80;。通过 ::1 测试，nginx 加上那一行之后，两者返回列表都是 200。step-ca 本身开箱就监听两者。\n测试跑在 8080 和 8081 端口上，所以测试证书里的 URL 带了端口。实际使用时是 80 端口，URL 和模板里写的完全一样。\n保持新鲜 step-ca 生成的每份 CRL 都带一个 24 小时之后的 nextUpdate。过了那个时间它就过期了，而过期的列表和缺失的列表以同样的方式失败：\n$ openssl verify -CAfile client-ca.pem -CRLfile crl-chain.pem -crl_check_all \\ -attime $(( $(date +%s) + 172800 )) phone1.crt error 12 at 0 depth lookup: CRL has expired 这是那部好手机。两天之后。被锁在外面，因为没有东西去取新的列表。\n发布 CRL 并保持它新鲜 step-ca :9000，整个 API 留在内部 nginx 或 Caddy 80 端口，v4 和 v6 /1.0/crl, /root.crl 其余 404 列表过期 24 小时后， 每部手机被拒 定时器 每隔几小时 mTLS 代理 ssl_crl，已重载 CRL 获取 重载 停止 step-ca 的 API 留在内部。Web 服务器只提供那两份列表，一个定时器取回新的列表并重载代理。停掉定时器，一天之后列表过期，每一部手机都被锁在外面。 nginx 只在启动或重载时读取 ssl_crl。所以必须有东西每隔几个小时去取列表、重建文件、重载 nginx，只要这套东西还在运行就一直如此，不管有没有人在看。\n#!/bin/sh # Fetch step-ca\u0026#39;s CRL, add the root CRL, and reload nginx only if both parse. set -eu dir=${CRL_DIR:-/etc/nginx/pki} tmp=$(mktemp) trap \u0026#39;rm -f \u0026#34;$tmp\u0026#34; \u0026#34;$tmp.pem\u0026#34;\u0026#39; EXIT curl -fsS --max-time 20 \u0026#34;${CRL_URL:-http://ca.home.example/1.0/crl}\u0026#34; -o \u0026#34;$tmp\u0026#34; openssl crl -inform DER -in \u0026#34;$tmp\u0026#34; -out \u0026#34;$tmp.pem\u0026#34; openssl crl -in \u0026#34;$dir/root.crl.pem\u0026#34; -noout cat \u0026#34;$tmp.pem\u0026#34; \u0026#34;$dir/root.crl.pem\u0026#34; \u0026gt; \u0026#34;$dir/crl-chain.pem.new\u0026#34; mv \u0026#34;$dir/crl-chain.pem.new\u0026#34; \u0026#34;$dir/crl-chain.pem\u0026#34; ${RELOAD:-nginx -s reload} 运行 结果 正常 新列表就位，nginx 已重载，phone1 返回 200，已吊销的 phone2 返回 400 CA 无法访问 curl: (22) The requested URL returned error: 404，退出码 22，旧列表原封不动，不重载 真正干活的是 set -e。一次失败的获取绝不能用一个空文件覆盖好的文件，因为坏掉的列表和过期的列表一样肯定会把所有人锁在外面。用 systemd 定时器或 cron 每隔几个小时跑一次。这样在任何东西过期之前它有好几次机会。没什么巧妙的，但门能一直用，靠的就是这一步。\n给手机签发证书 每部手机一张证书，以手机命名，有效期一年：\nstep ca certificate phone1 phone1.crt phone1.key \\ --provisioner admin --provisioner-password-file prov-pass \\ --not-after 8760h --kty EC 手机要的是证书、私钥和中间证书合在一个 PKCS12 文件里，step 自己就能打包7：\nstep certificate p12 phone1.p12 phone1.crt phone1.key \\ --ca certs/intermediate_ca.crt MAC: sha256, Iteration 2048 PKCS7 Encrypted data: PBES2, PBKDF2, AES-256-CBC, Iteration 2048, PRF hmacWithSHA256 这是现代的加密方式，也正是 Home Assistant Companion 文档说应该先试的，不行再退回旧格式的容器8。\n手机需要从 CA 拿三样东西，而不是一样：\n文件 安装为 原因 root_ca.crt CA 证书 让手机信任 step-ca 为代理签发的服务器证书 intermediate_ca.crt CA 证书 根与 CA 实际签发的每张证书之间的那一环 phone1.p12 VPN 和应用用户证书 手机自己的私钥，就是靠它进门 Home Assistant Android 应用除了内置的 CA 证书，也信任用户安装的 CA 证书9，所以 step-ca 签发的服务器证书可以用。对这件事来说它也是更好的一把锁。这个主机名只在家里和手机上有意义，一台没有你的根证书的设备连服务器都不信任，更别说通过它了。\n手机丢了的时候：\nstep ca revoke --cert phone2.crt --key phone2.key --reason \u0026#34;phone lost\u0026#34; Certificate with Serial Number 89334534279272070053632987406394420097 has been revoked. 新列表当场就生成了，下一次刷新会把它放到 nginx 前面。\nCA 是你每天都要兑现的承诺 跑这套东西，让我印象最深的是签发证书的工作量有多小。一条命令。仅此而已。活儿全在它周围的承诺里：被吊销的手机一直进不来，好的手机一直进得来，列表永远不过期。step-ca 兑现了第一条，其余的留给你，而它的默认设置假定你是一群每天早上自己续期的服务器。\n这不是缺陷，它本来就是为那种用户做的。但这正是一个工具实际做什么和它被宣传成做什么之间的差距。“自己运行一个 CA”听起来是一个容器加一个下午。实际上是一个容器、一个下午、一个模板、一份在日历上记着日期的根 CRL，还有一个你会忘记它存在、直到它停下那天的定时器。\n还是去做。你自己运行的 CA，别人关不掉、改不了价、也读不到。只是要知道，拥有密钥就意味着承担杂活，而正是这些杂活让门一直关着。\nSmallstep — step-ca configuration — maxTLSCertDuration、defaultTLSCertDuration、minTLSCertDuration；crl 配置块标为 “(experimental)”，cacheDuration “Defaults to 24h”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsmallstep/certificates v0.30.2 — authority/tls.go — CRL 的 Issuing Distribution Point 在设置了 idpURL 时取它，否则取 CA 自己的名字加 /1.0/crl，并标为 critical。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Certificate templates — crlDistributionPoints “defines URLs with the certificate revocation list”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — src/event/ngx_event_openssl.c — ssl_crl 设置 X509_V_FLAG_CRL_CHECK|X509_V_FLAG_CRL_CHECK_ALL。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — ngx_http_ssl_module, ssl_crl — “When using intermediate certificates, their CRLs should be specified in the same file.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5280 — Internet X.509 PKI Certificate and CRL Profile — 第 4.2.1.13 节：DistributionPointName “SHOULD include at least one LDAP or HTTP URI”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step certificate p12 — 把证书、它的私钥和 CA 证书打包成一个 PKCS12 文件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Networking, TLS Client Authentication — 先试当前默认的 PKCS12，只有失败时才用 OpenSSL -legacy 容器。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android — network_security_config.xml — 信任锚是 system 加 user：“Additionally trust user added CAs”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/certificates/step-ca-client-certificates-mtls/","summary":"用 step-ca 0.30.2 为双向 TLS 签发客户端证书，在 nginx 1.30.5 和 Caddy 2.11.7 上做了端到端测试。为什么手机是难办的情况；在 ca.json 里放宽 24 小时的证书上限；打开 CRL；为什么在 idpURL 和模板加上匹配的分发点之前它会报 “different CRL scope”；nginx 检查整条链所需的根 CRL；通过 IPv4 和 IPv6 的普通 HTTP 发布 CRL；防止过期 CRL 把所有人锁在外面的刷新任务；以及为手机签发、打包、安装和吊销证书。","title":"用 step-ca 签发客户端证书，以及把所有人锁在门外的默认设置"},{"content":"同一把锁，你自己的门 通过 Cloudflare 访问 Home Assistant 应用，并锁定到证书 把锁放在 Cloudflare 的边缘。手机持有一张证书，Cloudflare 检查它，任何没有证书的东西都到不了家里。它管用，它免费，而这意味着 Cloudflare 把着大门，并在流量经过时读取它。\n这里是同一把锁，门装在你自己家里。nginx 或 Caddy 检查证书。你自己的证书颁发机构签发它。路径上没有别人。没有证书的东西照样看不到登录页面，所以变化的不是陌生人能不能进来。而是谁来干活，出了问题谁来承担风险。\n这里的一切都搭建并测试过：Podman 里的 nginx 1.30.5 和 Caddy 2.11.7，证书来自 step-ca 0.30.2，每个代理都在 IPv4 和 IPv6 上分别用无证书、好证书、已吊销证书和一次 WebSocket 升级去打。测试里的后端是一个小替身，把收到的请求头原样回显，所以结果显示的正是 Home Assistant 会拿到的东西。\nCloudflare 离开后有什么变化 在家里用 nginx 或 Caddy 实现 mTLS 手机 持有证书 其他任何人 无证书 洪水攻击 不需要证书 家庭网络 路由器 443 端口 没有 DDoS 防护 nginx 或 Caddy 链到你的 CA？ 未被吊销？ IPv4 和 IPv6 step-ca Home Assistant 信任代理 被拒绝 在握手时 通过 失败 现在所有东西都到你的路由器。代理在 Home Assistant 看到之前就拒绝任何没有好证书的东西。洪水攻击不需要证书，上游没有东西替你吸收，它就落在你的线路上。 Cloudflare 版本 家里的 nginx 或 Caddy 谁检查证书 Cloudflare 的边缘，靠一条 WAF 规则 你的代理，在 TLS 握手期间 证书颁发机构 Cloudflare 托管 你自己的，为客户端证书搭建的 step-ca 谁能看到解密后的流量 Cloudflare，然后是 Home Assistant 你的代理和 Home Assistant，没有别人 从外面进来的路 一条隧道，只有出站 一个指向代理的端口转发 DDoS 落在哪里 Cloudflare 你家的线路 一个陌生人的连接让你付出什么 家里什么都不付出 代理上一次 TLS 握手，绝不会到 Home Assistant 的登录 IPv4 和 IPv6 两者都行，Cloudflare 都应答 线路两者都有、代理两者都监听时才行 吊销 内置，由规则检查 nginx 检查 CRL；Caddy 维护一份允许列表 服务商宕机时 无法远程访问 什么都不变 运行成本 免费计划 免费，再加上你花在 CA 上的时间 最重要的两行朝相反的方向拉。没有别人读你的流量，也没人能把你关掉，这就是主权，也是这么做的全部理由。但端口转发又回来了，所以扫描和洪水打在你的线路上，而不是 Cloudflare 的。和 Cloudflare 那篇比较里的普通端口转发相比，区别在于它们到了之后找到的是什么：一个在握手期间就断开连接的代理，而不是 Home Assistant 的登录页面。\n要清楚这能买到什么、买不到什么。你自己的反向代理完全不提供 DDoS 防护。mTLS 阻止陌生人进来。它对阻止陌生人塞满你的线路毫无作用，而洪水不需要证书就能塞满它。Cloudflare 在每个计划上都替你吸收这些，免费计划也包括在内1。这里上游没有人替你吸收，所以足够大的洪水会让整个家断网，而代理只能拒绝它看得到的连接。\nnginx 还是 Caddy 两者都能胜任。它们在一个要紧的地方不同。吊销。\nnginx 和 Caddy 的吊销方式 nginx：一份 CRL，由定时器获取 step-ca 吊销，新 CRL /1.0/crl 普通 HTTP 定时器 获取，重载 nginx 检查整条链 Caddy：一份手工维护的允许列表 你 每次重新签发 允许列表 精确的证书 重载 每次编辑后 Caddy leaf 验证器 nginx 由定时器喂给一份 CRL，并在每次连接时检查它。Caddy 不支持 CRL，所以吊销就是一份由你手工维护的精确证书列表。 nginx 1.30.5 Caddy 2.11.7 无证书 握手完成，400 No required SSL certificate was sent 握手被拒，curl 退出码 55 已吊销证书 被拒，400 The SSL certificate error 只做 CA 检查时直接放行 吊销方式 一份 CRL，在整条链上检查 一份证书允许列表，即 leaf 验证器 应用用的 WebSocket 需要设置 Upgrade 和 Connection 请求头 不用额外配置就能用 IPv6 加上 listen [::]:443 才有 默认两者都监听 配置 约 30 行 约 15 行 吊销是要做决定的那一项。Caddy 的文档只列出了标准 Caddy 自带的一个验证器 leaf，它检查证书是否“is one of a defined set of permitted certificates”2。客户端证书没有 CRL，也没有 OCSP。只让 Caddy 指向 CA，一部被吊销的手机就能走进来。测试正好证明了这一点：一小时前被吊销的 phone2 拿到了 200。允许列表堵上了这个缺口。它也是一份你要手工维护的列表，只要你还在运行它。\nnginx 配置 map $http_upgrade $connection_upgrade { default upgrade; \u0026#39;\u0026#39; close; } server { listen 443 ssl; listen [::]:443 ssl; server_name ha.example.com; ssl_certificate /etc/nginx/pki/server-chain.pem; ssl_certificate_key /etc/nginx/pki/server.key; ssl_protocols TLSv1.2 TLSv1.3; # The mTLS half: only certificates from our CA, and not revoked. ssl_client_certificate /etc/nginx/pki/client-ca.pem; ssl_verify_client on; ssl_verify_depth 2; ssl_crl /etc/nginx/pki/crl-chain.pem; location / { proxy_pass http://192.0.2.10:8123; proxy_http_version 1.1; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection $connection_upgrade; } } 行 为什么要有它 listen [::]:443 ssl 没有它 nginx 只有 IPv4，一部在 IPv6 网络上的手机无处落脚 ssl_verify_client on 没有证书，就进不来。optional 会让请求先通过、留待以后判断 ssl_verify_depth 2 step-ca 用中间证书签名，所以链是手机、中间证书、根。默认值 1 不够深3 ssl_client_certificate 中间证书和根放在一个文件里 ssl_crl step-ca 的 CRL 和一份根 CRL 放在一个文件里。nginx 检查链上的每一环，所以两份都要 Upgrade 和 Connection 应用通过 WebSocket 和 Home Assistant 通信。没有这两行，应用能打开，然后就卡在那里 CRL 文件是需要小心的部分，全部内容都在 用 step-ca 签发客户端证书 里：为什么 step-ca 的 CRL 在模板修好它的作用范围之前会被拒绝，为什么 nginx 还要一份来自根的 CRL，以及在它过期前刷新它的定时器。跳过这些，nginx 会把每一部手机都锁在外面，好的也不例外。\n测试拿回来的结果：\n客户端 IPv4 IPv6 无证书 400 No required SSL certificate was sent 400 phone1 200，X-Forwarded-For: 127.0.0.1 200，X-Forwarded-For: ::1 phone2，已吊销 400 The SSL certificate error 400 phone1，WebSocket 升级 200，Upgrade: websocket 已透传 200，Upgrade: websocket 已透传 加上 IPv6 的 listen 那一行之前，IPv6 请求根本连不上。curl 退出码 7。\nCaddy 配置 ha.example.com { tls /etc/caddy/pki/server-chain.pem /etc/caddy/pki/server.key { client_auth { mode require_and_verify trust_pool file /etc/caddy/pki/client-ca.pem verifier leaf { file /etc/caddy/pki/allowed-phones.pem } } } reverse_proxy 192.0.2.10:8123 } require_and_verify 表示证书必须存在，而且必须能链到 CA2。verifier leaf 就是吊销。只有 allowed-phones.pem 里的证书能进来，所以吊销一部手机就是把它的证书从那个文件里拿掉，然后重载。\n客户端 IPv4 IPv6 无证书 握手被拒 握手被拒 phone1，在列表上 200，X-Forwarded-For: 127.0.0.1 200，X-Forwarded-For: ::1 phone2，已吊销，只做 CA 检查 200 phone2，不在列表上 握手被拒 握手被拒 phone1，通过 HTTP/1.1 的 WebSocket 升级 200，Upgrade: websocket 已透传 允许列表有它自己的陷阱，测试一头撞了进去。列表里存的是精确的证书，不是名字。重新签发一部手机的证书，新证书就不在列表上。测试进行到一半时 phone1 被重新签发，Caddy 用 tls alert bad certificate 拒绝了它，直到列表重建为止。现在每次续期都是两件活。签发证书，然后更新列表。忘了第二件，手机就白白被锁在外面。\nCaddy 启动时还会记录 enabling strict SNI-Host enforcement because TLS client auth is configured。这是它在做正确的事：一个请求在握手里要的主机名必须和 HTTP 请求里的一样，这样谁也没法先通过一个站点的证书检查，再去要另一个站点。\nHome Assistant 这边 和 Cloudflare 版本同样的设置，只是对准了另一个代理。在 设置 → 系统 → 网络 → HTTP 服务器 下4：\n设置 值 原因 信任 X-Forwarded-For 开 没有它，Home Assistant 会拒绝经过代理的请求 受信任的代理 只填代理的地址，IPv4 和 IPv6 都填，例如 192.0.2.20 和 2001:db8::20 只有那台机器可以声称在替别人转发 启用 IP 封禁 开 封禁落在代理传过来的真实客户端地址上 Home Assistant URL，互联网 https://ha.example.com 应用会把它当作外部 URL 代理的 IPv6 地址和 IPv4 地址都要列上。测试显示 nginx 在 IPv6 上把 ::1 作为客户端地址转发，实际使用时它会转发手机来自的任何地址。如果 Home Assistant 只信任代理的 IPv4 地址，那么每个经由 IPv6 从代理到达它的请求都会被拒绝。\n手机 手机需要从 step-ca 拿三个文件。全部内容见 step-ca 客户端证书那篇，CA 本身的搭建见 你自己的证书颁发机构。\n文件 安装为 根证书 CA 证书 中间证书 CA 证书 手机的 PKCS12 文件 VPN 和应用用户证书5 代理上的服务器证书也来自 step-ca。Home Assistant Android 应用信任用户安装的 CA 证书6，所以它接受这张证书，而这是第二把锁，不是麻烦。一台没有你的根证书的设备连服务器都不信任，更轮不到问它自己的证书。\n然后把应用的连接安全级别设为 最安全，和 Cloudflare 版本一样7。\n它在哪里会出问题 情况 会发生什么 怎么办 CRL 过期 nginx 拒绝每一部手机 用定时器刷新，见 step-ca 那篇 根 CRL 过期 一样，在一年之后 在日历上记个日期 Caddy，手机已吊销 除非不在允许列表上，否则能进来 维护好列表，或者用 nginx Caddy，手机重新签发 在列表更新之前被锁在外面 每张证书都更新列表 家庭线路在运营商级 NAT 后面，没有 IPv6 什么都到不了端口转发 IPv6，或者 Cloudflare 版本 对准家庭线路的洪水 让整个家断网，不只是 Home Assistant Cloudflare 版本，如果这比第三方更让你担心的话 iPhone、Wear OS 和 Cloudflare 版本一样：Android 是有文档的应用，Wear OS 在设置时要 PKCS125 依赖它之前先测试 这些没有一项是隐藏的。每一项都是一件活。在旁边写下一个日期或一条命令，它就一直是一件活，而不是一个意外。\n整套东西都归你 Cloudflare 版本和这个版本挡住的是同一个陌生人。区别在于挡的时候你得信任谁。\n用 Cloudflare，你信任一家公司把着大门、解密流量，并且一直免费提供。用这个，你信任自己去刷新 CRL、把列表理清楚、在日子到来时察觉到。两者都离不开信任。一个把信任交给一个你不付钱、也打不通电话的人。另一个把信任留在家里，在那里你能看到它出故障，也能修好它。\n对一座房子的前门来说，我知道自己更愿意选哪个。活儿就是几个文件和一个定时器。它真正要求的只是你照看好它，而拥有任何东西从来都是这个意思。\nCloudflare — DDoS Protection — 自动的 DDoS 检测和缓解，“Available on all plans”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — tls directive, client_auth — require_and_verify “Require clients to present a valid certificate that is verified”；“The one verifier, currently, shipped in standard Caddy is leaf”，它检查证书是否 “is one of a defined set of permitted certificates”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — ngx_http_ssl_module — ssl_verify_depth 默认为 1；ssl_crl：“When using intermediate certificates, their CRLs should be specified in the same file.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant — HTTP integration — 反向代理、受信任的代理和 IP 封禁；自 2026.8 起可在界面中设置。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Getting Started, TLS client authentication — 安装为 “VPN \u0026amp; app user certificate”；Wear OS 需要在初始设置时以 PKCS12 提供证书。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android — network_security_config.xml — 信任锚是 system 加 user：“Additionally trust user added CAs”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Connection security level — “最安全”只在家庭网络上使用未加密的 URL。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/homeassistant/home-assistant-app-mtls-nginx-caddy/","summary":"在家里用 nginx 或 Caddy 把 Home Assistant 应用锁定到客户端证书，用 step-ca 而不是 Cloudflare 作为证书颁发机构。Cloudflare 离开路径后有什么变化；一份 nginx 配置和一份 Caddy 配置，各自在 IPv4 和 IPv6 上用无证书、好证书、已吊销证书和 WebSocket 升级做了测试；为什么 nginx 能检查 CRL 而 Caddy 只能维护一份允许列表；Home Assistant 的受信任代理设置；手机上需要安装什么；以及它在哪里会出问题。","title":"用证书锁住 Home Assistant 应用：nginx 或 Caddy，不用 Cloudflare"},{"content":"为什么要自己运行 CA 看看如今家庭网络上都有什么。一台 NAS、Proxmox、Home Assistant、一台打印机、路由器的管理页面。它们每一个都用自签名证书提供 HTTPS。每个访问它们的浏览器都会弹出警告。人们点过去。然后点过下一个，再下一个，直到点过证书警告成了理所当然的事。这正是攻击者需要的习惯。\n公共 CA 解决不了这个问题。Let\u0026rsquo;s Encrypt 不会为 localhost 签发证书，“because nobody uniquely owns it”1，任何只存在于家里的名称也一样。即使是真实的域名，它签发的每一张证书都会进入公开的证书透明度（Certificate Transparency）日志2。给 nas.yourname.uk 申请一张，你的 NAS 的名字就成了公开记录。\n自己的 CA 两个问题都能解决。它为你在内部使用的任何名称签名。什么都不会被公布到任何地方。一旦每台设备都信任了它的根，警告就消失了，而警告也重新变回了有意义的东西。\nstep-ca 是 Smallstep 的开源 CA，跑在一个容器里。这里的一切都是在 Podman 里的 step-ca 0.30.2 上运行的，客户端是 Caddy 2.11.7 和 nginx 1.30.5。\n用途 step-ca 提供什么 章节 让每台设备信任你的证书 一个根，装一次 信任根证书 为任何支持 ACME 的东西提供内部 HTTPS 和 Let\u0026rsquo;s Encrypt 同样的协议，用于内部名称 用 ACME 实现内部 HTTPS 没有 ACME 客户端的服务 按计时器自动续期的证书 不支持 ACME 的服务 手机和其他客户端证书 设备持有、用来进门的密钥，以及吊销它们的办法 单独的文章：默认值和它对着干 SSH 登录 用证书代替 authorized_keys 单独的文章：另一套配置 其中两个有单独的文章，因为每个都是一套独立的配置。Client Certificates From step-ca 讲手机和 mTLS，那里有五个默认值必须修改。SSH Logins Signed By step-ca 讲 SSH，它在每台机器上用的是不同的密钥和不同的文件。\n启动它 镜像在第一次运行时根据几个环境变量自行初始化3。其中两个决定的事情以后改不了，除非从头再来，所以第一天就设好。\n变量 作用 DOCKER_STEPCA_INIT_NAME 每张证书上的签发者名称 DOCKER_STEPCA_INIT_DNS_NAMES CA 应答的名称 DOCKER_STEPCA_INIT_ACME=true 添加一个 ACME provisioner，用于内部 HTTPS DOCKER_STEPCA_INIT_SSH=true 同时生成 SSH 主机和用户 CA 密钥 ACME 和 SSH 这两个开关由镜像的 entrypoint 读取4。即使你今天只想要其中一个，也现在就都打开。以后再加 SSH，就意味着要建一个新的 CA。\npodman run -d --name step-ca \\ -v step:/home/step \\ -p 9000:9000 \\ -e DOCKER_STEPCA_INIT_NAME=\u0026#34;Home CA\u0026#34; \\ -e DOCKER_STEPCA_INIT_DNS_NAMES=\u0026#34;localhost,ca.home.example\u0026#34; \\ -e DOCKER_STEPCA_INIT_ACME=true \\ -e DOCKER_STEPCA_INIT_SSH=true \\ docker.io/smallstep/step-ca:0.30.2 它会建立一个根证书、一个由该根签名的中间证书、SSH 密钥和三个 provisioner，然后在 9000 端口上提供服务：\nX.509 Root Fingerprint: cd2f8d4c60af32a0a534781cd63b4e2a9ce362e2c1ae5983b56a370bfa2c2489 SSH Host CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... SSH User CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... Serving HTTPS on :9000 ... Provisioner 类型 签发什么 admin JWK 凭它的密码，你要什么签什么 acme ACME 为能证明自己拥有该名称的客户端签发证书 sshpop SSHPOP SSH 主机证书续期 Provisioner 就是 CA 用来判断“谁在请求”的概念。每个 provisioner 都有自己的规则，下面的大部分内容都是在设定这些规则。\n一个 CA，五种用途 step-ca 容器 根证书、中间证书 只需信任一个根 acme admin sshpop CRL provisioners 每台设备 信任根证书，一次 Caddy, ACME 24 小时，自动续期 不支持 ACME step ca renew --daemon 手机 1 年，由 CRL 吊销 SSH 单独的文章 一个根，信任一次，每条入口各有一个 provisioner。ACME 客户端和自动续期的服务用默认的 24 小时就行；手机需要改掉它；SSH 有单独的文章。 把版本钉死。写这篇文章那天 latest 是 0.30.2，而 CA 是你最不希望在一次拉取时在你脚下变掉的东西。\n两个密码，不是一个 Smallstep 的 Docker 指南说，一个生成的密码同时管着“the encrypted CA keys and the default CA provisioner”，保存在 secrets/password 里3。在这个镜像上，实际情况并非如此。用那个密码去签发证书，provisioner 会拒绝：\nfailed to decrypt JWE: invalid password 镜像自己的 entrypoint 说明了原因。它生成两个随机密码，一个给 CA 密钥，一个给 provisioner。provisioner 的那个密码只在日志里打印一次，然后就被粉碎了4：\necho \u0026#34;👉 Your CA administrative password is: $(\u0026lt; $STEPPATH/provisioner_password )\u0026#34; ... shred -u $STEPPATH/provisioner_password 密码 解锁什么 最后在哪里 secrets/password 根证书和中间证书的密钥 在卷里，CA 每次启动都会用到 Provisioner 密码 admin provisioner，你要求的每张证书都由它签发 第一次运行的日志里，别处都没有 所以第一次启动时要读日志，把第二个密码放到安全的地方。丢了它，你就再也签发不了证书，除非手工把 provisioner 改掉。如果你宁愿自己选一个密码，就在第一次启动前设置 DOCKER_STEPCA_INIT_PASSWORD；entrypoint 会把它同时用于两处4。\n信任根证书 在你告诉它们之前，什么都不会信任你的 CA。一台 Debian 机器向 Caddy 请求一个由 step-ca 签名的页面：\n$ curl https://nas.home.example/ curl: (60) SSL certificate problem: unable to get local issuer certificate 把根证书拷进去，同样的请求就通过了：\ncp root_ca.crt /usr/local/share/ca-certificates/home-ca.crt update-ca-certificates $ curl https://nas.home.example/ internal service, certificate from step-ca 活儿就这么多。每台设备一次。step certificate install 在它运行的任何系统上做同样的事5。只有根证书进入信任存储。中间证书随每张证书一起传递，而一部要出示客户端证书的手机也需要它，这一点在客户端证书那篇文章里讲。\n把根证书当作它现在的身份来对待：大门钥匙。任何持有根私钥的东西都能为任何名称铸造证书，而每台信任它的设备都会相信。\n用 ACME 实现内部 HTTPS ACME 是 Let\u0026rsquo;s Encrypt 使用的协议，step-ca 为内部名称支持它6。任何有 ACME 客户端的东西，获取内部证书的方式和获取公共证书一样，续期也包括在内。对 Caddy 来说，就是两行全局配置：\n{ acme_ca https://ca.home.example:9000/acme/acme/directory acme_ca_root /etc/caddy/root_ca.crt } nas.home.example { reverse_proxy 192.0.2.30:5000 } Caddy 第一次启动时的日志：\n\u0026#34;msg\u0026#34;:\u0026#34;trying to solve challenge\u0026#34;,\u0026#34;identifier\u0026#34;:\u0026#34;nas.home.example\u0026#34;,\u0026#34;challenge_type\u0026#34;:\u0026#34;tls-alpn-01\u0026#34; \u0026#34;msg\u0026#34;:\u0026#34;certificate obtained successfully\u0026#34;,\u0026#34;identifier\u0026#34;:\u0026#34;nas.home.example\u0026#34; 检查项 结果 质询 tls-alpn-01，由 Caddy 在 443 端口应答 签发者 Home CA Intermediate CA 有效期 24 小时，从 17:31 到次日 17:32 续期 Caddy 自己的事，无需任何设置 24 小时的证书听起来吓人。其实不然。ACME 客户端会在到期前很久就续期，每天如此，无需任何人参与。一把被偷的密钥只值一天。这就是 step-ca 围绕它构建的默认值，而在这里它恰到好处。\n质询确实需要 CA 能够到它要签名的那个名称。对于 tls-alpn-01，step-ca 必须能解析 nas.home.example 并连到它的 443 端口；对于 http-01，则是 80 端口。两边共用的内部 DNS，是首先要弄对的东西。\n不支持 ACME 的服务 很多设备没有 ACME 客户端：虚拟化平台的 Web 界面、打印机、老旧的一体机。对它们，用 admin provisioner 签发证书，再用 step ca renew 续期：\nstep ca certificate proxmox.home.example pve.crt pve.key step ca renew --force pve.crt pve.key 序列号 有效期至 签发时 241943140971… 2026-10-10 17:33:03 step ca renew 之后 206409156462… 2026-10-10 17:33:06 新的序列号，全新的 24 小时，而且没要密码。当前的证书证明了是谁在请求，这正是关键：续期不需要在机器上存储任何秘密，除了它本来就有的那把密钥。不过它确实要求证书仍然有效，所以错过续期窗口，就得再手工签发一次。\n让它一直跑着，它就会自己续期。--daemon 默认在有效期过去三分之二时续期，--exec 在每次续期后运行一条命令，重载服务就放在那里7：\nstep ca renew --daemon --exec \u0026#34;systemctl reload nginx\u0026#34; pve.crt pve.key 用一个 systemd 单元运行它，这台机器就能照顾好自己。忘了这一步，24 小时后这个服务就会抛出你当初想摆脱的那个警告。\nCA 是最容易的部分 让 step-ca 跑起来用了一条命令。让一台 Debian 机器信任它用了两条。Caddy 需要两行配置，之后再也没要过别的。这正是人们拖了好几年的那部分，一直忍受着每个内部页面上的浏览器警告，而它是这份清单上最便宜的活儿。\n真正花功夫的，是证书签发之后触及的一切：每台设备上的根证书，没人盯着的续期，还有那个不支持 ACME、只能靠人记着的服务。这些都不难。但都是那种只有在有人负责时才会被好好做完的活儿。\n家庭网络是一处小小的产业。它值得拥有一处正经产业该有的东西：一个根，小心保管，有意识地信任，以及一个出现时就真有意义的警告。照这么说，CA 并不是聪明的那部分。聪明的那部分，是再也不去点过那个警告。\nLet\u0026rsquo;s Encrypt — Certificates for localhost — 不能为“localhost”签发证书，“because nobody uniquely owns it, and it’s not rooted in a top level domain”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLet\u0026rsquo;s Encrypt — Certificate Transparency logs — “Let\u0026rsquo;s Encrypt submits all certificates we issue to CT logs.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Run a private CA in Docker — DOCKER_STEPCA_INIT_* 变量；称生成的密码用于“the encrypted CA keys and the default CA provisioner”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsmallstep/certificates — docker/entrypoint.sh — 生成独立的 password 和 provisioner_password 文件，只打印一次 provisioner 密码然后粉碎它；如果提供了一个密码，就把它同时写入两者。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step certificate install — 把根证书安装进系统信任存储。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — ACME basics — step-ca 的 ACME provisioner 及其支持的质询类型。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step ca renew — 使用 --daemon 时，“By default, it will renew the certificate before 2/3 of the validity period of the certificate has elapsed”；--exec 提供“certificate reloads on your services”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/certificates/step-ca-in-a-container/","summary":"在 Podman 或 Docker 容器里运行 Smallstep 的 step-ca 0.30.2，作为家里所有东西的证书颁发机构，全部经过测试。为什么对内部名称来说，私有 CA 胜过自签名证书和公共证书；启动时打开 ACME 和 SSH；镜像生成的两个密码以及各自该放在哪里；在每台设备上信任根证书；为 Caddy 或任何支持 ACME 的东西提供内部 HTTPS；以及用 step ca renew 为不支持 ACME 的服务续期。客户端证书和 SSH 各有自己的文章。","title":"你自己的证书颁发机构：容器里的 step-ca"},{"content":"从外面访问 Home Assistant 的难题 这里的房子由 Home Assistant 来管：灯、暖气、空调、充电桩、报警。出门在外，这一切都靠手机上的应用来用；房子也靠这个应用知道手机在哪里，因为应用会在后台上报位置和传感器数据。\n所以家里没人的时候它也得能用。问题是怎么做到。\n常见的答案是给 Home Assistant 一个主机名和一个登录页，把它放到互联网上。这能用。这也意味着地球上任何人都能打开登录页，对着它试密码，再探测它背后的东西。登录页就是一个横在互联网和你家门锁之间的密码。\n我不想这样。要求很短：\n公众访问不到任何登录页。除非是我们自己的设备，否则什么都不应答。 Home Assistant 应用要能在后台持续工作，不需要有人点进登录页。 手机上不额外跑任何东西。不要 VPN 客户端。 用 Cloudflare 的免费套餐。隧道本来就有。 这四条一摆出来，大多数常见方案还没开始就出局了。\n每种方案实际给了你什么 Home Assistant 自己的文档列出了几条路：Home Assistant Cloud、VPN、反向代理或端口转发1。Cloudflare 为后两种各提供了自己的版本。下面是它们对照这四条要求的得分、各自可能出什么问题，以及各自要花多少电量。\n方案 谁能访问登录页 应用后台能工作 手机上额外的东西 真实成本 风险 耗电 IPv4 和 IPv6 端口转发到 Home Assistant 所有人 能 无 账单上免费。每一次扫描和猜密码都跑在 Home Assistant 上，DDoS 直接落到你家宽带 登录页对所有扫描器开放。路由器上开了一个直通局域网的洞。运营商级 NAT 后面的家庭宽带根本没有端口可转发2。应用：Android 和 iPhone 都能用，只是一个 URL 正常 IPv4 需要你自己的公网地址，不能是运营商级 NAT。IPv6 需要在防火墙上开孔，而连着纯 IPv4 Wi-Fi 的手机访问不到 只用 Cloudflare Tunnel 所有人 能 无 免费。Cloudflare 扛下 DDoS，但每一次猜密码仍然跑在 Home Assistant 上 登录页对所有扫描器和密码字典开放。猜中一个密码，攻击者就有了你局域网里的一台机器。应用：Android 和 iPhone 都能用，只是一个 URL 正常 都行。Cloudflare 两种都应答3，家里只往外拨4 隧道加 Cloudflare Access 登录 登录之后才能 不能，后台调用撞上登录页 无 免费。陌生人停在 Cloudflare，Home Assistant 没有负载 位置和传感器停止上报，而且没人察觉。只发布 Home Assistant，挡在登录页后面。应用：发不出 Access 需要的服务令牌头5 正常 都行，同隧道 隧道加 WARP 私有网络 外面没人能 能 WARP 客户端 免费。没有任何公开的东西可扫 走的 UDP 端口可能被酒店或办公网络封掉6。Android 同一时间只允许一个 VPN7。一条路由就可能把整个局域网放到每部注册的手机上8。应用：什么都不需要，但 WARP 有 Android 和 iPhone 客户端，没有 Wear OS 手表的9 更高，一直开着的 VPN 都行。客户端两种都能连 Cloudflare6 Home Assistant Cloud 拿到 URL 的所有人 能 无 每月 £6.50 或每年 £6510。猜密码仍然跑在 Home Assistant 上 登录页公开。进门的路握在别人公司手里：他们的服务一挂，你就进不来。猜中一个密码，攻击者就有了你局域网里的一台机器。应用：Android 和 iPhone 都能用 正常 家里哪种都行，它往外拨到 Nabu Casa 的中继11。手机端的 IPv6 没有文档说明 端口转发到带客户端证书的 nginx 或 Caddy 只有持证书的设备 能 一张证书和你自己 CA 的根证书 账单上免费。陌生人只花掉代理上一次 TLS 握手，从不触及 Home Assistant 登录；DDoS 落到你家宽带 路由器上开了一个洞，通向代理而不是 Home Assistant。CA 由你自己运维，CRL 一过期，每部手机都被锁在外面。应用：同下面的证书一行 正常 同端口转发。nginx 需要专门配置监听 IPv6，Caddy 默认就会 隧道加客户端证书 只有持证书的设备 能 一张证书 免费。陌生人在边缘就被拒，Home Assistant 没有负载 丢失的手机在吊销前仍能进来。走 443 上的普通 HTTPS，只有连网页都封的地方才会被封。只发布 Home Assistant，且只给持证者。应用：Android 支持；iPhone 应用没有文档说明；Wear OS 需要在设置时提供 PKCS12 文件12 正常 都行，同隧道 隧道还让 IPv4 和 IPv6 的问题不复存在。Cloudflare 用手机手上有的那一种应答，而家里只往外拨，所以运营商级 NAT 后面的家庭宽带，或者只有 IPv6、完全没有公网 IPv4 的宽带，跟其他宽带一样能用。端口转发需要你自己的公网 IPv4 地址，或者两端都有 IPv6。为什么这么多家庭宽带两样都没有，那是另一个故事，见 We Never Ran Out of Addresses. We Ran Out of Effort.。\n单靠隧道修好的是路由器，不是暴露面。cloudflared 只建立出站连接，所以没有入站端口需要转发13，但它发布的主机名照样把登录页给任何来要的人。\nCloudflare Access 能解决吗？对浏览器来说能，Zero Trust VDI Without the Cloud Bill 里的桌面就是这么用的。对应用来说，形状不对。Access 是让一个人站到登录页前面，而应用的后台流量背后没有人。常见的变通办法是用请求头发送服务令牌，可这个应用发不出来。它的 web view 没办法给 POST 请求或 WebSocket 加请求头，而应用正是靠这两样和 Home Assistant 通信；开发者的讨论最后落在客户端证书上，称之为 “a better (more secure) alternative”5。\nWARP 能做到，但因为每部手机都得装一个客户端，被排除了。VPN 比普通连接更耗电，因为它是一条整天开着的隧道，不管应用在不在说话。它走 UDP，端口可能被酒店或办公网络丢弃，偏偏在你出门在外时把你锁在外面6。而且 Android 同一时间只跑一个 VPN7，所以 WARP 和工作用的 VPN 不能同时开着。Home Assistant Cloud 是个好服务，也给开发出了钱，但它是订阅制，而且那个 URL 仍然把登录页给任何找到它的人。它还把进你家门的路交给了别人的公司。他们的服务，他们的账号，他们的价格，他们的条款。这是主权的丧失，也是每一种云服务都要你做的交易：眼下的方便，换来别人永远握着控制权。\nCloudflare 本质上没有不同，假装不是这样就不诚实了。这张表里的每一个隧道方案都把它放在路径上，而且它在自己的边缘终结 TLS，WAF 规则正是因此才能读到证书检查的结果。区别在于它握着多少。在这里它握着的是大门。Home Assistant、它的数据和它的密码都留在家里；如果 Cloudflare 没了，房子照样运转，这就是“哪里会出问题”那张表的最后一行。如果连这点信任你都不想交出去，nginx 和 Caddy 的版本 在你自己家里用你自己的 CA 做同样的检查，代价是端口转发和 CA 的日常维护。\n剩下的就是客户端证书。在 Home Assistant 看到哪怕一个字节之前，手机就先证明了自己是什么。\n对互联网开放的真实代价 账单上免费不等于免费。任何应答互联网的东西都要用机器负载来付账。对 Home Assistant 自己的登录每猜一次密码，就是一次 12 轮的 bcrypt 校验，而且用户名不存在时它也照跑一次，所以陌生人猜一次的成本跟你自己登录一次完全一样14。这份负载落在管着整个房子的那台机器上，日夜不停，只要扫描器还在来。而它们确实一直在来。\n我在这次搭建上量过。这个主机名在 2026年10月14日 22:38 上线，哪里都没有公布过。两小时之内，Cloudflare 记录了一百多个打到它的请求，来自新加坡、加拿大、德国、荷兰、希腊和美国的二十来个地址，大部分是一个爬虫反复遍历这个新名字。我没法证明它们是怎么找到的，但时间点指向证书透明度：Let\u0026rsquo;s Encrypt 把它签发的每一张证书都记进日志15，而扫描器盯着这些日志。这些请求全部停在了边缘。Home Assistant 一个都没看到。一个字节都没有。\n端口转发更糟，因为它把你家的地址放到了线上。冲着它来的 DDoS 会塞满你的宽带，那时下线的就是整个房子，而不只是 Home Assistant。在隧道后面，洪水由 Cloudflare 来扛，每个套餐都包括，免费套餐也在内16；而且自 2017 年起它就再没因为攻击规模把客户踢掉过17。证书走完了最后一步。陌生人在边缘就被拒之门外，Home Assistant 在他们身上一点都不花。\n然后是 Home Assistant 所在的网络。它不是孤岛上的一个网页应用。它在家庭局域网上，挨着摄像头、NAS 和笔记本，还握着其中不少设备的凭据。突破它的登录，你得到的是房子里的一台机器，而不只是一个仪表盘。端口转发是路由器上一个直指那台机器的洞。WARP 则错在另一个方向，太大方了：一条路由就能把整个私有网络发布给每一部注册的手机，而把范围收窄是另一条你得记得去写的策略8。带着这个设置的手机一丢，捡到的人就在你的局域网上了。证书只发布一个主机名，只给持有证书的设备，网络上的其他东西从外面根本够不着。\n免费套餐上的 mTLS：免费的是哪一半 网上不少建议说，Cloudflare 上的 mTLS 需要 Enterprise。并不需要。Cloudflare 把 mTLS 卖了两次，只有其中一次需要 Enterprise。\n客户端证书加 WAF 规则 Cloudflare Access mTLS 套餐 Free、Pro、Business、Enterprise 仅 Zero Trust Enterprise 证书颁发机构 Cloudflare 托管（自带 CA 需 Enterprise） 只能自带 包含的证书 每个区域 100 张有效证书 不适用 由谁执行 你自己写的一条 WAF 自定义规则 一条 Access 策略 吊销 内置，由规则检查 你自己的 CRL 加一个 Worker 我们要的是第一列。在 Cloudflare 上自带 CA 属于 Enterprise。离开 Cloudflare，它一分钱不花，用 step-ca 签发客户端证书 讲的就是这个。Cloudflare 自己的对比说得很直白：Application Security 产品每个区域免费包含 100 张客户端证书，而 Access mTLS 是 Zero Trust Enterprise 的功能18。Free、Pro 和 Business 套餐每个区域有 100 张有效证书，吊销一张就立刻腾出它的名额19。两部手机用掉两张。\n免费套餐还有五条 WAF 自定义规则20。这里只要一条。\n检查是怎么工作的 请求经 Cloudflare mTLS 到达 Home Assistant 的流程 手机 HA 应用 持有证书 其他任何人 比如扫描器 没有证书 Cloudflare 边缘，免费套餐 握手 mTLS 已开启 ha.example.com 索要证书 WAF 规则 已验证？ 未吊销？ 否则拦截 被拦截 到不了 HA 家庭网络 cloudflared 只出站的隧道 Home Assistant 只信任该代理 IP 封禁已开 登录是第二道锁 通过 失败 每个请求：边缘在握手时索要证书，WAF 规则拦下任何未验证或已吊销的，然后请求才沿隧道到达 Home Assistant。 活是 Cloudflare 在它的边缘干的。某个主机名开启 mTLS 后，TLS 握手会向客户端索要证书21。光这一步什么都拦不住。不发证书的客户端照样能连上，只是到达时验证字段被置为 false。\n拦截靠的是 WAF 规则。Cloudflare 把证书检查的结果作为字段暴露在它的规则语言里22：\n(http.host eq \u0026#34;ha.example.com\u0026#34; and (not cf.tls_client_auth.cert_verified or cf.tls_client_auth.cert_revoked)) Action: Block 第二行是有原因的。被吊销的证书仍然能通过验证，因为 cert_revoked 为 true 时 cert_verified 也是 true23。只检查第一个字段，被吊销的证书就能大摇大摆地进来。规则不问的话，吊销一部丢失手机的证书就什么用都没有。\n功劳归于该归的人：Home Assistant Android 讨论串里的人把这条规则琢磨出来并贴了出来5。写得好，省了我一大堆挖掘的功夫。\nHome Assistant 这一侧 Home Assistant 需要被告知它在代理后面，这不是可选项。来自反向代理的请求按设计会被拦截，直到你告诉 Home Assistant 信任它24。隧道的 cloudflared 连接器就算一个。\n从 2026.8 起，这些设置放在界面里，在 设置 → 系统 → 网络 → HTTP 服务器 下，而不在 configuration.yaml 里24。保存会重启 Home Assistant，之后管理员有五分钟时间确认新设置，否则它们会自己回滚。在把自己锁在外面之前，值得先知道有这张安全网。\n设置 值 原因 信任 X-Forwarded-For 开 不开的话，经过代理的请求会被拒 受信任的代理 只填 cloudflared 那台机器的地址 只有那台机器可以声称在替别人转发 启用 IP 封禁 开，几次尝试即封 封禁落在真实的客户端地址上，而不是 Cloudflare 的 Home Assistant URL，互联网 https://ha.example.com 应用会把它当作外部 URL 受信任的代理那一项故意写得很窄。信任一整个子网，子网里任何设备都能伪造客户端地址，封禁名单就成了废纸。\n然后是应用。Companion 应用的文档点名讲了这种配置。如果 Home Assistant 位于一个做 TLS 客户端认证的反向代理后面，应用会索要证书，并且要求以 “VPN \u0026amp; app user certificate” 的方式安装12。在没有证书的手机上，你会看到报错或一片空白，对一部不该进来的手机来说，这正是正确的结果。\n把应用的连接安全级别设为 最安全。这样明文的 http:// 本地地址只在家里的 Wi-Fi 上使用，其他地方应用要么用 HTTPS 主机名，要么干脆不连25。在 Android 上它需要把位置权限设为“始终允许”，反正应用做后台定位本来也需要。\n一步一步搭起来 步骤 在哪里 做什么 1 Cloudflare 隧道 添加一个公共主机名 ha.example.com，指向局域网里的 Home Assistant。先把那台机器的地址固定下来。我的是由 MAC 生成的 IPv6 地址，所以不会变 2 SSL/TLS → Client Certificates 每部手机一张证书。在你自己的机器上生成密钥，交给 Cloudflare 一个 CSR，API 接受这种方式26。密钥从不离开生成它的那台机器。如果让 Cloudflare 来生成密钥，它只显示一次，之后再也看不到19 3 Client Certificates → Hosts 为 ha 开启 mTLS 4 Security → WAF → Custom rules 添加上面那条拦截规则 5 SSL/TLS → Edge Certificates 打开 Always Use HTTPS，最低 TLS 1.2 6 Home Assistant → 网络 受信任的代理、IP 封禁、外部 URL，然后在五分钟内确认 7 一台 Linux 机器 每部手机构建一个 PKCS12 文件 8 每部手机 作为 VPN 和应用用户证书安装，在应用的服务器设置里选中它，然后强行停止应用再重新打开。把应用设为最安全 9 测试 移动数据，关掉 Wi-Fi。应用能连上。没有证书的浏览器被拦下 每部手机一张证书，不要共用一张。丢了一部手机，就吊销那一部，另一部照常用。\n手机要的是把证书和密钥装在一个 PKCS12 文件里。Cloudflare 以 PEM 格式返回证书，密钥本来就在你手上，所以把它们合起来：\nopenssl pkcs12 -export -in phone1.pem -inkey phone1.key \\ -name \u0026#34;ha-phone1\u0026#34; -out phone1.p12 大家就卡在这一步。Android 对文件内部的加密方式很挑剔，Home Assistant 的文档说先试当前的默认格式，只有被拒时才退回到用 OpenSSL -legacy 参数生成的旧式容器27。社区讨论串里也有同样的建议，那里一个在苹果设备上装得好好的文件被 Android 拒了5。笔记本上没有 openssl？Python 的 cryptography 模块两种容器都能写，当前的和旧式的，我的就是用它构建的。\n安装证书的菜单路径在不同手机厂商和 Android 版本之间变来变去。Google 自己给 Pixel 写的页面可以作为起点28。不管菜单怎么说，你要的是用户凭据存储，而不是 CA 存储。\n加密最后一跳 隧道终止在 cloudflared，而 cloudflared 跑在家里它自己的虚拟机里。从那里到 Home Assistant，第一版是在局域网上走明文 HTTP。路径上有一段没有 TLS，而且就在放着摄像头的那个网络里。不够好。为此它拿到了一张正经证书，各部分如下。\n部件 设置 原因 Let\u0026rsquo;s Encrypt 加载项 DNS 质询，提供方 dns-cloudflare，令牌只授予那一个区域的 Zone、DNS、Edit 权限29 HTTP 质询在这里行不通。验证方没有客户端证书，所以 WAF 规则会把它拦下 Home Assistant HTTP 服务器 证书 /ssl/fullchain.pem，密钥 /ssl/privkey.pem，受信任的代理和 IP 封禁在同一次保存里 重启一次而不是两次 隧道 ingress https://[address]:8123，originServerName 设为该主机名30 cloudflared 校验源站证书，而不是被告知别看 内部 DNS 在家里，这个主机名解析为那台机器自己的地址 在家的手机直接连过去。局域网 URL 带 :8123；外部的那个不能带，因为 Cloudflare 不代理那个端口31 续期 一个自动化每晚运行加载项，并在每月 1 日和 15 日重启 Home Assistant HTTP 服务器在启动时加载一次证书，之后再也不重读32 路上被咬了两口。保存 HTTP 服务器设置会重启 Home Assistant，回来后它只讲 HTTPS，所以你保存时用的那个标签页连不回去了。打开 HTTPS 地址，在那边登录，五分钟确认就在那一侧完成。\n第二口是续期。Let\u0026rsquo;s Encrypt 给你九十天，加载项在剩三十天时续期，所以一个月重启两次，总能提前几周用上新证书。每天重启一次对家里是个麻烦，却换不来任何东西。\n手机教会我的事 上面所有内容都是在手机到手之前写的。有三件事，手机在手上之后才显现出来。\n证书落在凭据存储的用户凭据下，标注为已为 VPN 和应用安装，你在安装时输入的名字，就是之后每个选择器显示给你的名字33。装两次就有两个条目。两个都能用。我就是这么发现的。\n然后是浏览器。装好证书后，Chrome 第一次访问这个主机名时弹出了系统选择器，发送了证书，落到了登录页。Helium，我也在用的一个去 Google 化的 Chromium 构建，直接跳到了拦截页，压根没去问钥匙串。同一部手机，同一张证书，同一分钟。\n客户端 是否询问 Android 钥匙串 边缘看到了什么 Chrome 是，带选择器 证书已验证，一路到 Home Assistant Helium 否 被拦，每个请求都是 Companion 应用，web view 是，一旦服务器设置指向这张证书 仪表盘加载出来 Companion 应用，原生客户端 是，但只在强行停止之后 在那之前 webhook 提交被拦，之后返回 200 花掉时间的是应用。它有两个客户端：画仪表盘的 web view，和一个把传感器和位置提交到 webhook 的原生客户端。在服务器设置里设好 TLS 客户端证书，仪表盘立刻就能用。webhook 提交却继续在边缘被拦，因为原生客户端在应用启动时建立了它的 TLS 设置，之后不会重建。强行停止应用，再打开，边缘日志就显示提交带着 200 到达了 Home Assistant。应用里没有任何东西会告诉你这一点。\n还有 URL。关掉家里的 Wi-Fi 后，应用尝试在 8123 端口上访问这个主机名，因为我输入的外部 URL 把端口从局域网那个照搬了过来。那个端口通向 Cloudflare，Cloudflare 不在上面监听，于是应用一直卡在十秒超时上，报告无法连接。外部 URL 是不带端口的主机名。端口留在家里。\n哪里会出问题 这里没有哪样东西是毫无毛刺的，所以都摆出来。\n情况 会发生什么 怎么办 手机丢失或卖掉 它的证书在吊销前仍然有效 在 Client Certificates 里吊销。规则会检查吊销 Wear OS 手表 用不了手机上安装的证书 在手表自己的设置过程中提供 PKCS12 文件12 iPhone Companion 文档把这一节标为仅限 Android 依赖它之前先测试 出门在外时笔记本上的浏览器 被拦，没有证书 在浏览器里装一张证书，或者接受这一点 绕过 Android 钥匙串的浏览器 Helium 直接跳到拦截页 用 Chrome 或应用。服务器这一侧帮不上忙 Home Assistant 上的证书续期了 重启前仍然提供旧证书 自动化里每月两次的重启 Cloudflare 宕机 完全没有远程访问 房子仍在本地运行。在本地运行它，图的就是这个 浏览器那一条是特性，不是故障。任何没有证书的东西都是陌生人，在我给它一张证书之前，我自己的笔记本也算。\n是钥匙，不是密码 密码是你知道的东西，而凡是你知道的，都可能被猜到、被钓走、被重复使用，或者在别人家的数据泄露里漏出去。把一个密码页放到互联网上，你就加入了一场数字游戏，对手是每个手握僵尸网络和字典的人。你也许能赢好几年。你只需要输一次。\n证书是设备持有的东西。没人能猜到它。也没人能试它一百万次，因为请求在边缘就被丢掉了，根本没有东西可以拿来试。登录页还在，也仍然重要，但它现在是第二道锁，而不是唯一一道。\n那个页面后面不是一个网页应用。是门锁、暖气、充电桩和摄像头。把它当作前门来对待，因为它就是前门。\n我总是绕回来的一点是，这一切都不花钱。Cloudflare 在免费套餐上白送证书和规则。Home Assistant 在它自己的 Companion 文档里写明了应用这一侧。唯一的成本是花一个晚上把手册好好读一遍，为此，一个面向整个互联网的密码页这种默认做法，是人们因为不读手册而做出的选择。\nHome Assistant — Remote access — Home Assistant Cloud、VPN、反向代理和端口转发这几条进入的路。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6598 — IANA-Reserved IPv4 Prefix for Shared Address Space — 用于运营商级 NAT 的 100.64.0.0/10 地址段，许多客户共用一个公网地址，谁都得不到入站端口。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — IPv6 compatibility — 每个套餐默认开启；Cloudflare 为经代理的主机名 “auto generates AAAA DNS records to allow IPv6 clients to connect”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Tunnel run parameters, edge-ip-version — cloudflared 默认通过 IPv4 连出到 Cloudflare；设为 6 或 auto 则使用 IPv6。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android PR #3593 — Add custom header support — web view 无法给 POST 或 WebSocket 请求添加请求头；建议用客户端证书代替服务令牌；有用户报告 Android 上的证书格式问题。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Cloudflare One client firewall requirements — WireGuard 走 UDP 2408，备用 UDP 500、1701 和 4500；MASQUE 走 UDP 443。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — VpnService — “There can be only one VPN connection running at the same time.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Connect an IP/CIDR — “You can connect an entire private network, a subnet, or an application defined by a static IP”；用 Gateway 网络策略过滤这些流量是另外一个推荐的步骤。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Download Cloudflare One Client — 有 Windows、macOS、Linux、iOS 15+、Android 5.0+ 和 ChromeOS 客户端；没有列出 Wear OS 客户端。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNabu Casa — Pricing — Home Assistant Cloud 每月 £6.50 或每年 £65.00，不含税。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNabuCasa/hass-nabucasa — remote.py — Home Assistant 向 Nabu Casa 注册，分到一个中继 server，然后连出到它。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Getting Started, TLS client authentication — 以 “VPN \u0026amp; app user certificate” 的方式安装；Wear OS 需要在初始设置时以 PKCS12 形式提供证书。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Cloudflare Tunnel — cloudflared 只建立出站连接，所以源站上没有入站监听。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant core — auth/providers/homeassistant.py — 密码用 12 轮 bcrypt 哈希；未知用户名仍会跑一次假的 checkpw，“to make timing the same as if user was found”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLet\u0026rsquo;s Encrypt — Certificate Transparency logs — “submits all certificates we issue to CT logs”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — DDoS Protection — 自动的 DDoS 检测和缓解，“Available on all plans”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare blog — Unmetered Mitigation — “Cloudflare will no longer terminate customers, regardless of the size of the DDoS attacks they receive, regardless of the plan level they use.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Use mTLS with Cloudflare protected resources — “100 Client Certificates per Zone are included for free”；Access mTLS 是 “Zero Trust Enterprise only feature”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Create a client certificate — Free、Pro 和 Business 每个区域 100 张有效证书；吊销会腾出名额；证书和密钥在创建后不会再次显示。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — WAF custom rules — 可用性表：免费套餐有五条自定义规则。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Enable mTLS — 按主机名开启 mTLS，再用 WAF 自定义规则强制执行。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Client certificate variables — WAF 自定义规则可用的 mTLS 字段。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — cf.tls_client_auth.cert_revoked — “When true, the cf.tls_client_auth.cert_verified field is also true.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant — HTTP integration — 反向代理、受信任的代理和 IP 封禁；这些设置在 2026.8 移到了界面里，五分钟内不确认就会回滚。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Connection security level — 最安全级别只在家庭网络上使用未加密的 URL；在 Android 上需要位置权限“始终允许”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare API — Create Client Certificate — 接受 csr 和 validity_days；私钥留在你手里。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Networking, TLS Client Authentication — 先试当前的 PKCS12 默认格式，失败了才用 OpenSSL -legacy 容器。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Pixel Phone Help, Add \u0026amp; remove certificates — 在 Pixel 上手动安装证书。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Let\u0026rsquo;s Encrypt add-on — documentation — DNS 质询；Cloudflare 令牌 “requires only the Zone:DNS:Edit permission”；只有再次启动加载项时证书才会续期。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Origin configuration parameters — originServerName，cloudflared 期望在源站证书上看到的主机名。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Network ports — Cloudflare 代理的 HTTP 和 HTTPS 端口固定列表；8123 不在其中。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/core — components/http/server.py — _create_ssl_context 只调用一次 load_cert_chain，从 async_bind 中调用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — KeyChain — 用户安装的凭据，以及应用调用来选取凭据的 choosePrivateKeyAlias 选择器。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/homeassistant/home-assistant-app-over-cloudflare-mtls/","summary":"出门在外用 Android 应用访问 Home Assistant，而不把登录页放到互联网上。几种远程访问方案在暴露面、真实成本（除了账单，还有机器负载和 DDoS）、被封风险和耗电上如何比较；为什么 Cloudflare Access 和服务令牌不适合这个应用；免费套餐的客户端证书加一条 WAF 自定义规则，怎样把隧道主机名锁定给持有证书的手机；反向代理需要哪些 Home Assistant 设置；怎样构建 PKCS12 文件；在源站上放一张 Let\u0026rsquo;s Encrypt 证书，以及续期为什么需要重启；上线头两个小时扫描器做了什么；手机、Chrome、Helium 和 Companion 应用的两个客户端各自怎样对待这张证书。自建 nginx 或 Caddy 的版本另成一篇。","title":"免费套餐上，用证书锁住经 Cloudflare 访问的 Home Assistant 应用"},{"content":"我用 YubiKey 登录笔记本。PIN，触摸，桌面出来。一个密码都不用输。\n然后第一个要读取已存密钥的应用一启动，GNOME 就弹出一个框：“An application wants access to the keyring \u0026lsquo;Login\u0026rsquo;, but it is locked.” 每次登录都这样。同一个框，同一个问题，要的是一个刚刚才告诉我不需要的密码。\n没有哪一个部件坏了。每个部分都在做它被设计来做的事。问题在于，密钥环的设计前提是登录总会涉及一个密码，而无密码登录打破了这个前提，却没有通知任何人。\n为什么用密钥登录会让密钥环拿不到密码 登录密钥环是桌面保存应用交给它的秘密的地方：Wi-Fi 密钥、浏览器存储密钥，还有聊天客户端、密码管理器和会议应用用来保持登录状态的令牌。它以你的登录密码加密后存放在磁盘上，应用通过 Secret Service API1 来索取里面的东西。\n平时你根本看不到它。你在登录界面输入密码，PAM 栈拿它和账户核对，同一个栈里更靠后的一个密钥环模块悄悄拿起同一个密码，在桌面还没画完之前就用它打开密钥环。一个密码，干两件事。\n我的 PAM 栈第一行是这样的：\nauth sufficient pam_u2f.so cue sufficient 的意思是 YubiKey 验证一成功，认证就当场结束。这正是 Yubico 为无密码登录给出的做法2。它能用。但它也意味着密码这一步从来不会执行，所以栈里根本没有密码让密钥环模块去拿。密钥环就一直锁着，直到有东西来要它，而那个东西就是最先启动的那个应用。\n两种登录方式，以及各自交给密钥环什么 两种登录方式，以及各自交给密钥环什么 密钥环只认密码。YubiKey 登录从不产生密码，所以由脚本提供。 密码登录 pam_unix 核对密码 pam_oo7 把同一个密码交给 oo7-daemon 登录密钥环用它解密 密钥环打开，没有提示框 YubiKey 登录（PIN + 触摸） pam_u2f 是 sufficient，认证栈就此结束 密码步骤不运行，没有密码 oo7-daemon 什么也没拿到 密钥环锁着，首次使用时弹提示框 自启动脚本 PIN + 触摸，密钥返回 hmac-secret 解密保存的密码，解锁密钥环 读取密钥环的应用要等它打开后才启动，所以没有哪个能抢先弹出提示框。 密码登录把密钥环唯一能用来打开自己的东西交给了它。密钥登录什么也没给它。右边的自启动脚本就是本文描述的做法。 常见的修法，以及各自的代价 这个问题常见的答案有四个。每一个都要放弃点什么。\n修法 你得到什么 代价是什么 在提示框里输密码 什么都不用做 每次登录都有提示框。密钥什么也没帮你省 密钥环密码设为空 提示框没了 每个保存的秘密都以未加密形式躺在磁盘上 登录时密码和密钥都要 真正的双因素，密钥环自己打开 每次登录都要输密码，而这正是密钥本来要省掉的 用 TPM 封存密码，登录时解封 没有提示框，不用输入 谁在那台机器上拿到一个会话，谁就拿到这些秘密。不涉及 PIN，也不涉及密钥 YubiKey hmac-secret（本文） 没有提示框，PIN + 触摸，密码登录照样能用 登录后还要再输一次 PIN、再触摸一次，外加一个要照看的脚本 空密码是大多数论坛帖子的最终答案，也是其中最差的一个。TPM 的路子还算体面，但 TPM 从来不问你任何事，所以它保护的是从笔记本里拆出来的硬盘，而不是你去泡茶时有人坐下来用的那个会话。我想让密钥环绑定在我的登录所绑定的同一样东西上：这把密钥，以及和它配套的 PIN。\n密钥可以保存一个秘密 FIDO2 密钥能做的不只是说“是”或“否”。CTAP 2.1 标准有一个叫 hmac-secret 的扩展，它 “is used by the platform to retrieve a symmetric secret from the authenticator when it needs to encrypt or decrypt data using that symmetric secret”3。\n原理很简单。创建凭据时，密钥生成一些随机值，并把它们保存在自己内部。之后你发给它一个盐值，它返回用那个隐藏值作密钥对这个盐值算出的 HMAC。同一个凭据，同一个盐值，每次都得到同一个答案。换一把密钥，什么都得不到。\n这里关键的细节是：密钥保存着两个这样的隐藏值，CredRandomWithUV 和 CredRandomWithoutUV3。UV 是用户验证，在这把密钥上指的就是 PIN。带着 PIN 去要，你拿到一个秘密；只靠触摸去要，你拿到的是完全不同的另一个。所以 PIN 不是在秘密前面加装的一道检查，它本身就是秘密的一部分。\n输入 存放在哪里 单独拿到它能得到什么 凭据 ID 和盐值 ~/.local/share/yubikey-keyring/，普通文件 什么也得不到。它们不是秘密 加密后的密钥环密码 同一个文件夹，password.enc 没有解密用的秘密，什么也得不到 凭据的隐藏值 在 YubiKey 内部，从不离开 没有盐值和一次触摸，什么也得不到 PIN 你的脑子里 选中带 PIN 的那个秘密。PIN 错了就没有秘密，而且密钥会记下这次尝试 四样凑齐，就能还原出账户密码。少了任何一样，你就回到提示框面前，而那本来就是你会待的地方。\n我和 Claude 一起做了什么 密钥环密码就是我的账户密码，这是故意的。这样密码登录就照常工作：在登录界面输入密码，PAM 栈自己就会打开密钥环，不需要任何脚本。需要帮忙的是 YubiKey 这条路。\n组件 作用 yubikey-keyring-setup 只运行一次。在密钥上创建启用了 hmac-secret 的 FIDO2 凭据。需要 PIN 和一次触摸 yubikey-keyring-reset 询问账户密码，在动任何东西之前先用 unix_chkpwd 和真实账户核对，再用受 PIN 保护的秘密加密它，备份旧密钥环并创建新的 yubikey-keyring-unlock 登录时运行。PIN 对话框，触摸，解密，解锁。PIN 有两次机会，之后就放弃，把正常的提示框留给你 wait-for-keyring 包住每个读取密钥环的应用的自启动项。让每个应用最多等 60 秒，直到密钥环打开 秘密由 fido2-assert4 取出，-h 表示 hmac-secret，-p 表示触摸，-v 表示 PIN。密码用 OpenSSL 加密，AES-256，对派生出的秘密做 200,000 轮 PBKDF2。登录时密码只在管道里传递。派生出的秘密，以及重置时输入的密码，会在 /tmp 下一个私有临时目录里短暂停留，这在 Fedora 上是基于内存的 tmpfs，用完立即删除。两者都从不出现在命令行上，ps 看不到它们。\nwait-for-keyring 是大家容易跳过的那一块。别跳过。自启动顺序没有保证，如果某个应用在我输完 PIN 前一秒就去要它的令牌，GNOME 就会在我的对话框上面弹出那个老提示框，修法看起来像是坏了，其实没有。\n脚本你尽管拿去用：yubikey-keyring.zip，SHA-256 9b3670cf0f38c1b93e7738d2f68abef0380786d918491973e3ebefa5143e6263。里面有脚本、一个安装程序、一份 README 和下面讲到的测试工具。里面没有任何凭据、盐值或密码，这些是你在自己机器上运行 setup 时生成的。先读 README，然后运行 test/run.sh，再让其中任何东西碰你真正的密钥环。\n构建过程中发现的事 这本来应该是一个小时的活。整个晚上大部分时间都花在了文档没提到的事情上。\n守护进程在我脚下换掉了 我读过的每一篇解决这个问题的指南都在和 gnome-keyring-daemon 打交道，而每一篇都会把我带到错误的方向，因为在我机器上应答的进程是 oo7-daemon 0.7.0，一个 beta 版。那台笔记本在同一个晚上早些时候刚升级到 Fedora 45，一个 5,464 步的 dnf 事务，oo7 就是跟着它来的。\noo7 是 Secret Service 的 Rust 实现，有自己的服务端和自己的 PAM 模块5。值得称赞的是，它实现了 gnome-keyring 用于凭密码解锁的私有 D-Bus 接口，所以现有工具照样能用。这个接口叫 org.gnome.keyring.InternalUnsupportedGuiltRiddenInterface6。名字就告诉了你该信它几分。它能用，我测过，但我仍然预计它总有一天会变。\n你输入的第一个密码会成为密钥环密码 这一条解释了整个晚上。\noo7 启动时如果没找到密钥环文件，它不会创建一个，而是给应用展示一个叫 login 的上锁占位密钥环。第一个被用来解锁这个占位密钥环的密码就成了密钥环密码，不过文件本身要等到某个应用存入第一个秘密时才会写入。\n我的密钥环文件创建于 20:45，里面的第一项来自几秒前刚启动的一个应用。所以在 20:45，我往一个想让它赶紧消失的提示框里随手输了点什么，那就成了密码。之后我试的任何东西都打不开它。解锁代码也没有问题：我在一个已知密码的一次性密钥环上证明了这一点，上锁、解锁、删除都干干净净。\n接着我在一个一次性守护进程上检查了那个占位密钥环。在文件存在之前，任何密码都能解锁它，包括错误的密码。所以当时没有任何东西告诉你，你刚刚设了一个密码。你要到下一次登录才会发现：那个据你所知正确的密码被拒绝了。\n状态 用任意密码解锁 写入了什么 没有密钥环文件，显示占位密钥环 成功 还什么都没写 存入第一项 不适用 文件被创建，用当时输入的任何东西加密 之后每次登录 只有 20:45 的那个密码能用 不适用 所以我不再追查了。重置脚本会备份旧密钥环，用账户密码解锁占位密钥环，然后立刻存入一个标记项，让文件当场写入，用的是一个我知道的密码。\nFIDO2 工具只从终端读取 PIN fido2-cred 和 fido2-assert 只从控制终端读取 PIN，别处一概不认。登录时启动的脚本没有终端。所以有一个小小的包装程序，在伪终端里运行这个工具，等它的输出里出现 PIN 这个词，再把从对话框拿到的 PIN 敲进去。二十行 Python。不好看，但能干活，而且 PIN 从不碰文件，也不进参数列表。\n在伤不到你的地方测试 Claude Code 做的最有用的一件事，是拒绝在我真正的密钥环上信任这个重置脚本。它先在一个私有 D-Bus 会话（dbus-run-session）里的第二个 oo7-daemon 上跑完整个流程，用一个一次性的家目录、一个假的旧密钥环，以及一个含有 £、@、\u0026quot; 和 # 的测试密码。\n第一次运行失败了。好事。重置脚本把旧密钥环移到备份，重启守护进程，看到 oo7 的占位密钥环 login，把它当成了真正的密钥环，然后停了下来。要是在我的机器上，这会让我一个密钥环都不剩，只剩一份要手动恢复的备份。现在脚本会解锁占位密钥环而不是拒绝它，而且只要备份之后有任何一步失败，它会自己把旧密钥环放回去。\nClaude Code 自己的安全检查也在更早的一个版本上拦住了在真实密钥环上执行重置，直到我确认为止。当时挺烦人。拦得对。\n测试，在一次性守护进程上 结果 从终端提示符重置，旧密钥环已备份 通过 用旧密码打开新密钥环 被拒绝 全新的守护进程，和登录时一样 启动时处于上锁状态 错误的密码 被拒绝 正确的密码，走密码登录的同一条路径 解锁 全新的守护进程，通过解锁脚本 PIN + 触摸 解锁 密钥环已打开时运行解锁脚本 立即退出，不要求触摸 然后在真机上再来一遍：手动锁上密钥环，按登录时的方式运行解锁脚本：PIN，触摸，打开。\n粗糙的地方 这是一套能用的配置，不是成品，下面是我知道的问题。\n每次密钥登录要输两次 PIN。 一次在登录界面给 PAM，一次给密钥环。它们是发给密钥的两个独立请求，密钥不会把它们合并。只靠触摸的密钥环能省掉一次，代价是登录之后 PIN 什么也保护不了。 改了账户密码，保存的副本就过期了。 解锁脚本会用通知告诉你，而不是悄无声息地失败。再跑一次重置就好了。 丢了密钥，你就回到输密码的老路。 什么都不会丢，因为那个密码仍然是账户密码。 有些应用会改写自己的自启动文件。 如果哪天其中某个又弹出了提示框，原因就在这里，需要把包装程序重新装回去。 oo7 是 beta 版，而解锁调用经过的接口名字里带着 “Unsupported”。oo7 的每次更新，都值得先测试登录一次再依赖它。 结语 密钥环从来没坏。密钥也没坏。它们建立在对“登录是什么”的不同假设上，而上游没有人把两者接起来。无密码登录有 Yubico 的文档，随 Fedora 的 authselect 配置文件一起发布，开一个功能开关就能启用。可这里面没有任何一处告诉你：一旦用了它，你桌面保存的每一个秘密都会锁在一个你已经不再输入的密码后面。\n所以这个缺口落到了坐在机器前的那个人身上，而修法的好坏，取决于这个人是否明白秘密到底放在哪里。最省事的答案，也就是空密码，是大多数人被指向的那个，它用一个对话框换来一个装着你所有令牌的未加密文件。那不是修好了。那是悄悄认输。\n正确的形态一直都在。密钥可以保存一个秘密，标准白纸黑字这么写着，PIN 可以是这个秘密的一部分，而不是挡在它前面的一扇门。把它接起来花了一个晚上和一套测试工具。本来两样都不该需要。\nfreedesktop.org, Secret Service API Draft — 桌面应用用来存取秘密的 D-Bus API，gnome-keyring 和 oo7 都实现了它。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYubico, pam-u2f — “For a passwordless experience, where the authenticator PIN can be used in place of the user password”，示例行为 auth sufficient pam_u2f.so authfile=/etc/u2f_mappings cue pinverification=1。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFIDO Alliance, Client to Authenticator Protocol 2.1, section 12.5 HMAC Secret Extension — “This extension is used by the platform to retrieve a symmetric secret from the authenticator when it needs to encrypt or decrypt data using that symmetric secret”，以及 “The authenticator generates two random 32-byte values (called CredRandomWithUV and CredRandomWithoutUV)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYubico, libfido2 fido2-assert manual — 用来请求断言的命令行工具，带有 hmac-secret、用户在场和 PIN 选项。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nlinux-credentials/oo7 on GitHub — “server: org.freedesktop.secrets server implementation” 和 “pam: PAM integration for the server implementation”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\noo7 source, server/src/gnome/internal.rs — oo7 对 gnome-keyring 内部解锁接口的实现，包括 UnlockWithMasterPassword。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/random/yubikey-login-locked-keyring/","summary":"用 YubiKey 登录后，GNOME 还是要你输密码，因为登录密钥环是用一个你这次登录根本没产生的密码加密的。本文讲 pam_u2f 设为 sufficient 为什么让密钥环拿不到密码，常见的几种修法各要付出什么（空密码、照样输密码、TPM），以及我做的修法：用密钥的 FIDO2 hmac-secret，以 PIN 和触摸为条件，解密一份保存好的账户密码，在登录时解锁 oo7-daemon。然后是构建过程中发现的事：Fedora 45 已经把 gnome-keyring 换成了 oo7，oo7 的占位密钥环会把你输入的第一个密码当成它自己的密码，FIDO2 工具只从终端读取 PIN，还有一个重置脚本差点让我一个密钥环都不剩，幸好先在一个一次性的守护进程上测试时被抓到了。脚本、安装程序和那套测试工具都可以下载。","title":"YubiKey 让我登录了，我的密钥环却从没被告知"},{"content":"许可证本来就在固件里 很多人拥有 Fisher-Price OS (Windows) 的许可证，却从没见过它的产品密钥。 它随机器一起来，密钥就存在那台机器的固件里，一张叫 MSDM 的小小 ACPI 表中。\n然后，这台机器不再是干活的地方了。 要么它的主人想把这个许可证用在一台现在从你这里租的虚拟机里，要么机器本身被抹掉，改成 Proxmox 主机，而出厂自带的那份操作系统想作为虚拟机放回上面。\n从机制上说，这只是一个 QEMU 选项。 问题恰恰在这里。 QEMU 把任何表交给客户机，不做任何检查，客户机拿到什么密钥就用什么激活，整个技术栈里没有任何一处去问许可证是否允许这样做。 本文讲这张表是什么，怎样把它放进虚拟机而不传过去一张坏表，Microsoft 的条款对迁移它怎么说，以及为什么批量许可证从不靠近它。\n这张表是什么 从 OEM Activation 3.0 开始，PC 厂商不再把密钥印在机箱底部的贴纸上、让任何拿手机相机的人都能抄走，而是把密钥写进机器的固件。 Microsoft 的工厂工具“injects the product keys into the firmware”，它的校验步骤检查“that the MSDM table exists”，以及表头和条目“comply with the correct formats”1。 这样配置的机器“activated by using the OA3 DPK in the firmware”2。 MSDM 是一张普通的 ACPI 表，在 Linux 上可以直接从固件读出来：\nsudo cat /sys/firmware/acpi/tables/MSDM \u0026gt; msdm.bin 写这篇文章用的笔记本电脑上就有一张。 85 字节。\nMicrosoft 公开的规范定义了标准的 36 字节 ACPI 表头，签名为 MSDM，然后就没了。 表头之后的一切都是“Proprietary data structure that contains all the licensing data necessary to enable Windows activation”3。\n字节 内容 依据 0 到 35 标准 ACPI 表头：签名 MSDM、长度、校验和、OEM ID Microsoft 的规范 36 到 55 20 字节的字段：版本、数据类型、数据长度 真实的表，而非公开规范 56 到 84 29 个字符的产品密钥，五组，每组五个 真实的表，而非公开规范 你给 QEMU 什么，它就传什么 QEMU 的 -acpitable file= 接受“whole ACPI table from the specified files, including all ACPI headers (possible overridden by other options)”4，客户机看到的 MSDM 表和笔记本固件呈现的一模一样。 这一点用一个故意伪造的密钥验证过。 字节从另一头出来时完全相同，从签名到最后一个字符。\nQEMU 什么都不拒绝。 下面是 hw/acpi/core.c 对一份坏上传的处理5：\n文件哪里有问题 QEMU 怎么做 客户机看到什么 表头长度与文件不符 发出警告，然后用真实大小覆盖长度 一个有效的表头 校验和加起来不为零 重新计算，每张表、每一次都算 一个有效的校验和 密钥被截断或损坏 什么都不做，表头之后的数据不归它管 一张看似有效的表，包着一个坏密钥 客户机无从分辨其中的区别，你也一样，直到有人提交工单。 第一个听说这事的，是一个激活失败的客户。\n所以，如果客户要上传这些表，就在 QEMU 看到它们之前先检查：\n#!/usr/bin/env python3 \u0026#34;\u0026#34;\u0026#34;Refuse anything that is not a well-formed MSDM table before QEMU sees it.\u0026#34;\u0026#34;\u0026#34; import re, struct, sys t = open(sys.argv[1], \u0026#39;rb\u0026#39;).read() fail = lambda why: sys.exit(f\u0026#34;{sys.argv[1]}: {why}\u0026#34;) if len(t) \u0026lt; 56: fail(f\u0026#34;{len(t)} bytes, too short for an MSDM table\u0026#34;) sig, length = t[:4], struct.unpack_from(\u0026#39;\u0026lt;I\u0026#39;, t, 4)[0] if sig != b\u0026#39;MSDM\u0026#39;: fail(f\u0026#34;signature is {sig!r}, not MSDM\u0026#34;) if length != len(t): fail(f\u0026#34;header says {length} bytes, file is {len(t)}\u0026#34;) if sum(t) \u0026amp; 0xff: fail(\u0026#34;checksum does not sum to zero\u0026#34;) ver, _, dtype, _, dlen = struct.unpack_from(\u0026#39;\u0026lt;5I\u0026#39;, t, 36) if (ver, dtype) != (1, 1): fail(f\u0026#34;version {ver}, data type {dtype}: expected 1 and 1\u0026#34;) if dlen != 29 or 56 + dlen != length: fail(f\u0026#34;data length {dlen}: expected 29\u0026#34;) key = t[56:].decode(\u0026#39;ascii\u0026#39;, \u0026#39;replace\u0026#39;) if not re.fullmatch(r\u0026#39;([0-9A-Z]{5}-){4}[0-9A-Z]{5}\u0026#39;, key): fail(\u0026#34;data is not a 5x5 product key\u0026#34;) print(f\u0026#34;OK OEM {t[10:16].decode(errors=\u0026#39;replace\u0026#39;).strip()!r} key *****-*****-*****-*****-{key[-5:]}\u0026#34;) 检查项 对照的标准 失败意味着 签名、长度、校验和 Microsoft 有文档的表头 文件坏了 版本、数据类型、数据长度、密钥形状 真实的表所具有的形状 人工看一看这一份，而不是“这是伪造的” 它从不打印密钥，只打印最后一组。 日志文件里的产品密钥，就是别人也能用的产品密钥。\n对一张好表和它的三份坏副本运行的结果：\nOK OEM \u0026#39;EXMPLE\u0026#39; key *****-*****-*****-*****-EEEEE bad-sum.bin: checksum does not sum to zero bad-trunc.bin: header says 85 bytes, file is 70 bad-sig.bin: signature is b\u0026#39;SLIC\u0026#39;, not MSDM 它放在哪里，谁能把它放进去 从客户上传到客户机用来激活的密钥 客户的表 msdm.bin，85 字节 来自他们自己的机器 校验器 签名、长度、 校验和、密钥形状 存放 /etc/pve/priv/ 仅 root，每个节点 虚拟机 args -acpitable file= 仅 root 可设置 QEMU 改写长度， 重算校验和， 什么都不拒绝 客户机 ACPI 中的 MSDM， 激活程序读取密钥 校验器放在 QEMU 前面，因为 QEMU 会修补坏表头而不是拒绝它。这张表存放在集群文件系统的私有部分，所以它跟着虚拟机去往任何节点，并且只有 root 能读。 产品密钥是一项机密。 它不该放在任何 www-data 能读到的地方，而 pmxcfs 在 /etc/pve 里恰好只给你一个它读不到的位置6：\n这张表可以放在哪里 谁能读 在虚拟机可迁移到的每个节点上都有 /etc/pve/priv 仅 root 是 /etc/pve 中的其他任何地方 组可读，包括 Web 界面的 www-data 是 某一个节点上的目录 你设成什么就是什么 否 85 字节，离 pmxcfs 1 MiB 的文件上限还差得远7：\nmkdir -p /etc/pve/priv/msdm check-msdm.py upload.bin \u0026amp;\u0026amp; cp upload.bin /etc/pve/priv/msdm/9000.bin qm set 9000 --args \u0026#34;-acpitable file=/etc/pve/priv/msdm/9000.bin\u0026#34; qm set --args 会替换整行。 如果虚拟机的 args 里已经有 SMBIOS 或固件选项，就把它们全部一起写出来。 而且因为 args 仅限 root，这是你的开通流程该做的事，不是客户能在 Web 界面里自己做的。 这样才是正确的方向。 客户提供文件，你的工具检查它并挂上去。\n这张表迁移的是密钥，不是权利 这里需要头脑清醒。 把 MSDM 表迁进虚拟机，迁的是密钥。 不是许可证。\nMicrosoft 自己的条款就是这么说的，要紧的几句放得进一张表：\n情形 Microsoft 怎么说 来源 OEM 许可证，迁移 可转让给另一个用户，“only with the licensed device” OEM 许可条款8 OEM 许可证，可装几份 “only one instance of the software for use on one device, whether that device is physical or virtual” OEM 许可条款8 OEM 许可证，说白了 “locked”在原来那台 PC 上，“and cannot be transferred to any other PC” Microsoft 小企业博客9 例外 在德国或其他所列国家购得软件的，转让条款“do not apply” OEM 许可条款8 为客户托管 Services Provider License Agreement 用于“hosted applications to end customers” SPLA10 桌面版作为托管虚拟机 “VMs must be hosted by a Qualified Multitenant Hoster (QMTH)” Microsoft Learn11 这张表总是来自客户自己那台获许可的机器，绝不来自你的主机。 完全落在条款字面之内的情形是最简单的那个：许可证随之出售的那台机器，现在跑着 Proxmox，同一份 Fisher-Price OS (Windows) 被迁进它上面的一台虚拟机。 这仍然是一台设备上的一个实例，OEM 条款允许这样做，“whether that device is physical or virtual”8。 第二台虚拟机，或者换一台机器，就不行了。\n在这一种情形里，客户的机器和虚拟化主机是同一台，所以没有什么要上传，也没有什么要复制。 Proxmox 内核已经在 /sys/firmware/acpi/tables/ 下暴露了固件的 MSDM 表，仅 root 可读，而 Proxmox 上的 QEMU 以 root 运行，所以它可以直接从那里取表：\nqm set 100 --args \u0026#34;-acpitable file=/sys/firmware/acpi/tables/MSDM\u0026#34; 指向实时的表而不是一份副本，有两个后果。 这个路径在虚拟机启动的那个节点上读取，所以这属于单机主机，不属于集群：迁移虚拟机后，它要么拿到那个节点的表，也就是另一台机器上的另一个许可证，要么根本启动不了，因为 QEMU 对不存在的文件会报 can't open file … No such file or directory 并拒绝。 而且它只有一行，也就是说粘贴到第二台虚拟机上也只要一行。 第二台虚拟机正是条款不覆盖的情形，所以只给一台虚拟机，别的都不给。\n所以，去做这个功能。 机制是可靠的，也确实有客户有权使用它；在德国买许可证的客户很可能就是其中之一。 但要把授权放在它该在的地方：在你的服务条款里，由客户保证他们持有的许可证涵盖在你的虚拟机里运行它，而且在上传按钮起任何作用之前就做出保证。 校验器证明这张表格式正确。 没有任何东西能证明它归他们使用。\n批量许可证从不靠近这张表 持有批量许可证的客户能走同一条路吗？ 不能。 这张表根本没有东西可装。\nMSDM 属于 OEM 渠道，别无其他。 Microsoft 自己的规划指南说，OEM 激活“is available only for computers that are purchased through OEM channels and have the Windows operating system preinstalled”12。 批量许可证通过另外三种模式之一激活：“Multiple Activation Keys (MAK)”、“KMS”和“Active Directory-based activation”12，每一种里密钥都装在操作系统中。 没有任何东西从固件读它。\n方式 密钥在哪里 客户机和谁通信 在 Proxmox 虚拟机里 OEM，OA 3.0 固件中的 MSDM 表 Microsoft 的激活服务器 上面的 -acpitable 路线 MAK 装在客户机里 Microsoft，一次，计入该密钥的激活次数 能联网或打电话就行 KMS 客户机里的通用密钥（GVLK） 客户在 TCP 1688 上的 KMS 主机 需要一条通往它的路由，并且要有 25 台客户端或 5 台服务器才会激活任何东西 Active Directory 客户机里的 GVLK 客户的域控制器，至少每 180 天一次 需要虚拟机加入他们的域 AVMA 客户机里的通用密钥 Hyper-V 主机自己的 Datacenter 许可证 完全不可用 所以对批量许可客户来说，虚拟化主机上没有什么要做的。 他们的密钥放进他们的镜像，你的那部分是网络路径：通往他们 KMS 主机的 1688 端口，或者通往他们域控制器的 VPN。 MSDM 的位置保持空着，也本该空着。\n有两件事常让人栽跟头。 批量介质上的通用密钥本身什么也激活不了，因为“the GVLK doesn\u0026rsquo;t work unless a valid KMS host key can be found”12，所以用客户的 Enterprise ISO 搭起来、却没有回家路由的虚拟机，就一直处于未激活状态。 另外，桌面批量许可证本身并不是一个完整的许可证。 批量计划“cover upgrades to Windows client operating systems only”，并且“an existing retail or OEM operating system license is needed for each computer”12。 批量许可证叠在一个基础许可证上面，往往正是上一节讲的那个 OEM 许可证，而它能否在你的虚拟机里运行，仍然是那张表里的托管问题，而不是激活问题。\nAVMA 值得单独说一句，因为它看起来就像答案。 它是 Microsoft 让主机激活自己的服务器客户机的方法，把“the VM activation to the licensed virtualization host”绑定起来，并且要求“a Windows Server Datacenter edition with the Hyper-V server host role installed”13。 其余的部分 Microsoft 说得很直白：“AVMA doesn\u0026rsquo;t work with other server virtualization technologies”13。 在 Proxmox 上，服务器客户机通过你的 SPLA 密钥或客户自己的 KMS 激活。\n技术栈里没有谁检查手续 这里的每一层都只做自己的事，一点不多。 固件存一个密钥。 QEMU 复制字节，顺手整理表头。 客户机读取密钥并用它激活。 它们没有一个能分辨底下的机器是不是许可证随之出售的那台，也没有一个本来就该管这事。\n所以这项检查落到了运行虚拟化主机的人身上。 许可证是买它的人和 Microsoft 之间的协议，你的平台不是协议的一方，但移动密钥的正是它，这就让这个问题成了你的，不管你愿不愿意。\n在上传按钮起任何作用之前，把答案写下来。 一台机器，一台虚拟机，客户自己的许可证，以及他们保证许可证涵盖这种用法的承诺。 这不花你一分钱，而且对你的保护和对他们的一样多。 软件会搬动别人交给它的任何密钥。 它该不该搬，是只有人才能回答的问题，所以要确保有人回答过。\nMicrosoft Learn, OA 3.0 on the factory floor — “injects the product keys into the firmware”；/Validate 检查“that the MSDM table exists”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Validate an OEM Activation key — “is activated by using the OA3 DPK in the firmware”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Microsoft Software Licensing Tables (SLIC and MSDM) — 表 2，偏移 36：“Proprietary data structure that contains all the licensing data necessary to enable Windows activation.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU, System Emulation, Invocation — 各类型的 -smbios 字段；-acpitable“For file=, take whole ACPI table from the specified files, including all ACPI headers”；-boot“Currently Seabios for X86 system support it.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU v11.0.3, hw/acpi/core.c — “ACPI table has wrong length”只是一个 warn_report，随后长度被覆盖，校验和被重新计算。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/pmxcfs.c — priv 下的路径被屏蔽为 0777700，其余一切为 0777750。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/memdb.h — #define MEMDB_MAX_FILE_SIZE (1024 * 1024) // 1 MiB。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Windows 11 OEM licence terms — “you may transfer the license to use the software directly to another user, only with the licensed device”；转让条款“do not apply if you acquired the software in Germany”或所列国家。存档副本；现行页面拒绝自动化请求。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, small business blog archive — “the OEM Windows license is \u0026rsquo;locked\u0026rsquo; to the original PC it comes with and cannot be transferred to any other PC.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Services Provider License Agreement — “for service providers and software development companies licensing eligible Microsoft products to provide software services and hosted applications to end customers.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Windows subscription activation for VDA — “VMs must be hosted by a Qualified Multitenant Hoster (QMTH).”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Plan for volume activation — 三种批量激活模式；KMS 的门槛：服务器“at least five computers”，客户端“at least 25 computers”，使用 TCP 1688 端口；基于 Active Directory 的激活需要域“at least once every 180 days”；“the GVLK doesn\u0026rsquo;t work unless a valid KMS host key can be found”；批量许可证“cover upgrades to Windows client operating systems only”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Automatic Virtual Machine Activation in Windows Server — “AVMA requires a Windows Server Datacenter edition with the Hyper-V server host role installed”；“AVMA doesn\u0026rsquo;t work with other server virtualization technologies.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/proxmox/moving-an-oem-licence-into-a-proxmox-vm/","summary":"Fisher-Price OS (Windows) 的 OEM 许可证以一张名为 MSDM 的 ACPI 表存放在 PC 的固件里，而 QEMU 会把任何这样的表原样交给客户机，不做任何检查。本文讲这张表里装着什么；一个校验器，在 QEMU 悄悄修复表头之前就拒绝格式错误的表；把表存进 Proxmox 集群文件系统的私有部分；Microsoft 关于迁移 OEM 许可证的条款，以及它们明确允许的唯一情形；当获许可的机器本身就是虚拟化主机时，直接从主机取这张表；以及为什么 MAK、KMS、Active Directory 和 AVMA 激活从来不碰这张表。","title":"把 OEM 许可证迁进 Proxmox 虚拟机，以及随之迁走的东西"},{"content":"你的虚拟机启动时，客户看到的是什么 你以自己的名义出售虚拟机。 客户开机，屏幕上出现的第一样东西却是别人的 logo。\n这就是一台原装的 Proxmox 虚拟机。 什么都没坏，Proxmox 也没做错任何事：这是他们的产品、他们的名字，固件和显示它的界面都是他们写的，他们完全有权把名字放在那里，就像服务器厂商把自家铭牌钉在机箱正面一样。 只是那不是你的。\nlogo 只是开始。 下面是一台原装 UEFI 客户机在 Proxmox 当前固件 pve-edk2-firmware 4.2026.08-1 上报告的内容，在客户机内部用 dmidecode 读出：\n客户机看的地方 读到的内容 谁的名字 启动画面 Proxmox 的 logo Proxmox 固件厂商（SMBIOS 类型 0） Proxmox distribution of EDK II Proxmox 固件版本 4.2026.08-1 Proxmox 的软件包版本 系统制造商（类型 1） QEMU QEMU 产品名（类型 1） Standard PC (Q35 + ICH9, 2009) QEMU 机箱制造商（类型 3） QEMU QEMU 主板（类型 2） 根本不存在 谁都不是 管理 Web 界面 左上角的 Proxmox logo Proxmox 启动 logo 也不止于固件。 UEFI 固件会通过一张叫 BGRT（Boot Graphics Resource Table，启动图形资源表）的 ACPI 表，把它画过的图像交给操作系统，这张表存在的目的就是说明“an image was drawn on the screen during boot”1，然后操作系统会在它自己的启动画面上再画一遍。 Fisher-Price OS (Windows) 把它放在转圈动画的上方，Microsoft 称 BGRT 为“the standard interface that Windows uses to access the logo”2。 Fedora 默认的 Plymouth 主题在 Linux 上也这么做3。 所以，一台跑在 Proxmox 固件上的客户机，在任何人登录之前就把 Proxmox 的 logo 显示了两遍。\n这些改起来都不难。 难的是让它保持改过的样子。 下一次 apt full-upgrade 会悄悄把其中一半放回去，而它没放回去的那一半，才是你应该担心的那一半，本文大部分篇幅讲的就是这个。\n每一处品牌在启动的哪一步进入 开机 QEMU 根据配置 构建 SMBIOS 和 ACPI 表 固件 OVMF 画出 内置 logo， SeaBIOS 显示启动画面 交接 SMBIOS 表， ACPI 含 BGRT 和 MSDM 系统启动画面 重画 固件 logo 取自 BGRT 运行中的客户机 读取字符串， 激活程序读取 MSDM 密钥 虚拟机配置 软件包文件 虚拟机配置 软件包文件 虚拟机配置 在 /etc/pve 中，每次升级后都还在 在 /usr/share 下，apt 会替换它 品牌信息在启动过程中从五个地方进入。其中三个出自虚拟机自己的配置，apt 怎么折腾都留得住。另外两个来自某个 Proxmox 软件包拥有的文件，升级会把它们收回去的就是这两个。 交接过程中的那张 MSDM 表根本不是品牌。 它装的是许可证密钥，把它搬进虚拟机另有一篇文章：Moving an OEM Licence Into a Proxmox VM。\n/usr/share 下的一切都归 apt 所有 一条规则决定了下面的每一个选择。 软件包安装的文件就是软件包的文件。 你就地修改它，下一次这个软件包升级就会一声不吭地覆盖你的修改，因为在 dpkg 看来，它只是把自己的文件放回原处而已。\n所以每一处品牌都必须放在 apt 不拥有的地方。 一个 Proxmox 节点上有三个这样的地方，各有各的代价：\n放在哪里 怎么放进去 升级后是否还在 你付出的代价 /etc/pve 里的虚拟机配置 smbios1，其他一切用 args 是，配置从不会被软件包碰 args 只有 root 能设，而且 GUI 里不显示 一个已告诉 dpkg 别动的文件 dpkg-divert 是，软件包的那份改装到一个 .distrib 名字下 升级再也到不了这个文件，而当这个文件是固件时，这就要紧了 你自己的目录，在软件包目录树之外 /usr/local，从 args 引用 是，没有软件包拥有它 得你自己放到每个节点上 Debian 自己对 diversion 的描述最清楚：“a way of forcing dpkg not to install a file into its location, but to a diverted location”4。 Web 界面就靠它解决。 对固件来说，它是两个选项之一，而且是更危险的那个。\n机箱不过是几个字符串加一道权限检查 SMBIOS 是一台机器用来描述自己的表：谁造的，什么型号，序列号，主板和机箱是什么5。 dmidecode 读它，你在网络上用过的每一个资产盘点工具都读它，Fisher-Price OS (Windows) 的系统信息面板读它，大多数决定某个软件能不能在某台机器上运行的许可证检查也读它。 在虚拟机上，写它的是 QEMU。 所以上表里才是 QEMU 和 Standard PC。\n类型 1 走 smbios1 Proxmox 在虚拟机配置里暴露了一个 SMBIOS 结构：类型 1，System Information，即 smbios16。 它接受 manufacturer、product、version、serial、sku、family 和 uuid。\n坑在 qemu-server 里，不在文档里。 除了 uuid，每个字段都必须匹配一个 base64 模式 [A-Za-z0-9+\\/]+={0,2}，所以一个带空格的普通值会被直接拒绝。 真正的字符串要做 base64 编码，并设上 base64=1，qemu-server 在构造 QEMU 命令行之前会再把它们解码回来7。 GUI 的 SMBIOS 编辑器每次保存都这么做，代码注释写着“smbios values can be arbitrary, so encode and mark config as such”8。 在命令行上，这就是你的活了：\nb() { printf %s \u0026#34;$1\u0026#34; | base64 -w0; } qm set 9000 --smbios1 \u0026#34;uuid=$(qm config 9000 | sed -n \u0026#39;s/.*uuid=\\([0-9a-f-]*\\).*/\\1/p\u0026#39;),base64=1,\\ manufacturer=$(b \u0026#39;Example Cloud Ltd\u0026#39;),product=$(b \u0026#39;EC Compute Instance\u0026#39;),\\ version=$(b \u0026#39;2026.10\u0026#39;),family=$(b \u0026#39;General Purpose\u0026#39;),sku=$(b \u0026#39;ec-gp-4c16g\u0026#39;)\u0026#34; 注意 uuid 被放了回去。 它是客户机的机器身份，而你传给 --smbios1 的东西会作为整个选项保存下来，所以要先读出来并保留。\n给模板打品牌，而不是给每台虚拟机打。 Proxmox 克隆会生成一个新的 UUID，并保留 smbios1 的其他所有字段，所以每个克隆出来都有自己的身份和你的字符串9，只有一个例外，见下文。\n类型 0、2、3 和 11 走 args smbios1 止步于类型 1。 固件厂商、主板、机箱和 OEM 字符串都要走 args，也就是 Proxmox 原样传给 QEMU 的那一行，Proxmox 自己的文档称之为“for experts only”6。 QEMU 的 -smbios 选项接受每种类型的字段10：\nargs: -smbios \u0026#39;type=0,vendor=Example Cloud Ltd,version=EC-FW 1.0,date=10/04/2026,uefi=on\u0026#39; -smbios \u0026#39;type=2,manufacturer=Example Cloud Ltd,product=EC Virtual Board,version=1.0\u0026#39; -smbios \u0026#39;type=3,manufacturer=Example Cloud Ltd,version=1.0,asset=EC-ASSET-123,sku=ec-gp\u0026#39; -smbios \u0026#39;type=11,value=example-cloud:instance=123\u0026#39; 在 QEMU 上带着这些行启动后，客户机的 dmidecode 读到：\n结构 字段 原装 打品牌后 类型 0 Vendor Proxmox distribution of EDK II Example Cloud Ltd 类型 0 Version 4.2026.08-1 EC-FW 1.0 类型 1 Manufacturer QEMU Example Cloud Ltd 类型 1 Product Name Standard PC (Q35 + ICH9, 2009) EC Compute Instance 类型 1 Family 未指定 General Purpose 类型 2 Manufacturer 没有这个结构 Example Cloud Ltd 类型 2 Product Name 没有这个结构 EC Virtual Board 类型 3 Manufacturer QEMU Example Cloud Ltd 类型 3 Asset Tag 未指定 EC-ASSET-123 类型 11 String 1 没有这个结构 example-cloud:instance=123 一路上冒出了四个陷阱。四个都悄无声息。\n提供类型 0 会让“UEFI is supported”消失。 只有当 QEMU 没有提供类型 0 时，OVMF 才写它自己的类型 0；遍历 QEMU 表的那个循环一遇到类型 0 就把 NeedSmbiosType0 = FALSE 设上11。 你的厂商字符串替换了 Proxmox 的，这正是目的。 但 QEMU 的类型 0 也替换了 OVMF 的固件特性，没有 uefi=on 的话，“UEFI is supported”这一行就从 dmidecode 里消失了。 用 uefi=on 把它加回来。 对 UEFI 客户机，厂商字符串反正有个更好的去处，就在固件本身里面，后文会讲。\n机箱类型设不了。 QEMU 的类型 3 只接受 manufacturer、version、serial、asset 和 sku，别的都不接受10。 它会一直是 Other。\n同一类型的两份定义会合并，后面的胜出。 qemu-server 把它的 -smbios type=1 放在命令行靠前的位置，把你的 args 放在最末尾12，所以 args 里的第二个 -smbios type=1,manufacturer=… 并不会把第一个扔掉：QEMU 逐字段合并它们，manufacturer 来自 args，UUID 还是 smbios1 设的那个。 这一点对第四个陷阱很要紧。\n两半的主人不同。 qemu-server 逐个选项检查权限。 smbios1 归在硬件选项里，需要 VM.Config.HWType，而 args 落到最底下那个兜底分支，写着“only root can set”13。 主板、机箱、固件厂商和 OEM 字符串只有你能改。 类型 1 不是。 任何你给过硬件权限的人都能改写它，而在托管产品上，这个人很可能就是客户。 如果制造商字符串要紧，就在 args 里也设一遍。后面的定义胜出。\n序列号早就在配置里了 类型 1 里该放的东西，大部分已经躺在虚拟机配置里了。 名字是个很好的序列号，因为 qemu-server 在那里只接受 DNS 名14：短，可打印，绝不含逗号，而且是这台虚拟机上客户唯一认得的东西。\n类型 1 字段 取自 对一台名为 web-01、标签 production;web 的 4 核 16 GiB 虚拟机 Serial Number name web-01 SKU Number cores × sockets，以及 memory ec-4c16g Family tags 里的第一项 production UUID 它已有的 smbios1 UUID 不变 Manufacturer、Product 你自己的固定字符串 Example Cloud Ltd、EC Compute Instance 有两样东西不放进去。 节点每次迁移都会变，而 vmgenid 本来就该变：它全部的工作就是告诉客户机，它是从快照恢复的，或者是从模板构建的15。 两者都不是身份。\n#!/bin/bash # /usr/local/sbin/ec-smbios VMID: rebuild smbios1 from the VM\u0026#39;s own config. set -euo pipefail id=$1 cfg=$(qm config \u0026#34;$id\u0026#34; --current) get() { sed -n \u0026#34;s/^$1: //p\u0026#34; \u0026lt;\u0026lt;\u0026lt;\u0026#34;$cfg\u0026#34;; } b() { printf %s \u0026#34;$1\u0026#34; | base64 -w0; } name=$(get name) [ -n \u0026#34;$name\u0026#34; ] || { echo \u0026#34;VM $id has no name to use as a serial\u0026#34; \u0026gt;\u0026amp;2; exit 1; } cores=$(get cores); sockets=$(get sockets); vcpu=$(( ${cores:-1} * ${sockets:-1} )) mem=$(get memory); mem=${mem#current=}; mem=${mem%%,*}; mem=${mem:-512} (( mem % 1024 )) \u0026amp;\u0026amp; size=\u0026#34;${mem}m\u0026#34; || size=\u0026#34;$(( mem / 1024 ))g\u0026#34; tag=$(get tags); tag=${tag%%;*} uuid=$(get smbios1 | grep -o \u0026#39;uuid=[0-9a-fA-F-]*\u0026#39; | cut -d= -f2 || true) uuid=${uuid:-$(cat /proc/sys/kernel/random/uuid)} s=\u0026#34;uuid=$uuid,base64=1,manufacturer=$(b \u0026#39;Example Cloud Ltd\u0026#39;),product=$(b \u0026#39;EC Compute Instance\u0026#39;)\u0026#34; s+=\u0026#34;,serial=$(b \u0026#34;$name\u0026#34;),sku=$(b \u0026#34;ec-${vcpu}c${size}\u0026#34;)\u0026#34; [ -n \u0026#34;$tag\u0026#34; ] \u0026amp;\u0026amp; s+=\u0026#34;,family=$(b \u0026#34;$tag\u0026#34;)\u0026#34; qm set \u0026#34;$id\u0026#34; --smbios1 \u0026#34;$s\u0026#34; 默认值用的是 qemu-server 自己的，一个核、一个插槽、512 MiB16，所以一份省略了它们的配置照样得到正确的 SKU。 用上表里的配置去跑它，qm 换成一个供出这份配置的脚本，它写出的那一行按 qemu-server 的方式解码后交给 QEMU，客户机的 dmidecode 读回了 web-01、ec-4c16g、production 和它原有的 UUID。 没有名字的虚拟机会被拒绝，而不是给一个空序列号。\n最显而易见的去处是 hookscript。 那是错的去处。 qemu-server 在为启动虚拟机而拿到的配置锁里运行 pre-start 钩子，并且用钩子运行之前加载的配置来构造 QEMU 命令行17。 一个改写序列号的钩子改变的是下一次启动，不是这一次。\n所以要从你的开通流程里运行它，在它的输入会变化的四个时刻：创建、克隆、重命名和调整规格。 咬人的是克隆。 克隆保留 smbios1 除 UUID 以外的每个字段9，所以漏掉这一步，每台从 web-template 构建的虚拟机都会把模板的名字报告成自己的序列号。\n启动 logo 住在两个不同的地方 客户机显示哪个 logo，取决于它的固件。 Proxmox 自带的两种固件，从完全不同的地方拿 logo：\nSeaBIOS（bios: seabios，默认） OVMF（bios: ovmf，UEFI） logo 从哪里来 QEMU 在启动时交过去的一张 JPEG 编译进固件里的一张位图 Proxmox 的文件 /usr/share/qemu-server/bootsplash.jpg，640×480 Logo.bmp，400×120，8 位，编译进 OVMF_CODE_4M*.fd 所属软件包 qemu-server pve-edk2-firmware-ovmf 按虚拟机修改 args: -boot splash=… 用 args 让虚拟机指向别的固件 不重新构建任何东西就能改 能 不能 通过 BGRT 到达客户机操作系统 否 是 SeaBIOS：命令行上的一张 JPEG qemu-server 给它启动的每台虚拟机都加上同一个 -boot 选项：menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg18。 QEMU 的文档说，这张图会在“when option splash=sp_name is given and menu=on, If firmware/BIOS supports them. Currently Seabios for X86 system support it”时显示10。 OVMF 从中只拿 splash-time，用作启动菜单的超时，OvmfPkg 里没有任何地方引用这个 splash 文件19。\n替换它只需在虚拟机配置里加一行：\nargs: -boot splash=/etc/pve/branding/splash.jpg 第二个 -boot 不会和第一个打架。 QEMU 用合并 -smbios 的同样方式合并它，后面的值胜出；给两个 splash 文件时，截图显示的是第二个。 /etc/pve 是放这个文件的正确位置，因为它是集群文件系统，每个节点看到的都是同一张 splash，而它每个文件 1 MiB 的上限，离一张 640×480 的 JPEG 还远着呢20。\n图像本身必须满足三个条件，任何一个弄错，你就会丢掉 logo 或者它的颜色：\n条件 为什么 否则会怎样 JPEG 或 24 位 BMP QEMU 在虚拟机启动前检查文件 splash file … format not recognized; must be JPEG or 24 bit BMP Baseline JPEG，4:2:0 色度 SeaBIOS 的解码器别的都处理不了21 ERR_NOT_SEQUENTIAL_DCT 或 ERR_NOT_YCBCR_221111，外加一块黑屏 640×480，和 Proxmox 自己的一样 SeaBIOS 向 VGA BIOS 要一个和图片尺寸完全一致的模式 没有匹配的模式，就没有 splash 大多数图像工具默认写 baseline 4:2:0，所以丢掉 logo 的常见方式，是某个“存储为 Web 格式”之类的选项悄悄打开了渐进式编码，在你所有的图片查看器里看起来一模一样，而 SeaBIOS 却什么都画不出来。\n颜色陷阱 这个花了我一个下午。 同一张 JPEG，用两个 SeaBIOS 1.17.0 构建渲染，出来是两种不同的颜色：\n问题在 SeaBIOS 的 jpeg.c 里。 每像素 24 位的写入函数有一个小端分支，把蓝色放在每个像素的第一个字节，而每像素 32 位的写入函数 PIC_32 没有这个分支，在那里写的是红色21。 在小端的帧缓冲上，这就把红和蓝对调了。 蓝色出来是金色，橙色出来会是蓝色。\n运行哪个写入函数，取决于 VGA BIOS 提供的视频模式：\n固件 640×480 的 VBE 模式 每像素位数 颜色 QEMU 上游预编译的 SeaBIOS 1.17.0，即 pve-qemu-kvm 11.0.3-4 自带的 0x111 16 正确，量化到 65,536 色 Fedora 44 自己构建的 seabios 1.17.0-10 0x142 32 红蓝对调 模式编号来自 SeaBIOS 自己的表22，Proxmox 那一行是对照软件包里的二进制本身核对过的：和 QEMU 预编译的 rel-1.17.0-0-gb52ca86e094d 逐字节相同。 所以在 Proxmox 上你的颜色是对的，只是只有 65,536 种，细腻的渐变会出现色带。 而如果你的 logo 哪天在别的 hypervisor 上颜色不对，那不是你 JPEG 的问题。\nUEFI logo 是编译进固件里的 UEFI 客户机是更难的那一半，而在如今的 Proxmox 上，大多数客户机都是 UEFI。\n没有 splash 选项可以覆盖。 logo 是固件镜像里的一张位图，Proxmox 的构建用 debian/rules 里的一行把它放进去：\ndebian/setup-build-stamp: cp -a debian/Logo.bmp MdeModulePkg/Logo/Logo.bmp 这会在 edk2 构建之前，把他们那张 400×120、8 位的 Logo.bmp 覆盖到 TianoCore 的那张上23。 同一个文件还把固件厂商设成一个构建时常量 PcdFirmwareVendor=L\u0026quot;Proxmox distribution of EDK II\u0026quot;，第一张表里的类型 0 厂商就是从这里来的23。\n新 logo，就是新固件。 要得到一个行为和 Proxmox 完全一样的固件，办法就是完全照 Proxmox 的方式构建：他们的源码树，签出与他们所发布软件包相对应的标签，他们的补丁，他们的标志，只换一张位图。 pve-edk2-firmware 4.2026.08-1 把 edk2 固定在 2970e56，也就是上游的 edk2-stable202608 标签23。\ngit clone https://git.proxmox.com/git/pve-edk2-firmware.git cd pve-edk2-firmware git checkout f37039e52d228a7844a90aa2aaf1e161ebd04fcd # 4.2026.08-1 git submodule update --init --recursive cd edk2 QUILT_PATCHES=../debian/patches quilt push -a cp /path/to/your/Logo.bmp MdeModulePkg/Logo/Logo.bmp . ./edksetup.sh \u0026amp;\u0026amp; make -C BaseTools F=\u0026#34;-DNETWORK_HTTP_BOOT_ENABLE=TRUE -DNETWORK_IP6_ENABLE=TRUE -DNETWORK_TLS_ENABLE -DSECURE_BOOT_ENABLE=TRUE -DPVSCSI_ENABLE=TRUE -DTPM2_ENABLE=TRUE --pcd PcdUninstallMemAttrProtocol=TRUE -DFD_SIZE_4MB\u0026#34; P=(--pcd \u0026#34;PcdFirmwareVendor=LExample Cloud Ltd\\\\0\u0026#34; --pcd \u0026#34;PcdFirmwareVersionString=L4.2026.08-1+ec1\\\\0\u0026#34;) build -a IA32 -a X64 -t GCC -p OvmfPkg/OvmfPkgIa32X64.dsc $F \u0026#34;${P[@]}\u0026#34; -b RELEASE cp Build/Ovmf3264/RELEASE_GCC/FV/OVMF_CODE.fd OVMF_CODE_4M.fd rm -rf Build/Ovmf3264 build -a IA32 -a X64 -t GCC -p OvmfPkg/OvmfPkgIa32X64.dsc $F -DSMM_REQUIRE=TRUE \u0026#34;${P[@]}\u0026#34; -b RELEASE cp Build/Ovmf3264/RELEASE_GCC/FV/OVMF_CODE.fd OVMF_CODE_4M.secboot.fd 这些标志取自该提交下的 debian/rules。 注意厂商字符串：他们的 Makefile 用双引号写它，make 的 shell 把引号剥掉，edk2 收到的是不带引号的，所以这里就这样传，再加一层引号会导致构建错误。 位图保持和他们一样的 400×120、8 位，启动画面上其他东西就都不会挪位。\n两个镜像你都需要。 qemu-server 用 OVMF_CODE_4M.secboot.fd（要求 SMM 的那个构建）启动任何带 4M EFI 磁盘的 Q35 虚拟机，普通的 OVMF_CODE_4M.fd 只用于 i440fx24。 在当前的 Proxmox 上，几乎每台 UEFI 客户机跑的都是 secboot 那个。\n这样构建，与 Proxmox 的源码树相比只改了位图和两个字符串，SMM 镜像启动起来是这样的：\n客户机对自身固件的认知也随之改变，命令行上一个 -smbios 选项都不用：\n在客户机内部读到的 Proxmox 的 4.2026.08-1 用同一源码树重新构建 固件厂商 Proxmox distribution of EDK II Example Cloud Ltd 固件版本 4.2026.08-1 4.2026.08-1+ec1 “UEFI is supported” 列出 列出 ACPI 表 BGRT、WSMT 等等 同一组 这让构建时设定的厂商成为 UEFI 客户机更好的答案。 它是 OVMF 自己的类型 0，所以 UEFI 那一位原地不动，谁都不用记着 uefi=on。 类型 0 走 args 的那条路，是给 SeaBIOS 客户机的，以及给根本不重建固件的人的。\n把新固件交给虚拟机的两种方式 qemu-server 把它找固件的位置写死了：OVMF.pm 里有一张 /usr/share/pve-edk2-firmware/ 下的路径表，按机器类型和 Secure Boot 选项索引，而虚拟机配置、GUI 或 API 里没有任何一个选项能选别的文件24。 剩下两条路。\n构建品牌化 OVMF，以及交给虚拟机的两种方式 Proxmox 的源码树 pve-edk2-firmware 4.2026.08-1 你的品牌 Logo.bmp + 厂商字符串 同样的构建，同样的标志 OVMF_CODE_4M.fd + .secboot.fd A：在每个节点上 divert 每台 UEFI 虚拟机都用上， 不改虚拟机配置 B：按虚拟机通过 args 逐台虚拟机选择启用， Proxmox 的文件不动 apt full-upgrade Proxmox 的新固件装上了，你的还是旧的 Post-Invoke 钩子 版本不同，下次启动前重新构建 一次构建，两条进入的路。无论走哪条，下一次升级都会把 Proxmox 的新固件装在你的旁边，而你的原封不动，这就是底部那个钩子存在的原因。 路线 A：在每个节点上 divert。 告诉 dpkg，Proxmox 的两个代码镜像现在归到别处，然后把你的放到它们原来的位置：\nD=/usr/share/pve-edk2-firmware for f in OVMF_CODE_4M.fd OVMF_CODE_4M.secboot.fd; do dpkg-divert --package example-branding --add --rename --divert \u0026#34;$D/$f.distrib\u0026#34; \u0026#34;$D/$f\u0026#34; install -m 0644 \u0026#34;/root/branding/$f\u0026#34; \u0026#34;$D/$f\u0026#34; done 从下一次启动起，这个节点上的每台 UEFI 虚拟机都用你的固件启动。 虚拟机配置一点都不用改。\n路线 B：让选定的虚拟机指向它。 把镜像放在你自己的目录里，一次一台虚拟机地覆盖固件。 改用 -blockdev 之后，qemu-server 把代码镜像作为一个叫 pflash0 的块节点挂上，并在 -machine 里指名它24，而 QEMU 合并第二个 -machine 的方式和合并 -boot 一样，所以 args 可以加一个自己的节点，让 pflash0 改指向它：\nargs: -blockdev driver=raw,node-name=brandcode,read-only=on,file.driver=file,file.filename=/usr/local/share/example-branding/OVMF_CODE_4M.secboot.fd -machine pflash0=brandcode 这是绕远路测试过的。 先把 Proxmox 的 secboot 固件完全按 qemu-server 的方式挂成 pflash0，开着 SMM，然后在后面加上那行 args，客户机启动的是品牌化的镜像，logo 和厂商字符串都在，上面那张截图就是这么来的。\n路线 A，divert 路线 B，按虚拟机加 args 哪些虚拟机得到它 节点上的每台 UEFI 虚拟机 只有你设置了的虚拟机 Proxmox 的文件 移到 .distrib 不动 虚拟机配置 不变 一行 args，只有 root 能设 机器类型必须匹配 已处理，两个镜像都 divert 了 你的事：Q35 用 secboot 镜像 撤销 dpkg-divert --remove --rename 删掉那一行 迁移 目标节点也必须 divert 目标节点必须有这个文件 代码镜像大约 3.5 MB，而 pmxcfs 每个文件的上限是 1 MiB20。 所以它放不进 /etc/pve，无论走哪条路，都得放到每个节点上。 把虚拟机迁到一个没有它的节点上，根据路线不同会有两种结果之一：路线 A 下，Proxmox 自己的固件和 logo 又回来了；路线 B 下，虚拟机根本启动不了，因为 QEMU 打不开一个不存在的文件。\n把你甩在后面的升级 diversion 是对付 logo 的正确工具。 固件不一样。\ndiversion 意味着 Proxmox 的升级再也到不了这个文件。 这正是你要的。 这也正是让 edk2 安全修复到不了你客户机的原因：Proxmox 4.2026.08-1 的变更日志开头就是“Besides many bug and security fixes”，接着列出了 CVE-2024-13745 的修复25，而一个基于上一版构建的品牌化固件，这些一样都没有。 没有任何东西告诉你。\n这是测试过的，不是假设的。 在一个配了 Proxmox 软件源的 Debian trixie 容器里，装上 pve-edk2-firmware-ovmf 4.2025.05-3，两个代码镜像都 divert，然后把软件包升级到 4.2026.08-1：\n升级之后 结果 dpkg-query -W pve-edk2-firmware-ovmf 4.2026.08-1 Proxmox 的新镜像 装成了 OVMF_CODE_4M.fd.distrib，哈希变了 品牌化镜像 没变，仍然基于 4.2025.05-3 构建 控制台上关于此事的任何提示 什么都没有，直到加上下面这个钩子 所以加个钩子。 apt 在每次 dpkg 运行之后执行一串 DPkg::Post-Invoke 命令26。 记下你基于哪个 Proxmox 版本构建，每次之后比较一下：\ncat \u0026gt; /usr/local/sbin/example-branding-check \u0026lt;\u0026lt;\u0026#39;EOF\u0026#39; #!/bin/sh built=$(cat /usr/local/share/example-branding/ovmf.built-from 2\u0026gt;/dev/null) now=$(dpkg-query -W -f \u0026#39;${Version}\u0026#39; pve-edk2-firmware-ovmf 2\u0026gt;/dev/null) [ \u0026#34;$built\u0026#34; = \u0026#34;$now\u0026#34; ] \u0026amp;\u0026amp; exit 0 echo \u0026#34;W: branded OVMF was built from pve-edk2-firmware-ovmf $built, Proxmox now ships $now.\u0026#34; \u0026gt;\u0026amp;2 echo \u0026#34;W: guests still boot the old firmware. Rebuild before the next VM restart.\u0026#34; \u0026gt;\u0026amp;2 exit 0 EOF chmod +x /usr/local/sbin/example-branding-check echo \u0026#39;DPkg::Post-Invoke { \u0026#34;/usr/local/sbin/example-branding-check\u0026#34;; };\u0026#39; \\ \u0026gt; /etc/apt/apt.conf.d/80example-branding 在同一次升级上，它打印出：\nW: branded OVMF was built from pve-edk2-firmware-ovmf 4.2025.05-3, Proxmox now ships 4.2026.08-1. W: guests still boot the old firmware. Rebuild before the next VM restart. 它故意以 0 退出。 Post-Invoke 命令失败的话 apt 会中止26，而一个品牌检查不值得让节点停在升级到一半的状态。 一句响亮的警告就够了。\n还有一件事。 重启。 客户机只有在它的 QEMU 进程重启时才会用上新固件，所以重新构建之后，需要从 Proxmox 停机再启动，而不是从客户机内部重启，Proxmox 自己的固件更新到达运行中的虚拟机也正是这样。 只不过它们不需要你先记着去重新构建。\n或者，别碰 Proxmox 的固件 到目前为止，每一种换 logo 的路线都要改固件，上一节就是这样做的账单。 有一种不用改，为了这篇文章做了原型。\nQEMU 里的 PCI 设备可以带一个 option ROM，就是你用 romfile= 指定的任何文件27，OVMF 会运行它在里面找到的 EFI 驱动。 Proxmox 的构建不管它有没有签名都会运行：OVMF 把 PcdOptionRomImageVerificationPolicy 设成 0x00，也就是总是执行28。 OVMF 在启动设备选择的后期才画它自己的 logo29，并且只在 ReadyToBoot 时，也就是交给引导程序之前的那一刻，才构建 BGRT。 而 edk2 的 BGRT 驱动通过 EDKII_BOOT_LOGO2_PROTOCOL 接收替换图像，只要图像变了，就在 ReadyToBoot 时重建这张表30。\n需要的就这么多。 驱动在 TPL_NOTIFY 上等待 ReadyToBoot，这比 BGRT 驱动自己的 TPL_CALLBACK 处理程序先运行，它清屏，画上自己的 logo，再把同一张图交过去。 构建出来是一个 8 KB 的文件，一行就挂上：\nargs: -device pci-testdev,romfile=/etc/pve/branding/brandrom.rom 8 KB 远在 pmxcfs 的 1 MiB 上限之内20，所以和 3.5 MB 的固件镜像不同，它可以放在 /etc/pve 里，跟着虚拟机去每一个节点。\n它是对着 Proxmox 自己的固件测试的，直接取自 pve-edk2-firmware-ovmf 4.2026.08-1：OVMF_CODE_4M.secboot.fd，OVMF_VARS_4M.ms.fd 里预先注册了 Microsoft 的密钥，Q35 加 SMM，通过 Fedora 签名的 shim 启动，这样 Secure Boot 是开着的并且在强制执行：\n从客户机里读到的 不挂 ROM 挂上 ROM SecureBoot 变量 1 1 屏幕上 Proxmox 的 logo Proxmox 的约 250 毫秒，然后是你的 BGRT 图像，400×120，位于 440,340 Proxmox 的，SHA-256 be5afe4b… ROM 的，SHA-256 6c494576… 改动的固件文件 无 无 关键在最后一行。 Proxmox 的固件没被动过，所以他们下一个安全版本会在下一次重启时到达你的客户机，上一节的事一件都不适用。\n这不是免费的：\n代价 原因 Proxmox 的 logo 会显示大约四分之一秒 OVMF 在任何 option ROM 驱动拿到屏幕之前就把它画了；只有重新构建才能避免 客户机多看到一个 PCI 设备，没有驱动 ROM 必须挂在某个设备上，而 pci-testdev 是 QEMU 那个什么都不做的设备 类型 0 仍然写着 Proxmox 厂商字符串是编译进去的；像上面那样，在 uefi=on 下通过 args 设置 只有 root 能做 这是一行 args 而它底下的那个发现需要直说。 一个未签名的驱动，在一台注册了 Microsoft 密钥、强制执行 Secure Boot 的客户机上，在固件里运行了，因为 Proxmox 的 OVMF 不检查 option ROM。 在这里这是有用的。 但它也意味着，在这个固件上，Secure Boot 检查的是引导程序，而不是虚拟机硬件配置挂上去的随便什么东西。既然只有 root 能写 args，这就成了一个谁在你的节点上握有 root 的问题。\n这是一个原型。 它在 QEMU 10.2.2 加 Proxmox 的固件上跑过，还没在 Proxmox 节点上跑过，下面给的是源代码，不是产品：\ngithub.com/damo2929/RebrandPCIRom：option ROM 驱动、logo 转换器和容器构建。\nWeb 界面是两个软件包 Web 界面左上角的 logo 不在 pve-manager 里。 Workspace.js 请求的是一个前缀为 pwt 的 proxmoxLogoSvg 组件，它在 proxmox-widget-toolkit 里，Backup Server 和 Mail Gateway 也共用这个包31。 只有标签页图标在 pve-manager 里：\n什么 文件 软件包 页头 logo，按 200×35 绘制 /usr/share/javascript/proxmox-widget-toolkit/images/proxmox_logo.svg proxmox-widget-toolkit 浏览器标签页图标 /usr/share/pve-manager/images/favicon.ico pve-manager 128×128 图标，也用作触摸图标 /usr/share/pve-manager/images/logo-128.png pve-manager 三个都是普通文件，所以这是 dpkg-divert 的活儿，而且上一节的代价在这里完全不适用，因为 logo 没有安全修复可错过，一个节点还在提供上个月的 favicon，也不会让任何人的客户机更不安全。\ndivert() { dpkg-divert --package example-branding --add --rename --divert \u0026#34;$1.distrib\u0026#34; \u0026#34;$1\u0026#34; install -m 0644 \u0026#34;$2\u0026#34; \u0026#34;$1\u0026#34; } divert /usr/share/javascript/proxmox-widget-toolkit/images/proxmox_logo.svg /root/branding/logo.svg divert /usr/share/pve-manager/images/favicon.ico /root/branding/favicon.ico divert /usr/share/pve-manager/images/logo-128.png /root/branding/logo-128.png 在同一个容器里，对着真实的软件包测试过：\n步骤 结果 在 proxmox-widget-toolkit 5.2.9 上 divert，装上自己的 SVG Proxmox 的 SVG 被改名为 proxmox_logo.svg.distrib 升级到 5.2.10 自己的 SVG 仍在原处，Proxmox 的 5.2.10 版本在 .distrib 里 dpkg --verify proxmox-widget-toolkit 没有报错，dpkg 知道这个 diversion apt-get install --reinstall proxmox-widget-toolkit 自己的 SVG 仍在原处 dpkg-divert --remove --rename Proxmox 的原件回来了，逐字节一致 有两样仍然是 Proxmox 的。 页头图像画在一个固定的 200×35 框里，所以你的 SVG 要按这个形状画，否则会被挤扁。 另外 alt 文本写的是 Proxmox，图像链接到 https://www.proxmox.com，这两样都写在 JavaScript 组件里，而不是一个你能 divert 的文件里31。 要改它们，就得给一个压缩过的 bundle 打补丁，而它每次升级都会坏。 为了 alt 文本，不值得。\nProxmox 的许可证和商标对你有什么要求 Proxmox VE 采用 AGPL 第 3 版许可32，该许可证第 13 条是网络条款：“if you modify the Program, your modified version must prominently offer all users interacting with it remotely through a computer network … an opportunity to receive the Corresponding Source of your version”33。 换掉三张图片算不算修改了程序？ 那得问律师。 省事的答案是把你的图片和 divert 脚本放到公开的地方，在登录页上放个链接。 一分钱都不花，问题也就了结了。\n商标这边更清楚。 Proxmox 的媒体资料包写着“Don\u0026rsquo;t alter the logo or incorporate the logo or symbol into your logo”34。 所以用你自己的 logo 把他们的整个换掉，绝不要用他们 logo 的改色版或改造版，也别让 Proxmox 出现在你产品的名字里。\n写上你的名字，就意味着由你来维护 给虚拟机打品牌很便宜。 几个 SMBIOS 字符串、一张 JPEG、一张位图、Web 界面里的三张图片：一个下午的活儿，大部分时间花在弄清楚东西都放在哪里。\n维持住它才是真正的工作。 也正是常被跳过的那部分。\nSMBIOS 字符串和启动画面会自己照顾自己，因为它们住在任何软件包都不会碰的配置里；Web 界面的 logo 也会自己照顾自己，因为 dpkg 已经被告知了它的存在。 固件不会。 从你把 logo 放进固件镜像的那天起，你就接管了别人发布流程中的一部分。Proxmox 构建、测试并发布带有安全修复的新固件，他们的客户在下一次升级时就能拿到，而你的客户要等你抽出空来重新构建才能拿到。\n明知如此做出这个取舍，没问题。 一家托管公司，客户机启动的固件落后两个版本，因为 logo 比变更日志更重要，那它造出来的不是产品。 是一张贴纸。\n如果启动画面上是你的名字，那它背后的固件就该由你保持最新，不管是谁写的。 没人会检查。 正因如此，才必须去做。\nUEFI Forum, ACPI Specification 6.6, §5.2.23 Boot Graphics Resource Table — \u0026ldquo;The Boot Graphics Resource Table (BGRT) is an optional table that provides a mechanism to indicate that an image was drawn on the screen during boot\u0026rdquo;。存档副本；在线页面对自动请求返回 403。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Boot screen components — \u0026ldquo;This is the standard interface that Windows uses to access the logo.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Project, Changes/FlickerFreeBoot — \u0026ldquo;a new plymouth theme which incorporates the firmware\u0026rsquo;s bootsplash image\u0026rdquo;；Fedora 的 plymouth.spec 把 bgrt 设为默认主题。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian, dpkg-divert(1), trixie — \u0026ldquo;File diversions are a way of forcing dpkg(1) not to install a file into its location, but to a diverted location.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDMTF, DSP0134 System Management BIOS Reference Specification 3.10.0 — 类型 1 系统信息，类型 2 主板，类型 3 \u0026ldquo;the system\u0026rsquo;s mechanical enclosure(s)\u0026quot;，类型 11 \u0026ldquo;free-form strings defined by the OEM\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE, qm.conf(5) — smbios1：\u0026ldquo;Specify SMBIOS type 1 fields\u0026rdquo;；args：\u0026ldquo;Arbitrary arguments passed to kvm … this option is for experts only.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, the smbios1 format and command-line builder — 除 uuid 外的每个字段都匹配模式 [A-Za-z0-9+\\/]+={0,2}；设置了 base64 时值会被解码。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-manager, www/manager6/Parser.js, printQemuSmbios1 — \u0026ldquo;smbios values can be arbitrary, so encode and mark config as such\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/API2/Qemu.pm, clone — \u0026ldquo;auto generate a new uuid\u0026rdquo;，smbios1 的其他字段保留。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU, System Emulation, Invocation — 各类型的 -smbios 字段；-acpitable \u0026ldquo;For file=, take whole ACPI table from the specified files, including all ACPI headers\u0026rdquo;；-boot \u0026ldquo;Currently Seabios for X86 system support it.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/SmbiosPlatformDxe/SmbiosPlatformDxe.c — 只有在遍历完 QEMU 的表之后 NeedSmbiosType0 仍然置位时，OVMF 才会添加它自己的类型 0。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, custom args — args 被拆分后追加到命令行末尾。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/API2/Qemu.pm, config permission checks — smbios1 是硬件类选项，需要 VM.Config.HWType；兜底分支 \u0026ldquo;catches args, lock, etc.\u0026quot;，并以 \u0026ldquo;only root can set\u0026rdquo; 报错退出。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, the name option — format =\u0026gt; 'dns-name'。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, vmgenid — \u0026ldquo;notify the guest operating system when the virtual machine is executed with a different configuration (e.g. snapshot execution or creation from a template)\u0026quot;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer/Memory.pm — 内存 default =\u0026gt; 512；QemuServer.pm 里 cores 和 sockets 默认为 1。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, vm_start — 第 5457 行 lock_config，第 5581 行 exec_hookscript($conf, $vmid, 'pre-start', 1)，第 5634 行 config_to_command 用的是同一个 $conf，中间没有重新加载。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, -boot — menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/Library/QemuBootOrderLib/QemuBootOrderLib.c — OVMF 只从 -boot 读取 etc/boot-menu-wait，即 splash-time 的值，别的都不读。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/memdb.h — #define MEMDB_MAX_FILE_SIZE (1024 * 1024) // 1 MiB。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeaBIOS, src/jpeg.c — 在小端机器上 PIC 先写蓝色，第 946 行的 PIC_32 先写红色且没有字节序分支；ERR_NOT_SEQUENTIAL_DCT 和 ERR_NOT_YCBCR_221111 是仅有的两种被拒绝的格式。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeaBIOS, vgasrc/svgamodes.c — 模式 0x111 是 640×480、16 位，0x142 是 640×480、32 位。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-edk2-firmware, debian/rules at 4.2026.08-1 — cp -a debian/Logo.bmp MdeModulePkg/Logo/Logo.bmp、PcdFirmwareVendor 字符串以及 OVMF 的构建标志。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer/OVMF.pm — /usr/share/pve-edk2-firmware/ 下写死的固件表、SMM 的选择，以及 pflash0 块节点。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-edk2-firmware, debian/changelog — 4.2026.08-1：\u0026ldquo;Besides many bug and security fixes … fix CVE-2024-13745\u0026rdquo;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian, apt.conf(5), trixie — \u0026ldquo;Pre-Invoke, Post-Invoke: This is a list of shell commands to run before/after invoking dpkg(1) … should any fail APT will abort.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU v11.0.3, hw/pci/pci.c — DEFINE_PROP_STRING(\u0026quot;romfile\u0026quot;, PCIDevice, romfile)，每个 PCI 设备都有的属性。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/OvmfPkgIa32X64.dsc — gEfiSecurityPkgTokenSpaceGuid.PcdOptionRomImageVerificationPolicy|0x00，Proxmox 构建所用的平台文件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/Library/PlatformBootManagerLib/BdsPlatform.c — BootLogoEnableLogo ()，从 PlatformBootManagerAfterConsole 调用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, BootGraphicsResourceTableDxe.c — 第 239 行的 SetBootLogo2 复制图像；第 417 行的 ReadyToBoot 处理程序 \u0026ldquo;If BGRT data change happens\u0026rdquo; 就卸载并重新安装这张表。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-widget-toolkit, src/Logo.js — proxmoxLogoSvg，200×35，alt: 'Proxmox'，链接到 proxmox.com；由 pve-manager Workspace.js 以 prefix: 'pwt' 调用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki, FAQ — \u0026ldquo;Proxmox VE code is licensed under the GNU Affero General Public License, version 3.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGNU Affero General Public License v3, §13 Remote Network Interaction — 正文中已完整引用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox, Media kit — \u0026ldquo;Don\u0026rsquo;t alter the logo or incorporate the logo or symbol into your logo.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/proxmox/branding-a-proxmox-vm/","summary":"一台原装 Proxmox 虚拟机在启动时显示 Proxmox 的 logo，在固件厂商字符串里写着 Proxmox，在每一张 SMBIOS 表里都自称 QEMU。本文把这些全部换成你自己产品的名字：SMBIOS 类型 0、1、2、3 和 11，序列号和 SKU 由虚拟机自己的名字和规格填入；SeaBIOS 启动画面及其颜色陷阱；用 Proxmox 自己的源码树构建的品牌化 OVMF，或者一个在 Secure Boot 下替换 logo 和 BGRT 却不碰固件的 option ROM 驱动；以及 Web 界面的 logo。每一处改动都放在升级无法悄悄撤销的地方，而唯一一处升级会让它危险地过时的地方，也就是固件，配了一个会把话说出来的钩子。","title":"给 Proxmox 虚拟机打上品牌，并让它在下次升级后依然留着"},{"content":"这篇文章里的所有内容，都是在我自己桌上的一套 NetBox 4.7.2 上跑出来的，里面装着一整套真实资产：一个站点、一个机柜、十四台设备，接好了线、通好了电、分好了地址，分属三个客户。每张截图都来自这套实例，每条错误信息都是我真遇到过的。\n内容按你实际碰到它的顺序展开。这东西是什么，你为什么想要一套，你搜索不出一个星期就会听说的那次分叉，怎样搭起一套，必须按什么顺序录入，然后你能从里面拿回什么。定制和扩展的部分放在最后，因为在你看清要扩展的东西长什么样之前，那些内容都说不通。\nNetBox 是什么 NetBox 是一个数据库，它对网络由什么构成有一套非常明确的看法，上面再加一个 Web 应用。它是跑在 PostgreSQL 上的 Django 应用，自 2016年6月 DigitalOcean 发布以来一直以 Apache 2.0 许可开源，如今由 NetBox Labs 和一支志愿维护者团队共同管理。12\n往下看，它是分布在十个应用里的 149 个模型，通过 146 个 REST 端点和一个 GraphQL 端点访问。这些数字是从我为这篇文章搭建的实例里数出来的，不是从功能介绍页上抄的：\n应用 模型数 应用 模型数 dcim 56 virtualization 7 extras 23 tenancy 6 ipam 18 wireless 3 circuits 11 users 7 vpn 10 core 8 其中五十六个属于 DCIM，也就是物理层：站点、位置、机柜、设备类型、设备，以及设备可能拥有的每一种端口、槽位和线缆端接。十八个属于 IPAM。其余的覆盖线路、隧道和 IKE 策略、虚拟机和集群、无线链路、租户，以及让整个系统可扩展的那套机制。\n数量不是重点。重点是它们之间的关联，而看清这一点最快的办法，就是 NetBox 最出名的那个页面。\n从机柜开始，因为这个页面最能把它卖出去。\n这张立面图是从数据画出来的，不是上传的图片。每台设备之所以出现在那里，是因为有记录说它占用了那几个 U、朝那个方向，颜色来自你给它分配的角色。空间利用率显示 28.6%，是因为 NetBox 算出来的。没有人去维护这个数字。\n由此引出的两件事，比这张图本身更值钱。\n你可以问哪些 U 是空的，并得到一个能直接拿来用的答案。你还可以在任何东西装进去之前预留这些 U，这就是“卖你真有的空间”和“卖你以为有的空间”之间的区别。\n它刻意不做的事 一个清楚自己不是什么的产品，比一个什么都做却什么都做不好的产品要少见得多，而 NetBox 自己的文档在这一点上说得很直白。它不提供网络监控、DNS 服务、RADIUS、配置管理或设施管理。1\n更重要的是，它保存的是你网络的期望状态，而不是运行状态，文档还说自动导入实时网络状态是“strongly discouraged”（强烈不建议的），因为每一条记录都应该先经过人工审核。1\n其他一切都建立在这个决定之上，也正是这个决定招来最多争论。争论是这样的：真相来源难道不该就是真相吗？那就去发现网络，把结果导进来。回答是：发现出来的网络告诉你那里有什么，而那里有的东西包括任何人犯过的每一个错误。2021 年留在错误 VLAN 里的一个交换机端口是一个事实。它不是一个意图。\nNetBox 保存意图。你的监控系统保存现实。真正有意思的数字是两者之间的差，而你没法只用一个输入算出差值。\n另一条原则同样说得很直白：在一个相对简单、能解决百分之八十问题的方案和一个复杂得多的完整方案之间，选简单的那个。1 你第一次想建模某个它不支持的东西时就会体会到这一点，文章快结尾的地方有一整串章节讲碰到这种情况时该怎么办。\nNetBox 做的 NetBox 不做的 记录应该在那里的东西 轮询实际在那里的东西 保存某个端口应有的 VLAN 告诉你这个端口挂了 说明某个前缀属于哪个客户 向客户收费 用模板渲染设备配置 把配置推到设备上 跟踪线路、运营商和承诺带宽 监控线路 说明设备在哪个机柜、哪个 U 打开机柜门 把右边那一栏当成你仍然需要的工具清单来读。读错了，你就会想把 NetBox 变成所有这些工具，而真相来源就是这样变成又一个没人信任的系统的。\n你为什么需要一套 问一家托管服务商（MSP），某个客户网络的权威记录放在哪里，你会得到一个答案。分别去问他们的两个工程师，你会得到两个答案。\n一个会指着一张电子表格。一个会指着一张网络图，最后一次保存它的人 2023 年就离职了。还有人会说防火墙配置就是文档，这话至少诚实，因为配置确实描述了一台设备在干什么。只是它没说为什么，没说是谁要求的，也没说那台设备后面的四个客户里，到底是哪一个在为这条规则付钱。\n出问题从来不是在你发现记录错了的那天。而是在有人需要它的那天。\n时刻 你必须拿出来的东西 拿不出来的代价 续约谈判 一份逐项列明月费到底买了什么的清单 竞争对手的报价是逐项列明的，因为他们真的去数过 有工程师递了辞呈 他知道的一切，写下来 六个月的摸索，一张工单一张工单地发现 有客户要走 一份对他们自己资产的描述 三周时间去拼凑，外加一个他们会如实给出的评价 审计员问范围问题 哪些系统存有个人数据，它们物理上在哪 告诉了监管机构一些后来被证明不属实的话 一次迁移需要报价 实际在那里的东西的数量 你按估算报价，差额自己吞 这些都不稀奇。它们就是平常的某个星期二。\n你从中得到的不是文档。文档是你写完之后就不再维护的东西。你得到的是一个拒绝容纳矛盾的数据库，它能回答没人事先想到要问的问题。这篇文章后面有一个机柜，结果发现设备只装了 28.6%，电力却用了 90.7%。没有人专门去找这件事。它只是因为有人在一个设备类型上填过一次功率，就自己冒了出来。\n老实的提醒也一并奉上，最后一节讲的就是这个。一份记录的价值，只等于你为保持它正确所付出的成本。但另一种选择是一个连自己都描述不清的企业，而第一个发现这一点的，通常是客户。\n另一个：Nautobot 你搜索不出一个星期就会碰到它，所以值得知道当时发生了什么。\n2021 年，Network to Code 分叉了 NetBox，把结果叫做 Nautobot。不是软分叉，也不是一个发行版：是一个已经分道扬镳五年的硬分叉。它自己的 v1.0 发布说明把它描述为“a divergent fork of NetBox 2.10”（NetBox 2.10 的一个分歧分叉），代码仓库创建于 2021年2月19日，v1.0.0 于 2021年4月26日发布。3\n他们陈述的理由就在他们自己的博客上，值得读他们的原话，而不是我的转述。推动这件事的有三点。他们想卖企业级支持：“We need to offer high-touch support models with Service Level Agreements (SLAs) we can guarantee. We need flexibility to offer Long-term Support (LTS) for customers who can\u0026rsquo;t upgrade at the pace of a fast moving open source project.”他们想让真相来源处在一个自动化平台的中心，而不是只为文档服务。还有，“there became a growing divergence in our vision about what a Source of Truth for networking should look like and how to get there”。4\n第一条理由需要标上日期，因为它已经不成立了。2021年2月，NetBox 背后没有任何公司能卖给你东西。NetBox Labs 直到 2023 年才成立，是在 IBM 收购 NS1 之后从 NS1 分拆出来的，联合创始人之一就是 NetBox 自己的首席维护者。5\n而且它不是一个靠别人的项目做起生意的第三方。NetBox Labs 是 NetBox 的管理方：项目自己的文档写着“the open source project is stewarded by NetBox Labs and a team of volunteer maintainers”。1 他们为自行管理的部署销售 NetBox Enterprise，以 NetBox Cloud 的形式替你托管，并提供 7×24 支持。6\n所以，“你买不到 NetBox 的支持”这句话，在 Network to Code 分叉的时候说是公道的，现在再说就不公道了。两个项目背后都有一家愿意签合同的商业公司，而在 NetBox 这边，那家公司就是项目的管理方。\n大多数人漏掉的是下一句，而正是这一句让这件事不是一个龌龊的故事：“the NetBox project team suggested that we should consider forking.”（是 NetBox 项目团队建议我们考虑分叉。）\n一次分叉能做到的文明程度，也就到这儿了。两拨人想要不同的东西，在很长一段时间里把话说开了，然后分开，而不是在同一套代码上打架。两边都还是 Apache 2.0。没有人拿走任何他们无权拿走的东西。\n这次分叉到底是为了什么 Nautobot 1.0 的发布说明列出了它相对 NetBox 2.10 增加了什么，这份清单比任何博客文章都更能说明这场争论：3\nNautobot 在 2021 年增加的 NetBox 现在的情况 GraphQL 支持 NetBox 已经有了 以 Git 集成作为数据源 NetBox 已经有了，叫同步数据源 单点登录 NetBox 已经有了 密钥管理（Secrets） NetBox 通过插件提供 脚本和报表合并为 Jobs NetBox 在 4.7 中正把脚本移到一个插件里 所有模型都支持自定义字段 NetBox 有广泛的自定义字段支持 数据校验插件 API NetBox 有自定义校验规则 可定制的状态，作为数据库对象 NetBox 的状态仍然是 Python 选项集 用户自定义的模型间关系 NetBox 没有对应功能 UUID 主键 NetBox 用整数主键 插件 API 增强 NetBox 的插件框架此后已经成长了很多 上半部分大多已经趋同。Nautobot 在 2021 年推出的好几样东西，后来都出现在了 NetBox 里，两个项目在公开场合解决同样的问题时，通常就是这样。\n下面三项没有趋同，而且它们是架构层面的，不是表面功夫。我今天亲自查了两边的代码，而不是相信 2021 年的发布说明。\nNautobot 的 Status 是一个数据库模型，它自己的源码里描述为“Model for database-backend enum choice objects”，所以一个状态就是一行数据，任何人都能在界面里添加。NetBox 的状态来自 Python 选项集，所以下面 FIELD_CHOICES 那一节加一个状态，要靠编辑 configuration.py 再重启。Nautobot 有 Relationship 和 RelationshipAssociation 模型，所以你可以不写代码就在两个现有对象类型之间定义关系。NetBox 对这个问题的回答是插件，下面还有一串专门讲它的章节。另外，Nautobot 的主键是 UUID，而 NetBox 的是整数。\n他们也确实做到了分叉时想做的事。到今天为止，Nautobot 在同一天发布 3.2.x 和 2.4.x，这是一条货真价实、与当前版本并行的长期维护线，而这正是当初陈述的三个理由之一。\n选哪个 先看老实的数字。NetBox 有 21,625 个 star 和 3,133 个 fork；Nautobot 有 1,617 和 422。7 两者都在最近两天内有过推送，都是 Apache 2.0，现在背后也都有一家商业公司在卖支持和托管。\n这个差距不是对质量的裁决。它反映的是五年的先发优势，以及大多数需要真相来源的人先找到的是 NetBox。但它确实决定了那件通常比功能更要紧的事：你选的那个，能找到多少插件、集成、Ansible 模块、论坛答案和同行。\n所以：如果你要的是一份清单，一个供其他系统读取的真相来源，还想要最大的生态和最容易招到人，答案是 NetBox，这篇文章剩下的部分讲的也就是它。如果你想要真相来源的理由，明确就是要用它来驱动自动化，或者你希望状态和关系由你的团队来定义，而不是靠一个配置文件加一次重启，那就在做决定之前好好看看 Nautobot。\n别让任何人光凭支持就把其中哪一个卖给你。现在两边都有支持了，而五年后依然存在的差别，就是上面那张表里的那些。\n你不该做的，是因为有人告诉你另一个已经死了就选这一个。两个都没死，这个星期两边都还在发布新版本。\n把它跑起来 两条路，为了写这篇文章我两条都走了一遍。想二十分钟内跑起来就用容器；如果它要承担关键业务，就在主机上用软件包装。\n容器栈 社区维护着 netbox-docker，这是最快的答案：8\ngit clone -b release https://github.com/netbox-community/netbox-docker.git cd netbox-docker tee docker-compose.override.yml \u0026lt;\u0026lt;\u0026#39;EOF\u0026#39; services: netbox: ports: - 8000:8080 EOF docker compose pull docker compose up 这样你就得到应用、PostgreSQL、Redis 和一个后台工作进程，全都连好了。我在 podman 下手工搭了一套一样的，好看清楚各个部件，而这些部件值得了解，因为其中两个会坑人：\n容器 做什么 如果你漏掉它 netbox 跑在 gunicorn 后面的 Django 应用 什么都不工作 postgres 数据库，15 或更高版本 什么都不工作 redis / valkey 两个数据库：一个放任务，一个做缓存 什么都不工作 netbox-worker rqworker，负责消费任务队列 webhook 永远不触发，后台任务永远不运行，而且没有任何警告 netbox-housekeeping 定期清理 变更日志记录永不过期 关键就是第四行。没有工作进程，一切看起来都很健康。事件规则排进队列，然后就停在那儿。\n第一次运行时有两件事咬了我，而且两件都不会出现在你会去搜索的错误信息里。\n第一次迁移要花很长时间。 不是一分钟。在这台机器上是好几分钟，因为 NetBox 4.7 用 PostgreSQL 的 ltree 替换了 django-mptt，迁移过程中会重建每一张层级表。容器就那么待着应用迁移。别去动它。\n没有 API_TOKEN_PEPPERS 就没法创建 v2 API 令牌，唯一的迹象是日志里的一条警告：\nUserWarning: API_TOKEN_PEPPERS is not defined. v2 API tokens cannot be used. 至少设一个，长度至少五十个字符，然后再去查 API 为什么拒绝你。\n在主机上，用软件包装 官方文档的路线是在 Ubuntu 24.04 上测试过的。我在一台干净的 24.04 上从头跑到尾，最后得到的是这些：\n组件 24.04 给我的版本 NetBox 4.7 需要的版本 PostgreSQL 16.15 15 或更高 Redis 7.0.15 6.0 或更高 Python 3.12.3 3.12、3.13 或 3.14 Django 6.1.1 随 NetBox 一起提供 NetBox v4.7.2 这些最低要求是 NetBox 自己定的，4.7 同时提高了 PostgreSQL 和 Redis 的下限。9\n整个过程就五步。\n# 1. the services sudo apt install -y postgresql redis-server sudo -u postgres psql -c \u0026#34;CREATE DATABASE netbox;\u0026#34; sudo -u postgres psql -c \u0026#34;CREATE USER netbox WITH PASSWORD \u0026#39;something-you-generated\u0026#39;;\u0026#34; sudo -u postgres psql -c \u0026#34;ALTER DATABASE netbox OWNER TO netbox;\u0026#34; sudo -u postgres psql -d netbox -c \u0026#34;GRANT CREATE ON SCHEMA public TO netbox;\u0026#34; # 2. the build dependencies sudo apt install -y python3 python3-pip python3-venv python3-dev build-essential libxml2-dev libxslt1-dev libffi-dev libpq-dev libssl-dev zlib1g-dev git # 3. the application, at a release tag rather than at main sudo mkdir -p /opt/netbox \u0026amp;\u0026amp; cd /opt/netbox sudo git clone https://github.com/netbox-community/netbox.git . sudo git checkout v4.7.2 sudo adduser --system --group netbox sudo chown -R netbox /opt/netbox/netbox/media/ /opt/netbox/netbox/scripts/ /opt/netbox/netbox/reports/ # 4. the configuration: five values, no more cd /opt/netbox/netbox/netbox/ sudo cp configuration_example.py configuration.py python3 /opt/netbox/netbox/generate_secret_key.py # run it twice sudo $EDITOR configuration.py # 5. let the upgrade script do the rest sudo /opt/netbox/upgrade.sh 那五个值是 ALLOWED_HOSTS、DATABASES、REDIS、SECRET_KEY 和 API_TOKEN_PEPPERS。最后两个要分别生成，不要一个当两个用。也就是说，密钥生成器跑两次，把结果粘到不同的行里。\nupgrade.sh 会建好虚拟环境，装好所有 Python 依赖，跑迁移，构建离线文档，收集静态文件。在一台新机器上跑完时，它会打印一条看着吓人、其实没事的警告：\nWARNING: No existing virtual environment was detected. A new one has been created. Update your systemd service files to reflect the new Python and gunicorn executables. (If this is a new installation, this warning can be ignored.) 然后建一个超级用户，它就跑起来了：\nsource /opt/netbox/venv/bin/activate cd /opt/netbox/netbox \u0026amp;\u0026amp; python3 manage.py createsuperuser 凡是正经用途，都应该在前面放 gunicorn，而不是用 runserver。配置文件和 unit 文件已经在仓库里了，这个细节值得知道，因为很多人会自己去写：\nsudo cp /opt/netbox/contrib/gunicorn.py /opt/netbox/gunicorn.py sudo cp -v /opt/netbox/contrib/*.service /etc/systemd/system/ sudo systemctl daemon-reload sudo systemctl enable --now netbox netbox-rq netbox.service 在 127.0.0.1:8001 上跑 gunicorn，netbox-rq.service 跑工作进程，前面再放 nginx 或 Apache 来终结 TLS 并提供 /static。两个服务，第二个就是容器栈里需要的那个工作进程。\n必须按什么顺序录入 一套全新的 NetBox 是一个带着主见的空数据库，用它的头一个小时，通常都花在弄清这些主见是什么上。你去添加一台设备，它不让你加。\n那些红色星号就是全部的教训。NetBox 不会在一样东西所依附的东西存在之前记录它，这不是故意刁难：一台没有类型的设备，是一行回答不了任何设备该回答的问题的数据。\n所以我没有去猜，而是问了模型哪些外键真正是必填的，然后通过 API 逐条去破坏这些规则，看看会返回什么。\nPOST /api/dcim/device-types/ no manufacturer {\u0026#34;manufacturer\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/dcim/devices/ no device type {\u0026#34;device_type\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/dcim/interfaces/ no device {\u0026#34;device\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/ipam/aggregates/ no RIR {\u0026#34;rir\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/circuits/circuits/ no provider, no type {\u0026#34;provider\u0026#34;: [\u0026#34;This field is required.\u0026#34;], \u0026#34;type\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/virtualization/virtual-machines/ nothing at all {\u0026#34;__all__\u0026#34;: [\u0026#34;A virtual machine must be assigned to a site, cluster, or device.\u0026#34;]} 每一次都被拒绝了，而且准确地说出了缺的是什么。下面是把同样的信息整理成一份前置条件清单：\n要创建 必须先有 可选，但你最好先建 Tenant（租户） 无 一个 Tenant group Region、Site group 无 同类的上级，它们可以嵌套 Site（站点） 无 一个 Region、一个 Site group、一个 Tenant Location（位置） 一个 Site 一个上级 Location、一个 Tenant Rack type 一个 Manufacturer Rack（机柜） 一个 Site 一个 Location、Rack group、Rack role、Rack type、Tenant Device type 一个 Manufacturer Device role 无 一个上级 Device role，它们可以嵌套 Device（设备） 一个 Device role、一个 Device type、一个 Site 一个机柜及位置、一个 Platform、一个 Tenant Interface，以及所有其他组件 一台 Device Cable（线缆） 两个可端接的东西 一个 Tenant Aggregate 一个 RIR 一个 Tenant VLAN 无 一个 VLAN group、一个 Role、一个 Tenant Prefix（前缀） 无 一个 Site、一个 VLAN、一个 Role、一个 VRF、一个 Tenant IP address 无 一个可分配的 Interface、一个 Tenant Circuit（线路） 一个 Provider 和一个 Circuit type 一个 Tenant Circuit termination 一条 Circuit 一个落地的 Site Cluster（集群） 一个 Cluster type 一个 Cluster group、一个 Site、一个 Tenant Virtual machine 一个 Site、一个 Cluster 或一台 Device 一个 Platform、一个 Tenant VM interface 一台 Virtual machine 让你付出代价的是第二栏。前缀、IP 地址、VLAN 和租户什么都不需要，所以第一天就可以按任意顺序创建它们，没有任何东西拦着你。它们有没有用是另一个问题，因为一个后面没有接口的地址只是列表里的一行，而一台没有租户的设备，是你以后还得回头再改的设备。\n实际干活的顺序 由此得出一个顺序。照着往下做，就永远不会被拒绝。\n首先，是其他一切所依附的东西。 这些都不激动人心，而且都很容易弄错，弄错的代价却很低。\n先租户组，再租户。 在其他一切之前做这个。有二十八个模型带租户字段，包括 Site、Location 和 Rack，所以如果客户还不存在，你就没法边建边打上标记，以后只能批量编辑。 区域和站点组。 两者都可选，都能自我嵌套，而且彼此独立。区域按地理划分，站点组按功能划分，你可以用其中一个、两个都用，或者都不用。 站点。 几乎一切的根。站点什么都不需要，所以它是你真正能创建的第一样东西。 位置。 位置需要站点，而且可以嵌套，所以一个机房里有若干排、每排里有若干 pod，就是一个模型套三层。 机柜角色和机柜组。 两者都可选。机柜组是扁平的，作为第二条轴和位置并列，用来表示排和 pod 很方便。 先厂商，再机柜类型。 机柜类型需要厂商。如果你不对机柜本身建模，就跳过机柜类型。 机柜。 机柜需要站点。如果你还给它指定了位置，那个位置必须属于那个站点，NetBox 会检查。 然后是硬件目录，而不是硬件本身。 在你能添加哪怕一台设备之前，你需要厂商、设备类型、设备角色，以及实际上还需要平台。\n厂商。 你可能在第 6 步已经建了一些，因为机柜类型也需要它们。模块类型同样需要。 设备类型，每个都需要一个厂商。 设备角色（可嵌套），以及平台。 这是大家会跳过的一步，而正是这一步决定了后面的活要敲多少字。设备类型以模板的形式带着自己的接口、端口和槽位，所以你用它创建的每台设备，一到位就已经带好了正确的组件。类型弄对一次，上架四十台就只是敲四十个名字。\n平台是这份清单里的异类，因为设备严格来说并不需要它。还是现在就做。以后承载配置模板和 NAPALM 驱动的就是它，回头再给整套资产补上平台，花掉的会是你本来要花在租户上的同一个晚上。\n然后是设备本身。\n设备。 角色、类型和站点都是必填的。机柜和位置可选，如果填了，就必须和站点一致。 组件，如果设备类型没有自带的话。 线缆，连接在组件之间。 然后是地址分配，因为地址需要一个接口来落脚，而接口要到第 12 步之后才存在。\nRIR，然后是聚合（aggregate）。 前缀和 VLAN 角色、VRF、VLAN 组，然后是 VLAN。 前缀，然后是单个的 IP 地址。 然后是商务层。\n运营商、运营商账户和线路类型。 线路，然后把它们端接到站点上。 还有虚拟资产，它和物理资产是镜像关系。\n集群类型和集群组，然后是集群。 虚拟机，需要一个站点、一个集群或一台设备，然后是它们的接口。 第 1 到第 10 步是一个下午的活，感觉像行政杂务。里面一点光鲜的东西都没有。但正是这个下午，决定了第 11 步要花一个上午还是两个星期。\n以后才会咬人的规则 必填字段是容易的那一半，因为它们立刻失败，并告诉你原因。真正把人绊倒的是一致性规则，只有当你的数据多到足以自相矛盾时，它们才会触发：\ndevice at Leeds, put in a Manchester rack {\u0026#34;rack\u0026#34;: [\u0026#34;Rack MCR1-A07 (A07) does not belong to site Leeds Edge.\u0026#34;]} device at Leeds, in a Manchester location {\u0026#34;location\u0026#34;: [\u0026#34;Location Hall 2 does not belong to site Leeds Edge.\u0026#34;]} rack at Leeds, in a Manchester location {\u0026#34;__all__\u0026#34;: [\u0026#34;Assigned location must belong to parent site (Leeds Edge).\u0026#34;]} a second device in a unit that is already taken {\u0026#34;position\u0026#34;: [\u0026#34;U39.0 is already occupied or does not have sufficient space to accommodate this device type: MX204 (1.0U)\u0026#34;]} 如果有人问我何必费这些劲，我会指着最后那一条。NetBox 知道这台设备是 1U，知道机柜里有什么，不会让你在同一个空间里记录两样东西。你的电子表格会让你这么干一整个下午，一声不吭，等你发现的时候，已经有人抱着箱子站在机房里了。\n这些规则都不可配置，也都不应该可配置。它们就是“记录”和“愿望”之间的区别。\n用起来：每个页面给你什么 资产录进去之后，下面是你实际能从里面拿回的东西。下面所有内容都来自同一套实例：一个机柜、十四台设备，分属三个客户，接好了线、分好了地址。\n设备就是它的组件 点进其中一台虚拟化主机，有意思的标签页不是概要，而是接口。\n横着读一行。接口、速率、你写给它的描述、上面的地址、线缆上的标签，以及对端的端口。这是一次查询，回答的正是每个人实际会问的那个问题：“这个插在哪儿”。\n注意地址挂在哪里。它在 eno1 上，而不是在服务器上。这听起来像抠字眼，直到你碰到一台设备，有一个管理接口、两个数据接口和一个环回接口，然后有人问哪个地址代表它。一个把地址挂在设备上的模型回答不了。这个模型能，而且它还能容纳一个接口上有四个地址这种再平常不过的情况。\n顺着线缆走 线缆端接在组件上，而不是设备上。一端是一个接口，另一端是一个接口，或者是前端口、后端口、电源插座、线路端接。整个功能就建立在这个细节上，这也是为什么上面的接口列表不用别人告诉，就能在自己的一栏里打印出对端。\n如果你把线缆建模成设备连设备，你只是画了一张图。把它端接在端口上，NetBox 就能顺着走。\n这里只有一跳，因为这是一根直连线缆。中间加上配线架，它就一块配线架一块配线架地走过去，告诉你一条穿过三个机柜的线路另一端是什么。否则这活就得有人打着手电，再有人在另一头拿着寻线器。\n追踪还会打印出每一端的完整位置。站点、机房、机柜、朝向、U 位。如果你曾经在电话里试图告诉远程现场工程师该去看哪台设备，这一行就是全部价值所在。\n地址，是一棵树而不是一个标签页 IPAM 是大家冲着来的那一半。\n缩进是根据地址本身计算出来的。你不用告诉 NetBox 10.20.20.0/24 位于 10.20.0.0/16 之内，它自己会算出来，明年有人在中间加一个 /26，它也会继续算对。\n每一行都带着你实际会拿来筛选的东西：它映射到的 VLAN、角色，以及它所属的客户。利用率也是算出来的。\n打开其中一个，你就能看到里面的地址，以及空隙。\n那些绿色的行就是空闲空间，和已用空间排在一起显示。有一个 API 调用能从一个前缀里给你下一个空闲地址，这是 IPAM 自动化里唯一一项立刻就能回本的功能，因为否则大家就是眯着眼盯着电子表格碰运气。\n一个接口想挂多少地址就挂多少，两个地址族都行，你再各指定一个作为设备的主地址。\n一个端口上两个 IPv4、两个 IPv6，这再平常不过，而以设备为中心的模型根本表达不了。\n录入地址时，用它所在网络的掩码，而不是 /32。 NetBox 会接受 10.20.20.11/32，并把它归到正确的前缀下，因为包含关系是从主机地址算出来的。它不会做的，是事后替你揣摩：掩码按你输入的原样存储，并原样交给读取它的任何东西，所以一个局域网地址上的 /32，会被渲染成设备配置里的 /32。咬你的地方是三个月后的某个配置模板，而不是今天的表单。\n一套安装，三个客户 NetBox 里的大多数对象都可以分配给一个租户。企业用它来区分业务部门。如果你卖托管服务，就每个客户建一个。\n右边那个面板，就是“这个客户有什么”的答案，而且它是自己组装出来的。不用报表，不用电子表格，不用去问当初搭建它的工程师。\n值得仔细想想租户到底意味着什么，因为第一天弄错，以后就是一年的拆解。租户意味着这个对象是专属于那个客户的。只为他们服务的路由器，就挂他们的租户。为四个客户服务的防火墙不属于其中任何一个，所以它不挂租户，这层关系要放到别的地方去。后面会细说，因为大多数人正是在这里发现自己需要添加一些自己的东西。\n把数字写在设备类型上 这一步把一份清单和一个能回答问题的东西区分开来，而它每个设备类型大约只花十分钟。\n设备类型可以带上它的重量，并通过电源端口模板带上它的功耗。在类型上填一次，你以后用它创建的每台设备都会继承。不填，NetBox 就只会乐呵呵地告诉你某个机柜满了 28.6%，别的什么都不说。\n我给这里的五个类型都填了重量，给每个类型配了两个电源端口模板，带最大功耗和分配功耗，给 PDU 类型配了一个输入口和十二个输出口，然后建了一个配电盘和两路进入机柜的馈电，再把所有东西接上线：每台设备的 PSU1 接 PDU A，每个 PSU2 接 PDU B，每个 PDU 的输入口接到它的馈电。\n然后，机柜页面就完全变了样。\n空间利用率 28.6%。电力利用率 90.7%。\n那个机柜里的设备只占了三分之一，电力却快用光了，这是关于你资产的一个事实，任何电子表格都不会主动告诉你。下一批订单是装进这个机柜还是别处，也正是由这个事实决定的，而它来自你只在类型上录入过一次的数据。\n让它一直显示为零的两件事 一开始我得到的是 0.0%，还得到了两次，两个原因都值得知道，因为哪个都不会报错。\n插座必须引用输入口。 PDU 上的电源插座有一个 power_port 字段，指向同一台设备上的上游端口。留空，链条就断了：NetBox 没办法知道那十二个插座是由那个输入口供电的，于是什么都汇总不起来。\n把输入口的功耗字段留空。 这条是反直觉的。NetBox 只有在一个电源端口自己的两个功耗字段都为空时，才会根据插在它上面的东西来计算它的功耗：\nif self.allocated_draw is None and self.maximum_draw is None: ...aggregate the downstream power ports... # otherwise return {\u0026#39;allocated\u0026#39;: self.allocated_draw or 0, ...} 我很热心地在 PDU 输入口上设了 maximum_draw: 7400，因为 PDU 的额定值就是这么多。于是 NetBox 信了我，把 allocated_draw 当作未设置，报告为零。把两个都清空，它就自己算出来了：\nmcr1-pdu-a INPUT -\u0026gt; allocated 5340 VA, maximum 8480 VA, across 12 outlets mcr1-pdu-b INPUT -\u0026gt; allocated 5340 VA, maximum 8480 VA, across 12 outlets feed MCR1-A07-A: available 5888 VA (230 V x 32 A x 80% max utilisation) RACK power utilisation: 90.7 % RACK weight: 166.6 kg of 900 kg 所以规则是：在叶子节点上填真实数字，中间的端口留空，让 NetBox 去加总。人为定义的值永远压过计算出来的值，这是正确的行为，而放在 PDU 上恰恰是错误的做法。\n散热，这是新加的 4.7 版给 DCIM 加上了散热，而且加的正是越来越贵的那一半。机柜带有散热能力，可以是风冷、混合或液冷，还有以千瓦计的容量；设备类型带有散热方式。再往上是代表冷水机组和精密空调的冷源、代表通往机柜的冷却回路的冷却馈送，以及设备本身上用于冷板和分液歧管的进液和出液组件。\n上面那个机柜显示 Hybrid、15.00 kW，因为我是这么告诉机柜的。如果你今年要接收液冷设备，这就是给你目前还记在电子表格里的那个东西准备的模型。\n一套安装，多个客户 租户机制是服务商能只跑一套 NetBox、而不是每个客户一套的原因，值得弄明白它做什么，更重要的是，它不做什么。\nNetBox 有二十八个模型带租户字段。站点、位置、机柜和机柜预留。设备、线缆和虚拟设备上下文。前缀、IP 地址、地址范围、聚合、VLAN、VLAN 组、VRF、路由目标、ASN。线路和线路组。集群和虚拟机。隧道、L2VPN、无线局域网和无线链路。电源馈电和冷却馈送。\n这就是所有能计费的名词。一致地设好它，“这个客户有什么”就不再需要调查。\n但租户是一个标签，不是一把锁。它说明这个对象专属于那个客户。它挡不住任何能登录的人把所有东西读个遍，在一家公司内部这没问题，一旦某个客户有了账号，它就毫无用处。\n由此引出两件事，第二件是大家会弄错的。\n租户意味着专属。只为一个客户服务的路由器，挂他们的租户。为四个客户服务的防火墙不属于其中任何一个，所以什么都不挂，你转而在你实际卖出的那个东西上记录这层关系。把租户硬塞给共享设备，会让每一份基于租户的报表都悄悄出错。\n而访问控制完全是另一套机制。\n隔离靠的是权限 NetBox 的对象权限接受一个 JSON 约束，这个约束就是一个 Django ORM 过滤器。它在构建任何东西之前先收窄查询集，所以每个视图、导出、API 调用和搜索都会跟着被收窄。\n干活的是三个字段。它适用的对象类型、它授予的操作，以及底部那条约束。其他的都是记账。\n这是管理员看到的设备列表。\n这是同一个 URL、同一套安装，以客户身份登录后看到的。\n两行而不是十四行，再看看左侧菜单。它缩减到了这个账号被允许碰的四样东西。没有人配置过这个。导航是由同一套权限构建的，所以客户永远不会看到一个点进去会被拒绝的链接。\n它说“不”的两种方式 这个细节值得知道，因为两种拒绝含义不同，而且都是有意为之。\n客户的令牌请求 得到 /api/dcim/devices/ 200，两行里的一行 /api/dcim/devices/1/，他们自己的 200 /api/dcim/devices/2/，别人的 404 /api/tenancy/tenants/ 403 /api/dcim/sites/，从未授权 403 完全没有令牌 403 404 的意思是：这个类型是你的，但那一行不是。 约束把它从查询集里去掉了，所以就这个请求而言，它不存在。在那里返回 403 等于确认它存在，好奇的客户就能通过遍历 ID 把你的资产数一遍。\n403 的意思是：这个类型从来就不是你的。 租户和站点从未授权，所以直接拒绝，客户也就没法枚举平台上还有谁。\n然后让他们写 只读是容易的情况。真正的问题是，一个有编辑权限的客户能不能被信任，所以我在同一条约束下授予了 change，然后去找出口。\n尝试 结果 编辑自己的设备 200，已保存 编辑另一个客户的设备 404 编辑自己的设备，把它移到另一个客户的租户下 403 删除自己的设备 403，从未授予删除权限 关键是第三行。把自己的设备重新分配给别人的租户，是最明显的逃逸路线，因为请求到达时这个对象在你的约束之内，之后就在约束之外了。NetBox 是按照对象将被留下的那个状态来评估约束的，所以它拒绝了。我没有相信状态码，而是把设备读了回来，租户确实没动。\n这正是大多数自制多租户方案留着的那个洞，而它通常是被客户发现的，而不是被测试发现的。\n需要继承的变量 这是大家会弄错的一个区别，弄对了能省下大量编辑工作。\n自定义字段是挂在单个对象上的一个值。你逐个对象地设，它就待在那里。适合描述这个东西本身的事实：资产标签、支持合同编号、投运日期。\n配置上下文是挂在某个特征上的值，所有符合这个特征的东西都会继承。适合应该层层传递的变量：你的 NTP 服务器、syslog 目标、SNMP community、DNS 域、管理 VLAN、备份窗口。\n如果你发现自己在四十台设备上把同一个自定义字段设成同一个值，你要的其实是配置上下文。\n一个上下文就是任意 JSON，可以挂在区域、站点组、站点、位置、设备类型、角色、平台、集群、集群类型、集群组、租户组、租户或标签上。租户也在这份清单里，对服务商来说，这意味着一个对某个客户处处成立的事实，会跟着他们落到你以后为他们添加的每一台设备上。\n合并是按键进行的，每个键由权重决定谁胜出。\n把右边的面板和左边对照着读。区域在权重 1000 上提供了四个键。站点在权重 2000 上提供了一个键。渲染后的上下文原封不动地保留了区域的域名、NTP 服务器和 community，只采用了站点的 syslog 服务器，因为那是唯一有争议的键。\n你写的是例外，而不是把所有东西连同例外重新抄一份。这就是全部价值，也是它能扩展、而按设备存放的变量文件不能扩展的原因。\n本地上下文压过上面的一切 继承栈有顶层，顶层就是对象本身。设备上的本地上下文数据，压过所有适用于它的源上下文，不管它们的权重是多少。\n我在 mcr1-core-01 上设了这个：\n{\u0026#34;syslog_servers\u0026#34;: [\u0026#34;10.20.10.99\u0026#34;], \u0026#34;note\u0026#34;: \u0026#34;this box logs somewhere else\u0026#34;} 它渲染后的上下文变成了：\n{ \u0026#34;note\u0026#34;: \u0026#34;this box logs somewhere else\u0026#34;, \u0026#34;domain\u0026#34;: \u0026#34;mcr1.example.net\u0026#34;, \u0026#34;ntp_servers\u0026#34;: [\u0026#34;172.16.10.22\u0026#34;, \u0026#34;172.16.10.33\u0026#34;], \u0026#34;snmp_community\u0026#34;: \u0026#34;n0rthwest\u0026#34;, \u0026#34;syslog_servers\u0026#34;: [\u0026#34;10.20.10.99\u0026#34;] } 本地的 syslog 服务器同时压过了权重 2000 的站点覆盖和权重 1000 的区域。它没提到的东西照样继承，所以域名、NTP 服务器和 community 原封不动地传了下来，新键则直接加了进去。\n这是给那一台确实与众不同的设备留的逃生口，面板也明明白白地告诉你它会覆盖所有源上下文。如果你发现自己在很多台设备上用它，而不是一台，那你就是找到了这些设备共有的一个特征，你要的是一个限定到这个特征的上下文。\n三个陷阱 没有限定范围的上下文是全局的。 建一个上下文却忘了分配给任何东西，它就会作用于你所有的设备和虚拟机。这是文档里写明的行为，偶尔也正是你想要的。它同样是悄无声息的。\n如果你想简单地引用键，键名里就不能有连字符。 上下文数据是 JSON，所以 ntp-servers 完全合法，但 Jinja 的变量名不是 JSON 键。{{ ntp-servers }} 会被解析成一个减法，抛出 UndefinedError: 'ntp' is undefined。对着带连字符的数据写 {{ ntp_servers }}，你会得到一个空字符串、HTTP 200，哪儿都没有警告。键名用下划线，最直观的模板就能用。\nprofile 能拦住拼写错误。 配置上下文 profile 把相关的上下文归成一组，并在保存时对它们的数据强制执行 JSON schema。我给一个 profile 配了一个 schema，要求 syslog_servers 是 IPv4 字符串数组，然后犯了大家真正会犯的那两个错：\n{\u0026#34;syslog-server\u0026#34;: [\u0026#34;10.1.1.1\u0026#34;]} singular, by accident 400 Data does not conform to profile schema: \u0026#39;syslog-servers\u0026#39; is a required property {\u0026#34;syslog_servers\u0026#34;: [...], \u0026#34;syslog_port\u0026#34;: 99999} 400 Data does not conform to profile schema: 99999 is greater than the maximum of 65535 在有人犯错的地方就被拒绝了，而不是四百台设备之后。\n渲染配置 上下文数据加上一个 Jinja 模板，就得到一个配置文件。设备以 device 的名义在作用域内，它合并后的上下文以普通变量的形式在作用域内，你还可以遍历它的组件。\n那个页面上的每样东西都来自不同的地方，这正是重点：\n行 来自哪里 host-name mcr1-core-01 设备 domain-name mcr1.example.net 区域级配置上下文 location \u0026quot;Manchester DC1 / MCR1-A07 / U39\u0026quot; 站点、机柜以及在机柜中的位置 server 172.16.10.22 区域上下文，权重 1000 host 10.20.10.99 any notice 设备自己的本地上下文，同时压过站点和区域 family inet address 10.20.10.11/24 那个接口上的地址，掩码按输入原样保留 模板的解析顺序是设备，然后角色，然后平台，三者都没有的话请求就会失败。所以你在平台上分配一次模板，运行那套软件的每台设备都会用它来渲染，除非它的角色或设备本身另有指定。这就是平台的用途：操作系统或厂商软件家族，而不是硬件。\nNetBox 负责渲染。它不推送。把输出送上设备，是你的自动化系统的活，等哪天某个模板 bug 本来会把四百台设备重新配置一遍时，你会庆幸这是两个不同的系统。\n插件 插件是一个和 NetBox 装在一起的 Django 应用。它可以添加模型、添加页面、扩展两套 API、往现有模板里注入内容、添加导航、添加后台任务队列，以及加载更多 Django 应用。它几乎没有做不到的事，因为底下就是 Django。\n安装一个插件只要四条命令加一次重启：\nsource /opt/netbox/venv/bin/activate pip install netbox-topology-views netbox-qrcode # add the package names to PLUGINS in configuration.py, then python3 manage.py migrate python3 manage.py collectstatic --no-input sudo systemctl restart netbox netbox-rq 在容器栈上，同样的软件包写进 plugin_requirements.txt，然后重建镜像。不管哪种方式，都要锁定版本，并先查兼容性矩阵，因为一个还没跟上 NetBox 新版本的插件，会让整个应用拒绝启动，而不是把自己禁用掉。\n公开的目录里列了 31 个。下面这些值得了解，附上每个插件实际采用的许可证：\n插件 做什么 许可证 DNS 把区域、记录和域名服务器作为真相来源 MIT BGP 会话、community 和路由策略 Apache 2.0 Topology Views 根据你的线缆生成图形化拓扑图 Apache 2.0 Floorplan 图形化的站点和位置平面图 LGPL 3.0 QR Code 为机柜、设备和线缆生成二维码，用作资产标签 Apache 2.0 ACLs 访问控制列表和规则 Apache 2.0 Prometheus SD 直接从 NetBox 给 Prometheus 提供主机列表 MIT Documents 挂在线路和设备上的文档 Apache 2.0 Lifecycle 硬件生命周期终止、许可证和合同 Apache 2.0 Contract 合同和发票 MIT Reorder Rack 拖放调整机柜 U 位 Apache 2.0 Branching 隔离的、可合并的数据分支 NetBox Limited Use Custom Objects 在界面里定义新的对象类型 NetBox Limited Use Prometheus SD 是整个思路最老实的样子。NetBox 知道有什么，那就让 NetBox 去告诉监控系统，别再维护第二份会慢慢跑偏的主机列表。\n在最后两行上搭东西之前，有件事要知道。NetBox 本身是 Apache 2.0，自 2016 年 DigitalOcean 发布以来一直如此，如今这个项目由 NetBox Labs 和一支志愿维护者团队共同管理。21 NetBox Branching 和 NetBox Custom Objects 不是：它们采用 NetBox Limited Use License 1.0，只授权“only as part of a NetBox installation obtained from NetBox Labs or a NetBox distributor authorized by NetBox Labs, and only for your own internal use”的使用，并且不授予使用该软件“to provide a managed service or software products that includes, integrates with, or extends NetBox in a way that competes with any product or service of NetBox Labs”的权利。如果你装的是从 GitHub 拿来的 NetBox Community，又是代表客户在运行它，那么在把一套 schema 建在它们上面之前，自己去读一读条款。10 NetBox 自己的安装指南推荐了这两个插件，却只字未提这一点。11\n自定义字段 自定义字段给现有模型加一个属性。值以 JSON 形式和每个对象存放在一起，所以不需要迁移，也不需要重启，一共有十三种类型，包括指向其他 NetBox 记录的单对象和多对象引用。\n那里有两个字段，归在我选定的“Asset”标题下。注意它们右边的 Dimensions 面板：9.5 kg，没有人在这台设备上输入过。它来自设备类型。\n自定义字段是有校验的，值得知道这一点，因为这和下面那条路线确实不同。我给合同字段配了一个正则表达式，API 就强制执行了它：\nPATCH {\u0026#34;custom_fields\u0026#34;: {\u0026#34;support_contract\u0026#34;: \u0026#34;nonsense\u0026#34;}} {\u0026#34;__all__\u0026#34;: [\u0026#34;Invalid value for custom field \u0026#39;support_contract\u0026#39;: Value must match regex \u0026#39;^[A-Z]{2,4}-[0-9]{6}$\u0026#39;\u0026#34;]} 4.7 里有两处变化，在规模大时很要紧。创建一个带默认值的字段，或者删除一个字段，都必须重写它所适用的每个对象的存储数据，所以在大表上，这项工作会交给一个后台任务，运行期间字段会显示“provisioning”或“deleting”。字段只有处于活动状态时才生效：在这两种操作进行期间，它不会出现在对象上、表单里、筛选器里，也不会出现在任何一套 API 里。这需要工作进程在跑，否则它会无限期地停在那个状态。\n要添加的是关于这个东西本身的事实，就用自定义字段。值应该层层传递，就用配置上下文。你需要的东西根本不存在，就看下一节。\n自定义下拉菜单，以及覆盖自带的选项 这个标题下面有两种不同的机制，它们解决的是不同的问题。一种用于你自己的字段。另一种改写 NetBox 的字段。\n选项集，用于你自己的下拉字段 类型为“selection”的自定义字段从一个选项集里取选项，选项集是一个和其他东西一样在界面里管理的对象。这样“支持级别”就成了一个真正的下拉框，而不是一个会被人拼出三种写法的自由文本。\n它是强制执行的，通过 API 也一样：\nPATCH {\u0026#34;custom_fields\u0026#34;: {\u0026#34;support_tier\u0026#34;: \u0026#34;platinum\u0026#34;}} {\u0026#34;__all__\u0026#34;: [\u0026#34;Invalid value for custom field \u0026#39;support_tier\u0026#39;: Invalid choice (platinum) for choice set Support tier.\u0026#34;]} 选项集是共享的，所以一个选项集可以支撑几个模型上的同一个字段，在一个地方改列表，处处都跟着改。\nFIELD_CHOICES，用于 NetBox 自己的字段 这个是大家不知道存在的那个。NetBox 有好几个内置的选项字段可以从 configuration.py 里扩展或替换，包括设备状态、站点状态、机柜状态、线路状态，以及很多别的。12\n在名字后面加一个加号，就是在自带的列表上追加。不加，就是整个替换掉。\nFIELD_CHOICES = { # add to what NetBox ships with \u0026#39;dcim.Device.status+\u0026#39;: ( (\u0026#39;burn-in\u0026#39;, \u0026#39;Burn-in\u0026#39;, \u0026#39;cyan\u0026#39;), {\u0026#39;value\u0026#39;: \u0026#39;awaiting-rma\u0026#39;, \u0026#39;label\u0026#39;: \u0026#39;Awaiting RMA\u0026#39;, \u0026#39;color\u0026#39;: \u0026#39;orange\u0026#39;, \u0026#39;description\u0026#39;: \u0026#39;Faulty, with the vendor\u0026#39;}, ), # replace the stock list outright \u0026#39;dcim.Site.status\u0026#39;: ( (\u0026#39;surveyed\u0026#39;, \u0026#39;Surveyed\u0026#39;, \u0026#39;purple\u0026#39;), (\u0026#39;building\u0026#39;, \u0026#39;Building out\u0026#39;, \u0026#39;orange\u0026#39;), (\u0026#39;active\u0026#39;, \u0026#39;Active\u0026#39;, \u0026#39;green\u0026#39;), (\u0026#39;closing\u0026#39;, \u0026#39;Closing\u0026#39;, \u0026#39;red\u0026#39;), ), } 我在这套实例上就是这么配的。设备状态返回了七个自带值加上我的两个：\noffline, active, planned, staged, failed, inventory, decommissioning, burn-in, awaiting-rma 而站点状态只返回了我的值，自带列表没了：\nsurveyed, building, active, closing 一个选项可以是由值、标签和颜色组成的普通元组，也可以是一个字典，字典还能带一段描述，在表单里显示为副标题。它们在哪里都表现得和原生值一样，因为在 NetBox 其余部分看来，它们就是原生值：\n那个徽标就是我的状态，用的是我的颜色，排序和筛选都和其他状态一样。\n用它之前，有三件事值得知道。\n替换会把自带值从菜单里删掉，而不是从数据库里删掉。 已经持有其中某个值的对象会保留它，但这个值不再出现在选项里，下次有人编辑这个对象时，它也不再是合法的选择。如果你替换了一个列表，检查一下有没有东西还挂在你刚删掉的值上。\n它在配置文件里，所以需要重启，也不是界面用户能改的东西。对服务商来说这样才是对的：你的业务认可哪些状态，是一个治理层面的决定，而不是某个星期二下午随手做的决定。\n先扩展，再考虑替换。 自带值是每个插件、脚本和集成都预期会看到的。追加不花任何代价。替换是一个你要永远背着的决定。\n自定义对象 这里有一个真正的空白。NetBox 能建模集群、虚拟机和虚拟磁盘。它不建模这些磁盘实际所在的数据存储（datastore），而对任何在跑 Proxmox 或 VMware 的人来说，正是这个对象把你买来的存储和使用它的工作负载连起来。\nCustom Objects 插件让你在界面里或通过 API 定义一种新的对象类型，不用写任何代码。于是：\n七个字段，其中两个是全部意义所在。cluster 是对一个真实 NetBox 集群的单对象引用，设为 protect，这样就没人能把集群从它的存储底下删掉。provisioned_by 是对实际提供这份存储的那些设备的多对象引用。\n这样你就得到一个一等对象，有自己的导航入口、列表视图、筛选器、导入和导出：\n而且因为引用是真实的，这层关系从另一端也看得到。打开集群，数据存储就列在它下面。\n自定义对象类型继承了让一个 NetBox 对象成为 NetBox 对象的大部分东西：列表和详情视图、导航入口、REST 端点、全文搜索、变更日志、日志记录（journal）、标签、书签、导入导出、事件规则和通知。这些一行都不用写。\n它也不是一个假装成表的 JSON 块。插件会执行真正的 DDL，出现在 PostgreSQL 里的是一张真正的表，带着真正的约束：\nTable \u0026#34;public.custom_objects_2\u0026#34; Column | Type | Nullable | Default -----------------+----------+----------+------------------ id | bigint | not null | identity name | varchar | | cluster_id | bigint | | backing | varchar | | capacity_gb | bigint | | thin_provisioned| boolean | | Indexes: \u0026#34;custom_objects_2_name_key\u0026#34; UNIQUE CONSTRAINT, btree (name) Foreign-key constraints: ... FOREIGN KEY (cluster_id) REFERENCES virtualization_cluster(id) ON DELETE RESTRICT 我要求的 protect 变成了 ON DELETE RESTRICT，而且确实管用：删除那个集群会返回 409，并说出依赖它的是什么。\n依赖它之前要知道的两件事 校验在表单上，不在 API 上。 这条会坑到自动化。我在一个自定义对象类型的字段上声明了 required、一个正则表达式和数值范围，然后通过 REST API 往里写：\n我声明的 我发送的 结果 validation_regex 一个什么都匹配不上的值 201 Created required: true 完全省略这个字段 201 Created validation_minimum: 1 一个负数 201 Created unique: true 一个重复值 400，被拒绝 on_delete_behavior: protect 删除被引用的对象 409，被拒绝 守住的那两条，正是变成了数据库约束的那两条。其余的只存在于网页表单上，所以手工输入的人受约束，而每晚的同步任务不受。对比一下前面的核心自定义字段，同样的正则表达式通过 API 也被强制执行了。在这一点改变之前，凡是发票要依赖的东西，都要放在真正的约束后面。\n删除一个类型就是删掉一张表。 删除一个字段就是删掉一列。这是从网页表单发出的 DDL，由任何有权限的人执行，文档也是这么说的。13 限制谁能删除这些东西。\n什么时候该写一个真正的插件 如果这个对象很重要，如果有自动化往里写，如果你发现里面有垃圾数据会恼火，那就自己写模型。一个最小的 NetBox 插件包括一个 PluginConfig、一个模型、一个序列化器、一个视图集、一个表格、一个表单、几个视图和一张 URL 映射，总共不到两百行，大部分是声明。继承 PrimaryModel 就能免费得到标签、自定义字段、变更日志、日志记录、导出模板和所有权，而你加在模型上的每一条约束处处都会被强制执行，因为跑它的是 NetBox 自己的序列化器机制。\n社区维护着一个 cookiecutter 模板和一份完整的插件教程。从它们开始，而不是从一个空目录开始。\n而且它的许可证由你自己选，以后谁也改不了。\n自定义校验，以及校验器类 上面讲的都是记录那里有什么。这一节讲的是拒绝记录不该有的东西。\nNetBox 在写入每个对象之前都会校验它，你还可以在上面加自己的规则。一共有三种机制，都放在 configuration.py 里，合起来几乎能覆盖内部标准需要的一切。\n其一：普通规则，不用写代码 校验器可以是一个从字段名到条件的普通映射。不用 Python，而且因为它只是数据，可以在不同安装之间移植。\nCUSTOM_VALIDATORS = { \u0026#39;dcim.site\u0026#39;: ( {\u0026#39;description\u0026#39;: {\u0026#39;required\u0026#39;: True}}, ), \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;name\u0026#39;: {\u0026#39;regex\u0026#39;: r\u0026#39;^[a-z0-9]+-[a-z]+-([0-9]{2}|[a-z])$\u0026#39;}}, ), } 可用的条件有 min、max、min_length、max_length、regex、required、prohibited、eq 和 neq。你可以用点分路径伸进关联对象，所以站点上的 region.name 也可以拿来用，还可以按 request.user.username 匹配，不过文档非常正确地告诉你，这种事应该用权限来做。\n上面两条规则都立刻生效：\nPOST a site with no description {\u0026#34;__all__\u0026#34;: [\u0026#34;Custom validation failed for description: [\u0026#39;This field must not be empty.\u0026#39;]\u0026#34;]} POST a device named \u0026#34;Server1\u0026#34; {\u0026#34;__all__\u0026#34;: [\u0026#34;Custom validation failed for name: [\u0026#39;Enter a valid value.\u0026#39;]\u0026#34;]} 第二条就是一个被强制执行的命名规范。不是写在 wiki 页面上，不是存在某人脑子里，也不是新来的人三周后在评审里挨一顿说的那种东西。数据库不收。\n其二：校验器类，当规则是一句话时 普通规则是拿一个字段去比一个常量。真正的内部规则通常是有条件的：只有当那个成立时，这个才要紧。对这类规则，你继承 CustomValidator，重写 validate()，然后调用 fail()。\n我在 /opt/netbox/netbox/house_rules.py 的一个模块里放了三个：\nfrom extras.validators import CustomValidator class BillableKitNamesItsCustomer(CustomValidator): \u0026#34;\u0026#34;\u0026#34;Anything in a role we sell has to say whose it is.\u0026#34;\u0026#34;\u0026#34; BILLABLE_ROLES = {\u0026#39;hypervisor\u0026#39;} def validate(self, instance, request): role = getattr(instance, \u0026#39;role\u0026#39;, None) if role and role.slug in self.BILLABLE_ROLES and not instance.tenant: self.fail( f\u0026#34;A {role} is billable kit, so it must name the customer it belongs to.\u0026#34;, field=\u0026#39;tenant\u0026#39;, ) class RackedDeviceNeedsAPosition(CustomValidator): \u0026#34;\u0026#34;\u0026#34;A device in a rack with no rack unit is a device nobody can find.\u0026#34;\u0026#34;\u0026#34; def validate(self, instance, request): if instance.rack and instance.position is None: if instance.device_type and instance.device_type.u_height: self.fail( \u0026#34;A device in a rack needs a rack unit. Somebody has to find it.\u0026#34;, field=\u0026#39;position\u0026#39;, ) class CustomerPrefixNeedsATenant(CustomValidator): \u0026#34;\u0026#34;\u0026#34;A customer prefix that names no customer cannot be billed.\u0026#34;\u0026#34;\u0026#34; def validate(self, instance, request): role = getattr(instance, \u0026#39;role\u0026#39;, None) if role and role.slug == \u0026#39;customer\u0026#39; and not instance.tenant: self.fail( \u0026#34;A customer prefix must be assigned to a tenant.\u0026#34;, field=\u0026#39;tenant\u0026#39;, ) 然后按点分路径把它们接上：\nCUSTOM_VALIDATORS = { \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;name\u0026#39;: {\u0026#39;regex\u0026#39;: r\u0026#39;^[a-z0-9]+-[a-z]+-([0-9]{2}|[a-z])$\u0026#39;}}, \u0026#39;house_rules.BillableKitNamesItsCustomer\u0026#39;, \u0026#39;house_rules.RackedDeviceNeedsAPosition\u0026#39;, ), \u0026#39;ipam.prefix\u0026#39;: ( \u0026#39;house_rules.CustomerPrefixNeedsATenant\u0026#39;, ), } 注意，一个模型接受的是校验器的元组，普通规则和类可以随意混用，而且全部都会运行。哪怕只有一个校验器，也必须作为可迭代对象传进去，这是很容易白丢五分钟的地方。\n然后规则就照它们说的那样执行：\nPOST a hypervisor with no tenant {\u0026#34;tenant\u0026#34;: [\u0026#34;A Hypervisor is billable kit, so it must name the customer it belongs to.\u0026#34;]} POST a device into a rack with no position {\u0026#34;position\u0026#34;: [\u0026#34;A device in a rack needs a rack unit. Somebody has to find it.\u0026#34;]} POST a prefix with role \u0026#34;customer\u0026#34; and no tenant {\u0026#34;tenant\u0026#34;: [\u0026#34;A customer prefix must be assigned to a tenant.\u0026#34;]} POST a leaf switch with no tenant accepted, because a leaf switch is not in BILLABLE_ROLES 因为 fail() 接受一个 field 参数，错误信息会落在表单里正确的那个输入框上，而不是页面顶部，这就是一条大家学会的规则和一条大家怨恨的规则之间的区别。\n这也是对自定义对象那一节里那个空白的回答。那里的校验只存在于网页表单上。CustomValidator 在模型层运行，所以它适用于界面、REST API、GraphQL 变更、批量导入，以及脚本做的任何事。写规则的地方只有一个，而且绕不过去。\n其三：保护规则，针对删除 CUSTOM_VALIDATORS 守护写入。PROTECTION_RULES 守护删除，它接受的也正好是同样的两种形式。\nPROTECTION_RULES = { \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;status\u0026#39;: {\u0026#39;eq\u0026#39;: \u0026#39;offline\u0026#39;}}, ), } 这表示一台设备只有在 offline 状态时才能被删除。效果是这样的：\nDELETE an active device {\u0026#34;detail\u0026#34;: \u0026#34;Deletion is prevented by a protection rule: [\\\u0026#34;Custom validation failed for status: [\u0026#39;Ensure this value is equal to offline.\u0026#39;]\\\u0026#34;]\u0026#34;} set it to offline, then DELETE 204 No Content 在一个人和一台在线设备之间多加两下按键的阻力，这是整个应用里最便宜的保险。让下线流程成为解锁删除按钮的那个东西。\n会坑到你的那一条 已有数据要到你下次碰它时才会被检查。 添加一条规则，并不会回头去校验已经存在的东西。它安静地待着，直到有人保存了一个违反它的对象，然后那个人就会收到一条错误，而错误针对的决定跟他毫无关系。\n我亲眼看着它发生。mcr1-hv-06 是在我写下这些规则之前创建的，是一台没有租户的虚拟化主机。它在那儿待得好好的。然后我改了它的描述：\nPATCH {\u0026#34;description\u0026#34;: \u0026#34;touching it to trigger revalidation\u0026#34;} {\u0026#34;tenant\u0026#34;: [\u0026#34;A Hypervisor is billable kit, so it must name the customer it belongs to.\u0026#34;]} 这次编辑跟租户毫无关系。规则照样触发了，因为校验是针对整个对象运行的。\n这是正确的行为，也正是一条新规则变成一张支持工单的过程。在启用一条规则之前，先查询会违反它的对象，把它们修好。API 让这件事很容易：规则本身就是一个过滤条件，所以查询带那个角色又没有租户的设备，你就拿到了清单。\n然后再启用规则。这样它就只会抓新犯的错，这才是它的用途。\n用 Ansible 驱动它 一个没人读取的真相来源会烂掉。netbox.netbox 集合是大多数人防止这件事发生的办法，而且它是双向的：NetBox 告诉 Ansible 有什么，Ansible 告诉 NetBox 它建了什么。\n它的版本是 3.23.0，许可证是 GPL-3.0，在 Galaxy 上被拉取了超过 1340 万次。它带有 91 个模块和一个库存插件。14 下面所有内容都是对着同一套实例跑的，用的是一个只装了 ansible-core 2.21.4、pynetbox 7.8.0 和这个集合的容器。\n库存清单是一次查询，而不是一个文件 这是第一个下午就能回本的那一半。nb_inventory 直接从 NetBox 构建你的 Ansible 库存清单：\nplugin: netbox.netbox.nb_inventory api_endpoint: http://netbox:8080 token: \u0026#34;{{ lookup(\u0026#39;env\u0026#39;, \u0026#39;NETBOX_TOKEN\u0026#39;) }}\u0026#34; config_context: false group_by: - sites - device_roles - tenants - racks device_query_filters: - has_primary_ip: true 它产出的是这个，没有任何人在维护主机列表：\n@sites_manchester-dc1: @device_roles_hypervisor: |--mcr1-core-01 |--mcr1-hv-01 |--mcr1-core-02 |--mcr1-hv-02 |--mcr1-hv-01 |--mcr1-hv-03 |--mcr1-hv-02 |--mcr1-hv-04 ... |--mcr1-hv-05 @racks_MCR1-A07: @tenants_ravenscroft-legal: |--mcr1-core-01 |--mcr1-hv-01 |--mcr1-core-02 |--mcr1-hv-02 ... @tenants_padgate-foods: @device_roles_core-router: |--mcr1-hv-03 |--mcr1-core-01 |--mcr1-hv-04 |--mcr1-core-02 @tenants_hartley-components: |--mcr1-hv-05 看右边那一栏。因为设备上设了租户，你免费得到了每个客户一个组，所以 --limit tenants_ravenscroft-legal 会让一个 play 恰好只对一个客户的设备运行。在 NetBox 里加一台设备，下次运行时它就在组里了。下线一台，它就没了。没有人需要编辑任何东西。\n每台主机到来时都带着 NetBox 对它的了解：\nansible_host \u0026#34;2001:db8:20:20::11\u0026#34; primary_ip4 \u0026#34;10.20.20.11\u0026#34; primary_ip6 \u0026#34;2001:db8:20:20::11\u0026#34; device_roles [\u0026#34;hypervisor\u0026#34;] sites [\u0026#34;manchester-dc1\u0026#34;] racks [\u0026#34;MCR1-A07\u0026#34;] tenants [\u0026#34;ravenscroft-legal\u0026#34;] device_types [\u0026#34;sys-1029u-tn10rt\u0026#34;] manufacturers [\u0026#34;supermicro\u0026#34;] status {\u0026#34;label\u0026#34;: \u0026#34;Active\u0026#34;, \u0026#34;value\u0026#34;: \u0026#34;active\u0026#34;} 总共二十二个键，其中一个值得在它让你吃惊之前注意到。ansible_host 是 IPv6 地址，因为那台设备设了 v6 主地址。我拿另外两台只有 v4 的设备核对过，它们返回的是 v4，所以规则是：有 v6 主地址的地方，插件优先用 v6。这是对的，但这种事你也宁可现在发现，而不是在纳闷某个 play 为什么走了一条你压根没想到的路径去连接时才发现。\n写回去 模块是另一个方向，其中值得拥有的是 IP 分配，因为 NetBox 知道哪些是空闲的，而你的 playbook 不知道。\n- name: Rack the device netbox.netbox.netbox_device: netbox_url: \u0026#34;{{ nb_url }}\u0026#34; netbox_token: \u0026#34;{{ nb_token }}\u0026#34; data: name: mcr1-hv-07 device_type: SYS-1029U-TN10RT device_role: Hypervisor site: Manchester DC1 rack: MCR1-A07 position: 14 face: Front tenant: Hartley Components state: present - name: Let NetBox pick the next free address out of the customer prefix netbox.netbox.netbox_ip_address: netbox_url: \u0026#34;{{ nb_url }}\u0026#34; netbox_token: \u0026#34;{{ nb_token }}\u0026#34; data: prefix: 10.20.22.0/24 tenant: Hartley Components assigned_object: device: mcr1-hv-07 name: eno1 state: new 注意里面没有什么。没有 IP 地址。你给出前缀，NetBox 就交回下一个空闲地址：\nTASK [Let NetBox pick the next free address out of the customer prefix] **** changed: [localhost] \u0026#34;device : mcr1-hv-07 (created)\u0026#34; \u0026#34;interface: eno1 (created)\u0026#34; \u0026#34;address : 10.20.22.1/24 (allocated)\u0026#34; 一秒钟之后它就出现在界面里了，还没接任何线，但已经上架、有了租户、分好了地址：\n那个 playbook 里的陷阱 一行不改地再跑一次，就会发生这个：\n\u0026#34;device : mcr1-hv-07 (already correct)\u0026#34; \u0026#34;interface: eno1 (already correct)\u0026#34; \u0026#34;address : 10.20.22.2/24 (allocated)\u0026#34; 设备和接口是幂等的。地址不是，而且这不是 bug。state: present 的意思是“让它变成这个样子”。state: new 的意思是“给我一个新的”，每一次都是，而它恰恰就是这么做的：跑两次之后，一个接口上有了两个地址。\n如果你确实是在置备新东西，这没问题；如果你把它放进一个每晚运行的任务里，它会悄悄吃掉一整个前缀。分配一次并记录结果，或者用 state: present 加上你已经持有的地址。模块做的是你要求它做的事。问题在于，你要求的是不是你真正想要的。\n不只是 Ansible 这个集合之所以受关注，是因为大多数网络团队本来就在用 Ansible，但 API 才是产品本身，能和它对话的东西多得很。\n东西 它是什么 许可证 pynetbox 这个集合自己用的 Python 客户端 Apache 2.0 terraform-provider-netbox 把 NetBox 对象作为 Terraform 资源来管理，由 e-breuninger 积极维护 MPL 2.0 nornir_netbox 把 NetBox 作为 Nornir 库存，给写 Python 而不是 YAML 的人用 Apache 2.0 Prometheus SD 从 NetBox 给 Prometheus 提供抓取目标 MIT go-netbox 一个 Go 客户端，不过从 2025年5月起就没人动过 见仓库 Diode NetBox Labs 自己的数据摄取管道，用来把发现的数据推进去 NetBox Limited Use 对已经用 Terraform 管理基础设施的人来说，Terraform 那一项最有意思，因为它让一个 plan 同时创建云资源和记录它的 NetBox 条目，而不是把后一半留给某人的记性。15\nDiode 的许可证和 Branching、Custom Objects 一样，所以在它上面搭东西之前，同样的解读也适用。\n这一个下午到底买到了什么 上面所有内容花了我一台机器上的一天，而这一天的大部分时间都花在灌数据上，好让页面里有东西可看。两种方式的安装都是二十分钟。真正要紧的是那些决定，而它们都在第一个小时里做出：租户先于一切，设备类型先于设备，数字写在类型上而不是写在设备上。\n你因此得到的不是文档。这个区别，没人会去分，直到两样都经历过：文档是你写完之后就不再维护的东西。你得到的是一个拒绝容纳矛盾的数据库：它不让你把两样东西放进同一个 U，不让你把一个机柜放进属于另一个站点的位置，也不让你把一台设备建在一个不存在的类型上。每一次拒绝，都是你六个月后不用再吵的一场架。\n而且它会告诉你没人问过它的事。那个机柜设备装了 28.6%，电力却用了 90.7%。没有人专门去找这件事。它只是因为有人在一个设备类型上填过一次功率就自己冒了出来，而这就是“把下一批订单装进那里”和“吃了苦头才发现”之间的区别。\n老实的提醒，和每个真相来源都一样。它的价值只等于你为保持它正确所付出的成本，而唯一能熬过一个忙碌季度的版本，是数据一错就会有东西明显坏掉的那种。把你的监控、置备或防火墙规则接上去从它读取，一条错误的记录就不再是某人迟早会处理的文档问题。它会变成某个星期二早上九点半的一次故障，上面写着一个名字。这听起来像是代价。它就是整个机制本身。\n也不会有人为此感谢你。一份正确的记录，体现为一次花了两周而不是一个季度的迁移，一次花了一个下午的审计，一个在电话里得到了直截了当回答的客户。这些都不会出现在某份报表上你的名字旁边。\n照样去做。另一种选择是一个连自己都描述不清的企业，而一个连自己都描述不清的企业不是在被经营。它是在被记着，而记得的人一年比一年少。\nNetBox, Introduction — “Today, the open source project is stewarded by NetBox Labs and a team of volunteer maintainers”，以及它 2015 年起源于 DigitalOcean、2016年6月开源的经过。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, LICENSE.txt — Apache License 2.0，版权归 DigitalOcean, LLC。起源和管理方信息见 the introduction。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNautobot v1.0.0 release notes — “a divergent fork of NetBox 2.10”，发布于 2021年4月26日，并列出了它相对 NetBox 2.10 增加的内容。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetwork to Code, \u0026ldquo;Why Did Network to Code Fork NetBox?\u0026rdquo;，2021年2月25日 — 关于 SLA 和长期支持的理由、愿景的分歧，以及“the NetBox project team suggested that we should consider forking”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Labs 成立于 2023 年，是 IBM 收购 NS1 之后从 NS1 分拆出来的，联合创始人之一是 NetBox 首席维护者 Jeremy Stretch，并于 2023年4月宣布完成 2000 万美元 A 轮融资：NetBox Labs, \u0026ldquo;Let\u0026rsquo;s Go: Announcing NetBox Labs\u0026rdquo; 以及 the Series A announcement。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Labs, NetBox Enterprise — 自行管理的商业版，提供“24/7 expert assistance from the NetBox Labs team”；NetBox Cloud 是托管版本。该页面未公布具体的 SLA 条款。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n两个项目的 star 和 fork 数、发布日期和许可证，于 2026年9月30日读自 GitHub API：netbox-community/netbox 和 nautobot/nautobot。Nautobot 并行发布的 3.2.x 和 2.4.x 日期均为 2026年9月28日。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetbox-community/netbox-docker — 社区维护的容器栈，Apache 2.0。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, Installation — 受支持版本表；PostgreSQL 和 Redis 最低版本的提高见 the v4.7 release notes。版本和发行版信息读自 netbox/release.yaml。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Limited Use License 1.0 — netbox-custom-objects 采用此许可证，netbox-branching 采用的与之完全相同。文中引用的两段条款均为原文。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, HTTP Server installation, \u0026ldquo;What\u0026rsquo;s Next?\u0026rdquo; — “Some of the most popular plugins include” NetBox Branching、NetBox Custom Objects、NetBox DNS 和 NetBox BGP，未提及任何许可条款。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, Data Validation configuration — FIELD_CHOICES，以及表示扩展而非替换的加号后缀：“To replace the available choices, specify the app, model, and field name separated by dots \u0026hellip; To extend the available choices, append a plus sign”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetboxlabs/netbox-custom-objects documentation — “Deleting a Custom Object Type drops an entire database table and should be done with caution.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetbox.netbox on Ansible Galaxy 和 netbox-community/ansible_modules — 版本 3.23.0，GPL-3.0，91 个模块加上 nb_inventory 库存插件。下载次数于 2026年9月30日读自 Galaxy。文中展示的一切都是用 ansible-core 2.21.4 和 pynetbox 7.8.0 跑出来的。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n许可证、活跃度和 star 数于 2026年9月30日读自各项目：pynetbox（Apache 2.0）、terraform-provider-netbox（MPL 2.0，Terraform registry 上为 v6.0.0-rc.1）、nornir_netbox（Apache 2.0）、netbox-plugin-prometheus-sd（MIT）、go-netbox（最后一次推送为 2025年5月9日），以及 Diode，它采用与 Branching 和 Custom Objects 相同的 NetBox Limited Use License 1.0。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/netbox/what-is-netbox/","summary":"一次动手的 NetBox 4.7.2 实地讲解，里面装的是一整套资产，而不是空荡荡的演示。每个页面装着什么、你拿它做什么：机柜立面图、线缆追踪、IPAM 树、双栈接口，以及一个设备只占了 28.6%、电力却占了 90.7% 的机柜。怎样用容器栈部署一套，怎样用软件包装在主机上，两种都从头跑到尾。你必须遵守的录入顺序，由哪些外键真正是必填的推导出来。怎样把一套安装划分给多个客户，让别的客户的设备返回 404、没有授权的对象类型返回 403。配置上下文，以及让它比自定义字段更值钱的继承机制。往 NetBox 自带的状态菜单里加你自己的值。添加你业务所依赖的对象的三种办法，其中包括一个不写代码就建模出来的数据存储。怎样编写校验规则和校验器类，让数据库拒绝你的内部标准所禁止的东西。还有 2021 年那次催生 Nautobot 的分叉：它为什么发生，后来又有哪些东西重新趋同。另外还有用 netbox.netbox Ansible 集合驱动整个系统，在那里库存清单是一次查询而不是一个文件，而某个模块参数每运行一次就悄悄分配一个新地址。","title":"NetBox：它装着什么，以及怎样让它装下你的东西"},{"content":"你的机器今天查过的每一个名字，它都信了。你的银行、你的更新、你的邮件服务器。一个应答从网络上回来，没有任何地方去检查它到底来自拥有这个名字的组织，还是来自谁先把一个包塞了进来。普通的 DNS 应答上没有签名，没有什么可验证的，就算出了问题也不会有任何东西察觉。这在 1983 年是个合理的设计，但它早就不合理了。\nDNSSEC 正是为此而生的修复，它既不新也不贵。区域的所有者给自己的记录签名。上一级区域发布一个他们密钥的哈希并对其签名，如此一路向上，直到这条链到达你的解析器生来就认识的那一把根密钥。任何检查这条链的东西都能分辨真应答和伪造的应答。它从 2005 年起就是标准，根区从 2010年7月起就已签名，注册局发布这些记录分文不取。1 2\n树的顶端已经完工了。为了写这篇文章，我数了实时根区：1,438 个顶级域中有 1,351 个已签名，1,038 个通用顶级域全在其中。然后就掉下了悬崖。在仍能解析的 2,390 个 gov.uk 域名里，签了名的有三十九个，其中九个是教区议会。MI6 做到了。国家网络安全中心没做到。\n本文讲一个伪造的应答到底让你付出什么代价，以及签名对此能做什么。数字是 2026年9月27日从实时根区数出来的，然后一路往下数到政府、银行、你安装软件的那些发行版，以及证书颁发机构。每个域名一条命令，不需要任何人许可，每个名字都列出来了，所以你可以跟我争论选了哪些，而不是争论我的算术。在这一切下面，是我真正想得到答案的问题。Mockapetris 把 DNS 写下来已经四十二年了，几乎没人签名的原因，会不会是几乎没人真正理解过 DNS 承诺的是什么？\nDNSSEC 是什么，它是干什么用的 一句话：DNSSEC 给 DNS 应答加上加密签名，这样解析器就能证明一个应答来自区域的所有者，而不是来自谁抢先回了话。\n它不是加密，不是防火墙，也不是过滤器。它是一个签名，加上一条一直追溯到你的解析器早已信任的那把密钥的密钥链。整个思路就这么多。\n现在来讲攻击，因为只有看清这个协议是防什么的，它才讲得通。\n解析器查询一个名字时，发出查询然后等待。应答是靠少数几个字段来匹配的：查询名、类型、源和目的地址及端口，以及一个 16 位的事务 ID。谁能在真应答到达之前造出一个匹配这些字段的包，谁就赢。解析器把伪造的东西缓存起来，交给每一个来问的客户端，攻击者说多久就是多久。\nDan Kaminsky 2008 年的工作是大家都记得一半的那个。3 要紧的不是缓存投毒存在，因为在那之前很多年大家就知道了。要紧的是他找到了一种无限次重试猜测的办法。去问一个不存在的名字，每一次失败的尝试都不花任何代价，还能立刻再试，于是攻击者不再是对着一条能缓存一天的记录只赛跑一次。业界的回应是加随机性：在随机事务 ID 之上再加随机源端口，把猜中的概率从 65,536 分之一变成了大约二十亿分之一。\n这个数更大了。但它不是证明。\n解析器靠攻击者能猜的字段来匹配 没有签名：第一个匹配的包获胜 解析器 发出查询，然后等待 真正的服务器 按自己的节奏应答 路径外攻击者 只需要先到 只要五个字段匹配就被接受，而每一个都是可以猜的： 名字 · 类型 · 地址 · 源端口 · 16 位事务 ID 有了签名：应答自带证明 一个能链到解析器早已持有的那把根密钥的签名。猜是猜不出来的。 解析器靠攻击者能猜的字段来匹配。签名用算术取代了猜测 而且这个缓解措施从那以后一直在被侵蚀，因为这些字段里的每一个都是一个被弄得更难猜的猜测，而不是一个变得可以检查的事实。一个以可预测方式改写端口的 NAT 就能让端口随机化失效。分片攻击干脆绕开了匹配。路径外攻击一次次以新形式卷土重来，每一种都得到它自己的补丁。\n签名终结了这场争论。一个签了名的应答，要么能用解析器能一路链到根的密钥验证通过，要么不能，而攻击者无论猜多少次都拿不到一个有效的签名。\n赢下这场赛跑，他们到底得到什么 说具体点，因为“缓存投毒”听上去很抽象，而后果一点也不抽象。\n他们伪造什么 他们得到什么 你网站的 A 记录 流量，以及一个看起来跟你的一样的登录表单 你的 MX 记录 每一封入站邮件，包括密码重置邮件 证书颁发机构用来验证的那个名字 一张他们并不拥有的域名的有效证书 你的机器拉取更新的那个名字 什么也没来，也没有人被告知 你的 NS 委派 以上全部，同时发生，TTL 说多久就多久 第三行把一个 DNS 问题变成了证书问题。域名验证型签发的做法是让你发布一条记录，然后去查它。如果攻击者能控制 CA 在那次查询中看到的应答，CA 就会给他们签发一张你名下的真证书，从此浏览器里的那把锁就是他们的了。用户被教会去检查的每一样东西都会说这个网站没问题。\n第四行是悄无声息的那个。伪造的应答不一定要把谁送到哪里去。把一个更新服务指向一个黑洞就够了，而整个技术栈里没有任何东西是为了对没到的更新大喊大叫而设计的。\n签名对此能做什么 这个机制比它的名声要简单。\n每个签名区域都持有一对密钥。区域所有者用私钥那一半给每个记录集签名，并在旁边发布一条 RRSIG。公钥那一半作为 DNSKEY 放在区域里。到这一步还什么都证明不了，因为一个能伪造 A 记录的攻击者，也能顺手伪造一条 DNSKEY。\n把这个口子封上的是 DS 记录，而 DS 放在父区域里，不在你的区域里。它是你密钥的哈希，由你上面那一级区域发布并签名。于是 uk 为你的密钥担保，根为 uk 担保，而你的解析器生来只知道一件事：根的密钥。2\n每个父区域为它的子区域担保，少了一个 DS，它下面的一切就全断了 解析器生来唯一知道的东西 根密钥 随解析器一起发布 其他一切都是问出来的， 并由它上面那一层来证明。 uk 的 DS uk 已签名，由根担保 你的区域的 DS damiendye.uk 用 RRSIG 给自己的记录签名 DS 是子区域密钥的哈希， 由父区域发布并签名。 所以只有父区域 能把你放进链里。不是你自己。 如果少了一条 DS 链就停在那里。下面的一切都无法验证，不管下面的区域签得多仔细。 每个父区域为它的子区域担保，少了一个 DS，它下面的一切就全断了 干活的是三种记录类型，你得知道哪个是哪个，因为其中只有一个是别人的活：\n记录 放在 意思是 DNSKEY 你的区域 这是我的公钥 RRSIG 你的区域 这是我对这个记录集的签名 DS 你父区域里 我为那把密钥担保 前两种你可以自己发布一整个下午，什么也不会改变。在父区域发布 DS 之前，你就是一个没人能验证的签名区域，这跟一个多干了些活的未签名区域是一回事。\n$ dig +short @127.0.0.53 uk DS 43876 8 2 A107ED2AC1BD14D924173BC7E827A1... $ dig +short @127.0.0.53 damiendye.uk DS 2371 13 2 A5B2825C57899A5A15EE9703832C8358E0D19EF29DC72DD83C691ED77C33BD7F $ dig +short @127.0.0.53 bbc.co.uk DS (nothing) 中间那个是本站自己的区域。uk 为它担保，算法 13 是 ECDSA P-256，所以一个做验证的解析器可以把关于它的每一个应答一路证明到根。bbc.co.uk 什么也没返回，所以它不能。\n一条命令就能告诉你一个区域在不在信任链里。如果父区域没有为你发布 DS，那不管你还配置了什么，你都没签名，一个做验证的解析器会把关于你域名的每一个应答都当作无法验证。\n那一条记录就是全部的检验。\n它不做什么 值得说清楚，因为把它吹过头，正是人们不信任它的一半原因。\n它不会 因为 加密任何东西 你查的每个名字仍然是明文。那是 DNS over TLS 干的事，两者不能互相替代 让一个被攻陷的区域变安全 一个拿下了你 DNS 管理权的攻击者，会很乐意用你的密钥给他们的伪造品签名 保护最后一跳 做验证的解析器和应用程序之间那一段，除非那一跳也是可信的 阻止名字被人从你手里拿走 注册商或法院照样能做到，而签名自始至终完全有效 对内容作任何表态 签了名的应答是真实的，不是诚实的。恶意软件也能给自己的区域签名，而且确实在签 大家会被最后一行绊倒。DNSSEC 证明应答来自控制这个区域的人。至于他们是不是正派人，它毫无意见。\n它只做一件事。它让伪造一个应答在算术上不可行，而不只是不太可能。\n怎么检查任何一个区域，包括别人的 正是这一部分让本文其余内容成为可能，而它只需要一条命令。\n一个区域在信任链里，当且仅当它的父区域为它发布了 DS。检验就这么多，你可以对任何人跑，不需要许可，在任何机器上都行：\ndig +short damiendye.uk DS 有返回就是签了名。没返回就是没签名，不管这个区域还配置了别的什么。\n如果你想要的不只是是或否，还有三条值得知道：\n命令 告诉你 dig +short \u0026lt;zone\u0026gt; DS 父区域到底有没有为这个区域担保 delv @1.1.1.1 \u0026lt;zone\u0026gt; A 这条链能不能端到端验证通过，不能的话断在哪里 resolvectl query \u0026lt;zone\u0026gt; 一个做验证的解析器得出的结论，把裁定明明白白写出来 dig +dnssec \u0026lt;zone\u0026gt; SOA RRSIG 和它的到期日，这才是要监控的东西 在你相信自己的结果之前，有两个坑要知道，因为在为本文做测量时这两个都让我栽过。\ndig +short … DS 会打印一条 CNAME 链，如果这个名字是别名的话；而一个含数字的主机名看上去很像一条 DS 记录，足以骗过一个幼稚的脚本。真正的 DS 有四个字段：密钥标签、算法、摘要类型、十六进制摘要。按这个形状去匹配，否则你会把未签名的区域算成已签名。\n**未签名父区域下面的 DS 毫无意义。**这条链必须到达根。update.microsoft.com 有 DS，而 microsoft.com 没有，所以这一支不管怎样都无法验证。永远要检查整条路径，而不是只看一层。\n本文其余部分数出来的每一样东西都是这样测的。没有扫描器，没有第三方仪表盘，没有厂商的排行榜。去问父区域是否为子区域担保，并且坚持要求答案能解析成一条 DS。\n根区已经完工了 这就是那些公认看法干脆已经过时的地方。人们谈起 DNSSEC 时，仍然好像基础设施才是问题。\n我在 2026年9月27日拉取了实时根区，序列号 2026092701，把委派和 DS 记录对着数了一遍。4\n委派数 已签名 占比 gTLD（.com、.org、.dev，全部） 1,038 1,038 100% IDN TLD 151 136 90.1% ccTLD 248 176 71.0% arpa 1 1 100% 合计 1,438 1,351 93.9% 每一个通用顶级域都签了名。全部 1,038 个，没有例外，因为 ICANN 的注册局协议要求在新 gTLD 计划下委派的任何东西都必须签名。没签名的 87 个几乎全是国家代码，名单上主要是些小领地和少数几个国家：\nae ao aq ba bb bo bs cd cf cg ck cu cv cw do eg fk gb gf gh gm gp gq gt gu hm im iq jm jo kh km kn kp mh mk mo mp mq mt mv mw mz ne ni np nr om pa pf pk pn ps qa sd sl sm so st sv sy sz td tg tj tk to va vg vi ye zw gb 也在里面，这只是个奇闻而算不上问题，因为没人拿它干任何事。梵蒂冈、朝鲜、古巴和叙利亚也在。tk 也在，它多年来是互联网上最大的免费域名来源，也顺带是稳定的滥用来源。\n所以树的顶端完工了。注册局做了难的部分、贵的部分、需要国际协调的部分，而且把它做完了。正因如此，从这里往下的任何问题都不能怪到基础设施头上。\n顶端百分之九十四，底端百分之一点五 链已建好 根 2010 年起已签名 1,438 个 TLD 中 1,351 个 每个 gTLD，无一例外 人们真正输入的名字 到这里就停了 已签名占比，2026年9月27日统计 根区中的 TLD 93.9% Linux 和 BSD 发行版 20% 英国银行 13% 软件包仓库 18% Microsoft 区域 15% 证书颁发机构 11% 每个 gov.uk 域名 1.63% 官方登记册中仍能解析的 2,390 个里，39 个已签名 是数出来的，不是估出来的。这条链一直建到了 TLD，然后没有人用它 然后它戛然而止 在 TLD 以下，情况完全倒了过来。\n下面每一组我都用同样的方法测：向父区域要 DS，只接受真能解析成 DS 的记录。这里的一切都是 2026年9月27日数的。\n对象 已签名 占比 根区中的 TLD 1,351 / 1,438 93.9% Linux 和 BSD 发行版 19 / 96 20% 英国银行和建房互助协会 13 / 98 13% 软件包仓库和供应链 4 / 22 18% Microsoft 的区域 4 / 26 15% 证书颁发机构 1 / 9 11% 仍在解析的每一个 gov.uk 域名 39 / 2,390 1.63% 顶端百分之九十四。底端百分之一点五。这条信任链，一头用螺栓固定在墙上，另一头躺在地板上。\n说一下方法，因为这么糟的数字值得交代一下。gov.uk 那一行是普查而不是抽样：它是政府自己发布的登记册里的每一个二级域名，筛到仍能解析的 2,390 个。其他各行是精选的名单，挑的是那些一旦被伪造真会造成伤害的组织，这属于判断，所以我在下面把每一个名字都列了出来，这样你可以不同意我的选择，而不是不同意我的算术。\n政府普查：2,390 个里的 39 个 政府发布的 gov.uk 域名官方清单有 3,004 个二级名字。其中 2,390 个仍能解析。签了名的有三十九个。\n讲细节之前，先说这份登记册的一件事。gov.uk 发布的最新版本日期是 2016年10月1日。5 英国国家在其上作答的那些域名的权威清单，已经十年了。这本身就是一个小发现，我就点到为止。\n现在来看是哪三十九个。\n已签名 未签名 mi6.gov.uk、sis.gov.uk gchq.gov.uk、mi5.gov.uk nationalcrimeagency.gov.uk ncsc.gov.uk、cyberessentials.ncsc.gov.uk cheltenham.gov.uk、cotswold.gov.uk、somerset.gov.uk、waverley.gov.uk、southribble.gov.uk、sedgemoor.gov.uk、fdean.gov.uk、westoxon.gov.uk birmingham.gov.uk、manchester.gov.uk、leeds.gov.uk、glasgow.gov.uk、sheffield.gov.uk、liverpool.gov.uk、bristol.gov.uk、cardiff.gov.uk、edinburgh.gov.uk、belfast.gov.uk peakdistrict.gov.uk、snowdonia-npa.gov.uk、eryri-npa.gov.uk hmrc.gov.uk、dvla.gov.uk、dwp.gov.uk、nhs.uk、homeoffice.gov.uk、mod.uk、parliament.uk 九个教区和镇议会 companieshouse.gov.uk、landregistry.gov.uk、police.uk、met.police.uk、tfl.gov.uk、ons.gov.uk 把第一列再读一遍。秘密情报局给它的区域签了名。国家网络安全中心没有。\nGCHQ 也没有，而它正是 NCSC 自己的上级机构。Cyber Essentials 计划也没有，而这个计划存在的意义就是认证别人的安全是否合格。我不打算假装这有什么不值一提的。\n而这三十九个里有九个是教区和镇议会。Abinger。Aldenham。Ashmansworth。Wheathampstead。Frampton on Severn。这些地方有一个文书、一个兼职维护的网站，预算还不够在白厅请一天顾问。他们做到了。掌握着全国每一个成年人纳税记录的 HMRC 没做到。\n我能问一下，流程里是什么允许了这种事吗？不是谁：是什么。因为 NCSC 发布指南告诉别人要部署 DNSSEC，而写指南的这个部门自己却没做指南上说的事。要么它很重要，那么说它重要的机构早在几年前就该做了；要么它不重要，那么指南就该这么写。\n摆出来的借口会是规模和遗留系统。第一列就让它站不住。somerset.gov.uk 是一个服务 580,000 人的单一管理区，它签了名。birmingham.gov.uk 是一个服务 110 万人的单一管理区，它没签。同一个国家，同一个注册局，同一批注册商，同样的钱能请同样的供应商。一个做了。\n你从哪里更新软件 这一部分应该比银行更让你担心，而它恰恰是几乎没人去测的那部分。\n你运行的每一台机器都按计划从某个地方拉取代码，而它找到那个地方的方式就是问 DNS。\n九十九个发行版和 BSD，其中九十六个仍能解析。签了名的有十九个。\n已签名（19） debian.org、fedoraproject.org、opensuse.org、gentoo.org、almalinux.org、artixlinux.org、cachyos.org、garudalinux.org、getsol.us、linuxmint.com、q4os.org、system76.com、tails.net、whonix.org、freebsd.org、netbsd.org、hardenedbsd.org、midnightbsd.org、opnsense.org 几家大型商业发行版 ubuntu.com、canonical.com、redhat.com、suse.com、oracle.com、rockylinux.org、centos.org、eurolinux.com Ubuntu 衍生版 kubuntu.org、xubuntu.org、lubuntu.me、ubuntustudio.com、ubuntukylin.com Arch 系 archlinux.org、arcolinux.com、endeavouros.com、manjaro.org、blackarch.org 独立和极简 alpinelinux.org、voidlinux.org、nixos.org、devuan.org、slackware.com、antixlinux.com、mxlinux.org、puppylinux.com、tinycorelinux.net、slitaz.org、porteus.org、funtoo.org、calculate-linux.org 面向桌面 zorin.com、elementary.io、deepin.org、uniontech.com、bodhilinux.com、peppermintos.com、sparkylinux.org、neon.kde.org、nobaraproject.org、ultramarine-linux.org、vanillaos.org、solus-project.com 安全和隐私 kali.org、parrotsec.org、qubes-os.org、backbox.org、pentoo.ch、trisquel.info、pureos.net、hyperbola.info、dragora.org 地区和国家 altlinux.org、astralinux.ru、rosa.ru、openkylin.top、openeuler.org、opencloudos.org、openanolis.cn、mageia.org、openmandriva.org、pclinuxos.com 嵌入式、不可变、设备型 openwrt.org、dd-wrt.com、librecmc.org、raspberrypi.com、armbian.com、flatcar.org、talos.dev、bottlerocket.dev、truenas.com、pfsense.org BSD openbsd.org、dragonflybsd.org、ghostbsd.org 以及最要紧的两个 kernel.org、gnu.org 九十六个里十九个。而未签名名单里的名字一点也不冷门：Ubuntu、Red Hat、SUSE、Oracle、Arch、Alpine、NixOS、Rocky、每一个 Ubuntu 衍生版，还有 kernel.org 和 gnu.org 两个都在。\n安全和隐私类发行版是我以为会不一样的，结果大多也一样。Tails 和 Whonix 签了名，这说得通。Kali、Parrot、Qubes、Trisquel 和 PureOS 没签，这就说不通了。OpenBSD 二十五年来的名声恰恰建立在把这类事情做对上，却没给 openbsd.org 签名，而 FreeBSD、NetBSD、HardenedBSD 和 MidnightBSD 全都签了。\n软件包仓库几乎是清一色站在错误的那一列：npm、crates.io、RubyGems、Packagist、Docker Hub 和 Quay 全都没签名。pypi.org 是例外，该给的功劳要给，因为它也是受攻击最多的之一。\nMicrosoft，以及更新通道 Microsoft 的二十六个区域里有四个签了名，而且全在这片资产的同一个角落：\n已签名 未签名 live.com、outlook.com、office.com、office365.com microsoft.com、windows.com、windowsupdate.com、update.microsoft.com azure.com、azurewebsites.net、microsoftonline.com、windows.net github.com、npmjs.com、linkedin.com、visualstudio.com、xbox.com、bing.com Outlook 和 Office 的名字签了名，别的都没有，这看起来像是某一个团队的决定，而不是一家公司的决定。注意右边那一列里和更新服务放在一起的是什么：github.com 和 npmjs.com，互联网上最大的两个代码分发点，都归 Microsoft 所有，都没签名。\n$ dig +short @127.0.0.53 windowsupdate.com DS (nothing) $ dig +short @127.0.0.53 microsoft.com DS (nothing) $ dig +short @127.0.0.53 com DS 19718 13 2 8ACBB0CD28F41250A80A491389424... com 是签了名的，所以技术上没有任何障碍。Microsoft 今天下午就可以发布一条 DS。\n关于这为什么无所谓，标准答案是 DNS 只是其中一层。更新的有效载荷是代码签名的，客户端会检查签名，而流量走的是 TLS。就算把 DNS 搞坏了，你还是没法让代码执行。\n这个答案完全依赖于签名本身是可靠的。而它并不可靠。\n时间 Microsoft 的签名信任遭遇了什么 2012 Flame 利用针对终端服务许可证注册路径的 MD5 碰撞，伪造了一张链到 Microsoft Root Authority 的证书，然后把它用在一台假的更新服务器上6 2021 Netfilter 成为第一个被发现带有 Microsoft 直接签发的 WHQL 签名的 rootkit，它一边和命令控制服务器通信，一边通过了 Windows 硬件兼容性计划7 2021 FiveSys 是另一个经过 WHQL 认证的驱动，结果是一个 rootkit，它安装自己的根证书，并代理机器的 HTTP 和 HTTPS 流量7 2022 Microsoft 签名的恶意驱动出现在勒索软件攻击中，Microsoft 吊销了签名并暂停了开发者账户7 2023 Storm-0558 在攻陷一名工程师的账户之后，从一个崩溃转储里拿到了 Microsoft 的一把消费者签名密钥，伪造的身份验证令牌被约 25 个组织（包括政府机构）的企业邮箱接受8 对最后一行要说准确，因为人们常常夸大它。被盗的密钥签的是身份令牌，不是二进制文件。它进这张表另有原因：Microsoft 签名材料的保管失守了，通过一个崩溃转储和一个被攻陷的工程师账户，两年都没被发现。\n上面那几行才是代码签名的失败，而且更糟。一年之内两次，Microsoft 自己的硬件认证计划给一个能用的 rootkit 盖上了 Microsoft 的签名，然后发了出去。不是伪造的证书，不是被盗的密钥。是正当的流程，在给恶意软件签名，完全按设计运行。\n所以，那个让你可以把 DNS 当成可有可无的防线，十一年间已经被伪造、被流程滥用、被密钥盗窃一一攻破。一个攻击者手里握着机器会接受的签名，这不是思想实验。对一个有国家背景的行动者来说，这是个采购问题，不是研究问题。\n再给这个攻击者一个伪造的 DNS 应答，画面就完整了：他们控制的已签名代码，从一台机器以为是 Microsoft 的服务器上发出，走一条技术栈里没有任何东西会去质疑的连接。这就是 Flame，只是密钥材料更好了。\n**DNSSEC 是这条链上唯一一个不在乎攻击者拿着谁的签名密钥的层。**它不验证有效载荷，它验证的是机器被送去了哪里，而且它的失效与场上的每一张证书、每一个签名都相互独立。这正是你想从第二层防线得到的东西，也正是为什么它不该是被关掉的那一层。\n还有一种更便宜的攻击，根本不需要密钥。伪造应答，让更新服务解析到一个没用的地方，机器就永远不会打补丁。没有用户会去处理的报错，没有警报，只有一整批机器悄悄落后，而仪表盘上说一切正常。如果我想要一片六个月后就可以下手的资产，我什么都不会推送给它。我只要确保什么都到不了就行。\n银行，完整名单 这次不是抽样。九十八家英国银行和建房互助协会，每一家在当天都能解析，从商业街大银行一直到只有一家分行、名字还带着维多利亚时代味道的互助协会。\n签了名的有十三家。\n已签名（13） lloydsbank.com、halifax.co.uk、bankofscotland.co.uk、tsb.co.uk、co-operativebank.co.uk、smile.co.uk、monzo.com、aldermore.co.uk、hampshiretrustbank.co.uk、investec.com、handelsbanken.co.uk、allica.bank、weatherbys.bank 商业街大银行，未签名 hsbc.co.uk、firstdirect.com、barclays.co.uk、natwest.com、rbs.co.uk、ulsterbank.co.uk、santander.co.uk、nationwide.co.uk、virginmoney.com、clydesdalebank.co.uk、metrobankonline.co.uk、bankofireland.co.uk、aibgb.co.uk、danskebank.co.uk 数字银行和挑战者银行，未签名 starlingbank.com、revolut.com、chase.co.uk、marcus.co.uk、atombank.co.uk、zopa.com、tandem.co.uk、kroo.com、monese.com、cashplus.com、anna.money、mettle.co.uk 零售商银行，未签名 tescobank.com、sainsburysbank.co.uk、marksandspencer.com、johnlewisfinance.com 中小企业和专业银行，未签名 shawbrook.co.uk、paragonbank.co.uk、oaknorth.co.uk、recognisebank.co.uk、redwoodbank.co.uk、ccbank.co.uk、closebrothers.com、unitedtrustbank.co.uk、gbbank.co.uk、cynergybank.co.uk、securetrustbank.com 私人银行，未签名 coutts.com、hoaresbank.co.uk、arbuthnotlatham.co.uk、rathbones.com、brownshipley.com、butterfieldgroup.com 建房互助协会，未签名 测过的每一家：coventrybuildingsociety.co.uk、ybs.co.uk、skipton.co.uk、leedsbuildingsociety.co.uk、principality.co.uk、westbrom.co.uk、newcastle.co.uk、thenottingham.com、cumberland.co.uk、progressivebs.co.uk、saffronbs.co.uk、newburybs.co.uk、monbs.com、furnessbs.co.uk、ipswichbuildingsociety.co.uk、leekbs.co.uk、theloughborough.co.uk、mansfieldbs.co.uk、marsdenbs.co.uk、themelton.co.uk、familybuildingsociety.co.uk、penrithbs.co.uk、scottishbs.co.uk、srbs.co.uk、swansea-bs.co.uk、teachersbs.co.uk、thetipton.co.uk、thevernon.co.uk、beverleybs.co.uk、chorleybs.co.uk、dudleybuildingsociety.co.uk、esbs.co.uk、ecology.co.uk、harpendenbs.co.uk、hrbs.co.uk、darlington.co.uk、hanley.co.uk、bathbuildingsociety.co.uk 三十八家建房互助协会。没有一家签了名。而它们正是握着大量房子按揭的机构。\n已签名那一列里有两个规律很显眼。Lloyds Banking Group 给它的三个品牌签了名，lloydsbank.com、halifax.co.uk 和 bankofscotland.co.uk，Co-operative Bank 给它的两个都签了名。所以这个决定是在组织层面做一次，然后铺开执行。里面没有什么逐个域名的门槛。\n还有，Monzo 签了名，Starling 没有。两家挑战者银行，成立时间相差不到一年，基础设施同样现代，监管机构相同，能用的注册商也相同。一个做了。\n唯一一个人人都做的地方 看看已签名那一列最后两个名字：allica.bank 和 weatherbys.bank。\n.bank 是一个受限顶级域，由 fTLD Registry Services 运营，它的安全要求把 DNSSEC 定为强制，与 TLS 和电子邮件身份验证并列，并且每个注册人每年都要重新核验。9\n同样的机构，两种制度 已签名 在普通域名上，DNSSEC 可选 98 家中 13 家 在 .bank 上，它是强制的，每年复查 两家都签了 两个是很小的数，所以把它当作一次演示而不是一项统计。但要求仍然是唯一变了的东西。\n这就是对本文后面每一个借口的回答，而且它比那些借口先到。同样的银行、同样的供应商、同样的预算、同样的技能，在可选时得出 13% 的合规率，在有人每年检查时得出 100%。技术上什么都没变。只是有人问了一句。\n没人看守看守者 九家证书颁发机构里只有一家。\n已签名 未签名 entrust.com letsencrypt.org、digicert.com、sectigo.com、globalsign.com、identrust.com、buypass.com、zerossl.com、certum.eu 这些组织的全部业务就是证明某样东西确实是它声称的那样。它们也正是通过 DNS 验证域名控制权的组织：让你发布一条记录，然后去查它。决定你能不能拿到某个域名证书的那次查询，在这九家里的八家，是一次谁都无法验证的查询。\n这一条不是假设。这是有记录的套路：伪造那次验证查询，让证书签发给你，然后你就握着一张不属于你的名字的有效证书。DNSSEC 是少数几样能让这件事实质性变难的东西之一，而它最能保护的那些人却没有部署它。\n这话我白送你。如果你的商业模式就是身份，而你自己的区域都没签名，那“这很难”这个理由你是用不上的。\n那到底是谁在检查？ 签名只是一半。一个签了名的区域保护不了任何人，除非另一端有东西去验证签名，而这里的情况不是变好，而是变得更糟。\n验证可以发生在两个地方，而它们并不等价：\n在解析器上验证会留下一段未认证的链路。在设备上验证不会 证明可以在两个地方检查，而它们不是一回事 在解析器上验证 你的应用 相信这个位 一个 AD 位 未经认证 解析器 检查签名 链条已验证 签名区域 RRSIG 和 DS 你拿到的是裁定而不是证据，而且是经过这一切本来就要防着的那一跳传来的。 在设备上验证 你的应用 自己检查签名 链条端到端验证，就在使用应答的地方 签名区域 RRSIG 和 DS 中间没有任何东西能对你撒谎，因为中间根本没有谁被问。 世界上几乎所有的验证都是上面那种。Windows 在任何设置下都做不到下面那种。 一个给你一个裁定。另一个给你证据 世界上几乎所有的验证都是第一种。Google、Cloudflare 和 Quad9 都做验证，它们加起来覆盖了海量用户。这算得上点什么。但这意味着大多数人拥有的属性是：我的解析器说这没问题。\n每个操作系统能做什么 在设备上验证 默认 怎么得到 使用 systemd-resolved 的 Linux 能，完整支持 关 drop-in 文件里一行 使用本地 unbound 或 knot-resolver 的 Linux 能，完整支持 不适用 装上它，让存根解析器指向它 使用 local_unbound 的 FreeBSD 能，完整支持 关 service local_unbound onestart macOS Ventura 及以后、iOS 16 及以后 能 关 按应用或按请求，在代码里开 更早的 macOS 和 iOS 只有 API 关 kDNSServiceFlagsValidate，应用必须主动要求 Android 平台不提供 不适用 第三方库，放在你自己的应用里 Fisher-Price OS (Windows) 不能。做不到 不适用 花多少钱都买不到 其中两个值得多说几句，不止一行。\n**Apple 悄悄把活干了。**iOS 16 和 macOS Ventura 加入了客户端 DNSSEC 验证，用 Apple 自己在 WWDC 2022 上的话说：“iOS 16 and macOS Ventura now support client side DNSSEC validation.”10 它是需要主动开启的，而不是自动的，但开启的粒度选得对，所以一个在乎的应用可以按会话或按请求去要求它：\nlet configuration = URLSessionConfiguration.default configuration.requiresDNSSECValidation = true 一部手机上真正的验证解析器，在设备上检查签名，而它发布时几乎没人注意到。在那之前，mDNSResponder 就为愿意用 C API 的人提供了 kDNSServiceFlagsValidate。\n**Android 不提供它。**从 Android 10 起，DNS 解析器就是一个可更新的模块，从 Android 9 起有了 DNS over TLS，所以这个平台在 DNS 上并没有原地不动。但无论是 AOSP 解析器文档还是公开的 DnsResolver API，都没有记载 DNSSEC 验证，而像 MiniDNS 这样的库之所以存在、并宣传把“DNSSEC close to your application”，正是因为平台没有提供。我找不到一个一手来源直截了当地说它不可能，所以我最多只说到这一步：不提供，你得自己写。\n就算能用，它也会被丢掉 还有一件事，来自这台机器，是我没想到会发现的。\n这里的上游解析器做了验证，也明说了。而 DNSSEC=no 的 systemd-resolved 在任何应用看到之前就把它扔了：\n# ---- before: stock Fedora, DNSSEC=no ---------------------------------- $ dig @192.0.2.53 damiendye.uk A | grep flags # the upstream ;; flags: qr rd ra ad $ dig @127.0.0.53 damiendye.uk A | grep flags # the local stub ;; flags: qr rd ra # ---- the fix: two lines in a drop-in ---------------------------------- $ sudo mkdir -p /etc/systemd/resolved.conf.d $ printf \u0026#39;[Resolve]\\nDNSSEC=allow-downgrade\\n\u0026#39; \\ | sudo tee /etc/systemd/resolved.conf.d/10-dnssec.conf $ sudo systemctl restart systemd-resolved # ---- after: same query, same stub, nothing else changed --------------- $ resolvectl status | grep -m1 DNSSEC= DNSSEC=allow-downgrade/supported $ dig @127.0.0.53 damiendye.uk A | grep flags ;; flags: qr rd ra ad 同一个名字，同一个应答，同一秒。加 drop-in 之前，上游做了活，置上了 AD 位，本地守护进程却把它扔在了地上，所以默认行为不只是我们这里不做验证，而是我们这里不做验证，而且做了验证的人给出的裁定我们也不往下传。加了之后，这一位回来了，而且这一次是我们自己的结论，而不是别人的声称。\nresolvectl 把裁定用文字写出来，并把要紧的两种情况分开：\n$ resolvectl query damiendye.uk | tail -2 -- Data is authenticated: yes; Data was acquired via local or encrypted transport: no $ resolvectl query ncsc.gov.uk | tail -2 -- Data is authenticated: no; Data was acquired via local or encrypted transport: no 注意第二个不是什么。它不是错误。一个未签名区域返回的是“未认证”而不是“伪造”，解析成功，任何地方都不会有人抱怨。这就是把 1.63% 换成一条命令重新说一遍的全部问题：打开验证不会让未签名区域失败，只会让它们可见，而且只对去找的人可见。\n最大的客户端操作系统，连最基本的检查都不及格 现在看天平的另一端，差距一点也不小。\nWindows DNS 客户端，用 Microsoft 自己的描述，是 “security-aware” 但 “non-validating”。它不执行 DNSSEC 验证。也没法让它执行。它做的是请它配置的 DNS 服务器去验证，然后在回复里找 AD 位。11\n关于这一点有三件事，没有一件是小事：\n**它从来不检查签名。**世界上最大的客户端操作系统能得到的最强保证，是由回答它的那台机器置上的一个比特位。 **默认连这个都不做。**客户端只对名称解析策略表里列出的命名空间设置 DO 位并要求 AD，而那是一个得有人专门去配置的组策略对象。表里没有规则的话，查询就根本不带任何 DNSSEC 期望。 **Microsoft 说这个位要靠 IPsec 才有意义。**他们的文档写得很明白：因为客户端不验证、依赖服务器，所以“IPsec is used to establish this trust relationship”。通过一条未经认证的链路到达的 AD 位，只是谁先到谁说了算的一句声称，而这恰恰就是这整套技术存在要阻止的那种攻击。 所以在装机量最大的桌面系统上，开箱即用的状态是：没有验证，不要求 AD，到解析器也没有认证过的通道。最基本的检查不只是被关掉了。它从来就没有被实现过。\n而那个惯常的辩护，说客户端操作系统本来就不干这种事，在 2022 年就死了。Apple 在 Microsoft 没做的同一年，把设备端验证推给了每一部 iPhone 和每一台 Mac。这种比较已经不再是桌面对服务器，或者移动对固定。而是一家做了的厂商，对一家没做的厂商。\n这比 Linux 上同样的缺口更要紧，因为受影响的是谁。一台 Linux 服务器通常是由一个今天下午就能打开验证、知道 DS 记录是什么的人在管。那些在任何设置下都根本无法验证的机器，正是摆在上面那些表格里区域未签名的组织的办公桌上的那些。systemd-resolved 出厂时这项能力是关着的，这是一个你一行就能推翻的决定。12 Fisher-Price OS (Windows) 出厂时就没有这项能力。\n靠 DNS 撑起来的服务 到目前为止讲的都是公共互联网上的名字。同样的漏洞也存在于大楼里面，而在里面，它是承重的。\nActive Directory 里任何东西都没有固定地址。一台加入域的机器不知道它的域控制器在哪儿，所以它问 DNS。定位过程查询 _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; 找控制器，查询 _kerberos._tcp 找 KDC，回来的是什么，它就去向什么进行身份验证。13\ndig +short _ldap._tcp.dc._msdcs.corp.example SRV 伪造这个应答，机器就会把它的身份验证流量送到你挑的主机上。说清楚这是什么、不是什么：Kerberos 不会把票据交给一个没有密钥的冒充者，所以单凭这一点并不能接管域。它是在路径上占了个位置，而那些真正有意思的攻击就是用这个搭起来的。逼它回退到 NTLM 然后中继。坐在本该去控制器的流量中间。或者把整片资产指向空无，看着登录停下来。\n伪造的定位记录不会交出整个域，它让攻击者站到路径上 我的域控制器在哪？答案只是一条 DNS 记录 未签名的 `_msdcs` 区域 成员服务器 _ldap._tcp.dc SRV 第一个应答 获胜 他们挑的主机 现在在路径上 NTLM 回退、 中继，或无法登录 Kerberos 不会给冒充者签发票据，所以这不是接管域。这是占据一个位置。 签名区域，验证客户端 成员服务器 检查签名 伪造 被丢弃 你的控制器 签了名的应答 在任何东西尝试身份验证 之前就被拒绝。 Windows Server 能给这个区域签名，2012 年起就能。读它的客户端至今仍无法验证。 不是接管域。是在路径上占个位置，其余的都建在它上面 组策略、登录脚本、映射驱动器，以及登录之后下游的每一个信任关系，全都是用同样的方式找到的。这是大多数组织所拥有的价值最高的一组名字，而它就那么没签名地摆着。\nMicrosoft 造好了修复的服务器那一半，而且造得很好。AD 集成区域可以签名，动态区域的在线签名在 Windows Server 2012 中落地，而且因为区域存在目录里，私有签名密钥会通过 AD 复制本身复制到其他 DNS 服务器上。14 DNSSEC 真正麻烦的那部分，也就是把密钥送到需要它们的机器上，在这里十四年前就由区域本来就在用的复制机制解决了。\n然后它停在和其他一切相同的两个地方：\n两半 Microsoft 发布了什么 你开箱得到什么 给 _msdcs 区域签名 AD 集成动态区域的在线签名，密钥由 AD 自己复制 什么也没有，直到管理员去签 检查签名 上一节那个不做验证的客户端 一条策略表规则再加 IPsec，否则这一位毫无意义 所以，决定哪台机器能当你的域控制器的那个内部区域，在大多数环境里跟公共区域一样完全没签名。区别在于外人数不了它，所以本文没有一张表能让谁难堪。在你下结论之前，去看看你自己的。\n这事应该由操作系统来做，而且应该默认开着 这就引出了我想争论而不是数数的那部分。\n验证一个 DNS 应答是操作系统的活。它和保持时钟准确、携带一个受信任证书库、拥有一个 TLS 栈属于同一类工作，理由也一样：每个应用都需要它，几乎没有哪个应用应该自己去写，而且这项检查必须只做一次，在一个能把它做好的地方。证书的这场争论我们早就有定论了。没人会发布一个对根 CA 有自己私人看法的邮件客户端。\n上面四个平台里有三个已经能做到。没有一个开箱就做：\n$ grep DNSSEC= /usr/lib/systemd/resolved.conf # Fedora 44, systemd 259.9 #DNSSEC=no 这是编译进去的默认值，以注释形式写出来，好让管理员看到它是什么。systemd 自己的手册看法不同，一般情况推荐 allow-downgrade，在上游可靠的地方推荐 true。15 代码发布了，根信任锚发布了，文档也发布了，并推荐你打开它。默认值仍然说不。\n平台 在签名被检查之前，谁必须采取行动 systemd-resolved 一个管理员，一次，在一个 drop-in 文件里 macOS 13 及以后、iOS 16 及以后 每一个应用的作者 Android 每一个应用的作者，用第三方库 Windows 谁都不行 那一列就是全部问题所在。要求是一根杠杆，前面 .bank 的数字显示了它的作用。默认值是同一根杠杆，而且不需要任何人去执行什么，因为它替每一个从不打开配置文件的人决定了结果，而那几乎就是所有人。可选，换来的是政府 1.63%、银行 13%。人们不会主动去开启他们看不见的安全，而在技术上正确，从来没有一次改变过这一点。\n诚实的反对意见是：当坏的是上游解析器而不是区域时，默认开启验证会坑到用户。这正是 allow-downgrade 的用处，而且它是一个真实的妥协而不是免费的，因为降级是攻击者可以故意诱发的。即便如此，发布 allow-downgrade 而不是一个干脆的 no，也会是巨大的进步，而且它会把故障放到该放的地方：放在 2026 年还在跑一个处理不了 DNSSEC 的解析器的人身上。\n打开验证，以及哪部分是 Fedora 的 下面几乎所有内容都是 systemd 的而不是 Fedora 的，在 Debian、Ubuntu 或 Arch 上跑起来都一样。这里真正属于发行版的有两件事：\n上游 systemd Fedora 44，安装后的状态 编译时的 default-dnssec allow-downgrade no 主配置文件 /usr/lib/systemd/resolved.conf，每个默认值都被注释掉以供参考 还额外发布 /etc/systemd/resolved.conf，内含 Cache=yes，它会取代前者 上游在 meson_options.txt 里选的是 allow-downgrade，这是个折中的设置，不是勇敢的那个。16 Fedora 把它编译成 no，然后再发布第二个主配置文件，而因为只有找到的第一个文件会被使用，那个记载了默认值的文件就不再是生效的那个了。15 所以两个都别改。厂商那份是软件包的，一次更新就会把你的改动原样退回给你；/etc 那份是一个其他行都悄悄不在了的文件。\n改用 drop-in，前面那段配置就是这么做的。它覆盖赢了的那个主文件，不怕软件包更新，而且只装你改了的那一项。用 systemd-analyze cat-config systemd/resolved.conf 检查结果，它会按应用顺序打印每一个文件，一锤定音地告诉你到底是谁生效了。\n三个设置，而后两者之间的选择是实打实的：\nDNSSEC= 它做什么 你要付出什么 no 什么都不验证，连上游的裁定也扔掉 伪造悄无声息地到达，就像今天这样 allow-downgrade 做验证，上游应付不了时就退让 攻击者可以故意诱发这种退让 yes 做验证，到此为止，没有退路 上游坏掉的那天，你的名字跟着一起没 从 allow-downgrade 开始，因为这样一个坏掉的解析器不会让你付出任何代价。等 resolvectl status 连续两周显示 supported、你也清楚你的上游到底是什么之后，再换到 yes。Fedora 以外各发行版的细节在讲 resolved 的那篇文章里。12\n那到底是什么拦住了人们 好。数字就是数字。为什么？\n被拿出来的理由有四个，而且不全是胡扯。\n理由 有几分是真的 密钥管理很难 以前是真的。现在基本由 DNS 提供商自动化了 它可能让你的域名从互联网上消失 是真的，而且是真正的那一个 注册商和提供商的支持参差不齐 基本解决了，而且在你下决心之前很容易查 看不到好处，也没有合规大棒 是真的，而且可能是决定性的 密钥管理曾经是一个真正的障碍，现在大多已经不是了。签名过去意味着你要自己搞密钥仪式，记得在签名过期之前重新签名，按一个你得自己跟踪的时间表手动轮换密钥。在大多数托管平台上，这些活现在都由 DNS 提供商来做，签名就是一个开关。它不是零成本，但它已不再是一个项目。\n失效模式才是诚实的反对意见，也是四个里我唯一真心同情的那个。DNSSEC 搞错了，你的域名不会降级，它会消失。每一个做验证的解析器都会拒绝你的记录，这正是它该做的，而那些连不上你的人，你没法告诉他们为什么，因为告诉他们需要 DNS。\n有三件事让它比普通的宕机更糟：\n**它按时钟失效，而不是因为变更而失效。**签名带有到期时间。一个从星期二起就没人碰过的区域，可能到星期天就没了，因为一个重签任务悄悄停了。 **它对一部分人失效，对另一部分人不失效。**只有做验证的解析器会拒绝你。你自己的监控如果不做验证，会报告网站完全健康，而互联网上越来越多的人却连不上它。 **它失效在你用来修东西的那一层。**远程访问、你的状态页面、你自己的邮件，可能全都在刚刚消失的那个名字下面。 这种恐惧是理性的，它曾让大型运营者下线，任何诚实地为 DNSSEC 辩护的人都必须正视它，而不是把它一挥而过。\n但注意它的形状：它是对一种你目前还没有的运维纪律的恐惧，而不是对这项技术的恐惧。\n未签名的失败安静地落在你的用户身上。配置错误的失败响亮地落在你身上 出错的两种方式，只有一种被人谈论 未签名 伪造的应答直接被相信。 没有日志。没有警报。 攻击者的 TTL 有多长，它就持续多长。 你的监控一直是绿的。 代价落在相信了这个应答的人 身上。不在你身上。 签了名，但坏了 域名直接消失。 按时钟失效，而不是因变更失效。 只对验证解析器失效，所以 你自己的检查可能看起来一切正常。 代价落在你身上，动静很大， 事故报告上写着你的名字。 这就是为什么第二种能写进商业论证，而第一种不能。 从来没被发现的攻击，永远不会有人为它挨骂。 未签名的失败是安静的，落在你的用户身上。配置错误的失败是响亮的，落在你身上 再注意每一列是谁在买单。一个被伪造的未签名区域让你的客户付出代价，悄无声息，而且永远没有人提交事故报告，因为永远没有人发现。一个过期的签名区域让你付出代价，立刻，当众，复盘报告上写着你的名字。两者都是失败。只有其中一个会出现在任何人的考核目标里。\n证书有过同样的问题，而且解决了两遍：先让失败变得可见，然后把它自动化。浏览器警告让一张过期证书成了所有人的问题，监控随之跟上，然后 Let\u0026rsquo;s Encrypt 让续期变成了凌晨三点由一个 cron 任务完成的事。这些都没有让证书在原理上变得更容易。它让忘掉证书变得更难。\n提供商支持值得花十分钟去查，而不是靠猜。有些注册商仍然把发布 DS 弄成一张工单。也有很多不是。\n而最后一个才是真正的答案，.bank 注册局在本文前面已经证明了这一点。DNSSEC 没有浏览器小锁。从来没有哪个客户因为一家银行的区域签了名而选它，没有审计员会因此给你判不合格，英国也没有任何通用法规要求它。它起作用时好处完全看不见，弄错的代价是一次写着你名字的宕机，而扛着那次宕机的人，不是会拿到功劳的那个人。\n在同样的机构面前摆上一项要求和一次年度检查，合规率就从 13% 变成每一家都签。在这两个数字之间，技术上什么都没变。预算、供应商、技能也什么都没变。唯一的变量是到底有没有人会去看。\n在这样的激励之下，令人意外的不是政府域名只有 1.63% 签了名。而是居然有三十九个签了。\n打开它，又不把自己弄下线 全部风险集中在一个地方，所以把力气花在那儿。签名过期是那种没人碰任何东西也会到来的失败，所以要对它告警：\ndig +dnssec damiendye.uk SOA | awk \u0026#39;/RRSIG/ {print \u0026#34;sig expires\u0026#34;, $9}\u0026#39; 像对待证书一样对待它。盯着日期，提前很久告警，并把续期自动化，让告警只是兜底，而不是工作流程。\n然后在一个清闲的时候打开它，先在一个不是你主域名的东西上开，放两周，再去开那个要紧的。如果你的 DNS 在托管平台上，签名本身很可能就是一个开关，唯一真正需要手动的一步是把 DS 提交给你的注册商。\n这和 IPv6 是同一种失败吗？ 这是显而易见的对比，所以我在同一天、同样的群体里把两个标准都测了。同样的组织，同样的人，两个决定。\n数量 DNSSEC 已签名 IPv6 可达 英国银行和建房互助协会 98 13.3% 36.7% Linux 和 BSD 发行版 96 19.8% 67.7% 每一个在用的 gov.uk 域名 2,380 1.6% 31.2% 难的迁移在赢简单的那个，三比一，十九比一 同样的组织，两个标准，同一天 DNSSEC 已签名 IPv6 可达 英国银行 测了 98 家 13.3% 36.7% Linux 和 BSD 测了 96 个 19.8% 67.7% 每个在用 gov.uk 2,380 个域名 1.6% 31.2% IPv6 牵涉每台路由器和主机。DNSSEC 是注册商那里的一条记录。 同样的组织，两个标准，同一天测量 在政府这里，在同样的域名上，领先了十九倍。\n现在好好想想哪个是哪个。IPv6 牵涉每一台路由器、每一台主机和每一个应用，还要求双栈并行跑上好几年。DNSSEC 签名是一个开关，外加在注册商那里贴一条记录。\n**在我看过的每一个地方，难得多的那件事都在赢简单的那件。**这就排除了那个让人舒服的解释，说基础设施标准就是这样，慢吞吞、不情不愿地推进。DNSSEC 不是推进得慢。它根本没在动。\n有一个区别是 DNSSEC 独有的。部署 IPv6，你会得到回报：可达性，不用去买运营商级 NAT。给你的区域签名，你个人什么也得不到。保护落在你的用户身上，而且只落在那些用了验证解析器的用户身上。你替一群你永远不会见到的人承担了一个永久的宕机风险，而这比本文里任何技术障碍都更难拿到董事会面前去讲。\n这个论点的 IPv6 那一半我在别处写过，这里不再重复。17\n是不是我们至今仍不懂 DNS？ 自 Mockapetris 在 1983年11月把它写下来，已经四十二年了。18 自根区签名，已经十六年了。\n我认为理解上的问题是真的，而且我认为它比“人们不知道 DNS 怎么工作”更具体。很多称职的工程师能把递归、委派和缓存讲得清清楚楚。缺的是再往前一步，而那一步才是要紧的。\n几乎没有人真正领会到 DNS 是一个授权系统。\n它被当成管道。一张查找表。一个把名字变成数字的东西，归管网络的人所有，在脑子里和 DHCP 放在一起。而这种框定以一种悄无声息的方式决定了很多事，所以它错得很要命，因为在实践中，DNS 应答决定了你的流量去哪台机器、你的更新从哪台服务器来、证书颁发机构认为哪台主机是你的。谁控制了这个应答，谁就控制了这三样。\n从谁签了名这个规律里，你就能看出这种误解。不是预算问题，也不是技能问题，一旦你把它们排起来，就很难把它读成别的东西，只能读成每一方认为 DNS 是什么的规律：\n谁签了名 DNS 对他们来说是什么 注册局和 TLD 运营者，100% 的 gTLD 产品本身 一个情报机构 一个攻击面，因为他们的威胁模型里有伪造 九个教区议会 他们的主机商提供的一个开关，有人拨了一下 一家 DNS 提供商自己的客户 他们继承下来的默认值 谁没签 银行、政府部门、厂商、CA 管道，比有意思的问题低一个层次 离 DNS 这个东西本身最近的人全都签了。把它当公用设施来消费的人，几乎无一例外都没签，不管他们资源多充足，也不管他们自认为多有安全意识。GCHQ 没签。九家证书颁发机构里有八家没签。这些组织既不缺聪明人，也不缺威胁模型。\n这也是为什么 2008 年对 Kaminsky 的回应是把猜测弄得更难，而不是把那个让猜测变得无关紧要的东西部署完。把猜测弄得更难是一种管道式修补，而业界就是把 DNS 归档在“管道”这一类的。\n一整代人把 DNS 当作目录来学，等它悄悄变成了决定你在跟谁说话的那个东西时，从来没有人去改过那条条目。\n我们把它造好了，然后就把它扔下了 注册局、运营者和制定标准的人做了难的部分。他们把它写出来，在 IETF 里争论了十年，在有见证人的仪式上给根签了名，并让 100% 的通用顶级域都签了名。这是一项真正的集体工程，而且它完工了。\n然后我们其余的人没有做自己那一份，因为我们那一份很无聊、看不见、个人承担全部风险却拿不到任何功劳，而且没人检查。\n这就是每一个没人强制执行的标准的形状：成本是独自承担的，而好处只有在足够多的其他人也承担了之后才会显现。于是注册局承担了，而那些发布指南、教别人去承担的人没有。\n只不过这里的活比它们几乎任何一个都小。链条已经造好了，钱也有人付了。剩下的只有一条记录。\n如果这只是我们能看到的那一部分 最后一个想法，我想说清楚它是推论而不是测量，因为本文其他的一切都是数出来的，而这个不是。\nDNSSEC 大概是最容易评估的安全控制了。它不花钱，活只要一个下午，标准二十年前就定了，而且**任何人都可以从外面用一条命令检查它，不需要请求许可。**不需要审计，不需要问卷，不需要保密协议。一条 dig。\n那么 1.6% 告诉了你什么，关于那些你从外面看不到的控制？\n控制项 外人能检查吗 要花钱吗 起作用时可见吗 你在注册商那里的一条 DS 记录 能，一条命令 不 不 关键账户上的 MFA 不能 要 不 今年恢复过的备份，而不只是做过的备份 不能 要 不 网络分段 不能 要 不 第一行下面的每一行都比给区域签名更难、要花真金白银、需要有人负责，而且都有着恰恰让 DNSSEC 沉没的那个属性：起作用时看不见，外面也没人检查。把第一行和其余几行区分开的唯一一点，就是你可以检查它，免费，针对任何人，现在就能。\n如果一个组织连那件免费的、一下午就能做完、陌生人一条命令就能验证的事都没做，我不倾向于认为它做了那些昂贵的、需要一整个项目、只有被他们放进门的人才能验证的事。\n那么，显而易见的做法是拿这个去对照入侵记录，我也试了。在 23 个有记录在案的重大事件的英国组织里，22 个没签名。\n**这个数字什么也证明不了，我也不打算假装它能。**在 1.6% 的基础比率下，23 个组织的名单里出现一个签了名的，恰恰就是随机所预测的。更糟的是，签了名的那一组是九个教区议会和三个国家公园，而没签名的那一组是每一个大部门和每一个大城市，所以规模同时决定了谁会被攻击、谁会上新闻。在这两组之间比较入侵率，测的会是组织有多大，而不是它签没签名。\n所以不，我没法向你证明签了名的组织被入侵得更少。谁都没法，至少用任何人都能拿到的数据不行，谁要是跟你说他能，那是在逗你。\n被攻击过的组织把失败之处写了下来 你不需要我的推论，因为他们自己发表了，而失败的正是上面那张表里的东西。\nBritish Library 是其中最好的，因为他们在 2023 年的勒索软件攻击之后，自愿而详细地把它写了下来。他们自己的复盘点出了原因：入口很可能是一台终端服务服务器上的一个第三方账户，没有多因素认证，然后是遗留基础设施和有限的网络分段让攻击者在整片资产里横向移动，而第三方访问日益增长的复杂性早在 2022 年就在内部被标记为风险，一年后仍然在那里。19 ICO 得出了同样的结论。20\n也就是说，上面那张表的三行，由这个组织自己从内部证实了，而不是由我从外面推断出来的。\n而在有人拿这个当棍子之前，British Library 应该得到的恰恰相反，我要明明白白地说为什么。\n**他们是公开的。几乎没有别人这样做。**他们没有任何义务写下一个字。出事之后的标准剧本是：法律允许说多少就只说多少，经过公关团队过一遍，拒绝确认任何具体内容，然后等新闻周期过去。上面未签名那几列里的大多数组织轮到自己时就是这么做的，而这一节之所以能写出来，全靠一家机构决定换一种做法。\n他们反而公开发表了一份十八页的复盘，点名自己的失败，好让别的机构能从中学习。这正是你希望本文里每一个组织都有的行为，而几乎没有一个有。我之所以能告诉你一个被入侵的组织内部到底是什么失败了，是因为 British Library 选择了告诉你。\n其余的人保持沉默还有第二个原因，比公关策略更糟。他们有些已经不在了。\nKNP Logistics 自 1865 年起就以 Knights of Old 的名义运货。2023年6月，Akira 团伙进来了，加密了公司，要了大约五百万英镑。到 9 月，这个集团破产了，730 人丢了工作。21 一百五十八年，十四周就没了，那里不会有人给你写什么经验教训。\n所以当上面那些未签名的列看起来很安静时，这份安静由三种不同的东西组成：还没被攻击的组织，被攻击了、法律允许说多少就只说多少的组织，以及被攻击了、已经不在了的组织。只有第一种还有时间行动。\n这就让下面这一点成了对我自己论点的诚实检验，而不是一记廉价的冷拳。我查了他们的区域：\n$ dig +short bl.uk DS (nothing) $ dig +short bl.uk DNSKEY (nothing) bl.uk 没签名。britishlibrary.co.uk 也没有。在一场让这家机构停摆了几个月的勒索软件攻击两年之后，在一次公开复盘之后，在 ICO 的一纸结论之后，在任何组织所能得到的最彻底的一轮安全关注之后，那个免费的、一下午就能做完、陌生人一条命令就能验证的控制，仍然没有做。\n我不把这读成疏忽，也不认为这让他们比那些什么都没发表的未签名组织更差。我把它读成本文中最有力的证据，证明这整件事一直在说的是什么。如果 DNSSEC 在这里都没被做，在一个经历过大火、写下了教训、让监管机构从头到尾查过一遍的组织里都没被做，那它被跳过就不是因为人们粗心。它被跳过，是因为从来没有任何东西、任何人把它放进清单。\n这才是这个论点的诚实版本。不是未签名的区域导致入侵，那无法证明，而且大概是错的。而是：那些外面没人能看到的控制，根据亲历过的组织自己发表的证据，跟那个外面所有人都能看到的控制一样被忽视。DNSSEC 不是原因。它是你被允许抽取的那份样本。\n这就是为什么这个测量值得去做。不是因为一个未签名的区域本身就是世界末日，而是因为它是极少数外人能够诚实地、免费地、针对任何人、不用被放进门就能检查的安全属性之一。把它当作烟雾报警器而不是判决书，然后去向触发它的人问那些更难的问题。\n你唯一能控制的部分 这就剩下我们任何人真正能控制的唯一部分了。你自己的区域。不是 NCSC 的，不是 Microsoft 的，不是你银行的。\n去问问你的父区域，它是否为你担保：\ndig +short yourdomain.uk DS 如果返回是空的，你就没签名，而在 2026 年大多数托管 DNS 上，修复办法是一个开关，再加上在注册商那里的一条 DS 记录。打开它，然后像你已经在盯着证书那样盯着到期日，因为这整件事真正需要的就是这份纪律。\n活就这么多。一条记录，再在你的监控里加一个日期。\n所以拜托，至少把这一件做了。不是因为监管要来了，因为对你们大多数人来说它不会来，也不是因为会有人感谢你，因为不会有。做它，是因为没有人会来，而一个在没人检查时你仍然坚守的标准，才是唯一一种曾经有过价值的标准。\n三十九个教区文书和一个特工都做到了。打起精神来，把它办了。\nRFC 4033 — “DNS Security Introduction and Requirements”，Arends 等，2005年3月。现行的 DNSSEC 规范，与 RFC 4034 和 RFC 4035 并列。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIANA root trust anchors — IANA 发布的 XML。第一个密钥摘要带有 validFrom=\u0026quot;2010-07-15\u0026quot;，即根区签名的日期；当前的 KSK，密钥标签 20326，带有 validFrom=\u0026quot;2017-02-02\u0026quot;。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCERT VU#800113 — “Multiple DNS implementations vulnerable to cache poisoning”，2008 年覆盖 Kaminsky 技术的公告，也是协调推行源端口随机化这一回应的出处。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe root zone file — 2026年9月27日拉取，SOA 序列号 2026092701。本文的计数来自直接解析该文件中的 NS 委派和 DS 记录。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nList of gov.uk domain names — 政府自己的登记册。最新发布的文件日期为 2016年10月1日，列出 3,004 个二级域名。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Response Center — Flame malware collision attack explained — “An attacker took advantage of the Terminal Services licensing system\u0026rsquo;s enrollment process for certificates that chained up to the Microsoft Root Authority which did not require internal access to Microsoft PKI”；伪造的证书 “could be used to sign code that chained up to the Microsoft Root Authority and worked on all versions of Windows”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSentinelOne — Driving Through Defenses: targeted attacks leverage signed malicious Microsoft drivers，以及 Bitdefender\u0026rsquo;s FiveSys analysis — 通过 Windows 硬件兼容性计划、带有 Microsoft 直接签发签名的恶意内核驱动，包括后来被用于勒索软件攻击的驱动。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Response Center — Results of major technical investigations for Storm-0558 key acquisition — 一把消费者签名密钥因竞争条件泄漏进崩溃转储，在一名工程师的公司账户被攻陷后被取走，并被用来伪造令牌，邮件系统错误地对企业账户接受了这些令牌。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfTLD Registry Services security requirements — .bank 和 .insurance 的注册局。“.BANK domain names must be signed with DNSSEC with strong cryptographic algorithms”，同时强制 TLS 和电子邮件身份验证，每个注册人每年重新核验。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple, WWDC 2022 session 10079, \u0026ldquo;Improve DNS security for apps and servers\u0026rdquo; — “iOS 16 and macOS Ventura now support client side DNSSEC validation”，通过在 URLSessionConfiguration、URLRequest 或 NWParameters 上设置 requiresDNSSECValidation，按会话或按请求开启。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Understanding DNSSEC in Windows — Windows DNS 客户端 “is non-validating, which means it does not perform DNSSEC validation and relies on its local DNS servers”；对 AD 位的期望由名称解析策略表驱动，并且与 DNS 服务器之间 “IPsec is used to establish this trust relationship”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nResolved: The Resolver You Are Already Running — systemd-resolved 的实测状态，包括为什么每个主流发行版在编译时都设成 DNSSEC=no，以及怎么改。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMS-ADTS: DNS-Based Discovery — 定位域控制器的 Active Directory 协议规范，包括客户端为查找某个命名上下文的控制器而发出的 _ldap._tcp.dc._msdcs SRV 查询。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Sign DNS zones with DNSSEC on Windows Server 和 What is DNSSEC on DNS Server in Windows Server? — 区域签名在 Windows Server 2008 R2 中出现，但不允许动态更新，Windows Server 2012 加入了动态区域的在线签名。对于 Active Directory 集成区域，私有签名密钥通过 Active Directory 复制传到其他主 DNS 服务器。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5)，Fedora 44 中发布的 systemd 259.9 — 手册推荐 allow-downgrade，在上游解析器可靠的系统上推荐 true，而 /usr/lib/systemd/resolved.conf 中打包的默认值是 DNSSEC=no。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd meson_options.txt — option('default-dnssec', type : 'combo', choices : ['yes', 'allow-downgrade', 'no'], value : 'allow-downgrade')。上游选定的默认值是 allow-downgrade；Fedora 厂商文件里的 #DNSSEC=no 是该构建改设的值。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWe Never Ran Out Of Addresses — 这个论点的 IPv6 版本，包括 463 个持有 IPv6 分配却根本不宣告任何 IPv6 的英国组织，以及 CGNAT 有采购单、而把事情做对却没有采购单这一点。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 882 — “Domain Names: Concepts and Facilities”，P. Mockapetris，1983年11月。最初的规范，1987 年被 RFC 1034 和 RFC 1035 取代。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBritish Library, \u0026ldquo;Learning Lessons from the Cyber-Attack\u0026rdquo;，2024年3月8日 — 该图书馆对 2023年10月勒索软件攻击的自我复盘，点名了用于入侵的账户缺少多因素认证、遗留基础设施、有限的网络分段，以及 2022 年就被记录为风险的第三方访问复杂性。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICO statement on the British Library\u0026rsquo;s 2023 ransomware attack，2025年4月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Record — UK logistics firm blames ransomware attack for insolvency, 730 redundancies — KNP Logistics Group，有 158 年历史的 Knights of Old 的母公司，2023年6月在一名员工的密码被暴力破解、且没有部署多因素认证之后遭 Akira 攻击，9 月破产。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/dns/dnssec-the-root-is-signed-you-are-not/","summary":"DNSSEC 最难的部分多年前就已经完成了。2026年9月27日从实时根区数出来，1,438 个顶级域中有 1,351 个带 DS 记录，1,038 个 gTLD 全部签名。然后戛然而止。对官方登记册里每一个 gov.uk 域名做的普查发现，仍在解析的 2,390 个里只有 39 个签了名，其中 9 个是教区议会，而 HMRC、NHS、GCHQ 和国家网络安全中心都不在其中。九家证书颁发机构里只有一家签了名。五个 Linux 或 BSD 发行版里也只有一个。windowsupdate.com 根本没有 DS。本文讲一个伪造的应答到底让你付出什么代价、签名对此能做什么、为什么那些常见借口一碰到数字就站不住，以及在 Mockapetris 之后四十二年，真正的问题是不是几乎没人理解 DNS 究竟承诺了什么。","title":"DNSSEC：保护你的流量不被伪造"},{"content":"此刻你的机器上就运行着一个 DNS 解析器。它不是你装的，你多半从没配置过它，而它在回答这台机器发出的每一次名字查询。在 Fedora、Ubuntu 和大多数桌面 Linux 上，它就是 systemd-resolved，从系统装好那天起就一声不响地待在那儿。\n它能做三件值得拥有的事。它会缓存，同一个查询不用两次跨过网络。它能验证 DNSSEC，伪造的应答会被拒绝，而不是被相信。它还会说 DNS over TLS，本地网络就没法读到你查询的每一个名字。\n默认情况下，它只做其中一件。另外两件是关掉的，而且在某些发行版上是在编译时关掉的，也就是说你会去改的那个设置，根本不是决定这件事的那个设置。一个从不验证的验证器，中看不中用。\n本文讲的是这东西实际上做了什么，在一台运行 systemd 259 的 Fedora 44 上实测，以及打开另外两件之后会发生什么变化。包括你的发行版在编译时替你做了什么决定，以及其中有多少你可以直接推翻。\n到底是什么在回答你的查询 先把真实情况摆出来，因为在这些系统上，“它用的是 /etc/resolv.conf”这句话好些年前就不成立了。\nsystemd-resolved 以四种不同的方式对外提供服务，程序走哪一种，决定了它拿回来什么。1 glibc 那条路是 nss-resolve，通过 /etc/nsswitch.conf 接进来。原生的路是 D-Bus 和 Varlink，它们带着 DNSSEC 判定和接口作用域，这些是 getaddrinfo 根本没法表达的。然后是存根监听器，一个真正跑在环回地址上的 DNS 服务器，给那些只会说原始 DNS、对上面这些一无所知的东西用。\n四扇门，一个守护进程。\n在这台机器上，接线是这样的：\n$ ls -l /etc/resolv.conf lrwxrwxrwx. 1 root root 39 May 30 13:56 /etc/resolv.conf -\u0026gt; ../run/systemd/resolve/stub-resolv.conf $ cat /etc/resolv.conf nameserver 127.0.0.53 options edns0 trust-ad search damiendye.uk $ grep ^hosts: /etc/nsswitch.conf hosts: files myhostname mdns4_minimal [NOTFOUND=return] resolve [!UNAVAIL=return] dns 那一行里的 resolve 就是 nss-resolve。它后面的 dns 是传统的 nss-dns，作为后备待在那儿，只有在 resolved 根本没运行时才会起作用。\n四个入口，一个守护进程，任何东西离开这台机器之前先做一次路由决定 程序如何发起查询 守护进程做什么 去往哪里 nss-resolve glibc，没有判定 D-Bus, Varlink 原生，完整判定 127.0.0.53 完整存根 127.0.0.54 代理存根 systemd-resolved 1. hosts 与合成记录 2. 缓存 3. DNSSEC 验证器 4. 路由 5. 传输 代理存根跳过 2 和 3 5355 上的 LLMNR 上游 DNS 四个入口，一个守护进程，任何东西离开这台机器之前先做一次路由决定 存根监听器有两个，不是一个 人人都知道 127.0.0.53。知道还有第二个的人就少多了。\n$ ss -lntup | grep \u0026#39;:53 \u0026#39; udp UNCONN 0 0 127.0.0.54:53 0.0.0.0:* udp UNCONN 0 0 127.0.0.53%lo:53 0.0.0.0:* tcp LISTEN 0 4096 127.0.0.54:53 0.0.0.0:* tcp LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:* 它们不是同一个东西的两个地址。第二个是故意少做事的：2\n127.0.0.53 127.0.0.54 角色 完整的本地解析器 仅代理模式 缓存 有 无 DNSSEC 验证 有，开启时 从不 LLMNR 和 Multicast DNS 有 无 合成名字（localhost、_gateway） 有 无 升级到 DNS over TLS 有 有 它自己的合成名字 _localdnsstub _localdnsproxy 你拿回来的是 resolved 的决定 上游说了什么 文档对第二列说得很直白。它会“pass most DNS messages relatively unmodified to the current upstream DNS servers and back, but not try to process the messages locally, and hence does not validate DNSSEC, or offer up LLMNR/MulticastDNS”。2\n所以，对于想自己做验证的程序，或者需要上游原始应答而不是 resolved 对它的解读的程序，127.0.0.54 才是正确的目标。\n两个地址都有合成名字，_localdnsstub 和 _localdnsproxy，不需要任何配置就能解析。\n/etc/resolv.conf 有四种模式，不是三种 模式是根据这个文件是什么自动检测的，一共有四种。1\n/etc/resolv.conf 是 含义 绕过 NSS 的客户端 指向 run/systemd/resolve/stub-resolv.conf 的符号链接 推荐模式。列出 127.0.0.53 和当前的搜索域 经过 resolved 指向 /usr/lib/systemd/resolv.conf 的符号链接 静态，列出 127.0.0.53，不带搜索域 经过 resolved 指向 run/systemd/resolve/resolv.conf 的符号链接 列出真正的上游服务器，保持更新 完全绕过 resolved 由别的东西管理的真实文件 resolved 作为使用者读取它，而不是提供者 完全绕过 resolved 第三行最容易让人栽跟头。它看起来是最整洁的选项，内容也保持最新，可它悄悄意味着：每一个直接读 resolv.conf 的程序都在跟你 ISP 的解析器说话，没有缓存，没有验证，没有加密，不管你在 resolved.conf 里配了什么。\n上面那个文件里的 trust-ad 选项也很要紧。没有它，glibc 会在你的程序看到应答之前把 AD 位剥掉，理由很合理：随便一个解析器声称自己验证过什么，一文不值。而当 nameserver 是 127.0.0.53 时，这个声明来自你自己的机器，所以这里用 trust-ad 是对的，resolved 也会替你写进去。\n关于 systemd 的阴谋论 在讲任何细节之前先说这个，因为一碰到这个话题它总会冒出来。\n如果你对下文的反对意见，是一套关于 Lennart Poettering 本人的理论，或者关于 Red Hat 的动机，或者认为 systemd 是要从你手里拿走什么东西的阴谋，那你可以走人了，因为我没兴趣听你编的故事。\n本文的一切都来自一台在运行的机器：源代码、编译参数、出厂的二进制文件、man 手册和实测的行为。每一条说法旁边都有一条命令，你可以自己跑一遍去核对。编译参数是公开的。源代码是公开的。我认为真正错了的那一个默认值，是由一群把理由写下来、任何人都能读、都能去跟他们争论的人选定的，而这正是我在后文做的事。\n这比你每天一声不吭地运行的大多数软件透明得多。\n拿证据来，要么就别说了。\n缓存是那个开箱即用的部分 这是唯一一个在所有地方都默认开启的功能，也是唯一一个不用任何配置就值回票价的功能。\n在这台机器上，对 32 个域名实测。清空缓存，把它们全查一遍，再查一遍，读取 dig 报告的查询时间，而不是给整个进程计时：\n$ resolvectl flush-caches $ for n in $NAMES; do dig +tries=1 @127.0.0.53 \u0026#34;$n\u0026#34; A | grep \u0026#39;Query time\u0026#39;; done 中位数 平均值 p90 最大值 32 个名字合计 冷缓存 103.5 ms 106.7 ms 184 ms 238 ms 3,414 ms 热缓存 0.0 ms 0.5 ms 1 ms 3 ms 16 ms 3,414 毫秒对 16 毫秒。本地缓存的全部理由就在这里，这也是它被设为默认的原因。\n不过，这个数字到底是什么，得说老实话。它是三十二个从没查过的名字跑一遍，和同样一遍重跑之间的差，而真实的负载哪一种都不像。有用的数字是尾部而不是中位数：这组里最慢的一次查询，冷的时候花了 238 ms，热的时候 3 ms。一个要拉八个主机名的页面不在乎你的中位数，它等的是你最慢的那一个。\n那些旋钮 [Resolve] Cache=yes # yes | no-negative | no CacheFromLocalhost=no # default: do not cache answers from 127.0.0.1 StaleRetentionSec=0 # serve expired records when upstream is down 设置 默认 作用 Cache=yes 开 缓存肯定和否定应答 Cache=no-negative 只缓存肯定应答，适合你等否定 TTL 等烦了的时候 CacheFromLocalhost=no 开 上游在 127.0.0.1 时完全不缓存 StaleRetentionSec=0 关 上游不再应答时，提供已过期的记录 DNSCacheSize=4096 4096 每个作用域保存的记录数。仅限 systemd 261 及以后 第三行是会咬人的那个。如果你的上游是跑在环回上的 dnsmasq 或 unbound，resolved 根本不会缓存它的应答，理由是它在跟一个本身就是缓存的东西说话。把 resolved 指向另一台主机上的过滤解析器，你得到两层缓存。指向环回上的，你只得到一层。\nStaleRetentionSec= 是有意思的那个，它默认是关的。设置它之后，当上游不再应答，resolved 会继续提供已经过了 TTL 的记录，而不是直接失败。2 它总是先试上游。它不适用于 NXDOMAIN，因为一个名字不存在本身就是完全合法的应答，没啥过期不过期的。对于一台时而有信号时而没有的笔记本，或者一台必须在 DNS 故障期间照常工作的机器，这值得开：\n[Resolve] StaleRetentionSec=1d systemd 261 在此之上加了按协议划分的缓存大小，即 DNSCacheSize=、MulticastDNSCacheSize= 和 LLMNRCacheSize=，每个默认 4096 条记录，上限 2^24。3 这台机器上没有，它跑的是 259，当前任何一个稳定发行版也都没有。值得知道它要来了，因为在此之前缓存大小根本没法调。\n内存紧张时守护进程还会把缓存全部清空，这很合理，偶尔也会让人意外，比如你正在琢磨为什么缓存命中率看起来这么差。\n分离式 DNS 是留着它的理由 如果你只从本文带走一样东西，就带走这一节，因为这是它真正做到了老式存根解析器做不到的事的那个功能。\n传统的 resolv.conf 只有一份 nameserver 列表，整台机器共用。就一份。连上 VPN，就得有什么东西去改写它，结果要么你的内部名字能用、其余 DNS 全走公司的解析器，要么反过来。没有第三种选择。这个文件根本表达不出第三种。\nresolved 按查询、按接口做路由。1 每条链路都有自己的服务器和自己的域，一次查询会按标签数发给域名与之最匹配的那条链路。\n配置 写法 效果 搜索域 damiendye.uk 作为单标签名字的后缀，并且把匹配的查询路由到这条链路 仅路由域 ~internal.example 把匹配的查询路由到这条链路，从不当作后缀 兜底路由 ~. 别处没匹配上的一律发到这条链路 默认路由 DNSDefaultRoute=yes 接收没匹配上的查询，但不占用 ~. 所以一台连着公司 VPN 的笔记本是这样的：\nresolvectl domain tun0 \u0026#39;~corp.example\u0026#39; \u0026#39;~10.in-addr.arpa\u0026#39; resolvectl dns tun0 10.0.0.53 corp.example 下面的名字和 10.0.0.0/8 的反向查询走隧道。其余的照旧从本地链路出去。谁的 resolv.conf 都没被改写，隧道断开时这些路由也跟着一起消失。\n一次查询，两条链路，按标签数做出的路由决定 查询 决定 链路 db01.corp.example 14.0.10.in-addr.arpa blogs.damiendye.uk 标签最多者胜 每条链路都有自己的 服务器和域。 tun0 ~corp.example wlp4s0 DefaultRoute 带波浪号只做路由。不带波浪号还会给单标签名字加后缀。 一次查询，两条链路，按标签数做出的路由决定 有一条规则值得说清楚，因为大家总是伸手就用、然后用错。链路上的 ~. 意思是所有东西都优先走这条链路。它还隐含地让其他链路都不能再当默认路由。想让一条链路接住剩下的、又不占用整个命名空间？设 DNSDefaultRoute=yes，别碰 ~.。\n去查它实际做了什么决定，别靠猜：\n$ resolvectl status Link 3 (wlp4s0) Current Scopes: DNS LLMNR/IPv4 LLMNR/IPv6 Protocols: +DefaultRoute LLMNR=resolve -mDNS -DNSOverTLS DNSSEC=no/unsupported Current DNS Server: 192.0.2.53 DNS Servers: 192.0.2.53 2001:db8:1::53 DNS Domain: damiendye.uk Default Route: yes 本文里的每一个地址都来自文档专用地址段 192.0.2.0/24 和 2001:db8::/32，所以别把它们贴进配置里还指望有应答。4 5 数字和行为是真的，来自一台在运行的机器。地址是替身，因为按常规方式生成的全局 IPv6 地址，后半截带着接口的 MAC，公开一个地址就等于顺手送出了一份硬件清单。\n那个 -DNSOverTLS 和那个 DNSSEC=no，就是接下来两节的内容。\n它能验证 DNSSEC 上游把这个守护进程描述为“a caching and validating DNS/DNSSEC stub resolver”。1 验证这一半是真的，不是套在别的东西外面的壳，而且能用。只是没打开。\n按链路打开它不需要 sudo，因为 resolvectl 走 polkit，活动的本地会话是被允许的：\n$ resolvectl dnssec wlp4s0 yes $ resolvectl status wlp4s0 | grep DNSSEC DNSSEC=yes/supported 那个 /supported 后缀，是 resolved 在探测上游后报告它发现了什么，和你要求了什么分开显示。yes/supported 表示你要求了验证，服务器也能承载。默认安装上的 no/unsupported 表示没人要求，所以也没人去探测。\n一旦打开，每次查询回来都带一个判定，判定一共有三种。\nsecure、insecure 和 bogus 是三种不同的应答 父区域是否发布了 DS，签名能否验证？ SECURE damiendye.uk 已签名， 链也验证通过。 返回数据。 INSECURE systemd.io 没有 DS。没签名， 所以没什么可查。 返回数据。 BOGUS dnssec-failed.org 声称自己签了名。 证明失败。 拒绝查询。 三种里有两种返回数据。打开验证不会让没签名的网站无法使用。 secure、insecure 和 bogus 是三种不同的应答，只有其中一种是失败 下面是这台机器上对真实名字得到的全部三种：\n$ resolvectl query damiendye.uk -- Data is authenticated: yes; Data was acquired via local or encrypted transport: no $ resolvectl query systemd.io -- Data is authenticated: no; Data was acquired via local or encrypted transport: no $ resolvectl query dnssec-failed.org dnssec-failed.org: resolve call failed: DNSSEC validation failed: missing-key (DNSKEY Missing: no SEP matching the DS found for dnssec-failed.org.) damiendye.uk 签了名，所以从根开始的链验证通过，数据是经过认证的。systemd.io 没签名，所以没什么可检查的，resolved 老老实实这么说，而不是假装。那是 systemd 项目自己的域名，这一点我后面还会回来讲。dnssec-failed.org 是故意发布了坏签名的。它失败得很彻底，诊断信息直接点出确切的问题。\n这里有一个总被弄丢的区别。insecure 不是失败。 一个没签名的区域照样返回数据，并告诉你它没法被验证。只有一个声称自己签了名、却又证明不了的区域才会被拒绝。\n想看的话，链本身也是看得见的：\n$ dig +short @127.0.0.53 uk DS 43876 8 2 A107ED2AC1BD14D924173BC7E827A1... $ dig +short @127.0.0.53 damiendye.uk DS 2371 13 2 A5B2825C57899A5A15EE9703832C8358E0D19EF29DC72DD83C691ED77C33BD7F $ dig +short @127.0.0.53 damiendye.uk DNSKEY 256 3 13 oJMRESz5E4gYzS/q6XDrvU1qMPYIjCWz... 257 3 13 mdsswUyr3DPW132mOi8V9xESWE8jTo0d... 根为 uk 担保，uk 为 damiendye.uk 担保，257 密钥给 256 密钥签名，256 密钥再给记录签名。这里的算法 13 是 ECDSA P-256，新区域就该用它，而不是上面 uk 的 DS 还在用的 RSA。\n通过普通的存根，一个从没听说过 resolved 的程序也能以 AD 标志的形式拿到同样的判定：\n$ dig @127.0.0.53 ietf.org A | grep flags ;; flags: qr rd ra ad; $ dig @127.0.0.53 dnssec-failed.org A | grep status ;; -\u0026gt;\u0026gt;HEADER\u0026lt;\u0026lt;- status: SERVFAIL 守护进程还会持续计数，这是看验证到底有没有在干活的最快办法：\n$ resolvectl statistics DNSSEC Verdicts Secure: 134 Insecure: 62 Bogus: 0 Indeterminate: 2 验证要付出什么代价 这里我要让你失望了，因为我试着认真测量，却没测出来。\n热缓存时，干净利落，等于没有。同样 32 个名字，在满缓存下不验证花 16 ms，验证花 23 ms。算个舍入误差吧。\n冷缓存才是代价该显现的地方，而单个客户端没法把它分离出来。我两种顺序各跑了一遍，得到互相矛盾的答案：一种顺序下验证看起来慢了 74%，另一种顺序下它看起来反而更快，这是不可能的，也说明了真正被测量的是什么。哪一轮排在后面，哪一轮就沾了上游解析器的光，因为第一轮要的东西上游已经全取过了。起决定作用的变量不是验证，而是谁的缓存是热的。\n所以我不会给你一个我自己都站不住脚的数字。真实的是机制，而文档把它的样子说得很清楚：验证“requires retrieval of additional DNS data, and thus results in a small DNS lookup time penalty”。2 一次冷的、经过验证的查询，在能回答之前要沿着委派链往下走，每一层都去取 DS 和 DNSKEY，所以对还没人问过的名字，它要多花几个往返；对已经有人问过的名字，一点也不多花。\n这也是为什么同一页文档警告说，关掉缓存“comes at a performance penalty, which is particularly high when DNSSEC is used”。2 这两个功能不是互相独立的。验证之所以负担得起，恰恰因为有缓存，你只付一次钱。\n如果你想要自己网络上的真实数字，就在那里测。一个客户端、一条连接，告诉不了你。\n那为什么验证是关着的 因为你的发行版在构建软件包时把它关掉了，而且它这么做的理由是写下来了的。\n上游 systemd 出厂时验证是开着的。构建选项就是这么写的：\noption(\u0026#39;default-dnssec\u0026#39;, type : \u0026#39;combo\u0026#39;, choices : [\u0026#39;yes\u0026#39;, \u0026#39;allow-downgrade\u0026#39;, \u0026#39;no\u0026#39;], value : \u0026#39;allow-downgrade\u0026#39;) 上游手册也这么说：DNSSEC=“Defaults to allow-downgrade”。6\n再看 Fedora 给这次构建传了什么：7\n-Ddefault-dnssec=no -Ddefault-dns-over-tls=no -Ddefault-mdns=no -Ddefault-llmnr=resolve 以及 Debian 和 Ubuntu 传了什么：8\n-Ddefault-dnssec=no -Ddefault-llmnr=no -Ddefault-mdns=no -Ddns-over-tls=openssl 所以，Fedora 机器上 /usr/lib/systemd/resolved.conf 这个文件，标题写着“Entries in this file show the compile time defaults”的那个，里面是 #DNSSEC=no。再读一遍，因为它干了件挺狡猾的事：这一行看上去是软件在告诉你它自己的默认值，可它实际回显给你的是 Fedora 的构建参数，上游真正的默认值在这一页上根本找不到。\n设置 上游默认 Fedora 构建 Debian/Ubuntu 构建 这台机器上的结果 DNSSEC= allow-downgrade no no DNSSEC=no DNSOverTLS= no no no（用 OpenSSL 编译） -DNSOverTLS MulticastDNS= yes no no -mDNS LLMNR= yes resolve no LLMNR=resolve 每一项都和这台机器上 resolvectl status 打印出来的一致。源代码、构建参数、运行中的系统，三者对得上。\nFedora 的理由写在变更提案里，直白得让人耳目一新。这个功能“is known to cause compatibility problems with certain network access points”，而 Fedora“is not prepared to handle an influx of DNSSEC-related bug reports”，所以就关了。9\n我能问一下吗：一个在糟糕网络上会出问题的功能，为什么对策是给所有人都禁用，而不是像上游那样出厂用 allow-downgrade，让它在必须的地方自己关掉？我不是问谁做的决定。我问的是流程里什么东西导向了这个结果。因为 allow-downgrade 恰恰就是为强制门户这种情况而存在的，上游把它设为默认正是这个原因，而出厂改成 no，就意味着一台在完全正常的网络上的机器也得不到任何验证。\n说句公道话，allow-downgrade 也有它自己的问题，而且是真问题。这个模式会检测到一个不支持 DNSSEC 的解析器，然后悄悄停止验证。一个能操纵你 DNS 应答的攻击者，可以故意触发这个检测，文档说得很明白：它“makes DNSSEC validation vulnerable to \u0026lsquo;downgrade\u0026rsquo; attacks”。2 一个任何攻击者都能关掉的安全功能，起的作用比看上去小。\n所以两个默认值都不好。no 什么也不给你。allow-downgrade 给你的东西，攻击者能拿走；yes 给你真东西，外加下一节里的所有问题。\n网上到底有多少内容签了名 在验证上花大力气之前，值得先知道它最多能保护你多大比例的查询。所以我让 resolved 对三十二个域名的顶点给出判定，这些都是这个话题真正牵涉到的：写标准的机构、出厂这个解析器的公司，以及每个人不管愿不愿意都会去解析的基础设施。\n三十二个里有十六个。一半。\n已签名 未签名 标准与注册机构 ietf.org、iana.org、icann.org、rfc-editor.org、ripe.net、isc.org、nlnetlabs.nl、nic.cz、afnic.fr、verisign.com 无 发行版与厂商 debian.org、fedoraproject.org、opensuse.org、almalinux.org redhat.com、ubuntu.com、canonical.com、suse.com、rockylinux.org、archlinux.org systemd 自己 无 systemd.io、freedesktop.org 基础设施 cloudflare.com、gov.uk github.com、kernel.org、google.com、wikipedia.org、mozilla.org、apache.org、gnu.org、quad9.net 顺着第一列往下读。每一个标准机构和注册机构都签了名。 十个里十个，没有例外：写 DNSSEC 的人，以及运营那些为所有其他人发布 DS 记录的注册局的人。他们在自己的区域上把活干了。\n再横着读第三行。systemd.io 没有 DS。写出本文通篇所讲的这个验证解析器的项目，没给自己的域名签名，存放它文档的 freedesktop.org 也没签。再往下，quad9.net 也没签名，这一点值得停下来想一想：一个公共解析器，整套卖点就是替你验证 DNSSEC，它自己的区域却没人能验证。\n厂商则沿着一条线干净利落地分成两边。社区发行版签了。debian.org、fedoraproject.org、opensuse.org、almalinux.org。公司没签。redhat.com、ubuntu.com、canonical.com、suse.com。正是这四家机构，把这个解析器打包、出厂给了绝大部分 Linux 机器。\n这里没有技术上的缺口。这个协议能部署已经超过十五年，工具是免费的，注册局收 DS 记录也不收钱。我白送你一句：写标准的人签了，出厂软件的人大多没签。\ngov.uk 上还有一个更尖锐的版本，它是签了名的，然后干了这个：\n$ dig +short @127.0.0.53 www.gov.uk CNAME www-cdn.production.govuk.service.gov.uk. $ dig +short @127.0.0.53 service.gov.uk DS (nothing) uk 有 DS。gov.uk 有 DS。service.gov.uk 没有，所以链在那儿就断了，www.gov.uk 解析出来是 insecure，尽管它上面的顶点签得好好的。有人在 gov.uk 上把活干了，然后把真正的网站指向了一个没签名的委派。半拉子工程。\n因此，如果你在给一个区域签名，去检查人们真正输入的那些名字。一个签了名的顶点，CNAME 到一个没签名的 CDN 区域里，等于啥也没买到。\nDNS over TLS 能用，但有条件 DNS over TLS 已经实现，编译进了每一个主流构建，而且能用。它在所有地方默认都是关的，包括上游，DNSOverTLS=“Defaults to no”。6\n配置只有两行，第二行是大家漏掉的那一行：\n[Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=yes 那个 #dns.quad9.net 不是装饰。它设定了用于 SNI 和验证证书的名字。不写它，证书就会改为“checked against the server\u0026rsquo;s IP”。2 这对大服务商行得通，因为他们把 IP 地址放进了证书的 SAN 里，但这是较弱的检查，服务商哪天不这么做了它就失效，而且如果你被重定向到另一个恰好持有它自己有效证书的地址，它保护不了你。Fedora 自家杂志上讲这个的文章就漏掉了主机名，10 挺可惜的，因为语法就明明白白写在出厂配置文件的注释里。\n严格模式和机会模式是截然不同的设置 模式 服务器支持 DoT 时 服务器不支持时 认证服务器 yes 加密 所有查询失败 是 opportunistic 加密 悄悄退回明文 否 no 明文 明文 不适用 opportunistic 读起来像个合理的折中，其实大多不是。文档直说了：在这个模式下“the resolver is not capable of authenticating the server, so it is vulnerable to \u0026lsquo;man-in-the-middle\u0026rsquo; attacks”，2 任何能丢弃你 853 端口流量的人都能强制降级。在没人动手脚的网络上，它能挡住被动窥探。碰上真有人动手脚，它屁用没有。\nyes 才是老实的设置。它也意味着连不上的时候，你连一点 DNS 都没有，在把它装到一台你没法走过去碰的机器上之前，值得知道这一点。\n我在这台机器上试了指向 Quad9 的严格 DoT，查询就挂在那儿。没有报错，没有超时，从清缓存到两分钟后我把它改回去，日志里什么都没有：\nSep 27 17:12:11 systemd-resolved[40105]: wlp4s0: Bus client set DNS server list to: 9.9.9.9#dns.quad9.net, ... Sep 27 17:12:14 systemd-resolved[40105]: wlp4s0: Bus client set DNSOverTLS setting: yes Sep 27 17:12:15 systemd-resolved[40105]: Flushed all caches. Sep 27 17:14:39 systemd-resolved[40105]: wlp4s0: Bus client set DNS server list to: 192.0.2.53, ... 我没法从这里告诉你那条连接上 853 端口通不通，因为我做测试用的那个 shell 连 443 端口都到不了，显然它自己就被过滤了。日志确实显示的是失败的方式：连不上的严格 DoT 不会报告任何有用的东西。它只是等。如果你打开它之后 DNS 没了声音，先查 ss -tn dport = :853，再去看 resolved。\n正确地测试它 # does the transport actually come up resolvectl flush-caches resolvectl query ietf.org # expect: acquired via ... encrypted transport: yes # is anything still going out in the clear sudo tcpdump -ni any \u0026#39;port 53 and not host 127.0.0.53\u0026#39; 第二条命令才说真话。DoT 正常工作时，不应该有任何东西从 53 端口离开这台机器，凡是离开的，都是一个找到路绕过了存根的程序。\n这里没有 DNS over HTTPS 直截了当地回答这个问题：systemd-resolved 不支持 DNS over HTTPS。不是部分支持，不是藏在某个开关后面，也不是某个没人打开的构建选项。里面压根没有 DoH。\n而且这不是从文档里读出来的，文档可能只是过时了。这是二进制文件里实际有的东西：\n$ strings /usr/lib/systemd/systemd-resolved | grep -icE \u0026#39;application/dns-message|dns-query|:443\u0026#39; 0 $ grep -oE \u0026#39;name=\u0026#34;DNSOver[A-Za-z]*\u0026#34;\u0026#39; /usr/share/dbus-1/interfaces/org.freedesktop.resolve1.Manager.xml name=\u0026#34;DNSOverTLS\u0026#34; 没有 DoH 的线上格式，没有 HTTP/2，D-Bus 接口上只有一个加密属性，而它是 TLS。上游 resolved.conf 指令的完整列表有十七项设置，没有一项提到 HTTPS。6\n有人要过。Issue #8639，“Add support for DNS-over-HTTPS to systemd-resolved”，2018年4月2日开的，至今仍开着，挂着两个 pull request，一个都没合并。11 八年了，还在数。\n同样的载荷，同样的加密，不同的端口 两者承载同一个 DNS 查询，裹在同一层 TLS 里 DNS over TLS DNS over HTTPS tcp/853 tcp/443 systemd-resolved 中有 有，自 v239 起 没有，完全没有 观察者能看到名字 否 否 网络能屏蔽它 能，它有自己的端口 很费劲 你能审计自己的 能 否 2018年4月在 systemd issue 8639 中提出。至今仍开着。 同样的载荷，同样的加密。区别在于它走哪个端口，以及谁能看出来 这个决定错了吗？未必，支持 DoT 的论点挺站得住。两者都把 DNS 装在 TLS 里，都能挡住同样的被动观察者。DoH 的优势是它和其他所有东西一起藏在 443 端口上，所以一个想屏蔽加密 DNS 的网络要费劲得多。如果网络运营者就是你的对手，这确实有用。\n它也会反过来割到你。当运营者就是你自己时，这种无法区分意味着你也没法审计自己的 DNS，而且每个自带 DoH 客户端的应用都会不再使用系统解析器，于是你就得到了一个无视你的分离式 DNS、你的缓存和你的内部区域的浏览器。在你自己的设备上，一个出现在已知端口上、看得见的解析器是个优点。\n所以：如果 DoT 能到达你的解析器，就用它，你什么也不损失。如果 853 端口被封了，resolved 没有办法，你需要在它前面放一个 DoH 代理，环回上跑 dnscrypt-proxy 或 cloudflared，再把 resolved 指过去。缓存和验证仍然是 resolved 的活。挪走的只有传输。\n你的发行版实际出厂带了什么 同一个守护进程，表现得截然不同，取决于是谁打的包。启用服务是容易的那一半。被跳过的那一半，是把它接入发行版实际使用的网络工具，而在这四个里有一个，在你自己动手之前，它真的就没接上。\n已安装 已启用 已接入 nss-resolve 配置来源 受支持 Fedora（33+） 是 是 是，在 systemd-libs 里 NetworkManager 是 Ubuntu 是 是 是 netplan，然后是 NM 或 networkd 是 Debian（12+） 单独的软件包 否 否，单独的软件包 你自己选并接线 是 RHEL / Rocky / Alma（9、10） 是 否 是 NetworkManager，得先告诉它 技术预览 验证和满缓存：设置本身 这四行在哪儿都一样，因为在每个发行版上 resolved.conf 都是 resolved.conf。不同的只是其余配置如何到达守护进程，那是接下来四节的内容。\n# /etc/systemd/resolved.conf.d/60-local.conf [Resolve] DNSSEC=allow-downgrade Cache=yes CacheFromLocalhost=no StaleRetentionSec=1d 用 drop-in，而不是去改 /etc/systemd/resolved.conf，因为主文件的优先级低于任何 drop-in，软件包更新时还可能跟你争这个文件。编号是有文档的约定：厂商在 /usr/ 下用 10 到 40，你在 /etc/ 下用 60 到 90，所以你的赢。6\n在 systemd 261 及以后，还有第五行值得加上，因为在此之前缓存大小根本没法调：\nDNSCacheSize=16384 # systemd 261+; default 4096, max 2^24 应用它，然后确认守护进程和文件意见一致，别想当然地以为它读了：\nsystemd-analyze cat-config systemd/resolved.conf # every fragment, in precedence order systemctl restart systemd-resolved resolvectl status | grep -E \u0026#39;DNSSEC|Protocols\u0026#39; resolvectl statistics # verdicts should start moving DNSSEC=allow-downgrade 是我会放在一台我不打算时刻照看的机器上的设置，理由见上一节。DNSSEC=yes 是老实的那个，失败时是关闭的。想清楚再选。\n把它接入网络栈 打开服务是一条命令。让你的发行版自己的网络工具把它们的 DNS 配置交给它，才是因发行版而异的部分，也正是“已启用”和“正常工作”分道扬镳的地方。\nDNS 配置来自 启用 DNSSEC 设置缓存大小 需要额外接线 Fedora NetworkManager，自动 drop-in drop-in 无 Ubuntu netplan，然后是 NM 或 networkd drop-in，或在 .network 里按链路设置 drop-in 无 Debian 你选的那套网络栈 drop-in，或在 .network 里按链路设置 drop-in libnss-resolve，加上下面的网络栈 RHEL 系 NetworkManager，得先告诉它 drop-in drop-in dns=systemd-resolved Fedora 四个里集成得最完整的，也是唯一一个所有东西都已经接好的。\nNetworkManager 管着网络，不用吩咐就把 DNS 交给 resolved。在这台机器上，/etc/NetworkManager/ 里哪儿都没有 dns= 这一行，它照样工作，因为 NetworkManager 会检测到正在运行的守护进程并使用它。/etc/resolv.conf 是存根的符号链接，glibc 也接上了，因为 libnss_resolve.so.2 包含在 systemd-libs 里，而这个包不是可选的：\n$ rpm -qf /usr/lib64/libnss_resolve.so.2 systemd-libs-259.9-1.fc44.x86_64 $ grep ^hosts: /etc/nsswitch.conf hosts: files myhostname mdns4_minimal [NOTFOUND=return] resolve [!UNAVAIL=return] dns 所以在 Fedora 上，上面那个 drop-in 就是全部工作。没有别的要接。\nUbuntu 默认启用，nss-resolve 也以同样方式接好了。区别在于配置通常经由 netplan 进来：\nnetwork: version: 2 ethernets: enp1s0: dhcp4: true nameservers: addresses: [9.9.9.9, 149.112.112.112] search: [example.com] Netplan 把它交给自己的渲染器，桌面上是 NetworkManager，服务器上是 systemd-networkd，渲染器再把它交给 resolved。注意 netplan 表达不了什么。netplan 没有 DNSSEC= 的键，也没有 DNSOverTLS= 的键。这些写在上面的 drop-in 里，本来也就该写在那儿。\n如果你用的是 systemd-networkd，按链路的设置也可以直接写在 .network 文件里，按链路的设置优先于全局设置：\n# /etc/systemd/network/10-lan.network [Network] DNS=9.9.9.9#dns.quad9.net DNSSEC=yes DNSOverTLS=yes Domains=~. Debian 需要手工接线 这是那个真的没接上的，也是上面那一节存在的原因。\n从 Debian 12 起，systemd-resolved 是一个单独的软件包，发行说明对升级说得很明确：“The new systemd-resolved package will not be installed automatically on upgrades”，以及“until it has been installed, DNS resolution might no longer work since the service will not be present on the system.”12 同一份说明也回答了更大的那个问题：“systemd-resolved was not, and still is not, the default DNS resolver in Debian.”\n安装它要两个包，不是一个，而第二个是大家都漏掉的：\napt install systemd-resolved libnss-resolve systemctl enable --now systemd-resolved libnss-resolve 只是 Suggests:，不是依赖，13 而 Suggests 恰恰是 apt 不会理会的那一种关系。所以没人装它。\n没人注意到的原因，比没人装它的原因更有意思。不装它，glibc 照样能到达 resolved，因为 /etc/resolv.conf 指向存根，普通的 nss-dns 会跟它说话。守护进程的大部分功能照常工作：\n没有 libnss-resolve 有它 缓存 有，经由存根 有 DNSSEC 验证 有，在守护进程里进行 有 DNS over TLS 有 有 AD 位到达 glibc 有，resolv.conf 带着 trust-ad 有 secure、insecure 与 bogus 之分 没有，只有一个位 有 链路作用域地址 没有 有 守护进程读取 /etc/hosts 没有 有 左边一列没有一项看起来是坏的，所以也就没人去修。你失去的，是 DNS 线上格式承载不了的东西，最清楚的例子就是带作用域的地址：\n$ getent hosts _gateway # via nss-resolve fe80::5054:ff:fe12:3456 _gateway $ dig +short @127.0.0.53 _gateway # via the stub, as nss-dns would 192.0.2.1 同一个名字，同一个守护进程，两个不同的答案。链路本地 IPv6 地址离开它所属的接口就毫无意义，而 DNS 应答里没有地方放这个信息，所以存根只能交回 IPv4。原生 API 有地方放，就把你真正想要的那个地址给了你。\n判定那一行是同样的问题。AD 只有一个位，签了或没签。原生 API 把 secure、insecure 和 bogus 分开，这就是“没人签过这个”和“有人签过、又有别人动过它”之间的区别。一个在意这件事的应用，经由线上格式是分辨不出来的。\n这就是服务在运行和服务已接好之间的差距，在你专门去找之前，它一直看不见。\n检查它是否到位：\ngrep ^hosts: /etc/nsswitch.conf # wants \u0026#39;resolve [!UNAVAIL=return] dns\u0026#39; Debian 上的四个入口，以及那个不会替你装好的 配置从哪里来 如何进入 守护进程 ifupdown，静态 ifupdown，DHCP systemd-networkd NetworkManager resolvconf 垫片 = resolvectl resolved 127.0.0.53 以及没人装的那一块 glibc getaddrinfo() libnss-resolve 只是 Suggests:。没有它 glibc 照样能用，但判定永远到不了它那里。 Debian 上的四个入口，以及那个不会替你装好的 其余网络部分如何到达它，取决于你用的是 Debian 的哪一套网络栈。\n这个包声明了 Provides: resolvconf 和 Conflicts: resolvconf, openresolv，13 所以它直接接管了 resolvconf 接口。/usr/sbin/resolvconf 变成指向 resolvectl 的符号链接，resolvectl 是个多调用二进制文件：以这个名字调用时，它说 resolvconf(8) 协议，把收到的一切直接推进 resolved。14 因此任何已经在调用 resolvconf -a 的东西，不用改就能继续工作，systemd-resolved 是唯一受支持的后端。\n这个接口并没有全部保留下来，而缺的那些会大声失败，而不是悄悄失败：\nresolvconf 选项 在 systemd-resolved 下 -a \u0026lt;iface\u0026gt; 注册从 stdin 读入的按链路 DNS。最要紧的那个 -d \u0026lt;iface\u0026gt; 取消注册，等同于 resolvectl revert -x 映射为一个 ~. 路由域 -p 把链路标记为非默认路由（systemd 257+） -f 让 -a 和 -d 对不存在的接口保持安静 -m 接受，但悄悄忽略 -u、-i、-I、-l、-r、-R、-v、-V 不支持。命令会失败 在你调试之前，有个陷阱值得知道：这个垫片只有在 /etc/resolv.conf 是指向 /run/systemd/resolve/resolv.conf 的符号链接时才会写这个文件，是静态文件时不写。14\nifupdown，Debian 服务器安装的默认选项。/etc/network/interfaces 里的 dns-nameservers 段，一直是由旧的 resolvconf 包的钩子实现的，而 systemd-resolved 跟那个包冲突，自己也不带任何 /etc/network/if-up.d/ 钩子。对于静态接口，别依赖这个段。在链路上明确设置服务器，让 resolved 管着它们：\n# /etc/network/interfaces auto enp1s0 iface enp1s0 inet static address 192.0.2.10/24 gateway 192.0.2.1 up /usr/sbin/resolvconf -a $IFACE \u0026lt;\u0026lt;\u0026lt; \u0026#39;nameserver 192.0.2.53\u0026#39; down /usr/sbin/resolvconf -d $IFACE ifupdown 上的 DHCP 已经处理好了。isc-dhcp-client 带着以这个守护进程命名的钩子，/etc/dhcp/dhclient-enter-hooks.d/resolved-enter 和 /etc/dhcp/dhclient-exit-hooks.d/resolved，15 所以租约里的 DNS 服务器会落到正确的链路上，什么都不用配置。\nsystemd-networkd 是最干净的选项，根本不需要垫片，因为这两半是同一个项目。按链路的 DNS、DNSSEC 和 DoT 都是 .network 文件里的原生键，和上面 Ubuntu 的例子一模一样。\nNetworkManager，在 Debian 桌面上，需要告诉它一次：\n# /etc/NetworkManager/conf.d/10-resolved.conf [main] dns=systemd-resolved 选一个，并且清楚你选的是哪个。这里的失败方式不是守护进程拒绝启动，而是两套网络栈都以为自己拥有 /etc/resolv.conf，表现出来就是时好时坏的 DNS，白白浪费一个下午。resolvectl status 会告诉你服务器落在了哪条链路上。如果答案是哪条都没有，那就是没有东西在给守护进程喂配置，这就是那个 bug。\nRHEL、Rocky 和 Alma 这一个值得读两遍。软件包在，nss-resolve 可用，NetworkManager 也能驱动它，而 Red Hat 的文档是这么说的：\nsystemd-resolved is an unsupported Technology Preview.16\n这句话从 9.0 起就写在 RHEL 9 的发行说明里，到 9.8 还在。技术预览意味着没有生产 SLA，Red Hat 明确不推荐把它用于生产环境。\n它也没有启用。在这些系统上 resolv.conf 归 NetworkManager 管，所以打开它是一项 NetworkManager 设置，而不只是启用这个单元：\n# /etc/NetworkManager/conf.d/10-resolved.conf [main] dns=systemd-resolved systemctl enable --now systemd-resolved systemctl reload NetworkManager resolvectl status # confirm NM actually handed the servers over 之后上面那个 drop-in 原样适用，验证和缓存的表现和在 Fedora 上完全一样。\n所以在 RHEL 上，你面临一个在其他发行版上不存在的抉择。想在一台受支持的 RHEL 机器上要一个能验证、能缓存、能做分离式 DNS 的本地解析器？那受支持的答案不是这个。是 unbound，或者通过 NetworkManager 自己的 dns=dnsmasq 用 dnsmasq，这两个 Red Hat 都真会兜底。\n这个标签不是对代码的评价。它是在说 Red Hat 愿意给什么东西签 SLA，而一个缓存加验证的解析器，正是客户会去开工单的那种东西。说得过去。但如果你买 RHEL 就是冲着支持去的，那把名字解析跑在一个不受支持的组件上，就是一个要刻意做出、并且写下来的决定，而不是因为它在软件仓库里就顺水推舟地用上。\n什么都没被阉割，下面教你怎么证明 这个前提值得检验，因为“我的发行版把它禁了，我得自己重新编译”是条件反射，而在这里它是错的。\nsystemd 有两类完全不同的构建选项，人们却常常把它们当成一类来谈：17\n构建选项 类别 上游 Fedora Debian 和 Ubuntu 运行时可改 resolve 能力 开 已构建 true 否，两者都构建了 nss-resolve 能力 enabled 已构建，在 systemd-libs 里出厂 enabled，作为 libnss-resolve 出厂 否，两者都构建了 dns-over-tls 能力 auto auto，解析为 OpenSSL openssl 否，两者都编译进去了 openssl 能力 enabled enabled enabled 否，两者都启用了 default-dnssec 仅默认值 allow-downgrade no no 是，在 drop-in 里 default-dns-over-tls 仅默认值 no no 上游默认 是，在 drop-in 里 default-mdns 仅默认值 yes no no 是，在 drop-in 里 default-llmnr 仅默认值 yes resolve no 是，在 drop-in 里 看最后一列。本文抱怨过的每一项设置都在下半部分，每一项都是默认值，而不是能力。两边都把代码编译进去了。没有人删掉任何东西。\n证据在本文前面，而且用不着编译器。在出厂的 Fedora 软件包上，DNSSEC=no 是写死的，一条命令就把验证打开了，而且功能完整：签了名的区域通过认证，没签名的如实报告，坏掉的被拒绝，并附上精确的诊断。如果它被编译掉了，resolvectl status 永远不会说 yes/supported。\n所以在你去找工具链之前，先检查自己的构建：\n# is the crypto there at all systemctl --version | tr \u0026#39; \u0026#39; \u0026#39;\\n\u0026#39; | grep -E \u0026#39;^[+-](OPENSSL|GNUTLS|GCRYPT)$\u0026#39; # ask for the feature and read back what the daemon says it can do resolvectl dnssec \u0026lt;link\u0026gt; yes resolvectl status \u0026lt;link\u0026gt; | grep DNSSEC # yes/supported means the code is there 在这台 Fedora 机器上，结果是 -GCRYPT +GNUTLS +OPENSSL，足够了：DNSSEC 需要其中之一，DoT 是基于 OpenSSL 构建的。\n发行版真正剥掉了什么 有一样东西两家都拿掉了，而它不在任何人的抱怨清单上。\n上游会把一份后备 DNS 服务器列表编译进二进制文件：Cloudflare、Google 和 Quad9。17 Fedora 和 Debian 构建时都把 -Ddns-servers= 设为空，你可以在出厂的二进制文件上确认，而不用听我的：\n$ strings /usr/lib/systemd/systemd-resolved | grep -ciE \u0026#39;quad9|one\\.one\\.one|dns\\.google\u0026#39; 0 什么都没有。没有哪家超大规模云厂商被写死在可执行文件里。\n这是两个发行版都比上游做得更好的一个地方，鉴于本文大量篇幅都在讲我认为错了的默认值，这一点值得直说。一台丢了 DNS 配置的机器，应该大声失败，等着你来处理。它不应该悄悄把你查的每一个名字都送到另一个司法管辖区里一个你从没选过的解析器那儿去。想要后备？设 FallbackDNS=，自己挑是谁。\n如果你真的需要重新编译 真实的情况只有一种：某个最小化或嵌入式构建，有人传了 -Ddns-over-tls=false，于是这个传输真的不存在。先用上面的命令检查，因为这很少见，而且看上去和设置只是关着一模一样。\n如果你确实需要，就重新构建软件包，永远别用 make install：\n# Fedora dnf download --source systemd rpmbuild --rebuild --define \u0026#39;_with_upstream 1\u0026#39; systemd-*.src.rpm # Debian and Ubuntu apt source systemd cd systemd-*/ \u0026amp;\u0026amp; editor debian/rules # change the -Ddefault-* flags dpkg-buildpackage -us -uc -b 这两个我都没在这台机器上跑过，所以把它们当作这件活的大致样子，而不是经过测试的配方。要紧的是原则。systemd 是 PID 1，手工构建后在你发行版的副本上 make install，就等于把它从包管理器里拿了出来：再也没有安全更新，下次升级还会跟你抢这些文件。构建软件包则两样都保住了。对几乎所有人来说，老实的答案是：一个四行的 drop-in 二十秒就能干同样的活，这也是为什么这一节主要是为了劝你别这么干。\n三套值得运行的配置 不是把每个选项都列一遍的菜单。三个立场，每一个我都真会去辩护。\n笔记本，不友好的网络 服务器，你自己的网络 严格 你在防的是什么 咖啡馆和酒店门户 本地没什么要防；上游已经在验证 一条你不信任的解析路径 DNSSEC= allow-downgrade no yes DNSOverTLS= opportunistic no yes StaleRetentionSec= 1d 1d 不设 能扛过强制门户 能 不适用 不能 能扛过被过滤的 .arpa 能 能 不能 能扛过 853 端口被封 能 不适用 不能 攻击者能降级它 能，两项设置都能 不适用 不能 一台在你控制不了的网络上的笔记本。 加密传输，接受降级风险，换来它在强制门户后面依然能用。\n# /etc/systemd/resolved.conf.d/60-local.conf [Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=opportunistic DNSSEC=allow-downgrade Cache=yes StaleRetentionSec=1d 一台在你自己运营的网络上、由上游做验证的服务器。 一跳之外已经做过了。别做两遍，也别去依赖一个公共解析器。\n[Resolve] DNSSEC=no DNSOverTLS=no Cache=yes CacheFromLocalhost=no StaleRetentionSec=1d 一台你想要真东西的机器。 两项都严格，没有任何东西可供攻击者降级，而且你已经确认上游能承载。\n[Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=yes DNSSEC=yes Cache=yes 第三套在你的路径上有任何东西过滤 .arpa 时会搞坏反向 DNS，在 853 端口被封时会彻底瘫掉，而且它是失败即关闭，不会悄悄退让。条件就是这些。部署之前就要知道，而不是部署之后，因为一台啥也解析不了的机器，如果不在隔壁房间，那就得开好长一段车。\n不管你选哪个，应用之后都去检查守护进程实际做了什么决定，而不是你写了什么：\nsystemd-analyze cat-config systemd/resolved.conf # every file, in order systemctl restart systemd-resolved resolvectl status # the state it is really in resolvectl status 在这里就是神谕，就像对一个 Hugo 站点来说构建就是神谕一样。文件里的一项设置只是意图。status 打印出来的才是正在发生的事。\n其余的子命令也值得知道，因为它们合起来，不用读日志就能回答你对这个守护进程几乎所有的问题：\n命令 它告诉你什么 resolvectl status 每条链路的服务器、域、协议，以及当前的 DNSSEC 和 DoT 状态 resolvectl query NAME 应答、所用协议、DNSSEC 判定，以及是否来自缓存 resolvectl statistics 缓存命中与未命中，以及 secure/insecure/bogus 的累计数 resolvectl show-cache 当前缓存的全部内容，按作用域列出 resolvectl flush-caches 清空缓存，不用重启守护进程 resolvectl dns LINK ... 在运行时给一条链路设服务器，不用配置文件 resolvectl dnssec LINK yes 给一条链路打开验证，正式写入前先试一试 resolvectl domain LINK ~x 给一条链路设路由域和搜索域 resolvectl revert LINK 丢弃那条链路上所有运行时改动 resolvectl show-server-state 按服务器的功能探测：每个上游被发现支持什么 resolvectl monitor 实时看查询和应答，比瞎猜强 中间那一块全都只在运行时有效，链路重新起来之后就不复存在，这使它们正好适合在写进 drop-in 之前试一个设置。这也意味着 nmcli device reapply 会悄悄撤销你的测试，所以要在之后查 status，而不是之前。\n默认值是一种立场，不是意外 盒子里三个功能。打开了一个。\n很容易把这解读为偷懒。不是的。这些默认值每一个都是吵过的，吵的人看得见决定另一边的 bug 队列，至少 Fedora 老老实实写下了它扛不住那份支持负担。这是真实的约束，我不会假装不是。\n但默认值是一种立场，而这个立场说的是：一次没人能验证的查询，是可以在上面搭东西的。这个标准我们从 2005 年就有了。注册局免费发布记录，你机器上的解析器实现了全部功能，而它闲置的原因，是互联网上有太多东西从没签过名，于是打开它会让你的机器成为看起来坏掉的那一台。每一个没人强制执行的标准都是这个样子。把事情做好是你独自承担的成本，而好处只有在足够多的其他人也承担了之后才会出现。\n这也是为什么，那次普查才是我真会去据此行动的部分。不是那些设置。设置二十分钟就搞定。普查说的是：发布指南的机构、出厂解析器的公司、托管全世界源代码的平台，大多没给自己的区域签名；gov.uk 签了顶点，然后把那个谁都绕不开的网站指向了一个没签名的委派。有人干完了难的部分，然后从没检查过人们真正输入的那个名字。\n你只能收拾好你自己的。如果你运营一个区域，签名，提交 DS，然后像访客那样去查一查那个 www 名字，确认这条链一直撑到最后。也就一个下午。做到这一点，对每一个解析你的名字的人来说，验证的理由就不再是纸上谈兵，而这是我们任何人真正能修好的唯一一部分。\nsystemd-resolved.service(8) — “implements a caching and validating DNS/DNSSEC stub resolver”；四种客户端接口、两个存根监听器、合成记录、路由规则，以及 /etc/resolv.conf 的四种模式。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5)，即 Fedora 44 上 systemd 259.9 出厂的版本 — DNSSEC=、DNSOverTLS=、Cache=、CacheFromLocalhost=、StaleRetentionSec=，以及 127.0.0.54 代理存根的说明。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5) — DNSCacheSize=、MulticastDNSCacheSize= 和 LLMNRCacheSize=，“Each defaults to 4096”，在 systemd 261 中加入。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5737 — “IPv4 Address Blocks Reserved for Documentation”：192.0.2.0/24、198.51.100.0/24 和 203.0.113.0/24。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3849 — 2001:DB8::/32 保留给文档使用，“to reduce the likelihood of conflict and confusion when relating documented examples to deployed systems”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), upstream latest — DNSSEC= “Defaults to allow-downgrade”，DNSOverTLS= “Defaults to no”，drop-in 编号约定，以及完整的指令列表，其中没有 DNS over HTTPS 选项。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora systemd.spec, rawhide — meson 构建参数 -Ddefault-dnssec=no、-Ddefault-dns-over-tls=no、-Ddefault-mdns=no、-Ddefault-llmnr=resolve。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian systemd packaging, debian/rules — -Ddefault-dnssec=no、-Ddefault-llmnr=no、-Ddefault-mdns=no、-Ddns-over-tls=openssl。Ubuntu 的 systemd 源自这套打包。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Change: systemd-resolved — Fedora 33 把它设为默认解析器；把默认值“from the upstream default DNSSEC=allow-downgrade to DNSSEC=no”，因为该功能“is known to cause compatibility problems with certain network access points”，而 Fedora“is not prepared to handle an influx of DNSSEC-related bug reports”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Magazine — Use DNS over TLS — 推荐的 DNSOverTLS=yes 配置，给出的是裸 IP 地址，没有 #hostname 形式的 SNI。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd issue #8639 — “Add support for DNS-over-HTTPS to systemd-resolved”，2018年4月2日开启，至今仍开着。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian 12 release notes, 5.2.3 — “The new systemd-resolved package will not be installed automatically on upgrades”；“until it has been installed, DNS resolution might no longer work”；“systemd-resolved was not, and still is not, the default DNS resolver in Debian.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian systemd packaging, debian/control — systemd-resolved 段：Provides: resolvconf、Conflicts: resolvconf, openresolv、Replaces: resolvconf，而 libnss-resolve 只列在 Suggests: 下。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolvconf(1), the resolvectl compatibility mode — resolvectl “is a multi-call binary. When invoked as \u0026lsquo;resolvconf\u0026rsquo; \u0026hellip; it is run in a limited resolvconf(8) compatibility mode”；systemd-resolved “is the only supported backend”；哪些选项受支持、被忽略或被拒绝；以及只有当 /etc/resolv.conf 是指向 /run/systemd/resolve/resolv.conf 的符号链接时才会写它的规则。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian isc-dhcp-client file list — 带有 /etc/dhcp/dhclient-enter-hooks.d/resolved-enter 和 /etc/dhcp/dhclient-exit-hooks.d/resolved。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRHEL 9.4 release notes, Technology Previews — “Note that systemd-resolved is an unsupported Technology Preview.” 从 RHEL 9.0 到 9.8 原样保留。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd meson_options.txt — 能力选项（resolve、nss-resolve、dns-over-tls、openssl）与默认值选项（default-dnssec、default-dns-over-tls、default-mdns、default-llmnr）之间的区分，以及编译进去的 dns-servers 后备列表。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/dns/resolved-the-resolver-you-are-already-running/","summary":"此刻大多数 Linux 桌面上都运行着 systemd-resolved，它缓存每一次查询，却一次也不验证。本文沿着解析路径从 nss-resolve 走到两个存根监听器，在一台真实机器上量出缓存到底值多少，开启 DNSSEC 并展示它能给出的三种判定，再解释为什么上游默认开启验证、发行版却把它关掉。然后是一次普查，看看网上到底有多少内容真正签了名；DNS over TLS 以及它严格模式与机会模式之间的陷阱；还有从 2018 年起就有人要求、至今仍不存在的 DNS over HTTPS 支持。最后讲 Fedora、Ubuntu、Debian 和 RHEL 系各自出厂带了什么、如何把它接入每一个发行版，以及为什么你的发行版禁用的那些功能只是默认值，而不是缺失的代码。","title":"Resolved：你早就在运行的解析器"},{"content":"有一种办法，能让你网络里的任何东西查询一个名字，而你的 DNS 服务器从头到尾听不到这个问题。机器上没改任何设置，不需要管理员权限，日志里也找不到任何痕迹。这次查询以一个普通的 HTTPS 请求从 443 端口出去，到达互联网上某处的一台解析器，带回一个你自己的解析器本会拒绝给出的答案。\n黑名单从不触发。威胁情报源从没收到这次查询。你本来要去找的那行日志，从来就没被写下。\n它叫 DNS over HTTPS，简称 DoH，当初造它是有正当理由的。普通 DNS 在 53 端口上明文传输，所以咖啡馆、机场和你的互联网服务商都能读到你解析的每一个名字，高兴的话还能改掉答案。DoH 用和网页其余部分一样的加密把查询包起来，藏进人群里。作为给身处敌对网络中的个人用的隐私措施，它说到做到。\n麻烦在于，它打败的那个东西，和你所依赖的那个东西，是同一个东西。\n你的解析器不只是个查询服务。它是一个管控点：已知的恶意域名在这里被回以空答案，对命令服务器的查询在这里出现在日志里，Protective DNS 在这里于连接建立之前就拒绝恶意软件的域名。DoH 把查询从你的解析器手里拿走，交给一台你从没选过的解析器，你挂在那台解析器上的每一项管控也跟着一起走了。\n普通 DNS 经过你的解析器。DoH 绕过它。 同一台笔记本，同一个问题。一个答案经过你的管控，另一个根本碰不到它们。 普通 DNS，53 端口 DNS over HTTPS，443 端口 笔记本 查询一个名字 你的解析器 检查黑名单和威胁情报源 按客户端记录查询日志 坏名字回以 NXDOMAIN 互联网 仅当检查通过 笔记本 查询一个名字 你的解析器 从没被问过 没什么可拦 没什么可记 HTTPS 发到它自己 挑的解析器 别人家的解析器 什么都答 防火墙看到的只是又一条加密网页连接。 它每分钟要见几千条这样的连接，在线路上这一条和其余的一模一样。 同一台笔记本问同一个问题。左边，它经过你的解析器，解析器先检查名字、记下日志，然后才去问互联网。右边，它经 HTTPS 直接出去，到一台客户端自己挑的解析器。你的解析器根本听不到，所以没什么可拦，也没什么可记；在边界上，它只是数以千计的加密网页连接里又多了一条。 这不是反对加密 DNS 的论证。加密 DNS 是对的，本文最后一节就讲怎么运行它。这是关于谁有权选择解析器的论证，因为这个选择就是全部的关键，而 DoH 的设计就是把它从你手里拿走，交给浏览器、应用，以及在你不留神的时候，交给攻击者。\nDoH 到底是什么 剥掉包装，DoH 就是一个恰好携带了 DNS 问题的普通网页请求。\n普通 DNS 是一条小小的二进制消息，通过 UDP 或 TCP 发到 53 端口。DoH 把同样的消息（或它的 JSON 版本）放进一个 HTTPS 请求，发给一台会说这个协议的 Web 服务器；回复是一个 HTTPS 响应1。整个思路就这么多。\nRFC 8484 在 2018年10月把它标准化，而它的意图从来没有藏着。按它自己的引言，目的是“allowing web applications to access DNS information via existing browser APIs”1。\n现有的浏览器 API。一个网页。这不是多年后才被人发现的尴尬副作用。它就写在标准的第一段，白纸黑字，作为目标。\n下面是用 DoH 方式做的一次查询，在命令行里，对一台公共解析器，查询 example.com：\n$ curl -s -H \u0026#39;accept: application/dns-json\u0026#39; \\ \u0026#39;https://cloudflare-dns.com/dns-query?name=example.com\u0026amp;type=A\u0026#39; {\u0026#34;Status\u0026#34;:0,\u0026#34;TC\u0026#34;:false,\u0026#34;RD\u0026#34;:true,\u0026#34;RA\u0026#34;:true,\u0026#34;AD\u0026#34;:true,\u0026#34;CD\u0026#34;:false, \u0026#34;Question\u0026#34;:[{\u0026#34;name\u0026#34;:\u0026#34;example.com\u0026#34;,\u0026#34;type\u0026#34;:1}], \u0026#34;Answer\u0026#34;:[{\u0026#34;name\u0026#34;:\u0026#34;example.com\u0026#34;,\u0026#34;type\u0026#34;:1,\u0026#34;TTL\u0026#34;:146, \u0026#34;data\u0026#34;:\u0026#34;23.192.228.80\u0026#34;}]} 不需要特殊客户端。除了 443 不用别的端口。一个 HTTPS 请求，和获取一个网页一模一样，一个名字就被地球另一端的一台机器解析了，而那台机器从没听说过你的网络，也没听说过你的规则。Google 运行着同样的端点，Quad9 也是，还有几十家别的。\n现在看看你的防火墙看到了什么。一个到 443 端口 Web 服务器的 TLS 连接，它读不到里面的内容，因为这正是 TLS 的意义；它也没法把这条连接和每秒钟打开的成百上千条去往内容分发网络、分析服务和广告的连接区分开来。DNS 问题不见了。它打扮成网页流量离开了大楼，门口没人看得清它的脸。\n在线路上，DoH 查询是封在网页请求里的一个 DNS 问题。 同一个问题。一个写在信封上，一个封在三层里面。 普通 DNS，53 端口 DoH，443 端口 DNS 查询 name=badsite.example type=A 防火墙能完整读到它。 它看到名字，检查它，拦截或记录它。 TLS 记录（防火墙看到的全部） 发往 Web 服务器的 HTTP 请求 DNS 查询（已封装） name=badsite.example type=A 在 443 端口上，防火墙只看到最外层。 一个到 Web 服务器的 TLS 连接，和加载网页、广告或分析信标一样。名字从不露面。 普通 DNS 查询是写在信封上的：防火墙读到名字，据此行动。DoH 查询是同一个问题，封在一个 HTTP 请求里，再封在一个 TLS 记录里，防火墙看到的只有最外层，一个到 443 端口 Web 服务器的连接，和其他所有连接看起来一样。名字从来不会浮现在管控够得着的地方。 客户端有三种方式来传送一次 DNS 查询，值得把它们并排摆出来，因为它们之间的差别就是本文的全部。\n传输方式 端口 你的解析器能看到 能在边界上拒绝 加密 普通 DNS 53（UDP/TCP） 能，前提是你强制它经过 能，关闭出站 53 否 DNS over TLS（DoT） 853 只有指向你的解析器时才能 能，关闭出站 853 是 DNS over HTTPS（DoH） 443 只有指向你的解析器时才能 不能，你关不掉 443 是 普通 DNS 可读也可拦，这正是它当初既容易管控、又容易被窥探的原因。DoT 加密了查询，但保留了自己的端口，所以你仍然可以在边界上拒绝它。DoH 则是那个没有把手的：像 DoT 一样加密，却共用那个你永远关不掉的端口，于是剩下的唯一杠杆就是客户端选了哪台解析器，而本文讲的正是这根杠杆。\n谁来挑解析器 这件事之所以要紧，是因为一台现代机器上有五样不同的东西，每一样都能决定 DNS 往哪儿去，而默认情况下你只控制其中一样。\n一台机器上有五样东西能挑解析器。你只设定其中一样。 谁决定查询往哪儿去 层 谁来挑解析器 默认归你？ 操作系统 你的网络，通过 DHCP 或路由器通告 是 浏览器 厂商的默认值，除非你的策略覆盖它 仅当你设置了策略 应用或它的库 写代码的人，在构建时 否 网页上的脚本 运营网站的人，或它加载的任何脚本 否 恶意软件 运营者，写死在代码里，常按地址而非名字 否 下面三层都不需要管理员权限，不用改任何设置，在操作系统里也看不到任何东西。 一台机器上的五层，每一层都能选自己的解析器。操作系统用你的网络分发的那台，那台是你的。浏览器用它厂商的默认值，除非你的策略另有规定。应用、网页上的脚本和恶意软件各自替自己选，做这件事不需要你给任何东西。 操作系统去问你的网络通过 DHCP 或路由器通告分发的那台解析器。那台是你的，而这也是大约 2019 年之前一切东西所假定的模型：一台解析器，由网络分发，这就是网络层 DNS 管控为什么管用了三十年。\n浏览器打破了它。Firefox 和 Chrome 都自带了做 DoH 的机制，发到它们厂商挑的解析器，越过你的头顶，只有在发现自己处于受管网络时才会退让。而应用可以在代码里自带 DoH 客户端和一个写死的解析器，在构建时就定好了；它不读你的 DHCP，也不问。已经有大量正当软件这么做了。\n网页上的脚本才是该让你停下来的那个，因为它什么都不用装。上面那条 curl 命令只是一个 HTTPS 请求，而浏览器的本职工作就是发 HTTPS 请求。用户打开的任何一个网页上的几行 JavaScript，就能把查询发到一个公共 DoH 端点，因为大服务商故意允许跨域请求，好让 Web 应用使用它们，这正是 RFC 8484 里写明的目的。你正在读的这个网页此刻就可以通过另一个国家的解析器解析名字，而你只会看到又多了一条 HTTPS 连接。\n而恶意软件挑自己的解析器，理由显而易见：它不想让你看到它在往哪儿打电话。它把解析器写在自己代码里，往往直接按地址去连，这样就没有可以抓的引导查询，而这一切都不需要你的许可。\n把那一列再读一遍。下面三层不需要管理员权限，不用改任何设置，在操作系统里也什么都不显示。你花了多年搭起来的管控，一台解析器、一份黑名单、一份日志，是假定只有最上面那一行的。早就不是了，好些年了。\n浏览器厂商自己害怕过的同一招 网页这种情况既不是理论上的，也不是新近的。这正是协议助手被滥用的方式：一个网页发出字节，下游的某个东西据此行动，却分不出这些字节来自攻击者的网页还是真正的客户端，因为在线路上它们一模一样。在 DoH 这里，下游那一环是一台公共解析器，它作答时根本无从知道发出询问的 JavaScript 来自一个钓鱼网页；而你的解析器，那台有黑名单和日志的，从来就不在路径上，根本轮不到它发表意见。这不是在你的管控上打了个洞，而是绕着它们修了一条路，路面铺的还是你叫所有人都用的那种加密。\n它早已是恶意软件作者的通道 你不必去想象它会被怎么用。多年来它一直有据可查，由具名的研究者在真实样本上记录，而且走向只有一个方向：从 2019 年的一个犯罪僵尸网络，到第二年的一个国家情报工具，此后一年比一年繁忙，到 2026 年仍有新的后门不断出现。\n样本 报告时间 行为者 DoH 承载的内容 Godlua 2019年7月1日2 犯罪僵尸网络 对其命令服务器名字的查询 PsiXBot 2019年9月6日3 犯罪团伙（信息窃取） 命令与控制域名解析，经 Google 的 DoH OilRig（APT34） 2020年第二季度4 与伊朗国家相关 被窃数据，经 DoH 外传到 Google 和 Cloudflare ChamelDoH 2023年6月16日5 ChamelGang（APT） 整个命令通道，DNS TXT 经 DoH 发到 Google 和 Cloudflare BRICKSTORM 2025年12月4日6 与中国有关联的后门 C2 埋在 HTTPS 和嵌套 TLS 之下，DoH 是其中一层 Dohdoor 2026年2月26日7 未确定（UAT-10027） C2 查询经 443 发到 Cloudflare 的 DoH Godlua 是第一个被广泛报道的案例，一个 Linux 和 Windows 后门，分析报告记录它“uses DNS over HTTPS to get the C2 name to ensure secure communication between the bots, the Web Server and the C2”2。在一个盯着 53 端口的网络上，解析你的命令服务器等于给防守方送礼。走 DoH，就什么都看不到了。\nProofpoint 关于 PsiXBot 的那句话值得引用，这是一家威胁情报厂商把不便明说的话说出了口。他们写道，用 DoH 做命令与控制“should be a warning shot for the cybersecurity community as there are no simple solutions to help identify an infected host or the process of receiving instructions”3。没有简单的解决办法，说这话的正是以找解决办法为业的人。\n接着 OilRig 把它提了一个档次。Kaspersky 的描述正好就是本文讲的那个变化：“instead of plain text requests to port 53, they would use port 443 in encrypted packets”，所用的工具“allows DoH queries to Google and Cloudflare services”4。一个国家级情报行动，把公共 DoH 服务商当作管道，把被窃数据运出去，越过任何在盯着 DNS 的东西。\n而且它没有停在那里。它扩散了。到 2023 年，ChamelGang 有了一个 C++ 写的 Linux 后门 ChamelDoH，整个命令通道都跑在 DoH 上，通过 Google 和 Cloudflare 向自己的名字服务器发 DNS TXT 查询；发现它的研究者指出，检测和防范都“become difficult”，因为加密传输无法被拦截，恶意请求也无法和真实请求区分开来5。2025年12月，CISA 拆解了 BRICKSTORM，一个与中国有关联的后门，它层层叠加 HTTPS、WebSocket 和嵌套 TLS，并且“also uses DNS-over-HTTPS (DoH)”，把它的 C2 埋进普通网页流量里6。到 2026年2月，这已经只是寻常手法：Cisco Talos 抓到了 Dohdoor，它“securely sends encrypted DNS requests to Cloudflare\u0026rsquo;s DNS server over HTTPS port 443”来找到它的命令服务器，靠钓鱼进入了美国的学校和医院7。\n情况就是这样。这不是一种风光过一阵就消退的技术，而是一年比一年被更多人捡起来的技术。问题在变糟，不是变好，新的家族如今按时出现。\n在每一个案例里，起作用的都是同一个特性：查询以 HTTPS 从 443 出去，防守方的解析器从来没看到它。这不是某人某天可能发现的弱点。这是攻击者一次又一次投入使用的功能，其中好几个是国家。\n还要搞清楚那张表为什么一年年被填满。表上每一个家族走过的那扇门，DoH 的作者都被警告过他们留着没关，警告就写在标准自己的正文里，而他们照样让它开着8。那不是疏忽。那是短视，而且是故意选的，选的人里还包括 ICANN 自己的技术专家。所以我就直说了：在这件事上，ICANN 是网络犯罪的帮凶。标准自己的正文已经警告过会坏掉什么，它的人照样署了名，上面那张表就是从那个缺口里走过来的东西。犯罪一点也不意外。那是一个决定的账单，而那是谁的决定，就是本文剩下的内容。\n即便如此，DoH 连人们以为它能买到的那样东西都买不到：免受伪造答案的保护。加密到解析器的那一跳，并不等于认证解析器交回来的东西，DoH 服务器照样可以返回一条伪造的记录。标准自己承认了这一点，说针对未配置服务器的那条规则“does not guarantee protection against invalid data”9。\n唯一能认证 DNS 答案的机制是 DNSSEC，而 DoH 不是它。更糟的是，对几乎所有客户端来说，DNSSEC 是在递归解析器上验证的，不是在设备上：客户端只是相信解析器说答案验证通过了。所以 DNSSEC 对你的保护，从来只延伸到你对做验证的那台解析器的信任为止，而 DoH 真正干的事，是把这份信任交给一个你看不见、也无法审计的远程运营者。\n正因如此，DoH 可能让你更容易落到伪造的网站上，而不是更不容易：本可以抓住被劫持答案的本地防线，也就是 Protective DNS 情报源、运营者自己的过滤，恰恰是你绕过去的那些东西，剩下的只有一个远程运营者的一句话，凭信任接受。\nDoH 改变的是你为答案信任谁，并没有消除信任某人的需要。 答案总得有人来担保。DoH 只是换了人，换成一个你无法审计的。 你自己的解析器 远程 DoH 解析器 你的设备 你控制的解析器 替你验证 DNSSEC 带着你的黑名单和日志 你可以检查和审计它 它若撒谎，它是你的，你能查 你的设备 加密管道 你控制不了的解析器 验证 DNSSEC，你只能信它的话 你看不到也无法审计它 你的本地黑名单不在路径上 它若伪造，本地什么也抓不住 加密保护的是管道，不是答案的真实性。 DNSSEC 在解析器上检查，所以无论如何你都得信任解析器。DoH 只是让它变成一台你看不见的。 DoH 并没有消除为答案而信任一台解析器的需要，它只是把这份信任挪了地方。你自己的解析器验证 DNSSEC、带着你的黑名单，并且可以审计；远程 DoH 解析器替你验证，你只能听它的，走的是一条加密管道，这条管道保护了那一跳，却对答案是否属实只字不提。 DoH 号称防范的东西 它防得住吗？ 窃听到解析器的那一跳 能，查询是加密的 篡改那一跳 能 解析器本身给出的伪造记录 不能，那是 DNSSEC 的活，不是 DoH 的 恶意的、被胁迫的或被攻陷的解析器 不能，你现在完全信任它 对恶意软件、跟踪器和法院命令的拦截 不能，它绕过了这些 而且这些都不是 DoH 碰巧撞上的新想法。在解析器上过滤恶意域名，正是 OpenDNS 差不多二十年来一直在做的事，在答案到达之前就为数以百万计的用户拦下钓鱼和恶意软件，这也是 Cisco 在 2015 年花钱买下的模式10。二十年的解析器级安全，保护了那些什么都没配置过的人，而 DoH 一击就破坏了整个模式：让应用指向它自己的解析器，OpenDNS，或者你的网络选的任何东西，就不在路径上了。\n为什么老办法不灵了 只要 DNS 还住在 53 端口上，网络层面的答案就很简单。强制每个客户端使用你的解析器，在边界上把其他所有出站 53 都封掉。一台机器想去找外面的 DNS 服务器就会被拒绝，所以它只能经过你的，于是你的管控适用于一切。粗糙，但管用。\nDoH 用 443 一招就把它废了。你没法封出站 443。那就是网页本身。所以你要关掉以强制 DNS 经过你解析器的那个端口，恰恰是你永远关不掉的那个；而那份让你的 ISP 没法窥探的加密，也让你没法把一次 DoH 查询和一次网页加载区分开来。\n你本可以用来夺回控制权的两样东西，关端口和读流量，都被设计掉了。在敌对网络手里打败的正是这两样，这就是 DoH 被造出来要做的事。\n而读流量并不是听上去那样的出路，因为要读它只有一种办法：全部破开、全部检查。要看到 443 连接里面的 DNS，你得对网络上每一条 HTTPS 连接做中间人，在每台设备上装你自己的根证书，把所有流量解密再重新加密。越来越多的管理员现在只好走这条路，为的是夺回过去一条防火墙规则就能白白给他们的可见性。\n而这笔交易要糟糕得多：你削弱了所有东西的 TLS，把一个解密盒子放在每一次登录、每一次网银会话的路径上，还造了一个一旦被攻破就全盘皆输的目标，US-CERT 对这种做法明确提出过警告11。相称的管控被打破了，剩下的就是不相称的那一种。\n这就是困境所在。在机场 WiFi 上保护记者免受敌对网络侵害的机制，也正是在你的网络上保护恶意软件免受你侵害的机制，而协议分不清这两者。一台被绕过的解析器不知道自己是审查者还是安全团队。它只知道自己被甩开了。\n正确答案一直是 DNS over TLS 下面这部分露了底。加密 DNS 从来不需要这一切。它在 DoH 出现两年前就已经做到了，而且做的方式让运营网络的人仍然能干好自己的活。\nDNS over TLS，RFC 7858，出自 2016年5月。它的摘要第一行就说明了它的用途：“provide privacy for DNS”，一种“eliminates opportunities for eavesdropping and on-path tampering with DNS queries in the network”的加密12。整个隐私诉求就此满足：咖啡馆和 ISP 被拒之门外，和用 DoH 时完全一样，因为查询是端到端加密的。\n而它的合著者之一是 Paul Hoffman，后来他又合著了 DoH 标准1。所以这不是两个对立的阵营。是同一批人，已经解决了隐私问题，又换了一种方式再解决一遍。\nHoffman 是谁很重要，因为这说明了这件事是从哪儿来的。他在 DNS 领域可不是旁观者：他的名字出现在八十多份 RFC 上，其中包括 DNS 术语标准，而他是以 ICANN 技术专家的身份做这份工作的13。所以那份把 DNS 藏到 443 上的标准，是从 ICANN 内部合写出来的，也就是那个决定根区里放什么的美国机构。\n而 ICANN 也不是这个词所暗示的那种无私的管理者。我已经另外把它的记录摆了出来：在加州成立，对加州负责，并且愿意利用它在命名空间上的地位谋取自己的目的。这不是一场来自边缘的隐私运动。这是掌握根区的权势机构，把它 2016 年已经满足过的隐私诉求再满足一遍，用的是一种把网络运营者踢出局的方式。\n所以要问第二种方式多加了什么，因为不是隐私。\n标准 年份 端口 加密 DNS 运营者仍能看出它是 DNS DNS over TLS（RFC 7858） 2016 853 是 是 DNS over HTTPS（RFC 8484） 2018 443 是 否 隐私在 2016 年由 DoT 解决。DoH 两年后才来，只多加了绕过。 加密 DNS：什么先来，什么后到 2016年5月 DNS over TLS（RFC 7858），853 端口 加密 DNS。运营者仍能看出它是 DNS。隐私问题已解决。 2018年10月 DNS over HTTPS（RFC 8484），443 端口 同一位主要作者。同样的加密。运营者再也看不到它。 2019年7月 Godlua：第一个把 C2 藏在 DoH 里的恶意软件 2019年7月 ISPA 因 DoH 给 Mozilla 扣上“Internet Villain”的帽子，随后撤回 2019年9月 PsiXBot 通过 Google 的 DoH 解析其 C2 域名 2020年2月 Firefox 在美国默认开启 DoH，解析器是 Cloudflare 2020年Q2 OilRig（APT34）通过 DoH 外传数据 隐私在 2016 年就已完整。 第二个点以下的一切都是绕过，以及绕过被拿去干了什么。这些都不需要一个新的隐私标准。 顺序本身就是论证。DNS over TLS 在 2016 年解决了隐私问题，用的是网络运营者仍能管控的端口。DNS over HTTPS 两年后由同一位主要作者推出，除了挪到 443 端口之外，对隐私毫无增益，而第二个时间点以下的一切，都是绕过，以及绕过被拿去干了什么。 唯一变了的格子是最后一个。DoT 跑在自己的端口 853 上，所以运营者能看出它是 DNS，并决定怎么处理它：放行到认可的解析器，在别处拒绝。DoH 把同样的加密查询放到 443 上，混进网页流量里，运营者挑不出来。\n同样的隐私，同样的加密。两个标准之间唯一的区别，就是运营网络的人还能不能看到自己的 DNS。这不是隐私功能。隐私 2016 年就发布了。这是一个绕过功能，也是 DoH 唯一多出来的东西。\n而且他们心知肚明。这是有记录的，不是推断的。RFC 8484 自己的 Operational Considerations 说得清清楚楚：“Filtering or inspection systems that rely on unsecured transport of DNS will not function in a DNS over HTTPS environment due to the confidentiality and integrity protection provided by TLS”8。\n那些系统正是已经在保护用户的安全工具：恶意软件和命令服务器拦截、Protective DNS 情报源、儿童安全过滤、企业检查。标准在自己的正文里点名说它们会失效。打坏本就在保护人们的工具，是一个睁着眼睛做出的选择，而且默认开启地发布了。明知后果还照样选它，这就是一个可以要求他们给出交代的决定。\n这就是为什么隐私的说法经不起时间线的检验。一旦 DoT 已经存在，隐私就不可能是 DoH 的理由，因为隐私已经做完了，由同一位作者，在两年前。所以隐私是烟幕。\n把它拨开，看看第二个标准实际启动了什么：一场军备竞赛。它把一行防火墙规则就能搞定的管控，变成了一场永无休止的追逐，解析器对黑名单，黑名单对新的解析器，运营者默认就输，而最后握着明文的是寥寥几家美国公司。\n你愿意的话，可以把这叫作一个隐私功能的副作用。从证据看，DoT 已经发布，标准本身也承认会打坏过滤，那它就是目的本身，隐私只是漆在盒子上的那个词。而且它正是打着这个词被大力推动的，推动者就是获益的那几方。\n推动并发布 DoH 的 它们还是什么 Mozilla 合著了 RFC 8484，然后在美国的 Firefox 上默认开启 DoH14，解析器是 Cloudflare Google 在 Chrome 里发布 DoH，运行一个大型公共 DoH 解析器，而且是一家广告公司 Cloudflare 美国 Firefox 的默认解析器，所以那些查询都到了它手里 把它当隐私来卖的是浏览器厂商，而受益的不只是用户。\n我能不能问一句：如果目的是隐私，为什么答案不是那个早已存在、并且让运营者留在环里的加密 DNS 标准，而是另造一个让运营者看不见的？我不是在问谁签的字。我是在问，“隐私”的哪一部分，要求把唯一对这个网络负责的那个人踢出去。\n因为那才是真正的目标，就是网络管理员：负责网络安全与安全保障的专业人员，被默认当成了对手。DoH 甚至没有消除隐私宣传所抱怨的那种监视。正如 PowerDNS 的 Bert Hubert 所阐述的，DNS“typically provided by the operator of a network”，而默认把它挪给第三方是“a net-negative for privacy for everyone”，因为那个第三方“gets a complete log per device of all DNS queries, in a way that can even be tracked across IP addresses”15。\n查询并没有被藏起来。它们被交给了一家美国解析器运营商，而不是管理员，被去掉的只有管理员一方。厂商们也知道这一点。下一节里那套“发现受管网络就退让”的逻辑之所以存在，正是因为默认设置凌驾于管理员之上，而他们宁可发布一个关闭开关，也不改默认设置。\n现在问问，把 DNS 绕过运营者，谁获益。宣传海报上的人物是在敌对的机场 WiFi 上的记者，这个人是真实存在的。广告和跟踪行业也是真实存在的，一旦某个应用或浏览器通过 DoH 解析它们的域名，这些域名就从网络的黑名单旁边大摇大摆地走过去了。\n网络层面的拦截，Pi-hole、公司黑名单、过滤型解析器，都是靠给跟踪器的名字回一个空答案来起作用的。DoH 就是让这个名字照样得到解答的办法。而最大的公共 DoH 解析器运营者是 Google16，一家广告公司，同时还在自己的浏览器里发布 DoH17。\n一个隐私功能，由卖跟踪的那家公司来卖，它的设计恰好打败了人们用来拦截跟踪的工具。你自己判断吧。我已经有结论了。\n就连这个反对意见的粗糙版本也被公开提出过。2019年7月，英国 ISP 行业协会提名 Mozilla 为“Internet Villain”，理由是 DoH 会“bypass UK filtering obligations and parental controls, undermining internet safety standards in the UK”18。他们挑了个笨拙的靶子，用了个更糟的框架，被骂了回去，然后撤回了提名。\n不过，剥掉政治色彩，底下那个观察是对的，而且无论被绕过的管控是儿童安全过滤、公司黑名单还是空房间里的一台 Pi-hole，它都成立。DoH 就是为了让 DNS 绕过运营网络的人而造的。\n这也不是小事，因为 DoH 如今是三者里最难拦截的那个。DoT 在 853 上，网络还能拒绝它。DoH 不在，所以在 DNS 离开网络的所有方式里，它是那个没有把手的，这让它成了所有风险中最大的那一个。\n这一点延伸到了法律，而不只是安全。在英国，具有法律效力的拦截是在 ISP 那里通过 DNS 执行的：Internet Watch Foundation 的儿童性虐待材料清单，以及高等法院依据第 97A 条下达的版权禁令，都是通过分发给客户的那台解析器上的 DNS 和 IP 过滤来执行的19。\n把 DNS 那一半通过 DoH 绕过去，拦截对那个客户端就不起作用了。法院可以下令封锁一个网站，网络可以被要求执行，而一个通过 DoH 解析的浏览器照样能找到地址，走的是一条网络看不见也关不掉的通道。在网络层面执行网络法律或法院命令，这件事向来就是在那里做的，如今变得几乎不可能。\n而账单正是在这里落到每个人头上，不只是网络。打破相称的管控，也就是那个依法院命令在解析器上拦截一个具名域名的精准手段，国家不会就此放弃。它会去找一个更钝的工具。英国的 Online Safety Act 就是那个工具：对平台施加的全面义务、强制的年龄核验，背后是手握罚款的 Ofcom，一个触及国内每一个用户和每一项服务的制度20。\n我不是在为这部法案辩护。我是在指出推动它的压力从何而来。当那个在网络层面执法的窄工具不再管用时，你得到的不是更少的执法，而是更粗糙、更宽泛、更具侵入性的执法，对准每一个人，因为瞄准式的那种已经不成立了。这就是打破一项基本管控的代价，而打破它的人并不是付账的人。\n而 ICANN 一点也不在乎，因为在加州看来，这不是它们的问题。当拦截失败，或者某个平台违反了它的义务，被拉上法庭的不是 ICANN，而是运营者、平台、公司，面对的是 Ofcom 和罚款。后果落在一个决定下游的每一个人身上，而做出这个决定的机构永远不必为此作答。\n打破精准的管控，国家就会去拿大锤。人人买单。 打破相称的管控，一个更钝的就会取而代之 精准的管控 拦截一个具名域名 在解析器上，依法院命令 精确、相称， 只针对目标 DoH 打破了它 查询不再 经过解析器 钝器 Online Safety Act： 对每个人做年龄核验， 对每个平台施加义务，Ofcom 罚款 对准整个国家 打破窄工具，国家不会就此放弃。 它会去拿宽泛的那个，对准每一个人，因为瞄准式的那种已经不成立了。 而打破窄工具的人，并不是为宽泛工具买单的人。 精准的管控依法院命令在解析器上拦截一个具名域名。DoH 打破了它，于是国家去拿钝器：Online Safety Act，对准国内每一个用户和每一个平台。打破窄工具，你得到的不是更少的执法，而是一种谁也瞄不准的更宽泛的执法。 把这些后果排在一起，它们都是同一个形状：一件网络过去在解析器上执行、如今再也执行不了的事。\n网络执行的内容 过去怎么做 在 DoH 之下 恶意软件和命令服务器拦截 解析器黑名单和威胁情报源 被绕过；Godlua、PsiXBot 和 OilRig 干的正是这个 广告和跟踪器拦截 Pi-hole 或过滤型解析器 被绕过；跟踪器的名字照样被解析 法院命令和 IWF 清单 ISP 的 DNS 过滤 基于 DNS 的拦截对那个客户端不起作用 DoT 才是老实的答案。它加密你的 DNS，并让运营者仍然能干好自己的活。DoH 保留了加密，又在上面加了一样东西：运营者再也看不到它了。关于它的其余一切，都是这一个选择的下游。\n美国制造，别处收拾 这一切都不会止步于英吉利海峡，把它当成英国的问题来读，就把它缩小到了原本规模的一小部分。同样的形状一路贯穿欧洲，一直延伸到澳大利亚。一端是一项法律工具，另一端是网络上的一次 DNS 拦截。\n澳大利亚由联邦法院依据 Copyright Act 第 115A 条，命令 ISP 屏蔽对境外侵权网站的访问21。葡萄牙干脆跳过法院：一份行政备忘录，权利人据此通知一个叫 MAPINET 的机构，ISP 在十五个工作日内通过 DNS 拦截22。法规不同，承重的假设只有一个，而 DoH 把所有这些法规脚下的这个假设都踢掉了。那就是：客户端通过分发给它的那台解析器来解析。\n所以看看当这个假设失效时，一个国家会怎么做。它不再向 ISP 施压，而是开始命令公共解析器本身返回错误的答案。这不是预测。这是一摞判决，而且越摞越高。\n国家 拦截命令 公共解析器 结果 意大利 AGCOM 的 Piracy Shield，30 分钟内拦截名字 被命令过滤，包括 1.1.1.1 Cloudflare 拒绝，被罚 €14,247,698，正在上诉23 法国 Canal+ 体育直播禁令 Google、Cloudflare 和 OpenDNS 均被点名 Cloudflare 返回 HTTP 451，Google 默默让查询失败，OpenDNS 对该国关停了自己24 比利时 超过 100 个体育盗版域名 同样那三台解析器 Cloudflare 以 451 遵从，Google 保持沉默，OpenDNS 也退出了比利时24 德国 Universal Music 诉 Cloudflare 一审下令，包括 1.1.1.1 上诉被推翻，科隆法院认定解析器“passive, automatic and neutral”25 荷兰 BREIN 的动态封锁 在 ISP 层面，尚未到解析器 Ziggo、KPN 等通过 DNS 和 IP 拦截，按请求更新26 把它当成一件事来读，而不是五件。几家美国公司凭自己的权威给整个星球改写了 DNS，打破了这些国家每一个都建起来的相称管控，然后把残局留给法院去收拾。这些公司每隔几个月就被拉到另一个法庭前，它们给出的答案，恰恰告诉你世界其余部分在它们心中有多少分量。一家上诉，高喊审查。一家让查询失败，什么都不告诉用户。而 OpenDNS，那个默默过滤了二十年恶意软件、本文已经把它当作值得效仿的模式来推崇的解析器，根本不争辩。它宁可对法国和葡萄牙关停自己，也不愿在那些条件下为它们服务27。\n好好想想最后这一个。它是整篇文章里的那个好榜样，走出了房间。那个保护了什么都没配置过的人的服务，如今觉得放弃一整个国家比为它服务更容易，而原因可以一路追溯到在加州做出的一个设计决定，做决定的人从来不必考虑法国法院或葡萄牙法院。\n这就是那个模式，我来点名。这就是美国平台工程对美国以外每一个地方所做的事。它为自己的市场而造，把结果作为默认设置发给全世界，然后把别国的每一部法律、每一个监管机构、每一个被留在变化下游的群体，都当成别人该收拾的烂摊子。\n而本国政府全力支持这些公司。2025年2月，白宫署名发布了一份备忘录，把别国的数字法律描绘成对美国公司的“overseas extortion”，点名英国和欧盟，并让贸易代表以关税作为回应28。六个月后，一个美国监管机构致信十几家美国科技公司，警告说遵守英国的 Online Safety Act 或欧盟的 Digital Services Act 本身就可能违反美国法律29。把这句话读两遍。那个其公司打破了管控的国家，如今告诉这些公司，遵守另一个民主国家对这场破坏的应对，才是违法。\n这就说明了一切。一部由威斯敏斯特或布鲁塞尔民选议会通过的法律，在华盛顿被改写成对美国的攻击，公司们被告知去无视它。这并不是它们掂量了世界其余部分然后选择了反对。世界其余部分从来就没上过秤。\n修复办法不是禁止加密 所以偷懒的结论是“封掉 DoH”，而它是错的，就像在防火墙上“封掉 ICMP”是错的一样。你不想要回未加密的 DNS。53 端口上的明文查询是真实的暴露，为了夺回可见性而退回去，就是拿一个洞换另一个洞。\n你真正失去的不是加密。是对解析器的选择。所以把那个拿回来，让加密原封不动地留在原地。\n保留加密。夺回解析器的选择权。 全程加密。只有一台机器被允许对外说 DNS。 客户端 53、DoT 或 DoH， 只发到你的解析器 DDR 告诉 它们去哪儿 你的解析器 自己提供 DoH 和 DoT 黑名单、威胁情报源、日志 canary 回以 NXDOMAIN 边界 只有它 上游 或根服务器 客户端直连 53、853 或公共 DoH 解析器：拒绝 这里没有任何东西关掉加密。 从客户端那里拿走的唯一东西，是选择别人家解析器的权利。 修正后的布局。客户端可以用普通 DNS、DNS over TLS 或 DNS over HTTPS，但只能发到你自己的解析器，它现在三种都提供。那台解析器保留黑名单和日志，并且是唯一被允许把任何一种 DNS 发出边界的机器。53 端口、853 端口和已知的公共 DoH 解析器，对其他所有机器一律拒绝。这里没有任何东西关掉了加密。从客户端那里拿走的只有一样：选择别人家解析器的权利。 这个形状和修复 Active Directory 域里 DNS 的那个是同一个：论点从来不是“把这个功能关掉”，而是“决定谁有权驾驭它”。下面分几部分说明这意味着什么。\n**自己运行加密 DNS。**搭一台提供 DoH 和 DoT 的解析器，不只是 53 端口，这样想要加密的客户端就能从你这里得到它。你不能一边对客户端说“不许用 DoH”并且当真，一边又不给它们提供一台自己的加密解析器。给它们一台，并像以前一样在上面保留黑名单、威胁情报源和日志。\n**宣告它，让客户端有意地找到它。**Discovery of Designated Resolvers（RFC 9462）让客户端查询一个特殊的名字，得知它所在网络自己的加密解析器，然后自动升级到对它使用 DoH 或 DoT30。一个支持 DDR 的客户端于是既加密了它的 DNS，又用的是你的：用户想要的隐私和你需要的管控，一步到位。\n**回应浏览器自己的关闭开关。**Firefox 在默认开启 DoH 之前会检查一个 canary 域名 use-application-dns.net：用 NXDOMAIN 或 SERVFAIL 回答它，Firefox 就会退回到系统解析器31。有两条老实的限制，都是 Mozilla 自己的话。canary “only applies to users who have DoH enabled as the default option. It does not apply for users who have made the choice to turn on DoH by themselves”31。所以它是一个默认关闭的信号，不是一把锁，而且对应用和恶意软件毫无作用，它们从来就没问过浏览器什么。\n**在你管理的机器上设置浏览器策略。**在你自己拥有的设备上，别依赖 canary。Chrome 的 DnsOverHttpsMode 可取 off、automatic 和 secure，Google 的文档写明，在未设置时，“for managed devices DNS-over-HTTPS queries will not be sent”32；Chrome 一旦看到企业策略，就会禁用它自己的自动 DoH17。把它指向你的解析器，或者设为 off，让 DDR 来负责加密。Firefox 有对应的 Enabled、ProviderURL 和 Locked 开关33。受管的机器，受管的决定，这一行你是真关得上的。\n**在边界上拒绝其他选项。**规则很短，说的都是同一件事：任何一种 DNS，往外发，只能从你的解析器发。\n规则 适用于 效果 封锁出站 53 端口 除你的解析器外的一切 没有发往外部的普通 DNS 封锁出站 853 端口 除你的解析器外的一切 没有发往外部解析器的 DoT 封锁到公共 DoH 解析器地址的 HTTPS 除你的解析器外的一切 切断知名的 DoH 服务商 把你解析器的上游指向 Protective DNS 你的解析器 恶意软件域名在连接前就被拒绝 你不可能按地址抓住每一个 DoH 端点，也做不到，因为一个新端点就只是一台 Web 服务器，而 Web 服务器无穷无尽。所以好好想想这个封锁现在的代价。要为 DoH 做到 block 53 outbound 过去白白做到的事，你得拉一份 DoH 服务器地址清单，由别人持续替你扫描：这些维护中的黑名单之所以存在，是因为这是剩下的唯一办法，其中一份每小时都通过定时任务把每个已知公共 DoH 域名重新解析到它当前的 IP，然后发布变化34。这就是绕过强加给你的交易。\n拦截外部 DNS 过去，在 53 端口上 现在，443 上的 DoH 规则 一行：封锁出站 53 订阅一份 DoH 服务器 IP 黑名单 完整性 保存的那一刻就完整了 永远不完整；新端点不断出现 维护 无 每小时重新扫描，拉取并重新应用 需要什么 防火墙 防火墙，加上别人维护的情报源 一项曾经是一行静态规则的管控，如今变成了对一个移动靶的订阅，追着任何人都能比清单命名得更快地搭起来的 Web 服务器跑。Protective DNS 封住另一头：把你解析器的上游指向一个过滤服务，比如 NCSC 的 PDNS，它“was built to hamper the use of DNS for malware distribution and operation”35，坏域名就会在连接建立之前被拒绝，对每一个经过你解析器的客户端都是如此，而一旦这些规则就位，那就是所有客户端。\n把这些和前面那五行对照，每一行都有一项管控能把它封住。这才是检验一个修复的标准：不是“我们封掉 DoH 了吗”，而是“对每一个能选解析器的东西，是什么阻止它选错”。\n谁来挑解析器 什么能封住它 操作系统 DDR 把它指向你的解析器；保持住 浏览器 受管机器上用策略；其余的用 canary 应用 / 库 边界上封锁 53、853 和公共 DoH 解析器 网页上的脚本 同样的边界封锁；上游用 Protective DNS 恶意软件 同样的边界封锁，再加 Protective DNS 拒绝该域名 这些没有一项关掉哪怕一个比特的加密。客户端照样用 DoH，只是从你这里用，而那些想从别处用的会撞墙。隐私完好无损，管控回来了。正因如此，任何人失去的唯一东西，就是挑一台你从没批准过的解析器的自由，而在一个由你负责的网络上，那本来就不是他们该有的。\n我能不能问一句，是什么选了那台解析器 这个问题，去问任何一个跟你说网络现在挺好的人。\n当你网络上的一台机器解析一个名字时，是什么决定了由哪台解析器作答？如果老实的答案是“操作系统被分发到的那台”，很好，但前提是你已经封住了那张表的另外四行，否则答案就是“操作系统被分发到的那台，除非浏览器、某个应用、某个网页或者更坏的东西另选了一台，那样的话我毫无头绪，也没有记录”。那不是 DNS 配置。那是一个指望，而指望什么也抓不住。\n我不是在问谁运行解析器。我是在问，在每台机器上，是什么有权选它，以及你能不能说出昨天每一次查询去的是哪台解析器。在一个 DoH 不受管理的网络上，你说不出来，而这个缺口就是每一个自带解析器的应用、用户打开的每一个网页，以及每一个读过我刚才链接的同样研究的恶意软件。三个具名的威胁行为者就在这个缺口上建起了他们的通道，其中一个听命于一个政府。\n一个把解析器选择权从网络手里拿走的协议，注定是送给网络想盯住的那些人的礼物；因为营销上写着“隐私”就假装不是这样，正是一项要紧的管控被默认关掉、却没人记下是哪天关掉的方式。\n加密你的 DNS。自己运行解析器。宣告它，回应 canary，设置策略，封住边界。保留加密，也保留选择。两样你都可以要，而如果你以运营网络为生，两样都要就是你的本职工作。\n隐私只是盒子上的字 所以该给的功劳要给。感谢 ICANN，那个掌握根区、从内部合写了这东西的美国机构，又一次照着美国科技的剧本演了一遍：拿一个早已解决的问题，用一个高尚的词把修复包起来，再把结果集中到寥寥几家美国公司手里，最后由它们握着明文。\n而且总是美国。掌握根区的机构，两款浏览器如今默认使用的解析器，运营最大公共解析器的那家广告公司，明文最终落脚的国家：每一次都是美国的。这是一个模式，不是一连串的坏运气。\n隐私是烟幕。2016 年，DNS 就已经在 853 端口上加密、私密并且仍然可管，每一个说话算数的人都知道。权势机构在此之上发布的，是一个为了蒙住唯一对网络负责的那个人的眼睛而造的协议，一场按小时重新扫描黑名单的永久军备竞赛，以及在浏览器面前戛然而止的法院命令。\n那是无能还是贪婪，我留给你来判断，不过我链接的记录指向一个方向。无论哪种，它都赢过了常识。\n而正是像这样的决定，让把根区从 ICANN 手里拿走的呼声一再出现，而且站得住脚：好让国际社会也有发言权，而不是由一个国家的机构替其他所有人决定 DNS，还把这叫作管理。\n这一切，我们过去用一行就做到了。\nRFC 8484 — DNS Queries over HTTPS (DoH)，2018年10月。引言说明其目标是“allowing web applications to access DNS information via existing browser APIs in a safe way consistent with Cross Origin Resource Sharing (CORS)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n360 Netlab — An Analysis of Godlua Backdoor，2019年7月1日。记录该样本“uses DNS over HTTPS to get the C2 name to ensure secure communication between the bots, the Web Server and the C2”，这是第一个被广泛报道的滥用 DoH 的恶意软件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProofpoint — PsiXBot Now Using Google DNS over HTTPS，2019年9月6日。报告该恶意软件通过 Google 的 DoH 服务解析写死的 C2 域名，并警告这“should be a warning shot for the cybersecurity community as there are no simple solutions to help identify an infected host or the process of receiving instructions”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKaspersky Securelist — APT trends report Q2 2020。关于 OilRig（APT34）：DNSExfiltrator 工具“allows the threat actor to use the DNS over HTTPS (DoH) protocol [\u0026hellip;] instead of plain text requests to port 53, they would use port 443 in encrypted packets [\u0026hellip;] which allows DoH queries to Google and Cloudflare services”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Hacker News — ChamelDoH: New Linux Backdoor Utilizing DNS-over-HTTPS Tunneling for Covert CnC，2023年6月16日，报道 Stairwell 的发现（Daniel Mayer）。ChamelGang 的 C++ Linux 植入程序是“a tool for communicating via DNS-over-HTTPS (DoH) tunneling”，通过合法的 DoH 服务商向恶意名字服务器发送 DNS TXT 请求，以致“both detection and prevention become difficult”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Malware Analysis Report: BRICKSTORM Backdoor，AR25-338a，2025年12月4日。“For C2, BRICKSTORM uses multiple layers of encryption (HTTPS, WebSockets, nested Transport Layer Security [TLS]) to hide its communications with the cyber actors\u0026rsquo; C2 server. It also uses DNS-over-HTTPS (DoH)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco Talos — New Dohdoor malware campaign，2026年2月26日。该后门被归于行为者 UAT-10027，它“securely sends encrypted DNS requests to Cloudflare\u0026rsquo;s DNS server over HTTPS port 443”来解析其命令服务器，并通过钓鱼针对美国的教育和医疗机构。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8484，第 10 节，Operational Considerations：“Filtering or inspection systems that rely on unsecured transport of DNS will not function in a DNS over HTTPS environment due to the confidentiality and integrity protection provided by TLS.”对网络过滤的影响，标准本身就写明了。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8484，第 9 节，Security Considerations：DoH 服务器“can give a client invalid data in response to a DNS query”，而虽然标准不允许来自未配置服务器的响应，“this prohibition does not guarantee protection against invalid data, but it does reduce the risk.”DoH 保护的是传输，而不是记录的真实性；那是 DNSSEC 的活。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenDNS — 由 David Ulevitch 于 2005/2006 年创立的递归 DNS 解析器，在解析器上为家庭和企业用户提供安全过滤（拦截钓鱼和恶意软件）和内容过滤；2015 年被 Cisco 收购，现为 Cisco Umbrella 的一部分。解析器级的 DNS 安全远早于 DoH。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS-CERT / CISA — HTTPS Interception Weakens TLS Security，警报 TA17-075A，2017年3月16日。警告说，通过出示一张本地信任的证书并解密流量来拦截 HTTPS 会削弱安全性，因为许多拦截产品不能正确验证证书，还会降低连接的保护。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7858 — Specification for DNS over Transport Layer Security (TLS)，2016年5月。摘要：“This document describes the use of Transport Layer Security (TLS) to provide privacy for DNS. Encryption provided by TLS eliminates opportunities for eavesdropping and on-path tampering with DNS queries in the network.”合著者 P. Hoffman（ICANN）也合著了 RFC 8484。DoT 使用专用端口 853。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPaul Hoffman (engineer) — “the author or co-author of over 80 Requests for Comments (RFCs)”，并且“currently a technologist at ICANN”；他的 IETF datatracker 个人页面列出了这些记录，包括 RFC 7858（DoT）、RFC 8484（DoH）和 RFC 8499（DNS 术语）。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Register — Firefox now defaults to DNS-over-HTTPS for US netizens，2020年2月25日。“Mozilla has started rolling out encrypted DNS-over-HTTPS (DoH) by default for US users”，并且“the DNS resolver in Firefox to Cloudflare by default”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBert Hubert（PowerDNS） — Centralised DoH is bad for Privacy, in 2019 and beyond，RIPE Labs。DNS“typically provided by the operator of a network”；“by default”的集中式 DoH 是“a net-negative for privacy for everyone”，因为第三方“gets a complete log per device of all DNS queries, in a way that can even be tracked across IP addresses”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — DNS-over-HTTPS (DoH) — JSON API。Google Public DNS 是最大的公共解析器之一，在 Chrome 自身的 DoH 支持之外，还运营着一个 DoH 端点（dns.google）。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChromium Blog — A safer and more private browsing experience with Secure DNS，2020年5月。“If you are an IT administrator, Chrome will disable Secure DNS if it detects a managed environment via the presence of one or more enterprise policies.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTechCrunch — Internet group brands Mozilla \u0026lsquo;internet villain\u0026rsquo; for supporting DNS privacy feature，2019年7月5日（Wayback 快照）。ISPA 的提名称 DoH 会“bypass UK filtering obligations and parental controls, undermining internet safety standards in the UK”；遭到强烈反对后，该提名和 Internet Villain 奖项类别都被撤回。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWeb blocking in the United Kingdom — Internet Watch Foundation 的儿童虐待图像清单，以及依据 Copyright, Designs and Patents Act 1988 第 97A 条下达的版权禁令，由 ISP 执行；“The technical measures used to block sites include DNS hijacking, DNS blocking, IP address blocking, and Deep packet inspection.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n英国政府 — Online Safety Act: explainer。“The Online Safety Act 2023 [\u0026hellip;] puts a range of new duties on social media companies and search services”，其中“strongest protections [\u0026hellip;] designed for children”，包括防止儿童接触有害和不适龄内容的要求；由 Ofcom 执行。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCopyright Act 1968（澳大利亚），第 115A 条，“Injunctions relating to online locations outside Australia”：联邦法院可以命令运营服务提供商“take reasonable steps to disable access to the online location”，这是澳大利亚在 ISP 层面通过 DNS 和 IP 封锁网站的形式。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEDRi — Portugal: \u0026ldquo;Voluntary\u0026rdquo; agreement against copyright infringements。依据 2015 年的一份谅解备忘录，权利人通知 MAPINET，后者转交监管机构 IGAC，“IGAC then contacts Internet Service Providers (ISPs) to restrict access to the websites through \u0026lsquo;Domain Name System (DNS) blocking\u0026rsquo;”，期限为 15 个工作日，无需法院命令。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Italy Fines Cloudflare €14 Million for Refusing to Filter Pirate Sites on Public 1.1.1.1 DNS。在意大利的 Piracy Shield 之下，AGCOM（第 49/25/CONS 号命令）命令包括 Cloudflare 公共解析器在内的 DNS 服务商进行拦截；Cloudflare 称之为“unreasonable and disproportionate”，予以拒绝，被罚 €14,247,698，目前正在上诉。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — DNS Piracy Blocking Orders: Google, Cloudflare, and OpenDNS Respond Differently，2025年5月11日。在法国和比利时的 Canal+ 体育直播禁令之下，公共解析器被命令进行拦截：Cloudflare 返回 HTTP 451，Google 默默拒绝查询，OpenDNS 则对这两个国家“pulled the plug”，而不是遵从。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Cloudflare Applauds Court for Rejecting DNS Piracy Blocking Order。在 Universal Music 诉 Cloudflare 案（DDL-Music 案）中，下级法院曾命令 Cloudflare 在其 1.1.1.1 解析器上拦截；科隆高等地区法院拒绝把这项义务延伸到解析器，因为解析器“contributes to the connection of internet domains in a purely passive, automatic and neutral manner”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Dutch ISPs Must Block Pirate Bay Proxies and Mirrors Again, Court Rules，2020年10月15日。BREIN 持有针对 Ziggo、KPN 等的“dynamic”封锁令；法院把 DNS 拦截视为一项“clear and verifiable”的措施，新域名和代理按请求加入 ISP 的黑名单。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nComplete Music Update — OpenDNS pulls plug on France and Portugal after web-blocking injunctions。Cisco 的 OpenDNS：“Due to a court order in France issued under the French Sport code and a court order in Portugal issued under the Portuguese Copyright Code, the OpenDNS service is not currently available to users in France [\u0026hellip;] and in Portugal.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe American Presidency Project — White House Fact Sheet: Directive to Prevent the Unfair Exploitation of American Innovation，2025年2月21日。该备忘录指示美国贸易代表考虑以关税回应别国的数字服务税和法规，包括欧盟和英国的，并将其描绘为外国政府侵占“America\u0026rsquo;s tax base”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nA\u0026amp;O Shearman — FTC chairman warns major tech companies of censorship in EU DSA and UK Online Safety Act，关于 2025年8月21日的信函：“Compliance with the requirements of non-US laws, such as the requirements in the EU Digital Services Act (DSA) and UK Online Safety Act, may result in companies censoring content”，该监管机构警告这可能与美国法律相冲突。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9462 — Discovery of Designated Resolvers (DDR)，2023年11月。定义了客户端如何发现“a resolver\u0026rsquo;s encrypted DNS configuration”并升级到它，通过查询 _dns.resolver.arpa 获取网络的 Designated Resolver。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Canary domain — use-application-dns.net。“The canary domain only applies to users who have DoH enabled as the default option. It does not apply for users who have made the choice to turn on DoH by themselves.”除带 A/AAAA 记录的 NOERROR 以外的响应，例如 NXDOMAIN 或 SERVFAIL，会通知 Firefox 禁用应用层 DoH。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — DnsOverHttpsMode policy。取值 off、automatic 和 secure；“If this policy is unset, for managed devices DNS-over-HTTPS queries will not be sent.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Policy templates: DNSOverHTTPS。Enabled 开启或关闭 DoH，ProviderURL 设置解析器，Locked“prevents the user from changing DNS over HTTPS preferences”，ExcludedDomains 和 Fallback 调整其余部分。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndibdot/DoH-IP-blocklists — 一份维护中的清单，列出公共 DoH 服务器的域名及其解析出的 IPv4/IPv6 地址，供防火墙拦截使用；查询脚本“runs automatically every hour via GitHub actions”，地址变化时更新清单。jameshas/Public-DoH-Lists 是第二份自动生成的同类清单。这些清单必须存在、还得持续重新扫描，这本身就是要点。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Protective Domain Name Service (PDNS)。“PDNS was built to hamper the use of DNS for malware distribution and operation [\u0026hellip;] a recursive resolver which prevents access to domains known to be malicious.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/dns/dns-over-https-walks-past-your-controls/","summary":"DNS over HTTPS 加密你的查询，这是好事；它又把查询经 443 端口发给客户端自己挑的解析器，这就是问题所在。你自己的解析器根本看不到这次查询，于是本该拦下它的黑名单、本该命中的威胁情报源、本该写下的那行日志，全都消失了。本文先讲机制：为什么数以千计的加密网页连接中的一条，在边界上是隐形的；一台机器上有哪些东西可以选一个你从没选过的解析器（操作系统、浏览器、任何应用、任何网页上的任何脚本，还有恶意软件）；以及有据可查的案例，从网页自己的 JavaScript 去查询一个允许跨域请求的公共 DoH 端点，到 Godlua 和 PsiXBot 把命令通道藏在 DoH 里，再到 OilRig APT 通过它外传数据。接着论证隐私只是幌子：DNS over TLS 在 2016 年就已经加密了 DNS，用的还是网络运营者仍能管控的端口，所以 DoH 比它多出来的唯一东西，就是打败管理员；这也是为什么编写并发布它的浏览器厂商，以及运营最大公共 DoH 解析器的那家广告公司，才是获益者。然后是修复办法，它不是禁止加密。运行你自己的 DoH 和 DoT 解析器，用 Discovery of Designated Resolvers 宣告它，在边界上拒绝 53 端口、853 端口和已知的公共 DoH 解析器，再回应 Firefox 的 canary 域名让浏览器退让。保留加密，夺回选择解析器的权力。最后讲后果：同样基于 DNS 的执法在整个欧洲和澳大利亚都在运行，意大利、法国、比利时和德国的法院如今直接命令公共解析器本身去拦截；Cloudflare 被罚款并在上诉，Google 默默拒绝，OpenDNS 干脆对整个国家关停自己。底下的模式是：一个美国设计被强加给全世界，而美国政府把别国的法律描绘成对美国公司的勒索，并警告它们不要遵守。","title":"DNS over HTTPS 径直绕过你的管控"},{"content":"你点开一个地方报纸的链接，标题加载出来了，然后是图片，然后是前三段，你在别的东西出现之前就已经开始读了。接着页面变成一片空白。或者它变成一堆没有样式的链接，标志被拉伸到整个屏幕那么宽。或者一个框滑上来，让你要么接受追踪，要么每月付 £2.99，没有第三个按钮。\n文章已经在你的机器上了。出版商的服务器已经把它全部发过来，文字和样式表都有，你的浏览器也已经把它画出来了。把它拿走的，是出版商选择随后在你的电脑上运行的代码，买自一家商业供应商，而那家供应商的产品，就是把刚刚送到的东西收回去。\n我家里跑着一个 Pi-hole1，它为网络上的每台设备屏蔽广告和追踪主机。在越来越多的英国新闻网站上，单凭这一点就足以让页面被毁掉。所以在 2026年9月22日，我做了一个 Chrome 扩展来阻止它，叫 Keep The Page。代码在 GitHub 上，damo2929/browserplugin，MIT 许可证。本文讲它做了什么，我在做它的过程中在那些页面里发现了什么，以及在对的那个修复出现之前，那些越修越糟的修复。\n它不是付费墙绕过工具。如果服务器从来没发过这篇文章，这里啥也变不出来。The Times 依旧关着门，这是对的。它保住的，是你已经收到的东西。\n文章到了，然后又没了 从外面看，这些网站的做法全都一样。HTML 完整地到达，然后一个脚本，通常从属于某个供应商而不是报社的主机加载，判定你不配看，就把文章删掉。\n删掉什么、怎么删，取决于出版商买的是哪家供应商。下面是我碰到的四种，每一种都是在开发过程中从线上页面里读出来的：\n出版商 到达的是什么 页面接着对自己做了什么 Newsquest（269 个刊物）2 完整的文章 搭起一堵墙，运行一个 eval 载荷，弹出一个 confirm() 对话框 notebookcheck.net 完整的文章 大约 7 秒后删除 \u0026lt;body\u0026gt;，然后弹对话框，然后进入重载循环 National World（The Scotsman、Yorkshire Post）3 文章外加约 68KB 自己的 CSS 每 100ms 删除一次所有 \u0026lt;link\u0026gt; 和 \u0026lt;style\u0026gt;，永不停止 Reach plc（Mirror、Daily Record、Manchester Evening News、Liverpool Echo 等）4 完整的文章 用“接受追踪或每月付 £2.99”把它盖住 269 这个数字不是来自新闻稿，新闻稿说的是“more than 200 brands”。它是 Newsquest 自己 TLS 证书上的域名数量，也就是扩展需要知道该在哪里运行的那份清单。\nNational World 那一种是最该让出版商担心的，因为它弄坏页面的原因和广告毫无关系。样式表剥离器有一个搭档，负责从供应商的主机上把 CSS 取回来。我的 Pi-hole 屏蔽了那台主机。于是剥离照常运行，恢复却永远没有到来，报社自己的版式就被永久地绑在了一家广告供应商能否访问上。这不是墙。这是一家出版商把自己网站的外观交给了第三方，而且自己都没注意到。\n我能问一句，为什么一家报纸的样式表，非得等一家广告公司的服务器点头，才被允许留在页面上？对读者来说，这没有任何理由。一个都没有。\n我为什么称之为恶意软件 我是有意用这个词的，用来描述这些代码做了什么，而不是对任何人做法律上的认定。这些反广告屏蔽载荷在四个方面符合这个词的通常含义，每一条都是直接观察到的：\n检验 我看到了什么 未经同意、违背你的利益运行 没人要过它，而它的工作是拿走你已经拥有的内容 销毁已经交付给你的数据 文章和它的 CSS 完好到达，然后页面内的代码把它们删除 经过混淆以抵抗阅读 像 o[293 * (r + 450) % e] 这样的置换字符串表，通过 eval 执行 规避屏蔽并惩罚干预 用 CNAME 伪装躲开 DNS 屏蔽列表，防篡改检查会升级为对话框或重载循环 这种混淆不是压缩。压缩过的代码是小。而这是被刻意排布过的代码，让你没法 grep 出它做了什么，载荷再通过 eval 运行，于是磁盘上没有任何东西和实际执行的东西对得上。\n这种伪装是一种已知技术，有专门的研究文献5。加载器从一个看起来像报纸子域名的地方取来，而那个名字解析到的是供应商：\na02342.\u0026lt;publisher-domain\u0026gt; -\u0026gt; cdn-52-x.privacy-mgmt.com (Sourcepoint) fb.html-load.com -\u0026gt; adshield-fallback-dev-wskxz.b-cdn.net 子域名对每个刊物都是随机的。正因如此，按主机名列出的屏蔽列表根本跟不上，而这正是这么做的目的。\n而且这些代码把被干预当作有罪的证据。被过滤列表维护者归于 Ad-Shield6 的载荷里，解码出来的错误字符串字面上就是 Vital API blocked 和 Vital API blocked (eval)。Sourcepoint 的加载器写入一个属性，马上读回来，如果值变了就抛出异常：\nz.call(O,\u0026#39;src\u0026#39;,G), O[x](\u0026#39;src\u0026#39;) !== G \u0026amp;\u0026amp; throw E … catch (W) { try { await l(W) } catch (x) { o(W) } } // o() raises the dialog Sourcepoint 是公开卖这个东西的。他们自己的文档说“on average about 30% of messaged users will turn off their adblockers”7。所以我描述的不是某人偷偷塞进来的流氓脚本。这是一个产品，由出版商有意购买并部署。\n“同意或付费”墙属于另一类，我不称之为恶意软件。它们不销毁已交付的东西，也不躲避屏蔽列表。它们的强迫是另一种方式，那是下一节的内容。\n接受 1,467 个合作方，或者付 £2.99 Reach 旗下网站上的墙是 Quantcast Choice，现在由 InMobi8 运营，从 cmp.inmobi.com 提供。它给两个选择。接受，或者每月付 £2.99。没有免费的“不”。\n接受就意味着把你的数据分享给 1,467 个列出的合作方，并写入一个有效期 13 个月的 euconsent-v2 cookie。没人会去读一份 1,467 家公司的名单，就算读了，也没人能掂量出每一家会拿这些数据干什么，而这个数字本身就告诉你，这里在索要的是哪一种同意。\nUK GDPR 规定，同意必须是自由给出的，而在判断是否自由时，要看服务是否以同意它并不需要的处理为前提条件9。ICO 发布过指引，说同意或付费可以是合法的10，这份指引它现在说正在审查；欧洲数据保护委员会则说过，对于只提供这两个选项的大型平台，在大多数情况下它不会是合法的11。我不会假装监管机构已经禁止了它。它没有。\n所以我的立场在这里，说得明白点。我选择移除这堵墙并拒绝同意。这意味着我在免费的那一支上读文章，不付钱，也不把我的数据交给 1,467 家公司。这是一个决定。扩展在它自己的设置页面里就是这么说的，我也不会把它包装成什么中立的东西。一个你无法拒绝的同意就是一个价格，而我不会付一个装扮成问题的价格。\n移除这个框只是容易的那三分之一。另外三分之二在正确地回答同意问题里，因为一个你没回答就删掉的横幅，每次都会回来。\n一天，八次提交 整个东西是在一天里做出来的。在提交任何东西之前，先折腾了几个小时的页面，然后在 20:32 到 22:50 之间提交了八次。我是用 Claude Code 做的，逐行阅读混淆内联脚本的大量苦活是由代理完成的，我则在一旁看页面在屏幕上做了什么。这种分工效果很好，而它出错的地方在下面，因为它出错的方式值得一说。\n时间 提交 20:32 第一次提交：Newsquest、notebookcheck、National World、Reach、Page Six 20:46 每种机制背后的供应商，写进 README 20:56 从 Google News 首页取 50 个链接，作为未经挑选的样本 21:02 对同意 API 的每一项用途都回答拒绝 21:11 拆除社交链接 22:50 可开关的保护项、MSN 和 Bing、通过点击拒绝同意、77 个测试 它是一个 Manifest V3 扩展，只有两项权限，declarativeNetRequest 和 storage，没有主机权限，自己也不访问网络，所以它不能取任何东西、不能改写响应，也不能替你和服务器通信。这个约束对设计的影响超过任何别的东西，因为有意思的工作必须在页面内部完成。\n两个世界：一个属性下行，一个事件上行 页面的代码和扩展的设置住在不同的世界里 扩展存储 chrome.storage.local 各项防护 跟踪通道 社交设置 最近 50 条错误 读写方是 选项页 隔离的世界 bridge.js social.js portal.js 能读 chrome.storage 碰不到页面 自己的函数 页面的世界（MAIN） walls.js guard.js portal-early.js 包装 setTimeout、cookie、 __tcfapi, window.adLight 完全没有 chrome.* 下行：html 元素上的一个属性，只写关闭的项 \u0026lt;html data-ktp-off=\"cookies,dom\"\u0026gt; 默认安装：什么都不写 上行：一个 ktp-report 事件 detail：一个 JSON 字符串 对象过不去，不可靠 Chrome 在两个世界里运行扩展脚本。页面的世界能够到页面自己的 JavaScript，但没有扩展 API。隔离的世界能读设置，却碰不到页面的函数。两者之间的一切往来，都是往下传一个属性，往上传一个事件。 Chrome 的 MAIN 世界和页面共享同一个 JavaScript 环境12。那里的脚本可以在页面之前替换 setTimeout、包装 document.cookie 或定义 window.adLight，而这正是对付这些墙所需要的。实际上它不能调用 chrome.storage。隔离的世界可以，但看不到页面的函数。所以一座小桥负责读取设置并把它们写到 \u0026lt;html\u0026gt; 上，错误则以 CustomEvent 的形式传回来，它的 detail 是一个 JSON 字符串，因为对象没法可靠地跨过那道边界。\n往下传的属性只列出你关掉的东西。默认安装根本不往页面写任何东西。这很重要，因为 \u0026lt;html\u0026gt; 上的一个永久标记，恰恰是这些 SDK 要找的那种东西，而且这意味着存储出故障时，会倒向保护页面，而不是放弃保护。\n找到闸门，别去和墙硬拼 Newsquest 的修复只需要两行推理，而它是其余一切的衡量标准。\n他们的整堵墙都藏在页面里的一个标志后面：\nvar adLight = false; // line 1647 if (adLight !== true) { …} // line 2020: loader, eval payload, confirm() adLight 是订户的“轻广告”标志。如果它为真，墙就永远不会搭起来。所以扩展在 document_start，也就是页面自己的脚本运行之前，把 window.adLight 定义为 true，并配上一个无视任何写入的 setter：\nObject.defineProperty(window, \u0026#39;adLight\u0026#39;, { configurable: false, enumerable: true, get() { return true; }, set() { /* ignore the page\u0026#39;s \u0026#34;false\u0026#34; */ } }); 脚本顶部的 var 不会重新定义全局对象上已经存在的属性。它只是给它赋值13。所以页面自己的 var adLight = false 照常运行，落到 setter 上，什么也没做。墙的加载器从不启动，eval 载荷从不到达，也没有防篡改检查可以触发，因为什么都没被篡改。这个标志只是说了“是”。\n这是整个扩展里唯一一个不可配置的属性。它必须如此，才能扛过那条声明。其余一切都是 configurable: true，所以没有哪个页面的 API 会被永久霸占。\n它覆盖 269 个刊物，而且不能在设置里关掉，设置页面也说明了原因：它在 chrome.storage 能给出回答之前就运行，一旦设定就无法撤销。给它一个复选框只会是摆设。\n每一个越修越糟的修复 这是有用的一节，因为这里的每一个错误，都是最显而易见该去试的东西。\n我试了什么 发生了什么 屏蔽加载器的主机 这个主机是每个刊物随机的第一方 CNAME；而且一次失败的获取本身就是检测信号 守护注入脚本上的 setAttribute 触发了 Sourcepoint 的回读检查，反而弹出了它本该阻止的对话框 对 confirm() 回答“取消” 在这个 SDK 里“取消”意味着重载，于是造成了无限重载循环 在 DOMContentLoaded 时给 \u0026lt;body\u0026gt; 拍快照，以便之后恢复 墙在解析期间就清空了页面，所以快照拍到的是一个空 body 守护 remove() 和 removeChild() 墙用一句 innerHTML = '' 清空页面，而不是逐个节点删 在 notebookcheck 上一次性守护所有东西 墙升级为对话框，然后是重载循环；比什么都不做还要糟 把供应商主机重定向到本地桩 一条只有 declarativeNetRequest 权限的 redirect 规则让整个规则集失效，悄无声息地在 269 个网站上废掉了 Newsquest 的规则 在每个网站上运行页面守护 给我访问的每个页面都打了全局原型补丁，包括我的银行 重定向那一条值得再看一眼。Chrome 给 block 规则隐式的访问权，任何更多的操作都要主机权限14。它的文档说无效的静态规则会被忽略15。我看到的情况比这更糟：整个文件都没了，页面上没有任何错误，规则 1 就这么在 269 个网站上不复存在。正因如此，MSN 的两条规则现在住在一个单独的规则集里，这样对其中一条的错误修改就拖不垮另一条。\n重载循环教会了另一条硬规则。location.reload 无法被拦截。在 HTML 标准里 Location 对象是不可伪造的16，所以它的方法是不可写、不可配置的，硬要试就会得到：\nObject.defineProperty(location,\u0026#39;reload\u0026#39;,...) -\u0026gt; TypeError: Cannot redefine property: reload 任何以“重载页面”作为失败路径的墙，一旦走上这条路就拦不住了。什么都拦不住。唯一的办法是确保它永远走不到那一步。这和 adLight 是同一个教训，只不过是用痛苦的方式学到的：每一次去和已经在运行的墙硬拼，都让情况变得更糟；每一个奏效的修复，都是让墙根本启动不了。\n一个定时器造成了全部破坏 notebookcheck 没有 adLight。墙总是会运行。打开追踪后，扩展显示了它安排的东西：\ndropped setTimeout(7005ms) scheduled from eval \u0026lt;- the body.remove() dropped setTimeout(1251ms) / 105ms / 0ms x8 dropped setInterval(15000ms) 这些定时器里只有一个造成了全部破坏：7 秒那个，它删除 \u0026lt;body\u0026gt;。之后的一切都是连锁反应，因为空白页面会抛出异常，异常弹出对话框，对话框重载页面，然后整件事带着一套新的定时器从头再来。\n所以修复就是一条规则。如果一个定时器是从 eval 过的代码里安排的，页面带有这个 SDK 的特征，并且处理函数是一个函数，就丢弃它。调用栈会告诉你一次调用来自哪里，而 eval 会在里面留下印记。\nbefore: 4 page loads, 3 confirms, reload loop after: 1 page load, 0 confirms, alive 40,378ms, content intact 一个定时器，以及它下游的一切 notebookcheck：一个定时器造成破坏，其余都是连锁反应 原样提供 文章和 CSS 到达，已绘制 加载器来自 html-load.com eval 载荷 安排定时器 7.0 秒：定时器执行 body.remove() 空白页抛异常， 弹出 confirm() 页面重新加载 从头再来 4 次加载，3 个对话框，重载循环 装了扩展 文章和 CSS 到达，已绘制 加载器来自 html-load.com eval 载荷 安排定时器 所有 eval 定时器 当即丢弃 1 次加载，0 个对话框， 40 秒时仍完好 notebookcheck 不装扩展和装了扩展的对比。7 秒定时器下游的东西一样都不用修，因为一旦丢掉那个定时器，它们一个都不会发生。 那时扩展里还有另外两种机制，一个是把加载器重定向到桩，另一个是一个诱饵元素，用来吸收墙的写入。两者都管用，但两者都只是在治那一个定时器的症状，这一点直到单独测试定时器规则、发现它自己就足够时才变得明显。所以两者都被拿掉了，拿掉它们的同时，也去掉了一项权限和所有主机权限。在保留围绕它搭的脚手架之前，永远先测试一下最后那个改动是否单独就能搞定。\n特征是加载器标签上的 data-sdk 属性，它匹配的是一种形状，l/\u0026lt;n\u0026gt;.\u0026lt;n\u0026gt;，而不是某个版本。一天之内就冒出了三个版本。它一旦命中就锁定，并且从不缓存否定结果，因为第一批定时器被安排时，加载器标签可能还没被解析，而一个被记住的“否”会在一个确实带着墙的页面上永久解除它的武装。\n探针说没问题，屏幕可不这么说 The Scotsman 和 Yorkshire Post 被报告为已修复，依据是一个测量文本的探针。页面有 8,808 个字符的文本，\u0026lt;body\u0026gt; 下有 22 个元素，在 2 秒、8 秒和 16 秒时都稳定不变。按这个标准，它是完好的。\n它并不完好。我正看着它，所有样式表都没了，链接是一串光秃秃的列表，SVG 标志占满了屏幕，还有一条水平滚动条。所有的字都在，而那个探针能看到的也就只有这些。我不得不指着屏幕把这一点说出来。\n探针测到的，和屏幕上显示的 修复前的 Yorkshire Post：同一个页面，两种测法 探针测到的 innerText.length8,808 body 子元素22 at 2s, 8s, 16s没变 结论：完好 屏幕上显示的 document.styleSheets.length0 链接成了原始列表，标志占满宽度， 还有横向滚动条 结论：坏了 在安排时就丢弃剥离器后：2 个样式表，532 条规则，页面正常渲染 同一个页面，两种测法。文本长度说页面很健康。样式表数量说它坏了，而样式表数量是对的。 原因是第一张表里的那个剥离器，而它不匹配定时器规则，因为它是一段普通的内联脚本，不是 eval。所以它自己的源码就是特征：一个重复执行的任务，函数体调用 querySelectorAll('link,style')，然后 remove()。没有任何正当的东西会这么做。它在被安排时就被丢弃，什么都不会被剥离，也就什么都不需要恢复。Yorkshire Post 从 0 个样式表变成 2 个，共 532 条规则，页面正常渲染了。\n找到它靠的是调用栈，而不是猜。给 Element.prototype.remove 打补丁，让它在删除 STYLE 或 LINK 时记录调用栈，第一次尝试就点出了那段内联脚本和那个 forEach。\n从那以后，document.styleSheets.length 进入了每一项检查。一个没有样式表的页面，不管有多少文字，都是坏的。测量比你想的要难，下面是当天让开发栽了跟头的陷阱：\n陷阱 它说了什么 真实情况 用文本长度做渲染检查 “完好” 没有样式的标记 加载后只采样一次 Reach 的墙在八个刊物上“不存在” 墙只存活约 600ms，采样时已经被清掉了 导航后控制台为空 “守护没有触发” 加载时的消息在导航中活不下来 在 1 秒和 4 秒时采样 notebookcheck 很健康 它在 5 到 8 秒时变成空白 跨源统计 cssRules ESPN 有 5 条规则 跨源样式表会抛异常，所以读数偏低 600ms 那个的修复办法是从页面加载那一刻起每 100ms 轮询一次。在 Wales Online 上，墙在 425ms 出现，到 1,129ms 已经没了。\n然后检查被真刀真枪地跑了一遍。26 个域名上的 52 篇文章，每个网站两篇，选来覆盖每一种机制：52 篇里 52 篇都有样式表，屏幕上没有残留的墙，没有重载循环。然后是直接从 Google News UK 首页取的 50 个链接，不是我挑的：45 个正常渲染，2 个是我的 Pi-hole 有意屏蔽的主机，1 个是 The Times 真正的付费墙，还有 2 个是同一篇文章出现了两次，因为 Google 每次加载都会重排链接顺序。没有一个是零样式表。那一轮里冒出了三个我从没测过的 National World 刊物，带着同样的 SDK，三个都正常渲染了，这正是匹配形状而不是网站清单的意义所在。\n一共有 77 个单元测试，和其他一切一起放在代码仓库里。这台机器上没有 Node，所以它们跑在 gjs 上，并针对一个替身 DOM 加载真正的 walls.js，因此被测试的就是生产环境里的那些模式。每一个测试都经过检验：把它守护的东西弄坏，看着它变红。它们只测试判断。通过测试并不意味着页面能渲染，而 The Scotsman 就是 README 里写着这句话的原因。\n正确地回答同意问题 删掉一个同意横幅，问题就仍然没有回答。这有两个后果，第一个是横幅在每次加载页面时都会重建。而且，一个在同意 API 回复之前扣着内容不放的出版商会直接卡住，而一个得不到回复的供应商可以把这个问题当作从没问过。沉默不等于拒绝。\n所以扩展会回答它，按这个顺序：\n拒绝，回答不，什么都不存，最后才删除 同意横幅要回应，而不只是删掉 屏幕上出现同意服务商自己的容器 #qc-cmp2-container #onetrust-consent-sdk sp_message_container 1. 按下他们的拒绝按钮 Reject all, Decline, Only essential, Continue without accepting 只认整个标签，最多 40 个字符 命中 Accept：构建失败 2. 回答 API：不 __tcfapi 所有用途、功能和 供应商一律拒绝 tcString \"\" tcloaded 3. 永不保存记录 euconsent-v2 addtl_consent OptanonConsent didomi_token cookie 和 localStorage 写入被丢弃 下一个周期仍在屏幕上？ 是：删除它，解锁滚动 否：拒绝就此生效 三个回答加一个兜底。如果有拒绝按钮就按下它，对同意 API 的一切都回答“不”，永不保存这条记录，只有在下一个 tick 仍然立着的横幅才会被移除。 它首先按下他们的拒绝按钮。 只限于整个标签都是拒绝的按钮：“Reject all”、“Decline”、“Only essential”、“Continue without accepting”，再加几个，每一个都做了锚定，超过 40 个字符的一律忽略。有一个单元测试会喂给它“I Accept”、“Accept All”、“Agree and close”、“Allow all”、“Got it”、“Subscribe”和“Pay £2.99/mo”，只要其中任何一个匹配上，构建就失败。点错按钮就等于替你同意了，而这是这个项目绝对不能做的一件事。在 msn.com 上，按下“Reject All”就去掉了 Microsoft 的横幅，重载后也没再回来，因为 Microsoft 把拒绝记录保存在他们自己的服务器上。\n它对同意 API 回答“不”。 IAB 的框架给每个征求同意的页面一个叫 __tcfapi 的函数，用来询问你同意了什么17。只要它存在，扩展就以每一项用途、每一项特殊功能和每一个供应商都被拒绝来回答它，给出一个空的同意字符串和 eventStatus: 'tcloaded'，意思是这个回答是最终的。它只出现在页面上本来就有同意框架的地方，所以一个从没问过的网站看不到它。\n它永不保存这条记录。 document.cookie 和 localStorage 会悄悄丢弃 euconsent-v2、addtl_consent、OptanonConsent、didomi_token 等等，所以一个你从没给过的同意永远不会被写下，也永远不会在下一个页面被重放给 1,467 个合作方。英国法律本来就要求，为此在你的设备上存储任何东西之前必须先取得同意18。扩展只是把这个“不”落实下来。\n那份清单上的每一个名字都在两端做了锚定，这背后有个故事。Sourcepoint 的 cookie 以 _sp_ 开头。一个偷懒的 sp_ 模式也会匹配 Spotify 的 sp_dc 和 sp_t，那是登录会话，结果会在每个页面上把我从 Spotify 登出。这一点也有一个测试钉住。\n移除是兜底手段。 只针对点击之后仍然留在屏幕上的横幅，而且只针对真正在显示的横幅。好几家供应商不管横幅有没有弹出，都会在页面里留一个永久的包装层。euronews 留着一个高度为零的 Didomi 宿主元素，把它扯掉只会弄坏页面，毫无收益。Reach 那个藏在 \u0026lt;body\u0026gt; 下三层、两个本身并非固定定位的包装层里面，所以检查必须一路往下走到那个真正固定的框。\n分享按钮，以及一个无视自己设置的门户 这些页面上还有两样东西，是为读者以外的人服务的，它们需要和墙不同的处理方式。\n分享和关注按钮。 每一个指向 Facebook、Instagram、X、TikTok 或 LinkedIn 的链接都被改写成 http://localhost/removeme，原始地址存放在一个属性里，所以什么都不会丢。然后第二轮会删掉那些明摆着是摆设的东西（没有文字的图标、“Share on X”、任何自称 share 或 social 的容器里的东西），其余的则隐藏起来。这个标记的作用是让一个选择器就能显示所有即将被拿掉的东西；还有一个只做标记的模式，在第一轮之后就停下，让你在信任它处理某个网站之前先看一眼。\n天真的做法会以三种方式弄坏页面，每一种现在都有一个测试：\n天真的做法 它弄坏了什么 实际的做法 a[href*=\u0026quot;x.com\u0026quot;] 也会匹配 netflix.com、linux.com、phoenix.com 解析主机名，按完整的标签比较 删除每一个社交链接 “Continue with Facebook”没了，人们被锁在门外 登录、OAuth、法律和开发者链接一律不动 删除句子里的链接 文字跟着一起没了 默认隐藏；有一个选项可以拆掉链接、保留文字 最后那一条是我明知故做的取舍。打开它之后，BBC 的一段结尾读起来是“follow BBC Manchester on , , and .”。我看了这个，还是选择了隐藏。不同意的人可以用那个保留文字的选项。\nMSN 和 Bing。 两者跑的是同一套 Web 组件，首页上大约有 160 个 shadow root。直接查询文档只找到 1 个链接。遍历 shadow root 找到了 73 个，包括 Facebook 和 X 的磁贴。任何不去遍历它们的东西，几乎什么都看不到。\nMSN 确实有它自己的内容设置。这些设置保存在 Microsoft 的服务器上，对应一个匿名 ID，而不是在 cookie 里，所以清一次 cookie、换一个新的配置文件或者开无痕模式，它们就都没了。它们根本管不到 Bing。而且在把每一项都关掉、滚动了 11,700 像素之后，信息流里仍然有这些：\nMSN 自己的开关，已关闭 仍然在页面上 Casual Games 游戏磁贴 Shopping Booking、Temu 和 eBay 的广告磁贴 Comments 501 个评论链接 Weather、Finance、Sports 没了，直到下一次清 cookie 一个标着 Comments 的开关，关掉后页面上还留着 501 个评论链接，这是对用户做出的一个声明，而且是一个假声明。所以扩展自己把它们拿掉，针对的是 MSN 稳定的组件名，而不是每次构建都会变的类名。\n我在那里学到的一件事，适用范围远不止 MSN：把一张图片从页面上删掉，并不能阻止它加载。只要设置了 src，Chrome 就开始获取，哪怕这张图片从未被放进页面19。等内容脚本看到一张卡片时，它的缩略图早已在线路上了。所以信息流数据是在提供它的两个端点上被屏蔽的，而图片主机一个都不碰，因为 th.bing.com 也为 Bing 图片搜索提供服务。\n而且 MSN 的信息流在消失之前，仍然会在屏幕上闪一下。之前四次尝试更早地隐藏它，测量结果都显示有效，却没有一次止住了闪烁，这说明被绘制出来的东西并不是扩展隐藏的那个。设置页面把这一点说得明明白白。我宁愿它这么说，也不愿它暗示一个它根本做不到的干净加载。\n它不会做的事 它不会 因为 打开真正的付费墙 如果服务器扣着文章不发，它就一直被扣着 对某个网站瞎猜 一个域名只有在那里亲眼见到它的墙之后才会加进来；两个被假定与 Page Six 相同的 News Corp 网站结果并不相同，又被拿了出来 碰没有特征的网站 在 BBC 上，每一个钩子都装上了，却什么都没记录，没有丢弃定时器，没有碰任何节点 回传数据 没有主机权限，没有网络访问，没有遥测；错误日志留在你的浏览器里 装样子 MSN 的闪烁还没解决，还有一个 Ad-Shield 变体 wp-ls/… 目前匹配不上；它的页面渲染正常，所以它被记录在案，而不是靠猜去修 发给你的页面就是你的 一旦服务器把一个页面发给了你的浏览器，那份副本就在你的机器上了。事后在上面运行代码把它拿走，这不是我认得的任何一种商业模式。这是老把戏：把东西卖给你，然后手还一直搭在上面。\n报纸曾经是你买下然后就归你所有的东西：街角有人抱着一摞，你递过钱，它就跟你回家，归你读、归你折、归你借给别人，或者拿去生火。没人会在一小时后找上门来，因为你跳过了广告就把第二版剪掉。网络版把报纸白白送出去，分文不取，然后把读者卖了。先卖给广告商，再卖给那 1,467 个合作方，现在又卖给一家供应商，而这家供应商的整个产品，就是判定你表现得够不够好，配不配留着你已经拿到的东西。\n我过不去的那一关是样式表。一家报纸让广告公司的服务器来决定自己的版式能不能活下来，就等于把自己的头版拱手送人了。它不会知道自己送出去了，因为内部没人屏蔽那台主机，所以第一个发现的人，是一个装着 Pi-hole 的读者，看着满页光秃秃的链接，还被一个对话框告知错在他自己。错不在他。\n新闻是有价格的，我付这个钱没有任何问题。我不会做的，是让一个脚本来决定我已经拿到手的东西。这条线画在我的浏览器里，而不是他们的。\nPi-hole documentation — “The Pi-hole® is a DNS sinkhole that protects your devices from unwanted content, without installing any client-side software.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewsquest — About us — “We are the leading local news publisher in the UK with a portfolio of more than 200 brands.” 品牌不等于域名，所以从证书上数出来的数字更高。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDaily Business, 18th December 2024 — “National World, owner of The Scotsman and Yorkshire Post, has reached agreement on a £65.1 million takeover by Irish publisher Media Concierge.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReach plc — About us, archived 5th September 2026 — “120+ brands, from household names like the Mirror, Express, Daily Record and Daily Star, to local titles like MyLondon, BelfastLive and the Manchester Evening News”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDimova et al., \u0026ldquo;The CNAME of the Game: Large-scale Analysis of DNS-based Tracking Evasion\u0026rdquo;, PETS 2021 — CNAME 伪装“effectively bypasses antitracking measures that rely on fixed hostname-based block lists.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nuBlockOrigin/uAssets issue #30988，归在维护者的“Ad-Shield”标签下，附带从 error-report.com 提供的消息：“Failed to load website properly since html-load.com is blocked.” 另见 Jacob Desforges, \u0026ldquo;Ad-Shield ad reinsertion\u0026rdquo;, 12th April 2026。这一归属是过滤列表社区做出的；供应商自己什么都不披露。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSourcepoint — Anti-adblock FAQs, archived 25th May 2022 — “Historical experience shows on average about 30% of messaged users will turn off their adblockers.” 同一页面还问到，“a CNAME applied to a 1st-party subdomain”是否能防止检测脚本被屏蔽。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAdExchanger, 16th August 2023 — “InMobi acquired Quantcast’s consent management platform, called Quantcast Choice”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK GDPR, Article 7 — “utmost account shall be taken of whether, inter alia, the performance of a contract, including the provision of a service, is conditional on consent”。Recital 42：同意不是自由给出的，“if the data subject has no genuine or free choice”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICO — Consent or pay, published 23rd January 2025 — ““Consent or pay” models can be compliant with data protection law if you can demonstrate that people can freely give their consent”。该页面现在说，随着 Data (Use and Access) Act 的出台，这份指引正在审查中。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEDPB Opinion 08/2024, adopted 17th April 2024 — “In most cases, it will not be possible for large online platforms to comply with the requirements for valid consent if they confront users only with a binary choice”。它针对的是大型在线平台，而不是地方报纸。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — content_scripts manifest key — “Choosing the \u0026ldquo;MAIN\u0026rdquo; world means the script will share the execution environment with the host page\u0026rsquo;s JavaScript.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nECMAScript — CreateGlobalVarBinding — “If a binding already exists, it is reused and assumed to be initialized.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — declarativeNetRequest — “provides implicit access to allow , allowAllRequests and block rules”，否则“you must request host permissions before you can perform any action on a host.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — declarativeNetRequest — “Errors and warnings about invalid static rules are only displayed for unpacked extensions. Invalid static rules in packed extensions are ignored.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHTML Standard — the Location interface 把它的成员标记为 [LegacyUnforgeable]，在 Web IDL 里这意味着“the property will be non-configurable and will exist as an own property on the object itself”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIAB Tech Lab — TCF v2 CMP API — “Every consent manager MUST provide the following API function: __tcfapi(command, version, callback, parameter)”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPECR, regulation 6 — “a person must not store information, or gain access to information stored, in the terminal equipment of a subscriber or user”，同意作为条件规定在 Schedule A1 中，经 Data (Use and Access) Act 2025 修订。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHTML Standard — update the image data — 运行于“whenever that element is created or has experienced relevant mutations”，包括设置它的 src 时；是否在文档中不是条件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/random/the-news-site-sent-me-the-article-then-deleted-it/","summary":"Newsquest、National World、Reach 等出版商把完整的文章连同样式表发到你的浏览器，然后运行商业化的反广告屏蔽和同意管理代码：把页面清空，每 100ms 删除一次所有样式表，或者用一个在 1,467 个追踪合作方和每月 £2.99 之间二选一的框把它盖住。本文逐一讲解这些代码做了什么，我称之为恶意软件的四个理由，以及我花一天时间做出来、用来保住页面的 Chrome 扩展：在墙搭起来之前钉住 Newsquest 的 adLight 标志，丢弃由 eval 安排的定时器，在安排时就干掉样式表剥离器，并且正确地拒绝同意：对 TCF API 回答“不”，按下供应商自己的拒绝按钮，并且永不保存这条记录。然后是那些越修越糟的修复，那个说坏掉的页面没问题的探针，分享按钮和 MSN 信息流，以及这个扩展不会做的事。","title":"新闻网站把文章发给了我，然后又把它删了"},{"content":"煤电归零，用了十四年 Kate Morley 的 National Grid 仪表盘可以让你设定时间窗口，看着数字变化。1 数据集从 2012 年开始，那一年恰好是煤电的顶峰，所以“全部时间”那一列就是整个清洁化过程浓缩成的一个数字。\n全部时间（2012–） 过去一年 过去一周 过去一天 碳强度 251 g/kWh 124 g/kWh 98 g/kWh 67 g/kWh 煤 12.4% 0.0% 0.0% 0.0% 天然气 33.5% 27.0% 21.2% 15.9% 风电 19.5% 34.8% 46.0% 64.1% 太阳能 3.7% 7.4% 8.3% 11.1% 核电 18.3% 12.0% 12.0% 12.9% 化石能源合计 45.8% 27.0% 21.2% 15.9% 可再生能源合计 24.4% 43.6% 55.8% 76.6% 需求 32.6 GW 30.9 GW 28.4 GW 25.8 GW 价格 £70.13/MWh £92.77/MWh £125.01/MWh £27.18/MWh 风电现在是大不列颠最大的单一电源。整整一年 34.8%，天然气 27%，核电 12%。不是某个好日子。是十二个月。\n煤是零。不是很低。是零，整整一年。最后一座煤电站在2024年9月30日关停，距离世界上第一座煤电站于1882年1月在伦敦开张，已经过去了一百四十二年。也就是说，这个国家发明了煤电，然后花了将近一个半世纪才想起来把它关掉。1 碳强度相比十四年的平均值减半，从 251 降到 124。减半，用了十四年。\n消失的需求 再看一遍需求那一行。长期平均 32.6 GW，过去一年 30.9。它已经降了二十年，自 2005 年以来每年大约 5 TWh。\n2005 2023 居民需求 126 TWh 93 TWh 工业需求 117 TWh 86 TWh 平均每户 4,662 kWh（2007） 3,449 kWh 在这段时间里，居民用电减少了 33 TWh，而这个国家同时接入了一百五十万辆电动车和二十五万台热泵。2 欧盟的 Ecodesign 规定做了其中很多工作；光是照明法规在 2020 年就为整个欧盟省下了 81 TWh。3 能效不只是吸收了电动车，它把电动车淹没了。\n两个附加说明，因为这一点常被夸大。工业需求也降了，从 117 TWh 降到 86，这主要是工厂关门，而不是工厂变聪明了。而且下降已经结束了。2024 年是近二十年来需求第一次回升。2\n本该压垮电网的汽车 这是电网吸收掉的车队，直接取自 DVLA 的登记表。每年年底在大不列颠登记的纯电动车辆。4\n年份 轿车 厢式货车 巴士 重型货车 摩托车 合计 2015 20,472 4,786 194 314 917 26,756 2017 41,222 6,401 303 283 1,046 49,334 2019 89,581 10,479 504 269 2,790 103,724 2021 374,597 28,245 1,295 331 9,118 413,908 2023 916,576 64,988 3,188 732 14,142 1,000,092 2024 1,266,421 84,959 4,821 983 14,039 1,371,779 2025 1,708,499 111,837 7,450 1,472 13,460 1,843,395 十年里轿车增长了八十三倍，整个车队增长了六十九倍。第一百万辆电动车在 2023 年底到来，数字是 1,000,092，统计数字能踩得这么准的时候不多。没人计划过这个。\n那张表里有三件事是你在新闻标题里看不到的。\n重型卡车几乎还没起步。 整个大不列颠只有 1,472 辆电动重型货车，而且这个数字在 2015 到 2020 年之间实际上还下降了，降到 253。轿车一直是容易的部分。这才是难的部分，而它还没真正开始。\n电动摩托车在倒退。 2023 年 14,142 辆，然后是 14,039，现在是 13,460。连续两年下降，是唯一一个在其他一切都在复利增长时萎缩的类别。\n百分比在放缓，车却没有。 轿车增长率 2020 年是 114%，2025 年是 35%。但 2025 年上路的轿车是 442,000 辆，2024 年是 350,000 辆。大数字的低百分比，照样胜过小数字的高百分比。\n至于往哪儿走，NESO 的 2025 年 Future Energy Scenarios 预计，到 2050 年大不列颠的电动车在 Holistic Transition 情景下是 3,100 万辆，Electric Engagement 下是 3,340 万辆，Hydrogen Evolution 下是 3,610 万辆。5 今天的 184 万大约只走了百分之六。\n那些情景里有一个细节值得留意：智能充电能提供的灵活性今年下降了，从 16 GW 降到 10 GW。电池更大意味着充电次数更少、每次更长，可以挪来挪去的余地也更少。5\n根本没出现的需求 不过，还有第二样东西在压低需求，而且它不是能效。\n自用比例 太阳能，无电池 30–40% 太阳能加电池 80–90%6 英国现在有两百万套太阳能装置，加起来 22.3 GW，而且超过 30% 的新系统配了电池，五年前只有 10%。6 在面板后面放上储能，屋顶发的电大部分就永远不会经过电表。\n那些电并没有被省下来。只是不再被计数了。变的只有电表。\n年份 新增太阳能装机 2021 ~0.4 GW 2022 ~0.5 GW 2023 1.9 GW 2024 2.3 GW 2025 2.6 GW 五年里翻了六倍，曲线的形状告诉你原因。2021 和 2022 年是平的。然后账单来了，人们算了算账，太阳能就不再是一个环保选择，而成了一个财务选择。\n我们家就在那张表的某个地方。屋顶上九千瓦，下面三十千瓦时的电池，两辆车和空调吃掉白天的发电。从 National Grid 的角度看，这个地址这些年一直在悄悄缩小。从物理学的角度看，并没有。那些能量只是不再出现在任何人的图表上了。\n向行之有效的东西开战 上面这些没有一样是偶然发生的，而现在有人正在努力阻止剩下的部分。\nReform 在 2025年5月拿下了英格兰的十个郡议会，并表示会动用 “every lever” 来阻止新的风电、太阳能和电池项目。Carbon Brief 估计面临风险的规模大约是 6 GW：这十个地区里有 5,076 MW 的电池项目、786 MW 的太阳能和 56 MW 的风电。7 该党的能源发言人写信给林肯郡的开发商，告诉他们 “this is war”，还向 SSE Renewables、Octopus Energy、Centrica 和 Equinor 的首席执行官发出正式通知，说 Reform 政府会撕毁他们的协议。7\n检验农田的说法 给出的理由是农田和粮食安全。这个说法是可以检验的，那就检验一下。\n土地用途 面积 占英国比例 地面光伏，2024年9月 21,200 ha ~0.1%8 同上，卫星测量的研究 15,580–17,364 ha 0.06–0.07%9 高尔夫球场 125,000 ha ~0.5%10 到 2035 年 70 GW 太阳能 不适用 不到农田的 1%10 太阳能覆盖了这个国家大约千分之一的土地。高尔夫大约是它的五倍，而这么多年来，大声担忧英国粮食安全的人里，没有一个人给哪家高尔夫俱乐部写过信、向它宣战。一封都没有。\n噪音底下埋着一个真正的论点，值得直白地说出来。CPRE 发现，英格兰最大的那些太阳能电站有 59% 建在高产农田上，其中 31% 的面积被列为最好、最多用途的等级。11 土地的质量是一个合理的问题。土地的数量不是，而人家拿出来说的偏偏是数量。\n再看一遍那 6 GW 里到底是什么。太阳能只占 786 MW。电池是 5,076 MW，占了被争夺容量的五分之四以上。7 农田论点瞄准的是小的那个数字。储能才是真正的目标，而储能什么庄稼都不种。\n检验火灾的说法 电池项目以火灾风险为由被否决。公平地说，并不只在 Reform 执政的地方。这一条是广泛的地方反对，而不是某一个党的运动，而且它很管用。利兹 Allerton Bywater 附近的一个项目收到了超过 900 份反对意见。Eaglesham 附近一处绿化带用地在 250 份反对意见之后，因为对锂电池起火的担心被驳回。德文郡一个 49.9 MW 的项目被否决，违背了规划官员自己的建议。12\n那就把火灾和反对意见放在一起看。\n数量 英国有史以来的电网电池火灾 已知 3 起13 韩国，2017–2019 年集中爆发 2814 EPRI 全球事故数据库，2011 年以来 ~95 条14 一个利兹项目收到的反对意见 900+12 利兹的一份规划申请收到的反对意见，比 2011 年以来全世界任何地方记录在案的电网电池火灾还多。这个国家有史以来三起。其中一起还是在一个尚在施工的场地。13\n而 2018 和 2019 年全世界 30 起事故里，有 27 起在韩国。一个国家的集中爆发，严重到让他们的储能市场停摆，也是这个数据库存在的原因。14 把这些去掉，全球的记录就更薄了。\n与此同时，事故率已经崩塌。每年的故障数大致持平，而部署量从 2018 年的 11 GWh 增长到 2024 年的 300 GWh 以上。也就是说，按单位装机量算，故障率下降了 99%，因为标准跟上来了。14 2024 年，0.3% 的项目发生过导致有安全隐患的火灾的故障。14 这一点，以及大家都会引用的 Moss Landing 火灾，我在讲被浪费的能量的那篇文章里讲过。\n然后是它们为什么会出故障，这一点本应终结这场争论。\n根本原因 占故障比例 集成、组装和施工 36%15 运行 29% 设计 21% 制造缺陷 4% 89% 的事故根本不是从电池开始的。15 整个数据库里只有三起能追溯到电芯或模组缺陷。真正出问题的是系统的其余部分：直流和交流布线、暖通空调、灭火装置本身。而且 72% 的故障发生在施工、调试期间，或者投运后的头两年里。15\n所以问题不在化学。在安装。不达标的组装，安装时偷工减料，调试时监控还没上线，于是一处泄漏或一个绝缘故障有足够的时间一路连锁下去，等到需要出动消防车时，还没有一个警报在任何人能听见的地方响过。换句话说，就是活干得烂。\n这一点要紧，因为它改变了答案是什么。如果锂电池天生容易起火，那你把它挡在村子外面是对的。它不是。这是施工质量和检查的问题，而这类问题我们早就知道怎么解决。跟任何其他电气安装一样：像样的标准，像样的验收，有个懂行的人检查活干得怎么样。\n这就又回到了规划规则，这里有一个真正值得补上的缺口。郡议会没有法律义务就 BESS 申请征询消防部门的意见，所以有的要求一份完整的火灾管理计划，有的则把安全完全当作规划之外的事。12\n反对的理由是“这些东西会起火”。数据说的是：装得烂的东西会起火。前者是拒绝许可的理由。后者是检查施工的理由。补上缺口，这个理由就没了。放着不管，它就会一直管用。\n值得一提的是，到目前为止这些做法都没怎么奏效。一年过去了，那些郡议会发现，阻止大型太阳能项目，在新闻稿里说比在规划委员会里做要容易，好几个项目照样通过了。7\n顺着钱走 至于这套说辞从哪儿来，资金来源是有据可查的。\n机构 收到的钱 来自 Heartland Institute $676,000+（1998–2007） ExxonMobil16 Heartland Institute 未披露的其他款项 与 Koch 有关联的基金会16 GWPF / Net Zero Watch $500,000+ 一个与 Koch 有关联的基金17 GWPF / Net Zero Watch $210,525 Sarah Scaife Foundation，经由其美国分支17 Heartland 是一家美国的气候否认机构，在英国开了分部，开张时 Nigel Farage 是贵宾。16 Global Warming Policy Foundation 在这里以 Net Zero Watch 的名义活动，它是一家注册慈善机构，通过一家私人公司开展宣传活动。17\n美国的化石燃料资金，美国的话术，一个英国政党拿来复述，攻击的是一项这个国家明摆着很擅长的技术。这几个点怎么连起来，留给你自己。\n这些话术来的时候还附带着一位总统。\n说法 证据怎么说 风机噪音致癌 完全没有根据。没有任何证据表明这种声音危害健康。18 海上风电害死鲸鱼 NOAA 和 National Marine Fisheries Service 没有发现任何科学证据。搁浅是船只撞击、渔具和海水变暖造成的。18 制造风机会产生 “tremendous fumes” 一台风机在 5 到 8 个月内就能偿还建造它所用的能量。风电的 CO₂ 排放比天然气少 37 倍，比煤少 77 倍。19 最后一条值得多说两句，因为它正好反过来了。在美国能源部测量过的所有发电技术里，风电的碳足迹最小。19 IPCC 的中位数是陆上风电 11 g/kWh，煤 820。我在讲被浪费的能量的那篇文章里列过这些数字。被指控制造污染的东西，恰恰是制造污染最少的东西。\n鸟的那一条至少是从某个真实的东西出发的，那就把它和其他害死鸟的东西放在一起比。\n美国鸟类死亡原因 每年 风机 140,000–330,00018 建筑物 ~6 亿18 猫 20 亿+18 风机大约占六千只鸟里的一只。从来没人上电视讲过猫。猫就没问题，看来是这样。\n而动物福利这条线也不是哪个观鸟的人提出来的。它是由一家保守派智库协调的，这家智库的资金来自一个由 ExxonMobil、Chevron 和 Marathon Oil 支持的行业团体。18 和上面那张表同一笔钱，换了个投递方式。\n这就是第三条渠道。智库写，报纸登，再在网上大批量推送。布朗大学的一项研究发现，把气候科学说成假的推文里，接近 40% 出自机器人账号。20 我不敢说知道是谁在操控它们，而且那项研究讲的是一般的气候否认，而不是专门针对英国的太阳能。但不管你从哪一头拿起来看，模式都成立：这些说法是错的，是老一套，而且是花钱买来的。\n说的是同一种语言 我认为被忽略的是这一点。问问 Heartland 为什么把分部开在伦敦，而不是里昂或莱比锡。\n因为它在这里原样就能用。不用翻译，不用本地化，不用把论点改造得适应一个用公制度量、靠区域供热网给家里供暖的国家。新闻稿用英语落地，当天就能见报。\n背后有一个被梳理出来的结构，而不只是共用一套词汇。\n这座桥 Atlas Network，华盛顿特区 支持 90 多个国家的 450 多个组织21 资金经由 Donors Trust 和 Charles Koch Foundation21 55 Tufton Street，威斯敏斯特 GWPF、IEA、TaxPayers\u0026rsquo; Alliance、Centre for Policy Studies、Adam Smith Institute、Civitas21 DeSmog 梳理出的美英关联 ~2,00021 2025年9月的 Reform 大会上，气候否认者成群出现。21 这些没有一样需要翻译哪怕一个字。\n而且流量是双向的。有记录显示，英国极右翼的 Telegram 频道在放大关于美国选举公正性的虚假信息。同一根管子，换了个方向。22 研究人员描述了英语出版物如何设定叙事，然后被其他语言的媒体接过去重复，这让我们排在队伍的最前面，而不是最后面。22\n法国或德国的读者会有一段延迟和一个译者，而翻译是一道过滤。总得有人判断这个说法值得转述，还得核实到愿意署上自己的名字。我们拿到的是生的，以转推的速度，来自一个比我们大四十倍、我们本来就在消费其娱乐内容的媒体市场。\n这才是真正的弱点。不是美国人在争论他们自己的电网。他们爱怎么弄就怎么弄。而是我们听得见每一个字，用我们自己的语言，讲的是我们的电网，出自那些从来没见过它的人之口。\n碳少了，电却贵了 有一样东西没有改善。过去一年电价平均 £92.77/MWh，整个数据集的平均是 £70.13。贵了大约三分之一，而碳排放减了一半。1\n你应该读到过，原因是可再生能源。你应该读到过很多次。\n英国全国性报纸，2025 年 批评可再生能源的社论 4223 反可再生能源社论多于支持的社论，上一次是 201423 右倾的气候社论中反对气候行动的 81%23 批评性社论中以成本为主要论点的 86%23 所以论点是成本。不是鸟，不是风景，不是间歇性。八篇里有七篇是成本。\n仪表盘能把这个问题了结，因为它每半小时同时公布价格和电源结构。下面是2026年9月20日，从下午茶时间往后。1\n时间 价格 天然气 天然气占比 碳 太阳能 风电 16:00 −£19.03 2.85 GW 11.3% 71 g/kWh 6.33 11.30 16:30 £38.19 3.74 GW 15.1% 88 g/kWh 5.19 10.84 17:00 £103.70 4.46 GW 18.3% 109 g/kWh 4.06 10.21 17:30 £134.16 6.23 GW 25.6% 133 g/kWh 2.64 9.68 18:00 £175.57 7.96 GW 32.2% 150 g/kWh 1.53 8.96 19:30 £195.65 8.87 GW 39.9% 162 g/kWh 0.02 6.99 太阳下山了。天然气翻了三倍，从 2.85 GW 到 8.87。价格在三个半小时里从负十九镑涨到将近两百镑。到四点半的半小时里涨了 £57，到五点又涨 £65，到六点再涨 £41。这期间碳强度翻了一倍还多。\n看一整天，而不只是其中有意思的那一段，这个关系在全部四十八个结算时段里都成立。\n2026年9月20日，全部 48 个半小时 天然气占比范围 7.4% 到 39.9% 价格范围 −£19.03 到 £195.65 总波动 £214.68/MWh 天然气占比与价格的相关系数 r = 0.933 负电价的半小时数 18，从 01:00 到 16:00 零点九三，在一天之内，天然气合同还是固定的。而其中有九个小时，大不列颠在付钱给别人，请他们把电拿走。天然气降到 7.4%，太阳能接近 10 GW，价格低于零。\n然后太阳落山，电价是 £195.65。同样的电线。同样的风电场。同一个国家。\n机制是边际定价。批发价由那半小时里需要的最贵电厂的运行成本决定，而那几乎总是天然气。危机期间，天然气在 98% 的时间里设定价格，而它只供应了大约 40% 的电；2021 年，是 37% 的发电量、97% 的时间。24 在欧洲所有国家里比例最高。\n发电量占比 定价时段占比 天然气 过去一年 27.0%1 97–98% 的时段24 风电、太阳能、核电、水电、生物质 73.0% 其余 不过有一点得老实交代，因为总会有人看出来。全部时间的平均是 £70.13/MWh，用的是比今天更脏的电源结构，却比过去一年的 £92.77 便宜。那不是风电把价格推高了。那是 2012 到 2020 年天然气便宜。跨越不同年代，主导的是天然气的价格；在一天之内，主导的是天气。两者指向同一个元凶。\n所以四分之一的电源结构给全部的电定价。风电在发电端可以是免费的，其中很多实际上就是，而你账单上的数字纹丝不动，因为排在最后的那座燃气电厂仍然决定费率。\n这不是可再生能源让电变贵。这是一个 1990 年代的市场设计，撞上了一个早已不像 1990 年代的电网。\n反事实把这一点钉死了。取一次天然气价格飙升，就是我们已经经历过的那种，放在两个不同的电网上建模。24\n同样的天然气飙升打在这样的电网上…… 家庭账单上涨 达成 2030 年可再生能源目标 8% 完全没有 CfD 支持的可再生能源 45% 同样的飙升。同样的天然气。唯一的区别是有多少风电和太阳能待在那里，根本不在乎天然气多少钱。可再生能源越多，打击越小。相差五倍半。\n所以风电场是上一次危机能扛过去的原因，而不是危机发生的原因。三个不同的检验，一个答案：在一天之内，价格和风电反向而行；跨越年代，它跟着天然气价格走；在模型里，是可再生能源削平了飙升。天然气才是原因。差得远着呢，这其实没什么好争的。\n本可以解决那个傍晚的东西 现在把它和同一天早些时候价格低于零的那十八个半小时放在一起看。这恰恰就是电池能解决的那种问题的形状。在电网付钱请人把电拿走的时候给它充电，在下午茶时间的高峰把电推回去，排在最后的那座燃气电厂就永远不会被调用。9月20日的价差是每兆瓦时 £214.68。电池就是为吃掉这种价差而存在的。\n这就又回到了躺在十个郡议会里的那 5,076 MW 电池项目，以及那个承诺动用一切手段来对付它们的政党。阻止储能不只是推迟了一些减碳。它保护的是天然气的利润，一个半小时接一个半小时，偏偏就在天然气最值钱的那些傍晚。\n至于这是不是本意，顺着钱走。不管是不是，效果都是这样，而按上面那张表，这个论点背后的资金属于赚取这笔差价的那个行业。\n附加费，以及谁核对过这些数字 还有附加费，因为它们总被当作确凿证据来引用：\n账单组成，2025 年 金额 占比 电费里的政策成本 £148.45 电费账单的 17%25 燃气费里的政策成本 £50.86 燃气账单的 6%25 百分之十七，而且从 2026年4月起，政府把 Renewables Obligation 的 75% 从账单上挪到了一般税收里，在平均 £150 的降幅里大约占每年 £92。25 这是真金白银，值得争论，但离重头戏差得远。重头戏是那 27% 的发电量给另外 73% 定价。\n那 42 篇社论里有多少是谎言，我不打算告诉你，因为证明动机不是我坐在桌前能做到的事。能证明的是错误率，而它很难看。针对《Daily Mail》一篇文章的投诉指出了十五处事实错误；监管机构只要求更正了一处。26 《The Mail on Sunday》和《The Times》都报道说，NESO 发现到 2050 年净零的成本将是 4.5 万亿英镑。NESO 根本没发现过这种东西，而这已经是报纸第三次歪曲同一个机构了。26\n在有人拿投诉成立数量低来回敬我之前：IPSO 的投诉委员会里没有一个专业科学家，在技术问题上也不咨询专家，而且经常把一个错误的数字当作一种观点来处理。26 十五处错误里只有一处投诉成立，衡量的是监管机构，而不是那篇文章。\n你自己下结论。我的结论是：英国报纸上被重复得最多的反对可再生能源的论点，恰恰是你把它和电网自己的电表放在一起时垮得最快的那一个。\n而且天然气价格不由我们定 下面是天然气实际发生了什么，看欧洲的 TTF 基准价。27\nTTF 天然气价格 2021 年以前的平均 ~€20/MWh 2021年12月 €180 2022年3月 €220 2022年8月峰值 ~€340 2026 年初 €35–45 2026年9月中旬 €83.40 峰值时是正常价格的十七倍。再看最后一行。这个月天然气因为供应和储量的担忧涨到了 €83，这正是为什么一个没风的周日傍晚，大不列颠电网的电价是 £179.70/MWh。链条很短：欧洲天然气市场一动，天然气给英国定价，你的账单跟着走。\n还要注意，“恢复正常”并不是真的正常。今天 €35–45 的底价仍然是危机前的两倍，一有风吹草动就飙升。\n这些决定没有一个是在这里做的，而我们的风险敞口还在扩大。28\n英国天然气供应 北海占需求的比例，2025 年 大约一半 进口天然气，2025 年 464 TWh 其中挪威管道气 占进口的 69% 其中 LNG 占进口的 31% 目前 LNG 占总供应的比例 14% 到 2030 年 LNG 占比 超过 25% 到 2035 年 LNG 占比 接近 50% 北海产量每年下降 12–13%，预计到 2035 年比 2025 年下降 78%。28 缺口由来自卡塔尔和美国的油轮填补，在全球现货市场上购买，对手是亚洲的买家，只要哪个早上天冷，他们随时可以出价压过我们。\n所以，为了账单着想就该让电网继续靠天然气，这个论点是本末倒置的。天然气是我们控制不了的那部分，价格由我们左右不了的事件决定，来自正在枯竭的气田。风和太阳是设备一旦装好，就在这里白白发生的那部分。\n它的成本，和它的标价 一样东西的成本和你为它付的价钱是有区别的，而这整件事就卡在这道缝里。\n运行这个电网的成本下降了。碳排放减半，没有煤，三分之一的发电量来自免费送上门、从不寄账单的天气。这是成本。价格却走向了反面，因为我们保留了一条 1990 年代的规则，让系统里最贵的电厂给其他所有电厂定价，然后又从一个市场进口那座电厂的燃料，在那个市场里，亚洲的一场寒潮就能改变 Barnsley 一位领养老金的老人取暖要付多少钱。\n没人在隐瞒这一点。它就写在那里，在每半小时的结算数据里，免费的，在一个由一位女士维护的网站上。\n我一再想到的是，谁从这种混乱中获益。因为那些告诉你是风电场干的人，当你顺着钱往回追，他们的资金恰恰来自真正干了这件事的东西。这不是巧合，也不是无能。这是最老的把戏：让公众对系统里最便宜的部分发火，这样就没人去看最贵的部分。\n而被攻击的那部分，恰恰是我们唯一完全拥有的部分。一台燃气轮机需要一艘来自卡塔尔的油轮和一个在鹿特丹定下的价格。亨伯河口外的一座风电场需要的是维护。前者是一张长期扣款单，后者是主权，而我们看样子正要把自己说服，放弃后者去保住前者。\n这东西是我们建起来的。它管用。总该有人告诉大家。\n来源 Kate Morley — National Grid: Live — 大不列颠的发电结构、碳强度、需求和价格，可选过去一天、一周、一年以及 2012 年以来的整个数据集；还有最后一座燃煤电站于2024年9月30日关停。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDrax — 2024, the year GB electricity demand turned a corner — 二十年来的需求下降，电动车和热泵增加的负荷，以及 2024 年的反转。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuropean Commission — Light sources, energy label and ecodesign — 照明 Ecodesign 法规，以及它们 2020 年在整个欧盟省下的 81 TWh 电力。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Transport — Vehicle licensing statistics data tables, VEH0141 — 每季度末按车身类型和燃料类型登记的插电式车辆。上文数字取的是大不列颠每年第四季度的纯电动一列。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNational Energy System Operator — Future Energy Scenarios — 各路径下到 2050 年的电动车普及、车网互动容量，以及智能充电灵活性的修订。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMCS — UK homes installing a small-scale renewable every 90 seconds — 经认证的安装总数、两百万的里程碑和装机容量，以及配储能电池的新太阳能系统所占比例。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Brief — Reform-led councils threaten 6GW of solar and battery schemes across England — 2025年5月被拿下的十个郡议会里的装机容量、“every lever” 承诺、寄给开发商和能源公司首席执行官的信，以及这些项目此后实际的遭遇。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Planning for solar farms — 截至2024年9月底，地面光伏估计覆盖 21,200 公顷，约占英国陆地总面积的 0.1%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLancaster University — Researchers use satellite imagery to shed light on UK solar farm land use — 卫星测量得出的太阳能电站用地为 15,580 到 17,364 公顷，占英国陆地面积的 0.06% 到 0.07%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFriends of the Earth — Fact check: British farming and renewables — 高尔夫球场与太阳能的占地面积对比，以及 2035 年 70 GW 目标所对应的农田比例。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCPRE — Two-thirds of mega solar farms built on productive farmland — 英格兰在运行的最大太阳能电站有 59% 建在高产农田上，其中 31% 的面积被列为最好、最多用途的等级。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Battery energy storage systems — 规划中的反对意见和否决，包括 Allerton Bywater、Eaglesham 和德文郡的项目，作为起火机制的热失控，以及郡议会在 BESS 申请上没有任何就此征询消防救援部门的法律义务。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Battery energy storage systems — 有记录的英国电网级 BESS 火灾，包括2020年9月的利物浦和2025年2月埃塞克斯一处在建场地，并说明不存在可靠的公开事故统计记录。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEPRI — BESS Failure Incident Database — 2011 年以来全球电网级故障记录，2017–2019 年的韩国集中爆发，单位装机故障率随部署增长而下降，并说明该数据库只收录公开报道的事故。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUtility Dive — Cells and modules not responsible for most battery energy storage system failures — EPRI 的根本原因分析：集成、组装和施工占故障的 36%，运行 29%，设计 21%，制造缺陷 4%；89% 的事故不是源自电池；以及故障集中在施工、调试和投运后的头两年。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — What is the Heartland Institute? — 英国分部的开张、出席者，以及 Heartland 来自 ExxonMobil 和与 Koch 有关联的基金会的资金。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopenDemocracy — Net Zero Watch: how dark oil money is funding influential UK climate sceptics — 经由 American Friends of the GWPF 输送给 GWPF 和 Net Zero Watch 的资金，包括 Sarah Scaife Foundation 的款项。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nClimate Power — Fact check: Trump\u0026rsquo;s wind turbine claims — 致癌和鲸鱼的说法对照 NOAA 和 National Marine Fisheries Service 的立场，US Fish and Wildlife Service 对鸟撞风机的估计与建筑物和猫的对比，以及动物福利论点出自化石燃料资助的智库。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCNN — Fact check: five things Trump got wrong about wind turbines — “tremendous fumes” 和碳足迹说法对照美国能源部的立场，一台普通风机五到八个月的能量回收期，以及风电与天然气和煤的排放对比。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInstitute at Brown for Environment and Society — Shadowy Twitter bots spread climate disinformation — 把气候科学说成假的推文中追溯到机器人账号的比例。注意这是 2021 年一项关于一般气候否认的研究，并非专门针对英国可再生能源。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — 55 Tufton Street 以及 Mapped: how a US-UK network pushes climate science denial — 威斯敏斯特的这一机构群及其成员，Atlas Network 的覆盖面及其经由 Donors Trust 和 Charles Koch Foundation 的资金，梳理出的约两千条跨大西洋关联，以及气候否认团体出席 2025 年 Reform 大会。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDFRLab — UK-based far-right Telegram channels amplified disinformation targeting US election integrity — 有记录的双向跨大西洋放大，以及英语出版物在设定叙事、随后被其他语言媒体重复方面的作用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPress Gazette — Record opposition to climate action in UK national newspapers in 2025 — 批评可再生能源的社论数量，自 2014 年以来首次超过支持性社论，右倾气候社论中反对气候行动的比例，以及成本作为主要攻击点。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Brief — Q\u0026amp;A: Why does gas set the price of electricity, and is there an alternative? — 大不列颠的边际定价，天然气定价的结算时段占比与其发电量占比的对比，以及系统中有无 CfD 支持的可再生能源时天然气价格飙升的模型效果。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — What costs make up an electricity bill? — 电费和燃气账单中的政策成本，按金额和占比，Renewables Obligation 作为最大的单项政策成本，以及从 2026年4月起将其 75% 的成本转入一般税收。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Commentary — Climate misinformation and press regulation — 《Daily Mail》一篇文章被指出十五处不准确、只被要求更正一处，对 NESO 关于净零成本结论的反复误报，以及 IPSO 投诉委员会的构成和它在技术问题上的做法。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTrading Economics — EU natural gas (TTF) price history — 荷兰 TTF 基准价，从 2021 年以前的基线，经过 2021–22 年的飙升到2022年8月的峰值和当前水平，包括2026年9月因供应和储量担忧而出现的上涨。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICIS — Ebbing North Sea gas production to raise UK gas prices and exposure to LNG imports — 2025 年北海产量约占需求的一半，进口量及其构成，UKCS 的下降速度，以及到 2030 和 2035 年预计的 LNG 依赖程度。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/energy/the-grid-we-did-fix/","summary":"大不列颠用十四年把电力的碳强度减半，整整一年没用煤，风电成了最大的单一电源。与此同时，需求连降了二十年，而这个国家接入了 180 万辆电动车。这就是数字所显示的，包括那些煞风景的部分。","title":"我们确实修好了的电网"},{"content":"人人都引用、却没人细读的那个数字 Lawrence Livermore 前几天发布了他们 2024 年的能流图。图上说，美国一年用掉了 94.61 quad 的能量，其中 62.27 quad 被白白扔掉了。1\n好。一个 quad 是一千万亿（10¹⁵）英国热量单位（BTU）。 不是 quid，不是英镑。这篇文章里压根没有钱的事，要是你的眼睛老把它读成英镑，我的也是。美国人的国家能源账本用 quad 记，我们其他人用瓦时，所以这里给一个能让它有点意义的换算：1 quad 约等于 293 TWh，比整个英国电网一年输送的电量还稍多一点。\n“被浪费的能量”（rejected energy）就是这 62.27 的体面叫法。没做任何有用功的那一部分。烟囱里冒走的热，暖气片上散掉的热，排气管里排出的热。几乎全都是烧东西产生的废热。\n现在注意单位，因为我一开始就弄错了，互联网上大多数人也弄错了。62.27 是 quad，不是百分比。 把它和做了有用功的 32.34 quad 放在一起，占比是 65.8%。所有钻出来、挖出来、用管道输送和用船运来的东西，三分之二都变成了热空气。\n2024 年 折合英国电网 输入能量 94.61 quad 27,726 TWh 102 年 的量 被浪费 62.27 quad 18,249 TWh 67 年 的量 能源服务 32.34 quad 9,477 TWh 35 年的量 最后一栏是最让我震动的。英国电网一年大约输送 271 TWh。2 所以单是美国 2024 年被浪费的能量，就相当于 整个英国电网六十七年的发电量，在十二个月里当作热量扔掉了。\n换个说法：这个国家的电从现在一直发到 2093 年，你发出的电仍然比不上美国去年浪费掉的。\n这个数字被到处引用。这张图是怎么 计数 的，却几乎没人提。有意思的恰恰是这部分。\n顺便交代一句，毕竟这是一个约克郡人写的关于美国的文章。英国人说 petrol，美国人说 gasoline；英国人说 forecourt，美国人说 gas station；英国人说 aircon，美国人说 AC。我在英文原文里说 nowt 或 summat，意思就是“没什么”和“某样东西”。\n风电和光伏按 100% 计算 这里是让很多人栽跟头的地方。Livermore 采用的是美国能源信息署（EIA）的惯例，按照这套惯例，有四种能源计入时 完全没有转换损失。3\n能源 怎样计入图中 损失去了哪里 煤、天然气、石油 按燃料能量输入 约 60–70% 计入浪费 核能 按热能输入 约 67% 计入浪费 陆上风电 按电力输出 没有任何浪费 公用事业和屋顶光伏 按电力输出 没有任何浪费 水电 按电力输出 没有任何浪费 燃气电厂按燃气里的能量计入，所以它当作热量甩掉的那三分之二，就落进了浪费那一块。风机按它输送出去的电力计入。根本没有一行“风里的能量”可以拿来算损失。\n所以在这张图上，每一太瓦时从热电厂转到风电场，都同时做了两件事。给有用那一块加上，从浪费那一块减去。算了两遍。\n这意味着，“取消风电和光伏能 减少 浪费”这个说法，恰恰在它所依据的那张图上是反着走的。真有本该更懂行的人一本正经地跟我这么说过。这不是什么见仁见智的事。是符号弄反了。\n浪费到底在哪里 把这张图按部门拆开，它就不再抽象了。1\n部门 输入能量 被浪费 有用 效率 住宅 11.23 3.93 7.30 65% 商业 9.49 3.32 6.17 65% 工业 26.39 13.46 12.93 49% 交通 28.29 22.35 5.94 21% 在能量到达这四个部门之前，发电站还从冷却塔里损失了另外 19.21 quad。\n交通是最糟的，而且差得远。它拿走了最大份额的能量，只把其中 21% 变成了运动。那被浪费的 22.35 quad，占 美国扔掉的全部能量的 36%。 全国浪费的三分之一以上，出在一个部门里。\n一台汽油发动机，大概只能把燃料的 16–25% 变成运动。其余都是热和噪音。4\n到达车轮的有用能量 以热量形式损失 汽油发动机 16–25% 75–84% 电动车驱动系统（电池到车轮） 87–91% 9–13% 这不是边际上的改进。这是一台主要在给天空加热的机器，和一台主要在推动汽车的机器之间的差别。同样的行程，不同的物理。\n而且它贯穿整条链条，不只是车辆本身。把液体燃料送到加油站，在烧掉一滴之前就已经要耗费能量。\n环节 送到那里的过程中损失的能量 原油炼制 输入的 7–15%5 油轮、管道、公路油罐车 在此之上另算 电网输电和配电 约 5%6 油轮在全球航运中的占比 按载重吨计约 28%7 每年海运的原油和成品油 约 44 亿吨7 公路运输大约占全球石油需求的一半。把它电动化，油轮船队里相当一部分就没什么可运的了。\n这里值得说句实在话，因为夸大其词正是你输掉一场本来稳赢的争论的方式。电网损失是真实存在的，而且是电阻发热。电动车冬天要为车内取暖付出代价，而发动机是免费得到这些热量的。但这份免费的热之所以免费，只是因为发动机已经把四分之三的燃料扔进了垃圾桶。它的免费，就跟房子着火时散出来的那点暖和一样免费。\n美国能做的最大一件事 轻型车辆占交通能耗的 58.5%，这一部分不需要等待新技术就能电动化。8 算一笔账：只换驱动系统，其他一切不动。\n轻型道路运输 Quad 当前输入能量 16.55 它实际交付的有用功 3.47 同样的功经由电动车驱动系统 4.09 的电力 ……用燃气发电，按 CCGT 效率 9.08 一次能源 ……用风电、光伏或水电发电 4.09 一次能源 节省的能量 7.5 到 12.5 quad 哪怕每一辆都用燃气轮机发的电来充，你也能省下大约七点五 quad。用风电和光伏，就是十二点五。美国烧掉的全部能量的百分之八到十三，靠一次替换。\n这是整张图上任何地方都找不到的最大一笔效率收益，它不需要发明，不需要突破，不需要试点项目，也不需要新的物理，因为实现它所需的每一辆车，今天都已经在大批量生产和销售。车已经有了。诀窍就这么多。\n可是更好的发动机解决不了布局问题 电动车照样得跑完那段距离，而问题的另一半就在这里。\n美国 欧洲 人均每年驾车里程（英里） 约 12,400 约 6,2009 日常出行中驾车的比例 85% 50–65%9 不到一英里 的出行中驾车的比例 约 70% 约 30%9 每辆车对应的停车位 约 8 个 没有统计9 看第三行，因为它拿走了“地理条件”这个借口。在大西洋两岸，日常出行里都有大约 30% 不到一英里。同样的杂事，同样的距离。美国人十次里有七次开车。欧洲人十次里有七次步行、骑车或者搭个什么车。\n这不是地理造成的。也不是天气。是土地分区造成的，把住宅放在这里，商店放在三英里外的那边，再加上最低停车位要求，最后在全国给每辆车建出了将近八个车位。9 从 1920 年代到 1960 年代，美国的城市围绕汽车重建了一遍，西欧很大一部分也照抄了。从 1960 年代末开始，欧洲停了下来，并开始拆掉这一套。9\n所以十二点五 quad 是单靠电动化能达到的上限。再把里程减半，剩下的也减半。一个是工程活，另一个是规划活，而规划这件事，谁都没法靠一次购买就把自己摆脱出来。\n而最便宜的乘客英里，是共享的那一英里 还有第三根杠杆，美国差不多已经不再去拉它了。\n方式 每乘客公里能耗 汽油车 1.9 到 3.5 MJ10 客流繁忙的城市电气化轨道交通 0.3 到 0.6 MJ10 好四到六倍，这还是在谁都没换驱动系统之前。一辆单人驾驶的汽车，每乘客英里排放的 CO₂ 是一辆满载长途大巴的 7.7 倍。10\n现在看看现状。\n美国 欧洲 公共交通在乘客英里中的占比 0.40%11 是它的好多倍 驾车出行的比例 95%11 50 到 65% 电气化的铁路轨道 1.7%（美洲）11 欧盟 约 57%11 百分之零点四。这不是一个带有公共交通成分的交通体系。这是一个开车的国家，里面有几辆公交车。\n而 1.7% 的电气化率意味着，美国的铁路绝大部分仍然烧柴油。所以每一个把货运和客运转到铁路上的论点，说的都是一张仍然靠石油运转的网络。把轨道电气化，你就能在同一项工程里同时拿到运输方式的转移和燃料的替换。\n这里要说句老实话，因为它是反向的，总会有人提出来。公共交通只有坐满时才高效。美国公交车的上座率几十年来一直在下降，自 1970 年以来，公交车每乘客英里的能耗上升了 63%。10 一辆几乎空着的公交车，在一个住宅小区里绕一圈五十分钟，比它本该取代的汽车还糟。这是一个真实的数字，而且是个大数字。\n但看看是什么让一辆公交车空着。车站步行范围内没人住，另一头没什么值得走过去的地方，再加上一种在每扇门旁边都放八个车位的布局。空公交车说明的不是公交车本身的问题。说明的是车站周围建了些什么。\n这就引出了真正能让人离开汽车的东西，而那里的差距比运输方式占比的数字所显示的还要大。\n美国 欧洲 拥有地铁系统的城市 13 6012 拥有有轨电车网络的城市 30 多得多12 2000 年以来地铁线路长度的增长 基准 快三倍12 十三个。在一个三亿四千万人口的国家里。欧洲有六十个，而且自世纪之交以来铺新轨道的速度是美国的三倍，所以差距在拉大，而不是在缩小。\n方式本身也很要紧。针对欧洲城市的研究发现，地铁能让人离开汽车，而有轨电车网络基本做不到，这也符合你的预期：高峰时段地铁比开车快，有轨电车通常不比开车快。12 速度就是这个产品的全部。修一个比汽车还慢的东西，你修出来的是给别无选择的人的一份补贴，而不是给有选择的人的一个替代方案。\n这是清单上唯一一项真正昂贵的东西。分区改革花的是政治意志和一次重新起草。隧道要花几十亿。但它能买到另外两项买不到的东西。你用电把人送过一座密集的城市，每乘客公里 0.3 到 0.6 MJ，而且比他们自己开车还快。到了那一步，把车留在家里就不再是一种牺牲，而成了理所当然的选择。人们真正这么做，就是在那个时候。\n这意味着几个解决办法其实是同一个办法戴着不同的帽子。电动化从驱动系统上拿掉 7.5 到 12.5 quad。分区把里程降下来。密度让公共交通值得开下去，公共交通又让密度变得宜居。拉一根杠杆，你得到一根杠杆的效果。三根一起拉，效果相乘。\n美国眼下还在争论第一根。\n不过，这些都得从整件事里最便宜的一步开始，而这一步看起来也最难。总得有人大声说出来：这里有问题。\n诊断并不缺。它每年由一个联邦实验室免费发布在一个公开网站上，画成一张一分钟就能看懂的图。百分之六十五点八被浪费。交通占了三分之一。页面上最大的那一块，效率只有百分之二十一。没人需要委托一项研究，也没人需要等科学结论。科学结论八月份就出来了。人们读了标题数字，读错了，然后就翻篇了。\n这才是本该刺痛人的地方。没有哪个国家会花几十亿在城市底下挖隧道，去修一个它觉得没问题的东西，而美国已经悄悄地把每年 22.35 quad 的浪费归档在了“没问题”底下。不是争论过之后被驳回。是从来没被摆上桌面。\n剩下的热总得有个去处 热量只有在没地方放的时候才算浪费。这是一个规划决定，不是技术差距，而这个决定大多是几十年前就做下的。\n区域供热在热需求中的占比 丹麦 约 66%13 瑞典、芬兰、波兰、波罗的海国家 50% 以上 欧盟平均 约 13% 英国 约 3%14 美国 只有校园、医院和市中心的项目 截至 2025 年，欧洲大约有 111,650 个商业和工业场所在用跨临界 CO₂ 系统，约占全部食品零售的三分之一。15 Meta 在欧登塞（Odense）的数据中心自 2019 年以来，每年往当地供热网络送入大约 100,000 MWh。这些热量原本会从干式冷却器里散到空中。现在它们给 12,000 户人家供暖。13\n英国大约有 14,000 个供热网络，却仍然只满足了 3% 的热需求。14 一万四千个，却几乎没什么成果可言，因为它们规模小、零零散散，而且大多是附加在社会住房上的。Ofgem 一月份接管了监管，分区从今年开始。目标是到 2035 年达到 7%，到 2050 年约占建筑供热的五分之一。16\n丹麦并没有在做什么我们做不到的高明事情。丹麦在街道底下埋了管子。我们没有。就这样。区别就在这里。\n热泵，以及谁都想不到的那种制冷剂 在小尺度上也是同样的道理。电阻加热器的性能系数（COP）不可能超过 1.0。这就是它的定义。热泵是搬运热量而不是制造热量，所以它能做得更好。\n系统 COP 条件 电阻（PTC）加热元件 最高 1.0 任何条件 汽车热泵 2.0–3.2 0 到 15 °C Hyundai/Kia R290 丙烷机组 宣称 3.8 −15 °C VW R-744（CO₂）机组 3.1 −20 °C17 ADAC 在 −7 °C 下对 28 辆电动车做了冬季测试。装热泵的车型，续航损失平均比只有电阻加热的车型少 22%。18\nR-744 那一行值得再看一眼。那就是二氧化碳本身，用作制冷剂，装在 VW ID.3 和 ID.4 上。更高的吸气蒸气密度让它在天越冷时越能保持制热能力，而那正是你最需要它的时候。17\n而且制冷剂级的 CO₂ 是合成氨、乙醇和化肥生产的副产品，是被捕集和提纯的，而不是被排放掉的。19 一股废物流在负责制热和制冷，全球变暖潜能值为 1，而 R-134a 是 1,430。它要是漏了，什么事都没有。\n这不是碳捕集，我也不会假装它是；充注量还不到一公斤。要点更窄，也更好。这种工质，正是我们本来就多到用不完的东西。\n我自己实际在用什么 设备 规格 为什么 太阳能阵列 9 kW 屋顶朝向对，那就用上 电池 30 kWh 把白天的发电量挪到晚上 电动车 MG4、Xpeng G6 用阵列充电，不去加油站 空调 自供电 靠板子发的电运行 控制 Home Assistant 把大负载挪进便宜时段 这份清单里没什么稀奇的，也没什么新东西。和把存储介质匹配到 IO 模式是同一个道理。把能量放在它能挣回本钱的地方，测量你实际得到了什么，别再相信盒子上的标签。\n让我意外的是，有多少节省来自 不用把燃料搬来搬去。没有油轮，没有加油站，没有炼油厂在中间抽它那一份。板子离车只有三十英尺。\n这张图是一面镜子 Livermore 发布这些图已经好多年了，做得很好。老老实实地构建，真真切切地有用，免费。值得任何人花一个小时去看。1\n但一张 Sankey 图没有观点。它向你展示的，是一个国家决定怎样使用它的能源，按比例画出来。65.8% 不是物理定律。它是一幅关于发动机、管道和规划的选择的画像，这些选择在大约七十年里一个一个地做出来，如果当初的选择不同，它看起来也会不同。\n丹麦的图看起来不一样，是因为丹麦动手挖了。\n资料来源 Lawrence Livermore National Laboratory — Energy Flow Charts — 美国能源的年度 Sankey 图，包括 2024 年的图及其 94.6 千万亿 BTU 的总量。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKate Morley — National Grid: Live — 英国的电力需求，过去一年平均 30.9 GW，折合每年约 271 TWh。我在 The Grid We Did Fix 里写过这个仪表盘显示了什么。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHawai\u0026rsquo;i State Energy Office — Statewide Energy Flowchart — 阐述了 Livermore 采用的 EIA 方法，按照该方法，分布式光伏、水电、陆上风电和公用事业光伏都按 100% 发电效率计入，不体现任何热损失。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEVreporter — Understanding the complete efficiency picture of electric vehicles — 燃油和电动驱动系统从油箱到车轮、从电池到车轮的效率。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nConcawe — EU refinery energy systems and efficiency — 炼油厂自用能源占原油输入的比例，从简单蒸馏的 3–4% 到全转化型炼厂的 7–10% 及以上。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Energy Information Administration — How much electricity is lost in transmission and distribution? — 2018 至 2022 年，美国每年的输配电损失平均约为输送电量的 5%。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNCTAD — World seaborne trade — 按载重吨计油轮在全球航运中的占比，以及海运的原油和成品油数量。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Energy Information Administration — Light-duty vehicles\u0026rsquo; share of transportation energy use — 轻型车辆占美国交通能耗的 58.5%，中型和重型卡车及公交车占 23.9%，航空是唯一另一个超过 5% 的方式。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCar dependency — Wikipedia 和 CNN — This little-known rule shapes parking in America — 美国与欧洲的人均驾车里程，大西洋两岸日常出行和不到一英里出行中驾车的比例，最低停车位要求造成的每辆车约八个车位，以及 1960 年代末起城市政策的分道扬镳。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBureau of Transportation Statistics — Energy intensity of passenger modes 和 Public transport versus private cars: a passenger-kilometre energy comparison — 汽油车与繁忙城市电气化轨道交通的每乘客公里能耗，单人驾驶汽车与满载长途大巴之间的排放比，以及随上座率下降公交车每乘客英里能耗的上升。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTransportation in the United States — Wikipedia 和 Statista — Share of the rail network which is electrified in Europe — 美国乘客英里中公共交通和私人车辆所占的比例，以及欧盟与美洲电气化轨道占路网的比例。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nStreetsblog USA — Other countries are building transit while the US falls behind 和 Metros reduce car use in European cities but trams do not — 美国和欧洲拥有地铁和有轨电车网络的城市数量，2000 年以来双方地铁线路长度的增长速度，以及地铁系统能取代驾车出行而有轨电车网络基本不能的研究结论。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nState of Green — Utilising excess heat to warm up Danish homes — 丹麦区域供热在家庭热需求中的占比，以及数据中心余热回收，包括欧登塞的输出数字。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGreater London Authority — Heat networks data report, February 2026 — 英国零散的供热网络存量及其目前在热需求中的占比。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nATMOsphere — European transcritical CO₂ installations — 2025 年欧洲有 111,650 个商业和工业场所运行跨临界 CO₂ 系统，约覆盖三分之一的食品零售网点。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Energy Security and Net Zero — Heat Network Zoning: government response — 分区框架，2026年1月起由 Ofgem 监管，以及 2035 年和 2050 年的目标。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNaturalRefrigerants.com — CO₂ heat pumps found to offer high efficiency at low ambient temperature in electric vehicles — R-744 汽车热泵在低环境温度下的性能，以及 VW ID.3 和 ID.4 上的实现。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInsideEVs — For maximum winter EV driving range, you want a car with this feature — ADAC 对 28 辆电动车的冬季测试，以及 −7 °C 下续航损失的差异。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNaturalRefrigerants.com — FAQs — 制冷剂级 CO₂ 作为合成氨、酒精和化肥生产中回收的副产品，及其值为 1 的全球变暖潜能值。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/energy/rejected-energy-what-the-livermore-chart-shows/","summary":"Lawrence Livermore 每年都会发布一张 Sankey 图，展示美国的能源流向了哪里。2024 年，94.61 quad 里有 62.27 quad 没做任何有用功。什么是被浪费的能量（rejected energy），一个 quad 是多少，为什么按这张图自己的统计方法，可再生能源会让浪费减少而不是增加，为什么单单交通一项就占了全国总浪费的三分之一以上，以及真正能解决问题的三件事。","title":"被浪费的能量：Livermore 能流图到底说明了什么"},{"content":"Webex 在窗口顶部挂出一条黄色横幅：Offline - No internet connection。 电话服务显示为已断开，什么都不同步，九十秒前开始的会议你也进不去。\n当这东西就是你的工作电话时，这可不是什么小麻烦。我的来电从 Webex 进来，我的 VoIP 线路也走它，所以一个无法认证的客户端，就是一部不会响的座机、一场我不在场的会议、一位只能听到语音信箱的同事。它让我没法干活。不是变慢，不是降级。是停了。\n而这一切既不是我造成的，也不是我能阻止的。一个工作日就这么乱了套，原因是一家收了钱的供应商没有做质量控制，产品卖的时候带着支持合同，平台是它自己的系统要求页面上写明支持的。我什么都没配错。我从厂商的仓库安装了厂商的软件包，装在厂商列出的平台上，它却连一个 TLS 连接都建立不起来。然后我花了自己一个晚上去查原因，而这段时间，给软件包签名的那些人并没有花。\n这台机器并没有离线。旁边的浏览器正在加载网页。你的邮件照常到达，终端照常从远端拉取，去问操作系统能不能上网，它说能。Webex 自己也同意，就写在它自己的日志里，比它告诉你相反结论早了十一秒。\n真正发生的事情是：Cisco 装在 Webex 里的那份 OpenSSL 一个证书颁发机构都找不到，因为它编译时被设定去 /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl 里找。那是 Cisco 某个构建容器上的目录。它从来没在你的电脑上存在过，以后也不会。这个应用发起的每一个 TLS 连接都在证书校验这一步失败，登录令牌刷新不了，一个十五秒的计时器到期，界面只好抓起它唯一有现成字符串的那个解释。\n所以这条横幅错得很具体，也毫无帮助。它点名的是你的网络。故障却是他们构建里的一条路径。\n版本是 46.8.0.35631，系统是 Fedora 44，内核 7.2.4。这是受支持的平台。Cisco 公布了 Linux 系统要求，并提供一个签过名的 .rpm，webex-46.8.0.35631-1.x86_641。下面要讲的是怎样在大约十分钟内证明这一点，为什么所有显而易见的修复都不管用，哪一个管用，然后是比这些都更要紧的部分：这不是什么隐蔽的 bug。这是一个从来没人在“不是构建它的那台机器”上运行过的构建。\n横幅到底在告诉你什么 Webex 的连接状态显示由一个复合状态机驱动，七个子状态机，各有各的计时器。启动时它们这样初始化：\nConnectivityStateMachine::ConnectivityBanner - Initializing with state: Connected ConnectivityStateMachine::Network - Initializing with state: NoNetwork ConnectivityStateMachine::Services - Initializing with state: Connected ConnectivityStateMachine::Mercury - Initializing with state: Disconnected ConnectivityStateMachine::Authentication - Initializing with state: UserNotAuthenticated ConnectivityStateMachine::Syncing - Initializing with state: Synced ConnectivityStateMachine::Survivability - Initializing with state: SurvivabilityHide 四十毫秒之后，操作系统给出回应，应用把它记了下来：\nNetworkManagerPowerNetworkWatcher.cpp:93 onConnectivityCheckSuccess:: The host is connected to a network, that appears to be able to reach the full Internet. 这一行和那条声称没有网络连接的横幅，在同一个文件里，同一个会话里。应用是知道的。它在 08:25:12.131 就拿到了答案，却在 08:25:27.132 显示了相反的结论。\n在这两个时刻之间，发生了这些：\n时间 发生了什么 08:25:12.131 操作系统确认完全可以访问互联网 08:25:12.218 代理检测：未配置，直连 08:25:12.241 第一个 HTTPS 请求失败，errorCode: 167772294 Error in SSL handshake 08:25:12.569 CloudApps 访问令牌刷新失败，同一个错误码 08:25:12.571 Kms 访问令牌刷新失败，同一个错误码 08:25:15.684 重试，两个都失败 08:25:21.745 重试，两个都失败 08:25:27.132 十五秒计时器到期，横幅切换为 NoInternet 08:26:12.091 六十秒计时器到期，服务降级为 DisconnectedShortTerm Authentication 子状态机始终没离开 UserNotAuthenticated，于是 Services 推导出自己处于断开状态，于是横幅弹了出来。就输入而言，这里每一步都是正确的行为。错的是输入，而输入是一个数字：167772294，从第一个失败请求到最后一个，每一个都是它。\n这个数字就是整篇文章。记住它。\n三条路径，没有一条存在 Webex 不用系统的 OpenSSL。它自带一份，还自带一份 libcurl，而这个 libcurl 链接的是捆绑的那份，不是你的：\n$ ldd /opt/Webex/bin/libcurl.so | grep -E \u0026#39;ssl|crypto\u0026#39; libssl.so.3 =\u0026gt; /opt/Webex/bin/../lib/libssl.so.3 libcrypto.so.3 =\u0026gt; /opt/Webex/bin/../lib/libcrypto.so.3 到这里还没问题。捆绑一个 TLS 库是说得过去的选择，很多厂商都这么做。要紧的是里面被烤进去了什么，而 OpenSSL 会在你问它的时候告诉你：\n$ strings /opt/Webex/lib/libcrypto.so.3 | grep -E \u0026#39;OPENSSLDIR|ENGINESDIR|MODULESDIR\u0026#39; OPENSSLDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl\u0026#34; ENGINESDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/engines-3\u0026#34; MODULESDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/ossl-modules\u0026#34; 三条。不是某一个设置不小心漏了。整个安装前缀，从编译它的那台机器原样带了过来，放在一个以签名软件包形式、在受支持平台上交到客户手里的库里。\nOPENSSLDIR 只设定一次，在配置阶段，用 --openssldir，而 OpenSSL 自己的构建文档对它的用途说得毫不含糊：“Directory for OpenSSL configuration files, and also the default certificate and key store.”2 信任链条下游的一切都挂在它上面。默认 CA 文件是它里面的 cert.pem，默认 CA 目录是它里面的 certs3。/workspace 是一个 Conan 构建缓存。Conan 是 Cisco 用来构建的 C++ 包管理器，它把每个包存放在以构建输入的哈希命名的位置下4。哈希 cisco8ee8b59cf93de 描述的是一个容器，而这个容器很可能在构建结束几分钟后就被删掉了。\n问问这个库它是什么，它甚至都不是原版 OpenSSL：\nVERSION CiscoSSL 3.5.5.8.5.4 27 Jan 2026 BUILT_ON built on: Wed Feb 25 06:29:18 2026 UTC PLATFORM platform: conan-Release-Linux-x86_64-gcc-13 DIR OPENSSLDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl\u0026#34; 一个内部维护的分叉，有自己的一套版本号，二月构建，八月发布，身上还带着它被制造出来的那个工作目录。\n机器上的每一份 OpenSSL 去哪里找信任锚 一台机器，两份 OpenSSL，只有一份知道证书在哪里 运行时谁都没被告知。答案是编译进去的一个字符串，由执行构建的人设定。 系统那份：OpenSSL 3.5.8，Fedora 44 编译进去的 OPENSSLDIR /etc/pki/tls 目录存在 cert.pem \u0026#8594; tls-ca-bundle.pem certs/ \u0026#8594; 哈希命名的信任锚 证书链对照真实的信任锚校验 握手完成。机器上其他程序都正常。 正因如此，用户确信网络没问题。 Webex 附带的那份：CiscoSSL 3.5.5.8.5.4 编译进去的 OPENSSLDIR /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl 任何客户机器上都没有这个目录 cert.pem \u0026#8594; 不存在 certs/ \u0026#8594; 不存在 信任库加载了零个信任锚 握手失败：错误 0x0A000086，十进制 167772294。 用户看到的横幅却说网络断了。 一台机器上的两份 OpenSSL。运行时谁都没被告知信任在哪里。各自带着一个编译进去的字符串，其中一个字符串指向的目录只在别人的构建主机上存在过。 别把 strings 当答案，去问库本身 strings 能在文件里找到文本。它证明不了库会用这段文本。所以把随包附带的库加载起来，直接问它，大约十二行 Python，不需要 root：\nimport ctypes c = ctypes.CDLL(\u0026#34;/opt/Webex/lib/libcrypto.so.3\u0026#34;) for f in (\u0026#34;X509_get_default_cert_file\u0026#34;, \u0026#34;X509_get_default_cert_dir\u0026#34;, \u0026#34;X509_get_default_cert_file_env\u0026#34;, \u0026#34;X509_get_default_cert_dir_env\u0026#34;): getattr(c, f).restype = ctypes.c_char_p print(f\u0026#34;{f:34} {getattr(c, f)().decode()}\u0026#34;) X509_get_default_cert_file /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/cert.pem X509_get_default_cert_dir /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/certs X509_get_default_cert_file_env SSL_CERT_FILE X509_get_default_cert_dir_env SSL_CERT_DIR 库亲口说出来了。Webex 里任何东西向这份 OpenSSL 要默认信任库时，拿到的都是一个不存在的文件和一个不存在的目录。SSL_CTX_set_default_verify_paths 做的就是这件事，而除非被另行告知，几乎所有客户端都是这么做的。\n最后两行值得留意，因为它们就是逃生口：这个库允许 SSL_CERT_FILE 和 SSL_CERT_DIR 覆盖这两个值5。这一点也记住。它后面会变得很重要，只是方式出乎你的意料。\n复现出完全相同的错误码 靠看来证明，不算证明。拿随包附带的 libssl.so.3 和 libcrypto.so.3，只用库自己的默认值，向一台真实主机做一次真实的握手，看看返回什么。\n有意思的是默认值什么都没指向的那一次。SSL_CERT_FILE 和 SSL_CERT_DIR 覆盖的正好是 OPENSSLDIR 缺失时悬空的那两个值，所以把它们指向一条不存在的路径，就能精确复现出货时的状态：\n$ SSL_CERT_FILE=/nonexistent/cert.pem SSL_CERT_DIR=/nonexistent/certs python3 tls.py set_default_verify_paths -\u0026gt; 1 set_fd -\u0026gt; 1 SNI -\u0026gt; 1 SSL_connect -\u0026gt; -1 SSL_get_error -\u0026gt; 1 verify result 20: unable to get local issuer certificate err: 0xa000086 error:0A000086:SSL routines::certificate verify failed 0x0A000086 换成十进制就是 167772294。\n这正是 Webex 日志里每一行失败记录中的那个数字，而它不是来自 Webex。它来自 Cisco 自己的 TLS 库，在他们的应用之外运行，失败的原因只有一个：没有信任锚可以用来校验证书链。同一个库，同一个错误，中间没有应用。\n把同样两个变量指向 Fedora 真正的证书包，同一条代码路径就能走完：\n$ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem python3 tls.py SSL_connect -\u0026gt; 1 SSL_get_error -\u0026gt; 0 verify result 0: ok 这两次运行之间，网络方面什么都没变。变的只是一条文件路径。\n每一个网络步骤都成功了。失败的那一步是查找本地文件。 四个步骤跨越网络并且成功。第五步读一个文件，失败了。 用随包附带的 libssl.so.3 和 libcrypto.so.3 在 Webex 之外运行，只用库自己的默认值。 TCP 连接 :443 成功 ClientHello, SNI 成功 ServerHello，证书链 成功，收到证书链 对照信任库校验证书链 没有加载任何信任锚 库返回了什么 SSL_connect -\u0026#62; -1 verify result 20: unable to get local issuer certificate err: 0xa000086 error:0A000086:SSL routines::certificate verify failed 0x0A000086 的十进制是 167772294，Webex 日志里每一行失败记录中的那个数字。 应用从没在任何地方写过“证书”这个词。它记下的是“Error in SSL handshake”和一个十进制整数，界面 又把它变成了“Offline - No internet connection”，而这台机器偏偏明摆着不是离线。 这里没有一处是网络故障。唯一缺的是一个目录。 四个步骤跨越网络并且成功了，包括收到服务器完整的证书链。失败的那一步是打开一个本地文件。用户看到的却是一条关于他们网络连接的消息。 为什么没有任何东西提醒你 有两件事凑在一起，让它悄无声息，而只有其中一件是 Cisco 的错。\n什么从不吭声 谁的设计 为什么保持沉默 加载一个不存在的信任库 OpenSSL 的，有意为之 不管路径是否真实，SSL_CTX_set_default_verify_paths 都返回 1。“A missing default location is still treated as a success”3 没有任何可以退而求其次的东西 Cisco 的，而且是对的 证书要校验，自签名一律拒绝，SSL 重试关闭，所以不存在一个能掩盖故障的降级模式 第一件是合理的。一个另行携带自己信任锚的程序，不该被强迫去关心这个，所以调用成功，信任库是空的，整个栈里没有任何地方说一句 我加载了零个证书颁发机构。第一个察觉到的，是半秒钟之后的一次校验失败。我把路径指向 /nonexistent，对随包附带的库调用了它，返回值是 1。就在上面的输出里。\n第二件是从服务端下发的策略，日志里记着：\nWdm.cpp:1162 parseDeviceJson: Adding policy \u0026lt;\u0026lt; allowSelfSignedCertificate with value: false NetworkManager.cpp:1738 onConfigReady: ...httpRequestSSLRetryEnabled: 0 HttpRequestManager.cpp:1883 rawHttpRequest: {\u0026#34;validateCertificates\u0026#34;:\u0026#34;true\u0026#34;,\u0026#34;useClientCertificate\u0026#34;:\u0026#34;false\u0026#34;} 这三个标志，是这个故障成了一次停机、而不是严重得多的东西的唯一原因，这一点值得停下来想一想，而不是匆匆略过。\n推一遍。捆绑的库加载了零个信任锚，策略层之下的任何东西都不可能察觉，因为这个失败从上到下都是按设计静默的。把它变成一条横幅的，是三个标志。照着很多客户端出货时的样子把其中任何一个翻过来，同一个构建就根本不会失败。它会连上去，连到任何拿着任何证书的东西上，因为它没有任何东西可以拿来校验证书。\n同一个坏掉的信任库，离一个截然不同的故障只差一个策略标志 两栏里的信任路径坏得一样彻底。只有策略决定你怎么发现。 两者相同：编译进去的 OPENSSLDIR 不存在，所以信任库加载了零个证书颁发机构 Webex 出货时的样子 validateCertificates: true allowSelfSignedCertificate: false httpRequestSSLRetryEnabled: 0 没有可以对照校验的东西，所以拒绝。 握手失败。横幅。你损失一天。 很响，但无害。 其中任何一个反过来设 validateCertificates: false 或者允许自签名 或者不校验就重试 没有可以对照校验的东西，所以放行。 握手完成。对谁都行。 悄无声息，而且并非无害。 把两种结果分开的，是另一个团队在缺陷下游、出于无关理由设定的一个策略值。 信任路径从来没保护过任何人。它一直是坏的，唯一悬而未决的只是它会以哪种方式失败。 “Webex 今天离线了”和“Webex 信任了任何应答它的东西”之间的区别，只是一个策略值，由另一个团队设定，位于缺陷的下游，出于跟这个缺陷毫无关系的理由。 它以什么面目呈现，才是问题所在。用户得到的是“Offline - No internet connection”。日志得到的是“Error in SSL handshake”和一个十进制整数。证书 这个词，在用户或一线支持工程师会去看的任何地方都不出现，唯一的诊断线索是一个你得先换算成十六进制才有意义的数字。\n不管用的修复 两个最显而易见的修复都失败了，原因各不相同，两个都值得了解。\n编辑随包附带的 openssl.cnf Webex 在 /opt/Webex/lib/openssl.cnf 放了一个配置文件，出货时它只激活了一个 provider：\n[provider_sect] fips = fips_sect 只有 FIPS。没有 default provider，而普通的 TLS 算法都在那里面6。把它加回去只需改一行，可它什么都改变不了，因为捆绑的 OpenSSL 从来不读这个文件。它到 OPENSSLDIR 里面去找 openssl.cnf7，而 OPENSSLDIR 就是那条不存在的路径。这个文件躺在安装目录里，看上去很权威。没有任何东西读它。\n这是藏在第一个缺陷背后的第二个缺陷。哪怕明天就把 OPENSSLDIR 指向 /opt/Webex/lib，修好了路径问题，这份配置随后就会被加载，而它只会激活 FIPS。而 FIPS 模块本身是从 MODULESDIR 加载的，也就是同一棵树里的第三条死路径，所以放在 /opt/Webex/lib 里的 fips.so 也找不到。三条路径，一个错误的前缀，每一条都以一种掩盖下一条的方式坏掉了。\n设置环境变量 这个库认 SSL_CERT_FILE 和 SSL_CERT_DIR。我在上面证明过了。成功的那次运行就摆在那里。所以显而易见的做法，是在桌面入口文件里设置它们，试过的也正是这个：\nExec=env OPENSSL_CONF=/opt/Webex/lib/openssl.cnf \\ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \\ SSL_CERT_DIR=/etc/pki/tls/certs/ /opt/Webex/bin/CiscoCollabHost %U 没有变化。原因并不是 Webex 忽略了这些变量。原因是进程根本没收到它们：\n$ tr \u0026#39;\\0\u0026#39; \u0026#39;\\n\u0026#39; \u0026lt; /proc/20293/environ | grep -E \u0026#39;SSL|OPENSSL|CURL\u0026#39; $ tr \u0026#39;\\0\u0026#39; \u0026#39;\\n\u0026#39; \u0026lt; /proc/20293/environ | wc -l 99 运行中的 Webex 进程有九十九个变量，设置的那三个一个都不在。因为这台机器上有两个同名的桌面入口文件：\n文件 它的 Exec 行运行什么 由谁写入 /usr/share/applications/webex.desktop 上面那条带三个变量的完整 env 行 .rpm，之后被手工编辑 ~/.local/share/applications/webex.desktop /opt/Webex/bin/CiscoCollabHost %U，完全没有环境变量 Webex 自己的启动器 而规范对哪个胜出说得毫不含糊：“The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.”8 $XDG_DATA_HOME 就是 ~/.local/share。用户那份会遮蔽软件包那份，每一次都是，在每一个遵循规范的桌面上都是9。\n所以 Webex 往你的家目录里装了第二份它自己的启动器，而你的桌面运行的就是这一份。软件包里的文件你爱怎么改就怎么改。你在编辑一份没人读的文档。\n两个同名的桌面入口文件，胜出的是 Webex 自己写的那个 环境变量设在了桌面从来不读的那个文件里 两个入口，一个名字。搜索顺序白纸黑字写着，而且不偏向软件包里的那份。 手工编辑过，但优先级被压过 /usr/share/applications/webex.desktop Exec=env OPENSSL_CONF=... SSL_CERT_FILE=... 另一个文件存在时从不被读取 由 Webex 写入，它胜出 ~/.local/share/applications/webex.desktop Exec=/opt/Webex/bin/CiscoCollabHost %U 完全没有设置环境变量 被丢弃 被启动 XDG 基础目录规范：由 $XDG_DATA_HOME 定义的基础目录，被视为比 由 $XDG_DATA_DIRS 定义的任何基础目录都更重要。 证据，来自运行中的进程，而不是推理： tr '\\0' '\\n' \u0026#60; /proc/20293/environ | grep -E 'SSL|OPENSSL' \u0026#8594; 无输出，99 个变量，一个都不是 所以修复是真的，文件也是真的，而它本该作用的那个进程，是从完全不同的地方启动的。 环境变量设在了桌面从来不读的那个文件里。Webex 在用户数据目录下写了自己的入口文件，规范规定它的优先级高于软件包里的那份，证据就是运行中的进程：九十九个环境变量，那三个一个都没有。 管用的修复 既然这个库非要一条路径，那就给它那条路径。创建它编译时想要的目录，在里面放上指向真东西的符号链接：\n#!/bin/bash # Point the bundled CiscoSSL at the system trust store by building the # directory it was compiled to look for. Tested: Fedora 44, Webex 46.8.0.35631. set -euo pipefail OPENSSLDIR=$(strings /opt/Webex/lib/libcrypto.so.3 \\ | grep -oP \u0026#39;(?\u0026lt;=OPENSSLDIR: \u0026#34;)[^\u0026#34;]+\u0026#39;) [ -n \u0026#34;$OPENSSLDIR\u0026#34; ] || { echo \u0026#34;no OPENSSLDIR found in the shipped library\u0026#34;; exit 1; } for p in /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \\ /etc/ssl/certs/ca-certificates.crt \\ /etc/pki/tls/certs/ca-bundle.crt \\ /etc/ssl/cert.pem; do [ -f \u0026#34;$p\u0026#34; ] \u0026amp;\u0026amp; { CA_BUNDLE=\u0026#34;$p\u0026#34;; break; } done [ -n \u0026#34;${CA_BUNDLE:-}\u0026#34; ] || { echo \u0026#34;no system CA bundle found\u0026#34;; exit 1; } echo \u0026#34;OPENSSLDIR: $OPENSSLDIR\u0026#34; echo \u0026#34;CA bundle: $CA_BUNDLE\u0026#34; sudo mkdir -p \u0026#34;$OPENSSLDIR\u0026#34; sudo ln -sf \u0026#34;$CA_BUNDLE\u0026#34; \u0026#34;$OPENSSLDIR/cert.pem\u0026#34; sudo ln -sf \u0026#34;$(dirname \u0026#34;$CA_BUNDLE\u0026#34;)\u0026#34; \u0026#34;$OPENSSLDIR/certs\u0026#34; sudo tee \u0026#34;$OPENSSLDIR/openssl.cnf\u0026#34; \u0026gt; /dev/null \u0026lt;\u0026lt;\u0026#39;CONF\u0026#39; openssl_conf = openssl_init [openssl_init] providers = provider_sect [provider_sect] default = default_sect fips = fips_sect [default_sect] activate = 1 CONF echo \u0026#34;done. now restart Webex\u0026#34; 重启它，同样的启动序列产生了相反的结果。同一个二进制文件。同样的日志行。令牌刷新以前六十毫秒内就失败，现在三百三十毫秒完成：\nAuthTokenRequester.cpp:579 Managed to fetch a new Kms access token. AuthTokenRequester.cpp:579 Managed to fetch a new CloudApps access token. AuthTokenSupervisor.cpp:310 Auth tokens refreshed. Expires in [64799 secs]. AuthenticationManager.cpp:1860 onUserAuthenticated: User authenticated. ConnectivityStateMachine::Authentication - UserNotAuthenticated -\u0026gt; UserAuthenticated 大约 750 ms 完成认证，所以十五秒计时器从来不会触发，横幅也从来不会出现。电话服务从 Disconnected 变成 Connecting，坏掉的那个会话试了一分钟都没到过这个状态。\n之前 之后 网络检查 通过 通过 第一个 HTTPS 请求 167772294 Error in SSL handshake HTTP 200 CloudApps 令牌 失败 已获取 Kms 令牌 失败 已获取 认证 卡在 UserNotAuthenticated UserAuthenticated 15 秒时的横幅 “Offline - No internet connection” 无 电话服务 从未尝试 正在连接 认证耗时 永远完不成 约 750 ms 留意一下这个修复对你的文件系统做了什么，因为它理应让你不舒服。它在你的机器上创建了一个叫 /workspace 的顶层目录，这个名字在 Filesystem Hierarchy Standard 里没有位置10，里面装着一条 Conan 缓存路径和一个构建哈希，属于一家你从它那里买了软件的公司。这就是 Cisco 留给你的补救方式的样子：把别人的构建环境挂载到你自己的根目录上。\n它还会坏。三种坏法：\n什么时候坏 为什么 你怎么办 Webex 更新 cisco8ee8b59cf93de 由构建输入推导而来，所以依赖一重新构建，目录就换了 重跑脚本；它从新的二进制里读出路径，而不是假定还是旧的那条 换发行版 符号链接的目标是发行版自己的决定，不是标准11 重新指向；脚本会探测四个已知位置 重装系统 /workspace 不被备份、不属于任何软件包，也不归任何东西所有 再跑一遍，每一次都要，永远如此 这些都算不上维护。这是你无限期地、无偿地替别人的构建流水线顶上一个步骤。在你拥有的每一台机器上于运行时修补一个缺陷，只因为厂商不肯在构建时修补一次。\n他们懂这条规矩，却只用在了半个构建上 正是这一点，把这件事从一份 bug 报告变成了一个论点。\n读一读随包附带的二进制文件的动态段：\n$ readelf -d /opt/Webex/bin/libcurl.so | grep RUNPATH 0x1d (RUNPATH) Library runpath: [$ORIGIN:$ORIGIN/../lib] $ readelf -d /opt/Webex/bin/CiscoCollabHost | grep RUNPATH 0x1d (RUNPATH) Library runpath: [$ORIGIN/../lib] $ORIGIN 在加载时展开为存放该对象本身的目录12。它是做可重定位打包的正确工具，他们也用对了。他们不得不用：Webex 把同一棵树装了两遍，一遍装到 /opt/Webex，一遍装到 ~/.local/share/WebexLauncher/46.8.0.35631_9e6196c9-…/，启动时由一个启动器在两者之间挑选。两个前缀，一个构建，链接器在两边都能找到它的库。\n所以做这个软件包的人完全理解这个问题。绝对路径在发布出去之后活不下来。他们为代码解决了它。\n然后他们把数据路径留成了绝对字符串，指名道姓地写着编译它们的那个容器。同一个构建。同一个下午。\n捆绑包里一条路径能自行重定位。另一条写着某个数据中心里的一台机器。 他们知道捆绑包得能挪动。他们只把这一点用在了代码上。 两个值都是同一批人在同一天、在构建时设定的。一个在加载时展开，另一个永远不会展开。 代码从哪里来：记录为一个相对表达式 libcurl.so 中的 RUNPATH $ORIGIN:$ORIGIN/../lib /opt/Webex/lib 已解析 ~/.local/share/WebexLauncher/46.8.0.35631_.../lib 同样已解析 正确，而且是有意为之。同一棵树发布两次，装到两个不同前缀，链接器在两边都能找到。 信任从哪里来：记录为某个人的工作目录 libcrypto.so.3 中的 OPENSSLDIR /workspace/.conan2/p/b/cisco8ee.../p/ssl 路径不存在 未解析 ENGINESDIR 和 MODULESDIR：同一棵树，同一个结果 三条指向构建容器的绝对路径，发给了每一个客户，产品卖的时候还带着支持合同。 这张图两半之间的距离，就是有一个人在一台不是构建它的机器上运行一下打包好的产物。 这就是缺陷的全部。不是难缠的 bug。是没测过的 bug。 同一个构建，同一天，同一批工程师。库搜索路径被记录成一个表达式，树落在哪里它就解析到哪里。信任路径被记录成某个人的工作目录。 所以这件事不能归到 他们不知道 名下。$ORIGIN 不是你会无意间撞上的东西。你会去用它，是因为你已经明白，烤进发布产物里的绝对路径是一个缺陷，而且明白到足以去链接器里把它修好。然后同一个构建往同样那些库里写进了三条绝对路径，并把它们发布了出去。\n懂这条规矩却只用在半个构建上，比根本不懂更糟。不懂是培训问题，培训有办法解决。这是一个本身就带着正确思路的软件包，白纸黑字写在 ELF 头里，谁都能读到，可它还是坏着出了门。这说明编译器下游没有任何东西在看结果。一样都没有。\n容器早就在那里了 /workspace 从哪里来，并不是个谜，你也不用去猜。它就在软件包头里：\n$ rpm -qi webex | grep -E \u0026#39;Build Host|Build Date|Vendor\u0026#39; Build Date : Sat 08 Aug 2026 20:47:43 BST Build Host : c964ea9239ae Vendor : Cisco c964ea9239ae 不是谁敲进去的主机名。它是十二个十六进制字符，容器在没人设定主机名时报告的就是这个。所以这个软件包是在一个容器里构建的，出自一家显然拥有镜像、镜像仓库和编排能力的公司，而这台机器上有三样独立的产物各自都这么说：\n证据，读自已安装的软件包 值 证明了什么 RPM 头里的 Build Host c964ea9239ae 一个容器 ID，不是一台构建机器 libcrypto.so.3 里的 OPENSSLDIR /workspace/.conan2/… 一条只存在于那个容器里的路径 同一个库里的 PLATFORM conan-Release-Linux-x86_64-gcc-13 一套容器化的 Conan 工具链 RPM 里的 Requires glibc \u0026gt;= 2.28 一个刻意选定的、非常老的 ABI 下限 然后他们给它签了名。构建在 20:47:43 完成，签名日期是同一晚的 21:02:07，密钥 ID 9995e5bbb5ccde3c。十五分钟。所以存在一道发布关卡，有人或者有东西在操作它，而它证明的是 软件包是谁做的，不是软件包能不能用。签名是一份关于来源的声明。它从来不是一份关于是否合用的声明，而一个只有前者没有后者的流程，把轻重缓急弄反了。\n因为缺掉的那一步，恰恰是便宜的那一步。容器已经在流水线里了。拿刚从里面出来的产物，为你声称支持的每一个发行版启动一个干净的镜像，安装，启动，读日志的前一百行：\ndocker run --rm fedora:44 sh -c \u0026#39; dnf -y install ./webex-46.8.0.35631-1.x86_64.rpm \u0026amp;\u0026amp; timeout 25 /opt/Webex/bin/CiscoCollabHost \u0026amp; sleep 20 grep -c \u0026#34;Error in SSL handshake\u0026#34; ~/.local/share/Webex/current_log.txt\u0026#39; 在这个构建上，每一次都是非零。安装体积 1.1 GB，所以在热缓存上每个目标大约一分钟。六个发行版，就是一台本来就在运转的机器花六分钟，用的是 Cisco 本来就有的硬件，在一条本来就存在的流水线里。它没有跑。一次都没有。\n这也回答了人们至今还在说的那句关于 Linux 的话：支持多个发行版很难。从这套工具出现的那天起，它就不再难了，而这套工具就是他们用来编译的同一套工具。每个目标一个基础镜像。同一个产物装进每一个。这个矩阵就是一个循环。\n一条在容器里构建、却从不在容器里运行成品的流水线，算不上流水线。它是一台编译器，前面挡着一个定时任务，后面跟着一把签名密钥，它产出的任何东西都只是猜测。\n他们在容器里构建，却从不在容器里运行成品 容器早就在流水线里了。它只被用在对厂商有利的那一半上。 下面每一个值都是从机器上那个软件包里读出来的，不是推断的。 构建，在容器里 Build Host: c964ea9239ae /workspace/.conan2/p/b/... conan-Release-Linux-x86_64-gcc-13 三份相互独立的容器证据 签名并发布 构建 20:47:43 签名 21:02:07 十五分钟，一道发布关卡 只证明是谁，从不证明能不能用 客户 dnf install webex 打开它 \"Offline - No internet\" 流水线里哪里都没有的那一步 docker run --rm fedora:44 sh -c 'dnf -y install ./webex.rpm \u0026amp;\u0026amp; CiscoCollabHost \u0026amp; sleep 20; grep -c \"Error in SSL handshake\" ~/.local/share/Webex/current_log.txt' 同样的基础设施。每个目标发行版一个镜像。每个不到一分钟，而在这个构建上它会大声失败。 从这套工具出现那天起，为多个发行版构建就不再难了，而它正是他们用来编译的同一套工具。 在容器里构建、却从不在容器里运行成品的流水线，只是一台前有定时任务、后有签名密钥的编译器。 随包附带的软件包里有三份相互独立的证据，证明构建是在容器里跑的；一个在构建后十五分钟加上的签名；还有一个哪里都找不到的步骤：在它号称支持的每一个平台的干净镜像里运行成品。 为什么 2026 年的发布版本要针对 2018 年的 libc 构建？ 软件包声明了它需要什么，有意思的是第一行：\n$ rpm -q --requires webex | grep glibc glibc \u0026gt;= 2.28 glibc 2.28 发布于 2018年8月1日13。它是 Red Hat Enterprise Linux 8 里的版本14，这个发行版的完整支持在 2024 年就结束了。这是一个 2026 年的产品，2026 年编译，瞄准的却是 2018 年的 C 库。然后还往用户的家目录里塞了一份它自己的、2.5 MB 的 libstdc++.so.6，因为配套这么老的基础的 C++ 运行时承载不了这些代码。\n为什么还会有人这么干？因为他们不肯静态链接。\n原因就这么多。一旦你动态链接宿主的 C 库，你愿意支持的最老的发行版，就成了你编译所用机器的一道约束。你不能用一个最老的目标闻所未闻的符号，所以你把构建钉在一个古老的基础镜像上，然后一直待在那里。差距一年比一年大。每一个新的语言或库特性到来时，都伴随着一场下限能不能挪动的争论。再自带一份 libstdc++ 去糊住最糟的部分，你现在还得维护一套私有运行时。\n当构建主机还是机柜里一台得有人去重装的实体机器时，这种取舍说得通。十年来它已经说不通了。如果你非得链接宿主的 libc，每个目标一个容器，就能在每个平台的真实版本上做出真实的构建，而且它们互不牵制。\n但看看这套“瞄准老目标”的纪律在这里到底换来了什么。这是以可观代价换来的 ABI 保守：一个八年前的下限，一份捆绑的 C++ 运行时，一张围绕它冻结的支持矩阵。而客户端照样启动不了。因为坏掉的是 一条文件路径，再怎么小心符号版本也保护不了一条文件路径。兼容性的税交了，捆绑的税也交了，偏偏跳过了那个分文不花的检查。两张账单都付了。产品没拿到。\n他们为一个自包含的捆绑包付了钱，却没得到它 在 Linux 上发布商业软件，由来已久的做法是尽量少依赖宿主。能静态的就静态，不能的就做一棵自包含的树，对底下的发行版不做任何假设。这不优雅，也没人假装它优雅。它之所以存在，是因为另一种选择。一个需要某个特定库的特定版本放在特定位置的二进制文件，会把每个客户的机器都变成一个支持工单。\nCisco 走了第二条路，选择了捆绑。账单如下：\n捆绑包里装了什么 大小或数量 /opt/Webex/lib 里的共享对象 150 他们自己的 libcurl、CiscoSSL、zlib-ng、ICU、Kerberos、CUPS 客户端、hunspell 和推理引擎 全都有 安装在 /opt/Webex 下 1.1 GB ~/.local/share/WebexLauncher 下的第二份，每个用户一份 1.1 GB 一个聊天和通话客户端占用的磁盘 2.2 GB 两个 G 的依赖。这就是捆绑的全部代价：下载、磁盘、重复，以及作为唯一能给其中任何东西打补丁的一方所背负的安全负担，统统都在。付了这个代价，你买到的是一个不在乎宿主装了什么的程序，在 Fedora、Debian、Arch 以及客户今年统一采用的任何东西上表现都一样，也不会被一次它从没听说过的发行版升级弄坏。\n可它偏偏在乎。它非常在乎一个目录，而那是构建服务器上的一个目录。\n他们自带了 Kerberos，自带了 ICU，自带了拼写检查器，却没能带上一条通往证书的可用路径。捆绑包存在的全部意义就是自包含，可它恰恰在那个让它无法工作的方面不是自包含的。 那 1.1 GB 里的每一样都通过 $ORIGIN 被正确找到了。最要紧的那四十来个字节没有。\n而这正是让我恼火的地方。捆绑是 昂贵 的那个选项。他们承担了这笔开销，做了困难的工程，在两个安装前缀之间为一百五十个库把重定位做对了。然后却把那个决定这一切能否工作的部分，指向了一台从来没有任何客户拥有过的机器。\n也没人写文档 和第一个失败并排躺着的，还有第二个失败，而它本来能抓住第一个。\n问问这个软件包它附带了什么文档：\n$ rpm -qd webex | wc -l 0 $ rpm -qc webex | wc -l 0 没有文档文件。也 没有配置文件。一个附带了 openssl.cnf 的软件包里，被标记为 %config 的条目是零个。这可不是表面功夫。RPM 把一个文件标记为 %config，是为了让包管理器保留管理员改过的内容，另存一个 .rpmsave，而不是把它覆盖掉1516。/opt/Webex/lib/openssl.cnf 是作为普通文件发布的，所以下一次更新会覆盖你对它做的任何修改，而且一声不吭。客户唯一可能确实需要调整的那个文件，恰恰被打包当成了一次性的东西。\n没有任何公开资料说明这个客户端用哪个信任库、认哪些环境变量、从哪里读取 TLS 配置。没有页面可查。根本没人写。我弄清这些的唯一办法，是对随包附带的二进制文件用 strings、readelf、ldd 和 ctypes。为了回答一个它的文档本该一句话就答完的问题，去逆向一个受支持的产品。\n而这件事比听上去更要紧，原因在这里。写这份文档本身就是一次测试。 让厂商里随便哪个人对着一张标题为 Webex for Linux 从哪里读取 CA 证书 的白纸，他首先要做的就是去看一眼。他一看，就会发现 /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl，接下来他嘴里冒出来的就会是一个问题。写明配置路径不是为了客户方便而走的文书流程。它是厂商能对自己的构建做的最便宜的审计，跳过它，就是这样一条路径能一路活到发布版本的原因。\n这些都不是什么过分的要求。说清楚你的配置放在哪里。说清楚你认哪些环境变量。把你的配置文件标记成配置文件，别让一次更新把它们吃掉。这样遇到故障的客户就有个地方可查，而不是去开十六进制编辑器。\n没人运行过它 缺失的那一步，上面已经点过足够多次了。值得问的是，为什么它偏偏在这个平台上缺失，而在别的平台上没有。\n反正在 Fedora 上就是缺了。在 macOS 和 Fisher-Price OS (Windows) 上，这类故障不会以同样的方式出现，因为这些平台有系统级的 TLS 栈，信任库由操作系统管理。Linux 没有这种东西。OpenSSL 就是 信任库，所以谁发布它，谁就决定它去哪里找。于是，捆绑库真正承重的唯一一个平台，恰恰就是那个未经测试就发布了的平台，这说明的是一个决定：哪些客户值得做一次冒烟测试。\n整个排查花了一个晚上：读日志，发现网络检测在横幅声称相反结论之前就已经通过，从二进制里把编译进去的路径拽出来，用随包附带的库复现出完全相同的错误码。整个过程由一个 AI 代理做日志关联和 ctypes 测试脚手架，我负责想清楚该问它什么。我提这个只有一个原因：一家厂商在给这个软件包签名、把它放进自己的仓库之前从未做过的诊断，如今只要客户有耐心去看，一个晚上就够得着。Cisco 的工程师和其他任何人一样能用上 Claude，而它本可以把这个正确地构建出来。你没法让它把 /workspace/.conan2 烤进一个要发布的产物里，而它不告诉你这个产物离开工作区后会发生什么。抓住这种问题的工具已经不再稀缺，知识也不再稀缺。缺的是厂商里一个以检查此事为本职的人。\n与此同时，碰上这个问题的人能走的支持路径，是一条告诉他网络断了的横幅。他会重启路由器。他会打电话给运营商。他会提一个毫无下文的工单，因为 Cisco 选择显示的症状，指向的是远离 Cisco 的方向。\n出错的东西就是这么一张完整的清单。值得说一说“对的”本该是什么样子，因为清单上的每一项都有一个早于这个产品就已定论的答案。\n它本该怎样构建 出错的说够了。下面是标准，没有一样是新鲜的。二十年来，把二进制文件发到别人的电脑上，要求的就是这些。\n从 Cisco 原则上做对、执行上做错的那个决定说起：你愿意在多大程度上依赖宿主。静态链接是最强的答案，值得说得具体些，因为“静态链接一下不就行了”这句话，常被从没真正做过的人挥来挥去，又被从没尝试过的人一口否定。\n它去掉了什么 它要付出什么 RUNPATH，以及把它弄错的每一种方式，因为加载时根本不搜索 glibc 无法干净地静态链接：名称和用户查找要经过 dlopen，所以二进制文件仍会去找宿主的 NSS 模块17 glibc 下限，于是最老的发行版不再决定你能在什么上编译 LGPL 部分带有重新链接的义务，所以它们要么保持动态，要么你得附带重新链接所需的东西 发行版升级、库改名或陈旧的 ldconfig 缓存造成的破坏 每一个补丁都归你管：发行版的安全更新到不了你的客户那里 从一个可能并不存在的目录 dlopen 一个带版本号的 .so 下载更大，进程之间也不能共享内存页 左栏里还有一条，其余几条都只是在给它作陪：你的流水线产出的产物，就是客户运行的产物，一个字节都不差。 测试了它，你就测试了你发布的东西。这整篇文章讲的，正是这个属性的缺失。\n右栏值得老实面对。都是真实的代价，也是人们转向 musl 或者接受混合方案的原因。但看看第三行。每一个补丁都归你管，这一点和 Cisco 已经在做的事 完全一样：一棵捆绑了 150 个库的树，是同样的承诺，却没有任何加载时的保证。他们横竖都签下了包揽每一个补丁的承诺，却什么回报都没得到。\n所以规则很简单，也正是他们破坏的那条规则：凡是你没法链接进去的，都必须通过相对于二进制文件的路径找到。 代码用 $ORIGIN，库会去找的每一条数据路径也要刻意遵守同样的纪律。在这个例子里，这样的路径有四条，每一条都有文档记载的控制手段：\n库会去找什么 发布出去的是什么 本该是什么 信任锚 OPENSSLDIR/cert.pem，构建时固定 放进发布的树里，或者启动时设置 SSL_CERT_FILE5 配置 OPENSSLDIR/openssl.cnf，同一条路径，永远找不到 OPENSSL_CONF，指向软件包里的那一份5 Provider，包括 FIPS MODULESDIR，绝对路径，所以 fips.so 够不着 OPENSSL_MODULES，“the directory from which cryptographic providers are loaded”5 Engine ENGINESDIR，绝对路径 OPENSSL_ENGINES，或者什么都不用，因为 OpenSSL 4.0 已经彻底移除了 engine 支持5 四条路径，四个环境变量，全都在他们自己的库附带的同一份手册页里。如果你的产物里有任何以 / 开头、在构建时决定的字符串，它就是一个等着客户去发现的缺陷。不存在第三种“绝对构建路径也没关系”的选项。\n这个问题的修复，以及能抓住它的检查 从原则落到这个具体的缺陷上。六处改动，没有一处需要研究：\n修复 工作量 为什么它是对的 设置 --openssldir=/opt/Webex/lib/ssl 并随包发布这棵树 一个 configure 参数 这样路径就存在于软件包里，这正是这个参数的用途2 在 CiscoSSLUtils 里于启动时设置 SSL_CERT_FILE/SSL_CERT_DIR，探测已知的发行版路径 十几行 标准做法，有文档，他们自己的库本来就支持5 自己把 CA 证书包放进软件包里发布 只涉及打包 完全掌控信任，代价是要负责让它保持新鲜 修正 openssl.cnf，激活 default provider 一行 无论如何都需要，目前被路径故障掩盖着6 把 openssl.cnf 标记为 %config spec 文件里一行 防止一次更新悄悄吃掉管理员的修改15 公布路径和所认的环境变量 一页 最便宜的审计，而且在写的过程中就会发现这个故障 第一条是那个一个参数的修复，有了它，产品发布出去就是能用的。它只是构建脚本里的一个值，设一次就行，他们弄错了，因为下游从来没有任何东西检查过它。\n检查比修复还小：\n# in CI, on the packaged artefact, in a clean container test -d \u0026#34;$(strings lib/libcrypto.so.3 | grep -oP \u0026#39;(?\u0026lt;=OPENSSLDIR: \u0026#34;)[^\u0026#34;]+\u0026#39;)\u0026#34; \\ || { echo \u0026#34;shipping a trust store path that does not exist\u0026#34;; exit 1; } 一行。它本会让这个版本在二月份就大声失败，就在制造它的那台机器上，在制造它的那个容器里，在软件包签名之前。它之所以不在那里，不是因为难，也不是因为贵。而是因为没人被要求去写它，于是打包出来的产物表现得像不像软件，不是任何人的职责。\n草率的构建流程让其他所有人付出什么 上面的一切，都是从内部看到的一个产品的构建流程，我不会再带你走一遍。值得问的是，这种程度的用心，是否可能只停留在一个团队里。\n那就把外部的记录摆在旁边。CISA 维护着一份 已知在野被利用 的漏洞目录。不是理论上的，不是打分打出来的。是被观察到真正用来对付人的。截至 2026年9月14日，它收录了 1,710 条18：\n厂商 KEV 目录中的条目数 Microsoft 388 Cisco 98 Apple 94 Adobe 81 Google 74 Oracle 46 Fortinet 30 VMware 26 第二名，排在一个操作系统垄断者之后，领先其他所有人。Cisco 最近一次新增条目是在 2026年9月14日，也就是写这篇文章的前一天。\n三周前，我为 /zh/random/is-your-msp-lying-to-you-part2/ 数过同一个文件：版本 2026.08.27，1,685 条，Cisco 占 96 条。二十一天里又多了两条。\n公平地说一说，单凭那张表能证明什么、不能证明什么。在高价值场所里拥有庞大的装机量会招来关注，关注会找出 bug，所以任何这个规模的厂商都会背着一长串清单。这个数字是先验，不是判决。\n比总数更难搪塞过去的是构成。Cisco 的九十八条里，有二十五条落在安全产品线上：防火墙、安全设备、VPN 集中器、邮件和 Web 网关、身份服务。而针对它们最近连续新增的四条，是两次 Secure Firewall Management Center、一次 Secure Firewall ASA、一次 Secure Email Gateway，最后那条在 2026年9月14日18。不是交换机。不是协作设备。是那些专门作为“保护其他所有人安全的东西”来卖的产品。\n这正是整篇文章一路走向的那句话，所以我直说。这是一家以销售安全设备为业的公司，却没法让一个桌面客户端去校验一张证书。 不是什么疑难案例。不是什么新型攻击。是计算领域里最例行公事的一项安全操作，每个浏览器每次加载页面都在做，在一个他们自己分叉出来的库里，而他们发布出去时把它指向了一个从来没在任何客户机器上存在过的目录。然后还签了名。\n这篇文章补充的，是它背后那套流程的一个样本。不是一个漏洞。是一个平平无奇的打包缺陷，最不隐蔽的那一类故障，出在受支持的平台上，任何一个有人愿意跑一下的冒烟测试都能抓住，可它照样发布了。如果一条构建流水线会把 这种东西 摆到付费客户面前，那很难说它还能拦住什么。它什么也没拦住。\n我能问一下这个为什么会被签名吗？ 我能问一下，一个连 TLS 握手都完成不了的软件包，为什么会被签名，并且针对一个你们自己的系统要求页面列为受支持的平台发布出去吗？我问的不是谁签的。我对名字毫无兴趣，这件事也不关乎某个人。我问的是什么允许了它，因为确实有东西允许了它，就在构建完成十五分钟之后，而不管那是什么，它今天还在运转。\n再说直白的版本。这不是我从某个代码托管平台上随手拉下来、自担风险的项目。它是付了钱的。背后有一份合同，一条支持热线，一个对 Linux 作出承诺的系统要求页面，还有一把签名密钥，声明这个软件包来自 Cisco 并且适合安装。这每一样都是对客户的一份声明，而在这个版本上，每一样都一文不值，因为成品从来没被打开过。\n而这里被错过的标准不是我的。是他们自己的。本可以承载那些路径的四个环境变量，就写在你们随捆绑包一起发布的手册页里。他们自己的打包格式有一个他们没用的 %config 标记，有一个他们留空的文档段落。他们自己的构建跑在一个他们从没用来运行成品的容器里。我不是在要求一家网络和协作公司去发明什么。我是在问它为什么不读自己的手册。\n所以我不会接受的借口，就是“这很难”。这对谁都不难，对一家天天做这件事、做到这个规模、收这么多钱的公司就更不难。每天干这一行的专业人士没有借口，体量大也不是借口。\n我还能再问一个吗，因为真正要紧的是这一个。你们卖防火墙。你们卖邮件网关、VPN 集中器、身份服务、管理这一切的管理中心，而所有这些产品的卖点都是你们比客户更懂这件事。那么，一家把自己定位为网络安全权威的公司，怎么会发布一个无法验证证书的客户端？不是验证得不够聪明。是根本查不到证书，因为那个目录从来就不在那里。\n这个问题的答案里，凡是以“桌面团队和设备团队是分开的”开头的版本，我都不想听。它们是同一个签名，同一条流水线，对受支持平台的同一份公开承诺，以及结尾缺失的同一个步骤，也就是打开盒子看一看。如果在一个坏了会很响、却无害的产品里，证书校验都没在发布前检查过，那我就没有理由相信，在一个坏了悄无声息、代价高昂的产品里它被检查过。\n还有老实话，我直说。这一切都没让我意外。我已经习惯了这家厂商的这种水准，这就是为什么只要选择权在我手里，我就不买他们的设备，也不在上面搭建任何东西。这不是对品牌标签的偏好。这和我对任何供应商会做的判断一样：我衡量过他们的工作，不止一次，结果一再如出一辙。上面那份目录是一次衡量。写出这篇文章前半部分所花的功夫，是另一次。\n我之所以会用上 Webex，是因为选择权不在我手里，这一点值得点明，因为读这篇文章的大多数人都处在这个位置上。对一个你早已掂量过其质量的厂商，你很少有机会避开。别人签了合同，设备到了，而第一个发现构建里跳过了什么的人，就是你，在你自己的桌前，会议正要开始。\n发布一个你从没运行过的东西 内部总会有个解释。冲刺太忙，流水线换了人管，某个平台没有负责人。这些都不值一听，因为每一个描述的都是同一件事：活没干，而流程里也没有任何东西要求它被干。\n手艺行当里有一条老标准，从来没能进入软件业：东西没运行过，你就不离开现场。你给系统注满水，检查每一个接头。你给配电盘通电，测试每一条回路。不是因为你怀疑自己的手艺。是因为客户要用它，而当着客户的面才发现问题，不是一个专业的结果。没人看着你做这件事。你照样做。这个词的全部含义就在这里。\n软件业花了三十年争辩自己与众不同，说构建就是交付物，安装是别人的事，说一条绿色的流水线就等于一个能用的产品，可它不等于。一个从没在生产它的容器之外执行过的构建，并没有完成，它是在“收尾变得无聊”的那个节点被丢下了。它下游的一切，都是对一项没做过的工作的声明。\n修复是一个 configure 参数。检查是一行 shell。有意思的不是这两者的成本；有意思的数字是，有多少人在 Webex 窗口里输入了自己的凭据，看着它说网络断了，然后信了，因为是 Cisco 这么告诉他们的，而 Cisco 是一家网络公司。这就是那个缺失的测试真正换来的东西：不是一个 bug，而是一个产品每次启动都自信满满地对那些无从知晓真相的人说的谎。\n而在你关掉这个页面之前，值得划清的就是这条线，因为这篇文章的前后两半并不是两个主题。一条指向构建容器的信任路径，和一台边缘设备上的认证绕过，是同一种失败，只是代价不同。两者都是一个没人检查的值，在一个没人运行过的产物里，由一个只证明来源、不证明合用的流程签了名。摆在我面前的这个是无害的那一种。它在我自己的桌上大声地坏掉，我是第一个知道的。另一种可不会这样照顾你。\n同一个缺失的检查，两种不同的代价，只有一种会告诉你 一个缺失的检查，两种代价。只有一种会告诉你它的存在。 同一种根本失败：一个没人检查的值，在一个没人运行过的产物里，由一个只证明来源的流程签名 大声坏掉的那一种 是什么 一条不存在的信任库路径 谁发现的 客户，第一次启动时 代价是什么 一个晚上，一张桌子 谁知道了 我，立刻 最后被公开写了出来。 什么都不弄坏的那一种 是什么 一个没人做边界检查的长度 谁发现的 任何去找它的人 代价是什么 一次安全事件 谁知道了 客户，从事后报告里 最后成为目录里 Cisco 那 98 条中的 1 条。 一个抓不住左栏的流程，从来就不可能抓住右栏。区别在于运气，而不是勤勉。 这篇文章里的缺陷，和那份目录里的条目，是同一种失败换了身衣服。一个在第一次启动时就在我桌上自报家门。另一种先向别人自报家门。 Cisco 没有人决定要发布一台可被利用的防火墙，正如没有人决定要发布一个上不了网的客户端。这不是辩护。这恰恰就是指控。两者都不需要谁去决定，而这正是问题所在：当一条流水线编译、签名、发布，却没有任何人被要求为打开成品负责时，从另一头出来的就是这两样东西。一个连不存在的目录都抓不住的流程，从来就不可能抓住一个没被检查的长度，而一家卖给你守卫边界的设备的厂商，没有资格拥有这样的流程。\n所以，当某个厂商的名字一再出现在那份清单上时，别去接受那个让人舒服的解释，说他们只是块头大、被盯得紧。规模解释得了数量。解释不了种类。转而去看看他们的构建流程怎么对待那些无聊的事情，因为无聊的事情是可以从外部衡量的，由你来衡量，今天就能做，用你已经拥有的设备。\n检查你自己的捆绑包。strings、readelf 再加二十分钟，就能告诉你哪些厂商发布的东西里带着一条通往你永远见不到的机器的路径。你真正衡量的不是那条路径。是那边有没有人在看，而如果在一件抓起来这么便宜的事情上答案是没有，那么在那些不便宜的事情上答案是什么，你已经知道了。\nCisco — Webex App system requirements — 受支持平台列表，包括 Linux。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — INSTALL.md, --openssldir — “Directory for OpenSSL configuration files, and also the default certificate and key store.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — SSL_CTX_load_verify_locations(3) — 默认 CA 文件是 cert.pem，默认 CA 目录是 certs，两者都在默认的 OpenSSL 目录里；关于返回值：“A missing default location is still treated as a success.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nConan 2 — conan cache — 包的二进制文件存放在本地缓存中一条带哈希的路径下，/workspace/.conan2/p/b/\u0026lt;hash\u0026gt;/p 就是这么来的。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — openssl-env(7) — SSL_CERT_DIR 和 SSL_CERT_FILE “specify the default directory or file containing CA certificates”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — provider(7) — default provider，以及省略它的配置会让哪些东西不可用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — config(5) — OpenSSL 在初始化时加载的配置文件，以及去哪里找它。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfreedesktop.org — XDG Base Directory Specification — “The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfreedesktop.org — Desktop Entry Specification — .desktop 文件在哪里被搜索，以及一个文件如何遮蔽另一个同名文件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFilesystem Hierarchy Standard 3.0 — 根文件系统预期包含的目录，其中没有 /workspace。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nupdate-ca-trust(8) — Fedora 及其近亲上 /etc/pki/ca-trust/extracted 下的合并证书包是如何生成的。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nld.so(8) — $ORIGIN 展开为包含该程序或共享对象的目录，这正是捆绑的树能够重定位的原因。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc timeline — “2018-08-01 GLIBC 2.28 — The GNU C Library version 2.28 is now available”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc — Release wiki — 版本与发行版对照表；Red Hat Enterprise Linux 8 用的是 glibc 2.28。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRPM — spec file reference — %config，以及包管理器如何处理被标记为配置文件的文件。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora packaging guidelines — configuration files — 随包发布的文件何时必须标记为 %config。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc FAQ — 为什么静态链接 glibc 的二进制文件在运行时仍需要宿主的 NSS 模块。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Known Exploited Vulnerabilities Catalog — 根据公布的 JSON feed 计数，目录版本 2026.09.14，1,710 条。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/certificates/webex-certificates-on-a-build-server/","summary":"Fedora 44 上的 Webex 46.8.0.35631 顶着一条黄色横幅，写着“Offline - No internet connection”，而这台机器上其他所有程序都能毫无问题地上网。它让 VoIP 线路彻底断了。问题从来不在网络：Cisco 打包了他们自己分叉的 OpenSSL，构建时把 OPENSSLDIR 设成了 /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl，这个目录只存在于一个构建容器里，别处都没有，所以它加载不到任何信任锚，每一次握手都失败。文章按顺序展开：坏掉的状态到底是什么，去问随包附带的库它以为证书在哪里，在 Webex 之外复现出完全相同的错误码，为什么没有任何东西提醒你，两个不管用的修复以及原因，还有那个管用的。然后是构建流程：代码用了 $ORIGIN，三条数据路径却留成了绝对路径；RPM 头里写着一个容器 ID，说明容器早就在流水线里，却从没被拿来运行成品；软件包要求一个 2018 年的 glibc，因为他们不肯静态链接；2.2 GB 的内容装了两遍；没有任何文档，也没有一个文件被标记为配置文件。接着是它本该怎样构建，六个修复，以及一行就能抓住它的检查。最后是交叉核对：Cisco 在 CISA 的已知被利用漏洞目录里占了 98 条，仅次于 Microsoft；一条没人检查的信任路径和一个没人检查的绕过，是同一种失败，只是代价不同。","title":"Webex 在 Cisco 的构建服务器上找你的证书"},{"content":"VPN 不是一个产品。它是两份活儿拼在一起，而你的机器上已经为每一份都准备好了一个程序。\n第一份活儿是造出一条虚拟链路：一个看起来像网卡的接口，接收 IP 数据包，再把它们交到别处去。第二份活儿是把这条链路的字节从一端搬到另一端。买一台 VPN 设备，你买的就是这两份活儿外加一张钉在上面的许可证；自己动手的话，每份活儿都是一个已经装好的程序。在 Linux 上干第一份活儿有两种办法，本文两种都搭：pppd，它带来一整套链路协议，包括协商地址、存活检查和成帧；以及 tap 设备，它什么都不带，只是内核里的一个洞，你往里塞帧就行。它们是不同的取舍，不是竞争对手，本文后半部分会把它们并排放在一起比较。\n那个协议就是 PPP，而这一切之所以行得通，写在它的第一段里：PPP 是用于点对点链路的链路协议1，它并不规定链路由什么构成。调制解调器加电话线是最初的答案，但从来不是唯一的答案。PPTP 把 PPP 放进 GRE2。L2TP 把它放进 UDP3。PPPoE 把它放进以太网帧。这些全都是同一个协议换了个信使，而且没有一个需要为此修改 PPP。\n所以问题不在于你能不能把 PPP 跑在 TCP 或 UDP 套接字上，而在于选哪一个，以及代价是什么。简短的答案，推导过程附后：用 UDP。 把流协议跑在可靠的流里面，是这里唯一一个在你桌上看着没问题、一到真实链路就散架的错误。\nVPN 是两份活儿，而这两样你都已经有了 把任何隧道的营销包装剥掉，都只发生三件事：某样东西提供一个虚拟接口，把数据包变成字节流；某样东西把这个流搬过一张本来就能用的网络；某样东西给它加密，或者什么都不加密。\n每种隧道都是一个链路半边、一个载体，再加一些加密 每次都是同样三个部分。变的只有载体和加密。 隧道 链路半边 载体 加密 拨号 PPP，1994 PPP 调制解调器和电话线 无 PPPoE PPP 以太网帧 无 PPTP PPP GRE MPPE：已被攻破，别用 IPsec 上的 L2TP PPP UDP IPsec 本文，第一种搭法 pty 上的 PPP UDP 套接字，经由 netcat DTLS 本文，第二种搭法 tun 或 tap 设备 UDP 套接字，经由 socat DTLS WireGuard 内核接口 UDP Noise，而且无需协商 这张表上的每一种隧道都是同一个形状。区别只在于字节被放进哪个载体，以及有没有东西给它们加密。PPP 从 1994 年起就在干链路这一半，所以它出现在其中三种下面，却没有为任何一种重新设计过。tun 或 tap 设备干的是同一半，但完全不带协议，这就是本文的第二种搭法。 PPP 把链路这一半干得很到位：地址协商、存活检查、报头压缩、一条链路上跑多种网络层协议，你想要的话还有一个认证步骤。这么多现成的活儿，就躺在 /usr/sbin 里什么也不干。它不干的是在乎载体：给它一个能双向搬运字节的文件描述符，它就在上面跑。netcat 这个程序存在的全部意义，就是充当那个文件描述符。\n加密是没人会递给你的那一部分，本文大部分篇幅都花在把它挣来上，因为 netcat 对此没有答案，而假装它有，正是人们搭出本不该搭的东西的原因。\n各个阶段，以及为什么按这个顺序 下面的一切都分阶段搭建，每个阶段在前一个的基础上加一样东西。这不是教学手法。这就是你应该采用的搭法，因为当第六阶段出问题时，你需要知道第二阶段是否还能用，而只有当第二阶段曾经是你单独跑过的东西时，你才知道这一点。\n六个阶段，每个只加一样你能单独测试的东西 按这个顺序搭，你随时都能一级一级走回去 1 裸跑，走 TCP pppd 加 pty，或者一个 tap 设备，再加一个普通的 netcat 监听端。 在工作台上能用。到真实路径上就崩：两个重传定时器在打架。 2 裸跑，走 UDP 同一条链路，数据报载体。丢一个数据报就是丢一个包，别无其他。 这是地基。上面的一切都是可选的；这个不是。 3 TLS，走 TCP 用 ncat、stunnel 或 openssl 包住载体。两端都要验证证书， 否则你有的是没有身份的加密，也根本没有访问控制。 4 DTLS，走 UDP socat 或 openssl，这是要追求的形态：加密、认证，仍然是数据报。 丢一个包仍然只是丢一个包，而不是两个协议栈为它争吵。 5 压缩 在接口和载体之间做 zstd。载体按顺序送达时， 就跨帧保留窗口；不按顺序时，就每个数据报一个自包含帧，再加一个字典。 6 两者都要，按这个顺序 先压缩，再加密。绝不能反过来：密文压缩不了。 并且要清楚代价：先压缩后加密会泄露明文长度。对你自己的流量来说没问题。 六个阶段，每个在下面那个的基础上加一样东西。裸跑 TCP 是每个人的起点，也是唯一一个死胡同：它在工作台上能用，到了真实路径上就崩。裸跑 UDP 是其余一切的地基。然后是加密，然后是压缩，然后两者一起。每个阶段都是一条你能拉起来、能 ping 通、能一直跑着的链路，所以当梯子顶端出问题时，你可以一级一级往下走回去。 链路本身也是这样搭的，后文那个一秒钟逐步升级背后的道理也在于此：隧道先裸着起来，证明它能搬运一个帧，然后才开始玩花样。一下子把所有东西都打开的搭法会整块失败，而你得花一个晚上去猜是哪一层干的。\npppd 真正要的是一个文件描述符 pppd 是为串口写的，所以最天真的理解是它需要一个串口。并不是。它需要一个终端设备，而且会自己造一个：\npty script — Specifies that the command script is to be used to communicate rather than a specific terminal device. Pppd will allocate itself a pseudo-tty master/slave pair and use the slave as its terminal device. The script will be run in a child process with the pseudo-tty master as its standard input and output.4\n再读一遍，整个搭法都在里面了。pppd 造一个伪终端，自己留着从端，把主端作为标准输入和标准输出交给一个命令。那个命令拿这些字节干什么，不关 pppd 的事。在那里跑 nc，它们就进了套接字。\npppd、伪终端、netcat 和一个套接字 一个数据包，从 ppp0 到 ppp0，以及它经过的每一双手 主机 A 主机 B ppp0 内核接口 pppd HDLC 成帧 pty 对 从端给 pppd 主端给子进程 ncat 标准输入和标准输出 pty 对 主端给子进程 从端给 pppd ncat 标准输入和标准输出 pppd HDLC 成帧 ppp0 内核接口 套接字：TCP 或 UDP 中间这两个框是你唯一要选的部分。两侧的一切都不变，无论载体是电话线、 串行控制台、TCP 流、UDP 数据报流还是 TLS 会话，所以以后换载体只需要改一个词。 伪终端没有载波检测引脚，所以 pppd 会一直等一个永远不会来的载波。`local` 选项就是让它别等的那个。 pppd 把异步 HDLC 写进它自己分配的伪终端的从端。pty 指定的命令继承主端作为标准输入和标准输出。netcat 把标准输入复制到套接字，把套接字复制到标准输出，于是两个 pppd 实例通过 pty 对和网络互相对话，而它们谁都不知道有套接字存在。 还有第二条路，notty，它改用 pppd 自己的标准输入和标准输出。但它会派生一个字符转运进程，每个字节都要从中经过，所以它“increases the latency and CPU overhead”4。除非你有理由不用，否则就用 pty。\n在第一条命令之前，有三个实际情况，都在写这篇文章的机器上核实过，Fedora 44，ppp-2.5.1-7.fc44：\n$ pppd --version pppd version 2.5.1 $ ls -l /usr/bin/pppd /dev/ppp -rwxr-xr-x. 1 root root 393784 Jan 17 2026 /usr/bin/pppd crw-------. 1 root root 108, 0 Sep 14 08:34 /dev/ppp $ pppd noauth nodetach pty \u0026#39;true\u0026#39; pppd: using the noauth option requires root privilege 它需要 root。 绕不过去。在 Fedora 上这个二进制文件没有 setuid，/dev/ppp 是 root 所有、权限 0600，而你需要的那些选项本来就是特权选项。这是你以 root 身份或者在 unit 文件里跑的东西，不是普通用户随手就干的事。这一点后面很重要，到时候我们会谈到它对你的出站策略意味着什么。\n内核那一侧是模块化的。 ppp_generic 负责接口，ppp_async 负责 pty 需要的字节填充成帧，ppp_deflate/bsd_comp/ppp_mppe 负责压缩和加密；它们按需加载。如果一个精简过的容器镜像里缺了 ppp_async，链路能起来，却什么也不搬运。你要是不知道该往哪儿看，这就是痛苦的半个小时。\npty 上不存在调制解调器控制线。 没有载波检测引脚，pppd 就会一直等一个永远不会来的载波。解决办法是一个词，local，它让 pppd 忽略调制解调器控制线4。漏掉它就什么都不会发生，也没有任何值得一读的报错。\nnetcat 不是一个程序 搭建之前，先说最浪费时间的那个坑：“netcat”至少是四个参数互不兼容的程序，你拿到的是哪一个取决于你的发行版。在这台机器上，/usr/bin/nc 是指向 /usr/bin/ncat 的符号链接，也就是 Nmap 的重写版。所以从一个十五年前的 wiki 页面上抄来的命令会失败，而失败的原因跟 PPP 毫无关系。\n实现 在端口上监听 UDP 对端断开后继续运行 Ncat (Nmap) ncat -l 443 -u -k / --keep-open OpenBSD netcat nc -l 443 -u -k 传统 netcat nc -l -p 443 -u 不支持 GNU netcat nc -l -p 443 -u 不支持 所以在你怪罪 pppd 之前，先查一下你手上的是哪一个：\nreadlink -f \u0026#34;$(command -v nc)\u0026#34; nc --version 2\u0026gt;\u0026amp;1 | head -1 || nc -h 2\u0026gt;\u0026amp;1 | head -1 下面我会明确使用 ncat。它是内置 TLS 的那一个，这一点后面很重要，而写明了也意味着这些命令在你的机器上不会悄悄变成别的意思。\n第一阶段：TCP 版本，因为每个人都先试这个 一端监听，一端连接。这里的地址来自文档专用地址段，所以直接粘贴进实验环境，不会伤到任何可路由的东西。端口自始至终都是 443，这是故意的： 几乎每张网络默认都放行出站 443。往下几个阶段把载体包进 TLS，上面的流量就和任何一个 HTTPS 会话无法区分。在那里绑定监听需要 root，而远端，也就是攻击者自己的机器或者一台中继，是有 root 的。整个出站论点就浓缩在一个端口号里，后面我还会回到这一点。\n在监听端：\npppd nodetach noauth local passive \\ nodefaultroute noipdefault \\ 192.0.2.1:192.0.2.2 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat --listen --keep-open 443\u0026#39; 在连接端：\npppd nodetach noauth local \\ nodefaultroute noipdefault \\ 192.0.2.2:192.0.2.1 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat 198.51.100.10 443\u0026#39; 那里的每个词都在干活，而其中一个，noauth，正在悄悄造成破坏。这条隧道没有任何访问控制，后面有专门一节讲它。\npppd 这一行上的每个词，以及它的作用 UDP 搭法的命令行，逐词解释 nodetach 前台运行，这样你能看到输出，也能把它交给守护管理器 noauth 不做对端认证：这就是漏洞，隧道没有任何访问控制 local 忽略 pty 没有的调制解调器控制线。没有它，什么都起不来 passive 等一个有效的 LCP 包，而不是退出：服务器套接字的行为 nodefaultroute IPCP 完成时不抢默认路由。你要的路由，自己加 noipdefault 不把本机自己的地址作为本端地址提供出去 192.0.2.1:192.0.2.2 local:remote，钉死：IPCP 期间 pppd 拒绝任何其他答案 lcp-echo-interval / -failure 存活检测：下面有专门一节 mtu / mru 1400 给载体包在每个帧外面的东西留出空间 pty '...' 这个命令的标准输入和标准输出就成为链路：这里是一个 netcat 套接字 连接端是同一行，只是没有 `passive`：它主动发起，而不是等待。 这一行上的每个选项，以及它的作用。要盯住的是 noauth：它去掉了对端认证，所以监听端谁来都接受。nodefaultroute 和 noipdefault 防止链路悄悄改写你的路由，local 让它能在 pty 上起来，而钉死的 local:remote 地址对则防止 pppd 在 IPCP 期间接受一个不同的答案。连接端是同一行，只是没有 passive。 把两端都拉起来，你就在每一端都得到一个 ppp0、一条到远端地址的点对点路由，以及一个你能 ping、能走路由、能 tcpdump 的接口。这就是一个 VPN：没装任何软件包，没配置任何守护进程，没交换任何密钥。这正是问题所在，后面我还会回到这一点。\n它协商了什么，以及怎么观察 加上 debug，pppd 就会记录控制协议的交换过程，哪怕你以后再也不读，也值得读一次。链路分阶段建立，每个阶段都可能单独失败。\n先 LCP，再认证，然后每个地址族一个控制协议 三个阶段，每个都因为自己的原因失败 1 LCP：链路本身 最大接收单元、控制字符映射、 一个用来发现环回线路的魔数，以及 两端是否要求对方认证。 在这里失败，说明载体没有在两个方向上 干净地传递字节。去查套接字， 而不是 PPP 选项。 2 认证：可选 PAP 明文发送密码。CHAP 做一次 质询和一个 MD5 响应。这里跳过了。 两者都能证明对端是谁。两者都不加密 后面的任何一个字节。 3a IPCP 每一端的 IPv4 地址。 3b IPV6CP 64 位接口 标识符。 这两者彼此独立。IPv4 还在争论时，IPv6 就可以起来， 一个失败也不会把另一个拖下水。某个地址族的控制协议一完成， 接口就开始搬运该地址族的流量。 LCP 敲定链路本身：一帧最大能有多大，哪些控制字符需要转义，还有一个用来检测环回线路的魔数。认证是可选的，这里跳过了。然后每个网络层各有一个控制协议：IPv4 是 IPCP，IPv6 是 IPV6CP。它们彼此独立，所以 IPv4 还在争论时，链路就可以搬运 IPv6，一个失败也不会把另一个拖下水。 两个有用的调试工具早就装好了，却没人用：\n# log every frame in both directions to a file pppd ... debug record /tmp/ppp-trace # then read it back in a human-readable form pppdump -h /tmp/ppp-trace | less record 把每个字节写成带时间戳的抓包，pppdump 把它转成可读的形式4，再加上 tcpdump -ni ppp0，两边你都能看到：下面的成帧，和上面的数据包。\n线路上的帧，以及为什么 0x7E 无处不在 串行线路上的 PPP，而在 pppd 看来 pty 就是串行线路，使用异步 HDLC 成帧。懂不懂它，决定了你是在调优还是在瞎猜。每一帧都以同一个字节开始和结束：“Each frame begins and ends with a Flag Sequence, which is the binary sequence 01111110 (hexadecimal 0x7e)”5。既然 0x7e 标记边界，它就不能出现在帧内部，所以它要被转义。转义字节 0x7d 本身也要转义，以及任何一端要求转义的其他字节。\n帧、标志字节，以及转义的代价 一个帧，以及永远不能出现在帧里的两个字节 0x7E 标志 0xFF 地址 0x03 控制 协议 1 或 2 字节 载荷：你的 IP 数据包 最大不超过协商好的最大接收单元 FCS 16 位 CRC 0x7E 标志 转义：唯一的规则 任何可能被误认为边界的字节，都被替换为 0x7D 加上原字节与 0x20 异或的结果。 载荷 0x7E 发送为 0x7D 0x5E 载荷 0x7D 发送为 0x7D 0x5D 这两个是必须转义的。其余的由异步控制字符映射决定：32 位，每个控制字符一位。 映射设为零：pppd 的默认值，在套接字上是对的 256 个字节里只转义两个。开销你永远测不出来。套接字是干净的 8 位路径，别的什么都不需要。 32 个全部标记：保守的调制解调器设置 在压缩或加密的载荷上，大约每八个字节就有一个小于 0x20，于是翻倍。大约占链路的 12%，白白浪费。 帧的结构是：标志、地址、控制、协议、载荷、帧校验序列、标志。帧内任何可能被误认为边界的字节，都被替换为 0x7D 加上原字节与 0x20 异或的结果。ACCM 决定还有多少其他字节享受同样的待遇：在干净的 8 位路径上是零个，如果任一端要求那个假定调制解调器会吞掉控制字符的保守默认值，就是三十二个。 转义规则是精确的：“Each Flag Sequence, Control Escape octet, and any octet which is flagged in the sending Async-Control-Character-Map (ACCM), is replaced by a two octet sequence consisting of the Control Escape octet followed by the original octet exclusive-or\u0026rsquo;d with hexadecimal 0x20”5。\n最后那部分就是调优旋钮。ACCM 是 32 位，每位对应一个控制字符，1 表示“转义它”。要求全部转义的话，在字节实际上是随机的加密载荷上，大约每八个字节就有一个小于 0x20，白白多出约 12% 的开销。\n现代的 pppd 在这里已经做对了。去读手册页，而不是读民间传说：\nIf no asyncmap option is given, the default is zero, so pppd will ask the peer not to escape any control characters.4\n所以 asyncmap 0 是默认值，不是什么窍门，而套接字是一条干净的 8 位路径，除了那两个强制转义的字节之外什么都不用转义。别动它；只有当中间确实有东西吞掉控制字符时才去设置这些位，比如终端服务器、串口集中器、一个糟糕的控制台代理。末尾的帧校验序列是一个 16 位 CRC，正是它让 UDP 版本行得通，那是下一节的内容。\nTCP 套 TCP 是错误的载体 上面的搭法能用。在实验台上，走环回或者一张安静的局域网，它用起来非常漂亮，而这正是人们把它交付出去的原因。\n然后它遇上一条有真实丢包的真实路径。它倒下的方式看起来像任何东西，唯独不像它本来的样子。\n问题在于两个彼此独立的重传定时器叠在一起，外层把丢包藏起来不让内层看见。Olaf Titz 写过权威的解释，开篇讲的恰恰就是这种搭法：\nA frequently occurring idea for IP tunneling applications is to run a protocol like PPP, which encapsulates IP packets in a format suited for a stream transport (like a modem line), over a TCP-based connection. […] Unfortunately, it doesn\u0026rsquo;t work well. Long delays and frequent connection aborts are to be expected.6\n丢一个包，两种载体，两种截然不同的结果 一个包不见了。每种载体接下来怎么做。 TCP 载体：隧道把丢包藏起来 1 载体丢了一个分段。 2 载体重传它。字节迟到了， 而不是丢了：问题全在这里。 3 隧道里的 TCP 看不见载体。它把 延迟当成拥塞，把定时器翻倍， 重传下面早已在途中的数据。 4 现在载体欠着原件和一份副本， 要走一条刚刚证明在丢包的链路。 队列增长得比任何一层排空它都快。 链路还没垮，吞吐量先崩了。 UDP 载体：丢包到达真正负责它的那一层 1 载体丢掉这个包，什么都不说。 2 里面的 PPP 帧校验和不通过， 被丢弃。下一个标志字节重新同步。 3 隧道里的 TCP 看到一次真实的丢包， 因为它终于被告知了路径的真相。 4 它把窗口减半，重传一次。 拥塞控制正好干它被设计来干的 事。丢一个包只损失一个包。 承载用的 TCP 保证送达，所以丢掉的分段会被重传，字节是迟到而不是不到。隧道里面的 TCP 只看到延迟，认定网络拥塞，于是退避并重传同样的数据，而这些数据载体现在也得送达。每一层的定时器都在试图解决一个本属于另一层的问题，队列增长的速度比任何一层排空它的速度都快。UDP 载体则直接丢掉数据包，内层 TCP 看到的是一次真实的丢包，它的拥塞控制就去干它本来被设计来干的事。 形状是这样的。两个 TCP 都根据各自的往返时间设定重传定时器。载体丢了一个分段就重传，所以内层连接的数据迟到了。而看不见载体的内层 TCP 把迟到理解为拥塞，也开始重传。于是载体要在一条本来就在丢包的链路上，同时送达原始数据和一份副本。内层定时器翻倍，外层队列增长，吞吐量远在链路崩溃之前就先崩溃了。日志里没有任何东西告诉你为什么。\n这不是什么微妙的效率问题。一条隧道是平稳降级，还是在大约 2% 丢包时就不再转发流量、而同一路径上的 ping 看起来依然正常，区别就在这里。这就是用 UDP 的理由，而 TCP 只留给那种别的什么都过不去的路径。\n所以用 UDP，把它当默认值，而不是偏好。\n第二阶段：UDP 版本，这才是地基 同样的 pppd，不同的载体。唯一的改动在 pty 命令里。\n监听端：\npppd nodetach noauth local passive \\ nodefaultroute noipdefault \\ 192.0.2.1:192.0.2.2 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat --udp --listen 198.51.100.10 443\u0026#39; 连接端：\npppd nodetach noauth local \\ nodefaultroute noipdefault \\ 192.0.2.2:192.0.2.1 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat --udp 198.51.100.10 443\u0026#39; 关于 UDP 监听端，有两件事会让你栽跟头，而且都不是 PPP 的问题。\n监听端在被搭话之前无法应答。 UDP 套接字没有可以接受的连接，所以在数据报到达之前，netcat 不知道该把回复发到哪里。它会锁定第一个听到的源地址和端口，然后跟它对话。这意味着连接端必须先发，而 pppd 会自己做到这一点，因为非被动的那一端会立刻开始发送 LCP 配置请求。这也意味着，如果客户端的源端口变了，载体就会悄悄地跟错误的地方对话。在 UDP 超时很短的 NAT 后面，这就是一条每隔几分钟就莫名其妙死掉的隧道。\n--keep-open 在 UDP 上并不做你想要的事。 Ncat 的 -k 让 TCP 监听端在对端离开后继续接受连接。UDP 上没有什么可接受的，所以恢复就意味着重启载体，而这正是下文 persist 和 holdoff 的用途。\n这两点都是改用 socat 的理由，它处理 UDP 对端更小心；也是用一个守护管理器的理由，而不是指望它自己一直活着。\n为什么 PPP 能扛过一个丢失的数据报 对 UDP 载体最显而易见的反对意见是：PPP 期待的是字节流，而 UDP 不是：数据报要么完整到达，要么根本不到，而且可能乱序到达。可它照样能用，靠的是成帧一直都带着的两个字节。\n丢一个数据报只损失一个帧，下一个标志字节就让链路恢复 边界对不齐，但这无所谓 pppd 写出的 PPP 帧 7E 帧 A + FCS 7E 帧 B + FCS 7E 帧 C + FCS 7E 帧 D + FCS 载体实际发出的内容：netcat 读的是缓冲区，不是帧 数据报 1 数据报 2：丢失 数据报 3 数据报 4 帧 B 丢了中间部分，校验和不通过，被丢弃。帧 C 丢了开头的字节，同样被丢弃。 丢两个帧就是丢两个 IP 数据包。上一层会重传它们，而且是在知道路径丢了东西的情况下重传， 而这恰恰是 TCP 载体会藏起来的信号：它只会让它们迟到。 netcat 读到缓冲区里有什么就把什么写进一个数据报，所以帧的边界和数据报的边界毫无关系。丢一个数据报，接收端看到的就是一个缺了字节的帧：帧校验序列不通过，帧被丢弃，跟在嘈杂的串行线路上一模一样。下一个 0x7E 让字节流重新同步。丢一个帧只损失一个数据包，由上一层来重传，而这正是内层 TCP 需要、却在 TCP 载体上永远得不到的丢包信号。 异步 HDLC 上的 PPP 本来就是为一条会损坏字节的线路设计的。每一帧都带一个 16 位的帧校验序列；校验失败的帧被丢弃，下一个标志字节让接收端重新同步。乱序比丢包少见，结果也一样：FCS 错误，帧被丢弃，重新同步。\n所以丢一个数据报只损失一个 PPP 帧，也就是一个 IP 数据包，这是有史以来每一张网络的常态。数据包的主人去重传，拥塞控制看到一次真实的丢包并正确应对。这就是支持 UDP 的全部论据：它让隧道里的流量能知道路径的真相。\n不过，别让帧大到需要载体去分片。那样的话，丢一个分片就毁掉整个数据报，你的有效丢包率会成倍增长。让 PPP 的 MTU 远低于路径 MTU。\n地址、路由，以及把 IPv6 做对 ppp0 是一个点对点接口，没有子网，没有 ARP，所以 local:remote 就是寻址的全部，你要明确地让路由走过它。一台主机要访问远端后面的一张网络：\n# on the client, after the link is up ip route add 203.0.113.0/24 via 192.0.2.1 dev ppp0 要让远端替客户端转发，照例两步：\nsysctl -w net.ipv4.ip_forward=1 nft add rule inet nat postrouting oifname \u0026#34;eth0\u0026#34; ip saddr 192.0.2.2/32 masquerade proxyarp 会让服务器在自己的网段上替客户端应答 ARP4，这挺巧妙，直到第二个客户端也想要同样的待遇。然后去做大多数人跳过的那部分。在上面跑 IPv6：一条没有 NAT、没有广播域、没有地址稀缺的点对点链路，是你网络里最容易把 IPv6 做对的地方：\npppd nodetach noauth local \\ +ipv6 ipv6 ::1,::2 \\ nodefaultroute noipdefault \\ 192.0.2.2:192.0.2.1 \\ pty \u0026#39;ncat --udp 198.51.100.10 443\u0026#39; +ipv6 启用 IPV6CP；ipv6 \u0026lt;local\u0026gt;,\u0026lt;remote\u0026gt; 设定两个 64 位的接口标识符4，链路以链路本地地址起来，然后你在上面加一个全局 /647。IPV6CP 独立于 IPCP8，所以用 noip 就只搬运 IPv6，一个词就搭出一个在 2026 年很合理的东西。\n载体悄无声息地死掉时如何保持在线 这是最浪费一个下午的故障，所以它有自己的一节。\n一个死得很难看的 TCP 载体，比如远端断了电、NAT 表项过期了、某个中间设备不再转发，并不会关闭。没有 FIN，没有 RST，什么都没有。netcat 守着一个再也不会送来一个字节的套接字，pppd 守着一个再也看不到一帧的 pty，而 ip link 还兴高采烈地报告 ppp0 处于 UP 状态。UDP 载体根本没有连接状态，所以它什么都察觉不到。\nPPP 内置了答案，而且默认是关着的：\nlcp-echo-interval 10 lcp-echo-failure 3 这会每十秒发一次 LCP echo，连续三次没有回应就拆掉链路4。三十秒就能逮住一个死掉的载体，而适用的恰恰是手册页点名的那种情况，“no hardware modem control lines”4，也就是史上每一个 pty。然后决定之后会发生什么：\npersist maxfail 0 holdoff 5 用三十秒发现死掉的载体，并把它重建起来 载体可能悄无声息地死掉。PPP 就是这样发现并恢复的。 载体悄无声息地死掉 远端关机 · NAT 表项过期 · 中间设备不再转发 没有任何东西报告 没有 FIN，没有 RST · ip link 仍 显示 ppp0 UP · UDP 没有状态 探测器 lcp-echo-interval 10 lcp-echo-failure 3 每 10 秒一次 echo，错过 3 次就断开，共 30 秒 重建 persist maxfail 0 holdoff 5 重启，永不放弃，每次重试间隔 5 秒 一个守护管理器 systemd unit，Restart=always， pppd 重新运行 pty 命令， 新的 netcat 和套接字随之而来 两端都要设置 echo。一次 echo 只能证明回复走回来的那条路径。 把 `ip route` 放进 /etc/ppp/ip-up.d/，把 IPv6 路由放进 /etc/ppp/ipv6-up.d/，这样每次链路回来，路由都会重新应用， 而不是手工设一次，第一次重连就丢了。 lcp-echo-interval 10 lcp-echo-failure 3 是探测器：每十秒一次 echo，错过三次就断开链路。persist maxfail 0 holdoff 5 是重建：重启，永不放弃，等五秒，免得一条时断时续的路径变成 fork 炸弹。pppd 会重新运行 pty 命令，所以一个新的 netcat 和新的套接字也随之而来。两端都要设置 echo；一个守护管理器，也就是带 Restart=always 的 systemd unit，胜过两个进程互相扯皮。把 ip route 放进 /etc/ppp/ip-up.d/，这样路由会随链路一起回来。 它没有加密，也没有认证 上面的一切是一条能用的隧道。它不是一条安全的隧道，而这个差距不是细节。\n没有加密。 不是加密很弱。是根本没有。你送进去的每个数据包都以明文躺在线路上，包在一个任何抓包工具一眼就能解码的 HDLC 帧里。tcpdump 给你看别人隧道里的内容，跟看你自己的一样轻松。\n没有对端认证。 noauth 说得明明白白。netcat 监听端接受到达那个端口的任何东西：来自任何地方的第一个连接或数据报。谁先到，谁就拿到一条通进你网络的、可路由的链路。PPP 确实有认证（明文的 PAP，以及质询-应答式的 CHAP9），但两者都只证明对端是谁，之后的内容一个字节都不加密：在这里用 CHAP，你得到的是一条知道自己在跟谁说话、却仍然把内容公开给路径上任何人的隧道。\nPPP 家族里确实有一个加密选项，MPPE10，就是躺在 ppp_mppe.ko 里的那个模块。别去碰它：它是用 MS-CHAPv2 交换派生密钥的 RC4，公开被攻破已经十多年了，也是 PPTP 已死的原因。2026 年还在它上面搭新隧道，就是放着一个零成本的可用密码不用，偏选一个已知被攻破的。\n所以到目前为止，老实的总结是：一条既无机密性、也无访问控制的可路由链路。 在实验环境里没问题，在一条本来就加密的链路里面没问题，在其他任何地方都不行。解决办法是给载体加密，这是接下来两节的内容，也是用 ncat 而不是你的发行版随便带的哪个 netcat 的原因。\n第三阶段：把载体包进 TLS 干净的答案是让 pppd 原封不动，把载体换成一个能做 TLS 的。pppd 永远不会知道有什么变了。\n先是证书。只要客户端会校验，自签名证书就够了。一个不做校验的 TLS 会话，就是跟一个你没有识别过身份的人进行加密对话，这拦不住任何人：\nopenssl req -x509 -newkey rsa:4096 -days 825 -nodes \\ -keyout tunnel.key -out tunnel.crt \\ -subj \u0026#34;/CN=tunnel.example.net\u0026#34; \\ -addext \u0026#34;subjectAltName=DNS:tunnel.example.net\u0026#34; Ncat Ncat 内置了 TLS。它还能通过代理串接，--proxy host:port --proxy-type http|socks4|socks511，所以载体可以终结在一台中继上，而不是隧道的远端。出站那一节的论点就落在这一点上。监听端：\npppd nodetach noauth local passive \\ nodefaultroute noipdefault 192.0.2.1:192.0.2.2 \\ lcp-echo-interval 10 lcp-echo-failure 3 mtu 1400 mru 1400 \\ pty \u0026#39;ncat --listen --keep-open --ssl --ssl-cert tunnel.crt --ssl-key tunnel.key 443\u0026#39; 连接端：\npppd nodetach noauth local \\ nodefaultroute noipdefault 192.0.2.2:192.0.2.1 \\ lcp-echo-interval 10 lcp-echo-failure 3 mtu 1400 mru 1400 \\ pty \u0026#39;ncat --ssl --ssl-verify --ssl-trustfile tunnel.crt tunnel.example.net 443\u0026#39; --ssl-verify 才是关键的那个词。 没有它，--ssl 只能防住被动监听者，对先应答那个端口的人毫无防备；有了它，Ncat 会对照信任文件校验信任链和域名12。不过 Ncat 在服务器端不检查客户端证书，所以服务器无法识别客户端。把它和 CHAP 搭配使用，或者用接下来两个中的一个。\nStunnel 传统的包装器，也是能把双向认证做对的那一个：\n[ppp] accept = 443 connect = 127.0.0.1:6001 cert = /etc/stunnel/tunnel.crt key = /etc/stunnel/tunnel.key CAfile = /etc/stunnel/clients.crt verify = 2 verify = 2 要求客户端证书由 CAfile 里的某个 CA 签发，这正是 netcat 版本从来没有的访问控制。客户端以客户端模式运行 stunnel，pppd 的 pty 命令连接本地的明文一侧。\nSocat socat 每端一个进程就能搞定整件事，而且默认开启校验：\n# listening end pppd ... pty \u0026#39;socat - OPENSSL-LISTEN:443,reuseaddr,cert=tunnel.pem,cafile=clients.crt,verify=1\u0026#39; # connecting end pppd ... pty \u0026#39;socat - OPENSSL:tunnel.example.net:443,cafile=tunnel.crt,verify=1\u0026#39; 写这篇文章的机器上没装 socat，所以那段来自它的文档，请核对你自己的参数。它是我会首选的那个，因为它是四个里唯一也会说 DTLS 的。\nOpenssl，在别的什么都没有的时候 只要一台机器有 TLS，就有 openssl，而 s_server/s_client 能搬运一条管道：\n# listening end pppd ... pty \u0026#39;openssl s_server -quiet -accept 443 -cert tunnel.crt -key tunnel.key\u0026#39; # connecting end pppd ... pty \u0026#39;openssl s_client -quiet -verify_return_error -CAfile tunnel.crt -connect tunnel.example.net:443\u0026#39; -quiet 压掉那条否则会落进你 PPP 字节流里的横幅，-verify_return_error 让校验失败时关闭连接，而不是警告一声然后继续。这些是调试工具，表现也像调试工具，但在一台你什么都装不了的机器上，它们能把链路拉起来。\n明文、TCP 上的 TLS，或 UDP 上的 DTLS 两端是同一个链路半边。只有中间在变。 pppd 或 tap0 普通 netcat，UDP ncat --udp --listen 6000 pppd 或 tap0 在线路上是明文，监听端接受第一个连上端口的人。没有机密性，没有访问控制。 pppd 或 tap0 TCP 上的 TLS：ncat、stunnel 或 openssl ncat --ssl --ssl-verify --ssl-trustfile tunnel.crt host 6000 pppd 或 tap0 有保护，证书说明远端是谁。但载体又是 TCP 了，而且这是唯一能做流式压缩的形态。 pppd 或 tap0 UDP 上的 DTLS：socat 或 openssl socat - OPENSSL-DTLS-CLIENT:host:6000,cafile=tunnel.crt,verify=1 pppd 或 tap0 加密、认证，仍然是数据报。丢一个包仍然只是丢一个包，而不是两个协议栈为它争吵。目标在这里。 两端自始至终都是同一个 pppd，变的只有 pty 命令。普通 netcat 给你一条毫无保护的链路。TCP 上的 TLS 保护了字节，却把载体 TCP 的问题带了回来。UDP 上的 DTLS 才是要追求的形态：加密、认证，而且仍然是数据报载体，所以丢掉的包仍然只是丢掉的包，而不会变成两个协议栈之间的重传之争。 第四阶段：DTLS，因为载体仍然应该是 UDP 尴尬的部分来了，这也是这一节单独成节的原因。上面每一个 TLS 选项都跑在 TCP 上，所以把载体包进 TLS 就推翻了支持 UDP 的论据，又把崩溃还给了你。加密和正确的传输不应该是二选一。DTLS 就是数据报上的 TLS，它才是你想要的：它保留记录层的保护，去掉有序和重传的保证，让丢掉的包就那么丢掉，而这正是 PPP 的帧校验序列被设计来消化的东西。\nNcat 做不到。socat 和 openssl 可以：\n# listening end pppd ... pty \u0026#39;socat - OPENSSL-DTLS-LISTEN:443,cert=tunnel.pem,cafile=clients.crt,verify=1\u0026#39; # connecting end pppd ... pty \u0026#39;socat - OPENSSL-DTLS-CLIENT:tunnel.example.net:443,cafile=tunnel.crt,verify=1\u0026#39; 只用 openssl 的话，-dtls 选择任意一个 DTLS 版本：\n# listening end pppd ... pty \u0026#39;openssl s_server -quiet -dtls -accept 443 -cert tunnel.crt -key tunnel.key\u0026#39; # connecting end pppd ... pty \u0026#39;openssl s_client -quiet -dtls -verify_return_error -CAfile tunnel.crt -connect tunnel.example.net:443\u0026#39; 注意帧的大小。DTLS 记录不能像 TLS 记录分散在 TCP 流上那样被分片，所以一切都必须一次性装进路径 MTU。\n开销堆栈，以及剩下的内层 MTU 从路径 MTU 往下算，剩下多少用多少 IP 报头20（v4）/ 40（v6） UDP 报头8 DTLS 记录 + 标签≈ 30 PPP / 以太网成帧几个字节 内层 MTU：隧道能搬运的部分，目标 1400，下限 1280 DTLS 记录不能像 TLS 记录分散在 TCP 流里那样被分片，所以这一切必须一次装进路径 MTU。 和 OpenVPN 自 2001 年以来的形态一样：一个数据报载体、DTLS、上面一个虚拟接口。不是怪招，只是拆散了。 从 1500 往下算：IPv4 报头 20 字节或 IPv6 报头 40 字节，UDP 8 字节，DTLS 记录及其标签大约 30 字节，成帧几个字节，剩下的就是隧道能搬运的内层 MTU。普通路径上取 1400；如果中间有什么东西本身也是隧道，1280 是安全的下限。这个形态，一个数据报载体、DTLS、上面一个虚拟接口，差不多就是 OpenVPN 从 2001 年起一直在做的事。不是什么怪招，只是拆散了而已。 调优 PPP 版本：MTU、压缩，以及真正有用的东西 四个旋钮，都是 pppd 选项。下一节的 tap 版本一个都没有，因为它根本没有这些旋钮所配置的那套机制。\n四个 pppd 旋钮：一个要设，一个别动，两个关掉 一个要设，一个别动，两个关掉 要设 MTU 和 MRU 两端都设，留出余量：普通 1400，隧道下 1280。分片的帧会丢掉整个包。 别动 ACCM 默认已经是零，在干净的套接字上是对的。只有当中间有东西吞控制字符时才去碰它。 关掉 novj Van Jacobson 报头压缩 在快速链路上省下的只是个零头，每个包都要花 CPU，一丢包就出错。高于调制解调器速度就关掉。 关掉 nodeflate nobsdcomp 载荷已经是 TLS/DTLS：压缩密文纯属白干，而跨越安全边界压缩，就是一种攻击。 这些都不会让隧道变快。PPP 不是瓶颈：同一个守护进程跑 PPPoE 能到 2 Gbit，因为它的数据路径 留在内核里。这里的代价在 pty：每个字节都要进用户空间再出来。这笔账属于伪终端，不属于 PPP。 MTU 和 MRU 才是要紧的那个：两端都设，并留出余量，因为一个需要载体去分片的帧，任何一次丢包都会损失整个数据包。在干净的套接字上，ACCM 已经是零，而且是对的。速度高于调制解调器时，用 novj 关掉 Van Jacobson 报头压缩。它省下的只是个零头，每个包都要花 CPU，一丢包就出错。把 deflate/bsdcomp 关掉：载荷已经加密了，跨越安全边界做压缩是一种攻击，不是一项功能。 这些都不会让隧道变快，而原因很重要，因为 PPP 常为此背锅，其实不该。PPP 不是瓶颈。 PPPoE 在同一个守护进程上能跑 2 Gbit，因为它的数据路径从不离开内核：ppp_generic 和 pppoe 负责成帧和转发，pppd 只处理控制平面。在这里让你付出代价的是 pty：每个字节都要跨进用户空间，经过 netcat，进入套接字再回来，这是 PPPoE 从来不走的一趟往返。这笔账算在伪终端头上，不算在 PPP 头上。\n这正好是看看另一种做法的时候，那种做法根本没有 pty。\n另一种做法：tap 设备，完全不用 PPP 到目前为止，链路那一半一直用的是 PPP。造一个虚拟接口还有第二种办法，而且它根本不需要协议。\n内核的 TUN/TAP 驱动给你一个接口和一个绑在一起的文件描述符：往描述符里写一个数据包，它就出现在接口上，就像从线缆上来的一样；从里面读，你就得到一个内核想要发出去的数据包。这就是全部的接口13，它从 1999 年起就在 Linux 里了。\nip tuntap add dev tap0 mode tap user damien group damien ip link set tap0 mtu 1400 up ip addr add 192.0.2.1/30 dev tap0 tap 设备一端是接口，另一端是文件描述符 没有守护进程，没有协议，没有伪终端。只有一个文件描述符。 内核 tap0 一个普通接口， 有地址，也有路由 /dev/net/tun TUNSETIFF 指定 你拿到的设备 你的进程 socat，或者五十行 持有 fd 的 Python UDP 套接字 每个数据报一个帧 网络 以及远端 读一次 = 一个帧 和 PPP 搭法相比少了什么：没有协商的帧大小，没有存活检测，不交换地址，没有认证。 两端都由你手工配置，它们从不讨论其中任何一样。没有东西盯着链路，所以链路死了也没人告诉你。 没有守护进程，也没有协议。内核把 tap0 呈现为一个普通接口，把它的另一侧交给打开 /dev/net/tun 的那个进程。一次读取恰好返回一个以太网帧；一次写入恰好注入一个。pppd 原来在协商的一切，地址、帧大小、存活检测，现在都由你在两端手工配置，而两端从不讨论其中任何一样。 第一条命令里有两个细节，比看上去更有分量。\nuser damien 让设备持久化且无需特权。 这样创建的设备会比使用它的进程活得更久，指定的用户不是 root 也能打开它。root 只创建一次设备；铲运帧的那个东西完全不需要 root。在出站那一节之前，先记住这一点。\nmode tun 是同一个驱动的另一半，也是大多数人真正想要的那一个。tun 搬运 IP 数据包，tap 搬运以太网帧。这个区别重要到下面专门有一节讲它。\n跟 PPP 相比，你放弃的是 PPP 协商的一切：没有 LCP，所以没有商定的帧大小，也没有存活检查；没有 IPCP/IPV6CP，所以两端都要手工配置；没有认证；没有报头压缩。tap 设备是内核里的一个洞，从中穿过的协议是你放进去的任何东西。你得到的是完全没有成帧开销，没有转义，没有控制通道，以及一个可以桥接的接口。\nUDP 上的 tap，一个数据报就是一个帧 这是全文最干净的映射，而且它是从设计里自然得出的。tap 设备是数据报设备，一次 read() 恰好返回一个帧；UDP 套接字是数据报套接字，一次 sendto() 对应一个数据报。所以一个帧放进一个数据报，到达时还是一个帧，没有任何东西需要分隔、缓冲或重新同步。丢一个数据报就丢一个帧，而丢包本来就是这个样子。\n用 socat 的话，两端各一条命令：\n# listening end socat TUN:192.0.2.1/30,tun-type=tap,tun-name=tap0,iff-up UDP-LISTEN:443 # connecting end socat TUN:192.0.2.2/30,tun-type=tap,tun-name=tap0,iff-up UDP:198.51.100.10:443 写这篇文章的机器上没装 socat，所以这两条来自它的文档，不是在这里跑出来的。在相信它们之前，请核对你自己那个版本的地址类型名称。它值得拥有：它是本文里唯一一个在一个进程里就能做 tun、tap、TLS 和 DTLS 的工具。\n在你什么都装不了的地方，整件事大约五十行，除了标准库之外没有任何依赖。它的核心如下，其中 IFF_NO_PI 关掉驱动本来会加在前面的四字节报头：\nTUNSETIFF, IFF_TAP, IFF_NO_PI = 0x400454CA, 0x0002, 0x1000 # IFF_TUN is 0x0001 def open_tap(name): fd = os.open(\u0026#34;/dev/net/tun\u0026#34;, os.O_RDWR) fcntl.ioctl(fd, TUNSETIFF, struct.pack(\u0026#34;16sH\u0026#34;, name.encode(), IFF_TAP | IFF_NO_PI)) return fd # ... learn the peer from the first datagram (UDP has no accept), then shovel: while True: ready, _, _ = select.select([tap, sock], [], []) if tap in ready and peer: sock.sendto(os.read(tap, MTU), peer) # one read = one frame = one datagram if sock in ready: frame, src = sock.recvfrom(MTU) peer = src # last speaker wins — see the note below if frame: os.write(tap, frame) 完整的文件，包括参数解析、通过 getaddrinfo 支持 IPv6、告诉 UDP 监听端该往哪儿应答的零长度数据报，以及下一节要加的压缩，都在这个页面包里：\n\u0026#8615; tapcat.py：完整的程序，大约一百行 tapcat.py · 6 kB 每个数据报上的 peer = src 是要读两遍的那部分。谁最后发来一个帧，谁就成为对端。 在源端口不断变化的 NAT 后面，这很方便；在不可信的网络上，这就是一扇敞开的门，任何能往那个端口发一个数据报的人都能接管隧道。在 DTLS 会话里面没问题，而这正是它要去的地方；单独用就不行。脚本的套接字那一半在这里通过 IPv6 环回测试过：开场数据报到达，监听端认下对端，一个帧穿过去，应答回来；tap 那一半需要 root，是我唯一没能跑的部分。\nTCP 上你得自己发明成帧 现在把载体换成 TCP，看一整个问题冒出来，而这个问题 PPP 早在 1994 年就悄悄解决了。\nTCP 是一个没有记录边界的字节流，也不保证字节到达时如何分组：背靠背写入的两个帧，可能在一次读取里到达，一个帧也可能分三次到达。接收端手里是一堆字节，不知道一个帧在哪儿结束，而 tap 设备只接受完整的帧。\n每帧一个数据报，或者一个你得自己发明的长度前缀 从 tap 设备读一次就是一个帧。保持这一点是载体的活。 走 UDP：边界白送 数据报 = 帧 A 数据报 = 帧 B 数据报 = 帧 C 数据报 = 帧 D 读一次，发一个数据报，远端写一次。无需定界，无需缓冲，丢包后也无需重新同步。 走 TCP：边界没了，你得自己把它们放回去 一条字节流：两个帧可能在一次读取里到达，一个帧也可能分三次到达 len 帧 A len 帧 B len 帧 C len 帧 D 每个帧前面加两字节大端序长度，接收端先读长度，再恰好读那么多字节。 能用，但恢复不了。HDLC 在下一个 0x7E 上重新同步，因为标志没有歧义；带长度前缀的流 一旦错位，之后的每个长度都会从某个帧的中间读出来。加上标记和校验和来修它，你就重新造了一个 HDLC。 在 UDP 上，一个帧就是一个数据报，边界白白送上门。在 TCP 上边界没了，所以发送端必须给每个帧加一个长度前缀，接收端必须据此重新组装。PPP 没有这个问题，因为它自带成帧，两端各一个标志字节外加一个校验和，这也是它在受损后能重新同步的原因。带长度前缀的流做不到：错一个字节，之后的每一帧就全错了。 所以在 TCP 上你得自己写成帧。在每个帧前面加两个字节的大端序长度，是通常的做法：\n# sending sock.sendall(struct.pack(\u0026#34;!H\u0026#34;, len(frame)) + frame) # receiving def recv_exactly(sock, n): buf = b\u0026#34;\u0026#34; while len(buf) \u0026lt; n: chunk = sock.recv(n - len(buf)) if not chunk: raise ConnectionError(\u0026#34;carrier closed\u0026#34;) buf += chunk return buf length = struct.unpack(\u0026#34;!H\u0026#34;, recv_exactly(sock, 2))[0] frame = recv_exactly(sock, length) 这能用，但它比 UDP 版本严格地更差。这又是 TCP 套 TCP 的问题；每个帧多出两个字节和一个重组循环；而且出错后没有退路，因为一个丢了位置的带长度前缀的流，会从某个帧的中间读出之后的每一个长度。HDLC 会在下一个 0x7E 上重新同步；这个做不到，除非你更糟糕地重新发明一遍 HDLC。支持 UDP 的第三个论据，也是最有力的一个： 在数据报载体上根本不存在成帧问题，因为载体已经具备你唯一需要的那个特性。\ntun 还是 tap：除非真的需要第二层，否则用第三层 同一个驱动给你两种设备，而人们总是选错，因为某个教程说的是 tap。\ntun tap 穿过的是什么 IP 数据包 以太网帧 每包开销 无 14 字节以太网报头 ARP、DHCP、广播 无 有，全都通过隧道 非 IP 协议 不支持 支持 能否加入网桥 不能 能 相当于 一条点对点链路，就像 ppp0 一根网线 tun 是一条路由链路，就像前半部分的 PPP 接口：两个地址，一条路由，数据包进进出出。tap 是一根虚拟的以太网线，所以网段上的每一个广播、每一次 ARP 查询、每一点组播噪声，现在都要穿过你的隧道，烧掉带宽。\n改脚本里的一行就能切换：\nIFF_TUN = 0x0001 # instead of IFF_TAP 当你真的需要第二层时才用 tap。确实有真正的理由：一个不是 IP 的协议，一个期待看到广播的集群心跳，一台必须穿过隧道触达客户端的 DHCP 服务器，或者把两个网段桥接成一个。\n最后那个是常见情况，也是要小心的那个：\nip link add br0 type bridge ip link set tap0 master br0 ip link set eth1 master br0 ip link set br0 up 现在远端网段成了你本地网段的一部分：它的广播、它的生成树、它的 MAC 地址变动，以及，如果有人粗心的话，它的 DHCP 服务器。把两个都在跑 192.168.1.0/24 的站点桥接起来，是一个糟糕的下午；桥出一个绕回同一网段的环路，是一个糟糕的星期。默认用 tun，当你能说出自己需要的那个第二层的东西时才去用 tap，并且只在查清楚两边都有什么在广播之后再去桥接。\n同样的包装器，每端一个进程 tap 版本有和 PPP 版本一样的漏洞：载体是明文的，监听端谁先到就接受谁。解决办法也一样，而用 socat 的话它会缩成每端一条命令，因为它在一个进程里既创建设备又终结 DTLS 会话：\n# listening end socat TUN:192.0.2.1/30,tun-type=tap,tun-name=tap0,iff-up \\ OPENSSL-DTLS-LISTEN:443,cert=tunnel.pem,cafile=clients.crt,verify=1 # connecting end socat TUN:192.0.2.2/30,tun-type=tap,tun-name=tap0,iff-up \\ OPENSSL-DTLS-CLIENT:tunnel.example.net:443,cafile=tunnel.crt,verify=1 这是本文里最短的正确搭法。一个虚拟接口，一个数据报载体，双向证书认证，加密。两条命令。没有守护进程，没有协议协商。\nverify=1 不是可选的，道理和 --ssl-verify 一样，而且结合上面 peer = src 的行为，一个身份不明的人离占有你的隧道只差一个数据报。如果你只能用那个 Python 脚本，别往里面硬塞 TLS：让它指向一个环回端口，在前面放上包装器，或者用 socat。在手搓的隧道外面套一个手搓的 TLS 包装器，就是在最要紧的部分给自己两次犯错的机会。\n第五阶段：用 zstd 压缩字节流 后端里还有一样东西值得放进去，而且跟 pppd 上的压缩选项不同，它真的能带来回报：在帧进入载体之前，用 zstd 压缩它们。\n这里的关键词是帧，复数。压缩的是字节流，而不是单独压缩每一个数据包。 这是本文中测得的最大单项效果。\n网络流量的重复性只在跨数据包时才显现：同样的报头、主机名和 JSON 键，一遍又一遍。一个在每个 1,400 字节的帧上都从头开始的压缩器，什么都看不到；一个跨帧保留窗口的压缩器，全都看得到。\n先压缩后加密，载体允许的话就保留窗口 顺序是固定的。模式才是要做的决定。 tap0读一次，一个帧 压缩zstd，1 级 加密DTLS 或 TLS 载体UDP 或 TCP 绝不能 反过来。 FLUSH_BLOCK：保留窗口 输出目前为止的一切，保留历史。每个帧都 相对之前的所有帧编码。不增加延迟： 进一个帧，出一个帧。 5.0% 重复性流量上 · 日志行上 7.5% 需要每个帧都按顺序送达。 所以：TCP，或 TCP 上的 TLS。不能是 UDP，也不能是 DTLS。 FLUSH_FRAME：每个包都扔掉窗口 每个数据报都是一个完整的 zstd 帧，可以 单独解码，所以 1 到 N-1 丢了，数据报 N 照样能用。 数据报载体唯一能用的模式。 14.8% 同样流量上 · 日志行上 24.2% 训练好的字典能把大部分差距赢回来： 5.3% 和 15.1%，而且仍然能容忍丢包。 压缩放在 tap 设备和载体之间，并且在加密之前，因为密文压缩不了。FLUSH_BLOCK 是要紧的模式：它把目前为止的一切都输出，所以进一个帧就出一个帧，不增加延迟，同时为下一个帧保留压缩历史。FLUSH_FRAME 每个包都把这段历史扔掉，这让它在有丢包的载体上是安全的，也让它在线路上的效果差了三倍。 在当前的 Fedora 上，这不需要安装任何东西：Python 3.14 把 zstd 带进了标准库14；这台机器是 3.14.7，配 zstd 1.5.7：\nfrom compression.zstd import ZstdCompressor, ZstdDecompressor # Python 3.14+ _c, _d = ZstdCompressor(level=1), ZstdDecompressor() # FLUSH_BLOCK: emit everything so far, keep the window for the next frame. out = _c.compress(frame, mode=ZstdCompressor.FLUSH_BLOCK) frame = _d.decompress(out) 每个方向一个压缩器，在链路的整个生命周期里都活着。每个帧一次 FLUSH_BLOCK，所以帧一到就立刻发出，什么都不缓冲，远端也是每个块交回一个帧。\n窗口值多少，实测 数字来自这台机器。同样的 1,400 字节帧，同样的 1 级，唯一的区别是压缩器是否保留历史：\n隧道里的流量 流式，FLUSH_BLOCK 逐包，FLUSH_FRAME 逐包，用训练过的字典 重复性的 API 调用和遥测 5.0% 14.8% 5.3% 日志行 7.5% 24.2% 15.1% 纯文本和配置文件 37.8% 51.3% 45.3% 随机字节，代替 TLS 100%+ 100.7% — 1 级下的吞吐量，文本是 205 MB/s，重复性流量超过 1 GB/s。越可压缩就越快，因为要编码的东西更少。\n日志流量压到原始大小的 7.5%，而逐包压缩是 24.2%：同样的数据，同样的级别，一个参数就差了三倍。而且 1 级就是该用的级别：3 级大约只多换来百分之一，9 级再多百分之一，吞吐量却从 211 MB/s 掉到 61。\n代价，而且和这里的其他一切是同一个代价 共享窗口意味着每一帧都依赖它之前的帧：丢一个，解压器的历史就对不上了，之后什么都解不出来。所以流式压缩需要一个按顺序送达一切的载体：TCP，或者 TCP 上的 TLS，而不是 UDP 或 DTLS。这是全文里支持 TCP 载体的唯一一个诚实的论据。如果穿过你隧道的东西真的可压缩，比如 syslog、明文的数据库复制、遥测、一个话很多的 API，那么一个流式压缩的 TLS 会话搬运的字节只有数据报载体的三分之一，在一条像样的路径上，这可能胜过重传带来的惩罚。拿你自己的流量去测。\nUDP 上，由字典来干窗口的活 当载体是 UDP 或 DTLS 时，而默认就应该如此，你无法保留窗口：每个数据报都是独立的，这意味着用 FLUSH_FRAME，以及上表中较弱的那一列。一个训练过的字典能给压缩器提供原本由窗口提供的跨包上下文，而数据报之间没有任何依赖15：\n# capture a few thousand real frames off the link first, one per file zstd --train frames/* -o tunnel.dict --maxdict=110000 from compression.zstd import ZstdCompressor, ZstdDecompressor, ZstdDict d = ZstdDict(open(\u0026#34;tunnel.dict\u0026#34;, \u0026#34;rb\u0026#34;).read()) _c = ZstdCompressor(level=1, zstd_dict=d) # load it ONCE, not per frame out = _c.compress(frame, mode=ZstdCompressor.FLUSH_FRAME) 在重复性流量上，它把逐包压缩从 14.8% 降到 5.3%，在保持容忍丢包的同时，追回了与完整流式压缩之间差距的 96%；日志行上追回 55%，一般文本上追回 44%。\n随之而来有三条规矩。两端必须加载同一个字典，否则什么都解不出来，这在这里验证过：没有字典，一个用字典压缩的帧会抛出 ZstdError。用真实流量的抓包来训练，因为字典是一个先验，错的先验会让你吃亏：文本字典让另一种文本略微变差了。还有，把它一次性加载进一个长期存活的压缩器；每次调用都传一遍字典，实测 5 MB/s，这不是笔误。\n报头字节，以及一秒钟逐步升级 两个让它不再脆弱的小东西。\n每个数据报都带一个单字节报头，它说明的是模式，而不仅仅是“已压缩”：0x00 表示原样的帧，0x01 表示一个自包含的 zstd 帧，0x02 表示来自一个持续流的块。这样接收端就能解码远端选择的任何东西，而不需要被配置成与之匹配，光凭这一点这个字节就值了。\n在帧模式下，发送端只在压缩后确实更小时才发送压缩形式，因为压缩并不总是划算：随机字节压出来是 100.7%，一个 64 字节的 TCP ACK 压缩后是 73 字节，也就是一个没东西可挤的包上多了十字节的 zstd 报头。真实链路上的数据包数量以小包为主，所以没有这个检查，你就会为了缩小少数流量而把大多数流量撑大。在流模式下它总是发送压缩形式，因为跳过一次就会让两个窗口错位。\n而且链路一开始是裸的： 头一秒钟里每个帧都不压缩就发出去，不管设置怎么说，两个方向各自独立地逐步升级：\nRAMP = 1.0 # seconds of raw frames before compression starts def pack(self, frame): if self.c is None or time.monotonic() - self.started \u0026lt; RAMP: return RAW + frame out = self.c.compress(frame, mode=ZstdCompressor.FLUSH_BLOCK) return ZSTD + out if len(out) \u0026lt; len(frame) else RAW + frame 这就是文章开头那个分阶段的思路，应用到了单条链路上。隧道先走它最简单的路径起来，证明它能搬运一个帧，然后才开始干任何花哨的事。它出问题时，你知道是在哪一秒出的。\n第六阶段：压缩加加密，以及顺序的代价 顺序很重要，而且只有一种行得通：先压缩，再加密。密文压缩不了，100.7% 那一行就说明了这一点，这也是 TLS 1.3 去掉了它自己的压缩的原因，只剩下你这一层能做这件事。这个顺序有一个已知的问题，就是我之前用来反对 deflate 的那一个：先压缩后加密会通过密文长度泄露明文，而在攻击者能把自选数据和秘密一起注入并观察大小的地方，这种泄露不止一次成为可行的攻击：针对 TLS 的 CRIME 和 BREACH16，以及恰恰针对这种形态的 VORACLE17。\n这不是永远不压缩的理由。这是要你知道自己处于哪种情况的理由：\n一条在你自己拥有的两台机器之间搬运你自己流量的链路，比如复制、备份、日志、遥测，没有攻击者自选的明文和秘密同行。压缩它，而且压缩字节流。 一条搬运任意用户浏览流量的链路，别人的网页内容和你的凭据走在一起，这正是 VORACLE 所写的情况。别开压缩。 我之所以放心把它放进 tap 版本而不是 PPP 版本，原因不在原则：在这里你是有意选择一个现代算法，用于你看过的流量；而 pppd 的 deflate 默认用一个 1996 年的算法压缩一切，不管情况合不合适。\ntap 版本得到了什么，又放弃了什么 把两半并排放在一起，因为它们不是在竞争。它们是不同的取舍。\n套接字上的 pppd 套接字上的 tap 或 tun 成帧 内置（HDLC，受损后能重新同步） UDP 上没有，因为不需要；TCP 上要自己发明 地址设置 由 IPCP 和 IPV6CP 协商 两端手工配置 存活检测 LCP echo，内置 没有；你自己加，否则链路悄无声息地死掉 认证 有 PAP 或 CHAP，都很弱 完全没有 层 只有第 3 层 tun 是第 3 层，tap 是第 2 层 桥接 不能 能，用 tap 开销 每帧有标志、报头和 FCS，外加转义 没有，tap 是 14 字节 压缩 deflate 和 BSD，默认开启，1996 年的东西 没有，或者你自己加上并掌控的逐帧 zstd 是否需要 root 需要，自始至终 创建设备时需要；使用时不需要 活动部件 一个守护进程，三十岁了 一个文件描述符 PPP 给你一条经过协商、能自我监控的链路，代价是一个协议。tap 设备白送你一个裸洞，缺的部分你自己补上，或者不要。对于一条一直跑着的隧道，缺少存活检测才是会咬人的那个：pppd 三十秒内就能发现死掉的载体并重建它，tap 版本什么都发现不了，因为它里面没有任何东西在盯着。加一个保活，让它跑在会重启它的东西下面，或者用那个已经自带保活的版本。\n什么时候它是合适的工具，什么时候不是 它从来都不是真正合适的工具，我不打算假装不是这样。上面的一切都能用，而其中没有一样是你该在生产环境里跑的。一份诚实的教程要包括你把工具放下的那一部分，而这就是那一部分。\n它真正擅长的，是让你看清一个东西是怎么工作的。一个被拆成零件的 VPN，以及在下一节里，一旦有人带着 root 进了你的网络，出站流量实际上会怎样表现。这些才是读这篇文章的理由。下面那些狭窄的用例是真的，但它们不是这篇文章存在的原因。\n以下情况用 PPP 版本：\n载体根本不是 IP：串口控制台、USB gadget、无线电链路、命名管道、SSH 通道。pppd 不在乎字节在什么上面走，而 tap 设备在这里帮不了你。 你在抢救什么东西：一台有串口控制台、没有网络、今晚必须把活干完的机器。在那个控制台上跑 PPP 就是一条可路由的链路，两端都已经装好，什么都不用拷过去。 你想让链路自己照顾自己。LCP echo、地址协商和重启都是免费的；自己去写这些，就是 tap 版本变成一个不可靠的小产品的过程。 以下情况用 tap 版本：\n你需要第二层：一个非 IP 协议，一个想要广播的集群心跳，穿过隧道的 DHCP，或者必须合为一体的两个网段。 你想要最少的活动部件：UDP 加 DTLS 就是两条命令，没有守护进程，没有协商，没有要转义的东西。 root 很稀缺。用 user 创建一次设备，搬运帧的进程就再也不需要特权。 在你学习的时候，两者都是合适的工具。 每一层都看得见，都能单独替换，要理解一个 VPN 产品在干什么，没有比用零件搭一个、看着每个零件依次起来更好的办法了。\n当你想要一个 VPN 时，两者都不是合适的工具。 那种时候，用 WireGuard。它在内核里，代码量只是零头，它把密码学做得很到位，没有要协商的东西，也没有能出错的东西，而且它从设计上就是一个数据报协议。ssh -w 一条命令就能在已有的 SSH 会话上给你一个 tun 设备，而 OpenVPN 是上面那种 tap 加 DTLS 形态的成熟、经过审计的版本。这三个干这件事都比这里搭的任何东西强。\n搭这些东西，是因为你想知道自己买的那个东西里面是什么。不是因为它很巧妙。\n这真正揭示的是什么：从攻击者一方看出站 这就是去读一篇刚被告知别用的搭建文章的理由。把它掉过来，从你自己网络的内部看，以一个刚带着 root 落脚在那里的人的身份。每一次真正的入侵最终都会走到那一步，通过一把被盗的密钥、一次容器逃逸、一个没打补丁的服务、一个内部人员。接下来决定这一天会有多糟的问题，不是“他们能运行什么”，因为他们什么都能运行。而是**“什么能出去，以及你是否在他们到来之前就已经做出了决定。”**\n如果出站默认开放，答案就是一切，而你现在能做的已经不多了。这里没有任何稀奇古怪的东西。pppd、ncat、socat 和 ip 都是已经在机器上的、经过签名的发行版软件包；tap 垫片是五十行标准库代码。一个被放行的出站端口，而且就是 443，每张网络默认都开的那个，就有了一条从你的网络通往别人网络的可路由链路：加密的、经过认证的、能扛过重启的、搬运 IPv4 和 IPv6 的，在你的边界上与你的用户每天发起上万次的任何 HTTPS 会话都无法区分。把它做成 tap 再桥接起来，那么离开大楼的就不是一条路由。是整个网段。\n扫描器什么都抓不到：没有恶意软件特征，因为根本没有恶意软件；没有奇怪的协议，因为它就是一次到 443 的正常 TLS 握手；没有异常的二进制文件，因为每一个都是你自己的包管理器装的。代理记下一个连接和一个字节数，两者看起来都像是在干正事。\n而且目的地甚至都不是固定的。套接字不必终结在数据包最终去往的地方，因为载体可以指向一个代理，一台中继，它不过是两个连接加一根管道，下一节用一行 shell 就把它搭出来。ncat 接受 --proxy 以及 --proxy-type http、socks4 或 socks5，所以你的边界看到的那个 TLS 会话，终结在攻击者让它经由连接的任何地方：一台内部跳板机，一个碰巧会转发 CONNECT 的被放行的 SaaS 端点，一台云中继；隧道再从那里继续通往一个你永远看不见的地方。HTTP CONNECT 和 SOCKS 在设计上就都会这么做，因为代理本来就是干这个的。所以，为一个你信任的目的地开一条放行规则，信任的永远不只是那个目的地，还有它会转发到的一切，而那些你既控制不了，也列举不出来。你防火墙日志上的那个端点是代理。它从来都不是远端。\n所以那个令人不安的事实是：一旦有人带着 root 进来了，而出站又是宽松的，隧道就不是你能阻止的东西了。零件已经装好，出口是开着的，而且它甚至不通向它看起来通向的地方。你让这件事变难的唯一机会，是在攻击者到来之前，在边界上，决定什么可以出去。\n这就是默认拒绝的出站策略，这也是全部的教训。出站默认封锁；一份简短的、有名有姓的放行清单，其中每个目的地和端口都由一个人说明过理由；其他一切都拒绝、记录并告警。不是因为它能把一个铁了心的攻击者当场拦住，一个被放行的目的地就是一条被放行的隧道，而是因为另一种选择是根本没有任何决定可以执行。一份写成“允许哪些端口”的出站策略，是一份关于端口号的策略。它从来不是一份关于什么能出去的策略，而一旦有人拿到了 root，它保护的就只剩端口号了。\n这和 ping 那篇文章的发现一样，那篇用 ICMP echo 搭隧道；也和协议助手那篇文章一样，在那里是你的防火墙自己打开了洞。三条进路，一个结论：你以为自己掌握的控制是针对协议的，而这些协议没有一个是它自称的样子。在边界上、提前决定好的、默认拒绝的策略，是唯一一个从来都真正有效的控制。\n代理就是两个连接加一根管道 值得看看一台中继有多简单，因为这解释了为什么你无法从近端推断远端。代理不是什么特殊软件。它就是一个连接通过一根管道接上另一个连接。最古老的形式用一个命名管道，也就是 FIFO，来搬运回程方向：一个 ncat 监听，另一个往前连接，FIFO 把两者之间的应答路径接起来。\nmkfifo backpipe ncat -l 7000 0\u0026lt;backpipe | ncat farend.example.net 7100 1\u0026gt;backpipe 把它当管道工程来读：监听端的输出流进第二个 ncat，再去往远端，应答则经由 FIFO 回到客户端。两个套接字，一根管道，双向，而客户端的连接终结在这里，在中继上，数据包则继续去往 farend 再回来。我在环回上原样跑过这个，远端放了第三个 ncat 做回显，发进去的一行字走完全程又回来了。\n中继就是两个套接字加一根管道，于是端点挪了位置 一个连接进，另一个连接出，中间一根管道。这就是代理。 客户端 打开一个 TLS 会话 中继：你的边界记录下的目的地 ncat -l 7000 终结客户端的连接 ncat farend 发起新的一跳 远端 真正的另一端 stdout backpipe（FIFO）把回复带回来 客户端 → 中继 中继 → 远端 客户端的连接在中继上结束。数据包没有。 你的防火墙记录了一个通往这台机器的连接。它转发到哪里，是在机器内部决定的；串起三台， 真正的远端就隔着三根管道，每一跳的日志里只有一个整洁的、通往下一跳的本地连接，再往后什么都没有。 中继就是两个套接字加一根管道。监听端终结客户端的连接。第二个 netcat 往前发起一个全新的连接，FIFO 在两者之间搬运回程方向。客户端的 TLS 会话在这里，在中继上结束，新的一跳从这里开始，所以你的边界记录下的目的地是这台机器，而数据包会继续去往它转发到的任何地方。串起三台，远端就隔着三根管道，每一跳的防火墙只看到一个整洁的、通往下一跳的本地连接。 Ncat 在一个进程里就能干同样的事，为每个到来的客户端 exec 出往前的连接：\nncat -l 7000 --keep-open --sh-exec \u0026#39;ncat farend.example.net 7100\u0026#39; 同样的形状，更少的零件：监听端的套接字与被 exec 出来的 ncat 的套接字，由 shell 在两者之间建立的管道连接起来。串起三台，隧道就跨过三张网络，在每一处终结再重新发起，每一跳的防火墙都记下一个整洁的、通往下一跳的本地连接，再往外什么都没有。\n这就是全部的把戏，也是为什么边界日志不能证明目的地。在它前面那台机器所能分辨的范围内，每一台中继都是远端，而真正的另一端隔着不知多少根没人在盯的管道。\n现在把这些中继放到不属于攻击者的机器上。\n跨越被攻陷主机串起来的中继，把端点洗白 每一跳都是别人的机器，每个主人只看到中间 攻击者 他们唯一拥有的机器 中继 1 另一家公司的网络 中继 2 一台被劫持的 VPS 中继 3 一台家用路由器 目的地 流量真正要去的地方 看到：1←→2 看到：2←→3 看到：3←→目的地 没有哪一跳能看到自己两个邻居之外。没有起点，没有终点，只有中间。 流量在一串别人的系统里被洗白，每台都在攻击者的控制下跑着同样的两个套接字加一根管道的 中继。这就是为什么被攻陷主机的出站流量常常通向另一个受害者，而不是攻击者本人：二十年的 C2 都是这样。 每一跳都是一台被攻陷的主机：另一家公司的机器、一台被劫持的 VPS、一台家用路由器，在攻击者的命令与控制下跑着同样的两个套接字加一根管道的中继。没有哪一跳能看到自己两个邻居之外的东西：中继 2 的主人看到一个来自中继 1 的连接和一个通往中继 3 的连接，别的什么都看不到。流量在一串别人的系统里被洗白，这就是为什么一台被攻陷主机的出站流量常常通向另一个受害者，而不是攻击者本人。 这条链上的每一个主人都只看到一个从上一跳到下一跳的连接：没有起点，没有终点，只有中间。这不是我递给谁的什么新点子。跳板链和 C2 网络二十年来就是这么运作的，这也是为什么一台被攻陷主机的出站流量常常通向另一个受害者，而不是攻击者。你的日志显示你跟某个数据中心里的一台机器说过话。是谁的机器，它又转发到哪里，从来都不在日志里。\n防御上的分量就一句话：一个你没有提前限制的目的地，你既无法溯源，也无法信任。 等到流量往外走的时候，它去往的那个地址几乎告诉不了你什么，因为那是别人机器上的一台中继，真正的端点被洗白藏在它后面。\n链路从来都不是产品 把它拆开之后，让我印象最深的是，其中新的东西少得可怜，被拿来卖的东西却多得惊人。\nRFC 1661 是 1994 年的。pppd 在每个 Linux 发行版里待了三十年，内核模块是一个目录里的八个文件，而让一个 VPN 成为 VPN 的全部东西，一个虚拟接口、一条协商过的链路、一个加密的载体、一条路由，就是四个程序加一张证书。没有一样是难的或者保密的。他们把每一个字节都写成了文档，然后白白送了出来，而一个行业在你和它之间长了出来，把同样的四个零件装进盒子里卖，配上按席位计费的许可证和一份会到期的支持合同。零件并没有变得更好。只是被包装了。\n这不是在主张把它跑在生产环境里。我刚刚才告诉过你别这么做。这是在主张你要知道自己买的盒子里装的是什么，因为等到厂商改了授权方式、被人收购、或者让你的型号停产的那一天，一个糟糕的季度和一个糟糕的年份之间的区别，就在于你那里有没有人知道这东西是用什么做的。\n花一个晚上，用零件把隧道搭出来。看着 LCP 协商，弄断链路再看着它回来，拔掉证书看看什么会停下来。然后再读一遍你那家 VPN 厂商的产品说明书，看看其中有多少你认得出来。\n同一个晚上也能换来另一半。如果一条通出你网络的可路由链路就是四个已安装的程序加一张证书，那么刚刚在你某台机器上拿到 root 的人，并不会因为隧道难搭而被拦住。它不难。拦住他们的，只有你在他们到来之前就决定好的、什么可以出去。搭一次，你就不会再把出站当作某个产品替你执行的东西，而会开始把它当作一个你要么做了、要么没做的决定。\n其中没多少是魔法。大部分是刷了层漆的 1994 年，而 1994 年没什么不好。它能用，有文档，而且至今还在跑。\nRFC 1661 — The Point-to-Point Protocol (PPP)，1994 年。定义了链路、LCP，以及位于其上的网络控制协议族。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2637 — Point-to-Point Tunneling Protocol (PPTP)，把 PPP 承载在 GRE 里。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3931 — Layer Two Tunneling Protocol version 3，那个把 PPP 承载在 UDP 里的协议在标准轨道上的后代。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npppd(8) — PPP 守护进程的手册页。pty、notty、local、passive、noipdefault、proxyarp、record、receive-all、LCP echo 选项以及 asyncmap 默认值的出处：“If no asyncmap option is given, the default is zero, so pppd will ask the peer not to escape any control characters.” 文中引文读自 ppp 2.5.1 上的 man pppd。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1662 — PPP in HDLC-like Framing。标志序列、字节填充规则和异步控制字符映射：“Each frame begins and ends with a Flag Sequence, which is the binary sequence 01111110 (hexadecimal 0x7e).”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOlaf Titz，Why TCP Over TCP Is A Bad Idea — 关于重传叠加的标准解释，开篇讲的正是这种搭法。原始 URL 已不再提供这篇文章；这是 Internet Archive 的存档。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5072 — IP Version 6 over PPP。IPV6CP 和 64 位接口标识符，独立于 IPCP。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1332 — The PPP Internet Protocol Control Protocol (IPCP)，负责协商链路两端的 IPv4 地址。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1994 — PPP Challenge Handshake Authentication Protocol (CHAP)。证明对端身份；什么都不加密。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3079 — Deriving Keys for use with Microsoft Point-to-Point Encryption (MPPE)。由 MS-CHAP 交换派生密钥的 RC4 构造，也是 PPTP 不再是可选项的原因。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNcat Users\u0026rsquo; Guide — connecting through a proxy — 用于 HTTP CONNECT 和 SOCKS 4/5 的 --proxy 与 --proxy-type，于是 TLS 载体终结在代理上，而不是隧道的远端。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNcat Users\u0026rsquo; Guide — --ssl、--ssl-verify 和 --ssl-trustfile 选项，以及监听模式和 UDP 模式。这里测试的版本：Ncat 7.92。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUniversal TUN/TAP device driver — 内核自己关于 /dev/net/tun、TUNSETIFF 以及 tun 与 tap 区别的文档。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPEP 784 — Adding Zstandard to the standard library，这就是为什么在 Python 3.14 上 compression.zstd 不需要任何软件包。本文实测环境为 Python 3.14.7 和 zstd 1.5.7。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nzstd(1) — --train 模式和 --maxdict，用于构建两端都必须加载的字典。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7457 — Summarizing Known Attacks on TLS and DTLS，涵盖 CRIME，以及先压缩后加密导致长度泄露的一般形态。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenVPN — the VORACLE attack — 同样的泄露，针对先压缩后加密的 VPN，也是 OpenVPN 如今建议不要使用压缩的原因。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/networking/a-vpn-out-of-parts-and-what-egress-really-is/","summary":"VPN 是两份活儿：一样东西造出虚拟链路，另一样东西搬运字节。PPP 从 1994 年起就在干第一份活儿，而且根本不在乎第二份是谁来干，这就是为什么 PPTP、L2TP 和你用过的每一条拨号线路都是同一个协议跑在不同的载体上。netcat 就是一个载体。本文用两种方式把它搭出来。先是 pppd：pty 选项以及它怎么使用伪终端，人人都先试的 TCP 版本，为什么把流协议跑在 TCP 里一遇丢包就崩溃，真正该用的 UDP 版本，异步 HDLC 成帧以及决定有多少带宽花在转义控制字符上的 ACCM，地址、路由和 IPV6CP，还有在载体悄无声息地断掉时如何让链路保持在线。然后是完全不用 PPP 的同一条隧道：tap 设备，UDP 上一个数据报对应一个帧，TCP 上你必须自己发明的长度前缀，tun 与 tap 之争，以及桥接。再然后是 netcat 回答不了的那部分：用 ncat、stunnel 和 openssl 把载体包进 TLS，用 socat 包进 DTLS，后者才是你真正想要的形态。它从来都不是真正合适的工具，而这恰恰是重点：它展示了当攻击者在你网络内部拿到 root、而出站访问并没有默认被封锁时，出站流量会怎样表现，以及为什么边界上的默认拒绝是唯一一个从来都真正有效的控制。","title":"用零件拼一个 VPN：PPP、tap 设备和 netcat"},{"content":"你的防火墙上有一个功能：它读取数据包的内部内容，找到写在文本里的 IP 地址和端口号，然后为它们打开一个入站的洞。没有规则。没有变更申请。没有任何你会去看的日志条目。在大多数带这个功能的设备上，它默认是开着的，而且已经开了将近二十五年；与此同时，把它放进去的这个行业，在过去二十年里悄悄得出了结论：它应该被关掉。这个结论写在标准文件里，写在内核默认值里，也写在四轮独立的浏览器紧急补丁里。\n它叫协议助手，或者应用层网关（Application Level Gateway，ALG）、会话助手、fixup、检测引擎、conntrack 助手。都是同一个东西。它之所以存在，是因为 NAT 弄坏了少数几个把地址写进自己载荷的协议，而有人认定，最不坏的修法就是教翻译器在传输途中读取并改写那段载荷。\n下面这部分应该让你停下来。\n助手分不清这段文本是谁写的。 它从连接上读取字节，然后立即据此行动，不问任何事，也不问任何人。字符串 PORT 192,168,1,29,4,0 到底是真正的 FTP 客户端在做真正的传输时发出的，还是你的用户不小心打开的网页上一个隐藏表单发出的，它无从得知。两者在线路上看起来一模一样，因为它们在线路上就是一模一样的。所以，互联网上的陌生人只要能说服你网络里的任何东西发出正确的字节（浏览器、聊天客户端，任何叫它发什么就发什么的东西），就能决定你的防火墙打开哪个入站端口，以及通向哪里。\n这不是某一家厂商解析器里的缺陷。这就是这个功能本身在做的事：一台安全设备从不可信的数据里接收配置指令，并且立即执行。那些缺陷报告和 CVE，只是叠在这个形状上的细节。\nSamy Kamkar 在 2010年1月演示了浏览器版本1，在 2020年10月演示了一个好得多的版本2，三个月后 Armis 又把它扩展了，打开的端口甚至不必在点了链接的那台机器上：它可以在你的打印机上、你的摄像头上，或者隔着两个 VLAN 的一台逻辑控制器上3。在这期间，IETF 写明这些功能应当默认关闭4，Linux 在内核里把它们关掉了5，浏览器厂商则发布了一份屏蔽端口列表，几乎逐行读起来都像 Linux conntrack 模块的目录清单6。这些全都是在别的地方打的补丁，因为真正需要修的那个东西，待在一个没人会去打补丁的盒子里。\n我得出的结论是：协议助手应该在所有地方默认关闭，并且在你负责的每一个网络上实际关闭。 不是调优。不是作为第一选择把它限制在可信子网里。是关掉，把那两三个真正的例外写下来并注明日期，就像你记录任何其他入站规则一样，因为它们本来就是入站规则。\n下面依次是：机制，按发现顺序排列的攻击，合规立场（在英国，这是对一项你可能已经持有的控制项的明确不合格），以及把它纠正过来的命令。\n陌生人能从中得到什么 先从结果说起，因为看过账单之后，你会更容易在意机制。有人打开了一个链接。这就是他全部的贡献。页面运行 JavaScript，与攻击者的服务器对话，而那台服务器塑造这段对话：填充它、测量它、确认其中一部分而不确认另一部分，直到某一个报文段到达你的防火墙时，看起来恰好就是一通 VoIP 呼叫的开场消息。你的防火墙相信了，因为相信它正是这个功能的本职。它创建一条入站映射，攻击者就直接连了回来。\n在 2020 年的版本里，端口开在点了链接的那台机器上，所以只要映射还活着，那台主机上绑定的每一个服务都能从互联网访问到2。文件共享。那个没人打算让它一直监听的远程桌面。在 Fisher-Price OS (Windows) 上，Armis 点出了显而易见的一点：够到文件共享端口，你离 WannaCry 走过的那条路就只差一台没打补丁的主机3。\n2021 年的版本更糟，而正是这部分应该替你做出决定。因为 H.323 助手处理呼叫转移，一条消息可以指定一个第三方地址，而不是连接两端中的任何一个，所以攻击者不再局限于点了链接的那台机器，而是可以扫遍你的内部地址段，在每个地址上开一个端口，读回任何应答。Armis 演示的正是这个：在一个地址段上扫 80 端口，收集横幅信息，挑一个目标，然后打开打印机的原始打印端口，向它发送一个打印任务。他们的第二个演示够到了一台逻辑控制器那个不需要认证的管理端口，并改写了它的程序3。\n这些设备上没有任何漏洞被利用。它们全都在完全按设计工作，唯一失守的是边界，而边界的失守方式，恰恰是不折不扣地执行了它被配置去做的事。也想想边界里面都有谁。不只是你的员工：访客网络上的来访者，承包商的笔记本，任何有浏览器的人。这个攻击不需要凭据，不需要立足点，也不需要恶意软件，因为浏览器就是投递机制，而它早就装好了，早就被信任了。\n防火墙的作用，是确保外面的任何东西都不能主动和里面的任何东西开始对话，除非你说可以。助手就是那个例外，而它凭的只是数据包里的一个字符串。\n协议助手到底是什么 普通的 NAT 是个笨而老实的东西。数据包进来，它改写头部里的源地址和源端口，记下一行，以便回包能被转换回去，然后转发。它从不往传输层头部以下看，也不知道、不在乎里面的字节是网页请求、数据库查询，还是一张狗的照片。\n这一直行得通，直到某个协议把地址写进自己的载荷。FTP 就这么做，以明文写在命令流里：回连到我这个地址、这个端口。SIP 写在 Via、Contact 和 SDP 字段里，H.323 也这么做，IRC 在直接传输时也这么做。它们设计的年代，一台主机的地址就是它的地址，每台机器都能够到每台机器，在这个前提下这么做是合理的。在路径上放一个翻译器，载荷里的地址就成了谎言。\n普通翻译器读头部。助手读载荷，并按它找到的东西打开一个洞。 路径上的同一位置。其中一个不光读信封，还读信。 普通翻译器 协议助手 到达的数据包 [IP hdr 192.168.1.29:51000] [ 载荷 ] 到达的数据包 [IP hdr 192.168.1.29:51000] [ PORT 192,168,1,29,4,0 ] 它做什么 改写头部里的源地址和源端口 修正校验和 记下一行，以便回包能被转换回去 转发 它做什么 以上全部，然后 读取载荷，在里面找到一个地址和一个端口 把它们也改写掉，并调整序列号 写下第二行：允许这个入站连接 它维护的表 只有转换表。一行，一条流，可逆。 载荷里的任何东西都加不了一行。 它维护的表 转换表，外加一张期望表。 第二张表里的一行就是一条入站防火墙规则。 第二张表就是全部主题。 它说：当来自外部、匹配这个模式的连接到达时，放它进来。没人写过它，没人批准过它。 路径上同一位置的两种设备。普通翻译器改写头部，从不读取载荷。助手读取载荷，改写它在里面找到的地址，并在第二张表里加一行，允许稍后的入站连接。第二张表就是本文的主题。 于是助手被发明出来了。它读取载荷，找到地址，把它改写成公网地址，然后做那件大家都一笔带过的事：它创建一条规则，允许载荷刚刚描述的那个入站连接。 Netfilter 把这条规则叫作期望（expectation）。Cisco 叫它针孔，或者 NAT 门7。Palo Alto 叫它动态 NAT 针孔8。Juniper 叫它门（gate）。名字不同，对象完全相同：凭着从数据包里读出来的某样东西，在边界上打出的一个洞。\nIETF 在这些产品大多还不存在时就给这个模式起了名字。RFC 2663 说，ALG 是一个“application specific translation agent”，它“may interact with NAT to set up state [\u0026hellip;] modify application specific payload and perform whatever else is necessary to get the application running across disparate address realms”9。带着对手的视角去读：whatever else is necessary，由 application specific payload 驱动。到 2002年2月，IETF 的中间设备分类文档已经直呼这个机制的本质，指出某些 ALG 会造成分片问题，“although in this case the problem is arguably the result of a deliberate layer violation (e.g., mucking with the application data stream of an FTP control connection by twiddling TCP segments on the fly)”10。\n蓄意的分层违规。在传输途中摆弄 TCP 报文段。这就是机制本身，二十四年前由给它编目的人亲口点名，而这里的每一个攻击都是从它中间径直穿过去的。\n期望就是全部问题所在 期望是一个预先授权的连接：一个由源地址、源端口、目的地址、目的端口和协议组成的元组，有些字段填了值，有些留作通配，再加一个计时器。当一个匹配的数据包到达时，防火墙把它当作某个已允许流的相关流量，而不是一个新的入站连接，放它通过，并消耗掉这个期望。在健康的系统上，期望列表是空的，这正是要点：期望本应稀少、短命，并且由内部主机真正请求的东西来驱动。\n期望是一条留了空的入站规则，而那些空白就是安全模型 一个对象，五个字段，一个计时器。哪些字段留空，就是全部的安全模型。 expect proto=tcp src=\u0026lt;谁可以连接\u0026gt; sport=\u0026lt;任意\u0026gt; dst=\u0026lt;落在哪里\u0026gt; dport=\u0026lt;哪个端口\u0026gt; timeout=300 助手 谁可以连接 落在哪里 哪个端口 最坏情况 FTP 服务器，固定 客户端，固定 来自载荷 一台主机的任意端口 IRC 任何地址 客户端，固定 来自载荷 任意端口，任何人 H.323 任何地址 来自载荷 来自载荷 任意主机的任意端口 蓝色：由防火墙根据它看得到的连接固定。\u0026#160;\u0026#160;金色：由载荷提供。\u0026#160;\u0026#160;粉色：按设计留空。 1. 哪些字段是通配的？ 通配的源地址意味着这个洞并不是留给创建它的那段对话的另一端的。任何先够到 你外部接口的人都能占用它。IRC 助手不得不这样做，因为协议确实无法知道 谁会来连接，而这恰好说明了这个协议根本就不该被“帮助”。 2. 值是谁提供的？ 不是防火墙。是载荷，而载荷是由助手当时正在读的那一端写的。 这句话里，哪儿都没有认证。 3. 这个洞能指向谁？ 大多数助手：创建它的主机。H.323：载荷说什么就是什么，因为呼叫转移会指定第三方。 期望就是一条留了几个空字段、带着计时器的防火墙规则。三个问题决定它是否安全，而对任何平台上的任何助手，问的都应该是这三个问题。 其中两个答案比人们预想的更糟。这些值来自载荷而不是防火墙，所以它们来自助手恰好在读的那一端。而在 IRC 助手上，源地址按设计就是通配的，因为协议无法知道谁会来连接：它“creates expectations whose destination address is the client address and source address is any address”11。\n请记住这句话。期望就是一条入站防火墙规则，以线速创建，由不可信的一方创建，没有任何关于谁请求了它、为什么请求的记录。 把它记到 Cyber Essentials 那一节，因为那里的全部论证就是它。\n按设计：FTP 说 PORT，防火墙就信了 拿最简单的助手来看它如何正确工作，因为攻击就是同一个流程，只换掉了一个参与者。主动模式 FTP 使用两条连接。客户端在 21 端口向服务器打开一条控制连接，用纯 ASCII 给它发命令；需要传输时，客户端打开一个监听套接字，发送一条 PORT 命令，指定回连的地址和端口，然后服务器入站连接过来。这就是规范里的协议，从 1985 年起就一直这样工作。在线路上它是六个数字，四个表示地址，两个表示端口，高字节在前：\nPORT 192,168,1,29,4,0 这就是 192.168.1.29，端口 1024，因为 4 × 256 + 0 = 1024。\n经过助手的主动模式 FTP：四个步骤，全都正确，只检查过两样东西 完全按规范工作的主动模式 FTP，以及打开洞之前检查了什么 FTP 客户端 192.168.1.29 防火墙 + 助手 203.0.113.10 FTP 服务器 198.51.100.7 1\u0026#160;\u0026#160;控制连接向外连到 21 端口：允许，因为它从内部发起 2\u0026#160;\u0026#160;客户端开始监听，然后把自己的地址写进流里 PORT 192,168,1,29,4,0 3\u0026#160;\u0026#160;助手动手 改写地址， 创建期望 PORT 203,0,113,10,4,0 expect src=198.51.100.7 dst=192.168.1.29 dport=1024 4\u0026#160;\u0026#160;服务器入站连接，期望匹配，数据开始流动 看看在第四步成为可能之前，防火墙核实了什么。 字节在一条连到 21 端口的连接上。它们以 PORT 这四个字符开头。仅此而已， 因为能检查的就只有这些。FTP 不带签名，没有会话密钥，没有别的可以检验。 经过助手的主动模式 FTP，每一步都正确。注意防火墙在打开这个洞之前核实了什么：字节在 21 端口上，并且以 PORT 开头。仅此而已，因为没有别的可以检查。 助手盯着那条流，发现 PORT，把地址从私有地址改写成公网地址，同时因为字符串长度变了而调整序列号，并创建一个期望，允许服务器在指定端口上入站连接。真正有用，在 1994 年的限制下完全合理，每一步都正确。\n别的啥也没检查，因为根本没啥可检查的：FTP 拿不出签名，没有会话密钥，没有任何形式的认证，而助手读的是一条它本身并不参与的流。\n那段代码里还有一样东西，是作者写给自己的警告。如果 PORT 命令里的地址不是客户端自己的（如果客户端要求服务器去连别的地方），Linux 助手默认会拒绝，源码里的注释说明了原因：“DMZ machines opening holes to internal networks, or the packet filter itself”12。设置 loose 模块参数，这个拒绝就没了。写这个助手的人非常清楚它能被拿来干什么。他们发布了安全的默认值和一个开关，二十五年后，这个开关还在那儿。\n不按设计：同样的字节，来自一个网页 助手读取字节流，匹配一个模式。它不会、而且在结构上也不可能去核实另一端的东西就是它假装成的那个客户端。Samy Kamkar 在 2010年1月公布了这个后果，称之为 NAT Pinning1。手法小得令人尴尬：在网页上放一个表单，让它指向攻击者服务器的 6667 端口，再把表单内容安排成包含一条直接聊天请求。\nPRIVMSG samy :^ADCC CHAT samy 3325256705 22^A 浏览器把它提交出去，以为自己在做一次 HTTP POST。路由器的 IRC 助手正盯着 6667 端口上的一条连接，看见 DCC CHAT 带着一个地址和一个端口经过，于是做了它被造出来要做的事。那里的地址是写成单个十进制数的 198.51.100.1，协议就是这么编码的，端口是 22；这个字符串里没有一样东西是受害者选的。FTP 变种是同一个思路，瞄准 21 端口，用的是被动模式的响应行1。\n没有跨站脚本。没有通常意义上的请求伪造。浏览器里没有漏洞。浏览器做了浏览器该做的事，防火墙做了它被配置去做的事，结果是一条通向攻击者的端口转发。\n助手分不清的两栏，因为在线路上根本没有可分辨的东西 按设计的协议，和一个网页。助手看到的是同一幅画面。 真正的客户端 网页上的隐藏表单 由什么发起 有人打开 FTP 或 IRC 客户端并连接 客户端打开一个套接字，并在流里写明它 PORT 192,168,1,29,4,0 由什么发起 有人打开一个网页。这就是他全部的贡献。 表单向攻击者服务器的同一端口提交 PORT 192,168,1,29,4,0 助手检查什么 目的端口匹配　\u0026#160;\u0026#160;\u0026#160;是 关键字位于数据开头\u0026#160;\u0026#160;\u0026#160;是 语法可解析　\u0026#160;\u0026#160;\u0026#160;是 地址和端口齐全　\u0026#160;\u0026#160;\u0026#160;是 助手检查什么 目的端口匹配　\u0026#160;\u0026#160;\u0026#160;是 关键字位于数据开头\u0026#160;\u0026#160;\u0026#160;是 语法可解析　\u0026#160;\u0026#160;\u0026#160;是 地址和端口齐全　\u0026#160;\u0026#160;\u0026#160;是 两栏里都打开了一个入站端口，一模一样 不同的，恰是助手看不见的三样东西。 是否有客户端参与。用户是否有意为之。地址和端口由谁选定。这些都不会在线路上 留下痕迹，所以解析器再小心也找不回来。两栏的格式都完全规范。 同一个助手，同一次模式匹配，同一个期望，而画面里根本没有 FTP 或 IRC 客户端。助手执行的每一项检查，在两栏里都以完全相同的方式通过，因为在线路上根本没有差别可找。 那是 2010 年。十六年前。浏览器厂商把 IRC 端口加进了它们的屏蔽列表，关上了那一扇门，而门后通向的那个房间原封未动。\n把话说直白，因为这一点总是被埋在厂商名字和 CVE 编号底下。这些攻击利用的不是助手的缺陷。它们是在正确地使用助手。 每个数据包都格式规范，每项检查都诚实地通过。这个功能在做它的本职工作，而它的本职工作就是问题所在。\n把字节对齐到助手会读的位置 在 NAT Pinning 和更糟得多的东西之间，曾经有一个真正的障碍，而绕过它的方法是这里最聪明的部分。大多数助手不会在流的任意位置匹配模式：它们检查关键字是否位于数据包数据部分的开头，真正的协议消息就是这个样子，而 HTTP 正文永远不是，因为正文是跟在一堆攻击者控制不了的头部之后到达的。Samy 引用了内核自身的行为：除非方法出现在数据开头，否则处理程序直接退出2。\n所以攻击者需要让浏览器发出一个第一个字节就是关键字的报文段。头部他写不了，但正文他能写，想写多长就写多长，这就把问题变成了算术题。\n移动报文段边界，直到关键字落在助手读取的位置 助手读取报文段的第一个字节。所以攻击者移动报文段的断点。 浏览器原本的发送方式 报文段 1 POST / HTTP/1.1 Host: ... 报文段 2 ...头部... PORT 192,168,... 报文段 3 ...1,29,4,0 填充 填充 关键字位于报文段 2 中间，所以助手读过去了，什么也不做。 攻击者设定报文段大小，或只确认流的一部分之后 报文段 1 POST / HTTP/1.1 Host: ... 报文段 2 ...头部和填充... 报文段 3 PORT 192,168,1,29,4,0 关键字现在是报文段的第一个字节。助手读到它，打开了端口。 两根杠杆，哪一根都不是对 TCP 的攻击。 攻击者的服务器是连接的一端，所以由它通告受害者协议栈将使用的最大报文段大小， 也由它决定确认多少流。只确认一部分，受害者就会从攻击者选定的偏移量开始 重传。两者都是普通的、符合标准的 TCP，只是被有意、故意地利用。 填充为什么重要。只有当协议关键字是报文段的第一个字节时，助手才会读它，所以只控制正文的攻击者必须移动报文段的边界，直到边界恰好落在那里。两根杠杆都是普通的 TCP，只是被故意利用。 浏览器发送一个大请求，正文里埋着一个可识别的分隔符；攻击者的服务器嗅探它，测出前面的头部有多少字节，于是知道了偏移量。接着它要么通告一个报文段大小，让想要的那个字节正好落在边界上，要么发送一个部分确认，让受害者恰好从那里开始重传。Armis 还补充说，这些确认里的 TCP 窗口也可以构造，“in order to fully control how the TCP stream is to be segmented”3。整个手法就是这些，用到的只有受害者自己的浏览器打开的那条连接的远端。\n一旦掌握了它，浏览器就成了一台对准你防火墙内侧的数据包生成器。它只需要把正确的三十个字节放在报文段的开头。\n2021 年的研究跳过了大部分算术。一条基于 TCP 的浏览器中继连接带有一个由攻击者控制的用户名字段，它很早就被发送，而且接受换行符和空字节。Armis 展示了一份抓包，那个字段的值是 \\r\\nPORT 192,168,1,29,4,0\\r\\n3。更糟的是，那条路径根本不查浏览器的屏蔽端口列表，于是业界两次发布的那个唯一缓解措施就这么被绕过了。\nNAT Slipstreaming，从头到尾 把这些碎片拼起来，按顺序就是整个攻击。\n从点击到入站连接的六个步骤，没有一个是漏洞 六个步骤。四个是普通的网页和 TCP。一个是你的防火墙。一个是攻击者。 1 受害者打开一个网页 一则广告，消息里的一个链接，什么都行。这就是用户参与的全部。 普通网页 2 网页获知内部地址 由浏览器的媒体接口交出，或通过对常见网关地址计时来缩小范围。 普通网页 3 攻击者测量路径 一个带标记的超大请求，再在远端抓包，看断点落在哪里。 普通 TCP 4 网页发送真正的载荷 经过填充，让协议关键字落在报文段边界上，正如上一张图所示。 普通 TCP 5 你的防火墙打开端口 助手识别出消息，改写其中的地址，并写下期望。 你的防火墙 6 攻击者入站连接 连到你的公网地址的映射端口。期望匹配，防火墙把它转发到内部。 你的防火墙 数一数受害者机器上被利用的漏洞。一个都没有。 浏览器打了补丁。操作系统打了补丁。没装任何东西，也没用任何凭据。 耗时几秒，一次点击，而唯一本可以拒绝的组件，正是为拒绝而造的那一个。 完整的链条，从点击到入站连接。第一到第四步是普通的网页和 TCP 行为。第五步是防火墙功能完全按文档工作，而它是唯一一个本可以拒绝的组件。 总耗时：几秒钟。用户交互：一次点击。在受害者机器上利用的漏洞：零个。\n披露时间线本身就是证据。Samy 在 2020年10月31日公布，而在 2021年1月6日到 2 月 26 日之间，Chrome、Edge、Safari 和 Firefox 都发布了缓解措施3，编号为 CVE-2020-16043、CVE-2021-23961 和 CVE-2021-1799。\n四家浏览器厂商为一个防火墙功能发布了紧急补丁。Armis 用自己的话解释了原因：“While the underlying issue of this attack is the way NATs are implemented (in various ways in routers and firewalls, throughout numerous vendors and applications), the easiest and fastest way to mitigate was through a patch to browsers”3。\n那不是修复。那是另外四个行业在别人家门口堆沙袋，因为那扇门本身永远不会被换掉。\nH.323 呼叫转移能指向你网络里的任何东西 大多数助手会无意中限制住损害。FTP 助手把期望的目的地钉死在创建它的那个客户端上，所以攻击者最多能拿到点了链接那台机器上的一个端口：很糟，但还撑得住。\nH.323 是灾难性的，而原因是一个电话功能。\n电话系统必须支持呼叫转移，而被转移的呼叫，按定义就是打给不在线上的某个人。所以信令必须指定一个第三方端点，助手也必须为它打开一条路径，否则呼叫转移根本无法穿过 NAT。每个像样的实现都支持它，netfilter 助手还明确地用一张图记录了这个行为13。Armis 读了代码，用一句话说出了后果：“a single H.323 packet sent over TCP port 1720 that initiates call forwarding can open a pinhole (named an expectation in the conntrack subsystem) to any TCP port of any internal IP on the network”3。\n钉在一台主机上，还是指向网络上的任何东西 大多数助手只能够到点了链接的那台机器。其中有一个根本无法限定范围。 FTP, SIP, IRC H.323，带呼叫转移 期望写的是 dst = 发起这条连接的那台主机 期望写的是 dst = 载荷里指定的任何地址 点了链接的机器 192.168.1.29 打印机 9100 端口 摄像头 默认密码 控制器 无认证 波及范围 一台机器。规则存活期间它上面的每个端口， 已经够糟了，但撑得住。这台设备 有人管理，打了补丁，还跑着会记日志的东西。 波及范围 网络上的每个地址，每个只需一条消息。 扫遍地址段，读取横幅，挑一个目标。这些设备 从没发过请求，也从没运行过浏览器。 全部差别就在呼叫转移，而它是功能，不是故障。 被转移的呼叫是打给不在线上的人的，所以信令指定一个第三方，而助手照办。 为什么这一个助手和其他助手不在同一个级别。把期望钉在创建它的主机上，攻击者只能够到一台机器。按协议的要求让呼叫转移指定第三方，他们就能扫遍你整个地址段。 任何 TCP 端口。任何内部地址。只要一个数据包，而这个数据包是攻击者让浏览器替他发的。\n于是攻击不再是针对受害者的机器，而变成了对你内部网络的端口扫描，从互联网发起，扫描结果通过你自己的防火墙授权的连接读回去。它找到的那些设备才是要害，因为它们没打补丁，常常根本打不了补丁，而它们大多数的全部安全模型就是它在内网里。Armis 给出了一个数字：公布一年后，受某组严重漏洞影响的工业控制器里，97% 仍然没有打补丁3。“在内网里”撑着的就是这样的现实。\n所以 H.323 是在每个平台上都要最先处理的那一个，因为它能越过受害者；而它也几乎没人在用，这使它成为这里最便宜的安全改进。把它关掉。没人会给你打电话的。\n助手可以被一条不是你发的消息触发 有一个变种值得单独一节，因为它打破了人们想找理由不行动时会抓住的那个假设：好吧，但触发必须来自内部，所以管住浏览器就管住了问题。\n不对。\n2022年7月，David Leadbeater 在 Linux IRC 助手里发现了两个缺陷14。这个模块在流的任意位置查找字符串 \\1DCC ，而不是检查它是不是一条位置正确、格式规范的消息；它的地址检查比对的是聊天服务器的地址，而不是翻译器后面的主机，所以一台公共服务器公开的地址就能通过检查。把这两点放在一起，攻击者就向受害者的客户端发送一个客户端到客户端的 ping（从任何其他用户那里收到这种东西再普通不过），里面夹带一条直接传输请求：\nPRIVMSG ExampleUser :^APING ^ADCC CHAT x 3325256705 22^A 按协议的规则，客户端通过把载荷原样回送来回复 ping，所以受害者的客户端尽职尽责地把那个字符串发往外部，而盯着出站流的助手在里面找到了 DCC ，于是打开了端口。\n一条受害者从没写过的消息打开的端口 内部没有人点击任何东西。是受害者自己的客户端应要求发出了触发内容。 受害者的客户端 192.168.1.29 防火墙 + IRC 助手 读取流 一个陌生人 任何其他用户，任何网络 1\u0026#160;\u0026#160;一个普通的 ping，载荷里藏着一条直接聊天请求 PRIVMSG ExampleUser :^APING ^ADCC CHAT x 3325256705 22^A 2\u0026#160;\u0026#160;协议规定回复 ping 要回送载荷，于是它照做 3\u0026#160;\u0026#160;助手的两项检查都通过了，而哪一项都不该通过 它在流的任意位置查找关键字，而不是在一条成帧消息的开头 它拿聊天服务器来核验地址，而不是翻译器后面的主机 4\u0026#160;\u0026#160;期望已存在，受害者的 22 端口对入站开放 这个流程里的每一样东西都遵循了自己的规范。 陌生人发了一条合法的消息。客户端按协议的要求作了回复。助手匹配了它被写来匹配的 模式。没有用户做过任何决定，任何日志里也不会有一丁点异常。 触发不一定来自你信任的人，不一定来自浏览器，也不一定来自用户有意做的任何事。这里的每个软件都遵循了自己的规范，结果是一个打开的端口，而任何日志里都没有任何异常。 内部没有人做错任何事，也没有人点击任何东西。客户端遵循了规范，而规范和助手合在一起，造出了一个通向网络内部某台机器 22 端口的入站洞。它成了 CVE-2022-2663，美国国家漏洞数据库的描述直白得令人佩服：“A firewall may be able to be bypassed when users are using unencrypted IRC with nf_conntrack_irc configured”15。\n注意 unencrypted（未加密）这个词。这个也请记住。\n作者本人的建议，恰好是本文其余部分从另一个方向得出的结论：“Potentially entirely deprecate and remove nf_conntrack_irc, it\u0026rsquo;s unclear it has much use anymore”14。\n解析器是问题的另一半 到目前为止讲的都是助手正确工作的情况。还有第二个独立的问题：它们是用 C 写的协议解析器，处在一台安全设备的快速路径上，处理的是陌生人提供的数据，缺陷率也正如你所料。这也不是 Linux 的问题或廉价路由器的问题：它出现在每一家厂商那里，出现在他们收费最高的代码里。\nCVE 组件 构造的数据包能做什么 CVE-2018-0051 Junos SIP ALG 让 SRX 和 MX 上的流处理守护进程崩溃；同时记载了 SIP ALG 除高端型号外默认开启 CVE-2018-15454 Cisco ASA / FTD SIP 检测 让设备重启，或把 CPU 占满 CVE-2022-2663 Linux nf_conntrack_irc 在防火墙上打开端口，如上所述 CVE-2023-22412 Junos SIP ALG “Specific SIP messages”可重复地让流处理守护进程崩溃 CVE-2023-22415 Junos H.323 ALG 由“specific H.323 packets”引发的越界写 CVE-2024-21616 Junos SIP ALG 一个 SIP 数据包耗尽 NAT 地址池，正常流量从此无法转换 CVE-2024-26851 Linux nf_conntrack_h323 解码 H.323 位图时发生越界移位 CVE-2024-39551 Junos H.323 ALG 内存被“specific packets”耗尽，直到流量中断 每一个都能从网络上触及，不需要认证，任何能把数据包送到外部接口的人都行，也就是所有人。再看看措辞：specific SIP messages、specific H.323 packets、a specific SIP packet。这不是协议在负载下出故障。这是有人在故意构造数据包。\n好好想想 Cisco 这个案例。CVE-2018-15454 于 2018年10月31日公布，严重性 8.6，当时已被在野利用，而公告说软件更新尚未发布16。Cisco 在自己的公告里给出的缓解措施是 no inspect sip。也就是说，厂商对这个功能里一个正被积极利用的缺陷给出的答案，就是关掉这个功能。这就引出了本文其余部分赖以成立的那个问题：如果在事件期间关掉它是可以接受的答案，那么其余时间它凭什么开着？\n助手只有在你不加密时才起作用 这一部分本身就应该能结束争论，却最少有人关注。协议助手读取你的载荷，而它读不了加密的载荷。所以，助手只在你选择留成明文的流量上才做得了任何事，而让助手继续工作，就意味着让那些流量继续保持明文。\n列表上的每一个协议都有加密模式，而且都已经有了十多年。FTP 从 2005 年起就支持 TLS17；打开它，PORT 和 PASV 的交换就看不见了，助手什么也做不了。SIP 从基础规范起就支持 TLS，旁边还有加密的媒体流。H.323 有自己的安全附件。聊天协议支持 TLS 也已经非常久了，而 CVE-2022-2663 的官方建议，几乎原话就是：用它，这样助手就看不到你的传输请求了15。\n助手需要明文，所以保留助手就意味着保留明文 你可以要加密，也可以要助手。没有第三栏。 控制通道已加密 助手在工作 助手看到的 17 03 03 01 a4 9c 2f e1 8b 44 d0 ... 密文 没有关键字。没有地址。没有端口。无可匹配。 助手看到的 REGISTER sip:example ... Contact: 192.168.1.29:5060 你和对方之间的其他每台设备也都看得到。 你为此付出的代价 助手什么也不做，所以终端必须 自己解决地址转换问题，而这些协议 每一个都早在十年前就能做到了。 你为此付出的代价 注册凭据、谁给谁打了电话，以及每一个 内部地址，都以明文穿过两端之间的 每一个网络。而那些网络你一个都控制不了。 加密模式已经存在了这么久 FTP over TLS 始于 2005 年\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;SIP over TLS 加密媒体始于基础标准\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;聊天 over TLS 已有几十年\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;H.323 有自己的安全附件 所以“我们需要 SIP 助手”的诚实说法，是一句没人会大声说出来的话。 那就是：我们需要呼叫信令以明文穿过不可信的网络，好让一个不属于我们的盒子去改写它。 没人写下来的那笔交易。助手只能处理它读得到的载荷，所以这两栏互相排斥。右边那栏，就是一个能用的 SIP ALG 要求你同意的东西。 所以“我们需要 SIP ALG”的诚实说法是：我们需要让呼叫信令以明文穿过不可信的网络，好让一个我们不控制的中间设备去改写它。 在设计评审里这么说一遍，看看它能走多远。\n还有一个更尖锐的版本，这也是为什么这件事根本不难判断。让助手开着，就是在持续地抑制加密：哪天有人打开 SIP over TLS，呼叫就断了，原因就是助手，于是这个改动被回滚，明文又多留一年。问问任何在消费级防火墙后面试过的人，结果如何。\n互联网上的其他所有协议都走了另一条路：网页流量默认加密，DNS 加密，邮件传输加密，QUIC 甚至加密了传输层头部本身，让中间设备读不到它。中间设备的时代在开放互联网上早已结束多年，最后还依赖路径上某台设备去读载荷的地方，就是那些有人把助手开着的地方。\nIPsec 是那个助手什么都读不了的协议 这就引出了一个显而易见的问题：那个除了加密什么都不是的协议怎么办？答案比你猜的更糟。\nESP 没有端口号，因为它本身就是一个 IP 协议，而翻译器是靠端口来分辨回程流量的。所以当一个地址后面有两个客户端连向同一个网关时，就没有任何东西能区分它们的入站数据包。RFC 3715 在 2004年3月就写明了这一点：NAT 无法通过检查学到映射，而且“it is possible that the NAT will deliver the incoming IPsec packets to the wrong destination”18。\n于是厂商造了一个助手。它盯着 UDP 500 上的 IKE 交换（其早期数据包是明文的），收集 cookie 和安全参数索引，然后打开一道门，让带有那个值的入站 ESP 到达内部正确的主机。Juniper 说得很直白：“When ESP traffic hits the IKE ALG gates, sessions are created to capture subsequent ESP traffic”19。Cisco 的 inspect ipsec-pass-thru 对“associated with an IKE UDP port 500 connection”的 ESP 和 AH 做同样的事，其默认映射对每个客户端的 ESP 连接数完全不设上限20。\n同样的对象，同样的权限，只不过这个助手连关键字都不匹配。它解析不了 ESP，因为 ESP 就是加密的那部分；它是凭一个它看着以明文经过的 32 位数字来引导数据包。RFC 3715 中讲这件事的那一节，标题毫无讽刺意味地叫“Helper Incompatibilities”，记载了基于 cookie 的分流“results in problems with re-keying”，以及解析 ISAKMP 载荷的设备“may not handle all payload ordering combinations”18。一个猜测顶替了一条规则，一个手搓的解析器待在数据包路径上，二十二年前就写下来了。\n十个月后，修复以协议的形式发布了：RFC 3947 让两端在密钥交换期间检测出翻译器，RFC 3948 把 ESP 包进 UDP 4500，于是又有了端口21。随后 Juniper 把那句不便明说的话说了出来：“IKE NAT-T traffic on floating port 4500 is not processed in an IKE ALG”19。做对了，助手就被完全绕开，这和被动模式 FTP、和 ICE 是同一句话。\n主线 Linux 从没接受过这个。conntrack 协议里没有 ESP 模块，2021 年一个增加基于 SPI 跟踪的补丁在 netfilter 邮件列表上经过了评审，却从未被合并22。发布它的厂商都是在内核树之外发布的，而且是在最不可能被更新的设备上。\n它逐条不符合 Cyber Essentials 到这里为止，这是一个安全论证。对任何在英国做认证的人来说，它也是一个合规论证，而且不涉及什么巧妙的解读：就是三条要点对三条要点。Cyber Essentials 是英国政府支持、通过 IASME 实施的计划，它的第一项技术控制就是防火墙，现行的要求文件是 2026年4月的 3.3 版。下面是它要求你做的事，原文照录23：\nblock unauthenticated inbound connections by default ensure inbound firewall rules are approved and documented by an authorised person, and include the business need in the documentation remove or disable unnecessary firewall rules, when they are no longer needed 三条防火墙要求，以及助手对每一条做了什么 Cyber Essentials 控制项一：防火墙。三项义务，以及助手对每一项的回应。 要求文件怎么说 协议助手做了什么 结果 “默认阻断未经认证的 入站连接” 第一项义务，也是这项控制存在的理由。 凭数据包里的一个字符串就放行一个。 提供这个字符串的一方 没有向任何东西认证过。 不合格 “确保入站防火墙规则由获授权的人 批准并记录在案， 并写明业务需求” 由内核模块以线速写下。 没人批准，没人看见， 没有文档，没有记录业务需求。 不合格 “在不再需要时，删除或禁用 不必要的防火墙规则” 这预设了有人曾判定它们是需要的。 由计时器删除。计时器不是审查， 也从没有人评估过这条规则 当初是否必要。 不合格 这是五项技术控制中的第一项，不是第五项里的边缘情况。 按该计划自己的话，它适用于边界防火墙、台式机、笔记本、路由器和服务器。 Cyber Essentials 技术控制中的三条防火墙要求，以及协议助手对每一条做了什么。三条要求，三次不合格，就在五项控制的第一项上。 期望存在的目的，恰恰就是允许一个本来会被阻断的入站连接，而那个其数据导致了它的一方没有向任何东西认证过，所以第一条直接不合格。这条规则是由一个内核模块以线速写下的，所以没有文档，没有记录业务需求，整条链上也没有任何获授权的人。去要那条让连接到达你打印机 9100 端口的规则的审批记录，你拿不出来，也造不出来，因为它在十八个月前存在了九十秒。而助手的规则是由计时器删除的，那不是审查。\n三条要求，三次不合格，就在五项控制的第一项上，按该计划自己的话，适用于“boundary firewalls, desktop computers, laptops, routers, servers”23，也就是你拥有的一切。\n对这意味着什么要说句公道话，因为我不是认证机构。评估员依据的是问题集和你提供的证据，而那份问题集问的是：你是否默认阻断未经认证的入站连接，你的入站规则是否有文档并经过批准。在开着助手的情况下回答“是”，这个回答就不是真的。你很可能照样通过。通过和合规不是一回事，而这个差距会在出事之后浮出水面。\n它也只是措辞格外直白而已：支付卡行业标准、客户的问卷、你的保险公司的投保单，问的都是同一件事，只是说法不同。所以这一节，才是该拿去给在证书上签字的人看的。不是那些攻击，也不是那些 CVE。三条要点，以及对每一条的诚实回答。\n业界早在二十年前就已经做出了决定 这一切都不新鲜，也没有争议。值得注意的是，这个决定早已做出了这么久，而默认值却照旧不变。\n二十五年的同一个结论，以及从未出现的那一行 结论在 2007 年就已得出。默认值纹丝未动。 时间 发生了什么 谁能采取行动 2001年1月 RFC 3027 为 NAT 弄坏的每个协议编目，并写明 ALG 对每个协议必须做什么 标准组织 2002年2月 RFC 3234 称这一机制为“蓄意的分层违规”，并警告会增加攻击点 标准组织 2007年1月 RFC 4787，最佳当前实践：基于 UDP 协议的 NAT ALG SHOULD 关闭 标准组织 2010年1月 NAT Pinning：网页上的隐藏表单在访问者的机器上打开一个入站端口 一名研究者 2012 netfilter 增加了显式挂载机制，以及停止自动分配的开关 内核 2016年4月 Linux 更改默认值：没有显式规则，助手什么也不做。随 4.7 发布 内核 2020年10月 NAT Slipstreaming，随后是 2021年1月能触及网络上每台设备的变种 研究者 2020年11月 四家浏览器厂商发布缓解措施；Web 平台标准加入禁用端口列表 浏览器 2022年8月 IRC 助手被发现会被一条受害者从没写过的消息触发 一名研究者 2023\u0026#8211;24 同一厂商的旗舰防火墙产品线又出了四个 ALG 漏洞 研究者 现在读一读“谁能采取行动”这一栏，注意谁从来不在里面。 二十五年里，没有一行是防火墙厂商推送更新，在已经部署的设备上 关掉这个功能。标准组织要求了，内核在上游改了，可两者都够不到那些盒子。 二十五年里得出的同一个结论，得出它的人都没法修好那个需要修的东西。从来没出现过的那一行，是防火墙厂商在已经部署的设备上关掉这个功能。 RFC 3027 在 2001年1月把 NAT 弄坏的每个协议都编了目24。一年后，RFC 3234 把 ALG 放进了中间设备分类，并且直截了当地指出在路径上增加设备的代价：它“creates extra points of attack, reduces or eliminates the ability to perform end to end encryption, and complicates trust models”10。然后，在 2007年1月，RFC 4787（一份最佳当前实践，而不是一条建议）规定了 NAT 必须如何表现，第十条要求是这么说的：\nREQ-10: To eliminate interference with UNSAF NAT traversal mechanisms and allow integrity protection of UDP communications, NAT ALGs for UDP-based protocols SHOULD be turned off.4\n关掉。十九年前就这么说了，还给了理由：助手会妨碍那些真正有效的机制，而且会让你没法保护自己的流量。同一节还无奈地指出，有些产品的 ALG 是“turned on permanently”4。\n三年后，NAT Pinning 展示了一个网页如何打开端口1。Netfilter 在 2012 年用 CT 目标作了回应，它通过一条显式规则把助手挂到一条指定的流上，另外还有一个开关，可以彻底停止自动分配11。然后在 2016年4月25日，内核改变了默认值，那条提交信息值得全文读一读，听听它有多疲惫：\nFour years ago we introduced a new sysctl knob to disable automatic helper assignment [\u0026hellip;] This knob kept this behaviour enabled by default to remain conservative. This measure was introduced to provide a secure way to configure iptables and connection tracking helpers through explicit rules. Give the time we have waited for this, let\u0026rsquo;s turn off this by default now, worse case users still have a chance to recover the former behaviour by explicitly enabling this back through sysctl.5\n它随 Linux 4.7 发布，从那以后，一台加载了这些模块的设备什么都不会用它们做，直到你写一条规则把某个助手挂到一条流上。之后的一切都在上面那张图里，一直到 Web 平台标准本身也加上了这份端口列表25。\n现在看看这份列表里缺了什么。二十五年里，没有一行是防火墙厂商推送固件更新、在已部署的设备上关掉这些功能。标准组织要求了。内核在上游做了。浏览器为此买了单。那些盒子照旧运行。\n而屏蔽端口列表就是破绽所在。端口 69、137、161、554、1719、1720、1723、5060、5061、6566 和 10080 全都在上面6：TFTP、NetBIOS、SNMP、RTSP、两个 H.323、PPTP、两个 SIP、扫描仪协议和 Amanda 备份协议。把 Linux 内核源码树里的助手模块列出来，你会发现同一份清单你读了两遍。这不是巧合，也不是安全控制：这是一个行业在维护一份永久的、不断增长的端口黑名单，因为另一个行业不肯改一个默认值。\n大多数牌子底下，都是 Linux netfilter 的细节才是重点，不是一段 Linux 形状的题外话。这个星球上做 NAT 的设备，有非常大的一部分是在厂商界面底下跑着 netfilter 的 Linux：每一个 OpenWrt 衍生版（这就是消费级和小企业路由器市场的大部分）、大多数运营商提供的家用路由器、相当一部分运营商级 NAT 设备，还有大量商业设备，它们的网页界面丝毫不透露底下是什么。解析你的 SIP 的那个助手，常常就是主线内核里那个 nf_conntrack_sip.c，由别人编译，由一个菜单驱动。\n证据就在研究本身里。Samy 在一台 Netgear 路由器里找 SIP ALG 时，提取了固件，找到一个包含 ftp_decode 和 sip_decode 的内核模块2。Armis 的测试清单里有 OpenWrt 和 VyOS，还有一个他们干脆叫作“various consumer grade Linux routers”的类别；而得出“任意内部主机”这一发现的 H.323 分析，来自阅读 netfilter 源码，随后在三家厂商的商业防火墙上得到了证实3。\n内核默认值到不了你那里。 Linux 4.7 在 2016 年关掉了自动助手分配，但前提是内核够新，并且没人把它重新打开。Armis 发现 VyOS 显式地把 nf_conntrack_helper 设回了 1，并指出很多基于 Linux 的产品会重新启用它，“as it is still useful for many users”3。2026 年的产品里跑着 2014 年的内核，得到的就是 2014 年的行为；当前的内核如果开关被拨回去，得到的也一样。这两种情况都不会出现在规格表上。\n弄懂 netfilter 模型，你就知道该向其他每台设备问什么。 期望那一节里的三个问题不是 Linux 问题。它们就是该问的问题。每家厂商都有同一个对象，只是换了个名字，文档几乎从不给你答案，而弄懂参考实现怎么做，正是你搞清楚该测什么的办法。\n先把 Linux 的活儿干好，再拿它对照其他每一家厂商。\n把 Linux 助手处理妥当 从实际加载了什么开始：\nlsmod | grep -E \u0026#39;nf_conntrack|nf_nat\u0026#39; 助手模块就是那些以协议命名的：nf_conntrack_ftp、_sip、_h323、_irc、_tftp、_pptp、_snmp、_amanda、_sane、_netbios_ns 和 _talk，每个在需要改写地址的地方还有一个对应的 nf_nat_*。然后检查自动分配，也就是决定一个已加载的模块会不会自己做事的那个开关：\nsysctl net.netfilter.nf_conntrack_helper 你要的是 0，这也是 Linux 4.7 起的默认值5。1 表示每个已加载的助手都对每条匹配其端口的流生效，来自任何地址，这是 2015 年的行为，也是本文里的攻击所假设的行为。\n然后在一台在用的防火墙上盯着 conntrack -L expect。助手关掉时它一直是空的；开着时，在旁边抓个包，看着随着大家使用网络，一行行冒出来。值得做一次：没有什么比眼看着一条不是你写的入站许可在面前出现又消失，更能说明问题了。\n如果自动分配是关闭的，而你仍然想在某条特定的流上用助手，正规的办法是一条显式规则，它把助手限定在一个目的地址和一个端口上：\niptables -t raw -A PREROUTING -p tcp --dport 21 -d 192.0.2.10 -j CT --helper ftp nftables 的等价做法是声明一个 ct helper 对象，在 prerouting 链里用 ct helper set 挂上去，规矩一样，语法更好。\n注意这条规则是什么：一个有文档、经批准、有业务理由的入站例外，由一个人写下，审计员能读到它。自动的那种永远做不到这一点。\n如果你想让它们彻底消失而不是休眠（在防火墙上你就应该这样），那就让这些模块根本加载不了：\nfor m in ftp sip h323 irc tftp pptp snmp amanda sane netbios_ns talk; do echo \u0026#34;install nf_conntrack_$m /bin/false\u0026#34; done \u0026gt; /etc/modprobe.d/no-conntrack-helpers.conf 用 install ... /bin/false 而不是 blacklist 是有意为之：blacklist 只阻止按别名加载，任何按名字请求这个模块的东西照样能拿到它。如果某个发行版的防火墙层替你加载了它们（当某个 zone 启用了 FTP 或 TFTP 服务时，firewalld 就会这样），那么要修的就是那一层，因为它会很热心地把它们放回去。\n其他每个牌子，以及怎么关掉 检查你自己的版本，别相信互联网上的任何东西，包括我写的；这些默认值在不同版本和型号之间会变。\npfSense 和 OPNsense 证明了这场争论已经结束。 没有 SIP ALG 可以禁用，因为从来就没有过可以启用的 SIP ALG。它们是部署最广泛的防火墙发行版之一，为大量组织承载着电话业务，如果现代 VoIP 真的需要助手，这就不可能。FTP 代理也走了同样的路：Netgate 在 2015年1月把它从基础系统里拿掉了。\nOpenBSD 的设计才是其他人都该照抄的。 pf 根本不在转发路径上改写载荷。如果你想让 FTP 得到帮助，就运行 ftp-proxy，一个独立的用户空间守护进程，再写一条显式的 divert-to 规则，把控制连接送给它26。三个特性立刻随之而来：除非你故意打开，否则它是关的；它只看得到你在规则里点了名的流量；它的缺陷只会让一个用户态进程崩溃，而不是数据包路径。这就是有人去设计而不是硬拴上去时，“主动选择开启”该有的样子。\nOpenWrt 不带 ALG 模块，即使你装上它们，自动分配也保持关闭。\nCisco ASA 和 FTD 在默认全局策略里带有检测引擎，而 no inspect sip 正是 Cisco 自己在事件期间给出的建议：\npolicy-map global_policy class inspection_default no inspect sip no inspect h323 h225 no inspect h323 ras no inspect skinny 在 FTD 上，是在设备 CLI 里执行 configure inspection sip disable16。IPsec 直通是 Cisco 做对了的那一个：inspect ipsec-pass-thru 根本不在默认策略里，所以除非有人故意加上了它，否则没有什么要删的20。\nCisco IOS 和 IOS XE 也默认开着：用 Cisco 自己的话说，“NAT support for SIP is enabled by default on port 5060”7，H.323 也一样：\nno ip nat service sip tcp port 5060 no ip nat service sip udp port 5060 no ip nat service h225 Juniper SRX 在分支型号上启用 SIP 和 H.323，在高端型号上不启用，光这一点就说明了 Juniper 自己的工程师怎么看待它们。用 show security alg status 查清你的状况，然后：\nset security alg h323 disable set security alg sip disable set security alg ftp disable set security alg ike-esp-nat disable FortiGate 默认通过 VoIP 配置文件检测 VoIP，底下还有一个内核会话助手。Fortinet 文档里的步骤是先删掉助手27：\nconfig system session-helper show delete \u0026lt;the sip entry\u0026gt; end config system settings set default-voip-alg-mode kernel-helper-based end 条目编号要读你自己的 show 输出，不要照抄；它在不同型号和版本之间会变，而且 Fortinet 警告说通常需要重启。\nCheck Point 是最难审计的那一个，因为它没有单一的开关。助手是规则里服务对象的一个属性，所以用了预定义的 SIP 服务，你就得到了协议处理器以及它做的一切。要避开它，就得自己定义一个 5060 端口上的普通 UDP 或 TCP 服务，把协议类型设为 none，并放在任何仍在使用内置服务的规则之上。所以“ALG 开着吗？”不是一个设置页面能回答的问题。照这么说，谁告诉你它已经禁用了，你都要小心对待。\nPalo Alto 给你一个按应用的开关，他们自己的文档说 SIP ALG“creates dynamic NAT pinholes”8。Objects，Applications，找到 sip，勾选 Disable ALG，提交。\nMikroTik 在 /ip firewall service-port 下带了十个助手（SIP、H.323、FTP、IRC、TFTP、PPTP、RTSP 等等），每个只有一行文档，页面上没有任何安全警告。先列出来，再禁用你找到的：\n/ip firewall service-port print /ip firewall service-port set [find name=sip] disabled=yes /ip firewall service-port set [find name=h323] disabled=yes /ip firewall service-port set [find name=ftp] disabled=yes 消费级和运营商提供的路由器。 找“SIP ALG”“SIP helper”“VoIP passthrough”“IPsec passthrough”或者“application layer gateway”，通常在高级 NAT 设置下面。很多运营商提供的路由器根本没有这个设置，这就告诉了你那台设备该不该出现在你负责的网络上。\n不管什么平台，最后都一样收尾：证明它。在外部接口上抓包，从外面向相应端口发送一行构造的 PORT 或 REGISTER，确认什么都没打开。没测过的设置只是一种信念。\n会坏掉的东西，大多早就死了 对代价要诚实，因为这是要求任何人做这件事的基础。在话机配置糟糕的网络上关掉 SIP 助手，可能会弄坏通话，通常是单向音频，或者注册掉线。关掉 FTP 助手，出站的主动模式 FTP 就坏了。关掉 H.323 助手，H.323 就坏了，如果你还有的话。如果你在一个多年没人看过的网络上一次性做这个改动，至少会碰上其中一个。\n现在把这份清单再读一遍，你会注意到，助手服务的几乎每一个协议，都是业界其他人早已埋葬的。H.323 二十年前就输给了 SIP。PPTP 从 1998 年起就站不住脚了，这一点我在 IPsec Was a Good Idea 里详细论述过。IRC 直接传输属于一个没人怀念的年代。NetBIOS 名称服务、使用团体字符串的 SNMP 版本、扫描仪发现协议和那个老备份协议，都是从没打算跨越边界的局域网遗物。普通 FTP 已经从浏览器里彻底消失：Firefox 在 2021年7月移除了它，Chrome 在同年 10 月，两者的理由都是使用量微不足道，安全性不值得维护成本28。\n所以“我们不能关掉助手，会有东西坏掉”通常是一个论证：为了给一个替陌生人开端口的功能找理由，让一个已死的协议继续靠呼吸机活着。关掉它不会弄坏你的网络。它会暴露出网络上那个早在多年前就该退役的东西，而这本来就是你想知道的信息。\nSIP 是真正的例外，也是唯一的例外。清单上其余的一切，都是你该乐于输掉的论证，而且没有一个是修不好的，因为涉及的每个协议早在多年前就在协议内部、在它该在的地方，解决了自己的地址转换问题。\n该怎么做 中间设备的答案和终端的答案，并排对照 同一个问题，回答了两次。一个答案把决定放在了中间。 路径上的盒子来决定 两端自己决定 工作方式 一台设备在载荷经过时读取它 改写它在里面找到的地址 为所描述的连接打开一个入站的洞 两端谁都不知道发生过这些事 工作方式 每一端都问服务器自己从外面看是什么样子 每一端提供它拥有的每条路径：本地、转换后、中继 两端互相测试这些路径 用自己的流量保持能用的那一条开着 它需要你提供什么 载荷可读，所以控制通道不能加密。 那台特定的设备在那条特定的路径上。只能有 一个翻译器，所以下游有个运营商级的就会 坏掉。还要信任写下文本的任何人，而这一点 直到 2010 年都没人想过。 它需要你提供什么 出站访问，此外什么都不需要。它能穿过 不属于你、你也看不见的翻译器， 穿过两个叠在一起的翻译器，穿过移动网络， 而且控制通道可以端到端加密， 因为中间没有任何东西去读它。 文件传输更简单：被动模式，客户端向外打开两条连接，助手无事可做。 右边这栏不是提议。它就是你的浏览器早已在做的事。 浏览器里的每一次视频通话都是这样协商的，穿过各种翻译器，路径上没有任何 ALG。 同一个问题，解决了两次。一个答案把决定放在中间的一个盒子里。另一个让两端自己商量出结果，而这正是每个浏览器在每一次视频通话中早已在做的事。 FTP。 被动模式，从 1985 年起就写进了规范，二十年来是每个客户端的默认值：两条连接都向外打开，助手无事可做。而且如果你在 2026 年还要在组织之间传文件，FTP 就不是该用的协议：SFTP 和 FTPS 都是加密的，没有哪个助手碰得到它们。\nSIP 以及其他一切实时协议。 终端向互联网上的一台服务器询问，从外面看它的公网地址和端口是什么样子，提供它拥有的每一条候选路径，两端互相测试，留下一条能用的，在没有直接路径的地方使用中继。这就是 STUN、TURN 和 ICE，也是地球上每个浏览器在每一次视频通话中都在做的事，穿过各种各样的翻译器，路径上没有任何 ALG。如果你的电话系统在 2026 年还做不到这一点，问题出在你的电话系统上。\nIPsec。 NAT 穿越，也就是 RFC 3947 和 RFC 3948：两端在密钥交换期间发现翻译器，并在会话剩余时间里把 ESP 包进 UDP 450021，中间任何设备上都不需要门。\nH.323。 让它退役。SIP 大约在 2005 年就赢了这场争论，所以没有什么迁移要规划，只有一次删除。直接传输、TFTP、SNMP、NetBIOS、扫描仪发现和那个备份协议也一样：它们没有任何理由跨越边界。\nIPv6。 这一切在那里都不存在，因为没有地址转换，所以助手没有任何东西可以改写。主机有自己的地址，载荷里的地址是真的，有状态防火墙只放行你告诉它放行的东西，别的一概不放。本文里的每一个问题都源自地址转换，而地址转换源自不部署 IPv6，这个论点我已经在别处讲过，不再重复。\n下面这部分，我不打算讲究外交辞令。\n如果有人叫你把这些打开（供应商、电话安装商、托管服务商、框架协议上的集成商），那他们就不是网络工程师，也不是安全专家。他们在自己真正做的那件事上也许非常出色，但不是这件事。一个需要防火墙改写其信令的电话系统，正确的答案是修好电话系统，而任何叫你转而向一个字符串匹配解析器敞开边界的人，要么不知道期望是什么，要么根本不在乎。我们不是业余草台班子。自 2007 年起，标准轨文件里就有了正确的做法，而“把 SIP 助手打开就行”，是有人在随手抓一个今天能关掉工单的东西。\n当场问他们，期望的源地址通配设成了什么。如果这个问题让他们吃了一惊，你就有答案了，而这从来就跟协议无关。\n如果你还在开着它们，你还能自称专业人士吗？ 这是一个真心的问题，值得一个真心的回答，所以这里有三个，因为有三种情况。关键在于你知不知道，而知道不是一件会自己找上门的事。确保自己知道，本身就是这份工作。\n如果在你负责的边界上开着 SIP、H.323 或 FTP 助手，而你不查资料就说不出期望是什么、它的哪些字段是通配的、值由谁提供、你的认证申报对入站规则作了什么声明，那么答案是否定的。至少在这件事上不是。你没有选择一个配置，你继承了一个默认值，而且从没读过它。问题不在于有知识空白；每个人都有空白，我也曾有过这一个。问题在于你在一个从没去填补的空白上搭起了边界，然后签字说这道边界是牢靠的。\n如果你完全清楚它在做什么，而它开着是因为监管机构点名要这个协议，或者合作伙伴的设备除此之外什么都不终结，或者电话系统三月份就要换掉、这之前必须先撑着，那么答案是肯定的，显而易见，你是在好好干这份工作。这些都是真实的约束，比这更糟的我也绕过去过。让它成为专业而不是失职的，是你写下了：哪个助手，在哪个接口上，为了哪条流，为什么，以及哪天关掉。而这本来就是防火墙控制项一直在要的文书。\n站不住脚的是中间那种情况。知道的程度足以让你心里不安，却因为没人要你说明理由而放着不管。那不是工程。那是贴着变更编号的习惯，也正是为什么一个最佳当前实践在 2007年1月就叫你关掉的功能，到 2026 年还开着。\n当你花钱请别人来做判断时，这一点最要紧，因为判断在交付时是没法检验的。所以在签字之前检验它。问他们的标准配置怎么处理协议助手、为什么；问如果访客网络上有人打开一个链接会发生什么；问如果 H.323 助手开着，哪些内部设备能被够到。然后看他们是不是回答“只有点了链接的那台机器”，因为那正是一个听起来很能干的人会给出的错误答案。两分钟之内你就能知道，对方是在告诉你东西，还是在照本宣科，而两分钟的测试比一次事件便宜得多。\n如果得到的回答是耸耸肩，而你照样签了字，那也是一个决定。只不过它不再是他们的决定，而成了你的。\n从来没人被要求说明理由 我想对造出这些东西的人公道一点，因为他们配得上。在 1994 年，助手是对一个真实问题的合理回答。地址越来越不够用，NAT 是务实的修法，少数几个重要的协议过不了它，可选的办法是改掉地球上每一个 FTP 客户端，或者教那个盒子去读。他们教盒子去读，发布了他们能想到的最安全的默认值，并在源码里写下了关于它能被拿来干什么的警告。那些警告至今还在。我引用过其中一条。\n之后出的问题不是技术上的失败。而是这个行业里从来没有任何东西要求任何人回头再看它一眼。IETF 说关掉它们，却没有权力让任何人照做。内核改了默认值，却够不到已经出货的设备。研究人员在十六年里证明了四次，而每一次修复都落在了防火墙以外的地方。与此同时，默认值一直开着，不是因为有人为它辩护，而是因为一个没人争论的默认值可以无限期地存活下去，而任何地方都没有哪个部门的职责是终结东西。\n这就是那个模式，而它比一个防火墙功能大得多。这个行当极其擅长维护，却毫无能力叫停。维护有预算、有人手、能计费、很安全；退役需要一个人在一项变更上签下自己的名字，做好了没有任何好处，做砸了到处都是他的名字。于是这东西留了下来，直到有一天有人发现，它会替你的打印机开端口。\n对我来说，最说明问题的是 Cisco 自己文档里的那个说法：ALG 创建一扇 NAT 门。不是过滤器。不是控制。是一扇门，开在你花钱买来的墙上，谁能把一个开头写对了词的数据包送到它面前，它就为谁打开。而公认的应对办法，一直是请路过的人别去拧门把手。\n你今天下午就能把你的那扇关上，这才是值得作为结尾的部分。不是那些攻击；那些攻击只是没人去做时会发生的事。去看看你的边界允许了哪些你从没写下来的入站，决定那是不是你的本意，把不是的那些拿掉，并在你保留的每一条旁边写上日期。\n边界从来就只是这么个东西：一份某人选择允许的事项清单，而且他说得出为什么。上面任何没人选择过的东西都不是安全。只是摆设。\nSamy Kamkar — NAT Pinning，2010年1月5日。最初的浏览器对 ALG 攻击，用一个隐藏表单让浏览器发出 IRC DCC CHAT 或 FTP 227 响应行，使路由器的助手打开一个入站端口。“No XSS or CSRF required.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSamy Kamkar — NAT Slipstreaming，2020年10月31日，2021年1月更新。作者概括为让“an attacker to remotely access any TCP/UDP service bound to a victim machine, bypassing the victim\u0026rsquo;s NAT/firewall (arbitrary firewall pinhole control), just by the victim visiting a website”。包含报文段边界技术、SIP 处理程序“will bail unless the method (eg, REGISTER) occurs at the start of the data portion of the packet”的说明，以及对 Netgear 固件的分析。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBen Seri 和 Gregory Vishnepolsky，Armis — NAT Slipstreaming v2.0，2021年1月26日。H.323 呼叫转移原语、对浏览器受限端口列表的中继绕过、测试过的产品清单（OpenWrt、VyOS、消费级 Linux 路由器、FortiGate、Cisco ASAv 和 csr1000v、HPE vsr1000、SonicWall TZ300）、披露时间线，以及结论：“resolving the issue will require a fundamental change of their implementations by various router/firewall vendors”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4787 — Network Address Translation (NAT) Behavioral Requirements for Unicast UDP，2007年1月，BCP 127。第 7 节载有 REQ-10，以及这一观察：“Certain NATs have these ALGs turned on permanently, others have them turned on by default but allow them to be turned off”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPablo Neira Ayuso — netfilter: nf_ct_helper: disable automatic helper assignment，提交 3bb398d9，2016年4月25日，随 Linux 4.7 发布。把 nf_conntrack_helper 的默认值从启用改为禁用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChromium 源码 — net/base/port_util.cc。其 kRestrictedPorts 数组包括 69、137、139、161、554、1719、1720、1723、5060、5061、6566 和 10080。Adam Rice 宣布加入 SIP 端口的帖子，2020年11月5日：“a carefully-crafted HTTP request to port 5060 on an attacker\u0026rsquo;s server can fool some NAT devices into treating it as a SIP packet and setting up port forwarding.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — SIP ALG Hardening for NAT and Firewall，IP Addressing Configuration Guide, Cisco IOS XE 17.x。“SIP ALG creates a firewall pinhole or a Network Address Translation (NAT) door based on the first value in the Via header field.” SIP 的 NAT 支持“enabled by default on port 5060”。另见 Using Application-Level Gateways with NAT，其中说明 SIP 和 H.323 默认开启。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPalo Alto Networks — Disable the SIP Application-level Gateway (ALG)。“SIP ALG creates dynamic NAT pinholes but may interfere with VoIP applications that have NAT traversal capabilities, causing communication failures.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2663 — IP Network Address Translator (NAT) Terminology and Considerations，1999年8月。第 2.9 节定义了应用层网关。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3234 — Middleboxes: Taxonomy and Issues，2002年2月。分层违规那句话在第 2.11 节；路径上额外设备的代价在第 5 节。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEric Leblond、Pablo Neira Ayuso、Patrick McHardy、Jan Engelhardt 和 Mr Dash Four — Secure use of iptables and connection tracking helpers。“This system relies on parsing of data coming either from the user or the server. It is therefore vulnerable to attack.” IRC 通配那句引文的出处；记载了 nf_conntrack_helper sysctl 和 CT --helper 目标。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux 内核源码 — net/netfilter/nf_conntrack_ftp.c。loose 模块参数默认为 false，防范 PORT 地址不是客户端自己地址的情况；注释把风险描述为“DMZ machines opening holes to internal networks, or the packet filter itself”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetfilter — H.323 conntrack/NAT helper，由该模块的作者撰写。包含让会话引用第三方地址的呼叫转移场景。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDavid Leadbeater — NAT-Again: IRC NAT helper flaws，2022年8月。演示了 ping 回显触发，指出它还能用来扫描、揭开隐藏用户的身份、并通过指定端口 0 让他们断线，并建议：“Potentially entirely deprecate and remove nf_conntrack_irc, it\u0026rsquo;s unclear it has much use anymore.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCVE-2022-2663 — “An issue was found in the Linux kernel in nf_conntrack_irc where the message handling can be confused and incorrectly matches the message. A firewall may be able to be bypassed when users are using unencrypted IRC with nf_conntrack_irc configured.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — CVE-2018-15454 安全公告，2018年10月31日。给出的缓解措施是 ASA 上的 no inspect sip 和 FTD 上的 configure inspection sip disable；NVD 记载公布时“Software updates that address this vulnerability are not yet available.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4217 — Securing FTP with TLS，2005年10月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3715 — IPsec-Network Address Translation (NAT) Compatibility Requirements，2004年3月。第 2.1 节 (f) 项讲针对 NAT 的 SPI 选择；第 2.3 节标题为 Helper Incompatibilities，载有关于 IKE cookie 分流和 ISAKMP 载荷解析的引文。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — IKE and ESP ALG，Application Layer Gateways User Guide。门的描述、端口 4500 上的 NAT-T 流量不由 ALG 处理的说明，以及两个客户端共享同一个转换后地址时设备“will be unable to distinguish and route return traffic properly”这一警告的出处。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — IPsec Pass Through Inspection，ASA Firewall CLI Configuration Guide 9.20。“IPsec Pass Through application inspection provides convenient traversal of ESP (IP protocol 50) and AH (IP protocol 51) traffic associated with an IKE UDP port 500 connection.” 不在默认策略里；随附的 _default_ipsec_passthru_map“sets no maximum limit on ESP connections per client”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3947 — Negotiation of NAT-Traversal in the IKE，以及 RFC 3948 — UDP Encapsulation of IPsec ESP Packets，均为2005年1月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCole Dishington — netfilter: nf_conntrack: Add conntrack helper for ESP/IPsec，2021年5月，第三版。在 netfilter-devel 上经过评审，未被合并；主线的 net/netfilter 至今仍没有 nf_conntrack_proto_esp.c。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC 和 IASME — Cyber Essentials: Requirements for IT Infrastructure v3.3，2026年4月。控制项 1“防火墙”适用于“boundary firewalls, desktop computers, laptops, routers, servers, IaaS, PaaS, SaaS”；引用的三条要求是它的原话。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3027 — Protocol Complications with the IP Network Address Translator，2001年1月。“The purpose of this document is to identify the protocols and applications that break with NAT enroute.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWHATWG Fetch — pull request 1109，这项标准变更在各浏览器中加入了不良端口条目。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD — ftp-proxy(8)。控制连接之所以到达它，只是因为你把它们送了过去：“FTP control connections should be redirected into the proxy using the pf(4) divert-to command, after which the proxy connects to the server on behalf of the client.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFortinet — Technical Tip: Disabling VoIP Inspection。记载了从 config system session-helper 中删除 SIP 条目、set default-voip-alg-mode kernel-helper-based，并指出重新启用需要重启。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Stopping FTP support in Firefox 90，2021年7月20日；以及 Google — Deprecations and removals in Chrome 95，2021年10月：“Use of FTP in the browser is sufficiently low that it is no longer viable to invest in improving the existing FTP client.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/networking/protocol-helpers-turn-them-off/","summary":"协议助手（SIP ALG、FTP 助手、H.323 ALG、conntrack 助手，你的厂商叫它什么都行）读取连接的载荷，找到写在文本里的地址和端口，然后为它们打开一个入站针孔。它分不清这段文本来自真正的 FTP 客户端，还是来自网页上一个隐藏的表单，因为文本里根本没有可供分辨的东西。Samy Kamkar 在 2010 年证明了浏览器这条路。NAT Slipstreaming 在 2020 年再次证明了它，Armis 又在 2021 年把它扩展到你网络里的任何设备，而不只是点了链接的那台机器。IETF 在 2007 年就要求默认关闭它们，Linux 在 2016 年把它们关掉了，浏览器厂商最后发布了一份屏蔽端口列表，读起来就像 conntrack 模块的目录。本文用一张张图走一遍其中的机制：期望表、报文段对齐的手法、H.323 呼叫转移、被别人的消息触发的 IRC 助手；再看 IPsec 直通助手，它根本读不了 ESP，却靠一个它在明文里看着经过的 SPI 来引导入站数据包；把这一切对照它明显不合格的 Cyber Essentials 防火墙控制项；最后给出在 Linux、Cisco、Juniper、FortiGate 和 MikroTik 上把它们全部关掉的命令。","title":"你的防火墙在听陌生人的指令。关掉协议助手。"},{"content":"IPsec 曾是个好主意。把加密放在网络层，放在一切的下面，跑在 IP 上的每个协议不用被告知就能继承机密性和完整性。不用链接哪个库。不用给每个应用配证书。不用重写你已经交付的东西。数据包带着保护离开，带着保护到达，中间的路由器照常转发，既不知道也不在乎里面是什么。\n这个设计建立在一个假设上，而且标准里是明说的，不是暗示：数据包的地址标识了它来自哪台机器。 安全关联是按目的地址、协议号和 SPI 来查找的1。认证头（AH）走得更远，它对 IP 报头本身做签名，源地址和目的地址都包括在内2。对 IPsec 来说，地址不是路由元数据。它是身份的一部分，也是完整性校验的一部分。\n然后这个行业花了三十年把地址拿走了。\n先是 NAT，为了让一个办公室挤在一条线路后面。然后是运营商级 NAT，为了让几百户人家挤在一个地址后面，因为开启 IPv6 是活儿，而买个盒子只是采购。这正是我们从没用完地址。我们用完的是力气。那篇文章的全部主题，这里我不再重复。对这篇文章重要的是后果。IPsec 赖以建立的那一样东西，恰恰是现代接入网络不再提供的那一样东西。\n于是 IPsec 被打上了补丁。把加密后的数据包包进 UDP，好让转换器有个端口可以改写。把校验和置零，这样就没有东西去重新校验它。每二十秒发一个一字节的数据包，永远发下去，好让别人设备里的一张表别忘了你的存在。把身份从地址上挪到一个名字上。放弃认证头，因为从构造上它就经不起报头被改写。当酒店封掉 UDP 时，再把整堆东西包进 TCP3。\n这里每一项都是真实的、标准化的、有厂商支持的修复。合在一起，它们就是一个靠自己的脚手架撑着的协议。而脚手架本身就是论据：一个从根本上就健全的东西，你不会花四分之一个世纪去撑着它。\n我得出的结论是，IPsec 应该全面退役。 不是调优，不是换上更好的密码算法重新提议，也不是因为站点到站点那部分还能用就留着。是退役，带日期，就像 PPTP 本该在任何人着手之前十年就退役那样。下面是证据、图解、用厂商自己的话说出这一切的厂商文档，还有一套在此期间诊断 IPsec 故障的实用方法，因为读这篇文章的大多数人周一还得让这些东西继续跑着。\n它在工单里实际让你付出什么 在讲标准之前，先看账单，按你会遇到的顺序排列。\n隧道按时钟掉线。 每小时一次，或每八小时一次，或者空闲二十分钟之后。有人打开一个文件它就回来了，所以一半的用户从不报告，另一半报告说“VPN 很慢”。没人改过任何东西。\n同一户人家里的两个人不能同时连接。 第二个人连上，第一个人就掉线。他们分别给服务台打电话，所以工单永远碰不到一起，两个星期都没人发现这个规律。\n小东西能用，大东西卡住。 登录能用。Teams 能用。Ping 能用。复制文件每次都卡在同一个位置，在内部应用里打开一个大页面会一直挂着直到超时。\n隧道是通的，却没有流量通过。 两端都显示已建立。两端都挺满意。什么都不动。\n外面什么都进不来。 到那个搬上光纤替代运营商（altnet）的分支机构的站点到站点隧道，在以前的方向上再也建立不起来，没人说得清为什么，只知道“他们的 IP 变了”。\n开了 QoS，加密就坏了。 有人给语音设了优先级，现在远端把数据包当作重放丢弃。\n这些没有一个是通常意义上的配置错误。每一个都是 IPsec 撞上了如今的网络。这篇文章剩下的部分就是按顺序讲为什么，以及怎么证明你遇到的是哪一个。\nIPsec 不是由网络承载的。它就是网络。 先说它原本是什么，因为这个设计确实好，而那些故障只有对照着它才说得通。\nESP 不是跑在 TCP 或 UDP 之上的协议。它本身就是一个传输协议，IP 协议号 50，直接坐在 IP 上，和 TCP、UDP 占的是同一个位置。AH 是协议 51。两者都没有端口字段，因为都不需要：在 IPsec 当初设计时面对的那个互联网上，目的地址已经确切地指明了一台机器，ESP 头里的 SPI 则指明那台机器上的哪一个安全关联。地址加协议加 SPI。这个三元组就是查找键1。\n规范中的设计：地址指明机器，所以不需要端口，任何一端都能发起 规范中的 IPsec：地址就是身份 主机 A 203.0.113.10 路由器 只做转发 主机 B 198.51.100.7 任何一端 都能发起 离开机器的是什么 外层 IP 头 源 203.0.113.10 到 198.51.100.7 协议 50 = ESP SPI 4 B 序列号 4 B 加密载荷 你的数据包，传输中不可读 ICV 16 B 关联查找 = 目的地址 + 协议 + SPI。哪儿都没有端口字段，因为根本不需要。 这个设计的三个假设，在 1995 年全都成立： 数据包上的地址就是机器。路径上没有东西改写报头。任何一端都可以被拨入。 认证头走得更远，对外层报头本身签名，源地址和目的地址都包括在内， 因此接收方能证明地址在途中没有被动过。 未按比例绘制。ESP 开销随密码算法而变；这里的数字是 IPv4 上隧道模式的 AES-GCM。 规范里的设计。ESP 作为协议 50 直接坐在 IP 上，没有端口，因为它不需要：目的地址指明主机，SPI 指明主机上的关联。AH 对 IP 报头本身签名。两端都持有真实、可达的地址，任何一端都能发起会话，中间的任何东西都不需要理解载荷。 看看这换来了什么。没有需要暴露的握手端口，没有会出错的会话层，没有哪个应用需要主动加入。任何一端都能发起。网络的中间是“傻”的，而网络的中间本来就该这样。路由器转发协议 50 和转发协议 6 一模一样，它读不懂载荷这件事正是要点，而不是局限。\n这是个干净的设计。可到了 2026 年，它描述的也是一个读这篇文章的大多数人买不到的互联网。\n然后有人在每条路径上放了一个转换器 NAT 改写源地址，常常还改写源端口，好让几台机器共用一个地址。它做的就这么多。可对 IPsec 来说，这几乎是彻底拆毁，IETF 也足够坦白，专门发布了一整份文档来列出碎片：RFC 3715，IPsec-Network Address Translation (NAT) Compatibility Requirements4。十六项独立的不兼容。下面是要紧的几项。\nAH 完了，从构造上就完了。 用 RFC 3715 自己的话说：“Since the AH header incorporates the IP source and destination addresses in the keyed message integrity check, NAT or reverse NAT devices making changes to address fields will invalidate the message integrity check.”4 这没有办法修，也永远不会有。一个对报头签名的协议，穿不过一个整天就是在改写报头的盒子。AH 没有被绕过去。它被放弃了。\n没有端口可以转换。 做端口转换的 NAT 需要一个端口。ESP 没有。Cisco 在 Catalyst 配置指南里说得很直白：“If PAT found a legislative IP address and port, it would drop the Encapsulating Security Payload (ESP) packet.”5 这个数据包不是因为策略被拒绝。它被丢弃，是因为那个盒子没地方写它需要写的东西。\n身份不再和数据包对得上。 还是 RFC 3715：“Where IP addresses are used as identifiers in Internet Key Exchange Protocol (IKE) Phase 1 or Phase 2, modification of the IP source or destination addresses by NATs or reverse NATs will result in a mismatch between the identifiers and the addresses in the IP header.”4 一个按地址给机器命名的身份方案，活不过一台以给机器改名为生的设备。\n两台机器可能选中同一个 SPI。 SPI 由接收方选择，只需在接收方那里唯一。把两台主机放在一个地址后面，转换器就有了两个关联，却没有任何东西能区分它们。\n外面什么都不能先发起。 NAT 根据出站数据包建表。在有人发起之前没有出站数据包，而在经过 NAT 的链路上只有内侧能发起。这个协议的对称性没了一半。\n路径上一个转换器同时弄坏五样东西，而每一项修复都有代价 路径上一个转换器，五样东西同时坏掉 主机 192.0.2.20 转换器 把源地址改写为 203.0.113.5 网关 198.51.100.7 从这一侧什么都发起不了 改写毁掉了什么 1 签名的报头对不上了。 AH 覆盖源地址和目的地址，所以 完整性校验从构造上就会失败。无法修复。AH 根本没法穿过转换器使用。 2 没有端口可改写。 ESP 是 IP 协议 50，不带端口字段，所以 做端口转换的转换器无从下手，只能丢弃数据包。 3 身份和数据包对不上了。 密钥交换按地址命名了对端。 而报头里的地址现在是别人的。 4 两台主机可能选中同一个 SPI。 SPI 由接收方选择，只保证在接收方 那里唯一，所以转换器有两个它区分不开的关联。 5 对称性没了一半。 表是根据出站数据包建立的，所以只有内侧能发起。 妥协方案，以及每一部分的代价 把整个 ESP 数据包包进 4500 端口的 UDP，好让转换器有个看得懂的东西。 彻底放弃认证头，因为什么都救不了它。 把 UDP 校验和置零，因为基于被改写地址的校验和只会失败。 把身份从地址上挪开，改用对端自己声明的一个名字。 每二十秒发一个字节，永远发下去，好让别人设备里的一张表别忘了你。 它能用。这没有争议。论点是：健全的东西不需要做五项让步才能穿过一个盒子。 同一条隧道，路径上多了一个转换器。五样东西同时坏掉：签名的报头对不上了，转换器没有端口可改写，身份和源地址对不上了，两台主机可能选中同一个 SPI，外面也没有东西能发起会话。下面那一行是这个行业的应对办法，而每一项修复都意味着放弃了点什么。 修复是真的，而它的每一部分都有代价 NAT 穿越是能用的。这没有争议，我也不打算假装不是这样。我在很多 NAT 后面跑过很多隧道。我想记录在案的是账单，因为每个人每天都在付它，却几乎没人逐项列出来。\n机制是 RFC 3948：在密钥交换时检测转换器，然后把整个 ESP 数据包放进 4500 端口上的一个 UDP 数据报里，好让转换器有个它看得懂的东西6。Cisco 对线上格式的描述很精确：加密之后，“a UDP header and a non-IKE marker (which is 8 bytes in length) are inserted between the original IP header and ESP header”5。Juniper 的更短，说的是同一件事：“NAT-T encapsulates both IKE and ESP traffic within UDP with port 4500 used as both the source and destination port.”7\n下面是逐项账单。\n认证头没了。 不是礼貌地弃用。是用不了。RFC 8221 现在直说同时使用 ESP 和 AH 是 NOT RECOMMENDED8，而诚实的原因是：AH 能做而 ESP 不能做的那一件事，恰恰是 NAT 毁掉的那一件事。\nUDP 校验和被故意置零。 RFC 3948 要求这么做：地址被改写之后，基于它们算出的校验和会失败，所以标准的答案是干脆不算了。“If the protocol header after the ESP header is a UDP header, set the checksum field to zero in the UDP header.”6 拿掉一层差错检测，为的是让一层地址改写继续工作。\n你现在要发包来给一张表保温。 RFC 3948 把保活包定义为一个字节 0xFF，在一段可配置的时间内没有其他东西发出时发送，默认是二十秒6。Juniper 不加修饰地说明了原因：“Because NAT devices age out stale UDP translations, keepalive messages are required between the peers.”7 于是火车上的一台笔记本，什么事都没干，也每二十秒发一次，永远发下去，因为一个两端谁都不拥有的盒子里的一张表，不发就会忘了它的存在。乘以整个设备群。那就是射频被唤醒、电池往下掉、移动网络承载着唯一目的是防止被遗忘的流量。\n你现在要在防火墙上放行两个端口，而不是一个协议，而且 Cisco 自己的限制清单要求 500 和 4500 两个端口的静态转换规则都到位，这一切才能工作5。\n再读读那份限制清单的其余部分，因为那是厂商在告诉你这东西的形状。动态 NAT 策略：不支持。IPv6 流量：与该功能不兼容。同一台设备上的 IPsec 和 NAT：不能同时运行5。这不是一份配置指南。这是一份脚手架够不着的地方的清单。\n这些没一样称得上优雅，也没一样是哪个人的错。当你在一个不再尊重第三层的网络上硬撑一个第三层协议，就会这样。\n运营商级 NAT 拿走了剩下的东西 普通 NAT 把地址从机器身上拿走，交给了站点。转换器还是你的，所以你还能转发端口、固定映射、延长定时器，或者把集中器放在它前面。\n运营商级 NAT 把地址从站点身上拿走，交给几百个陌生人，而转换器归你的 ISP 所有。你以前能对它做的一切，现在都做不了了。\n而且要搞清楚路径上到底有什么，因为这正是人们弄错的地方。家里的路由器还在做 NAT。 它没被关掉。它照样把你 192.168.1.20 上的笔记本转换成线路所持有的地址，只不过线路现在持有的是 100.64.12.7，那是共享地址空间，不是公网地址。运营商再把它转换一次。所以数据包在到达互联网之前要穿过两个转换器，而这是普通情况，不是罕见情况。\n运营商级 NAT 意味着两次转换、两个定时器，而且两处都没有可达的地址 运营商级 NAT 是两次转换，不是一次 笔记本 192.168.1.20 家里的路由器 第一次转换 线路 100.64.12.7 运营商转换器 第二次转换，转为 203.0.113.9 你的，也是你唯一看得到的表 他们的，几百户人家共用，你看不到 互联网上没有任何东西能到达这两个地址中的任何一个 两张表，两个定时器，较短的说了算。 你的保活包必须赶在两者中 先老化的那个之前，而你只能读到其中一个。要紧的恰恰是你看不到的那个。 端口转发照样能设，却毫无作用。 路由器乐呵呵地从一个互联网 到不了的地址转发端口。UPnP 和 PCP 报告成功，打开的门却通向一条死胡同。所以 “我已经转发了 500 和 4500，可它还是起不来”才会是一张如此常见、又如此误导人的工单。 响应方角色没了。 两个用家用光纤的分支机构根本无法互相拨入。 得有中间的什么东西给它们牵线，于是你现在依赖着一家你从没选过的公司。 身份不可能是地址。 好几个用户以同一个地址到达远端，所以 不管用什么区分他们，都不是 IPsec 设计时要用的那个字段。而且有一个公开的上限： 在较大的 SRX 平台上，Juniper 规定来自任一转换后地址的隧道不超过 1,000 条。 最快的确认办法不花一分钱：看路由器里的 WAN 地址。如果以 100.64 开头，那就是 RFC 6598 划出的共享地址空间，你在运营商级 NAT 后面，设置页面有一半是摆设。 带真实静态地址的商业线路只有一次转换，端点可达。这才是每月多付的那笔钱 实际卖给你的东西：每台机器过去都白白拥有的东西。 数据包被转换了两次：一次在家里的路由器，一次在运营商那里。它持有的两个地址从外面都到不了。这意味着两张映射表、两个独立的定时器，而你只看得到其中一个；端口转发设置成功却毫无作用；完全没有响应方角色；对端身份也不再可能是一个地址。 你被双重 NAT 了，而只有一张表是你的。 两次转换意味着两张映射表、两个老化定时器、两次映射消失的机会。你的保活包得赶在先过期的那个之前，而你只能读到其中一个。更糟的是两者会相互作用：家里的路由器可能对 IPsec 自有主张，试图用一个应用层网关来“帮忙”，于是你的客户端以为自己在用的源端口，并不是离开家时的那个，也不是离开运营商时的那个。\n端口转发照样能设，却什么用都没有。 这是最耗时间的那种工单。有人在家用路由器上转发了 UDP 500 和 4500，路由器接受了，设置页面显示规则已生效，可什么都用不上它，因为它转发的来源地址是互联网到不了的。UPnP 和 PCP 也一样：客户端请求一个映射，路由器批准，端口开向一条死胡同。一切都报告成功，一切都不工作。那个盒子你想听什么它就跟你说什么。\n最快的确认办法不花一分钱。在路由器里看一眼 WAN 地址。如果以 100.64 开头，那就是 RFC 6598 划出来的共享地址空间，你在运营商级 NAT 后面，那个设置页面有一半是摆设。\n响应方角色不复存在。 在 CGNAT 后面的设备，不可能是别人拨入的那一端。两个都用家用光纤的分支机构之间做站点到站点，这很正常、很便宜，也正是小企业想要的，可它要求至少一端持有真实地址，或者中间有个第三方给它们牵线。那个第三方就是一家你现在不得不依赖的公司，原因是你的 ISP 不肯给你一个地址。\n定时器归别人管。 RFC 4787 告诉 NAT 运营者，UDP 映射“MUST NOT expire in less than two minutes”，并建议五分钟或更长9。那是底线和建议，不是承诺，而你没法查看你的运营商实际怎么做。因此保活不再是一个调优选项。它是承重结构，挂在一个你只能靠猜的定时器上。\n你对端的身份不可能是它的地址。 好几个用户以同一个地址到达远端。集中器不管用什么来区分他们，用的都不是 IP 报头，而 IP 报头正是 IPsec 设计时要用的东西。\n有一个硬上限，而且厂商公布了它。 Juniper 在文档里写明，在 SRX5400、SRX5600 和 SRX5800 上，“the total number of tunnels from a given public translated IP cannot exceed 1000 tunnels”7。以运营者而不是规格表的眼光去读它。你的 VPN 集中器对每个共享地址有上限，共享是由一个你和它没有合同的运营商来做的，而你离那个上限有多近，取决于你有多少用户碰巧坐在同一个地址后面。没有计数器可看。只有某一天它开始对一部分人失败、对另一部分人正常。\n这一节的一切，都源自这个国家做出并一再做出的一个决定。我在别处把这个论证完整写过了，这里不重复。这里的要点更窄：IPsec 的核心假设被接入网络删掉了，而 IPsec 从那以后一直靠变通办法活着。\n纯 IPv6 网络也救不了它 在这里我得对自己的论点诚实一点，因为对上面这一切，显而易见的回应是：行，那就给每台机器一个真实的 IPv6 地址，IPsec 就又能按规范工作了。\n确实能，在两端都有真实地址的情况下。可那不是大多数人所在的网络。\n真实存在的纯 IPv6 接入网络，尤其是移动网络，是通过 NAT64 访问 IPv4 互联网的，而 NAT64 根本不是通常意义上的 NAT。它是一个协议转换器，把 IPv6 数据包改写成 IPv4 数据包。而 RFC 6146 写明了它承载什么，也写明了它不承载什么，没有任何含糊：\n\u0026ldquo;The current specification only defines how stateful NAT64 translates unicast packets carrying TCP, UDP, and ICMP traffic. Multicast packets and other protocols, including the Stream Control Transmission Protocol (SCTP), the Datagram Congestion Control Protocol (DCCP), and IPsec, are out of the scope of this specification.\u0026rdquo;10\nIPsec，点名道姓，在范围之外。而承载着清单以外任何东西的数据包“SHOULD be discarded”10。\n所以在一台想要访问 IPv4 集中器的纯 IPv6 手机或笔记本上（大多数集中器都是 IPv4），原生 ESP 不是被防火墙丢掉，也不是被转换器搞乱。它从一开始就没被承载。转换器做的恰恰是它的标准让它做的事。\n这个行业对此的回答，不出所料，又是一层：464XLAT，它给设备一个本地 IPv4 协议栈，转换两次，从 IPv4 出去再转回来，好让 NAT64 承载不了的东西照样能用11。它已经在 IPv6 那篇文章的外挂清单上了，我不打算再争一遍。这里值得说的是形状：一个在 2004 年撞上 NAT 就坏的协议，撞上 2011 年为 IPv6 过渡而建的转换也坏，而两次的回答都是把它再包进别的东西里。\n这就是一个协议要在 2026 年站得住脚必须通过的测试。它能在人们实际拥有的网络上工作吗：在运营商的共享地址后面，在纯 IPv6 移动网络上，穿过一家只放行 TCP 443 的酒店？任何建立在 UDP 端口上的东西，不用告诉它就能通过这三项。IPsec 每一项都需要一个不同的变通办法，第三项还得加上 TCP 封装3。\n没有端口，也就没有第二条链路 这里有一个和 NAT 毫无关系的故障，纯粹是现代的，几乎没人谈起。\n路由器和交换机会把流量分散到并行路径上。链路聚合、等价多路径（ECMP）：两者的原理一样，都是对五元组做哈希。源地址、目的地址、协议、源端口、目的端口。ESP 没有端口。所以同样两个地址之间一条隧道的每个数据包，哈希结果都一模一样，整条隧道落在一条成员链路上，不管你买了几条。\n两条 10G 链路加一条 IPsec 隧道，给你 10G。四条也给你 10G。设备完全按设计在工作。\n变通办法还是老样子。有些芯片可以改为对 SPI 做哈希，因为每个 SPI 对应一个关联，也就是一条流，但那是你得花钱买到的功能，不是在一条不归你的路径上可以假定存在的东西。有一份活跃的 IETF 草案，它的全部目的就是把 ESP 再包进又一个 UDP 报头，好让普通路由器能对它做哈希，它用一句话说明了原因：“Although the ESP SPI field within the IPsec packets can be used as the load-balancing key, but it cannot be used by legacy switches and routers.”12 它的问题陈述对人们转而采取的做法同样直白：“Many cloud service providers allow customers to establish multiple IPsec VPN tunnels in parallel to enable ECMP and increase aggregate bandwidth. However, this approach is not ideal, as each tunnel typically requires its own public IP address, leading to higher public IP consumption and increased operational overhead.”12\n琢磨一下这句话。让一条加密链路变快的推荐做法，是建好几条，每条烧掉一个公网 IPv4 地址，而且是在地址短缺的时候，原因是这个协议没有端口号可以拿来哈希。与此同时，一条基于 UDP 的隧道白拿多路径，用的是十五年前就出货的硬件，因为它和现代互联网上的其他一切一样有个端口。\n这不是一个等着自然淘汰的遗留问题。它是今天新建项目上的现实限制，恰恰卡在人们现在正在买的那些速率上。\nMTU 税，以及谁来付 每条隧道都要花字节。IPsec 花得比大多数都多，而它在字节不够时的失败方式是最糟糕的那种故障：间歇性的、跟包大小有关的，而且大家最先跑的每一项测试都看不见它。\n在放进你的数据之前，每种隧道每个数据包花掉多少 数据开始之前已花掉的字节，按比例 每个数据包的报头 合计 原生 ESP 隧道模式，AES-GCM IP 20 ESP 8 IV 8 尾部 + 标签 18 54 B UDP 中的 ESP 4500 端口，为了 NAT IP 20 UDP 8 ESP 8 IV 8 尾部 + 标签 18 62 B L2TP/IPsec AES-CBC, NAT-T IP 20 UDP 8 ESP 8 IV 16 UDP 8 L2TP 6 PPP 4 尾部 + 标签 18 88 B PPTP GRE，协议 47 IP 20 GRE 16 PPP 4 完全没有完整性标签 40 B WireGuard 一个 UDP 端口 IP 20 UDP 8 报头 16 标签 16 60 B 阴影块是别人的转换器的代价。 在 L2TP 那一行，其中三个 位于加密层里面：第二个 UDP 头、一个会话层，以及拨号调制解调器的封装。 PPTP 最便宜，因为它什么都不保护。 这 40 字节买不到完整性校验，而 MS-CHAPv2 在 2012 年被归结为一次 DES 运算。便宜不是标准。字节买到了什么才是标准。 每种各取一个 IPv4 上的实际配置。确切数字随密码算法、模式和地址族而变。 在放进你的任何数据之前，每个数据包要花掉的字节数，每种各取一个实际配置。原生 ESP 很精简。为了 NAT 再包一层，多花八个字节。L2TP/IPsec 在加密层里面还带着一个 UDP 头、一个 L2TP 头和一个 PPP 头：拨号时代的封装，加了密，在 2026 年。PPTP 看起来便宜，是因为它根本不带认证标签，而这正是它的全部问题所在。 拿一个配置算一遍，而不是含糊带过。IPv4 上隧道模式的 ESP，用 AES-GCM：外层 IP 头 20 字节，ESP 头 8 字节，nonce 8 字节，尾部最少 2 字节，完整性标签 16 字节。在放进你的数据包之前就是 54 字节。为 NAT 穿越再包一层，UDP 头让它变成 62。在 1500 字节的路径上剩下 1438，而一旦上游有任何地方跑着 1492 的 PPPoE，你又少了一截。\n然后是让它成为故障、而不只是算术题的那部分。发送方只有在收到一个 ICMP 错误回来时，才知道数据包太大了：IPv4 上是 Fragmentation Needed，IPv6 上是 Packet Too Big。如果路径上有任何东西丢掉这些错误，发送方就永远不知道，它会一直发那些一直死掉的数据包。这就是经典的黑洞：握手完成了，因为握手包很小；传输卡住了，因为传输包不小。\n从 GRE 和 IPsec 的年代起，Cisco 就维护着一整份关于这个问题的文档，到今天它仍是谁的资料库里都算得上较好的、讲清这种相互作用的说明之一13。它之所以需要维护，是因为人们不断整个封掉 ICMP，然后纳闷隧道为什么表现怪异。\n这个论证的两半我已经写过了，在这里不用重述也站得住：哪些 ICMP 消息是承重的、哪一个不是，在 Ping：一个打开了更多东西的诊断工具里；怎么找到吞掉你流量的那一跳，在防火墙在十一跳之外里。对这篇文章来说的简短版本是：错误消息才是机制，echo 不是，而一条丢掉所有 ICMP 的边界策略已经弄坏了你的 VPN，坏法还会被怪到 VPN 头上。\n你自己的服务质量（QoS）也能弄坏它 再说一个，因为它会逮住那些在做正确事情的好工程师。\nESP 带着一个序列号，接收方维护一个重放窗口，在 Cisco 平台上默认是 64 个数据包14。现在在发送路由器上给语音设优先级。低延迟队列照你说的做了，它会让数据包相对于它们被加密时的顺序重新排序。如果某个数据包到达时已经落在窗口之外，远端就把它当作重放丢弃，而往上涨的那个计数器是一个安全计数器。\nCisco 自己的话：“Certain QoS features, such as Low Latency Queueing (LLQ), could cause IPsec packet delivery to become out-of-order and dropped by the receiving endpoint due to a replay check failure.”14 他们的答案是在平台支持时把窗口加宽到 1024，或者采用一个多序列号空间的扩展，在一个关联内把各个 QoS 类映射到各自独立的序列号空间14。\n所以：打开你自己网络上的一个标准功能，弄坏了你自己的隧道，而补救办法是又一个协议扩展。和上面的一切是同一个形状。\nL2TP：拨号时代的封装，加了密，在 2026 年 L2TP 不是安全协议，也从没声称过是。RFC 2661 是一个用来承载 PPP 会话的隧道协议，1999 年发布，自身不提供机密性，它自己的安全章节把你指向 IPsec 去做包级保护15。这种组合就是 RFC 3193，结果就是上图里的那一摞：外层 IP 头，一个用于 NAT 穿越的 UDP 头，ESP，然后在加密层里面又是一个 1701 端口上的 UDP 头、一个 L2TP 头和一个 PPP 头。\nPPP。拨号调制解调器时代的封装，装在一条加密隧道里，跑在互联网上，在 2026 年，因为 L2TP 就是为承载它而写的。\n拿一个实例算算代价：外层 IP 20，UDP 8，ESP 头和 IV 24，内层 UDP 8，L2TP 6，PPP 4，尾部和标签 18，你每个数据包要花大约 88 字节，来搬原生 ESP 用 54 字节就能搬的数据。每个数据包多出三十四个字节，换来一个没给你任何想要东西的会话层，和一个为电话线设计的链路层。\n开销还是最小的问题。\n它让 NAT 问题成倍增加，而不是减少。 L2TP/IPsec 按惯例使用传输模式的 ESP，而传输模式恰恰是被 NAT 伤得最重的模式，众所周知的结果是，许多实现根本无法支持同一个地址后面的两个客户端。一户人家里的两个人，一间办公室里的四十个人，或者运营商共享地址后面的几百个人。远端看到一个地址，分不清这些会话，于是第二个连接顶掉第一个。这就是本文开头那张工单，而它不是谁家产品的 bug：它是“以地址为身份”的问题，出现在最多人会碰上它的地方。\n而且在实际部署中，它通常所有人共用一个共享密钥。 因为这个密钥配置在客户端配置文件里，随着设置说明一起发出去，所以预共享密钥就在入职文档里、在 wiki 页面里、在发给新员工的邮件里、在每一台曾经离开过的笔记本里。它不是第二因素。它是一个向不特定的任何人认证网关、而且从来没有轮换过一次的密码。\nL2TP 不是一个老得不好的协议。它是一个从第一天起就承载着错误东西的协议，被绑到 IPsec 上，去弥补它根本做不到的事。\nPPTP 从来就不安全，却至今还在售卖 PPTP 只配两段话，不配一节，而它之所以还能占两段，是因为人们至今还在出货它。\n它从来就不是标准。RFC 2637 是 Informational（信息性）的。是一个被写成文档的厂商协议，不是 IETF 曾经推荐过的东西。它把 PPP 装在 GRE（IP 协议 47）里，而 GRE 和 ESP 一样没有端口，所以它需要路径上每个 NAT 为它做专门的特殊处理：那个“PPTP 直通”复选框，在非常多的家用路由器上一次只支持恰好一个会话。\n它的安全性在 2012 年公开终结。Marlinspike 和 Hulton 证明了 MS-CHAPv2 的安全性归结为一次单独的 DES 运算，与密码长度无关，他们写了 chapcrack 来提取握手，并把它接到一个破解服务上，二十美元、一天之内就返回密钥：成功率 100%，不是一个概率16。他们的结论是，PPTP 流量应当视为未加密。Apple 用行动表示同意，在 2016 年从 macOS Sierra 和 iOS 10 的内置客户端里移除了 PPTP，至今还挂着那条警告17。\n那之后过了十年，PPTP 仍然是今年在售路由器上的一个菜单项，仍然出现在厂商的操作指南页面里，仍然是有人打开的那个选项，因为它是第一次就能用的那个。它第一次就能用，是因为它根本没在干该干的活。\n所有自称 IPsec VPN 的东西 “IPsec VPN”不是一个协议。它是一个家族，下面这张表的长度本身就是论据，因为没有哪两个产品实现了同一个子集，而这些子集之间的缝隙，正是你恨过的每一次互通工作真正所在的地方。\n组件 它添加了什么 现状 ESP，IP 协议 50 加密和完整性本身 RFC 4303，现行18 AH，IP 协议 51 连 IP 报头也做完整性保护 RFC 4302，过不了 NAT2 IKEv1 最初的密钥交换 已弃用，RFC 已转为 Historic19 IKEv2 现行的密钥交换 RFC 729620 IPComp，IP 协议 108 加密前先压缩，有自己的关联 RFC 317321 PF_KEY v2 让守护进程能装载密钥的内核 API RFC 236722 NAT 穿越 把 ESP 包进 UDP 4500，让转换器应付得来 RFC 3947 / 39486 TCP 封装 给连 UDP 也封掉的网络用 RFC 9329，取代 RFC 82293 IKEv2 分片 因为密钥交换本身都超出了 MTU RFC 738323 MOBIKE 让隧道在地址变化后活下来 RFC 455524 失效对端检测（DPD） 一个心跳，因为别的东西都不会告诉你 RFC 370625 XAUTH 用户认证：密码、令牌、RADIUS 从来不是 RFC。过期草案，2001 年26 Mode-Config 给客户端分配地址、DNS 和路由 也从来不是 RFC26 L2TP/IPsec 在隧道里承载 PPP RFC 2661 + RFC 319327 IPsec 上的 GRE 或 VTI 给你一个可路由的接口来跑协议 建在 ESP 之上的厂商架构 DMVPN mGRE 加 NHRP 加 IPsec，让分支互相找到对方 厂商架构，NHRP RFC 233228 GETVPN 组密钥，完全没有点对点隧道 GDOI，RFC 640729 PPTP IPsec 本该取代的那个东西 RFC 2637，Informational，从来不是标准30 现在看看加粗的那两行，因为它们才是该让你停下来的地方。\n在差不多二十年里，用户登录企业 IPsec VPN 的标准方式是 XAUTH：你的用户名和密码、你的令牌、你的 RADIUS 服务器；再由 Mode-Config 给客户端分配地址、DNS 服务器和路由。两者合起来就是整个远程访问体验。每一个“Cisco IPsec”客户端，托盘里的每一个 VPN 图标，每一份接入说明。\n两者都不是标准。XAUTH 是一份个人互联网草案，2001 年过期，被归档，从来没有成为 RFC26。给出的理由值得一读，因为那是一个委员会在解释它为什么不干自己的活：草案记录说，IPSRA 工作组不接受任何扩展 ISAKMP 或 IKE 的协议，而 IPsec 工作组拒绝任何涉及远程访问的东西26。于是部署最广的 VPN 协议里部署最广的那部分被弄得无家可归，每个厂商按自己对一份过期草案的理解照样实现了，然后发给了几百万用户。\nIKEv2 最终把两者都修好了，这一点值得说出来：认证改用 EAP，客户端配置载荷进入了核心规范20。但看看日期。用得最多的 VPN 协议里用得最多的功能，在有标准之前靠一份过期草案跑了大约十年，而存量设备在那之后又继续跑了好几年草案版本。一个协议家族，不会因为最终把大家早就在用的那部分标准化了而得到表扬。\n这就是你在运行的家族。有些在标准轨道上且是现行的。有些是 Historic。有些从来没走到成为任何东西的那一步。而一个在数据表上写着“IPsec VPN”的产品，关于它做了这十八样中的哪几样，几乎什么都没告诉你，这就是为什么把两个这样的产品连在一起要花两个星期、一张提议参数的电子表格，外加给一个以前干过这事的人打一通电话。\nFisher-Price OS (Windows) 从未真正互通过 到这里会有人说，问题其实出在 Linux，那我们就带着出处来说。\n默认情况下，Windows 客户端根本不会连接位于 NAT 后面的 IPsec 服务器。 不是“会很吃力”。是会拒绝。修复办法是 HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Services\\PolicyAgent 下一个叫 AssumeUDPEncapsulationContextOnSendRule 的注册表值，服务器在转换器后面就设为 1，两端都在就设为 2，每个客户端和服务器上都要设，然后重启31。Microsoft 自己的话：“By default, Windows Vista and Windows Server 2008 don\u0026rsquo;t support Internet Protocol security (IPsec) network address translation (NAT) Traversal (NAT-T) security associations to servers that are located behind a NAT device.”31\n关于这一点有两件事。第一，Microsoft 是它拒绝使用的那个 NAT 穿越标准的合著者。RFC 3947 和 RFC 3948 上有他们的名字6。第二，告诉你去改注册表的那个页面，最后一次修订是在 2026年2月31。二十年过去了，在每个端点上改注册表仍然是答案，而且仍被当作答案维护着。\n再读读 Microsoft 就放在它上面的那句话：“If you must use IPsec for communication, use public IP addresses for all servers that you can connect to from the Internet.”31\n这就是整篇文章，写在厂商自己的文档里。别把 IPsec 放在 NAT 后面。给每台机器一个真实地址。他们白纸黑字写下来了，然后这个行业花了二十年反着干，还为其中的差价收费。\n事情不止于 NAT。去读读一个开源网关为了接受 Windows 客户端得写下些什么。\n网关证书需要一个专为此事而存在、别无他用的扩展密钥用法。 serverAuth，OID 1.3.6.1.5.5.7.3.1，外加 IP Security IKE Intermediate，OID 1.3.6.1.5.5.8.2.232。你的 CA 得被告知去签发一个大多数工具从没听说过的 OID，否则连接会以一个策略错误失败，而且没有任何有用的提示。 得再改一个注册表值，客户端才肯提出像样的密码算法。 strongSwan 在文档里写明要在 Rasman\\Parameters 下加 NegotiateDH2048_AES256，才能拿到 AES-256-CBC 和 2048 位的组33。反过来读它，这才是要紧的读法：不改注册表，默认提议比这还弱。 在 NAT 后面的客户端会拒绝服务器发起的重新协商密钥，文档里的变通办法是在网关上禁用重新协商，让客户端去发起33。 标准的 IKEv2 扩展干脆没有：没有 IKE 重定向，没有多轮认证33。 这些没一个是 Linux 的 bug。每一个都是一个开源项目在写下，为了迁就一家厂商对一份由这家厂商参与编写的标准的理解，它不得不做些什么。\n这就是规律，而且已经三十年了。PPTP 是 Microsoft 的协议，写成 Informational，从未标准化30。MS-CHAPv2 和 MPPE 是 Microsoft 的认证和加密，两者都被公开攻破16。SSTP 是一个别人都不终结的 Microsoft 隧道。DirectAccess 是 IPsec，而且按设计两端都是 Windows，现在它已被弃用、正在被移除，客户被推去用 Always On VPN34。这些没一个是我们其他人能在中间会合的协议。它们是你得去加入的协议，如果你两端跑的不是对的操作系统，你得到的就是注册表 hack、古怪的 OID 和变通办法页面。\n既然这是我的博客，那我就直说。Fisher-Price OS (Windows) 从来就不是开放协议栈里一个真正的对等方，因为做对等方从来就不是它的用途。它把机器对使用者藏起来，这是它的设计目标，而一个你看不见的协议栈，就是一个你没法让它互通的协议栈。如果它是你管理过的唯一一个操作系统，那后面讲读内核计数器、盯着线路看的那些章节，读起来会像另一种语言，而这就是差距：不是偏好，是差距。\n这一切都不必让读者付出任何代价。这篇文章里的每一项诊断，都可以从网络上任意一台 Unix 上运行，对准坏掉的东西，它一点也不在乎远端跑的是什么。而如果那个操作系统是你唯一有的，下面的诊断章节也为它准备了工具：抓包、那两个 cmdlet，以及各个错误代码和它们真正在告诉你的东西。坏掉的隧道周一照样得修好。然后我在结尾主张的替代方案只有一个客户端，在包括那个系统在内的每个平台上表现都一样，这是三十年来第一次能这样说一个 VPN。\n弃用记录读起来像一篇讣告 把变通办法放一边，只读读标准机构这些年对这个家族做了什么。不是观点。是已发布 RFC 里的要求等级。\n对象 现状 出处 IKEv1 已弃用；RFC 2407、2408 和 2409 转为 Historic RFC 9395，2023 年19 ESP 中的 DES MUST NOT RFC 82218 ESP 中的 3DES SHOULD NOT RFC 82218 HMAC-MD5-96 MUST NOT RFC 82218 ESP 与 AH 同时使用 NOT RECOMMENDED RFC 82218 仅加密的 ESP 被证明不安全，2007 年在实践中被攻破 Degabriele and Paterson35 IPv6 节点上的 IPsec 从 MUST 降为 SHOULD RFC 6434，2011 年36 PPTP 从来不是标准；仅为 Informational RFC 263730 倒数第二行，是我会摆在任何跟我说“IPsec 没问题，问题在网络”的人面前的那一行。IPv6 最初是强制要求 IPsec 的，那是它的安全卖点，写进了节点要求里。2011 年 IETF 改了主意：“Previously, IPv6 mandated implementation of IPsec and recommended the key management approach of IKE. This document updates that recommendation by making support of the IPsec Architecture a SHOULD for all IPv6 nodes.”36\n就连那个本可以把 NAT 拿走的一切都还给 IPsec 的地址族，十五年前也不再要求它了。这不是网络辜负了 IPsec。这是设计网络的人认定它配不上那份强制。\n复杂性在 1999 年就被白纸黑字地指出过 这些都不是事后诸葛亮，而这正是它值得写下来的原因。\n1999 年，Niels Ferguson 和 Bruce Schneier 受委托评估 IPsec。他们的报告简短、直白，值得全文一读。开头是“IPsec was a great disappointment to us. Given the quality of the people that worked on it and the time that was spent on it, we expected a much better result.”37 它点出了原因：“Our main criticism of IPsec is its complexity. IPsec contains too many options and too much flexibility; there are often several ways of doing the same or similar things. This is a typical committee effect.”37\n它还提出了三条建议，如今读起来像一份清单，列的是后来反正都发生了的事，只是晚了二十年，而且是以艰难的方式发生的：\n取消传输模式。 “We therefore recommend that transport mode be eliminated.”37 传输模式正是 L2TP/IPsec 用的模式，也是被 NAT 伤得最重的模式。 取消 AH。 “We conclude that eliminating transport mode allows the elimination of the AH protocol as well, without loss of functionality.”37 结果是 NAT 把它取消了，理由还更糟。 永远不允许只加密不认证。 他们警告说，管理员“will be quite likely to configure ESP for only encryption, believing that it provides security.”37 八年后，最后那条不再只是警告。Degabriele 和 Paterson 发表了能“break any RFC-compliant implementation of IPsec making use of encryption-only ESP”的攻击：仅凭密文，只需要能看到流量并注入数据包35。这个预言在公开记录里摆了八年，标准却仍然允许这种配置。\n那份 1999 年报告的结论，是我反复回到的那句话：“We have found serious security weaknesses in all major components of IPsec. As always in security, there is no prize for getting 90% right; you have to get everything right.”37\n再给两个数据点，然后我就不说了。\nLogjam，2015 年。 背后的团队对 IPv4 的 1% 样本扫描了 IKE，发现 86.1% 的 IKEv1 服务器和 91.0% 的 IKEv2 服务器支持 1024 位的 Oakley Group 2，而且 66.1% 被分析的 IKEv1 服务器优先选用它。他们的结论是：针对第二个 1024 位组做预计算，“would allow decryption of traffic to 66% of IPsec VPNs”，而已公开的关于利用 VPN 的情报文件“consistent with having achieved such a break”38。密码学敏捷性，IPsec 拥有最多的东西，恰恰让几乎所有人在同一个弱组上坐了十五年。\nCVE-2016-1287。 Cisco ASA 上 IKEv1 和 IKEv2 代码中的一个缓冲区溢出，发送构造的 UDP 数据包就能触发，在认证之前就能远程执行代码39。想想那个盒子放在哪儿。它是你故意暴露给整个互联网的设备，跑着整个环境里选项最多的协议，解析器前面还有一个分片重组器，握着通往内部一切的钥匙。Ferguson 和 Schneier 警告过的复杂性不是抽象的东西。它是攻击面，就在那台你没法把它放到任何东西后面的机器上。\n在你还在运行它时怎么诊断 你没法今天下午就把这一切关掉，所以下面是怎么处理它。这是方法，按成本从低到高排序，附上每个结果实际意味着什么。\n它放弃的六种方式，标在各自发生的路径位置上 每种故障实际在哪儿 客户端 策略和路由 家用路由器 第一次转换 运营商 第二次转换 互联网 过滤和 MTU 网关 选择器和身份 1 2 3 4 5 6 1 线路上什么都没有。 流量从没到达 IPsec。别再盯着加密看。 ip xfrm policy 以及路由，还有主机防火墙在干什么。 2 500 端口双向都有，4500 从未出现。 NAT 穿越没有协商成功。 tcpdump -ni eth0 'udp port 500 or udp port 4500 or ip proto 50' 裸 ESP 活不过去。 3 空闲后死掉，首次使用时复活。 两个转换器之一的映射老化了。 你的保活输给了一个你读不到的定时器。把它调短，别再相信默认值。 4 出站计数器上涨，入站不动。 ESP 在途中的一个方向上死掉了。 ip -s xfrm state 两端都看，然后找出吞掉它的那一跳。 5 登录正常，大传输卡住。 路径 MTU，ICMP 错误回不来。 ping -M do -s 1400 逐步调小，然后钳制分段大小，并修好 ICMP 规则。 6 两端都说已连接，什么都不通过。 流量选择器、策略或路由，不是密钥。 如果是第二个用户把第一个顶出了隧道，那是对端身份问题，不是容量问题。 在边界抓包三十秒就能回答前三个问题。在打开任何一个控制台之前先做这件事。 六种故障，按检测顺序排列，附上症状、检查方法以及答案意味着什么。每一行都是协议栈的不同一层在放弃，而前三行只要盯着线路看三十秒就有答案，这就是为什么那是要做的第一件事，而不是最后一件。 先看线路，不看控制台 两边的控制台都会告诉你它们相信什么。线路告诉你发生了什么。在边界处抓一次包，三十秒，就能同时回答前三个问题：\ntcpdump -ni eth0 \u0026#39;udp port 500 or udp port 4500 or ip proto 50 or ip6 proto 50\u0026#39; 完全没有出站包：问题在 IPsec 前面：路由、策略或主机防火墙。别再盯着加密看了。 只有出站，没有回包：你的数据包出去了，它们的回应没有到达。途中有过滤、对端死了，或者远端在静默拒绝。 UDP 500 双向都有，但 4500 从未出现：NAT 穿越没有协商成功。要么一端禁用了它，要么检测失败了。 一端在 NAT 后面，线路上却出现协议 50：协商认为没有转换器，可实际上有。它永远回不来。 读懂密钥交换失败 IKEv2 会告诉你它为什么拒绝，而通知（notify）的名称具体到光凭它就能诊断。先把整个交换的形状摆在面前会有帮助，因为下面每一个通知都属于其中特定的一级。\n逐步拆解 IKEv2 交换，以及每一步上的故障 交换的每一步，以及它上面的故障 客户端 在转换器后面 网关 真实地址 这里会坏什么 IKE_SA_INIT 请求：UDP 500 没有回包：809 ERROR_VPN_TIMEOUT IKE_SA_INIT 响应：UDP 500 NO_PROPOSAL_CHOSEN, INVALID_KE_PAYLOAD 检测到 NAT，两端浮动到 4500 没有浮动：协议 50 死在转换器 IKE_AUTH：UDP 4500，已加密 太大，分片丢失，重传，超时 IKE_AUTH 响应：创建 CHILD_SA AUTHENTICATION_FAILED：13801、13806 UDP 4500 中的 ESP：你的流量 TS_UNACCEPTABLE：已建立，却什么都不动 保活：每 20 秒 1 字节，永远发下去 没有保活：空闲时映射过期 浮动是转折点。 它上面的一切都是 UDP 500，下面的一切都是 UDP 4500。如果浮动从未发生，你就是在把 协议 50 塞给一个没有东西可改写的转换器，它永远回不来。 大小故障只在一级上。 IKE_AUTH 带着证书链，所以它是这条梯子上唯一的大消息。预共享密钥能连上 而证书连不上，那是一个被丢掉的分片，不是一张坏证书。 已创建不等于在工作。 如果两端对子关联覆盖哪些流量意见不一，它可以存在，却什么都不承载。 右栏里的每一种故障，不管实际是什么，在客户端都被报告为超时。 从第一个数据包到稳定状态的交换过程，标出每一步上的故障。从 500 浮动到 4500 是转折点：上面的一切是一个端口，下面的一切是另一个端口，如果浮动从未发生，你就是在把协议 50 塞给一个承载不了它的转换器。IKE_AUTH 是这里唯一的大消息，所以预共享密钥能连上而证书连不上：那是一个被丢掉的分片，不是一张坏证书。 通知 它实际意味着什么 去哪儿看 NO_PROPOSAL_CHOSEN 提出的加密/完整性/DH/PRF 组合没有一个是远端能接受的 两边的提议列表；预计一边有个已弃用的算法 INVALID_KE_PAYLOAD Diffie-Hellman 组不匹配：你提出一个组，它想要另一个 DH 组，提议里的第一项 AUTHENTICATION_FAILED 密钥、证书或身份不对：预共享密钥不匹配、证书过期，或者 ID 不是对端预期的那个 身份，而不只是密钥 TS_UNACCEPTABLE 流量选择器没有重叠：你要求保护的子网，对端不肯保护 两端的选择器配置 INVALID_SPI 一个数据包到达了一个已不存在的关联，通常发生在一端单方面重启之后 是否有一端重新协商了密钥或重启了 Juniper 的第二阶段指南对其中最常见的那个说的是同一件事：“no proposal chosen”意味着“the device did not accept any of the IKE Phase 2 proposals that the peer sent”，修复办法是一个双方都能接受的提议，而不是一遍遍重启40。\n在 strongSwan 上，一条命令看清所有东西的状态：\nswanctl --list-sas # what is established, and what it negotiated swanctl --log # the negotiation as it happens 在 Cisco 上，用 show crypto ikev2 sa 和 show crypto ipsec sa，起不来时用 debug crypto ikev241。在 Junos 上，用 show security ike security-associations 和 show security ipsec security-associations，协商过程在 show log kmd-logs 里42。\nNAT 穿越真的协商成功了吗？ 这是人们会跳过的检查，而“在办公室能用、在家不能用”很大一部分都是它造成的。\n每一端都会发送它认为正在使用的地址和端口的哈希。如果远端根据收到的数据包算出来的哈希，和你发的那个对不上，你们之间就有一个转换器，两端都转到 UDP 4500。如果检测失败，比如一边禁用了穿越，或者中间有东西在搞乱交换，两端就继续用裸 ESP，而裸 ESP 活不过那个转换器。\n所以：在抓包里看到 4500 端口，而且是双向的，否则就没有在做穿越。 别听控制台的一面之词。\n然后检查保活确实在跑，而且它的间隔低于你的运营商让映射老化的时间。默认是二十秒6；标准给 NAT 运营者定的底线是两分钟9；你那家运营商具体怎么做，你看不到。如果隧道空闲后死掉、有流量又复活，那每次都是这个原因。\n几乎没人读的内核计数器 在 Linux 上，变换层（xfrm）保留着一份完整的错误分类，这是把“它不工作”变成一个具体原因的最快办法。这些计数器由内核自己的文档说明43。\ncat /proc/net/xfrm_stat # error counters, by cause ip -s xfrm state # per-SA packet and byte counters ip xfrm policy # what should be protected, and in which direction 把它当作一条路径来读，比当作一张清单来读更好懂。数据包经过五个阶段，每个阶段有自己的计数器：\n五个阶段，以及指出你的数据包死在哪一个阶段的计数器 跟着一个数据包走，让计数器说出它死在哪个阶段 你的策略 这些流量要不要保护？ XfrmOutPolBlock 是你自己在丢，故意的，在策略里 你的关联 加密、封装、编号 XfrmOutNoStates 策略匹配了，却没有关联来承载它 路径 转换器、MTU、过滤 两端都没有计数器增加 NAT、MTU 和过滤都在这里，没有哪个计数器看得见 对方的关联 目的地址 + 协议 + SPI XfrmInNoStates \u0026#183; XfrmInStateProtoError \u0026#183; XfrmInStateSeqError 到了，但加密没对上：SPI 错、密钥错、超出窗口 对方的策略 这本该受保护吗？ XfrmInTmplMismatch \u0026#183; XfrmInNoPols 加密没问题，是策略对它该不该受保护有不同意见 第三阶段是唯一没有计数器的。 四分之一个世纪的地址转换对这个协议做的一切都发生在那里，而两端的变换层 连一个包都看不见。这就是先抓包再看控制台的全部理由。 第四和第五阶段是相反的故障。 第四意味着加密没对上。第五意味着加密对上了，而在它该不该受保护上 出现了分歧。几乎每次都被按错误的顺序去查，因为第五看起来像加密故障，其实不是。 计数器名称是 Linux 的。在 Junos 上，同样的阶段从 show security ipsec statistics 读出；在 Fisher-Price OS (Windows) 上，从 Get-NetIPsecQuickModeSA 和 Windows Firewall with Advanced Security 日志读出。 五个阶段，以及能指出你的数据包死在哪一个阶段的计数器。第三阶段是唯一一个完全没有计数器的：转换器、MTU 和中间的每一道过滤都在那里，而两端的变换层连一个包都看不见。这就是先抓包再看控制台的全部理由。第四和第五阶段是相反的故障，几乎每次都被按错误的顺序去查。 在故障发生时看哪个计数器在动：\n计数器 内核的描述 当天它意味着什么 XfrmInNoStates “No state is found i.e. Either inbound SPI, address, or IPsec protocol at SA is wrong” 他们的数据包到达了一个你并没有的关联，通常是单方面的重新协商或重启 XfrmInStateSeqError “Sequence error i.e. Sequence number is out of window” 乱序或重放窗口问题；参见上面讲的 QoS 相互作用 XfrmInStateProtoError “Transformation protocol specific error e.g. SA key is wrong” 密钥不一致：关联只在一边挺过了重新协商 XfrmInTmplMismatch “No matching template for states e.g. Inbound SAs are correct but SP rule is wrong” 关联是对的，策略是错的 XfrmInNoPols “No policy is found for states e.g. Inbound SAs are correct but no SP is found” 到达了受保护的流量，却没有任何东西要求保护它 XfrmOutPolBlock “Policy discards” 是你自己在丢，故意的，在策略里 XfrmOutNoStates “No state is found” 流量匹配了一条策略，却没有关联来承载它：隧道从来没起来过 XfrmInTmplMismatch 和 XfrmInNoPols 是两个值得一眼认出的，因为两者都意味着加密没问题、策略有问题，而这恰恰和每个人最先去查的地方相反。\n显示已连接，却什么都不动 两端都已建立，没有流量。读每个关联两个方向上的计数器：\nip -s xfrm state 出站字节在涨，入站不动：你在加密并发送，没有东西回来。要么你的 ESP 没到他们那儿，要么他们的没到你这儿。问远端要他们的出站计数器；如果也在涨，那数据包就是死在途中，下一个问题是死在哪儿，那是个 TTL 问题，而不是加密问题。 两边都不动：没有东西被交给隧道。是路由或策略，不是 IPsec。在基于路由的配置上，检查路由是否确实指向隧道接口；在基于策略的配置上，检查选择器。 两边都在涨，应用还是坏的：不是隧道的问题。去看看远端那边有什么。 Juniper 对这种情况的指南，是用他们的说法表达同样的直觉：如果会话上只有出站数据包计数器在增加，就去和对端确认流量到底有没有被收到44。\n小东西能用，大东西卡住 MTU。永远是 MTU。测试只要十秒：\nping -M do -s 1400 10.0.0.1 # inside the tunnel, do-not-fragment set ping -M do -s 1300 10.0.0.1 # step down until it succeeds 从哪里开始成功，就告诉你真正可用的大小。然后让 TCP 自己搞清楚，办法是把通告的分段大小钳制到路径上，而不是指望每个 ICMP 错误都能熬过整段旅程：\nnft add rule inet filter forward tcp flags syn tcp option maxseg size set rt mtu 也要把根本原因修掉，而它几乎总是某个边界上一条过宽的 ICMP 规则。想丢 echo 就丢吧。我在别处论证过它该被丢。但要留着 Fragmentation Needed 和 Packet Too Big。它们是机制，不是可有可无的客套。\n它按时钟掉线 给故障计时。光是间隔本身就能指出原因。\n固定周期，和某个配置的生存期一致：重新协商密钥。关联到期了，替换它的协商失败了或者在抢跑。检查两端的生存期；值不一致很正常也没问题，但如果一端的硬生存期比另一端的软生存期短，产生的恰恰就是这种现象。 一段时间没有流量之后，第一次使用时又恢复：一个 NAT 映射过期了。保活间隔的问题，或者根本没有保活。 链路正常时失效对端检测却把它拆掉了：丢的是探测包，而不是对端死了，往往因为探测包是唯一的流量，而映射早就没了。 第二个用户干掉第一个 两个对端从同一个地址到达集中器，以同一个身份认证。网关可以选择保留旧关联，或者替换它，而常见的默认值是替换。于是第二个连接胜出，第一个悄无声息地死掉。\n给每个对端一个真正唯一的身份，而不是一个地址或者一个共享的名字，并把网关设置成允许同一个地址保留多个关联，而不是假定每个对端只有一个。然后用唯一算数的方式去测试它：两个客户端，一个地址，同时连。如果你的验收测试从来没有过一个 NAT 后面两个用户的情况，那你就没测过你大多数用户所处的那种情况。\n同样的故障，在 Fisher-Price OS (Windows) 上 上面的每项检查都从一台 Unix 机器上运行，如果那个网络上你有一台，就用它，因为它会更快地告诉你真相，而且它不在乎远端跑什么。但很多读者手里只有一个连不上的客户端、一个故意把机器对他们藏起来的操作系统，别的什么都看不到。所以下面把同样的方法再走一遍，同样的顺序，用的是那个操作系统实际自带的工具。\n看线路。 没有 tcpdump，但有抓包。以提升权限运行它，复现故障，然后停止：\nnetsh wfp capture start cab=on file=ipsec netsh wfp capture stop 这会写出一个 .cab 文件。里面是故障发生期间过滤平台和密钥交换实际做了什么的跟踪，比两个控制台肯承认的都多。想实时看而不是存档的话，同一组命令加上 file=- 就会输出到控制台：netsh wfp show state“Displays the current state of WFP and IPsec”，netsh wfp show ikeevents“Displays recent Internet Key Exchange (IKE) epoch events matching the specified parameters”，可以过滤到某一个对端45。\nnetsh wfp show state file=- netsh wfp show ikeevents remoteaddr=203.0.113.5 file=- show ikeevents 是这里最接近其他所有协议栈不用你开口就会写的那种交换日志的东西。值得知道它存在。否则界面只会甩给你一个三位数，别的什么都没有，你就只能靠猜去诊断一次密钥交换。\n读关联，两个都要读。 ip -s xfrm state 和 swanctl --list-sas 的对应物是两个 cmdlet，而它们之间的分野就是全部诊断：\nGet-NetIPsecMainModeSA Get-NetIPsecQuickModeSA 主模式是密钥交换。快速模式承载数据包。Microsoft 把两者的关系说得很直白：“There is only one main mode SA between a pair of computers, but there can be many quick mode SAs”46。所以主模式存在而快速模式为空，和 IKE_SA 已建立而下面没有 CHILD_SA 是同一个故障，意思也一样：两端就怎么对话达成了一致，然后没能就保护什么达成一致。去看流量选择器，而不是加密算法。\n读日志，在它们藏身的两个地方。 连接层面的失败记在应用程序日志里，来源是 RasClient，而 Microsoft 自己关于怎么读它们的说明正是有用的那一点：“All error messages return the error code at the end of the message”47。那个数字就是诊断，下一节讲的就是这些数字的含义。策略和过滤的决定则完全记在另一个地方，在“应用程序和服务日志”下面，Windows Firewall with Advanced Security 的那些通道里。两份日志，两个团队，一个故障。\n需要升级处理时，好好收集。 受支持的工具包是 TSS：客户端上运行 TSS.ps1 -Scenario NET_VPN，服务器上运行 TSS.ps1 -Scenario NET_RAS，在复现故障之前启动，之后停止48。在有人问你要之前先学会它。\n一直停在“正在连接”，然后超时 这是塞满工单的那种故障，而错误信息里的那个词是在撒谎。先把代码叫出名字。即便消息毫无用处，代码也是具体的。\n连接超时是三件事之一，没有一件是时钟 客户端所谓的超时，和它实际是什么 客户端说：超时了 809、718、828、930、638：五个代码，一个词，没有一个是时钟 它是三件事之一，一个测试告诉你是哪一件 什么都没到达 沉默的情况 测试：在客户端抓包，UDP 500 出去了却没有回包吗？ 路径上有过滤，或者 NAT 穿越从没协商成功，所以 4500 根本没发出去过。 到达了，但太大 分片的情况 测试：证书连不上时，预共享密钥能连上吗？ IKE_AUTH 带着证书链，所以会分片，而分片在路径上被丢掉了。 根本不是隧道 查错层的情况 测试：网关在同一秒记录了认证失败吗？ 930 是 RADIUS。812 是认证方式。13801 和 13806 是证书。 三者都不是定时器。 延长超时是界面诱导你去做的唯一一件事，也是从来没有一次 修好过其中任何一个的事。这个词之所以在那儿，是因为报告失败的那一层看不了那么远，说不出更多。 按这个顺序测试。第一个花三十秒抓包，第二个花一次连接尝试，第三个花一份日志。 五个错误代码都带着“超时”这个词，却没有一个是时钟。它是三件事之一，而一个测试就能把它们分开：抓包告诉你到底有没有东西回来，用预共享密钥连一次告诉你证书交换是不是单纯太大而到不了，网关自己的日志告诉你隧道到底是不是问题所在。按这个顺序测，因为这也是它们成本的顺序。 代码 raserror.h 中的名称 实际发生了什么 809 ERROR_VPN_TIMEOUT 什么都没回来。Microsoft 给出的原因是：“the UDP 500 or 4500 ports on the VPN server or firewall are blocked”47，但 blocked 涵盖了三件不同的事，其中只有一件是拒绝规则。通常是 4500 从来没被发出过，因为 NAT 穿越从来没协商成功，或者过去承载它的那个辅助模块被关掉了。在你申请改防火墙之前先往下读 789 ERROR_OAKLEY_GENERAL_PROCESSING “The L2TP connection attempt failed because the security layer encountered a processing error during initial negotiations”：是凭据或证书问题，不是网络问题 718 ERROR_PPP_TIMEOUT IPsec 那部分成功了。L2TP 隧道里面的 PPP 没得到回应 828 ERROR_IDLE_TIMEOUT “The connection was terminated because of idle timeout”：服务器端的设置，是故意的 930 ERROR_AUTH_SERVER_TIMEOUT RADIUS 没有及时回应。和 IPsec 毫无关系 638 ERROR_REQUEST_TIMEOUT 通用的那个。当作没有任何信息，直接去看线路 这些每一个都出自 Microsoft 自己的错误列表49。现在再读一遍 809。它叫 ERROR_VPN_TIMEOUT，而文档里写的原因是端口被封。客户端超时，不是因为远端慢。是因为远端沉默，而沉默是一个没有端口、握手又不可见的协议唯一能报告的失败方式。\n不过要小心 blocked 这个词，因为它承载的东西比它装得下的多。三件不同的事都顶着这个词，其中只有一件是拒绝规则。\n从一开始就没有东西发过 4500。 NAT 穿越没有协商成功，于是客户端继续讲 ESP，而 ESP 给转换器留不下任何可改写的东西。那个平台的默认值本身就足以解释这一点：没有那个注册表值，它根本不会和转换器后面的服务器建立 NAT-T 关联31。所以 4500 不是被封了。它从来没被尝试过。\n过去替它打掩护的那个辅助模块被关掉了。 防火墙和家用路由器带着按协议划分的辅助模块：家用设备上的 IPsec 直通，以及它背后整个应用层网关（ALG）家族，它们读取 NAT 处理不了的协议，替它打开返回路径。在 Linux 上，这种自动形式从内核 4.7 起默认关闭，“for security reasons”，此后的建议是用规则有意地挂上辅助模块，要么就干脆不挂；它涵盖的辅助模块里就包括 PPTP 的那个50。\n而关掉它们是对的。 辅助模块是你防火墙里的一部分，它解析载荷，然后根据读到的东西打一个洞。NAT Slipstreaming 就是为此付的账：浏览器访问一个页面，流量被塑造成让路由器的 SIP 或 H.323 辅助模块把它当作一通电话，于是一个针孔穿过 NAT 被打开了；在 2021 年的版本里，可以通向任何内部地址，而不只是加载页面的那台机器51。关掉辅助模块就堵上了这个。它也让你的 IPsec 不工作了。两者同时为真，而第二点不是撤销第一点的理由。\n这又是整篇文章的缩影。这个协议之所以能用，只是因为中间的盒子在读不属于它们的流量，并替它打洞，而这个行业花了过去十年，正确地决定不再这么干。\n所以按这个顺序排查原因，最便宜的在前。\n一：没有东西回来。 在客户端抓包，或者问网关。如果 UDP 500 出去了而什么都没回来，那是过滤或可达性问题，没有哪个定时器能修好它。如果 500 双向都完成了，而 4500 从未出现，那就是 NAT 穿越没协商成功。而如果任何一端在转换器后面，你就回到了本文前面那个注册表值：AssumeUDPEncapsulationContextOnSendRule，1 或 2，两台机器上都要设，然后重启31。没有它，客户端按设计就会拒绝，并把它报告成超时。\n二：回应太大，到不了。 这个会浪费掉整个下午。证书认证让第二次交换变得很大，因为它带着一条证书链，而大的交换会分片。分片会被和本文里其他一切相同的中间设备丢掉，客户端往同一个洞里重传，然后放弃，说超时。光是这个迹象本身就能诊断：预共享密钥能连上，证书连不上。 那不是证书故障。那是大小故障，因为预共享密钥的交换小到塞得下。标准的 IKEv2 分片正是为此而存在的23，而 strongSwan 记下了这个平台是什么时候支持它的：“IKEv2 fragmentation is supported since the v1803 release of Windows 10 and Windows Server”33。任何更老的版本，或者一个禁用了分片的网关，你就得依赖一条能承载分片 UDP 数据报的路径。很多路径不能。\n三：能连上，然后按时钟掉线。 给它计时。如果它在一段固定的空闲时间后死掉，那就是 828，是配置，不是故障：服务器上的 -IdleDisconnectSeconds，另外还有 -SALifeTimeSeconds、-MMSALifeTimeSeconds 和 -SADataSizeForRenegotiationKilobytes 这三个能结束会话的时钟52。最后那个是按流量而不是时间来结束会话的，这就是为什么一个会话会在大文件复制时稳定地死掉，却在一整天收发邮件时从不出事。而如果它在客户端位于 NAT 后面时于重新协商密钥那一刻死掉，那就是前面讲过的那个有文档记载的互通故障：客户端以 Microsoft 错误 13863 拒绝服务器发起的重新协商，网关这边的答案是不再发起，让客户端去做33。\n四：根本不是隧道的问题。 930 是 RADIUS。812 是服务器不肯接受的认证方式47。13801 和 13806 是证书问题：扩展密钥用法不对、过期、缺根证书，或者服务器名和证书主题对不上47。这四种情况下隧道协商都没问题，如果你把一下午都花在加密算法上，一个也找不到。\n这张表里值得带走的是这一点。六个错误代码，其中五个名字里带着 timeout，而事实上没有一个是超时。它们是一个被封的端口、一个丢失的分片、一个策略决定和一台 RADIUS 服务器，全都顶着同一个词，因为报告失败的那一层看不到足够多的发生经过，说不出更有用的话。延长定时器一个也修不好，而延长定时器恰恰是界面诱导你去做的事。\n改用什么 我不打算假装替代品有多稀奇。它就在内核里，而且已经很多年了。\nWireGuard 是一个 UDP 端口，每个对端一把密钥，没有密码算法协商，也完全没有协议敏捷性。作者在这一点上的立场是刻意的，也是明说了的：“It intentionally lacks cipher and protocol agility. If holes are found in the underlying primitives, all endpoints will be required to update. As shown by the continuing torrent of SSL/TLS vulnerabilities, cipher agility increases complexity monumentally.”53 这一个决定，一下子删掉了 NO_PROPOSAL_CHOSEN、INVALID_KE_PAYLOAD、降级攻击和 Logjam 的发现，因为没有东西可协商，也没有东西可降级。\n它对其中的取舍也很诚实，我也一样：没有敏捷性意味着，当某个原语真的倒下时，你要更新整个设备群，而不是改一行配置。那是一笔真实的运维成本，而且是该付的那一笔。\n其余的几乎逐项对上上面那张清单。有 UDP 端口意味着 NAT 和 CGNAT 像对待其他任何流一样对待它，ECMP 和 LAG 像对其他任何流一样对它做哈希。漫游是内建的，不是外挂的：一个来自新地址的已认证数据包会挪动对端的端点，所以一部手机从 WiFi 切到移动网络时不用重新协商任何东西。它对未认证的数据包一概不回应，所以扫描器看到的是一个关闭的端口，而在 IPsec 那里它会找到一个可以搭话的集中器。而且它不到 4,000 行代码53，对比的是一个需要一份文档来列出它和一种中间设备之间十六项不兼容的协议栈。\n至于性能，它在测试中就是比参与基准测试的两种 IPsec 配置都快，1,011 Mbit/s 对 881 和 825，延迟也更低53。我不会因为一个基准测试就让一个协议退役。我提它，是因为 IPsec 最后还站着的论据通常是性能，而这也不成立。\n要把一个人连到一个应用上，而不是把一个网络连到另一个网络上，答案根本不是隧道。身份验证放在前门，应用通过前门发布，什么都不路由。我已经用 Proxmox 和 Cloudflare Access 在不付云账单的零信任 VDI里把这个搭出来了，而对这篇文章相关的要点是：一个需要三个内部应用的用户，并不需要一条通往你整个环境的路由。\n再把关于硬件那句不好明说的话说出来。是的，有带 ESP 卸载的网卡和 ASIC，在特定设备、特定速率上，那是支持 IPsec 的真实论据。那是一个关于别人已经卖给你的芯片的论据，而不是关于协议是对的的论据。因此它会过时，而且过时得很快。PPTP 也是这么活下来的，复选框存在多久，它就活了多久。\n好好让它退役 退役是一份带日期的计划，不是一种感觉。下面是我愿意署名的那一份。\n现在就停止新的 IPsec 部署。 不是“优先考虑替代方案”。是停止。每一条新隧道都是以后得有人迁移的隧道，而今天正在建的那些到 2035 年还会在跑，除非这周有人说不。\n先做远程访问，因为本文里的每一种故障都在那里落得最重：CGNAT、共享地址、保活、同一户里的第二个用户、某个随便哪家酒店网络上的 MTU 黑洞。它也是最容易迁移的，因为端点是受管的，变更就是换个客户端。\n然后是公共互联网上的站点到站点，同样一组问题，只是端点更少，还有维护窗口。\n最后才是那些你并不拥有两端的隧道：合作伙伴、监管机构、运营商的托管服务。合同动了它们才会动，而让它们动起来的办法就是下一条。\n别再买唯一的隧道就是 IPsec 的设备。 把它写进招标书。一条要求现代的、基于端口的、支持漫游的隧道的条款，厂商要么回应得了，要么回应不了，而这正是存量设备论最终输掉的方式。这个论点是唯一还让这些东西活着的论点，而能打败它的只有采购。\n写下还剩哪些隧道、为什么剩下，给每一条标上日期。 一个十年没人负责的协议，就是 PPTP 一路活到 2026 年的方式。一份带日期的清单，就是让一个东西退役和仅仅不喜欢它之间的区别。\n如果你还在部署它，你还能自称专业人士吗？ 这是一个真问题，我会诚实地回答它，因为这篇文章的其余部分一直在朝它走。\n取决于你知不知道。而知道不是一件会自己发生在你身上的事。确保自己知道，就是这份工作本身。\n如果你今年正在搭一套新的 IPsec 远程访问服务，却不查资料就说不出 ESP 为什么没有端口，一条运营商级 NAT 下的家庭线路会对它做什么，为什么 NAT64 网络根本不承载它，或者那个每二十秒一次的一字节数据包到底是干什么用的，那么答案是不能。在这件事上不能，至少现在还不能。你不是在选择一个协议。你是在重复一个形状，因为上一个就长那样，而屋里没人问为什么，包括你。失职之处不在于有知识空白。每个人都有空白。失职之处在于，你在一个从没去填补过的空白上面盖房子。因此，2035 年接手它的人会得到十年的工单，而这些工单在你画下那张图的那天全都是可以避免的。\n让我给它安上正确的名字，因为那个客气的说法已经流传了二十年，什么都没改变。一个部署自己解释不了的协议的人，不是工程师。他们是跟随者。他们照着提词卡念：厂商的参考架构、上一张变更申请、某人 2014 年画的、从那以后再没人打开过的一张图；他们念得真情实感，而表演背后哪儿都没有理解。从外面看，这和能干一模一样。一直到碰上第一个提词卡没覆盖的故障之前，它都和能干一模一样，而从那一刻起，它就成了屋里唯一要紧的事。\n提词卡也是这个协议至今还在的原因。2026 年没有人站在白板前，凭其本身的优点为 IPsec 辩护。它又被部署了一次，是因为它在卡片上，而卡片是一家厂商写的，这家厂商的利益在于你继续买那个终结它的盒子。一个东西就是这样比自己的讣告多活二十年的：不是因为被辩护，而是因为从来没有一次被要求在一个有人分得清好坏的屋子里证明自己。\n而这件事要被点出来。大声地，在屋里，当场，而不是事后在走廊里嘀咕。如果有人把“专业”这个词放在自己名字旁边，这个词就附带着一份被提问的邀请，而提问并不失礼。被问到并且有答案，就是这个词和一张名片之间的全部区别。\n当你为此付钱时，这一点最要紧。一家咨询公司、一家 MSP、一个厂商的专业服务部门、框架协议上的集成商：你买的是判断力，而判断力恰恰是交付时你无法检验的那一样东西。所以要事先检验。问为什么用这个协议而不是另一个。问它在一条运营商级 NAT 线路上、在一个纯 IPv6 移动网络上、在一条悄悄丢分片的路径上会怎样。问其中哪些他们亲身碰到过，碰到后做了什么。两分钟之内你就会知道，对方是在告诉你一些东西，还是在照本宣科，而两分钟是比四年工单便宜得多的测试。如果答案是提词卡而你照样签了，那也是一个决定：只不过它现在成了你的，而不是他们的。\n如果这些你都说得出来，而你还是要部署它，因为监管机构按协议点了它的名，因为合作伙伴的设备不终结别的东西，或者因为替代方案在明年的预算里而这套东西三月份就得能用，那么能，当然能，而且你在好好干这份工作。约束是真实的，比这更糟的我也绕着建过。两者之间的区别不在于图上画的是哪个协议。在于你有没有写下为什么，以及旁边有没有一个日期。\n站不住脚的是中间那种。知道得足够多、心里不踏实，却还是照建不误，因为没人逼你证明理由。这不是工程。是习惯，外加一个变更编号；而 L2TP 正是这样出现在今年印刷的一张数据表上的。\n所以在招标截止之前，而不是之后，拿这个问题问问你自己。“专业”不是一个关于你知道哪些协议的词。它是一个关于你能不能为自己选的那个协议辩护的词，大声地，对着一个了解各种失败模式的人。如果你能，那就按约束的要求部署什么都行，安心睡觉。如果你不能，那你刚刚找到了今晚该去读的东西，而这不是侮辱。每个人都当过跟随者，无一例外，包括我。站不住脚的是选择一直当下去，还把它叫作职业生涯。\n好主意也是可以落幕的 我想对 IPsec 公平一些，因为它配得上。\n它的直觉是对的。安全属于协议栈的底层，在那里一切都继承它，不必信任哪个应用去把它做对。把关联绑定到地址上，在 1995 年不是错误：地址就是那台机器，建立在这之上是正确的。写它的人是严肃的人，在解决一个真实的问题，而在所有文档里，偏偏是 WireGuard 的论文把这一点说得最好：IPsec 的分层是健全的，一切都在正确的位置上，达到了学术上的完美53。\n然后地基动了。不是因为 IPsec 做错了什么，而是因为这个行业认定地址是一项需要管理的成本，而不是每台机器都该有的东西，并为了回避另一条路，建了二十五年的转换。IPsec 的根基被悄悄撤走了，而我们没有承认，而是给它垫了垫片。UDP 封装。然后是保活。然后是给封 UDP 的网络用的 TCP 封装。然后是又一个 UDP 头，好让路由器有东西可以哈希。每一项修复单独看都合理；它们叠在一起，就是一个靠拿钱干这事的人扶着才立得住的协议。\n这才是值得生气的部分，而它其实根本不是关于 IPsec 的。我们这个行业非常擅长维护东西，非常不擅长终结东西。维护可以计费、有预算、有人手、很安全。退役是一个得有人签字的决定，签上自己的名字，而且没有立竿见影的回报。所以 PPTP 在被证明一文不值之后又活了十四年，L2TP 至今还装在今年出售的盒子上，IKEv1 在变成 Historic 之后还继续协商了十年隧道。不是因为有人为它们辩护。是因为从来没人被要求去终结它们。\n做对 90% 没有奖品。Ferguson 和 Schneier 在 1999 年这样写 IPsec，而从那以后发生的，是这个行业用了三十年，每次都以一种新的方式把最后那 10% 做错，然后把补丁叫作解决方案。\n好主意也是可以落幕的。知道什么时候该停止维护一个东西是一门手艺，而这恰恰是这一行最不擅长的。总得有人站出来说，一个协议已经活够了，写下日期，并承担作为那个说出这话的人的后果。否则到 2040 年我们还会每二十秒发一个一字节的数据包，去给一个不归我们的盒子里的一张表保温，在一个拿走了我们的地址、还为此向我们收费的网络上。\nRFC 4301 — Security Architecture for the Internet Protocol，2005年12月。定义了安全关联，以及查找它所用的三元组：目的地址、安全协议和 SPI。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4302 — IP Authentication Header，2005年12月。AH 的完整性校验覆盖 IP 报头中不可变的字段，包括源地址和目的地址。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9329 — TCP Encapsulation of Internet Key Exchange Protocol (IKE) and IPsec Packets，2022年11月，取代 RFC 8229。它之所以存在，是因为公共网络上的中间设备会封掉 UDP。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3715 — IPsec-Network Address Translation (NAT) Compatibility Requirements，2004年3月。列举了十六项不兼容，包括：“Since the AH header incorporates the IP source and destination addresses in the keyed message integrity check, NAT or reverse NAT devices making changes to address fields will invalidate the message integrity check,”以及“Where IP addresses are used as identifiers in Internet Key Exchange Protocol (IKE) Phase 1 or Phase 2, modification of the IP source or destination addresses by NATs or reverse NATs will result in a mismatch between the identifiers and the addresses in the IP header.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Configuring IPsec NAT-Traversal，Security Configuration Guide, Cisco IOS XE 17.15.x (Catalyst 9300 Switches)。“If PAT found a legislative IP address and port, it would drop the Encapsulating Security Payload (ESP) packet”；UDP 头和一个 8 字节的 non-IKE 标记被插入外层 IP 头和 ESP 头之间；限制清单包括需要 500 和 4500 两个端口的静态规则、不支持动态 NAT 策略、不支持 IPv6，以及 IPsec 和 NAT 不能在同一台设备上同时运行。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3948 — UDP Encapsulation of IPsec ESP Packets，2005年1月，协商部分在 RFC 3947。把保活包定义为“a one-octet-long payload with the value 0xFF”，在“if no other packet to the peer has been sent in M seconds. M is a locally configurable parameter with a default value of 20 seconds”时发送，并要求把 UDP 校验和置零：“If the protocol header after the ESP header is a UDP header, set the checksum field to zero in the UDP header.” Microsoft、Cisco、F-Secure、Nortel 和 SafeNet 都在 RFC 3947 和 RFC 3948 的作者名单上。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Route-Based and Policy-Based VPNs with NAT-T，Junos OS IPsec VPN User Guide。“NAT-T encapsulates both IKE and ESP traffic within UDP with port 4500 used as both the source and destination port”；“Because NAT devices age out stale UDP translations, keepalive messages are required between the peers”；以及在 SRX5400、SRX5600 和 SRX5800 上，“the total number of tunnels from a given public translated IP cannot exceed 1000 tunnels.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8221 — Cryptographic Algorithm Implementation Requirements and Usage Guidance for ESP and AH，2017年10月。ENCR_DES MUST NOT，ENCR_3DES SHOULD NOT，AUTH_HMAC_MD5_96 MUST NOT；ESP 与 AH 组合使用为 NOT RECOMMENDED。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4787 — Network Address Translation (NAT) Behavioral Requirements for Unicast UDP，2007年1月。REQ-5：“A NAT UDP mapping timer MUST NOT expire in less than two minutes,”并且“a default value of five minutes or more for the NAT UDP mapping timer is RECOMMENDED”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6146 — Stateful NAT64: Network Address and Protocol Translation from IPv6 Clients to IPv4 Servers，2011年4月。“The current specification only defines how stateful NAT64 translates unicast packets carrying TCP, UDP, and ICMP traffic. Multicast packets and other protocols, including the Stream Control Transmission Protocol (SCTP), the Datagram Congestion Control Protocol (DCCP), and IPsec, are out of the scope of this specification.” 承载其他任何东西的数据包“SHOULD be discarded”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6877 — 464XLAT: Combination of Stateful and Stateless Translation，2013年4月。给纯 IPv6 设备一个本地 IPv4 协议栈，好让 NAT64 承载不了的流量照样能用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIETF — draft-xu-ipsecme-esp-in-udp-lb，Encapsulating IPsec ESP in UDP for Load-balancing。“Although the ESP SPI field within the IPsec packets can be used as the load-balancing key, but it cannot be used by legacy switches and routers”；“Many cloud service providers allow customers to establish multiple IPsec VPN tunnels in parallel to enable ECMP and increase aggregate bandwidth. However, this approach is not ideal, as each tunnel typically requires its own public IP address, leading to higher public IP consumption and increased operational overhead.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Resolve IPv4 Fragmentation, MTU, MSS, and PMTUD Issues with GRE and IPsec。关于隧道开销、路径 MTU 发现，以及 ICMP 错误回不来时什么会坏掉的长期参考文档。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Troubleshoot IPsec Anti-Replay Check Failures。“Certain QoS features, such as Low Latency Queueing (LLQ), could cause IPsec packet delivery to become out-of-order and dropped by the receiving endpoint due to a replay check failure.” 默认窗口 64 个数据包；较新平台上为 1024；另一种补救办法是每个关联使用多个序列号空间。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2661 — Layer Two Tunneling Protocol \u0026ldquo;L2TP\u0026rdquo;，1999年8月。一个承载 PPP 的隧道协议，自身不提供包级机密性；它的安全章节指向 IPsec。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMoxie Marlinspike 和 David Hulton — Divide and Conquer: Cracking MS-CHAPv2 with a 100% Success Rate，2012 年；工具见 github.com/moxie0/chapcrack。MS-CHAPv2 的安全性归结为一次单独的 DES 运算，与密码长度无关；当时的报道见 The Register。他们的结论是，PPTP 流量应当视为未加密。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple — If you see a \u0026ldquo;VPN Using PPTP May Not Be Secure\u0026rdquo; alert。2016 年，PPTP 从 macOS Sierra 和 iOS 10 的内置客户端中移除。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4303 — IP Encapsulating Security Payload (ESP)，2005年12月。IP 协议 50；ESP 头带着 SPI 和序列号，没有端口字段。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9395 — Deprecation of the Internet Key Exchange Version 1 (IKEv1) Protocol and Obsoleted Algorithms，2023年4月。“Internet Key Exchange Version 1 (IKEv1) has been deprecated, and RFCs 2407, 2408, and 2409 have been moved to Historic status.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7296 — Internet Key Exchange Protocol Version 2 (IKEv2)，2014年10月。现行的密钥交换，也是诊断表中各通知名称的出处。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3173 — IP Payload Compression Protocol (IPComp)，2001年9月。有自己的 IP 协议号和自己的关联，与 ESP 一起协商。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2367 — PF_KEY Key Management API, Version 2，1998年7月。密钥守护进程用来安装关联的内核接口。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7383 — IKEv2 Message Fragmentation，2014年11月。“This document describes a way to avoid IP fragmentation of large Internet Key Exchange Protocol version 2 (IKEv2) messages.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4555 — IKEv2 Mobility and Multihoming Protocol (MOBIKE)，2006年6月。让已建立的隧道在地址变化后活下来。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3706 — A Traffic-Based Method of Detecting Dead Internet Key Exchange (IKE) Peers，2004年2月。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndraft-beaulieu-ike-xauth — Extended Authentication within IKE (XAUTH)。最后修订版 02，2001年10月，状态 Expired，“Expired \u0026amp; archived”，从未作为 RFC 发布。草案记录说，它之所以以 Informational 提交，是因为“the IPSRA working group will not accept any protocol which extends ISAKMP or IKE, and the IPsec working group refuses to accept any protocols that deal with remote access.” Mode-Config 也是同样的命运。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3193 — Securing L2TP using IPsec，2001年11月。由 Microsoft 的人参与合著。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2332 — NBMA Next Hop Resolution Protocol (NHRP)，1998年4月。让 DMVPN 分支互相找到对方的那一块。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6407 — The Group Domain of Interpretation，2011年10月。组密钥，GETVPN 所用。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2637 — Point-to-Point Tunneling Protocol (PPTP)，1999年7月。类别：Informational。一个被写成文档的厂商协议，从来不是标准。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Configure L2TP/IPsec server behind NAT-T device，KB 926179，最后修订于 2026年2月12日。“By default, Windows Vista and Windows Server 2008 don\u0026rsquo;t support Internet Protocol security (IPsec) network address translation (NAT) Traversal (NAT-T) security associations to servers that are located behind a NAT device”；HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Services\\PolicyAgent 下的 AssumeUDPEncapsulationContextOnSendRule DWORD 取值 0（默认，不能）、1（服务器在 NAT 后）或 2（两端都在 NAT 后），并且必须重启机器。另有：“If you must use IPsec for communication, use public IP addresses for all servers that you can connect to from the Internet.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nstrongSwan — Windows Certificate Requirements。网关证书需要 serverAuth EKU（OID 1.3.6.1.5.5.7.3.1）和 IP Security IKE Intermediate EKU（OID 1.3.6.1.5.5.8.2.2）。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nstrongSwan — Windows Clients。记录了在 Rasman\\Parameters 下添加 NegotiateDH2048_AES256 DWORD 以获得 AES-256-CBC 和 MODP-2048；NAT 后客户端的重新协商变通办法（在网关上设 rekey_time = 0，由客户端发起）；以及 Windows 客户端“does not currently support IKE redirection (RFC 5685) and multiple authentication rounds (RFC 4739).” 另有：“IKEv2 fragmentation is supported since the v1803 release of Windows 10 and Windows Server”，而 NAT 后的客户端会以 Microsoft 错误 13863 拒绝服务器发起的 CHILD_SA 重新协商。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — DirectAccess 以及 Remote Access Always On VPN migration overview。DirectAccess 已弃用，将在 Windows Server 的未来版本中移除；客户被引导去用 Always On VPN。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJean Paul Degabriele 和 Kenneth G. Paterson — Attacking the IPsec Standards in Encryption-only Configurations，IEEE Symposium on Security and Privacy，2007 年。能“break any RFC-compliant implementation of IPsec making use of encryption-only ESP”的攻击，仅凭密文，只需要能窃听并注入流量。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6434 — IPv6 Node Requirements，2011年12月。“Previously, IPv6 mandated implementation of IPsec and recommended the key management approach of IKE. This document updates that recommendation by making support of the IPsec Architecture [RFC4301] a SHOULD for all IPv6 nodes.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNiels Ferguson 和 Bruce Schneier — A Cryptographic Evaluation of IPsec，Counterpane Internet Security，1999 年。“IPsec was a great disappointment to us”；“Our main criticism of IPsec is its complexity”；“We therefore recommend that transport mode be eliminated”；“We conclude that eliminating transport mode allows the elimination of the AH protocol as well, without loss of functionality”；以及“We have found serious security weaknesses in all major components of IPsec. As always in security, there is no prize for getting 90% right; you have to get everything right.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDavid Adrian 等 — Imperfect Forward Secrecy: How Diffie-Hellman Fails in Practice，ACM CCS 2015。针对第二个 1024 位组的预计算“would allow decryption of traffic to 66% of IPsec VPNs”；被扫描的 IKEv1 服务器中 86.1%、IKEv2 服务器中 91.0% 支持 Oakley Group 2，66.1% 被分析的 IKEv1 服务器优先选用它。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCVE-2016-1287 以及 Cisco 的公告 Cisco ASA Software IKEv1 and IKEv2 Buffer Overflow Vulnerability。认证之前的远程代码执行，向 IKE 服务发送构造的 UDP 数据包即可触发。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — How to Analyze IKE Phase 2 VPN Status Messages。“No proposal chosen”意味着设备“did not accept any of the IKE Phase 2 proposals that the peer sent”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Understand and Use Debug Commands to Troubleshoot IPsec，以及 Troubleshoot Common L2L and Remote Access IPsec VPN Issues。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Troubleshoot a VPN Tunnel That is Down。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux 内核 — XFRM proc counters。表中的描述均出自内核文档原文。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Troubleshoot a VPN That Is Up But Not Passing Traffic。“If only the pkts counter in the out direction of the session is incrementing, then validate with the VPN peer that the traffic is being received.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — netsh wfp，Windows Commands。netsh wfp capture start“Starts a capture session for network events processed by WFP”，默认写入 wfpdiag.cab；netsh wfp show state“Displays the current state of WFP and IPsec”；netsh wfp show ikeevents“Displays recent Internet Key Exchange (IKE) epoch events matching the specified parameters”，并接受 remoteaddr= 过滤。在任一 show 命令上设 file=-，就会输出到控制台而不是写 XML。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Get-NetIPsecQuickModeSA，NetSecurity 模块。“There is only one main mode SA between a pair of computers, but there can be many quick mode SAs,”而监控它们“can provide information about which peers are currently connected to this computer, and which protection suite is protecting the data exchanged between them.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Troubleshoot Always On VPN，最后修订于 2026年2月12日。关于读取客户端日志：“look for events labeled RasClient. All error messages return the error code at the end of the message.” 错误 809 的原因：“You can encounter this issue when the UDP 500 or 4500 ports on the VPN server or firewall are blocked.” 错误 812 是服务器策略和客户端配置文件之间的认证方式不匹配。错误 13801 列出的四个原因是：机器证书的增强型密钥用法里没有 Server Authentication、RAS 机器证书过期、客户端缺少根证书，以及客户端的“VPN server name doesn\u0026rsquo;t match the subjectName value on the server certificate”；13806 是“IKE can\u0026rsquo;t find a valid machine certificate”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Guidance for troubleshooting Remote Access (VPN and AOVPN)。受支持的收集工具是 TSS，以提升权限运行：客户端上 TSS.ps1 -Scenario NET_VPN，服务器上 TSS.ps1 -Scenario NET_RAS，在启动和停止之间复现故障，跟踪写入 C:\\MS_DATA。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Routing and Remote Access Error Codes，raserror.h 中定义的代码。638 ERROR_REQUEST_TIMEOUT；718 ERROR_PPP_TIMEOUT；789 ERROR_OAKLEY_GENERAL_PROCESSING，“The L2TP connection attempt failed because the security layer encountered a processing error during initial negotiations with the remote computer”；809 ERROR_VPN_TIMEOUT，“The network connection between your computer and the VPN server could not be established because the remote server is not responding”；828 ERROR_IDLE_TIMEOUT，“The connection was terminated because of idle timeout”；930 ERROR_AUTH_SERVER_TIMEOUT，“The authentication server did not respond to authentication requests in a timely fashion”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfirewalld — Automatic Helper Assignment。“With kernel 4.7 and up the automatic helper assignment in kernel has been turned off by default”，由 /proc/sys/net/netfilter/nf_conntrack_helper 处的 sysctl 控制，并且“for the secure use of iptables and connection tracking helpers it is recommended to turn AutomaticHelpers off”。内核自己关于这一变更的消息点明了原因和替代办法：默认的自动辅助模块分配“has been turned off for security reasons”，改用 CT 目标来挂接辅助模块。涵盖的辅助模块包括 ftp、irc、sip、h323、tftp、snmp 和 pptp。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSamy Kamkar — NAT Slipstreaming，v1 2020年10月31日，v2 2021年1月26日，与 Armis 的 Ben Seri 和 Gregory Vishnipolsky 合作。该攻击滥用“the Application Level Gateway (ALG) connection tracking mechanism built into NATs, routers, and firewalls”，以“bypass victim NAT and connect directly back to any port on any machine on the network, exposing previously protected/hidden services and systems”。v1 用的是 5060 端口上的 SIP 网关；v2 用的是 1720 上的 H.323，使针孔可以对准任意内部主机，而不只是加载页面的那台机器。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Set-VpnServerConfiguration，RemoteAccess 模块。-IdleDisconnectSeconds“Specifies the time, in seconds, after which an idle connection is terminated”；-SALifeTimeSeconds 和 -MMSALifeTimeSeconds 设置快速模式和主模式的生存期；-SADataSizeForRenegotiationKilobytes“Specifies the number of kilobytes that are allowed to transfer using a security association (SA), after which the SA will be renegotiated.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJason A. Donenfeld — WireGuard: Next Generation Kernel Network Tunnel，NDSS 2017。“It intentionally lacks cipher and protocol agility. If holes are found in the underlying primitives, all endpoints will be required to update. As shown by the continuing torrent of SSL/TLS vulnerabilities, cipher agility increases complexity monumentally”；“implemented for Linux in less than 4,000 lines of code”；“it is important to stress, however, that the layering of IPsec is correct and sound; everything is in the right place with IPsec, to academic perfection.” 基准测试：1,011 Mbit/s，对比两种 IPsec 密码套件的 881 和 825；ping 0.403 ms，对比 0.501 和 0.508。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/networking/ipsec-was-a-good-idea-turn-it-off/","summary":"IPsec 在 1995 年是对的：在应用之下加密，把安全关联绑定到 IP 地址，让每个协议都继承它。然后 NAT 来了，运营商级 NAT 补上了最后一刀，而修复办法是把整个东西包进 UDP，再让一个定时器一直跑着，好让转换表别忘了你。这篇文章一张图一张图地展示它是怎么垮掉的：经不起报头被改写的安全关联，每条 CGNAT 线路上如今都有的两个转换器，明确把 IPsec 列为范围之外的 NAT64 标准，因为 ESP 没有端口而用不了第二条链路的隧道，没人负责的 MTU，以及 L2TP 和 PPTP 这两个从来就不配出现在这里的协议。文中附上 Cisco、Juniper 和 Microsoft 承认上述每一点的厂商文档，十八种自称 IPsec VPN 的东西，包括两种从来就不是标准的，为什么 Fisher-Price OS (Windows) 从未真正与开放协议栈互通，一套在你仍在运行 IPsec 时诊断它的实用方法，以及带日期地让这一切全部退役的理由。","title":"IPsec 曾是个好主意。现在该把它关掉了。"},{"content":"Azure Virtual Desktop 实际要花多少钱 Azure Virtual Desktop 在浏览器里提供一个 Windows 桌面。它确实就是干这个的，而且能用。问题是让它一直能用要花多少钱。\n标价不是价格。微软给 AVD 配的授权堆栈大致是这样的1：\n一份包含 Windows Enterprise 权利的 Microsoft 365 授权：E3 或 E5，或者对等的 Business Premium 桌面底下的 Azure 计算资源：按小时计费的虚拟机，或者按月计费的预留实例 用于系统盘和用户配置文件的 Azure 存储 用于桌面与外界之间流量的 Azure 网络 可选：用于条件访问策略的 Microsoft Entra ID P1 或 P2 Windows 365 Cloud PC 把账单简化成每用户每月一个固定数字，但这个数字并不小。2 vCPU / 8 GB / 128 GB 的配置，也就是一台普普通通的办公桌面，每用户每月 £35.602。加一块 GPU，GPU Standard 档就跳到 £269.40。乘上人头数，这就是实打实的一行支出，每个月都有，永远都有。\n本文要取代的就是这个产品。\n浏览器 任意设备 无需 RDP 客户端 无需 VPN HTTPS Cloudflare Access\u0026#160;+\u0026#160;IdP 认证用户 在浏览器中渲染 RDP ≤\u0026#160;50 用户免费 不暴露端口 不需要 VPN 零信任策略 隧道 LXC cloudflared 独占 VLAN 防火墙只放行 RDP 目标 RDP Windows\u0026#160;虚拟机 GPU VF\u0026#160;0\u0026#160;·\u0026#160;RDP Windows\u0026#160;虚拟机 GPU VF\u0026#160;1\u0026#160;·\u0026#160;RDP Windows\u0026#160;虚拟机 GPU VF\u0026#160;2\u0026#160;·\u0026#160;RDP Proxmox 主机\u0026#160;·\u0026#160;Intel Arc Pro SR-IOV Arc Pro B 系列 PF → 主机 VF 0 → VM VF 1 → VM VF 2 → VM 一个浏览器、一个身份提供者和一条隧道：没有 VPN，没有暴露的端口，没有按席位收费的云账单 完整路径：一个浏览器，Cloudflare Access 负责身份，一条隧道进入防火墙隔离的 LXC，再用 RDP 连到带 Intel Arc Pro 虚拟功能的 Windows 虚拟机。没有 VPN，没有暴露的端口，没有按席位收费的云账单。 替代方案的堆栈长什么样 三层，彼此独立，没有一层按席位收费：\nGPU 层就是上一篇里的 Intel Arc Pro SR-IOV 搭建。一块 Arc Pro 卡通过标准的 PCIe SR-IOV 拆分成多个硬件虚拟功能：不要 vGPU 授权，不要 NVIDIA 订阅。每台 Windows 虚拟机拿到自己的 VF，有自己的 GPU 加速桌面。席位数由卡决定，而不是由授权服务器决定。\n访问层是带浏览器渲染 RDP 的 Cloudflare Access。用户在任意浏览器里打开一个 URL，向你的身份提供者认证，Cloudflare 直接在浏览器标签页里渲染 RDP 会话。不用装 RDP 客户端。没有 VPN。没有端口暴露在互联网上。Access 可以与任何 OAuth 或 OIDC 提供者联合，这包括架在你现有 Active Directory 之上的本地提供者，比如 Keycloak 或 Authentik，不管那是 Samba 4 AD 还是 Windows 域控制器。目录照旧干它已经在干的事：用户账号、组策略、加入域的虚拟机。Keycloak 或 Authentik 与它联合，补上 Cloudflare Access 需要的 OAuth/OIDC 和 MFA 层。身份平面留在你自己的硬件上。不需要 Entra ID 订阅。之后的事由 Cloudflare Access 处理：它控制通过认证的用户能在你的网络上访问什么，哪些应用、哪些协议、哪些主机。桌面藏在 Cloudflare 隧道后面，除了通过 Access 策略之外从任何地方都到不了，而策略同时决定身份和范围。\n隧道层是一个跑在 Proxmox 上 LXC 容器里的 cloudflared 进程，独占一个 VLAN：IPv4 是一个 /30，外加专属的 IPv6 前缀，广播域里没有任何别的东西。Proxmox 防火墙控制这个 LXC 能访问什么，答案很短：到桌面虚拟机的 TCP 3389，别的啥也没有。如果隧道端点被攻破，影响范围是一个在空荡荡的 VLAN 上的容器，它唯一能说上话的，就是防火墙本来就允许的东西。这比一个发放可路由子网的 VPN 集中器暴露的面小得多。\nCloudflare Zero Trust 在 50 个用户以内免费3。从第 51 个用户开始付费。Azure Virtual Desktop 从第一个席位就开始收钱。\n架构 用户 任意设备 任意浏览器 HTTPS Cloudflare Access OAuth IdP 负责 身份\u0026#160;+\u0026#160;MFA Access 控制 网络范围 渲染 RDP 隧道 你的场地 LXC cloudflared 独占\u0026#160;VLAN /30\u0026#160;IPv4 防火墙 Proxmox 仅\u0026#160;TCP\u0026#160;3389 RDP Windows 虚拟机 GPU 虚拟 功能 Arc\u0026#160;Pro\u0026#160;SR-IOV 会话路径：用户在 Cloudflare 边缘完成认证，隧道落在独占 VLAN、受防火墙隔离的 LXC 里，防火墙只允许到桌面虚拟机的 RDP。 一个桌面会话走的路径：\n用户在任意设备、任意浏览器里打开 https://vdi.example.com Cloudflare Access 拦截请求，重定向到你的身份提供者：与你的 Active Directory 联合的 Keycloak 或 Authentik OAuth 提供者对照 AD 验证用户身份，并处理 MFA Access 评估策略：提供者确认了用户是谁，Access 决定他们能在你的网络上访问什么 Cloudflare 通过隧道与目标虚拟机建立一个 RDP 会话 RDP 会话在浏览器里渲染：没有客户端，没有插件，没有下载 隧道终止在 Proxmox 主机上的一个 LXC 容器里，位于一个被锁死的 VLAN 上 LXC 把 RDP 转发给 Windows 虚拟机，这台虚拟机有一个来自 Arc Pro 卡的 GPU 虚拟功能 Windows 虚拟机在任何环节都没有公网 IP。3389 端口在任何环节都没有对互联网开放。公网上唯一在监听的是 Cloudflare，唯一能过 Cloudflare 这一关的，是通过了 Access 策略的用户。\n隧道端点：独占一个 VLAN 的 LXC cloudflared 进程总得跑在某个地方，而放在哪儿是一个安全决定。\n直接跑在 Proxmox 主机上是最简单的选项，也是最糟的选项。一个和主机共享网络命名空间的隧道端点，能访问主机能访问的一切，而在一台虚拟化主机上，那就是一切。一个被攻破的隧道就成了跳进管理平面的跳板。\n跑在一台完整的虚拟机里很干净，但太重。隧道中继就是一个 Go 二进制文件，几乎不占 CPU，内存几百兆。给它一整个内核和一块虚拟磁盘，是杀鸡用牛刀。\nLXC 容器正合适。它有自己的网络命名空间，有自己的 VLAN（一个 /30 的 IPv4 和一个专属 IPv6 前缀，广播域里没有别人），在 Proxmox 防火墙里还有自己的规则。它共享主机的内核，但不共享主机的网络栈。防火墙允许到桌面虚拟机的 TCP 3389、用来解析它们的 DNS，以及出站到 Cloudflare 边缘的 HTTPS。因此，即便隧道端点被攻破，它也只能跟它本来就该说话的那些东西说话，而它所在的 VLAN 上没有别的住户可以够得着。\nLXC 配置、这个 VLAN 的 Proxmox 防火墙规则以及 cloudflared 隧道的搭建，都在下一篇里。\nCloudflare Access 是怎么拼起来的 这件事分两半。OAuth 提供者，也就是与你的 Active Directory（Samba 4 或 Windows）联合的 Keycloak 或 Authentik，负责身份验证和 MFA。它证明用户就是他声称的那个人，用的正是虚拟机所加入的那个目录。之后的一切由 Cloudflare Access 处理：通过认证的用户被允许访问什么、经由哪种协议，以及会话如何渲染。\nCloudflare Access 直接在浏览器里渲染 RDP 会话。这不是下载，也不是插件：Cloudflare 的边缘运行一个无头 RDP 客户端，把结果作为 canvas 推流到浏览器标签页里。用户看到的是一个 Windows 桌面。浏览器看到的是到 Cloudflare 的 HTTPS。Windows 虚拟机看到的是一个来自 cloudflared 隧道的 RDP 连接。\nAccess 应用是一个指向隧道 RDP 入口的自托管应用。Access 策略是两半会合的地方。OAuth 提供者已经确认了身份，也通过了 MFA 挑战。Access 拿着这个令牌决定怎么处理：用户能访问哪个应用、设备状态是否合格、所在位置是否被允许。提供者说是谁。Access 说能干什么。\n隧道的创建、入口规则、LXC 配置、Proxmox 防火墙规则以及 Access 策略本身，都在下一篇里：这一篇讲清楚这个堆栈是什么、为什么存在。下一篇把它搭起来。\n用户看到的是什么 Cloudflare Access 带一个 App Launcher，这是一个资源门户，列出通过认证的用户被允许访问的每一个应用。用户经由 OAuth 提供者登录后，门户会把他们可用的桌面、内部 Web 应用以及其他所有通过隧道提供的资源集中展示在一个地方。一个 URL，一次登录，他们有权访问的每样东西各占一个图块。它是整个堆栈的落地页，而不只是 RDP 的。\n用户点一下桌面图块，就在浏览器标签页里得到一个 Windows 桌面。没有客户端，没有插件，没有下载。它在用户手头已有的任何设备上都能用：公司笔记本、个人电脑、Chromebook、平板。这正是重点。这个系统是为允许员工用自己设备的企业打造的。\n剪贴板、音频和多显示器在浏览器渲染的会话里不受支持。这是有意设计的，不是意外。这些通道每一个都是数据外泄的路径。跨越边界的剪贴板能把文件带出去。音频采集能把对话带出去。多显示器把本地桌面摆在远程桌面旁边，拖放就变得轻而易举。切断这些通道，意味着用户可以在桌面里干活，却没法通过旁路把工作成果带出来。Access 策略控制谁能进来。浏览器渲染控制什么能出去。\n如果企业的某个特定工作流程需要剪贴板或音频，Cloudflare Access 也支持通过隧道使用原生 RDP 客户端：同一条隧道，同一套策略，同一次身份检查。原生路径给需要的用户完整的 RDP 功能，而对其他所有人，浏览器路径依旧锁死。两种访问方式，一个策略引擎，一条隧道。\n成本对比 一个具体例子。一台服务器，42 个 GPU 加速的桌面：\n一颗带超线程的 64 核 CPU 给你 128 个线程。每台虚拟机分 8 个 vCPU，这是正经的桌面配置，不是瘦客户端。42 × 8 = 336 个 vCPU，纸面上远远超过 128 个线程。但这是 VDI。办公桌面大部分时间是空闲的。一个在看文档或写邮件的用户，不会把 8 个核跑满。超额分配在这里不是风险，而是设计本身。Proxmox 允许你分配比物理线程更多的 vCPU，因为调度器知道它们大多在睡觉。CPU 是按峰值选的，而峰值是寥寥几个用户同时编译或渲染，不是 42 个全上。这也不是偷工减料：云计算巨头也是这么超额分配的。你租的每一台 Azure 虚拟机，都和同一台主机上的其他租户共享物理核。性能模型完全一样。区别在于主机归谁。 每台虚拟机 12 GB 内存，是一台扎实的办公桌面。42 × 12 GB = 504 GB，加上 Proxmox 自己用的 4 GB，纸面上是 508 GB。实际上 KSM 会把这 42 个 Windows 镜像之间相同的页合并掉，所以需要的物理内存要少得多，但还是按 512 GB 内存条做预算，让 KSM 把余量交给你。 三块双 GPU 的 Intel Arc Pro B60 卡，装在类似 Supermicro H13SSL-NT 这样的主板上。每块物理卡向操作系统呈现两个 GPU，所以三块卡给你 6 个 GPU。每个 GPU 支持 7 个 SR-IOV 虚拟功能4。三条 PCIe 插槽，42 个 GPU 加速桌面。B60 的标价大约每块 $599–799。B70 是更大的选项，首发价 $949，32 GB，每个 GPU 4 个虚拟功能5：席位更少，但每个席位的显存更多。 42 个用户的 Windows 365 Cloud PC2：\n即使不带 GPU，数字也不小。Basic 档（2 vCPU、4 GB、128 GB）是每用户每月 £26.90。Standard 档（2 vCPU、8 GB、128 GB，一台普普通通的办公桌面）是每用户每月 £35.60。42 个用户用 Standard，就是每月 £1,495.20、每年 £17,942.40，这还没算下面那些额外费用。\n带 GPU 就更糟。GPU Standard 档是每用户每月 £269.40。42 个用户，就是每月 £11,314.80、每年 £135,777.60。\n两档还都要另外加上：\nMicrosoft 365 授权，如果你还没有的话 Azure 网络：入站和出站分开计费，而一个推流到浏览器的桌面，出站流量可不轻 Azure Backup 或第三方备份方案：虚拟机快照和配置文件存储不会免费备份 公网 IPv4 地址：Azure 对挂在资源上的每一个公网 IP 收费，而且价格只涨不跌 Azure 的底层定价是美元，所以英镑成本随汇率波动：英镑一走弱，每一行支出都更贵，而这两头你一样也控制不了 账单永不停止。第五年和第一年花的一样多。 这个堆栈用于 42 个用户：构建成本：\nSupermicro H13SSL-NT 主板：约 £700 AMD EPYC 64 核 CPU：约 £1,500 512 GB DDR5 ECC RDIMM（8 × 64 GB）：约 £5,200 三块双 GPU 的 B60 卡：约 £1,800 机箱、电源、启动 SSD：约 £800 硬件合计：大约 £10,000 按五年寿命摊销，就是每年 £2,000 的资本成本。再加上：\nCloudflare Zero Trust：50 个用户以内免费 Windows 11 Enterprise 的 VDI 权利：Pro 加上 Software Assurance 可升级到 Enterprise，其中包含每用户最多四台虚拟机的 VDI 访问权，或者通过 Microsoft 365 E3/E5 授权6 电费：这一项值得算出个数 峰值功耗预算：一颗 TDP 360W 的 64 核 EPYC，三块双 GPU 的 B60 卡每块 400W（共 1,200W），512 GB 内存大约 80W，再加上存储、风扇和电源损耗大约 150W。满载时墙上插座处大约 1,800W。VDI 桌面并不是满载运行的：办公用途大多是 CPU 空闲、GPU 轻载，所以现实的平均值更接近 1,000–1,200W。就算 1,100W。\n按每千瓦时 35p 计算，1.1 kW 全天候运行就是：\n1.1 × 24 × 365 = 每年 9,636 kWh 9,636 × £0.35 = 每年 £3,373 电费 所以这个堆栈的年度总成本大约是每年 £5,400：摊销硬件 £2,000，电费 £3,400，未计 Windows 授权和互联网接入。把它放在 Azure 账单旁边：£5,400 对 GPU 档的 £135,778，或者不带 GPU 的基础桌面的 £17,942。即便对比最便宜的 Azure 档，这个堆栈的成本也不到三分之一。对比 GPU 档，它只是 Azure 账单的 4%。\n为什么 VDI 适合 Proxmox VDI 是 Proxmox 不声不响却非常擅长的负载之一，原因有两个，都跟虚拟化主机本身没啥关系。\nKSM。 Proxmox 开箱即启用 KSMd，也就是内核同页合并守护进程。用同一个镜像构建的二十台 Windows 虚拟机，共享大量完全相同的内存页：操作系统、基础库、用户配置文件里没改动的部分。KSMd 找出这些重复页，把它们合并成一个物理页，写时复制。结果是，二十个桌面装进了原本只够八到十个桌面用的内存里。在一台每台虚拟机都跑同一个镜像的 VDI 主机上，KSM 不是锦上添花的优化。正是它让这种密度变得负担得起。\nbcache。 如果你的存储是用 Optane 做 bcache 的 HDD Ceph，VDI 就是它的最佳负载。启动风暴和登录风暴以读为主、高度重复，正是缓存最能吸收的模式。工作集一旦热起来，桌面就以 NVMe 的延迟从 Optane 读取，机械盘几乎不动。写入是用户配置文件的改动和临时文件，小而且足够顺序，bcache 的回写处理起来从不会让 HDD 成为瓶颈。\n配置文件：两种选项，都在 Ceph 上。 用户配置文件是 VDI 存储的另一半，有两种干净的处理方式，都不用离开集群。\nFSLogix 配置文件容器是漫游 Windows 桌面配置文件的标准方式，它可以用在兼容 S3 的对象存储上。Proxmox Ceph 通过 RADOS Gateway 提供 S3 网关，所以配置文件存储和虚拟机磁盘住在同一个集群上。不需要单独的文件服务器，没有 Azure Files 账单，没有外部依赖。\n另一个选项是完全跳过 FSLogix，用 Windows 文件夹重定向，指向 CephFS 上集群化 Samba 提供的 SMB 共享。桌面把 Documents、Desktop、AppData 等目录重定向到一个由 CephFS 支撑的 Samba 共享，由 Samba 集群处理故障切换。根本没有配置文件容器：文件就是文件系统上的普通文件，复制由 CephFS 负责。这样管理更简单，备份更简单，还彻底绕开了 FSLogix 授权：如果授权费用是个问题，或者你就是想少几个活动部件，这很有用。无论哪种方式，配置文件都放在你自己的存储上，由同一个 Ceph 池支撑，成本就是你已经买了的磁盘。\nKSM 省回内存，bcache 省回存储延迟，配置文件落在 Ceph 上（不管是 S3 上的 FSLogix 还是 CephFS 上的文件夹重定向），三者加起来，一台带 HDD、内存不算多的 Proxmox 主机，能服务的桌面比规格表上暗示的更多。这三样 Azure 每一 GB 都收钱。在这里，基础设施免费把活干了。\n备份、韧性与合规 把一切都留在 VDI 里，不只是一个成本决定。它也是一个合规和韧性的决定。\n桌面在服务器上，数据就在服务器上。没有任何东西落到用户的设备上。笔记本被偷了，丢的是一块屏幕，而不是一份数据集。没有本地磁盘要加密，没有本地副本可外泄，出了安全事件后也没有终端要做取证镜像。数据从没离开过你控制的基础设施。\n这让备份变得直截了当。虚拟机磁盘和配置文件存储都在 Ceph 上，Ceph 快照是原子的、即时的。一套快照策略覆盖每一个桌面和每一份配置文件。把一个桌面恢复到昨天的状态，是一次快照回滚，而不是重建。恢复一份配置文件是在另一个池上做同样的操作。备份目标是集群，而不是二十个散落各处的终端。\n它也简化了合规。数据在你自己拥有的硬件上、在你指得出来的机柜里、在你自己选的司法管辖区内，数据驻留就很容易证明。审计记录在你自己的日志里。访问由你写的 Cloudflare 策略把关，由你运行的 IdP 认证，由你控制的系统记录。在你和审计员要的证据之间，没有第三方云服务商。\n韧性也是同样的道理。一台坏掉的桌面虚拟机，就是从黄金镜像起一台新虚拟机，再把配置文件挂回去。用户重新登录，桌面就回来了。没有终端要重建，没有操作系统要重装，没有硬件要寄送。恢复的单位是虚拟机，起一台只要几分钟。\n你放弃了什么 这并非在所有意义上都是免费的。Azure Virtual Desktop 包办而这个堆栈不包办的事：\n微软管补丁和更新。 在这里，你自己管。 Intune 和 Endpoint Manager 与 AVD 原生集成。 在这里，你要自己管 Windows 虚拟机，或者用你选的任何工具来管。 Azure 的网络是 Azure 的问题。 在这里，你的互联网连接就是通往桌面的路径。它断了，桌面就访问不了，直到它恢复。 在 Azure 上，扩容就是刷一下信用卡的事。 在这里，扩容意味着再买一块卡或者再买一台主机。 AVD 默认给用户完整的 RDP 功能集。 在这里，浏览器渲染的路径故意剥掉了剪贴板、音频和多显示器。需要这些功能的用户，通过同一条隧道、同一套策略使用原生 RDP 客户端，但默认是锁死的浏览器，而对于用自己设备上班的员工队伍，这才是正确的默认值。 这些没有一样是小事。它们重不重要，取决于你手里有什么：如果你已经在跑 Proxmox，已经在管 Windows，已经有人能照看虚拟化主机，那这些都是你本来就在做的事。如果没有，那 Azure 卖给你的就是你没有的人手，这确实值点钱。\n问题是，它值不值得为 42 个基础桌面每年付 £18,000，或者为 GPU 桌面付 £136,000，年年如此，上面还要加网络、备份、IPv4 和授权，价格由别人定，硬件归别人所有，账单还用一种你控制不了的货币计价。或者，你每年在硬件和电费上花 £5,400，剩下的留在自己兜里。\n这就是本文要讲清楚的。下一篇把它搭起来：cloudflared 隧道、LXC、Proxmox 防火墙规则、Cloudflare Access 策略，以及浏览器标签页里那个能用的桌面。\n参考资料 Azure Virtual Desktop pricing — 计算、存储和网络在 Microsoft 365 权利之外分别计费。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows 365 plans and pricing — 按每用户每月固定计费，GPU 配置在 Enterprise 档。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare Zero Trust pricing — 50 个用户以内免费，从第 51 个用户起按用量付费。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel Arc Pro B60 specifications — 24 GB GDDR6，20 个 Xe2 核心，PCIe 5.0 x8，SR-IOV 最多 7 个虚拟功能。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel Arc Pro B70 specifications — 32 GB GDDR6，32 个 Xe2 核心，PCIe 5.0 x16，SR-IOV 最多 4 个虚拟功能。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows 11 Licensing for Virtual Desktops — 在符合条件的操作系统（例如 Pro）上加购 Software Assurance 可升级到 Enterprise，授予在你自己的本地服务器上每用户最多四台虚拟机的 VDI 权利。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/networking/zero-trust-vdi-cloudflare-access/","summary":"第一部分：用 Proxmox、Intel Arc Pro SR-IOV 和 Cloudflare Access 取代 Azure Virtual Desktop 的架构与成本论证。本地 OAuth 负责身份，浏览器渲染 RDP，防火墙隔离的 LXC 隧道独占一个 VLAN，KSM 提高内存密度，用户配置文件放在 Ceph 上。下一篇动手搭建。","title":"不背云账单的零信任 VDI：Proxmox、Intel Arc Pro 和 Cloudflare Access"},{"content":"Ping 不是诊断工具。它是一条隧道。ICMP echo（一台机器发出的请求，以及它收回的应答）会双向搬运你塞进去的任何字节，走的是一个大多数防火墙不加检查就放行、大多数日志只计数不细看的协议。一个“只放行 ping”的网络，本来就有一条完整的、可加密的 VPN 出口，任何能接入这个网络的人都能驾驶它。\n这不是新东西，而且有据可查。Loki1 在 1996 年的 Phrack 49 上发表了这种技术。Ptunnel2 在 ping 里搬运完整的 TCP 会话已经二十年了，在任何一台 Linux 机器上都只差一个软件包。没有零日漏洞。只是协议完全按规范在工作。\n这就是根源：问题在标准，而不在谁家产品的 bug。地球上每一台主机都有义务把 echo 请求里的数据原封不动地递回去。任意数据进，同样的数据出：一条隧道需要的就这么多，而这从 1981 年起就是强制要求。\n修复只是一处很窄的改动。在边界上，在 IPv4 和 IPv6 上，丢弃 ICMP echo，请求和应答都丢，保留其他所有 ICMP 消息。错误消息（Time Exceeded、Packet Too Big、Destination Unreachable）是承重的；把它们拦了，你就平白弄坏了路径 MTU 发现和 traceroute。所以这不是“拦掉 ICMP”。而是丢掉那一条是负债的消息，留下那些说真话的消息。\n你的出站策略实际放行了什么 如果你运营的网络对出站做了过滤（如果没有，那是另一个话题），那么这就是其中一行规则的账单。一条写着“拦掉所有出站，放行 ICMP，因为我们要 ping 东西”的策略，不是出站策略。它是一条完整的隧道，只不过文书归档在“诊断”名下。内部任何能发出 echo 请求并读到应答的东西，都能把数据搬到外面任何一个会应答的地方，速率是链路能承受的上限，还能绕过你买来的每一项内容管控。在日志里，它就是有人在看互联网通不通，别的啥也没有。恶意软件这么干已经好多年了，原因正在于此。安静，合规，而且通常早就被放行了。\n所以，对任何已经潜入、本不该在里面的人来说，这是首选通道。这是长租，不是砸窗抢劫。想要一条长期进出通道的人，会避开那些会触发告警的端口。他们在 echo 上架起一条隧道，一跑就是几个月。一台老在 ping 的主机，是一台没人盯着的主机。进入整个网络环境的双向连接：命令进，数据出，走的是那个没人限速、没人告警、没人细看的协议。而且它是加密的，就像任何正经工具都会加密一样，所以在线路上，载荷就是 ping 本来就携带的那种看似随机的字节，内容检测没有任何东西可读。真有人在看的话，包的大小和时间间隔仍可能暴露它。往包里头瞧，是瞧不出来的。\n而且驾驶它的机器，不一定属于在那里上班的任何人。它只需要某个能接入你网络、又能把一个 ping 发上互联网的东西，而接入你的网络比任何人愿意承认的都容易。WiFi 信号会穿过墙壁，进到走廊、停车场、楼上的公寓。会议室墙上、前台、窗边那张空桌旁的网口，往往是通电的，插上什么都会与之通信，没有 802.1X 来问你是谁。一个在范围内的信号，或者一个没人锁上的插座。这就是入场费。不要门禁卡，不要账号，不要邀请。\n想象一下你确实邀请来的那位访客。他们在会上，和和气气，记着笔记，也在发言。他们的笔记本电脑可不是这样。它连上你网络的那一刻，不管是无线还是通过桌子底下的网口，就已经在墙里面了；如果那个网络能发出 echo 请求，它就有了一条出路。你的环境里什么都没被投放。没有账号，在你拥有的任何东西上都没有权限，你的终端代理也没什么可抓，因为你的代理不在他们的机器上。人坐在桌子对面。流量正从你的正门出去，加密着，和一台 ping 得比正常多一点的笔记本毫无区别。\n访客只要在信号范围内、或插上一个开放的网口，就能穿过一台只看到 ping 的防火墙打出一条隧道 在范围内、或插上一个开放网口的访客，就有一条出路 墙里面 —— 你的网络 WiFi 够得到 走廊、 停车场、 楼上的公寓 访客的笔记本 没门禁卡，没账号 一个通电的墙上网口 没有 802.1X 问你是谁 边界防火墙 只看到 ping 服务器 在互联网上 echo 请求\u0026#160;\u0026#8594; \u0026#8592;\u0026#160;echo 应答 任意 IP 流量，加密着，骑在 ping 里面 入场费是接入网络：一个在范围内的 WiFi 信号，或者一个没有 802.1X 的通电墙上网口；出口则是穿过边界的 echo。在防火墙看来，它是一台会 ping 的主机；那些 ping 里面装的是任意 IP 流量，加密着，发往互联网上的一台服务器。 你会想到的两样东西都帮不上忙。NAT 是一张转换表，不是过滤器：内部主机发出的 echo 请求会以 ICMP id 为键开出一条映射，NAT 对待它就和对待端口一模一样，应答像其他任何流一样从这条映射回来。我在自己家里的 NAT 后面跑了一个客户端，它压根没察觉到 NAT 的存在。单独的访客 VLAN 也好不到哪去。隔离能让访客碰不到你的服务器，却完全挡不住他们上互联网，而通过一个 ping 到达的互联网，就是全部需求。只有一项管控碰得到这个问题：那个网络放不放 echo 出去？\n这东西你检测不掉，也隔离不掉。你得把门关上。之后的内容，讲的是标准为什么让这扇门开着，用三种方法搭起这条隧道，让这个论断不只靠我一句话撑着，以及关上它的那一处改动。\nICMP 中那个对你毫无益处的部分 先看标准实际怎么说，因为整个论证建立在一句话上，而人们没读过就把它挥手打发了。\necho 请求带有一个数据字段。在 IPv4 中，RFC 7923 明白地写着“the data received in the echo message must be returned in the echo reply message”。IPv6 把措辞收得更紧，而不是更松：RFC 44434 把这个字段定义为“zero or more octets of arbitrary data”，然后要求它“MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message”。\n作为运维人员读它，这是个保活机制。作为搬数据的人读它，这是一份大礼。**标准强制每一台可达的主机接受一块由你挑选的字节，并按需原封不动地直接送还给你。**长度任意。内容任意。没有握手，没有端口，远端也没有哪个应用需要同意什么。内核就把这事办了，任何用户态进程都还没来得及看一眼。\n而且两个协议族都是这样。迁移到 IPv6 并没有把这个问题收拾掉。它把门开得更大了。RFC 792 说数据“must be returned”；RFC 4443 说它“MUST be returned entirely and unmodified”，同一扇门，用一把更结实的锁把它撑开。正因如此，这条通道在 ICMP echo 和 ICMPv6 echo 上同样存在，一条只在一个协议族上关掉它、另一个不管的规则，等于什么都没关。隧道只会搬到你留着没关的那个协议族上。不管你对此做什么，都要在 ip 和 ip6 上一起做。\n协议里没有别的东西会这样。Time Exceeded 携带的是那个死掉的包的头部，仅此而已。Destination Unreachable 是关于一件已经发生之事的报告。这些消息告诉你关于网络的事实。echo 则双向携带你放进去的任何东西，还管自己叫诊断。\n错误消息是承重的，echo 不是 这是“干脆把 ICMP 全拦了”那帮人从来不做的区分，而它就是全部要点，所以我认认真真地讲一次。\n拦截 ICMP 错误消息，会悄无声息地弄坏网络。过滤掉 Packet Too Big，你就杀死了路径 MTU 发现：握手完成了，小的传输正常，而任何携带满尺寸包的东西都会永远挂着，日志里什么都没有。在 IPv6 上，这甚至谈不上口味问题。路由器不做分片，所以 RFC 48905 把 Packet Too Big 列为防火墙“must not drop”的消息之一，并警告说没有它，“parts of the Internet will become inaccessible”。过滤掉 Time Exceeded，你就弄坏了 traceroute，而 RFC 18126 正是把这一点列为该消息必须存在的理由。这些都不是可选的。它们是让网络能自我纠正的反馈，上一篇我已经详细讲过失去它们的代价。\n现在把 echo 丢掉，再去找找坏了什么。跨越边界的 ping 不能用了。清单就这些。完整的清单。\n路径 MTU 发现不在乎，因为它靠的是 Packet Too Big，那是一条错误消息。traceroute 不在乎，因为 traceroute -T 和 -U 走的是 TCP 和 UDP，读的是回来的错误消息。它们没有一个发送 echo。IPv6 上的邻居发现不在乎，因为那是类型 133 到 137，你得保留它们，否则这个网段就死了。上一篇里的反向 TTL 技巧对任何应答都管用，而一次 TCP 握手就能给你一个应答。让上一篇那些诊断能工作的一切，都照样工作，因为它里面没有一项测量发送过 echo 请求。\n所以这个协议的两半，简直天差地别。一半是网络在告诉你关于它自己的真相，你弄坏它，后果自负。另一半是一个被强制要求的载荷回送服务，碰巧被叫作诊断，而为保留它所能说出的最有力的理由，不过是 ping 很顺手。它是很顺手。它也是 ICMP 里攻击者唯一能驾驶的部分，而我可以确切地给你看他们用什么来驾驶。\n保留 ICMP 错误消息并限速；只丢弃 echo，双向、两个协议族 一个协议的两半，只有一半是负债 保留 限速，绝不一拦了之 Destination Unreachable 说明一个包为何送不到 Packet Too Big 路径 MTU 发现依赖它 Time Exceeded traceroute 依赖它 Parameter Problem 报告一个畸形的头部 邻居发现 133\u0026#8211;137 IPv6：本地网段依赖它 弄坏这些，网络就悄无声息地坏掉。 丢弃 双向，两个协议族 Echo 请求 type 8（IPv4）· type 128（IPv6） Echo 应答 type 0（IPv4）· type 129（IPv6） 除了下面这个，没东西需要它们： ping 命令。 攻击者驾驶的一切 经 ICMP 都跑在它们上面。 只在一个协议族上关掉的隧道，没算关。 ICMP 错误消息是承重的：路径 MTU 发现、traceroute 和 IPv6 邻居发现都依赖它们，拦掉它们会悄无声息地弄坏网络。echo 是唯一一个除了 ping 之外没有任何东西依赖的部分，也是攻击者唯一能驾驶的部分。丢掉它，保留其余的，两个协议族都要。 证明它：一条用 ping 搭成的 VPN 工具是 Hans7，作者 Friedrich Schöller。它自己的介绍只有一行：它“makes it possible to tunnel IPv4 through ICMP echo packets, so you could call it a ping tunnel.” 它在两端各起一个 tun 接口，给它们分配地址，然后把两者之间的每一个包都装进 ICMP echo 里搬运。在中间的网络看来，这是有人在 ping 一台服务器，服务器在应答。在我看来，这是一条路由。\n一整个 IP 包装在一个 ping 的数据字段里出行 一整个包骑在一个 ping 里面 你的 SSH 会话发出的那个包 IP 头 源 / 目的 TCP 头 端口 22 应用数据 你的按键、你的文件 Hans 把整个包拷进 echo 数据字段 在线路上离开的那个包 IP 头 你到服务器 ICMP echo 请求 type 8 · id · seq echo 数据字段 上面那整个包，原封不动 在边界防火墙看来，这是一个 echo 请求，日志记下的是一次 ping。 数据字段里面是一个发往远端所能到达之任何地方的包。 标准要求远端把那份数据直接送回，所以应答里也是一个包。 隧道搬运的每一个包，都被拷进一个 ICMP echo 请求的数据字段。标准强制远端把那份数据原样送回，所以应答里也带着一个包。防火墙数到的是一次 ping；而载荷能去到远端路由得到的任何地方。 我在自己的线路上跑了它：一台公网地址上的服务器，一台在我家 NAT 后面的客户端，然后把真实流量推过去。不是设了标志位的合成 ping。是一次 SSH 登录和一次文件拉取，骑在 echo 里面。\n在我跑服务器的那头，它只差一个软件包；在别处就从 Schöller 的源码编译。服务器必须是 Linux 并且需要 root，因为打开一个 tun 设备和一个原始 ICMP socket，两者都需要。语法故意做得很小：\n# on the server (public IP), pick the tunnel network and a password hans -s 10.8.0.0 -p \u0026#39;\u0026lt;password\u0026gt;\u0026#39; # server takes 10.8.0.1; clients are handed 10.8.0.2 and up # on the client, point it at the server\u0026#39;s public address hans -c \u0026lt;server-public-ip\u0026gt; -p \u0026#39;\u0026lt;password\u0026gt;\u0026#39; 两端都起来之后，每一侧都有一个新接口，带着隧道网络上的地址，它的表现和任何其他点对点链路一样：\n那次会话里没有任何东西知道自己在 ping 里面。SSH 向 10.8.0.1 开一条 TCP 连接，内核把它路由出 tun0，Hans 把每个包包成 echo 请求的载荷，远端再拆开喂给它自己的 tun0。应答作为 echo 应答的载荷回来。在 SSH 看来，它是在一条普通链路上通信。在防火墙看来，没人打开过任何东西。只是一台主机正在被 ping。\n它在线路上是什么样子 这是了结争论的部分，所以别看我这边，看防火墙眼里的那个视角。\n真正在发生的事，和防火墙记下的，不是同一幅画面 一条隧道，两幅画面 真正在发生的事 你的主机 tun0 · 10.8.0.2 服务器 tun0 · 10.8.0.1 它所能 到达之处 SSH、文件拉取 照常路由出去 任意 IP 流量，经隧道 作为普通的包 边界防火墙看到并记下的 你的主机 198.51.100.9 服务器 192.0.2.7 echo 请求 echo 应答 icmp echo request 198.51.100.9 \u0026gt; 192.0.2.7 icmp echo reply 192.0.2.7 \u0026gt; 198.51.100.9 icmp echo request 198.51.100.9 \u0026gt; 192.0.2.7 …… 被数作 ping，内容没人读 同一条线路。防火墙永远看不到里面的那些包。 隧道在两台主机之间搬运真实流量，再出去到服务器能到达的任何地方。在边界上，它只是 echo 请求和 echo 应答——防火墙记下的是 ping，永远看不到裹在里面的那些包。 坐在外侧接口上，在 SSH 会话运行时用 tcpdump 只抓 ICMP。没有一条到 22 端口的 TCP 跨越边界。跨越边界的是 echo 请求和 echo 应答，来来回回，每一个都比真正的 ping 要胖，因为它的载荷里装着一段 TCP 报文的切片：\n# on the boundary, watch only ICMP echo while traffic runs over the tunnel tcpdump -ni \u0026lt;wan-iface\u0026gt; \u0026#39;icmp[icmptype] = icmp-echo or icmp[icmptype] = icmp-echoreply\u0026#39; 读一读那份抓包里要紧的两样东西。第一，载荷长度：一次正常的 ping 发 56 字节，每一行都一样大，而这些长度各不相同、而且偏大，因为你搬运的东西的大小，泄进了 ping 的大小里。第二，速率：诊断用的 ping 是一秒一个，而这是洪水，因为它在搬一个文件。两样都没藏。两样都明明白白地坐在一个没人去看的协议上。\n这就是全部的要点。不是说这有多巧妙，或者一看就难以发现。几乎没人去看，因为那台设备被配置成放行 ICMP，日志把它数作 ping，告警又是按某人想起来该担心的那些端口去调的。流量离开时看着像一次健康检查，而这次健康检查是一条通往服务器所能到达之处的路由。\n一条亲手搭出来的完整隧道 VPN Hans 证明了这条通道存在，但它替你把接口和地址分配都办了，递回来一条路由，所以它没完全展示出你搭成的是什么。要看清这是一条完整意义上的 VPN——整台机器的流量从 ping 里出去，而不只是两台具名主机之间的一条链路——就亲手把它拼起来。icmptunnel8，作者 Dhaval Kapil，就是干这个的，它自己的介绍也只有一行：“Transparently tunnel your IP traffic through ICMP echo and reply packets.” 同样的思路，tun 设备加 echo 载荷，只不过管道是你自己铺的，没有什么东西藏在二进制里。\n在服务器上，你启动隧道，把接口拉起来，然后做那件把整盘棋都摊开的事：告诉内核别再自己应答 ping，这样它自己的 echo 应答就不会和隧道发出的那些打架。\nsudo ./icmptunnel -s 10.0.1.1 # server mode; creates tun0, then blocks # from a second shell, bring the interface up (iproute2, not the net-tools the repo ships) sudo ip addr add 10.0.1.1/24 dev tun0 sudo ip addr add 2001:db8:1::1/64 dev tun0 sudo ip link set tun0 mtu 1472 up # 1500 − 20 (IP) − 8 (ICMP); see below # stop the kernel replying to pings — echo now belongs to the tunnel sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 # let the server route the client\u0026#39;s packets onward sudo sysctl -w net.ipv4.ip_forward=1 把 icmp_echo_ignore_all 这一行再读一遍，因为它说的比看上去要多。那个旋钮是内核自带的，出厂就是一道防御：设上它，用内核自己的话说，它“will ignore all ICMP ECHO requests sent to it”9，于是运维人员可以把一台主机彻底从 ping 的雷达上拿掉。它现在两个协议族都有。net.ipv4.icmp_echo_ignore_all 多年前就有，net.ipv6.icmp.echo_ignore_all 是后来加上来配套的。10 隧道把那个防御开关打开，用的却是相反的理由：内核不再自己应答 echo，它的两端就能把 echo 当作纯粹的传输来用。而这正是破绽。写这套协议栈的人，早就把 echo 当成一台主机有理由拒绝的东西——本文这条规则，在边界上，为它身后的每一台主机，一次性作出同样的决定。\n在客户端上，你把接口拉起来，然后把默认路由指下去。不是经隧道到达某一台主机。是一切。\nsudo ./icmptunnel -c \u0026lt;server-public-ip\u0026gt; # client mode; creates tun0 sudo ip addr add 10.0.1.2/24 dev tun0 sudo ip addr add 2001:db8:1::2/64 dev tun0 sudo ip link set tun0 mtu 1472 up # keep the route to the server itself OUT of the tunnel... sudo ip route add \u0026lt;server-public-ip\u0026gt; via \u0026lt;gateway\u0026gt; dev \u0026lt;iface\u0026gt; # ...then send everything else down it sudo ip route replace default dev tun0 这个项目自己的 client.sh 和 server.sh 仍然用的是 net-tools 的 ifconfig 和 route。上面那些 ip 命令是 iproute2 的等价物，干的是同一件事。那条到服务器的路由，是人们会忘掉的一行：把它排除在隧道之外，否则携带隧道的那些 echo 包会试图顺着隧道走，什么也出不去。其余一切现在都走 tun0，裹在 echo 里，到达服务器。它会不会再往前走，是个路由选择。服务器上一条 masquerade 规则就能把它用服务器自己的地址放上公网，而这里故意没放，因为要展示的东西是隧道，隧道不需要它。\n那就是一条完整隧道 VPN，用寥寥几条命令，从 ping 里搭了出来。客户端发出的每一个包——网页、DNS、SSH，全部——都被捕进 tun0，作为 echo 请求发给服务器离开，答案作为 echo 应答回来。一台处在“只放行 ICMP”网络上的机器，刚刚把它全部的出站流量交给了外面的一台设备，而边界记下的是一台爱 ping 的主机。\n用 Python 自己写一个 接下来这部分，应该让任何指望靠认出某个工具来防御的人心里发怵。Hans 和 icmptunnel，都没做任何你不能用一个下午自己写出来的事。打开一个 tun 设备，把每个包包成 echo 请求的载荷，拆开回来的那些。整个机制就这些，光是隧道本身，大约六十行标准库 Python，完全不用装任何东西。下面这个版本在上面加了一样东西：它加密载荷，而那是唯一一处引入依赖的地方。\n#!/usr/bin/env python3 # pingvpn.py — a VPN tunnel over ICMP echo, in one short file. # # Not a product. It exists to show the channel is trivial to rebuild, so a # defence that hunts for a known tool is chasing the wrong thing entirely. # Linux, needs root (a tun device and a raw ICMP socket both do), and the # `cryptography` package for the AES (pip install cryptography). # # server: sudo python3 pingvpn.py --server # client: sudo python3 pingvpn.py --client \u0026lt;server-public-ip\u0026gt; # # The payload is encrypted with AES-128-GCM under a pre-shared key before it # goes on the wire, so what a firewall sees in the echo data is random bytes — # the same as a real ping\u0026#39;s padding, and nothing for content inspection to read. import argparse import fcntl import hashlib import os import select import socket import struct import sys from cryptography.hazmat.primitives.ciphers.aead import AESGCM TUNSETIFF = 0x400454CA IFF_TUN = 0x0001 IFF_NO_PI = 0x1000 MAGIC = 0x4954 # \u0026#39;IT\u0026#39; in the id field, so we ignore real pings ECHO_REQUEST = 8 ECHO_REPLY = 0 PSK = b\u0026#34;change-me-to-a-shared-secret\u0026#34; # pre-shared secret, both ends KEY = hashlib.sha256(PSK).digest()[:16] # 128-bit key -\u0026gt; AES-128-GCM AEAD = AESGCM(KEY) def open_tun(name=b\u0026#34;tun0\u0026#34;): fd = os.open(\u0026#34;/dev/net/tun\u0026#34;, os.O_RDWR) fcntl.ioctl(fd, TUNSETIFF, struct.pack(\u0026#34;16sH\u0026#34;, name, IFF_TUN | IFF_NO_PI)) return fd def encrypt(data): # -\u0026gt; nonce || ciphertext+tag nonce = os.urandom(12) return nonce + AEAD.encrypt(nonce, data, None) def decrypt(blob): # raises on a packet that is not ours return AEAD.decrypt(blob[:12], blob[12:], None) def checksum(data): if len(data) % 2: data += b\u0026#34;\\x00\u0026#34; total = sum(struct.unpack(\u0026#34;!%dH\u0026#34; % (len(data) // 2), data)) total = (total \u0026gt;\u0026gt; 16) + (total \u0026amp; 0xFFFF) total += total \u0026gt;\u0026gt; 16 return ~total \u0026amp; 0xFFFF def build_echo(icmp_type, payload): head = struct.pack(\u0026#34;!BBHHH\u0026#34;, icmp_type, 0, 0, MAGIC, 0) csum = checksum(head + payload) return struct.pack(\u0026#34;!BBHHH\u0026#34;, icmp_type, 0, csum, MAGIC, 0) + payload def main(): ap = argparse.ArgumentParser(description=\u0026#34;a VPN tunnel over ICMP echo\u0026#34;) group = ap.add_mutually_exclusive_group(required=True) group.add_argument(\u0026#34;--server\u0026#34;, action=\u0026#34;store_true\u0026#34;) group.add_argument(\u0026#34;--client\u0026#34;, metavar=\u0026#34;SERVER_IP\u0026#34;) args = ap.parse_args() out_type = ECHO_REQUEST if args.client else ECHO_REPLY in_type = ECHO_REPLY if args.client else ECHO_REQUEST peer = args.client # None on the server until a client is seen tun = open_tun() sock = socket.socket(socket.AF_INET, socket.SOCK_RAW, socket.IPPROTO_ICMP) print(\u0026#34;tun0 created. bring it up with an address and route, then send traffic.\u0026#34;, file=sys.stderr) while True: readable, _, _ = select.select([tun, sock], [], []) if tun in readable: # a packet wants to leave this host packet = os.read(tun, 65535) if peer: sock.sendto(build_echo(out_type, encrypt(packet)), (peer, 0)) if sock in readable: # something arrived over ICMP data, _ = sock.recvfrom(65535) ihl = (data[0] \u0026amp; 0x0F) * 4 # skip the IP header the kernel adds icmp = data[ihl:] if len(icmp) \u0026lt; 8 or icmp[0] != in_type or icmp[4:6] != struct.pack(\u0026#34;!H\u0026#34;, MAGIC): continue try: packet = decrypt(icmp[8:]) # wrong key or a real ping -\u0026gt; skip except Exception: continue if args.server: peer = socket.inet_ntoa(data[12:16]) # reply to whoever sent os.write(tun, packet) # hand the carried packet to the stack if __name__ == \u0026#34;__main__\u0026#34;: main() 那就是整条隧道。它打开 tun0 和一个原始 ICMP socket，在两者之间倒腾包：离开主机的东西被包成一个 echo 请求（在服务器上则是 echo 应答）发给远端；经 ICMP 到达的东西被拆开，交还给协议栈。id 字段被钉在一个值上，好让它避开真正的 ping，服务器则从它看到的第一个包的源地址，学到该往哪里应答。\n值得多讲几句的是加密，因为那正是真家伙会做的事，也是为什么你往包里头看抓不到它。载荷在被包起来之前，用一个预共享密钥以 AES-128-GCM 封好，所以 echo 数据里的那些字节，和真正 ping 携带的随机填充没法区分。把那两行加密代码抽掉，隧道照样只靠标准库跑起来——它需要 pip install cryptography 的唯一理由就是 AES，而 AES 恰恰是把一条可读的隧道变成一条不可读隧道的那一部分。按和之前一样的方式把它拉起来，少掉 masquerade。证明这个要点并不需要它：\n# server: start it (creates tun0, then blocks), then configure from the same shell sudo python3 pingvpn.py --server \u0026amp; sudo ip addr add 10.9.0.1/24 dev tun0 sudo ip addr add 2001:db8:9::1/64 dev tun0 sudo ip link set tun0 mtu 1400 up sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 # client sudo python3 pingvpn.py --client \u0026lt;server-public-ip\u0026gt; \u0026amp; sudo ip addr add 10.9.0.2/24 dev tun0 sudo ip addr add 2001:db8:9::2/64 dev tun0 sudo ip link set tun0 mtu 1400 up sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 sudo ip route add \u0026lt;server-public-ip\u0026gt; via \u0026lt;gateway\u0026gt; dev \u0026lt;iface\u0026gt; sudo ip route replace default dev tun0 把它写出来的理由不在工具本身。而在于这工具是一次性的。一个短文件，加上加密之前没有依赖，而且每个人敲出来的副本，在线路上看起来都略有不同。所以一条抓得住这一个的特征规则，下周什么也抓不到。你没法靠点名软件把自己拦出这个困境，因为根本没有软件可点名。\n它甚至不需要一个 shell。逻辑就是字节进、字节出，所以它能移植到任何能打开 socket 的东西上。连 WebAssembly 也行：浏览器沙箱通常会直接拒绝给一个网页原始 socket，但在那道屏障被撤掉的地方（一个被用户授了权的浏览器，在一台用户拥有足够权限来打开原始 socket 的机器上），同样这段短程序就能在一个标签页里跑起来。而这正是它让人不安的那一半。在这件事上你没法信任你的用户。驾驶隧道的那台主机就在内部，握在某个你认定安全、因为他们坐在防火墙后面的人手里，而防火墙正是那个被隧穿过去的东西。边界信任假定威胁在墙外。这一个每一次都从墙里面开始。\n当心 MTU，以及 IPv6 那条 1280 的下限 隧道在线路上不是免费的。你搬运的每一个包，在离开前都会多出一个外层 IP 头和一个 ICMP 头，所以内层接口必须坐在这条路径能承载的额度之下。在 IPv4 上这几乎不花攻击者什么代价。把内层 MTU 设低（icmptunnel 的 1472 是 1500 减去外层 IP 头的 20 和 ICMP 头的 8，上面那段 Python 则降到 1400 留点余地），而在这个数仍然不对的地方，IPv4 会把超大的包分片，在远端重组，而不是丢掉。在你能挑的那条低下限，和把其余部分糊弄过去的分片之间，隧道几乎能跑过任何路径。那种灵活，正是让 IPv4 成为干这事舒服地方的原因。\nIPv4 的分片和 MTU 余地让隧道哪里都能跑；IPv6 两样都没有，所以它失败关闭 为什么它在 IPv4 上哪里都能跑，在 IPv6 上却失败关闭 IPv4 IP 头 20 B ICMP 8 B 内层包 tun MTU 1472 B 太大了？IPv4 分片再重组 \u0026#8212; 隧道几乎跑过任何路径。 IPv6 IPv6 头 40 B ICMPv6 8 B 内层包 不能低于 1280 B 1280 B 硬性下限（RFC 8200） 太大了？IPv6 路由器丢掉它，不分片 \u0026#8212; 隧道失败关闭。 IPv4 的退路 \u0026#8212; 一条你能挑的下限，其余靠分片 \u0026#8212; 正是让隧道可靠的东西。 IPv6 两样都没有，所以在 IPv4 上几乎哪里都跑的攻击，在 IPv6 上很脆弱。这里更安全的协议族。 Packet Too Big \u0026#8212; 一条你保留的错误消息，不是 echo \u0026#8212; 正是让发送方找到合适尺寸的东西。非按比例绘制。 隧道给每个包砍掉一个外层 IP 头和一个 ICMP 头。IPv4 允许你削薄内层 MTU，并把仍然过大的东西分片，所以它几乎哪里都能跑；IPv6 设了一条硬性的 1280 字节下限，而它的路由器不分片，所以超大的包会被丢掉，隧道便失败关闭——这让 IPv6 在这里成了更安全的协议族。 IPv6 没那么宽容，而这一次，那是站在你这边的。下限是硬的：RFC 820011 第 5 节要求“every link in the Internet have an MTU of 1280 octets or greater”，而 IPv6 路由器在转发途中不分片。这一下子拿掉了 IPv4 的两条退路，而且它在两个方向上都咬住隧道。把隧道跑在 ICMPv6 之上，路径上每一条链路都得承载 1280，所以一条降到那以下的路径会把传输拖垮，而你没法像在 IPv4 上那样削到下限以下。把 IPv6 装进隧道里，你从另一侧撞上同一堵墙：内层接口也不能低于 1280，而外层 ICMPv6 封装——40 字节头加 8 字节 ICMPv6——已经在花额度了，所以路径得腾出 1280 加上那份开销。任一处没对上，包就被丢掉，不是被削小来将就：隧道起得来，小东西能用，任何满尺寸的都挂着。所以 IPv6 在这里是更安全的协议族，不是更危险的那个。那个在 IPv4 上几乎哪里都跑得起来的攻击，在 IPv6 上很脆弱，而且失败关闭。不过更安全不等于安全：echo 通道在 IPv6 上也是开的，所以规则仍然两个协议族都把它丢掉——只是攻击者没法像倚仗 IPv4 那样倚仗 IPv6。\n从那种情况里恢复过来，靠的是你小心保留的那条 ICMP 错误消息。Packet Too Big 正是让发送方找到可用尺寸的东西，而它是一条错误消息，不是 echo，所以本文主张的规则不去碰它。丢掉隧道，保留诊断——那就是全部设计，而 MTU 是它又一次挣得自己身价的地方。\n把规则收窄到只针对 echo 上一篇给出了完整的中转规则集：在限速下放行错误消息，丢弃 echo。我不打算重印它。本文主张的改动，是一对行，而正是这一对在干活：\n# permit the ICMP errors — these are load-bearing, keep them ip protocol icmp icmp type { destination-unreachable, time-exceeded, parameter-problem } \\ limit rate 100/second accept ip6 nexthdr ipv6-icmp icmpv6 type { destination-unreachable, packet-too-big, \\ time-exceeded, parameter-problem } limit rate 100/second accept # drop the tunnel — echo, both directions, both families ip protocol icmp icmp type { echo-request, echo-reply } drop ip6 nexthdr ipv6-icmp icmpv6 type { echo-request, echo-reply } drop 不过这条规则不是 Linux 独有的。在任何配得上这名字的防火墙上，它都是同一个意图：放行错误消息，给它们的速率封顶，在两个协议族上双向丢弃 echo。所以这里把它写成你更可能正握在手里的那些方言。\nBSD pf（pfSense、OPNsense、OpenBSD、FreeBSD）：\n# permit the errors; block echo both directions, both families pass in proto icmp icmp-type { unreach, timex, paramprob } pass in proto icmp6 icmp6-type { unreach, toobig, timex, paramprob, \\ routersol, routeradv, neighbrsol, neighbradv } block in proto icmp icmp-type { echoreq, echorep } block in proto icmp6 icmp6-type { echoreq, echorep } 把邻居发现的那些类型留在 icmp6 那一行上；一旦丢了它们，就是会把网段拖垮的那些。\nCisco IOS（扩展 ACL，应用在边缘）：\nip access-list extended ICMP-EDGE permit icmp any any unreachable permit icmp any any time-exceeded permit icmp any any parameter-problem deny icmp any any echo deny icmp any any echo-reply ! ipv6 access-list ICMP6-EDGE permit icmp any any packet-too-big permit icmp any any unreachable permit icmp any any time-exceeded permit icmp any any parameter-problem permit icmp any any nd-ns permit icmp any any nd-na deny icmp any any echo-request deny icmp any any echo-reply 在 IPv4 上 echo 类型是 echo；在 IPv6 上是 echo-request。限速放在 CoPP 里，不在 ACL 里。\nJuniper Junos（防火墙过滤器；inet6 过滤器与此对应，并保留邻居发现）：\nfirewall family inet filter icmp-edge { term errors { from { protocol icmp; icmp-type [ unreachable time-exceeded parameter-problem ]; } then { policer icmp-cap; accept; } } term drop-echo { from { protocol icmp; icmp-type [ echo-request echo-reply ]; } then discard; } } MikroTik RouterOS——丢弃那两个 echo 类型，然后接受 ICMP 的其余部分，这样就保留了错误消息，在 v6 上还保留了邻居发现：\n/ip firewall filter add chain=forward protocol=icmp icmp-options=8:0 action=drop comment=\u0026#34;echo request\u0026#34; add chain=forward protocol=icmp icmp-options=0:0 action=drop comment=\u0026#34;echo reply\u0026#34; add chain=forward protocol=icmp action=accept comment=\u0026#34;keep the errors (add limit= to cap)\u0026#34; /ipv6 firewall filter add chain=forward protocol=icmpv6 icmp-options=128:0 action=drop comment=\u0026#34;echo request\u0026#34; add chain=forward protocol=icmpv6 icmp-options=129:0 action=drop comment=\u0026#34;echo reply\u0026#34; add chain=forward protocol=icmpv6 action=accept comment=\u0026#34;keep errors and ND\u0026#34; 语法各异，规则只有一条。放行那些携带真相的消息，丢弃那条携带你字节的消息。\n两条警告，你要是跳着看，两条都会咬你。\n**在边界上丢弃 echo，而不是在一台主机和它自己的路由器之间的链路上。**在 IPv6 上，邻居发现就是 ICMP——类型 133 到 137，nd-router-solicit 到 nd-redirect——它就是网段用来干 IPv4 里 ARP 那份活的东西。把一条 echo 丢弃规则搬到链路本地或主机链上，又没保留那些类型，网段几分钟内就不工作了，而且它看起来不像是防火墙的毛病。在流量离开你网络的地方过滤 echo，内部链就别碰。\n**双向都丢弃，它两头才都不再有用。**只拦请求，能让你的主机不被 ping，却仍然放应答出去，而多费点劲，一条隧道单靠应答就能搭起来。请求和应答都丢，在 IPv4 和 IPv6 上，通道两头就都关上了。\n丢掉 ping 实际上要你付出什么 对损失要诚实，因为一项你夸大过头的管控，是一项别人在第一次觉得碍事时就悄悄回滚掉的管控。\n你失去了跨越边界的 ping。那就是代价，全部说清楚。这是一笔实实在在的代价。ping 是本能反应，它长在每个人的指头上，你上线这个的第二天，就会有人说互联网断了，因为他们 ping 网关超时。没断。你是告诉网关别再应答一个从头到尾只是图方便的请求。\n可达性测试不需要 echo。一条到某个你知道开着的端口的 TCP 连接，告诉你主机在线、路径通，而且它告诉你的比一次 ping 更多，因为它证明了有个服务在应答，而不只是一个内核：\n# \u0026#34;is it up and reachable?\u0026#34; without sending a single echo nc -zv \u0026lt;host\u0026gt; 443 # did the TCP handshake complete? traceroute -T -p 443 \u0026lt;host\u0026gt; # walk the path on TCP, read the errors back 这两条都骑在你保留的 ICMP 错误消息，和一个真实服务本就在说的 TCP 上。两条都不发 echo。所以诚实的取舍是这样：你放弃工具箱里信息量最少的那个工具，那个只回答“某个内核愿不愿意应答”、别的什么都不说的工具，换来的是你关上了 ICMP 里攻击者唯一能变成一条离开你网络之路由的部分。你在糟糕的日子里真正会去用的那些诊断手段，全都在线那一边，分毫未动。\nFisher-Price OS (Windows) 不是逃出这件事的出路 如果你运营的是一家 Fisher-Price OS (Windows) 的铺子，你可能把这当成别人的问题在读。它不是。负债在协议里，不在操作系统里。标准强制每一台应答 ping 的主机把你的字节递回去，它可不会先停下来问问这台主机跑的是什么。\n那套操作系统上的一台机器，能当一个相当好的隧道端点。Hans 带了一个 Windows 客户端，所以一台内部机器可以当客户端那头，像其他任何机器一样把它的流量装在 echo 里送出去。它不太容易当的，是服务器那头，因为那需要一个 tun 设备和一个一直开着的原始 ICMP socket，而在这套操作系统上，只有 Administrators 组的成员能创建 SOCK_RAW 类型的 socket12——微软自己的原话。所以服务器坐在一套真正的操作系统上，就像我的那台一样，而那台在防火墙后面悄悄一路 ping 出去的机器，正是别人告诉你因为在内部所以安全的那一台。\n这对任何在防守它的人来说，就是要点。边界规则不在乎内部跑的是什么。在流量离开网络的地方丢弃 echo，它身后的每一台主机就都被罩住了——你管理的那些，还有那台别人向你打包票说躲在 NAT 后面的。我不跑那玩意，我也不打算假装隧道会对它客气。不管端点启动进的是什么系统，修复都是同一条规则，放在同一个地方。\n如果你要加固的是那台机器本身（是机器，不是网络），PowerShell 至少能让它自己不再应答或发出 ping：\nforeach ($t in 8,0) { New-NetFirewallRule -DisplayName \u0026#34;Drop ICMPv4 Echo $t\u0026#34; -Protocol ICMPv4 -IcmpType $t -Direction Inbound -Action Block } foreach ($t in 128,129) { New-NetFirewallRule -DisplayName \u0026#34;Drop ICMPv6 Echo $t\u0026#34; -Protocol ICMPv6 -IcmpType $t -Direction Inbound -Action Block } 再加上 -Direction Outbound 的孪生规则，好让它不能当隧道客户端往外伸，而只是坐在那当目标，并且别去碰 ICMPv6 的错误和邻居发现类型，理由和本页其他地方放它们一马是一样的。但别把它错当成那项管控。一台主机防火墙不是一台中转防火墙。它加固了那台机器，却对边界毫无改变，而边界才是这件事真正被关掉的地方。\n今天就去找管你边界的那个人提这件事 读到这里，你多半心里想着的是一个轮不到你去改的网络。大多数人都是。所以有用的做法不是去伸手够防火墙，而是把这个问题摆给握着它的那个人——你自己的网络团队、你的 MSP，或者那家设备坐在边缘上的厂商——而且今天就摆，因为这扇门从 1996 年起就开着，再多开一周，是一个选择。\n明白地问，并且做好对方一脸茫然的准备，因为我敢拿全英国的 GDP 打赌，那里没人对 echo 多想过一秒。它是那个人人放行、没人认领的包，而一条没人认领的规则，恰恰就是那条多年来一直摆错、没人察觉的规则。\n拿这四件事问他们，就用这些话，好让他们没有空子可以点着头却什么都不改：\n**我们在边界上，IPv4 和 IPv6 两个协议族，都丢弃 ICMP echo 请求和 echo 应答吗？**不是“我们放不放行 ICMP”——是那条具体的消息，两个方向，两个协议族。如果答案只有一个协议族，那就不算答案，因为隧道只会搬到另一个上去。 **我们仍然放行那些 ICMP 错误消息吗？**Destination Unreachable、Time Exceeded、Parameter Problem，以及 IPv6 上的 Packet Too Big，在限速之下而不是一拦了之。如果他们说不上来，那他们要么把一切都敞开着、要么把全部都拦了的概率一半一半，而两样都是错的。 **我们在内部链上保留了 IPv6 邻居发现吗？**类型 133 到 137。正是这一条，把“我们加固了 ICMP”变成一个星期后悄无声息死掉的网段，也是一次仓促改动会犯的错。 **把规则给我看。**不是一份策略声明，是那台真设备上那条真规则，以及它上线的日期。一项没人指得出来的管控，就是一项不存在的管控。 设备会不会从厂商那里到货时就已经关好了这个？不会。几乎所有地方的默认都是放行 echo，并把它记成一个包计数，而这正是隧道能工作的全部原因。它不是在利用一个 bug，它是在用出厂即标准的那套配置。没人会去关一扇从没人告诉过他开着的门。\n坚持用这些措辞的理由是，对本文那个偷懒的修法是“行，我们把 ICMP 拦了”，而那个修法比这个窟窿更糟。它弄坏路径 MTU 发现和 traceroute，会让你对着挂死的传输到处追，日志里却什么都没有，在 IPv6 上它还会把互联网的一部分整个从桌上拿走。如果你问的那个人伸手去够那个，拦住他。这条指令故意很窄：丢弃 echo，保留错误消息，保留邻居发现。正因如此，任何靠跑防火墙吃饭的人，都应该能在一个下午做完这个改动，然后告诉你搞定了。\n而如果他们是一家你付钱让他们管这个的 MSP：一个不能张口就告诉你你自己的 echo-与-错误 配置是什么样、或者把“我们拦 ICMP”当成安全选项那样回答你的供应商，刚刚就你这片环境的其余部分告诉了你一些事。下一次一个故障卡在两个网络之间、两边都说自己干净时，记住他们当中是哪一个说不清自己的防火墙拿一个 ping 怎么办。\n那个从来就不是诊断工具的诊断工具 Ping 风光了很久。Mike Muuss 在 1983 年写了它，用来检查一台主机还应不应答，照着声呐给它起了名，而它这一件活干得太好，好到成了人人伸手去够的第一样东西，和没人去质疑的最后一样东西。四十年过去，它成了肌肉记忆，而肌肉记忆恰恰就是一项负债得以存活的方式。没人会去重新审视自己一向这么做的事。\n可看看它到底是什么，剥掉习惯之后。一条不携带任何关于网络之事实的消息，一条每台主机都有义务用你自己的字节递回来作应答的消息，一条跑在管控不检查、日志不细读的协议之上的消息。所有让它显得人畜无害的东西——它只是个诊断、它只是个保活、人人都放行它——正是同一样东西，让它成为现存的、离开一个经过过滤之网络的最干净办法。这个行业拦掉 ICMP 错误消息，那些携带真相、丢了就把网络弄坏的消息，却对 echo 挥手放行，那条你往里装什么它就携带什么的消息。它把这个协议整个拿反了。\n修复并不巧妙。保留那些告诉你真相的消息，丢掉那条只会把你字节递回来的。它让你付出一条你本就没理由信它来做诊断的命令，而它关上了一扇从 1996 年起就一直敞着的门，那门记在一本黑客杂志里，被打包了二十年，一直大开着，就因为关上它会意味着有人不能 ping。要知道一样东西的成本，而不是它的标价。Ping 标价是零（nowt）。它的成本，是那条你看不见的通道。\nLoki, Phrack 49 —— 一条藏在 ICMP echo 载荷里的命令通道，1996 年。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPtunnel —— 在 ICMP echo 里承载一次 TCP 会话。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 792 —— ICMP：“the data received in the echo message must be returned in the echo reply message”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4443 —— ICMPv6：echo 数据“MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4890 —— 防火墙不得丢弃的那些 ICMPv6 消息。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1812 —— 路由器需求：Time Exceeded 是一条 MUST，因 traceroute 而得名。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHans —— IP over ICMP echo 隧道，作者 Friedrich Schöller。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nicmptunnel —— 把 IP 流量通过 ICMP echo 和应答包隧穿，作者 Dhaval Kapil。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — IP sysctl —— icmp_echo_ignore_all：“the kernel will ignore all ICMP ECHO requests sent to it”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux commit e6f86b0f — \u0026ldquo;ipv6: Add icmp_echo_ignore_all support for ICMPv6\u0026rdquo; —— IPv6 的等价物，作者 Virgile Jarry。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8200 §5 —— IPv6 要求每一条链路的 MTU 至少为 1280 字节。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — TCP/IP raw sockets —— “only members of the Administrators group can create sockets of type SOCK_RAW”。\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/zh/networking/ping-the-diagnostic-tool-that-opens-a-whole-lot-more/","summary":"负债是 ping，而不是 ICMP 的其余部分：echo 是一条每台主机都必须用你自己的字节来应答的通道，所以一个“只放行 ping”的网络，已经有了一条完整的 VPN 出口。本文先讲威胁：它让你的出站策略付出了什么，以及你 WiFi 上的访客或一个没锁的网口如何打开它；然后是三条只靠 ping 搭起来的可用隧道（Hans、icmptunnel，以及一条带 AES-128 的简短 Python 隧道），MTU 和 IPv6 的坑，最后是关掉它的规则：丢弃 echo，保留错误消息，覆盖 nftables、pf、Cisco、Junos、MikroTik 和 Windows。","title":"Ping：一个诊断工具，打开的远不止诊断"},{"content":" Is Your MSP Lying To You — 3 parts\n你的 MSP 是不是在骗你，好卖给你高价产品？you are here 你的 MSP 给你建了什么，还有谁能碰到它 出了故障，到底谁来扛？ 简短的回答：有些是。\n更长的回答更糟，也更值得你花时间。他们大多数根本不用撒谎，因为这套安排替他们把谎撒了。他们拿的是自己所推荐产品的厂商的钱，费率随你选哪个产品、用掉多少而变动，而且没有任何人有义务提一个字。让一门生意在这种位置上待三十年，不诚实就变得多余了。候选名单自己就写好了。\n从你的位置看，也就是收发票的那一头，一句谎话和一个被操纵的流程，花的钱一模一样。\n这一部讲的是推销：谁在给你的顾问付钱，什么永远进不了候选名单，为什么更好的答案恰恰是他们不会提供的那个，以及你在悄悄租着什么。第二部讲的是合同签完之后到底建了什么，以及还有谁能碰到它。第三部讲的是东西倒了之后谁来扛，以及离开要付出什么。其中一些我亲眼看着发生。其余的都在公开记录里，上面有监管机构的名字，这里每一条说法都附了链接。\n这些都不需要你懂技术。你只需要开口问。\n简单的修法就是破绽 举个常见的例子。一个在家办公的人，笔记本的 VPN 隧道连回办公室就是保持不住。服务商看了一眼，回过头来让客户在家里那一头改点什么。不是他们那一头。是家里那一头。\n这条隧道是跑在 Cisco Meraki MX 上的 L2TP over IPsec，真正出问题的是 NAT 穿越。客户端一直在 UDP 500 上协商，没有切到 UDP 4500，因为办公室那一头从来没配置过 NAT-T。RFC 3947 说得毫不含糊：一旦检测到 NAT，发起方“MUST set both UDP source and destination ports to 4500”。它从来没切过去。隧道死在 NAT 里。每一次都是。\n答案就在他们自己的防火墙上，只是关着。同一台 MX 跑着 AnyConnect，它“will attempt to connect using both TLS, and DTLS (Datagram TLS) over TCP and UDP 443 respectively”。普通端口上的普通 TLS。NAT 对这个完全理解，没有什么要穿越，也没有什么要配置，哪天下午有人把它打开，当天下午就能用。\n没人抓一个包。没人看一眼客户端实际在哪个端口上通信。这是你要做的头两件事，一分钟就能结案。\n再来一个，同一家服务商，这次里面根本没有网络。一台标签打印机，一张快递标签，要按正确的格式打出来。请求就这么多。这也是标签打印机唯一干的活。\n回来的答复是：做不到。\n那是打印驱动里的一个选项。一个复选框，在一个设置对话框里，在他们自己管理的软件上，整个活儿就是勾上它，再打一张测试页。谁都不用买东西。谁都不用设计什么。他们就是不勾。\n注意，“做不到”是一个里面没有任何测量的答案，而且是唯一一个不用谁干半点活就能关掉工单的答案。它挂得越久就越难收回，因为现在再去看，就等于承认当初本来有东西可看。\n要留意的就是这个形状，两次都是同一个形状。故障修起来不花钱，修法就在服务商已经拥有、已经在收钱运维的设备里，而回来的却要么是让客户在自己那一头改东西，要么是一句干脆的“做不到”。当便宜的答案连测量都没有就被挥手打发掉，你得到的不是诊断。你是在被“管理”。\n找到故障的工程师会告诉你故障是什么。没找到的人会告诉你做不到，或者告诉你该买什么。\n谁在给你的顾问付钱 从钱说起，因为别的一切都跟着钱走。\n当你的 MSP 推荐一家超大规模云厂商时，他们并不中立。Microsoft 自己的计费文档里写着 partner earned credit（合作伙伴赚取积分）：一笔抵扣你 Azure 用量费用的积分，由持有管理权限、负责管理它的合作伙伴赚取。你的账单涨，他们分一块。与之并排的还有经销毛利、量级档位、认证返利、市场开发基金和季度指标，覆盖整个技术栈里的每一家厂商，不只是这一家。\n这些都不是秘密，也都不违反任何规则。它是公开的，是常态，三十年来渠道一直就是这么运转的。\n两方在给你的顾问付钱，其中只有一方是你 你 问该买 哪个产品 你的服务商 写出你要从中 挑选的候选名单 厂商 决定一次推荐 能挣多少 服务费 一个选项 返利 返利、利润、商机报备、销售指标 这些都不必向你提起 财务顾问只能由客户付钱（FCA Handbook, COBS 6.1A）。 IT 顾问可以两边拿钱，也没有任何规定要求他们说出哪边给得更多。 两方为同一个推荐付钱。只有一方坐在会议室里，也只有其中一笔钱需要提起。 该让你不安的是这一点。谁都不必告诉你其中任何一样：不用说费率，不用说指标，不用说积分。给你推荐产品的人，拿的是生产这个产品的公司的钱，费率取决于他们说服你选了哪个产品，以及你之后用掉多少，而在你正在读的这份方案书里，没有任何地方规定必须写上一个字。\n另一个行业看过完全相同的安排，然后把它禁了。按照 FCA（英国金融行为监管局）的规则，财务顾问必须“only be remunerated for the personal recommendation \u0026hellip; by adviser charges”，并且必须“not solicit or accept \u0026hellip; any other commissions, remuneration or benefit”。你付钱给你的顾问。产品提供方不付。这条规则之所以存在，是因为监管机构想明白了一件显而易见的事。卖家拿的是制造商的钱，你就分不清什么是建议、什么是推销。\nIT 行业从没经历过这样的清算。CMA（英国竞争与市场管理局）调查过云市场，认真看了承诺消费、出口流量费和迁移成本，但至今没人看过中间那一层。就是坐在你和厂商之间的那家公司，一手对你负有责任，一手背着厂商给的指标。\n也值得把这东西叫出它的本名。\n激励，就是一方付钱去左右一个由另一方依赖的决定。这就是机制，不管厂商网站上管这个计划叫什么。厂商付钱，客户依赖，推荐就跟着动。\n在 MSP 那一头它也带着强迫性，这一半没人去看。没达到档位，你失去的不只是一笔奖金。接下来十二个月你卖的每样东西，进货价都会涨。所以压力不是“卖这个就给你点甜头”。而是“不卖这个，你整门生意都会变贵”。处在这种位置上的人谁也不是在自由选择，这套东西设计出来本来就没打算让人觉得是选择。\n英国法律早就认得这个形状。Bribery Act 2010（2010 年反贿赂法）根本不需要有公职人员在场：第 3 条涵盖“any activity connected with a business”，只要执行这项活动的人被期望“in good faith”，或“impartially”，或处于“in a position of trust”，它就咬得住。读一读这三个条件。然后再读一读你桌上的方案书。\n我不是在指控谁家的客户经理犯了罪。实际情况比那更乏味，也更难修。这套安排刚好卡在界线合法的那一侧，差一根头发，而把它稳在那里的唯一一样东西，就是从来没人确立过 MSP 一开始就对你负有公正的义务。理财顾问业确立了，佣金就停了。这里没人确立，所以也就没停。\n把激励叫作一种温和的腐败，人们会炸毛。把那笔钱、那个指标和那份候选名单放在同一页上，再问问还能管它叫什么。\n小供应商从来不会被点名 你看到的供应商名单，并不是世上存在的供应商名单。它是你的 MSP 已经开了户的那些。\n厂商想上这份名单，就得有一套合作伙伴计划。档位、认证、返利、商机报备，还要有一家愿意代理这条产品线的分销商。那是一台机器。养这台机器要花钱，而这些钱跟产品好不好半点关系都没有。这个国家有很多小公司，做出来的硬件和软件比你方案书上那块牌子更好，但它们永远不会出现在上面，因为它们只有十二个员工，没有渠道团队。\n看看这台机器对推荐做了什么。\n商机报备在任何人跟你谈需求之前，就把你的 MSP 绑在了一家厂商身上。他们登记这个商机，拿到更好的进货价，还能防止别的合作伙伴给你报同样的东西，从那一刻起，就有了一个把设计往那家厂商引的理由，而这个理由跟你的业务毫不相干。\n剩下的交给档位。金牌、白金，今年叫什么都行，身份靠年度销量维持，它决定了他们一整年卖其他所有东西的折扣。你的项目可能正是帮他们冲过线的那一单。没人会告诉你这个。\n然后由分销商决定还剩下什么。MSP 通过分销商进货，分销商只代理它签了协议的产品线，一家不在价目表上的厂商，跟不存在也差不多。\n这对你的代价并不抽象。一家小一些的供应商，通常会让你直接跟写这个软件的人通电话，而不是听一线客服念稿子；会因为你提了要求就去改东西；明年也还得对你负责，因为你是他们收入里实实在在的一部分，而不是一个四舍五入的零头。这些都放不进比较矩阵，也都不给任何人带来返利。\n所以去问一问，要怎样才能把这样一家小公司放进候选名单。答案会告诉你，这份名单是给谁拟的。\n而指令来自同一个国家 看看方案书上那些牌子。虚拟化平台、云、网络设备、防火墙、办公套件、CRM、备份目标、监控。几乎全是美国的。\n这不是在评判质量。当进入市场的路径是一套渠道计划时，结果就是这样，因为大到能在全球规模上运行这种计划的公司，都在同一个国家。所以你的 MSP 背着的指标、塑造你候选名单的返利、决定他们利润的档位，全都是在美国写的。\n这就值得了解一下，那个国家眼下是怎么对待在海外拿生意的规则的。\n2025年2月10日，总统签署了一份行政令，标题是“Pausing Foreign Corrupt Practices Act Enforcement to Further American Economic and National Security”。它指示司法部长在 180 天内“cease initiation of any new FCPA investigations or enforcement actions”，给出的理由是，针对美国企业“for routine business practices in other nations”的执法损害了美国的竞争力。\nFCPA（反海外腐败法）起诉的是贿赂外国官员。被描述成“常规商业做法”的，就是这件事。\n接下来发生的事都有记录。2025年6月9日，司法部出台新的指引，把执法范围收窄到涉及贩毒集团、直接损害美国公司或国家安全的案件。整个 2025 年，证券交易委员会（SEC）一起民事 FCPA 诉讼都没提起，还解散了它的 FCPA 小组，而司法部关掉了大约一半在办的调查。2025年3月 OECD 反贿赂工作组开会，它也没露面。\n同一部法律，方向变了。2014 年它从一家法国工程公司身上拿走了 7.72 亿美元，法国政府也正是因此委托撰写了一份报告，研究美国的域外法律是不是被当作商业武器在用。我在一个国家的法律能伸多远里讲过这件事。所以，这部法律对外国公司跨境出手，对本国公司则按兵不动，而下令的，正是你整份产品清单所来自的那个国家的政府。\n也别指望英国来补这个缺口。这里的法律并不是薄弱环节：Bribery Act 2010 有些地方比美国那部走得更远，第 7 条规定，商业组织未能防止任何代表它行事的人行贿，本身就构成犯罪。严格，宽泛，而且已经在法典上待了十五年。\n薄弱环节在于，这种规模的执法只有作为联合行动才行得通。Airbus（空客）是这个国家参与过的最大一宗贿赂和解，空客自己的公告把它的形状摆得很清楚：2020年1月31日，罚款合计 EUR 3,598 million，其中 EUR 2,083 million 给法国国家金融检察院（PNF），EUR 984 million 给严重欺诈办公室（SFO），EUR 526 million 给司法部，EUR 9 million 给国务院，SFO 和 PNF 组成联合调查组来办。钱跨了好几个国家，证据也一样，没有哪个机构能单独把所有东西都强制调出来。得每个人都到场。\n注意一下日期。2020年1月在第一届特朗普政府任内，当时的司法部也很乐意拿走它那 EUR 526 million 的份额。暂停是五年以后的事，出自同一位总统的第二个任期。这不是两届政府之间的差别。这是 2025 年做出的一个决定。\n其中一方已经不再到场了，而这比空出一把椅子要深得多。一个不立案的检察机关，就拿不出任何可以共享的东西。没有传票，没有调取的文件，没有合作的被告，没有被施压的证人。让空客案成为可能的证据之所以存在，是因为有人出去把它们弄回来了。关掉一半案卷，不再提起新诉讼，锅里就什么都没有了，别人想舀也舀不到。这不是一个国家拒绝交出东西。这是一个国家已经没有东西可交了。\n它把另一扇门也关上了。空客自己的公告把结果归功于公司里的“reporting, cooperation and new compliance standards”。企业之所以主动站出来，是因为不站出来会有后果。把后果拿掉，这类案子大多赖以开头的自我举报就不会再来了。伦敦和华盛顿都一样。\n这种时候，反贿赂法本身并不会变弱。它只是失去了证据来源，而正是这些证据，让它能用在它当初就是为之而写的那些案子上。\n这样过了十八个月，这个行业里没有一份候选名单因此动过。没人把它写进风险登记册，没人在采购表上问它，那个在卖你五年订阅的人，也一个字都没提过。\n培训预算最先被砍 产品一直赢，还有第二个原因，没有第一个那么阴暗。很多在向你推销的人，压根干不了另一种活。\n这个国家的雇主培训投入已经跌了二十年。Learning and Work Institute（学习与工作研究所）对 2024 年雇主技能调查的解读显示，按实际价值算，人均投入比 2005 年少了 36%：GBP 1,700 对 GBP 2,634。光是从 2022 年那次调查算起，就又降了 13%。学徒税 2017 年推出，正是为了扭转这个局面，而把这笔税算进去，人均支出从那以后还是降了 23%。\n再看 2022 到 2024 年间哪些行业砍得最狠。公共管理 50%，金融服务 47%，信息与通信 30%。最后这个就是我们这行。两年里没了将近三分之一，而且是变化最快的那个行业。\n与此同时，要防守的东西变多了。我直接从 National Vulnerability Database（美国国家漏洞数据库）里数了相隔十年两头的已发布漏洞：2015 年发布了 6,595 个 CVE，2025 年是 49,972 个。十年里多了七倍半，而培训预算少了三分之一。这两条线方向相反，已经这样好多年了。\n能把差距暴露出来的那些控制措施也没到位。政府自己的 Cyber Security Breaches Survey 2025/2026（网络安全违规调查）显示，用了双因素认证的企业只有 47%。正是五眼联盟各机构在 2022 年点名要求 MSP 账户启用的那项控制，也正是 ICO（英国信息专员办公室）2025 年 3 月对 Advanced Computer Software Group 罚款 307 万英镑所涉的那一项。同一份调查里，有正式网络安全制度的企业一年之内从 59% 降到 52%，业务连续性计划覆盖网络安全的从 53% 降到 44%。不是持平。是在下跌。\n然后在这一切下面垫上一个云租户。小企业不会自己管理租户。MSP 拿着全局管理员权限，搭身份模型，设条件访问，决定哪些存储公开哪些不公开，控制台归它。它被雇来干的就是这个。所以当一个租户最后配置错了，动手的是承包商。不是哪个客户点错了框。\n波及范围也变了。2005 年配错一台服务器，影响大概也就到它插着的那根网线为止。今天配错一个租户，保存那一秒它就在互联网上了，这家企业跑的每一个系统用的都是同一个租户，而管理它的凭据握在一个他们从没见过的人手里，在一家他们无权审计的公司里。\n五个国家的安全机构在 2022 年就这件事写过一份通告，清单上的第一项行动，就是服务商用来进入你系统的那些账户。他们把它排第一，因为那就是入口。\n然后是这个行业所谓的培训。厂商认证是产品培训。它教你一家公司的控制台里按钮在哪，那家公司决定给自己的功能起什么名字；它由被覆盖产品的那家公司编写、定价；而持有足够多的认证，是拿到决定利润的那个合作伙伴档位的条件。这是一条戴着学位帽的销售渠道。\n认得控制台不等于懂这东西怎么运作。一个手握五张证书的工程师，可能从没读过一份 RFC，从没抓过一个包，也从没有一次从基本原理出发弄明白过什么东西为什么坏了。把这样一个人放到一条起不来的隧道面前，诚实的答案他是给不出来的。把 IPv6 的锅甩给客户家里的网络，他给得出来。\n于是两半合上了。他们拿钱卖一个产品，而越来越多的时候，产品是他们手里唯一的答案。付钱买专业能力的客户，到头来两样都没得到。\n没人写下你需要什么 要求看一看你的需求。不是方案书，不是报价，不是印着你 logo 的架构图。是需求。\n一次像样的需求收集很枯燥，也不短。这个服务要干什么，给谁用。多少人，从哪里，用什么设备。最忙的是哪个小时，三年里增长多少。它能停多久才开始花真钱，你能承受丢多少数据。什么东西绝不能出境，受谁的法律管辖。什么东西必须在一栋楼着火后活下来。你对自己的客户在合同上背着什么责任。预算多少，资本支出和运营支出分开列。你已经拥有、还能用的东西有哪些。之后谁来让它保持运转，他们已经会运维什么。\n把对的人叫进一间屋子，这是一个上午的活，最后应该得出一份文件，由你签字确认，然后才有人去画第一个方框。\n如果这些里面大部分都没人问过你，那你拿到的就不是设计。你拿到的是他们本来就在卖的东西，封面上印了你公司的名字。\n也要留意反方向的破绽。如果容量估算在第一次会议上就做完了，还没人看过你的负载到底是什么样，那这些数字就是从模板里来的，不是从你的环境里来的，而真正的容量估算需要数据。得有人去看你的设备现在实际在干什么，看得足够久，能看到一次月末和一次季末结账。\n只有一个选项不叫选择 设计是一组附带理由的选择。也就是说要有多个选项，每个都标上成本，而不只是他们想让你选的那一个。\n你应该拿到“什么都不做”这一项，并且标好价，包括它坏掉时你要付出什么。你应该拿到满足需求的最便宜方案。你应该拿到推荐方案，也应该拿到一个对你来说规格过高的方案，这样你能看清界线在哪。每一个都写明买下来要多少钱，五年运行要多少钱，它做不到什么，以及如果你用着用着不够了，下一步得做什么。\n关键是，你应该拿到一份清单，写明排除了什么、为什么排除。正是这一部分能证明真有人动过脑子。\n如果你只收到一个答案，而这个答案恰好是他们拿了认证的那家厂商，恰好是按月付费的那种授权模式，那你拿到的不是设计。你拿到的是一份穿着设计外衣的报价。仅此而已。\n候选名单在你看到之前就滤掉了什么 同一个需求的四种答案 开源，附支持合同 利润是服务商自己的劳动 一家小一些的英国供应商 没有合作伙伴计划可加入 你已拥有的东西，配置好 续约时没东西可开票 合作伙伴计划里的厂商 返利、商机报备、指标 给钱吗？ 在计划 里吗？ 到你桌上的 一个选项，附报价 没有比较，没有算过价的替代方案 另外三种从来没被报过价， 所以你从来不知道它们要多少钱， 而它们的缺席看起来就像没什么可说的 过滤在你看到任何东西之前就跑完了。同一个需求的三种答案从来没被报过价，所以它们的缺席读起来就像根本没什么可比较的。 有一个简单的问题能把这一点逼出来，我会当场问。你们还考虑过什么，它们要多少钱？真做过功课的人手边就有数字，而且挺乐意被问到。没做过的人会告诉你，那些替代方案没人支持，不是企业级的，或者不是他们愿意署名的东西。这些没有一个是数字。\n开源永远上不了名单 不是他们讨厌开源。只是它没有利润，没有返利，没有可以卖的认证，也推不动任何季度指标。\n反对意见永远是同一句，也是这篇文章里唯一一个彻头彻尾不实的说法：“没人支持”。它全都有支持，商业支持，有合同，有 SLA，有人可以打电话找：Proxmox 按插槽卖订阅，Red Hat、SUSE 和 Canonical 为整个技术栈卖支持服务。你是在选由谁来支持，而不是在选有没有支持。你不再付钱买的，是使用你本来就已经有的软件的权利。\n然后是已经摆在机房地板上的设备。它完全被漏掉了。在我上一家雇主那里，我用退役的 HPC 节点搭了一套私有云，Proxmox、Ceph，上面再跑一整套 Ansible，最后得到 7 台服务器、480 个核心、15 TiB 内存和 1.8 PiB 存储，没有预算，三个人。一家 MSP 给同样的需求报价，会报新硬件加订阅：你已经买下、付清的设备里，没有他们的好处。\n这件事的另一半，是已经摆在你自己地板上的设备，而这一半从来就没被算过账。一台服务器不会在支持合同到期那天停止工作。“停止支持”是厂商选的一个日期，不是谁对硬件做过的一次测量；一台还有五年好日子的机器，对你的价值比对任何一个想卖你替代品的人都高。开源正是让你能继续用它的东西，因为许可证不在乎 CPU 有多老，也不在乎前面板上那块牌子还在不在保修期。\n就是这一点谁也赚不到钱。你已经拥有的硬件没有返利，留在原地的机器不给档位积分，一张谁都不用买的许可证也没有续费。正因为如此，它不会被提出来，被拿来顶替它的说法是“生命周期结束”，听着像工程术语，其实是个销售日期。\n要求把开源方案好好算一遍成本，连支持一起算，和其他方案放在一起；再要求给出一个重用你现有设备的版本，跟不重用的版本对比定价。不是为了被人劝离商业方案。而是为了看清差距，让决定权在你手里。\n替代方案实际长什么样 方案书上几乎每一样东西，都有一个有支持的开源答案，值得从花你钱最多的那部分说起，因为那从来不是服务器。\n按席位收费的软件。 周期性的钱都在这里，替代方案也从来没人提。办公套件：LibreOffice、ONLYOFFICE，或者 Collabora Online，后者卖有支持的部署，给你那种大家以为只有一家能提供的浏览器内编辑。邮件、日历和共享通讯录：grommunio 支持 MAPI，所以 Outlook 连它就像连 Exchange 一样，而且带支持出售；SOGo 和 mailcow 用别的方式覆盖同一块地盘。文件、共享，以及大家用云盘真正在干的那些事：Nextcloud，背后有企业合同。聊天和会议，也就是 Teams 那一半：Mattermost 和 Rocket.Chat 是最接近的同类替换，都能自托管，都能买支持，Zulip 是 Apache 许可，话题线程做得很好。Matrix 加 Element、Nextcloud Talk 和 Jitsi 覆盖剩下的部分。至于 SharePoint 那一半，内网门户、文档库、团队站点，由 XWiki、BookStack、OpenProject、Seafile 和 Nextcloud 一起分担。\n业务应用。 ERP：Odoo 社区版、ERPNext、Dolibarr。CRM：SuiteCRM，背后的公司卖支持，或者 EspoCRM。会计：GnuCash，或者 Dolibarr 和 ERPNext 里自带的账本。文档管理：Paperless-ngx。报表：Metabase。服务台和资产管理，你的 MSP 正把它当成产品向你收费：GLPI 和 Zammad。\n身份和密钥，其他一切都挂在它上面。 Keycloak、FreeIPA，或者用 Samba 做域控制器。密码方面，Bitwarden 可以自托管，Vaultwarden 是一个轻量的 AGPL 服务端，跟同一批客户端通信，Passbolt 和 KeePassXC 用别的方式干同一件事。在大多数方案书上，这是按用户按月收费的一行。\n设备管理，也就是你账单上 Intune 那一行。 Fleet 基于 osquery，在一个环境里实际有的各个平台上做资产清点、策略和注册。MicroMDM 管 Apple 设备注册，Headwind 管 Android，底下的配置由 Ansible、Puppet 或 Salt 来做，配哪个都行。远程访问那一半，也就是第二部里整整一节讲的东西：MeshCentral 是 Apache 许可，RustDesk 是 AGPL，两者都跑在你自己的服务器上。也就是说，“我的机器上装的是哪个远程工具，谁能登录那个控制台”这个问题的答案，可以是一个你自己托管、自己打补丁的东西，而不是一个你事后才发现的东西。\n更新这件事本身，也早就不是被卖成的那种玄学了。哪怕在 Fisher-Price OS (Windows) 上，应用更新现在也走 winget，MIT 许可，对接一个同样许可的社区清单仓库；Chocolatey 和 Scoop 干这活的时间更长，而每一种 Unix 从九十年代起就有这个了。所以当补丁管理作为一项高级托管服务出现在方案书上时，看看实际卖的是什么。机制是免费的，由平台厂商自带，配置好是一个下午的事。之后它就是一个计划任务。一条 cron 记录，或者控制台管它叫什么都行，跑在一台本来就在的机器上。你在为一件自己会跑的活儿付月费。\n对此的标准说法是，你付钱是请人盯着结果，失败时采取行动，那倒是值这个钱的。那就看看“盯着”的证据。在 Capita（第二部会把它拆开来讲），告警十分钟内就发出了，而处理是在差不多三天以后，目标是一个小时，处理它的团队被监管机构认定人手不足。互联网上至今还有防火墙带着一些漏洞，这些漏洞在修复发布好几年后才进入被利用漏洞目录。“盯着”是能让这张发票说得过去的那部分，也恰恰是最没有证据表明在发生的那部分。\n电话系统，这是历史最悠久的按分机按月收费项目之一。Asterisk 干这个已经二十五年了，FreePBX 在它上面加了一个 Web 界面，FreeSWITCH 是另一个引擎，Kamailio 和 OpenSIPS 以运营商规模处理 SIP 路由。如果你想要打包好的而不是自己组装，Wazo、FusionPBX 和 Issabel 都是装好就能用的。\n也值得记住大多数服务商推荐的那个专有产品出过什么事。2023年3月，CISA（美国网络安全和基础设施安全局）发布通告称“3CXDesktopApp — a voice and video conferencing app — was trojanized, potentially leading to multi-staged attacks against users employing the vulnerable app”。没人需要去找漏洞再利用它。它就是厂商自己签名的应用，经由厂商自己的更新渠道，落到了合作伙伴部署过的每一张办公桌上。\nAdobe，跟别的一样按席位订阅。 大多数企业根本不是在为创意套件付钱。它们是在为 Acrobat 和签名付钱。Stirling PDF 是一个自托管工具箱，做合并、拆分、涂黑、OCR 和填表，也就是人们买 Acrobat Pro 来干的那些事，Okular 或 LibreOffice Draw 覆盖剩下的部分。签名方面，Documenso 和 DocuSeal 都是 AGPL，都能自托管；签一份文件按信封收费，几乎是这篇文章里最干净的一个例子：把你自己的服务器分文不取就能干的事装上计价表。真有设计团队的话：图像用 GIMP 和 Krita，矢量用 Inkscape，排版用 Scribus，摄影用 darktable 和 RawTherapee，视频用 Kdenlive，3D 和合成用 Blender，音频用 Audacity 和 Ardour。\n视频，值得单独一段。 摄像头被当作托管产品来卖，每个通道一张许可证，还有一台不让你进去看的录像机。Frigate 是 MIT 许可，在你自己的硬件上本地做目标检测；ZoneMinder 已经 GPL 二十年了。会议方面，Jitsi 和 BigBlueButton。还有，记住 Cisco 为哪个产品付了 860 万美元、又付了 600 万美元来和解，第二部会讲到。视频监控软件，卖给政府机构的。高价的摄像头方案并不附带安全。\n存储和文件系统，注意，这里从来没人给过你任何选择。OpenZFS 提供带校验的存储、快照和 send/receive，还有 Btrfs、XFS、CephFS。你数据底下的文件系统是一个工程决定，对糟糕的一天过后你能拿回多少数据有实实在在的影响，而它通常就是设备出厂时带的那个。\n基础设施，放在最后，因为它是账单里最便宜的部分。虚拟化和集群：Proxmox VE。存储：Ceph，它很乐意跑在你已经拥有的硬盘上，而不是一台新阵列上。防火墙和路由：nftables、OPNsense。VPN：WireGuard 或 strongSwan。至于现在人人都在卖的网状覆盖网络，值得把情况说准确。Tailscale 的客户端是开源的，而它自己托管的协调服务器不是：公司明说它“remains proprietary as part of our managed service”。但确实有一个开源的协调服务器，而且是认真的：Headscale 是 BSD 许可，“an open source, self-hosted implementation of the Tailscale control server”，Tailscale 雇用了它的首席维护者，同时声明它“does not set Headscale\u0026rsquo;s product direction”。所以整套东西都能跑在你自己的设备上。NetBird 和 Nebula 是另外两条路。负载均衡：HAProxy 和 keepalived。监控：Prometheus、Grafana、Zabbix。备份：Proxmox Backup Server、Bareos、restic。配置管理：Ansible。还有那些集成工作，报价时要么算定制开发，要么算按次计费的云自动化订阅：Node-RED 是 Apache 许可，跑在你自己的机器上，不按执行次数收你钱。\n有三个地方我不会假装替换是干净利落的。第一，Teams 和 SharePoint。不管别人怎么跟你说，目的地不是问题：上面那些产品都很成熟，有企业就跑在它们上面。问题在迁移：多年积累的站点，从没人记录过的权限继承，有人搭好就走了的 Power Automate 流程，还有员工习惯了却说不出名字的协同编辑行为。这是实打实的工作，应该当实打实的工作来算成本，而不是往哪个方向挥挥手就打发掉。不过也注意一下你不用再背着什么。那些流程和站点，是跑在别人数据中心里、跑在一个你无法重启的平台上的业务流程。它们停了，你修不了。你只能等，然后告诉你自己的客户你在等。第二，英国的会计有一条硬边界：增值税必须通过 HMRC 认可的软件申报，而且 HMRC 公布了名单。通往 Making Tax Digital（数字化税务）的开源路线是有的：GnuCash 有一个社区桥接工具，ERPNext 有英国增值税模块，但它们由社区维护，而不是一个背后有支持合同的产品。这是一个真实的限制，应该写进比较里。第三，一家正经干活的设计公司，生死系于文件互换，客户发来一个 .psd 还指望你回一个 .psd，这是个实际问题，不是原则问题。对其他所有人来说，需要的只是填一份 PDF 再签个名，根本没有什么要替换的。只是不再付钱而已。\n为什么更好的生意从来卖不出去 那为什么这些一样都没人提供？因为对他们来说这会是更好的生意，而不是更差的，这反倒让拒绝变得更耐人寻味。\n从一个客户身上赚钱有两种办法。转售一张许可证，利润由别人定，由别人封顶，续约时由别人重新定价，不管你那个月干没干活都照付。部署并运营一套开放的技术栈，利润是你自己的劳动，按你自己的费率，中途没人抽成，也没有哪家厂商能在明年四月改掉这个数字。第二种每个客户值得更多，而且能积累出东西。一个能跑 Ceph、或者能搭起一台让 Outlook 连得上的邮件服务器的工程师，明年比今年更值钱。一个只会操作控制台的人，明年还是一样值钱，而且只在那个控制台还存在的时候才值。\n它也更难，全部原因就在这里。它每个月都得重新挣一遍。它需要工程师而不是管理员，而工程师贵，要好几年才培养得出来，还可能一走了之、自立门户。许可证永远不会走。\n这是一种投入，而投入正是被回避的东西。转售对谁都没有要求。今年挑一家厂商，明年换另一家，东西倒了，那本来就不是你的设计。自己运营技术栈，意味着你得选它，好好学它，凌晨两点在客户面前为它负责。其中一种需要你懂点东西。另一种只需要一个门户登录。\n它还会打破这个模式赖以运转的算术。托管服务是按杠杆定价的：每个工程师带尽可能多的客户，初级员工照着操作手册往下做，手册用完了才升级。这行得通，是因为活儿已经被拆成了步骤。放进一套需要有人真正理解的技术栈，比例就塌了，工资单往上走，公司发现自己依赖的是一群可能会走、还会把客户带走的人。\n所以候选名单底下的问题从来都不是哪个产品更好。而是一家公司愿不愿意成为雇用懂行的人的那种公司。\n前面那个培训数字就在这里绕回来了。一个两年里把技能投入砍掉 30% 的行业，卖不了技能，所以它卖许可证。卖许可证意味着它永远不必掌握技能，于是培训一直被砍着，到了明年它能提供的东西更少。这是一个循环，而且只往一个方向转。\n剩下的就是激励，前面已经讲过了。厂商对许可证给返利，对劳动一分不给。销售按产品拿提成。而且超大规模云厂商宕机，那是超大规模云厂商的错，你自己搭的集群就是你的：所以转售替人买到了一个甩锅的地方。对一家宁愿不担责的公司来说，这值真金白银。\n这些都不能说明它对你是正确答案。它只是解释了为什么那份比较从来没人写。\nIPv4 税 这是整篇文章里最干净的一个例子，因为两边都能标上价格。\n他们会给你建一个只支持 IPv4 的服务。然后把访问它所需的公网地址卖给你，按地址，按月，永远。再要一个，就是一张表、一份理由，外加续约单上多一行。\n与此同时，IPv6 不额外花钱。地址分配随你本来就在付费的注册机构会员资格附带，RIPE 的 2026 年收费方案是每个 LIR 账户统一 EUR 1,800，不管你持有多少。RIPE-690 规定一个终端站点分到一个 /48 或 /56。v6 这边没有按地址计费的表。根本没什么可计的。\n另一边的数字也是公开的。AWS 收费是每个公网 IPv4 地址每小时 $0.005，不管绑没绑定，算下来每个每年大约 $43.80。在转让市场上，2026 年上半年的平均价格是每个地址 $20.04，租赁行情大约每个地址每月 $0.59。所以一个地址买断大约值二十美元，批发租一年大约七美元，而它被当作稀缺资源转售给你。账单上每月一行，想再要一个还得填张表。\n稀缺是真的。你至今还在为它付钱的理由不是。给一个服务做双栈是一个下午的活，它把一项周期性收费变成一次性的变更请求，而这恰恰是它从来没人提的原因。\n如果你想看这个国家到底有谁真的费过这个心，我全都数过了：我们从未用完地址，我们用完的是干劲\n默认上云，而你的一切都在现场 想想活儿实际是在哪里干的。一个制造工厂。一家汽修店。一家餐饮公司。\n每个用户都在楼里。每一点数据都是在楼里产生的：机器、收银台、工单、库存、CAD、CNC 程序、柜台上接的订单。消费这些数据的一切也都在楼里。没有第二个站点，没有外勤队伍，没有客户访问 Web 前端，也没有哪个月负载会翻倍。\n把应用放进别人的数据中心，这些字节就每一个都要先离开厂区，再原路折回来。同样的用户。同样的数据。同样的处理。中间多了一条广域网，多了一张月账单，还多了对一条不归你所有的线路的依赖。\n云真正擅长的东西，在这里一样都用不上。弹性扩展是给会变动的负载用的，一个两班倒的车间不会变。全球覆盖是给在别处的用户用的，而你的用户就站在机器旁边。放在别人的楼里，对灾难恢复来说是个真答案，但灾难恢复是一个备份目标，不是你开动生产线的地方。\n它确实给你买来了一种新的停摆方式。在本地，宽带断了只是个麻烦，活儿照干，等有人来修。在云上，那就是停工：线一断，修车铺调不出工单，厨房接不了订单，生产线就杵在那儿，你在等别人的工程师，按的是一份你从没谈过的 SLA。\n应用离开大楼之后，活儿实际去了哪里 本地 你的大楼 人 就站在机器旁 数据 全部在这里产生 应用 也在这里 什么都不离开厂区。 宽带断了只是个麻烦， 活儿照干，等有人来修。 默认上云，以及它实际走的路线 你的大楼 同样的人， 同样的数据 你的线路 落地的 交换局 ISP 核心网 及其上游 传输商 对等互联点 或服务商的 边缘网络 数据中心 应用 现在住在这里 三栋楼不归你所有，打不通电话，也从没让你选过 而且每一次保存、每一次查询，每个字节都还要原路返回 现在断线就是停工。修车铺调不出工单，厨房接不了订单， 生产线杵在那儿，你在等别人的工程师，按的是一份你从没谈过的 SLA。 同样的用户，同样的数据，同样的处理。区别是中间多了四张别人的网络，停了的时候哪一张你都打不通电话。 而你的宽带只是一半。另一半是他们的，它也会挂。AWS 自己对 2025年10月的事后总结描述了它的北弗吉尼亚主区域的一次中断，从 10月19日 11:48 PM 持续到 10月20日 2:20 PM，差不多十五个小时，期间客户和其他 AWS 服务“were unable to establish new connections”。原因，用他们的话说，是“a latent defect within the service\u0026rsquo;s automated DNS management system”。九天之后，Azure Front Door 把 Microsoft 365、Outlook 和 Azure 门户一起拖垮了将近一个工作日。Microsoft 保存着一份这类事件的持续记录，可不是一份短文件。\n停机也不是全部。方案书封面上卖的另一样东西是按需容量，而它有一种有文档记载的失败方式。Microsoft 发布了一个页面，标题是“Troubleshooting Azure VM allocation failures”。AWS 发布了“How do I troubleshoot InsufficientInstanceCapacity errors when I start or launch an EC2 instance?”。再读一遍这两个标题。两家厂商都常备着文档，专门应对这种情况：你要一台机器，而它没有。没有故障，没有宕机，就是那个区域今天没有多余的。在这之上还有按订阅设定的配额，那是第二种被拒绝的方式。\n所以方案书上的弹性扩展带着一个方案书里没写的附加条件。在那个区域、在你开口那天，有多少余量就弹多少。而服务商照样把客户签进容量紧张的区域，因为一个签名算在本季度，一次容量检查不算。你在部署时才发现，那是最糟的时刻：迁移已经定了，本地设备已经撤了，为了支付搬迁，后备方案也已经拆了。\n想想这一切对修车铺和厨房意味着什么。在你自己的设备上，故障是一个你能打电话找的人，或者一台有人能走过去重启的机器。在别人的云里，你连一根拉杆都没有。你没法升级处理，没法优先恢复你自己的服务，你付钱的那家服务商也不能。他们跟所有人一样在刷同一个状态页。你当作韧性买下的东西，原来是一个你和几百万别的客户共享的依赖，它失败的那天，你的处境跟他们一模一样。\n那为什么推荐的总是它？因为一次资本采购只付给你的 MSP 一次钱。订阅每个月都付，按百分比，上面还有厂商的积分。把你迁走，也把硬件从他们的盘子里拿走了，而硬件正是这项服务里他们最难配齐人手的部分。三个理由指向同一个方向，没有一个是为了你。\n然后是你的数据最后落在哪里。根据 CLOUD Act 增设的 18 U.S.C. § 2713，美国服务商在被依法送达时，必须交出其“possession, custody, or control”之下的数据，“regardless of whether such communication, record, or other information is located within or outside of the United States”。所以“它在英国区域”是一个真实的答案，回答的却是一个你没问的问题。区域告诉你磁盘在哪。法律跟着的是公司归谁所有。\n没人把这件事当作一个决定摆到你面前。它是作为一个假设到来的，夹在一份方案书里，写方案书的人在你说“好”的时候拿得更多。\n关于这种依赖，我在租用技术的代价里详细写过。\n这一切都发生在任何东西建起来之前 注意它发生的时间，全部都是。在任何一台机器上架之前，在任何人登录任何东西之前，在那些你大多不在场的会议和电子表格里。返利，没人收集的需求，唯一的选项，缺席的开源那一行，你现在要在整个合同期内租下去的地址，楼里谁都不需要的数据中心：这些没有一样是技术问题，而且全都在头两个星期里定下来了。\n所以即使你从没打开过一台交换机，它也值得你关注。这也是为什么事后很难拆开它。下游的一切都继承了那两个星期。环境按候选名单说的那样建起来。工具之所以出现，是因为那是服务商已经拥有、已经熟悉的东西。密钥最后落在他们流程放的任何地方。而最后签下的那份合同，提前好几年就决定了，某天早上东西停了，由谁来承担损失。\n所以第二部讲的是实际建起来的东西：那台他们怎么劝都不肯换掉的盒子，在被利用漏洞清单上记录最差的边界设备，本该是你买来的那些基础功能，以及那套能从一个你从没见过的控制台伸进你每一台机器的工具。其中两次失败附有监管机构的认定。它们都不是发生在某个客户身上的。它们发生在一家服务商身上，客户在下游。\nIs Your MSP Lying To You — 3 parts\n你的 MSP 是不是在骗你，好卖给你高价产品？you are here 你的 MSP 给你建了什么，还有谁能碰到它 出了故障，到底谁来扛？ 来源 检索于 2026年8月28日。\n钱是怎么流动的。\nMicrosoft Partner Center billing documentation — 合作伙伴赚取积分，抵扣客户 Azure 用量的费用。 FCA Handbook, COBS 6.1A — 顾问收费：公司只能由客户为推荐付费，不得接受产品提供方佣金的规则。 CMA cloud services market investigation — 英国竞争监管机构对云市场的调查。 地址。\nRIPE NCC charging scheme 2026 — 每个 LIR 账户统一 EUR 1,800。 RIPE-690 — 给终端站点分配 /48 或 /56，2017年10月。 AWS public IPv4 charge — 自 2024年2月起，每个地址每小时 $0.005。 IPv4 transfer market, first half of 2026 — 平均每个地址 $20.04，租赁价约每个地址每月 $0.59，汇总自 CircleID 对公开定价交易的分析。 VPN。\nCisco Meraki\u0026rsquo;s AnyConnect troubleshooting guide — 443 端口上的 TLS 和 DTLS，没有 NAT 问题要解决。 RFC 3947 和 RFC 3948 — IPsec 的 NAT 穿越，以及切换到 UDP 4500。 真正买得到的支持。\nProxmox VE subscriptions — 开源基础设施商业支持的一个例子。 培训与技能。\nLearning and Work Institute, 24 December 2025 — 根据 2024 年雇主技能调查，自 2005 年以来雇主人均培训投入按实际价值下降 36%，2022 到 2024 年间信息与通信行业下降 30%。 National Vulnerability Database — 按年份统计的 CVE 发布数量，按季度加总：2015 年 6,595 个，2025 年 49,972 个。 Cyber Security Breaches Survey 2025/2026 — 47% 的企业使用双因素认证，有正式制度的降到 52%，覆盖网络安全的连续性计划降到 44%。 CISA alert, 30 March 2023 — 被植入木马的 3CX 桌面应用。 法律与政策。\nExecutive order, 10 February 2025 — 暂停执行《反海外腐败法》，用的是本届政府自己的措辞。 Just Security, on the year that followed — 2025年6月的执法指引、SEC 被解散的 FCPA 小组，以及被关闭的调查。 Bribery Act 2010 和 section 7 — 英国的这部法律，以及企业未能防止贿赂罪。 Airbus, 31 January 2020 — 公司自己对三方和解的说明，以及罚款在 PNF、SFO、DoJ 和 DoS 之间如何分配。 司法管辖。\n18 U.S.C. § 2713 — CLOUD Act 条款：无论数据存放在哪里都须披露。 当平台停下来。\nAWS post-event summary, October 2025 — us-east-1 的 DynamoDB 和 DNS 中断，用 Amazon 自己的话说。 Azure status history — Microsoft 自己的事件持续记录。 ","permalink":"https://blogs.damiendye.uk/zh/random/is-your-msp-lying-to-you-part1/","summary":"三部曲第 1 部。有些人在撒谎。大多数根本不用，因为他们拿的是他们所推荐产品的厂商的钱，而且谁都不必告诉你。几个迹象说明你是在被推销，而不是有人在替你做工程，以及哪些东西永远进不了候选名单。","title":"你的 MSP 是不是在骗你，好卖给你高价产品？"},{"content":" Is Your MSP Lying To You — 3 parts\n你的 MSP 是不是在骗你，好卖给你高价产品？ 你的 MSP 给你建了什么，还有谁能碰到它you are here 出了故障，到底谁来扛？ 第一部讲的是推销。这一部讲的是建出来的东西。\n文件签了，发票按月来，设备也有了。有些是你的，有些是他们的，大多数在任何人问过这门生意早八点到晚六点到底在干什么之前就已经选好了。下面讲的就是这些设备本身：选了什么，里面留着什么没关，还有谁能从一个你从没登录过的控制台碰到你花钱买的机器。\n这里有两起失败带着监管机构的调查结论，上面还有具体数字。两起都不是发生在某个客户身上，而是发生在服务商身上，客户在下游。每一条说法都附了链接。\n那台怎么劝都不肯换掉的盒子 现在说尴尬的那部分。我想用证据而不是断言来讲，因为这一节正是人们会伸手去拿“阴谋论”这个词的地方。而一旦拿起这个词，这个话题就被放下了，谁都不用再去看它。\nCisco 是这个行业大部分地方的默认推荐。那就看看这家厂商自己公布过的、通往自家设备的那些没写进文档的入口。\n2018年3月，他们发布了 CVE-2018-0141 的公告：Prime Collaboration Provisioning 可以通过 SSH 登录，原因是“a hard-coded account password on the system”。八个月后是 Small Business 交换机上的 CVE-2018-15439，“the affected software enables a privileged user account without notifying administrators of the system”，公布时没有修复版本，只给了一个变通办法。2023年10月是 CVE-2023-20101：Emergency Responder 出厂就带着一个 root 账户，持有“default, static credentials that cannot be changed or deleted”，这些凭据“typically reserved for use during development”。\n一个没人告诉过你的账户，你删不掉，在你环境里的一台盒子上有 root 权限。你想怎么叫都行。这就是厂商自己的公告所描述的东西。\n然后是斯诺登的材料，到现在已经十多年了，从没被撤回过。2013年12月，《明镜》（Der Spiegel）发表了 ANT 目录，报道 NSA 的一个部门“has burrowed its way into nearly all the security architecture made by the major players in the industry \u0026ndash; including American global market leader Cisco and its Chinese competitor Huawei”。同一组报道讲了设备是怎么被弄进去的：货物被转到秘密作坊，NSA 管这个流程叫“拦截”（interdiction），“at these so-called \u0026rsquo;load stations,\u0026rsquo; agents carefully open the package in order to load malware onto the electronics, or even install hardware components that can provide backdoor access”。一份 2010 年的 NSA 内部通讯，2014 年连同照片一起公开，用这个机构自己的话写明了流程：设备“being delivered to our targets throughout the world are intercepted”，然后“re-packaged and placed back into transit to the original destination”。\n这些报道没有证明的是共谋。《明镜》明说，文件里没有任何迹象表明制造商知情或帮忙；Cisco 当时就否认参与，2014年5月它的总法律顾问还公开留了记录：“as a matter of policy and practice, Cisco does not work with any government, including the United States Government, to weaken our products”。他们为此向总统投诉过。从表面看，他们在这件事里也是受害者。\n就按表面意思接受。这对你机架上那台盒子什么都没改变，因为拦截从来就不需要厂商帮忙。而且值得弄清楚这个否认有多少分量，因为 Cisco 的话在法庭上被检验过。2019 年，他们就《虚假申报法》（False Claims Act）的诉讼达成和解，联邦层面 860 万美元，另外向一批州付了 600 万美元，起因是卖给政府机构的视频监控软件带着“flaws that would permit unauthorized access to the system, with the potential to control and otherwise manipulate security cameras and the recorded footage”。按纽约州总检察长的说法，Cisco 在 2009 年就知道这些缺陷，直到 2013 年调查开始之后才修。和解不等于承认责任，我不会假装它是。但这仍然是四年时间里，把一个已知有入口的产品卖给警方和公共机构，而且一声不吭。\n所以记录是这样的：他们自己承认的、没写进文档的 root 账户；一份十年前就点了他们名的目录；一条被证明可以被渗透的运输链；还有一段明知有洞却继续卖的时期。任何一条单拿出来，你都可以耸耸肩。放在一起，就是一个模式。利益相关方的一份声明，解决不了一个模式。\n对此的回答是控制措施，不是禁令。这个风险应该和其他所有东西一起写进设计文档，替代方案要拿来报价，而不是被一口否掉。问一问评估过哪些竞争产品，价格是多少。问一问固件校验和更新的策略是什么，谁来检查。问一问设备是怎么接收和查验的，由谁来做。问一问序列号和采购单对不上的时候会怎样。\n再留意一下，在你的行业里哪些厂商会受到这种审查，哪些不会。同一个行业，会因为一种从没有人公开拿出来过的能力把 Huawei 列进风险登记册，却会凭一块合作伙伴徽章，一行理由都不写就把 Cisco 写进低层设计。我写过一视同仁地套用这个标准之后那套说法会怎样。合作伙伴徽章是一段附带业绩指标的商业关系。就此而言，它不是安全结论。\n防火墙就是入口 把范围从一家厂商扩大到整个品类，因为防火墙是 MSP 卖得最卖力的产品。合同里“安全”那部分，就靠这一行来撑。\nCISA 维护着一份已知在野外被利用的漏洞目录，不是理论上危险，而是真的被拿来打过某个人。我把这份目录拉下来，按厂商数了一遍。2026.08.27 版共有 1,685 条。Cisco 占其中 96 条，仅次于 Microsoft 的 386 条，其中 42 条落在防火墙和边界产品线上。Fortinet 有 29 条。Palo Alto Networks 有 15 条。作为参照，Ivanti 有 35 条，SonicWall 有 17 条。\n看看这些条目到底是什么，因为模式从来不变。是管理界面，或者是 VPN，也就是被故意暴露在互联网上的那部分。\n这条时间线上唯一要你来补上的部分 一个漏洞，从公布到在你的盒子上打好补丁 公布 有了 CVE 编号 补丁可用 厂商那部分做完了 确认被利用 加入 CISA 目录 你的盒子打上补丁 由你付钱请的人来打 你的暴露 已知被拿来打过别人，却还挂在你的边界上 Cisco 96 条，Fortinet 29 条，Palo Alto 15 条。这些是厂商的数字，而且是公开的。 那段阴影有多长是你的事，而没人去要这个数。 每家服务商都有这个数字。这和 ICO 在 Capita 量的是同一个东西。 厂商的总数是公开的，但决定你会不会受伤的不是这个数。决定这件事的是阴影那一段，而它属于你付钱请来的那个人。 Palo Alto 的 CVE-2024-3400 是 PAN-OS 里 GlobalProtect 功能的命令注入，评分 10.0，作为零日被利用。同年晚些时候，CVE-2024-0012 让“an unauthenticated attacker with network access to the management web interface”直接绕过认证，评分 9.8，还和同一个界面里的一个命令注入串在一起用。\nFortinet 的 CVE-2022-40684 是一个“authentication bypass using an alternate path or channel”，评分 9.8。它的 CVE-2018-13379 是 SSL VPN 的路径穿越，2021年11月才进了目录。那时补丁早已出来好几年了，因为还有盒子没打补丁就挂在互联网上，被人直接走进去。\nCisco 在 IOS XE Web 界面里的 CVE-2023-20198 评分 10.0。CVE-2025-20333 在它 Secure Firewall ASA 和 FTD 软件的 VPN Web 服务器里，去年 9 月评分 9.9。\n然后是 CVE-2026-20316，2026年7月29日加入目录。Cisco Secure Firewall Management Center，“use of hard-coded password”，允许“an unauthenticated, remote attacker to log in to an affected device”。一个静态凭据，在管理防火墙的那台盒子里，已确认被利用，就在这篇文章发出前一个月。和上一节 2018 年、2023 年同一种失败，出在管理你边界的那台机器上。\n现在说有用的部分，因为“有些厂商比别的更差”其实不是要学的东西。这些每一条都有公开记录，而没有一条会出现在方案书里。更要紧的是，厂商的总数不是决定你会不会受伤的那个数。你的暴露，是一个漏洞进入那份目录到你的盒子打上补丁之间的那段空档。这段空档不归厂商来补。它属于你付钱请来运维这东西的人。\n这和 ICO 在 Capita 量的是同一个东西，就在下一节。告警在第十分钟，处置在第五十八小时，目标是一小时。没有人在防火墙打补丁这件事上向自己的服务商要这个数字，而每家服务商都有这个数字。\n当基础工作就是你买下的东西 这里讲推销之后发生了什么，有两个案例，都是监管机构亲自调查并公布了结论。\n2025年3月，信息专员办公室（ICO）对 Advanced Computer Software Group 罚款 307 万英镑，起因是 2022年8月的一次勒索软件事件。Advanced“provides IT and software services to organisations, including the NHS and other healthcare providers”。攻击者是“via a customer account that did not have multi-factor authentication”进来的。NHS 111 服务被打断，医护人员调不出病人记录，79,404 人的个人信息被拿走。ICO 关于原因的结论值得慢慢读：“while Advanced had installed multi-factor authentication across many of its systems, the lack of complete coverage meant hackers could gain access”。这也是 ICO 第一次对数据处理者开罚单，而不是对数据所属的那家机构。\n2025年10月，同一个监管机构对 Capita 罚款 1,400 万英镑，起因是 2023 年那次攻击，拿走了 660 万人的个人信息。2023年3月22日，一个恶意文件落到一台员工设备上。十分钟内触发了一条高优先级告警。这台设备 58 小时后才被隔离，而目标响应时间是一小时。ICO 认定其安全运营中心“was understaffed, and in at least six months before the incident fell well below the target response times for responding to security alerts”，同时渗透测试和风险评估也不到位。\n看看这两份结论有什么共同点。不是什么高明的对手。不是零日。也不是什么谁都看不出来的玩意儿。是买了却没铺完的多因素认证，和一个没人配人手的告警队列。两样都是某个人签过字、在报告里标了绿灯的条目。\n而且这一切并不是悄悄冒出来让行业措手不及的。2022年5月11日，Advanced 事件发生三个月前，英国、澳大利亚、加拿大、新西兰和美国的网络安全机构发布了一份关于托管服务商及其客户所受威胁的联合公告，因为它们“aware of recent reports that observe an increase in malicious cyber activity targeting managed service providers”。清单上第一条战术行动，就是在能伸进客户环境的 MSP 账户上强制启用多因素认证。\n五个国家的安全机构公开写了下来，点了这项控制措施的名。三年后，监管机构还在因为有人没把它做完而开罚单。\n这两起都不是小企业的故事。下面这个是。2023年11月24日（星期五），面向法律行业的 IT 服务商 CTS 因为一次网络事件宕机。律师协会自己的刊物报道约有 80 家律所无法完成交易，系统下线，合同卡住。这些都是做房产过户的事务所，大多数是小所，它们的客户是正搬家搬到一半的人。其中一位说得很直白：“This leaves us with so much uncertainty — with movers needing to be booked, days needing to be taken off work at potentially short notice and lives put on hold.”CTS 只能说它“unable to give a precise timeline for full restoration”。\n这条链上没有哪个客户选了 CTS。是律所选的，律所下游的每一位客户都继承了这个决定，从来没人问过他们。\n这就是你买托管服务时买下的东西。\n那你又怎么会知道？ 留意上一节里每一起事件的一个共同点。没有一起是发生在客户身上的。都是发生在服务商身上，客户只是坐在别人倒霉那一周的下游。\n那就把问题直接摆出来。如果你们被攻破了，我们是从你们这里听说吗？多快？\n有一条法律底线，而且比人们以为的低。在他们代你处理个人数据的情况下，第 33 条规定“the processor shall notify the controller without undue delay after becoming aware of a personal data breach”。没有固定的小时数。与此同时，你作为控制者，一旦知情就有 72 小时去通知信息专员。把这两条放在一起读。他们每花一个小时琢磨要不要告诉你，就是从一个对你计时、而不是对他们计时的钟上扣掉一个小时。\n而这条底线只管个人数据。有人闯进他们的管理控制台，还没有证据表明你的任何东西被动过，这可能根本不产生告诉你的义务。与此同时，能碰到你名下每一台机器的凭据，就在别人手里。这就是那个缺口。它可不小。\n想想谁会比你先知道。他们的律师，因为要守住保密特权。他们的保险公司，因为保单这么规定。他们的监管机构，按法定时限。你在这张名单上的位置比你希望的靠后，而每一步的动机都是：在知道更多之前少说点。\n剩下的就是别的知情方式，而它们都更糟。你知道，是因为你的系统停了，那些过户律所就是这样知道的。你知道，是因为有记者打电话来。或者你知道，是因为有人在某个勒索团伙的泄露网站上看到了服务商的名字，这不是通知流程，这是别人营销时碰巧捎带上的。\n所以要写进合同，而且要写具体，因为含糊的条款默认就落到法定底线上。他们网络上任何重大事件，在约定的小时数内书面通知，不论是否确认涉及你的数据。任何能访问你系统的凭据可能已经泄露时，通知。他们出现在泄露网站上时，通知。你这边要有一个具名联系人，而不是一个公共邮箱。\n然后问那个最能说明问题的问题，趁他们还在向你推销的时候问。你们出过事吗？发生了什么，客户什么时候知道的，又是怎么知道的？一家经历过并且处理得当的服务商会告诉你。这是他们手里最好的证据。说从来没出过事的人，要么运气极好，要么规模极小，要么压根什么都没在数。\n一次就能碰到每个客户的工具 没有哪家 MSP 靠一台一台地摸机器赚钱。这门生意的经济账需要一个能碰到所有东西的控制台，远程监控与管理软件就是干这个的。RMM 装在合同覆盖的每一台机器上，以 system 身份运行，服务商从一个登录口就能驱动全部。\n一个控制台，碰得到每个客户的每台机器 工具厂商 发布代理，以及它的每一次更新 签过名的更新一到就被信任 你服务商的控制台 一个登录，他们的每个客户 另一个客户 每台机器上都有代理 你的楼 每台机器上都有代理， 以 system 身份运行 另一个客户 每台机器上都有代理 机器信任控制台。控制台信任厂商。你的防火墙被要求把这些全都放行。 这种触达能力本身就是产品。一个控制台，每个客户，每台机器。正因如此，拿到控制台的攻击者一次就拿到全部。 把它倒过来，从你那一边看。你的机器上有一个软件，不是你选的，你多半叫不出名字，也从没见过它的补丁记录。就此而言，它可以在任何时候，对其中任何一台，做任何事。\n这些工具的记录可不让人安心。从 2021 年说起。\nKaseya，2021年7月。CISA 和 FBI 描述了它们应对的勒索软件，“leveraging a vulnerability in the software of Kaseya VSA on-premises products — against managed service providers (MSPs) and their downstream customers”。大约五十家服务商中招，下面坐着多达 1,500 家企业，其中大多数从没听说过 Kaseya，对它装在那里也没有任何发言权。\n2023年1月，CISA、NSA 和 MS-ISAC 发布联合公告，“warn network defenders about malicious use of legitimate remote monitoring and management (RMM) software”，起因是前一年 10 月的一场攻击活动：攻击者用钓鱼骗人装上 ScreenConnect 和 AnyDesk，再用它们对受害者的银行账户搞退款诈骗。这件事不需要谁去攻破一家 MSP。这个工具对他们和对服务商一样好用。\n2024年2月，ConnectWise ScreenConnect 被发现带着 CVE-2024-1709，它“may allow an attacker direct access to confidential information or critical systems”。评分 10.0。留意它的弱点类别：利用替代路径或通道绕过认证，和前面 FortiOS 那个绕过一字不差是同一类。不同的厂商，不同的产品，同一个错误。满分，出在能碰到服务商每一个客户的软件里。\n然后是 SimpleHelp。CISA 2025年6月的公告描述了勒索软件团伙“leveraging unpatched instances of a vulnerability in SimpleHelp Remote Monitoring and Management (RMM) to compromise customers of a utility billing software provider”，并触及“downstream customers”实施双重勒索。底下那个缺陷 CVE-2024-57727，让未经认证的攻击者直接从主机上拉走“server configuration files containing various secrets and hashed user passwords”。\n留意每一次损失落在哪里。不是厂商。其实也不太是服务商。是落在下面的客户身上，他们从没买过这个工具，从没被告知是哪一个，对它什么时候打补丁也没有半点发言权。\n关于这些来源要说明一点，因为它很重要。它们都是美国的公告，原因是 CISA 会公布事件细节，而 NCSC 一般不点名。这是披露方式的不同，不是行为的不同。工具是同样的工具，出自同一份产品目录，而就在今天下午，这个国家某家小小的 IT 支持公司正在你的机器上跑着 ScreenConnect、SimpleHelp，或者它们的某个竞争对手。\n所以问一问是哪一个。问是什么版本，上次打补丁是什么时候，谁能登录控制台，上面每个账户是不是都开了多因素认证，以及下一次这些东西里有哪个又出一个满分漏洞时，计划是什么。\n然后再问一个，因为它的答案能告诉你其他问题告诉不了你的东西。它支持 IPv6 吗？\n在 2026 年这是个合理的问题，而且分量比看上去重。如果管理工具只会说 IPv4，那你的网络就得一直留着 IPv4，不是因为你的业务需要，而是因为他们的工具需要。这是由供应商的软件而不是由你的需求来决定寻址规划，而让这一切成为可能的那些地址，你在按月付钱。一个用移动网络的远程员工，很可能本来就在纯 IPv6 网络上，那样的话整套安排就靠着别人维护的地址转换撑着。\n如果答案是他们从没查过，那你已经知道你真正想问的那件事了。\n先问一个更朴素的，它在一大堆安全话题里常被忘掉。这个代理给机器加了多少负载，证据在哪里？\n你会得到的答案是“可以忽略”。那是个形容词。你要的是一个数字，在跟你一样的硬件上实测，而不是从数据表上抄来的：平均和峰值 CPU、常驻内存、做资产盘点或补丁扫描时的磁盘活动、每天的网络流量。要在整个环境里最老的那台机器上测，而不是最新的那台。\n而且要测整套，不是单测一个代理。远程管理、杀毒、终端检测、备份客户端、监控、资产跟踪。每家厂商都说不到百分之一，一共有六家，而真正要在那台笔记本上干活的人，才是最后发现六家加起来是多少的那个人。接近零是正确的目标。只有证据才能证明做到了。\n上线之前要这些数字，上线之后要求在你挑的一台机器上自己测一遍。对自己工具有信心的服务商，不用你催就会两样都给。\n关于工具本身还有一个问题，大家在想明白之前都觉得最奇怪。代理在你的机器上更新时，你会收到通知吗？\n代理是你整个环境里权限最高的软件。它以 system 身份运行，装在所有机器上，只要服务商或厂商觉得该升，它就换版本。一个第三方在悄无声息地往你整个公司装软件，而在大多数合同里，没人告诉你这件事发生过。\n现在把它放到 Kaseya 实际出事的情形旁边。一个恶意更新沿着一条受信任的管理通道，一次推到所有机器上。从你坐的位置看，在出事那天，它和一次例行的代理更新没有任何区别：同一条通道，同样的权限，同样的悄无声息。唯一的区别是意图。而意图不是你能观察到的东西。\n所以要求版本变更通知，问清楚谁来批准代理更新，它在到你这里之前有没有在别处测试过，再问最要紧的那一个：有什么东西能告诉你，发生了一次本不该发生的推送？如果诚实的答案是“什么都没有”，那你所依赖的控制措施就是服务商自己的警觉，而这正是整一节在讲的东西。\n还有打开它的钥匙 然后是打开控制台的东西。它受到的关注比控制台本身还少。\n一家 MSP 握着名单上每个客户的管理员凭据。这就是这份工作，整个产品就是这个。所以它给自己凭据定的标准，本该比给你定的更高，而实际上往往更低。共享账户，因为给十二个工程师在两百个租户里各开一套登录太麻烦。整个服务台都能读的密码库。没有口令保护的 SSH 密钥，躺在每天坐火车带回家的笔记本上。应急账户，自从建它的人离职之后就再没人碰过。\n“我们用了 MFA”通常就是这场对话结束的地方，而它不该在这里结束，因为不同形式的 MFA 并不等价。CISA 把它们从强到弱排了序：最上面是 FIDO/WebAuthn 和基于 PKI 的，它称之为“the gold standard”；往下是基于 App 的一次性密码和推送通知，“vulnerable to push bombing attacks as well as user error”；最底下是短信，“should only be used as a last resort MFA option”。只有最上面那一档能防钓鱼。它下面的一切，都可以被中继、被轰炸到疲劳、被截获，而点批准的那个人还以为自己在照常登录。\n攻击者也读过这份文件。CISA 关于 Scattered Spider 的公告说，这个团伙“targets large companies and their contracted information technology (IT) help desks”。不是客户。是能重置客户凭据的那个服务台。这要容易得多，而且一次就拿下所有人。\n所以问题比“用没用 MFA”更窄。每一个能碰到你系统的账户，是不是都用了硬件令牌，是令牌，不是 App？还有，晚上十一点有人打电话到服务台，说自己是把自己锁在外面的工程师，会发生什么？\n这里的修法简单得出奇，正因如此，没做才更难原谅。Google 在 2018 年告诉 KrebsOnSecurity，自从 2017 年初开始要求用实体安全密钥代替密码和一次性验证码，它“has not had any of its 85,000+ employees successfully phished on their work-related accounts since early 2017”。不是事件变少了。是一起都没有。同一篇文章提到，最基础的密钥零售价二十美元。\n现在把它放大到一家托管服务商。他们不需要给你的员工发密钥。他们需要给自己的工程师发，而握着能碰到名单上每个客户的凭据的，大概也就十来个人。十来把密钥，一次买齐，对着的是覆盖他们碰过的每一家企业的爆炸半径。一把二十英镑。下次有人跟你说硬件令牌不现实，问问到底有几个人真需要一把。\n还有一个相关的问题，你应该拿来问你自己的环境，因为大多数客户从没想过。你系统的应急账户在谁手里？在非常多的合同里，诚实的答案是在服务商手里，你自己根本没有一套。不给他们打电话，你就进不了自己的基础设施。这不是安全控制，这是依赖。它咬人的时候不在平常日子，而在最糟的日子。你提出解约的那天。他们被一个不是你选的人收购的那天。他们自己被攻破了、你需要绕开他们行动的那天。\n你应该自己握着应急凭据，封存好，写进合同，并在一个有人能指出来的日期测试过。如果你的服务商不情愿，这份不情愿本身就已经告诉了你一些东西。\n同一个问题一路往下，直到办公桌上，而这一个是被彻底遗忘的。他们给你装的每台笔记本和台式机上都有一个 BIOS 管理员密码，是他们那边的某个人在装机时设的。机器归你。钥匙在他们手里。\n想想这个密码实际管着什么。启动顺序。安全启动。机器到底能不能从 U 盘启动。也就是说，你能不能重装一台你自己的机器，救回一台起不来的机器，把一批机器转交给别人，或者在它们出门之前好好擦干净。在笔记本上，它可能还是挡在小偷和硬盘之间的那道东西。这些都不稀奇。这只是拥有电脑的日常事务，而在非常多的环境里，主人不给供应商打电话就一样都做不了。\n把全部都要过来。每台笔记本、每台台式机、每台服务器：BIOS 或固件密码，任何带 BMC 的设备上的 BMC 登录，以及任何锁了 GRUB 或同类东西的设备上的引导程序密码。那是同一把锁往上一层，挡在你和一台起不来的服务器的救援启动之间。如果它们全都是同一个密码，这也值得知道。如果答案是不给，问为什么不给，因为能拿出来的理由都很单薄：诚实的那一个是这样他们装机方便，其余的都是打扮成安全的说辞。一个你不被允许拥有的密码，并没有在保护你防着谁。它是在保护他们，防着你离开。\n然后是你修机器时真正用来登录的那个账户。每台 Windows 机器上的本地管理员，每台 Linux 上的 root，以及楼里每台交换机、防火墙和虚拟化主机上的同类账户。两个问题就能全部覆盖，也覆盖上面说的固件和引导程序密码。每台机器上的都不一样吗？它们放在谁的密码管理系统里，你的，还是他们的？\n“不一样”比人们以为的更要紧。两百台机器共用一个本地管理员密码，不是两百个密码，是一个，而它既在财务服务器上，也在公司里防护最差的那台笔记本上。这不是理论上的弱点，这是标准套路：随便进一台，读出密码，走遍所有机器。Microsoft 在盒子里就附带了答案。Windows LAPS 给每台机器设一个不同的密码，按计划轮换，并备份到 Active Directory 或你自己的 Entra 租户里。Microsoft 自己的页面把第一条好处列为“protection against pass-the-hash and lateral-traversal attacks”，而且这个功能在每个受支持的 Windows 版本上都免费，把密码存在你自己的目录里也不用再额外付钱。所以如果答案是到处同一个密码，那不是许可证问题，也不是工具问题。是有人从没把它打开过。\n你机器的密码放在谁的系统里 常见的安排 他们的密码库，或附在他们工具上的那个 你公司里的每一个管理员密码 由一家你没有账户的公司握着 你的机器 服务器、笔记本、交换机、防火墙、虚拟化主机 谁读过的日志是他们的 你登录不进去的东西，你就审计不了 收回它意味着在最糟的时候好声好气地去求 你想要的安排 你的目录，或你的密码库 每台机器一个不同的密码，定期轮换， 托管在你自己的访问控制管得到的地方 同样的机器 服务商被授予访问权，而不是被交付保管权 谁读了什么，记录在你手里 你今天就能看到，不用问任何人 你可以在某个星期二下午收回它 两百台机器共用一个本地管理员密码，不是两百个密码。 它是一个，既在财务服务器上，也在公司里防护最差的那台笔记本上。 Microsoft 白送了这个问题的答案，而且它把密码放在你的目录里，而不是他们的。 同样的机器，同样的密码，对于谁拿着它们、谁能看到某个密码被读取，却有两种不同的答案。 “谁的系统”是要使劲追问的那一点，留意 LAPS 默认把密码放在哪里：在你的目录里，受你的访问控制管着，由你记录谁读过。这就是你在所有东西上都想要的形态。你机器的凭据住在你拥有的东西里，你的服务商被授予访问权，这个访问你看得见，也能在某个星期二下午收回，不用征得任何人同意。\n另一种形态才是常见的。密码放在他们的密码管理器里，或者放在他们远程管理工具上附带的特权访问库里，而你没有登录账号。那么你公司里每一个管理员密码，都由一家你没有账户的公司握着，谁读过哪个密码的日志是他们的，而关系闹僵的那天，你得好声好气地去要你自己机器的钥匙。\n所以追问下去，现在就问，别等到解约会议上。这些东西怎么进到我们的系统里？有三个诚实的答案。把托管搬进我们的目录或我们的密码库，他们拿委派访问权。或者今天就给我们读取他们那边的权限，附带一个我们自己能跑的导出，格式是我们自己的密码库能吃进去的。或者按计划交给我们一份封存副本，注明日期，由我们打开并测试。“全都在我们系统里，等你走的时候给你”不在这个清单上，因为你走的那天，正是他们最没理由做事利索的那天。\n还要问之后这些密码怎么办。一个他们的工程师知道了四年的凭据，不会因为一封说“已经删了”的邮件就变安全。每一个都要在离开时轮换，由你来做，在那些你如今握着固件密码的机器上。\n然后是这一切的实时版本。你系统里的某个密码被读取时，你会收到通知吗？\n不是一份他们留着、你开口问才能给你看的日志。而是一条送到你这边的消息：哪个凭据，哪个工程师，哪张工单，什么时间。这个能力在哪儿都没有疑问。每个配得上这个名字的密码库都会记录一次取用，而 Microsoft 自己的托管就在你自己的租户里做这件事，恢复一个密码会以“Recover device local administrator password”写进 Entra 审计日志，记在执行操作的账户名下。所以唯一真正的问题是，这条记录指向的地方你看不看得到。\n去问，如果答案是不，问为什么不。这里头确实有一个诚实的“不”：在一个繁忙的环境里，每次取用都告警的话，一天要响四十次，到星期三你就不看了。这有答案，而不是对话的终点。对那些本该很少发生的取用告警：域管理员账户、应急凭据、固件和引导程序密码、恢复密钥。还要对任何没附工单号的读取告警，因为那要么是记录做得马虎，要么恰恰是你想听到的那件事，而这两种情况都不适合等到季度复盘才发现。\n他们进来之后能做什么 再来一个，这是最常换来一脸茫然的问题。他们的工程师进入你的系统时，你会收到通知吗？\n不是他们留着的日志。是一条你收到的通知：谁进来了，什么时候，待了多久，对应哪张工单。去要，如果答案是不，问为什么不。\n这是有先例的，就在他们转卖给你的产品里。Microsoft 的 Customer Lockbox 要求 Microsoft 工程师在支持工单里碰你的内容之前，先取得你的明确批准。Google 公布 Access Transparency 日志，记录它自己的员工碰过你的数据，而 Access Approval 让他们先来问你。所以地球上最大的这些供应商，访问权比你的服务商手里的窄得多，却为自己的员工建了审批流程和访问日志，并把记录交给你。\n你的 MSP 有域管理员权限。问问他们给你交了什么。\n而且还有一个比问责更硬的理由。一条送到你这边的通知，是你能得到的唯一一个独立信号，告诉你他们的凭据正在被不是他们的人使用。如果攻击者从服务台走进来，所有能显示这件事的日志都在那个刚刚被攻破的机构里面。一条落进你收件箱的通知，在它外面。\n再往下一层，到机器本身。远程工具能不能在某人不同意的情况下连上他的桌面？\n对凌晨三点的服务器来说，无人值守访问就是全部意义所在，没有哪个明白人会反对。对一台有人正坐在前面、邮件开着、工作摊在屏幕上的机器来说，这是另一回事。每一款像样的远程管理产品都可以设置成连接前先提示，会话进行时显示一个看得见的标志，并且让那个人可以拒绝。你的产品有没有这样做，是一项配置，而这项配置是由它对之有利的那些人选的。\n所以问三件事，并且分开问。你们的工程师能不能不经提示就连上员工桌面？坐在前面的人在有人连着的时候能看到任何东西吗？他们能拒绝吗？\n如果第一个是“能”，后两个是“不能”，那不是技术限制。那是一个没人回头看过的默认设置，出在由它所偏袒的那一方买下的产品上。这也值得摆到你们机构里负责数据保护的人面前，因为在员工不知情的情况下看着他们的屏幕，是一个本该有人签名负责的决定。\n然后是那个决定这一切事后能不能被证明的问题。他们的工程师在你系统上干活时，有没有被录下来？\n会话录像不稀奇，也不是什么过分的要求。它是市面上每一款特权访问产品的头牌功能，这意味着你的服务商很可能早就在为它付钱，只是从没打开过。一段录下来的会话会给你一段视频，或者一份按键和命令日志，或者两样都有，绑在一个具名工程师和一个工单号上。这才是问责真实存在、而不是停留在承诺上时的样子：不是保证工程师守规矩，而是一份记录，万一有人不守规矩就能显示出来。\n所以问它开没开，然后问你怎么拿到录像，因为一段你拿不到的录像不是证据，是传闻。有三种值得要的答案，按优先级排。录像在生成时就写进你拥有的存储。或者你今天就有读取他们系统的权限，附带一个你自己能跑的导出。或者有一条申请渠道，写明了周转时间（以小时计，书面，写进合同），并且你至少在一次普通会话上测试过，而不是第一次用就在吵架的时候。\n你不想要的是那种常见安排：录像只由服务商持有，保留期由服务商定，删不删由服务商说了算。这种控制措施一直完美运转，直到需要拿它来对付服务商的那一天。所以问谁能缩短保留期，谁能删掉一段，看录像这件事本身有没有被记录。还要问你离开那天这些东西全都怎么处理。\n另一面也要说公道话，因为确实有另一面。一段工程师修笔记本的录像，也是一段你员工屏幕上当时有什么的录像，偶尔还会录到一个明晃晃敲进去的凭据。录像本身就是敏感的，需要和密码库一样对待：加密，有访问控制，被查看时有记录，保留一段写明的时间，不多留。一个在你提出之前先跟你提这件事的服务商，是想过这个问题的。一个从没考虑过的，也告诉了你一些东西。\n同一个工具几乎肯定能传文件，双向都行。问它能不能，然后问围着它设了什么。\n往外传是那个没人算价钱的方向。通过管理通道的传输是加密的、受信任的，而且落在你已经付过钱的每一项控制之外：数据防泄漏、出口监控、关于 U 盘的那条规定。任何有控制台权限的人都能从任何机器上拷走任何东西，而在大多数部署里，这件事没有一份你会被拿给看的记录。\n往里传，正是这篇文章前面那些事件实际发生的方式。一次把文件推到每个终端，不是这些产品的缺陷，是它们的头牌功能。勒索软件只是照着它被设计的用法用了它。\n所以问文件传输到底有没有开，在那些从来不需要它的机器上能不能关掉，每一次传输有没有记录文件、方向、机器和工程师，以及这份日志是发给你，还是和别的日志一起进了他们的收件箱。\n这方面最后一个，因为它是根本没人想到要问的。这个代理到底在收集什么，收集来的东西怎么处理？\n这些工具收集的远不止补丁级别。硬件和软件清单、事件日志、性能遥测，常常还有会话录像和截图，有时候还要多得多，取决于开了什么。这是一幅关于你的生意怎么运转、你的员工整天在干什么的详细画像。它在源源不断地离开你的场所。\n所以问收集了什么，存在哪里、受谁的司法管辖，保留多久，谁能看到。因为答案通常是服务商和工具厂商，那是第二家你从没选过、也没有合同的公司。问其中有没有任何东西被用在支持你之外的用途上：产品分析、基准对比、模型训练。问合同结束那天这些东西全都怎么处理，并且要书面的，而不是嘴上说说。\n还要留意这是谁的数据。关于你员工和你系统的记录，由某个代你处理数据的人持有，这句话是带着义务的，而这些义务是你的，不是他们的。\n机器关着时也会应答的芯片 在这一切下面还有一层，值得点名去问。他们用的是不是 Intel vPro，或者它底下的 Active Management Technology？\n如果你没碰到过它，简单说就是：管理固件跑在芯片组里一个独立的控制器上，有自己的网络协议栈。机器关着的时候它也会应答，只要插着电、连着网线。它能给机器开机，改 BIOS 设置，挂载远程镜像并重装，在合适的配置下还能在硬件层面接管屏幕和键盘：在操作系统加载之前，也不管操作系统到底会不会加载。\n想要它是有正当理由的。一台起不来的机器，一台三百英里外设备上的 BIOS 设置，不用派人出去就能重做系统。在一个分散的大环境里它很有用，我不会假装它没用。\n但看看它坐在哪里。在操作系统下面，也就是在你买的每一项控制措施下面。你的终端防护看不见它，因为它不在操作系统里跑。你的主机防火墙不过滤它，因为这些流量根本到不了操作系统的网络栈，它在自己的端口上就被处理掉了，别的东西还没来得及看一眼。你的日志不覆盖它。你装的任何东西都没法告诉你发生过一次会话。\n你的控制措施止步于何处，以及在它们下面继续运转的东西 一台机器，从上往下 你的应用和你的数据 业务真正在用的东西 你的控制措施看得见 终端防护、日志、主机防火墙 这是你在付钱的那部分 你的控制措施就是这一层 操作系统 上面的一切都在它里面运行 你的控制措施在这里运行 这条线以下，你装的任何东西都没在看 固件和 BIOS 由制造商更新，按他们的时间表 不在你的补丁流程里 管理引擎、vPro 或 BMC 自己的处理器、自己的网络栈、自己的端口 机器关着也会应答 管理流量从这里进来 你买的一切都跑在操作系统里。它下面那两层不在，装在那条线以上的任何东西都没法告诉你发生过一次会话。 安全记录也不让人放心。CVE-2017-5689 评分 9.8，描述值得慢慢读：“an unprivileged network attacker could gain system privileges to provisioned Intel manageability SKUs”。CISA 发了一条警报，CERT/CC 发了一份漏洞说明。留意“provisioned”（已配置）这个词：休眠时它不是入口，打开了就是。而且承载它的固件不会通过你付钱买的常规补丁流程更新。它来自机器的制造商，按他们的时间表来。\n然后是那个应该让每个对员工、而不只是对服务器负责的人上心的部分。硬件层面的屏幕控制，意味着有人可以在操作系统毫不知情的情况下看着一块屏幕。问一问用户同意提示是不是强制的，可见的会话标志有没有打开，因为两样都是配置，两样都可以被配置它的人关掉。\n所以问题都很短。我们的机器上有没有配置它，是谁配的，什么时候配的，是不是某次没人提过的装机的一部分？哪些具体的活需要它，又有多少台机器真的需要这些活？哪个网络能碰到管理端口，它和其他一切隔离开了吗？同意提示是不是强制的，标志开没开，审计记录在哪里？在每一台不需要它的机器上，能不能取消配置？\n如果第一个问题的答案是“我们不知道”，单这一点就值得知道，因为这意味着这个能力就摆在那里，有人配置过，却没人看着。\n风险是白送进来的 把这一部整个倒过来看，它说的只有一件事。这里面的每一项能力，都是作为便利进来的，也是按便利定价的。能给一千台机器打补丁的代理，就是能往一千台机器上放文件的那个东西。省掉一趟两百英里车程的芯片，在机器关着时也会应答，而且什么都不告诉你的日志。便利被报了价，列了明细，签了字。能力装在同一个盒子里一起来了，没有标价。它不出现在任何一份你被拿给看过的文件上。\n这些都不是要你干脆全都不用的理由。环境需要打补丁，也得有人能够得着一台死掉的机器。这是要你弄清楚楼里有什么，谁能碰到它，从哪里碰，以及要发生什么，握着这份触达能力的人才会变成现在这家公司以外的某个人。发票永远不会告诉你，因为发票是一份你在为什么付钱的清单。它不是一份你暴露在什么之下的清单。在这套安排里，从来没有人被要求拿出第二份清单。\n第三部讲的是其中一个炸了之后会怎样。合同实际承诺了什么，最后谁来扛损失，借口听起来是什么样，以及当你终于受够了，离开要付出什么代价。\nIs Your MSP Lying To You — 3 parts\n你的 MSP 是不是在骗你，好卖给你高价产品？ 你的 MSP 给你建了什么，还有谁能碰到它you are here 出了故障，到底谁来扛？ 来源 检索于 2026年8月28日。\n设备。\nCVE-2018-0141 — 硬编码账户密码，Cisco Prime Collaboration Provisioning，2018年3月。 CVE-2018-15439 — Small Business 交换机，在不通知管理员的情况下启用特权账户，2018年11月。 CVE-2023-20101 — Cisco Emergency Responder，无法更改或删除的静态 root 凭据，2023年10月。 Der Spiegel, 29 December 2013 — 出自斯诺登文件的 ANT 目录，点名了 Cisco 和 Huawei 等厂商。 Der Spiegel, 29 December 2013 — TAO 内幕：拦截、“load stations”，以及被转运的货物会遭遇什么。 Ars Technica, 14 May 2014 — 2010 年的 NSA 内部通讯，以及一台 Cisco 路由器被植入的照片，刊于 Glenn Greenwald 的 No Place to Hide。 Cisco, 13 May 2014 — 该公司的回应，用它自己的话。 New York Attorney General, 2019 — 就卖给政府机构的视频监控软件达成的多州和解，以及 2009 年到 2013 年的时间线。 边界设备。\nCISA Known Exploited Vulnerabilities catalogue — 2026.08.27 版，1,685 条；本文中按厂商的计数是我自己对这个文件的统计。 CVE-2024-3400、CVE-2024-0012 — PAN-OS、GlobalProtect 和管理 Web 界面。 CVE-2022-40684、CVE-2018-13379 — FortiOS 认证绕过和 SSL VPN 路径穿越。 CVE-2023-20198、CVE-2025-20333、CVE-2026-20316 — Cisco IOS XE Web 界面、ASA VPN Web 服务器，以及 Secure Firewall Management Center 中的硬编码密码。 CISA, Implementing Phishing-Resistant MFA — 各种 MFA 形式从强到弱的排序。 KrebsOnSecurity, July 2018 — Google 谈 85,000 多名员工在强制使用实体安全密钥后没有一例被成功钓鱼。 Joint advisory AA23-320A — Scattered Spider，以及它对外包 IT 服务台的针对性攻击。 Windows LAPS overview — 每台机器一个不同的本地管理员密码，定期轮换并备份到你自己的 Active Directory 或 Entra 租户；在每个受支持的 Windows 版本上免费。 出事的时候。\nICO, March 2025 — Advanced Computer Software Group 被罚 GBP 3.07 million，这是该监管机构第一次对数据处理者开出罚单。执法页面有详细内容。 ICO, October 2025 — Capita 因 2023 年的数据泄露被罚 GBP 14 million：十分钟的告警，对着一小时目标的 58 小时响应，以及人手不足的安全运营中心。 Law Society Gazette, 28 November 2023 — 约 80 家房产过户律所在其 IT 服务商宕机后无法完成交易。 CISA and the FBI on the Kaseya VSA attack, July 2021 — 针对托管服务商及其下游客户的勒索软件。 Joint advisory AA23-025A, 25 January 2023 — CISA、NSA 和 MS-ISAC 谈对合法 RMM 软件的恶意使用。 CVE-2024-1709 — ConnectWise ScreenConnect 认证绕过，CVSS 10.0，2024年2月。 CISA advisory AA25-163A, June 2025 和 CVE-2024-57727 — 勒索软件团伙通过未打补丁的 SimpleHelp RMM 触及下游客户。 Joint advisory AA22-131A, 11 May 2022 — 英国、澳大利亚、加拿大、新西兰和美国的机构谈托管服务商及其客户面临的威胁。 ","permalink":"https://blogs.damiendye.uk/zh/random/is-your-msp-lying-to-you-part2/","summary":"三部曲第 2 部。文件签完之后到底建了什么：那台怎么劝都不肯换掉的盒子，成了入口的防火墙，本来就是你花钱买下的那些基础工作，以及每台机器上那个听命于别人控制台的代理。","title":"你的 MSP 给你建了什么，还有谁能碰到它"},{"content":" Is Your MSP Lying To You — 3 parts\n你的 MSP 是不是在骗你，好卖给你高价产品？ 你的 MSP 给你建了什么，还有谁能碰到它 出了故障，到底谁来扛？you are here 第一部讲的是候选名单是怎么写出来的。第二部讲的是在那份名单之上建起了什么。这一部讲的是它停止工作的那个早上，以及从那之后发生的一切。\n合同上谁负责，负责多少。答案是“没人”的时候，会议室里说的是什么。一个值得留下的服务商会怎么做。还有离开一个不值得留下的服务商要付出什么，结果这恰恰是没人提前计划、直到那一周真需要时才去想的部分。\n溢价到底买到了什么 证据都在第二部里，我不会再带你走一遍。就当已经读过：贵的选项没有买来能力，没有把基础工作做完，也没有给你一台更难攻破的盒子。\n那这笔钱到底附在什么上面？\n不是芯片，芯片每年都在变便宜。不是地址。也不是工程师的工时，这个行业两年里把培训支出砍了将近三分之一。溢价附在渠道上：一家大到足以搞分级、返利、项目报备和分销网络的厂商，也就是说，在任何东西建起来之前，有一长串人都要先拿到钱，而他们每一个都在你的发票上。\n这是卖方的一半，单看它解释不了多少。很多买方完全有能力，照样签了字。所以还有另一半，而且是更让人不舒服的那一半。\n溢价买来的是掩护。不是给公司的。是给签字的那个人的。\n装上那个人人都认识的牌子，是一种站得住脚的选择，而选开源的那个永远做不到这一点。如果市场第一的防火墙被攻破，那别人的也一样被攻破了，你只是运气不好。如果你自己搭起来的东西被攻破，那是你选的，你会被问为什么。对业务来说结果一样。对个人来说后果不一样，而每个到了一定级别的买方都明白这一点，用不着任何人说出口。\n就这样，这个圈闭合了。卖方因为推荐贵的选项拿到更多钱。买方因为接受它而个人更安全。两边在任何时候都没有违背自己的利益，而唯一承担这套安排代价的，是他们俩共同为之工作的那家企业。\n这就是这个系列一开始那个问题的答案，而且它比撒谎更糟。说谎的人知道真相是什么。这套安排不需要任何人知道任何事。它只需要候选名单一直按同样的方式出来，而它确实一直如此。\n你永远拿不到的报告 托管服务发票上每一条周期性收费，都应该产出一份文件。大多数什么都没产出，而几乎没人去问。\n拿基础设施补丁来说，就是排在桌面补丁上面的那一行。给一整批机器打更新，诚实的做法是一套 playbook，Ansible 或者别的什么都行，放在你看得到的地方，按计划运行，留下输出。所以去要那套 playbook 看看，再去要运行日志看看。在大量合同里，这两样都不存在。更新是手工做的，如果做了的话；有人想起来了才做；而这一行每个月照收不误。卖给你的是自动化，其实是日历里的一条备注。\n发票上每一条收费应该产出什么 发票上的收费 证明它的文件 通常送来的东西 补丁 playbook，以及它的运行日志 放在你能读到的地方，按计划运行 一个合规百分比 备份 一份注明日期的恢复测试 恢复了什么，恢复到哪里，花了多久，谁核对过 一份满是绿色勾的报告 监控 告警，也发给你一份 直接从系统发出，按计划，不经修饰 一个每月精心挑选的仪表盘 文档 记录在你自己的系统里 你的 IPAM、资产数据库、wiki 一份导出，按他们的时间表 一个没人恢复过的备份不是备份。它是一个关于备份的假设。 去要最近的一份恢复测试。答案，或者答案之前的停顿，就是评审的全部。 每一条周期性收费都应该留下一份文件。大多数留下的是一个百分比、一个绿色的勾，或者什么都没有。 然后是备份。这是其中最糟的一项，因为它是人们最相信的那一行。\n你会拿到一份备份报告。绿色的勾，作业完成，写入多少字节，每周都来，没人看。那份报告不是要紧的那一份。一个没人恢复过的备份，不是备份。它是一个关于备份的假设。\n你要的文件是恢复测试。恢复了什么，恢复到什么硬件上，从头到尾花了多久，事后谁打开了数据并确认那就是那份数据。去要最近的一份。\n然后就离线副本再问一遍同样的问题，因为那是另一项单独的说法，需要单独的证明。人人都说自己有一份。让他们拿给你看：介质，放在哪儿，最后一次写入日期，谁有凭据。再问最后一次从那份副本做恢复是什么时候，而不是从在线备份系统恢复。那是不同格式的不同介质，测试其中一个，对另一个什么都证明不了。离线副本是熬过糟糕一周的那一份，也是最不可能被读回来过的那一份。问他们多久做一次，针对哪些系统，你这边有没有人见过结果。在很多合同里，这件事一次都没做过，因为做一次要花某个人一天时间，而没人为此开账单。\n这一切之前还有一个问题，它决定了其余的一切有没有意义。这些报告是发给你，还是只发给他们？\n大多数时候，工具生成报告，报告落进服务商的收件箱，有空就有人看一眼，出了问题再告诉你。这不叫问责。这是附带一张发票的自我评估，它要你在他们收钱要做的那件事上，相信他们的一面之词。\n所以要求报告也发给你。直接从系统发出，按计划发，工具吐出什么格式就是什么格式。不是被考核的那个人拼出来的幻灯片，也不是为月度会议精心挑过的绿色仪表盘。备份成功，以及更重要的，失败。补丁运行，以及它跳过了什么。告警数量和对照目标的响应时间。做了恢复测试时的测试结果，以及当前的例外清单。\n你不用每一份都看。你得能看，而且他们得知道你能看。整个机制就是这个，这就是信任一个人和处在能核查的位置之间的区别。\n要是这件事变得很难，问为什么。清单上每一份报告都已经存在，已经在发往某个地方。加一个收件人是分发列表里加一行，不是一个项目。在这件事上的不情愿不是技术问题，它比那个答案本身更有价值。\n同一个问题还有一个更大的版本，它决定了你到底能不能自己核查任何东西。文档放在哪儿？\n问他们会把你的资产记录在你的系统里，你的 IPAM、你的资产数据库、你的 wiki，还是记录在他们的系统里。大多数会说他们的，而且会包装成效率。他们的工具，他们的模板，他们的流程，没有任何东西需要你来运行。\n看看这套安排做了什么。地址规划、网络拓扑图、资产登记、运维手册和许可证密钥，全都是你的业务的记录，用你的钱做出来，描述的是你拥有的设备。却放在你看不到的地方。你看不到的东西就审计不了，所以你没法知道文档和实际环境是否一致。而文档一直在和现实脱节，这很正常，也可以原谅，但看不见的脱节，就是你在事故中而不是在评审中才发现它的原因。\n然后是结束时会发生什么，讲离开的那一节会回到这个问题。在你自己系统里的文档已经是你的，已经是最新的，已经是你在用的格式。在他们系统里的文档是一份导出，按他们的时间表，以他们工具提供的任何形式出现，通常是一份 PDF，而它原本是一个数据库。\n所以把问题直接问出来，而且要的是今天就能用的只读权限，不是原则上可以。一个在你的系统里干活的服务商，做了一个让他们费点事、却给你很多的决定，他们会告诉你这一点。一个坚持把全貌留在自己工具里的服务商，做了相反的决定，值得问一问他们看中的是其中哪一部分。\n这个差距不是纸上谈兵。第二部里的每一起事故都落在它上面。Kaseya 的客户，那八十家产权转让律所，Capita 背后的那些养老金计划：对他们每一个来说，那天唯一要紧的问题就是恢复能不能成功。就在那时，一份没人要过的报告，成了整栋楼里唯一值得拥有的文件。\n如果你的服务商拿不出一份恢复测试，你买的就不是备份。你买的是复制，至于是哪一种，你会在一年里最糟糕的那个早上知道。\n没人需要负责 花钱买一个可以甩锅的地方，这件事值得比第一部里那一句话更多的篇幅，因为问责正是这整套安排被设计出来要绕开的东西。不是道德上的绕开。是合同上的。\n从服务等级协议看起，读读它实际承诺了什么。几乎总是一个响应时间。四小时内确认，八小时内到场，诸如此类。响应完全在他们的控制之内，所以可以放心地承诺。修好不在，所以不承诺。去找一条承诺结果的条款：服务能用，数据能回来，门店能营业。大多数合同里一条都找不到。\n然后找责任上限。它一定在，通常是你过去十二个月付的费用，有时还更少。所以他们能碰上的最坏情况，是把你已经给过的钱退回来。你能碰上的最坏情况，是整个业务。这两个数字根本不在一个世界里，而它们之间的差距，就是你实际所处的风险位置。\n协议承诺了什么，双方各自可能损失什么 协议实际让他们承诺的事 四小时内确认故障 已承诺 八小时内到场 已承诺 服务恢复，数据回来，门店照常营业 未承诺 以及最糟糕的那一天双方各损失什么 他们 上限约为你已经付过的十二个月费用 你 订单、工资、客户、整个业务 响应在他们的控制之内，所以被承诺了。修好不在，所以没有。这两根条是同一份合同，从两头看过去。 转售把剩下的部分推到了上游。超大规模云厂商宕机了，是超大规模云厂商的错。防火墙出了一个 10 分漏洞，是厂商的错。一个被植入木马的安装包带着签名、作为普通更新送了过来，那也是厂商的错。每一条都是真的，没有一条对你有用，因为你和这些公司里的任何一家都从来没有过关系。你的关系是和那家替你选了它们、并为此拿了返利的公司。\n在这一切底下，还有最安静的一个机制。一个从来没写下来的需求，你不可能没交付。第一部里那份没人写的需求文档，不只是马虎。它是保护。没有记录下来的需求，就没有可衡量的承诺。没有可衡量的承诺，就没有违约。一个没人签字确认的设计，不存在偏离一说。\n看看问责终于在某个地方出现时发生了什么。Capita 被罚了 1,400 万英镑，罚单来自信息专员办公室，依据的是数据保护法，原因是一条告警五十八个小时没人处理。不是来自客户，也不是依据服务合同。钱交给了国家。数据流出门外的那 660 万人，以及承担后果的那 325 个养老金计划，既不是提起这件事的人，也不是拿到钱的人。\n所以这套安排从头到尾是这样的。厂商在一份不对任何特定用途作保证的许可下卖产品。服务商在有上限的责任和一个响应时间承诺下卖工时。保险公司给剩下的部分定价。而损失落在那个挪不动的企业身上，它是整条链上唯一一个从来没机会给自己免责的一方。\n链上每一方都为自己那份免责，而一切都落在同一个地方 每一层都把后果往下传，自己留下差价 厂商 许可证声明 不对任何用途作保证 分销商 转运产品， 从中抽成 服务商 在有上限的责任下 出售工时 保险公司 给剩下的部分 定价 周一必须开门营业的企业 生产东西，雇着人，没法说走就走 而且是链上唯一不能为任何事免责的一方 上面每一层在法律上都是干净的。损失总得落在某个地方。 每一层在法律上都是干净的，而且每一层都在任何东西建起来之前就拿到了钱。后果一直往下传，直到碰上一个没法再往下传的人。 这一切里面有一个更简单的检验，不需要律师。\n如果一家公司相信自己推荐的东西，它就应该愿意为之负责。这就是推荐的含义。你买的不是那台盒子，任何有个网站的人都能卖你一台盒子。你买的是某个人的判断：这就是适合你的那台盒子。他们为这个判断拿了钱，又从那台盒子的厂商那里再拿了一次钱。\n所以当它出了故障，回来的答案是厂商让所有人失望了，看看刚刚发生了什么。你实际买下的那部分被免责了。判断恰恰在它被检验的那一刻蒸发了，剩下的是一家把产品转手、顺路抽了一笔差价的公司。\n没人要求一家 MSP 去为 Microsoft 担保。但为超大规模云厂商担保，和为你自己的建议负责，这中间有很宽的距离，而其他每一个行当都在这个距离里的某处。装配电箱的电工，不能拿厂商来为自己选了它开脱。指定一根梁的结构工程师，对这个指定负责。他们为自己的判断负责，因为判断就是那项服务。\n所以问问你的服务商准备扛什么。不是厂商的产品，是他们自己的推荐。答案，或者答案之前停顿了多久，会告诉你他们私下里怎么看它。\n然后就成了你的错 合同是这件事安静的一半。吵闹的一半在某样东西真正坏掉的那天出现，而且比修复先到。\n看看责任往哪个方向走。往外，往每一个能走的方向，大致按这个顺序。厂商发了一个坏补丁。线路是运营商的。这是已知问题，大家都遇到了。谁也预料不到，说的是一个在被利用漏洞名单上待了久到能长出胡子的缺陷。上一家服务商就是这么留下来的，这个答案在头六个月是合理的，到了第三年却还在说。然后往外的方向用完了，只剩下一个。你从来没批准过升级。那不在范围内，你的员工点了那个链接，你从来没提过工单。\n不舒服的地方在这里。其中有些是真的。一个连续三年拒绝同一次更换的客户，确实要为那个决定负责，一个这么说的服务商是在跟你实话实说。所以问题不在于借口准不准确。而在于它是什么时候第一次说出来的。一个在故障之前就以书面形式摆到你面前的风险，附带修好要花多少、不修要花多少，那是一个服务商在管理你的环境。同样一句话在故障之后一周才发过来，那是在拼凑辩护。同样的字，不同的日期，相反的含义。\n“你从来没提过工单”这一句值得停下来看，因为它根本不是借口。它是把运营模式大声说了出来。任何事在你注意到之前都不是任何人的工作，这就让你成了监控，而你每个月付费给一家公司，它的检测层就是客户打来的电话。这个答案你只要听过一次，就知道这项服务是什么了。\n这还有一个更主动的版本，而且它的效果好得不应该。你召集一次评审，想问问过去六个月为什么是这个样子，结果回来的议程讲的是完全不同的事：一个紧急的安全问题，一个之前没人提过的许可截止日期，一台已经停止支持两年的盒子发来的停止支持通知，偏偏这两周突然变得紧迫起来。它被带着真切的关心呈现出来，附着一份报价，吃掉了那一个小时。你离开时同意了花钱，而你召集会议要说的那件事，从头到尾都没被说出口。\n注意那些人为制造的危机总有什么共同点。它需要一次采购，需要在本季度，而且不需要会议室里任何人承认任何事。真正的紧迫看起来不一样，因为它带着一个编号，一个发布日期，你环境里中招的具体机器，以及在等着告诉你的这段时间里他们已经做了什么。编出来的那种，到来时是一个厂商截止日期和一个凑整的数字。问问它是什么时候第一次出现在他们视野里的。如果答案恰好是你开始问尴尬问题的那一周，那不是巧合，也从来就没打算是巧合。\n所以自己留一份档案，在需要它之前就开始。每次有人告诉你某件事没问题，要一封邮件写明。每次你拒绝了什么，写下你看到了什么、报价是多少。这只花一分钟，而它意味着在成了你的错的那一天，你可以问日期是哪天，答案要么存在，要么不存在。一家好好做这份工作的公司反正会先到一步。他们一开口就是：我们漏了这个，这是我们要改的地方，而且在你问完之前就说了。这只花他们一句话，而这正是为什么很少有人愿意花。\n当你遇到编出来的危机，或者某件从没人跟你提过的事被甩到你头上，就在会议室里说出来。不是事后投诉，也不是记一笔存档。问他们觉得这算不算专业，如果这个答案是给他们的，他们会不会接受，这里面的诚信在哪儿。会有人不舒服，而这正是问的全部目的。一家还剩点自尊的公司会接下来，说一句说得对，下个月就不一样了。不到一分钟你就会知道对面坐的是哪一种。\n然后无论如何都开始找下家。就在那一周。一次糟糕的会议决定不了什么，但推卸从来就不是某一天状态不好。它是一个关于你的决定：管理你的情绪比修好你买的东西便宜，而且你会忍下去。公司不会因为一个客户拉了一下脸，就推翻这笔账。好好地更换一家服务商要花好几个月，而这几个月你还一天都没开始花。该做这件事的时候，是你还足够冷静、能好好选择的时候，而不是在那场终于替你下了决心的故障之后的两周里。\n在下一次会议上问这些 这一切都不花你一分钱，问其中任何一个问题都不需要你是工程师。\n我把问题放进了一张电子表格，而不是一条条写在页面上：120 个问题，覆盖十五个领域，每一个都把称职的回答听起来是什么样，和推脱的回答听起来是什么样并排列出，还有一栏让你记下你拿到的是哪一种。\n\u0026#8615; 供应商问题清单，完整版 msp-supplier-questions.xlsx · 26 kB 把它当作提示单，而不是台词。从头读下去，标出真正和你的合同相关的那十几个，问那些。没人能在一个小时里坐着听完一百个问题，真那么做你反而学到的更少。在会议之前把它发过去，而不是在会上掏出来。一个好好做这份工作的服务商会乐意提前知道，而他们怎么对待这份提前通知，本身就是一个答案。\n里面有一个问题，问他们的哪些推荐会从厂商那里给他们带来返利、积分、差价或者业绩指标。这是那个能让会议室温度变了的问题，而它本不该如此。一个没什么可隐瞒的服务商会直接回答，因为他们反正会推荐同样的东西，而且宁愿你知道。看看你问的时候发生了什么。答案没有反应要紧。\n一个好好做这份工作的服务商，这些全都手边就有。现在，今天，不用准备。需求写了下来，选项算了成本，对比表上有开源那一行，地址规划是双栈的，远程管理工具打了补丁，风险都在风险登记册里待在它们该在的地方。问一问，一次会议之内你就知道自己花钱买的是哪一种。\n要是让他们不高兴的恰恰是你问了这件事本身，那你需要知道的就已经全都知道了。\n每个客户关系都会变安静 这一切都假设你需要时可以离开。这一点值得在需要之前就检验，因为离开正是托管服务合同不再关乎技术的地方。\n就当你迟早会需要它。不管和谁签，每一份这样的安排都会以同样的方式慢慢走样。他们争取这笔生意时给你的关注，在自动扣款开始运转之后就变薄了，你在他们账本上沉淀成一个每月的数字，而不是一套有人在惦记的环境。没人坐下来决定不再上心。最好的工程师去了声音最大的地方，评审悄悄不再开了，你的设备停在你签约那年的正确答案上，而整个行业丢下你继续往前走。\n弄明白一个安静的客户关系到底是什么，因为这个说法听上去像夸奖，其实不是。安静的客户关系，就是没人检查过的客户关系。备份每晚都跑出绿色，却没人把一份恢复到备用机器上看着它起来。故障切换那一对从来没切换过，因为做一次就要预约一次停机，还得有人在场。固件是出厂时的那个，证书是谁记起来谁续的，文档描述的是一个在两次搬迁之前就已经拆掉的网络。许可证数量从你还多十一个员工那年起就没人看过。这些都不会产生工单，所以都到不了任何人的屏幕上，而这个客户关系在每一次内部评审里都一路顺风，因为唯一被衡量的，是你有没有打电话。\n然后你就发现了。不是在评审里，因为根本没有评审。你是在需要恢复的那个早上发现的，或者在审计员要拓扑图的时候，或者在一个六年没人碰过的东西停下来、楼里已经没人知道它原来在干什么的时候。一个安静的客户关系付的钱和一个忙碌的一样多，服务成本却低得多。激励就是这么回事，而它指向的方向，是永远没人去掀开盖子。\n会让他们少赚钱的建议 把检验反过来，问问你到底应该买的是什么。不是没有麻烦。谁都可以不出现。你付钱买的，是一个足够了解这门生意、能带着你没要求过的东西来找你的人：一种让月结不再出岔子的做法，一个你一直在付钱、从前年起就没人打开过的许可证，一种更便宜的数据存放方式，一个针对那台大家都默契地不去重启的盒子的计划。其中有些东西，告诉你会让他们少收钱，这恰恰是为什么它是诚实的信号。问问自己，你的服务商上一次在你面前摆出一个让他们自己发票变小的推荐，是什么时候。\n最常见的形式不是打折。而是有人把你已经在用的东西过一遍。大多数机构不缺软件，缺的是一个真正坐下来好好研究过手头这些软件的人：已经包含了正在被报价的那个功能的许可证档位，原项目里付了钱却从没上线的模块，财务系统里那个只要有人花两天就能终结重复录入的流程，因为没人问过第一家供应商他们的产品能不能顺便做这个而买下的第二份订阅，还有那些从来没人建起来的报表，于是整个公司都导出到电子表格里，在那里干活。一个真正的服务商就从这一堆开始。你拥有什么，它能被调教成做什么，它永远做不到什么，如果你已经付钱的东西按它本来的设计去配置，问题能消失多少，这一切都在任何人翻开价目表之前。\n这就告诉了你他们打算怎么从你身上赚钱，因为那种工作是费劲的那一类。它意味着读别人的文档，学一个他们不转售、懂了也拿不到任何好处的系统，和整天用它的人坐在一起，弄清楚周五下午四点到底发生了什么。这些里面没有一样会带来返利。这也正是你以为自己买下的全部东西。有时最后的答案确实是一套新系统，那就买新系统。花钱不是问题。顺序才是：你在用什么，它还能做什么，它真正在哪里不够，然后才是出去买什么。一个跳过前三步的推荐从来就不是评估。它是一本在顶上打了你名字的产品目录。\n而一个从来没坐下来弄懂这门生意在干什么的服务商，这些一样都做不到。知道你有九十个邮箱，和知道在哪一天的哪一个小时丢掉接单系统会真正伤筋动骨，这是两回事。一个是清点，一个是理解，只有后者能产出值这个价的建议。一家三年来什么都没提议过、说不出你卖什么或者旺季在什么时候、只管让灯亮着、每个月同一天开发票的公司，不是合作伙伴，而且已经不再假装是了。它是一份附带一个电话号码的订阅。不值得留。\n相反的失败穿着一身更好的西装出现。那就是从来都不安静的服务商，每个季度都有东西要给你，你问过的每一个问题，答案回来时都附着一个料号。它看起来像关注。区分建议和推销的，不是它的量，也不是幻灯片做得多漂亮，而是这个推荐有没有可能以这样的形式回来：别动它，你今年什么都不需要，那笔钱最好花在角落里那个没人做预算的东西上。如果整段关系里没有一个推荐曾让他们丢掉过一笔生意，那你就不是在被建议。你是在被按一张清单逐项推进，而第一部讲的就是那些清单从哪儿来。合作伙伴有时会劝你别花钱。对其他所有人来说，你是一个给什么就买什么的客户，也就是一头附带服务台的现金牛，而且要让事情恰好如此，其中任何人都不需要不诚实。\n摆脱一个糟糕的服务商 把实际要发生的事情过一遍。全部。每个系统的管理员凭据都要交出来。描述环境是怎么搭建的文档，假设它存在的话。域名的控制权，以及 DNS 所在的那个账户的控制权。证书私钥。订阅要从服务商的合作伙伴协议里移出来，放进一个属于你的租户。他们的代理要从每台机器上卸掉，由他们来卸。还有在任者要和接替他们的人详细配合，持续好几周，而这期间没人付他们一分钱，他们又刚刚被告知合作结束了。\n离开时什么必须移交，又握在谁手里 握在你要离开的那家公司手里 每一个管理员凭据 文档，如果写过的话 域名，以及 DNS 账户 证书私钥 挂在他们合作伙伴协议下的许可证 他们的代理，装在你每一台机器上 还有他们工程师好几周的时间 必须移交 无人付费 归你，或归你的 接替者 在通知期结束之前 而在那一天 他们刚刚被告知 合作结束了 懂你环境的那位工程师 去了一个还在付钱的项目 你要的东西有一半 原来要收费 这些都不是蓄意破坏 他们越差，清单上能交出来的东西就越少。 一家从没把你的需求写下来的公司，也没写交接材料，混乱就是护城河。 所以趁大家还相处融洽，今天就去要那份材料，拿其中一页对照一台在线机器检查。 所有这些都握在刚被告知合作结束的那家公司手里，而这些迁移没有一项是有人付钱让他们做的。 现在是最该让你担心的部分。服务商越差，退出就越难，因为这些毛病是同一批毛病。一家从来没把你的需求写下来的公司，也没写交接材料。一家把凭据放在共享保险库里的公司，没有干净的办法把它们交给别人。一家没有 playbook、没有恢复测试的公司，能交出来的只有访问权限和好运。混乱就是护城河。没人坐下来这样设计它，而它比真有人设计过还管用。\n所以就当文档这一项靠不住。文档是第一个没人写的东西，也是最后一个有人检查的东西，离开时送到你手上的，描述的会是一个早已丢下它往前走了的环境。这还是好的情况。坏的情况是一份看起来完整却是错的材料：拓扑图上有一台两年前就进了垃圾场的交换机，一本针对一台之后已经重建过的服务器的运维手册，一张满是没人能登录的账户的凭据表。错的文档比没有更糟，因为你会照着它去做。没有文档，至少会逼你自己去看。\n按什么都留不下来的情况给退出定价。有人要走一遍机柜，从在线设备上读出配置，导出防火墙规则、DHCP 作用域和区域文件，写下实际在运行的是什么。这是几周的工作，而在退出时，这是你在通知期里花掉的几周，同时唯一知道答案的那些人已经被告知合作结束了。现在就做。今天就去要那份材料，然后拿出其中一页，对照一台在线机器检查。如果它对得上，你就学到了值得知道的东西。如果它连存储它所用的那些比特都不值，你也学到了，而且你是在还有一年时间去纠正的时候学到的，而不是只剩两周。\n配合这一项才是真正会让你吃苦头的，也是没人去定价的那一项。把它当成一个请求再读一遍：一家刚丢了这个客户的公司，被要求花好几周，向抢走这个客户的人解释它。没人需要拒绝。这个客户被挪进了要走的那一堆，懂你环境的那位工程师被派去了一个还在付钱的项目，你的问题落到剩下的随便谁手里。回复从几小时变成了几天。交接电话约在三周之后。你要的东西有一半原来要收费，而唯一一个搭建了这套东西的人三月份就走了。这些都不是蓄意破坏。每一样让你付出的代价，都和蓄意破坏一模一样。\n接替者扛下来，然后你再扛一遍。他们的第一个月都花在弄清楚自己接手了什么上面。那是一段拿不出任何东西给你看的摸底，所以他们要么老老实实把它算进价格，跟在任者的续约报价一比显得很贵，要么自己吞下去，开工时就已经落后了。不管哪种，都是你付钱。所以在需要之前就把配合买下来。在进门时而不是出门时把它写进合同：一个明确的交接期，一个具名的人来做，一个在他们还想要你签字时就谈好的日费率，以及在接手的公司说可以关掉之前一直保持有效的访问权限。花钱买一段重叠期，并且把它算作便宜。永远不要在切换那天，发现离任的服务商手里握着你自己某样东西唯一的钥匙。\n文书工作也出了它那一份力。以月而不是以周计算的通知期，在你还在犹豫时就悄悄过去的自动续约日期，以及一个按专业服务日费率计价的交接，而这个费率是在你已经发出通知之后由别人定的。这些没有一样不寻常，也没有一样违反任何规定。\n所以在关系还好、谁都没生气的时候检验退出。现在就以书面形式要那份交接材料，作为一项交付物而不是一句承诺。问问你的域名的注册人到底是谁。问问你的许可证是放在你自己的租户里，还是挂在他们的合作伙伴协议下面，迁移它们需要什么。一个好好做这份工作的服务商张口就能回答这三个问题，因为一家对自己工作有信心的公司，没有理由让离开变得困难。\n要是答案含糊其辞，记住下一节讲的是你能向谁投诉。\n推销这件事没有监管机构 到这里应该已经有件事在一直困扰你了。这个系列里每一个附带正式调查结论的失败，都是安全上的失败。ICO 对 Advanced。ICO 对 Capita。CISA 对那些工具。而在推销上，候选名单、返利、唯一选项、续约，什么都没有。没有一次针对英国 MSP 的执法行动。\n这不是因为推销很干净。是因为没人负责去看它。\n消费者法止步于你的门口。Consumer Rights Act 2015（《2015 年消费者权利法》）保护的是消费者，而一家购买托管服务的有限公司不是消费者。Digital Markets, Competition and Consumers Act 2024（《2024 年数字市场、竞争和消费者法》）在 2025年4月赋予了 CMA 直接执法权，矛头直指激进的销售手法、误导性信息和明显失衡的合同条款。这些是消费者方面的权力。CMA 自己对第一年的总结值得一读，措辞和数字一样值得看：十四项调查，两起和解，76 万英镑“refunded to consumers”，470 万英镑罚款，157 封建议函和警告函。每一次都是消费者。不是去年春天签了五年托管服务的那家三十人的制造商。\n电信是英国监管机构唯一靠近过的一个角落。它展示了有人负责这件事时执法是什么样子。2015年7月，Ofcom 对一家面向小企业的电信服务商罚款 20 万英镑，原因是向“around 100,000 small businesses”的客户群误导销售固话服务，并责令它赔偿受影响的客户、重写销售材料。行为对了，客户规模对了，行业错了，而且是十一年前的事。\nIT 服务没有对应的东西。从你坐的位置把它加一加。没有冷静期。没有可以上诉的申诉专员。没有有管辖权的监管机构。没有任何人有义务告诉你厂商付给他们多少钱。没有可以借鉴的公开调查结论，因为调查结论根本没有出处。合同是供应商起草的，里面唯一的救济就是起诉，那意味着费用、好几年时间，以及一笔小企业拿不出来的法律预算，而供应商对此心知肚明。\n理财建议行业有过一模一样的问题，并且解决了它。零售分销评审（Retail Distribution Review，RDR）于 2012 年底生效，取消了产品提供方付给顾问的佣金。解决办法并不复杂：说清楚谁在给顾问付钱，别让产品提供方成为那个答案。\nIT 不会有一个零售分销评审（RDR）。没人会来让你的 MSP 申报厂商付给他们多少钱，而目前正在议会审议、会把托管服务提供商纳入 NIS 条例的 Cyber Security and Resilience Bill（《网络安全与韧性法案》），关心的是检测和报告，而不是谁在为建议付钱。\n所以，当有人告诉你，没有证据表明这个国家的技术销售方式有问题时，他们说得对。这什么都说明不了。没有证据，是因为没有检查员，没有一条以公开文件为终点的投诉途径，也没有一份登记册记录签了同样合同的其他人遇到了什么。在一个没人监管的市场里，没有证据只不过是没有人在看。\n这说明了这个行当什么 把发票剥掉，看看到底是谁站在这套安排里。\n一头是制造东西、做事情的企业。一家加工零件的工厂。一家修车厂。一间给人做饭的厨房。在周五帮某人搬进新房子的事务律师。他们每一个都产出你能指得出来的东西，每一个都在承担这篇文章里的风险，因为他们是整条链上唯一不能给自己免责的一方。\n另一头是好几层什么都不产出的东西。一家许可证里声明不对任何特定用途作保证的厂商。一家把盒子在仓库之间挪来挪去、从中抽成的分销商。一个付钱让人偏爱这个牌子而不是那个牌子的合作伙伴计划。一家在有上限的责任下卖工时的服务商。每一层都拿走自己的差价，把后果往下传，后果一直往下走，直到碰上周一必须开门营业的那个唯一的人。\n一个行当，是一群知道怎么做某件事、因为知道它而拿钱、并且因为上面有自己的名字而为自己说过的话负责的人。拿这个来对照，这个行业的大部分不过是一条带着认证的分销渠道。\n看看为了走到这一步，送掉了些什么。先是技能，因为你不可能把培训支出砍掉三分之一，还能面不改色地出售专业能力。然后是判断，在合作一开始被卖出去，在被检验的那一刻被免责。最后是那种朴素的意愿，在正确答案赚得更少的时候说一句“这对你不是正确的答案”。这是区分建议和推销的唯一一样东西，它什么都不花，只花胆量。\n出路并不光鲜，却完全唾手可得。能拥有的设备就自己拥有。自己保管钥匙。把文档放在不用给任何人打电话就能拿到的地方。对你自己的系统学到足够多，好知道什么时候别人在跟你说傻话：不是要你自己去运维，只是在你要一个数字、送来的却是一个形容词时，能认出来。这不是怀念每家都在柜子里放一台服务器的日子。这是摆在你面前的唯一杠杆，而且它很便宜。\n这个行当里有人从来没有停止好好做这份工作，一旦你知道该看什么，他们并不难认出来。他们会报那个无聊的选项。他们告诉你一样东西花多少钱，而不是它标价多少。他们在你开口之前就把风险写下来，而当终于有人来检查时，他们会松一口气。\n其余的人把事情安排得永远没人检查。你有权问它花多少钱，谁在给谁付钱，以及坏了的时候会发生什么。这套安排里没人会主动说出来，而这和你不该得到这些答案，不是一回事。\nIs Your MSP Lying To You — 3 parts\n你的 MSP 是不是在骗你，好卖给你高价产品？ 你的 MSP 给你建了什么，还有谁能碰到它 出了故障，到底谁来扛？you are here 来源 检索于 2026年8月28日。\n法律与政策。\nCyber Security and Resilience (Network and Information Systems) Bill 2024-26 — 下议院图书馆关于把托管服务提供商纳入 NIS 条例的简报。 谁有资格投诉。\nConsumer Rights Act 2015 和 Digital Markets, Competition and Consumers Act 2024 — 这些保护措施，以及它们是为谁设的。 CMA, direct consumer enforcement one year on — 2025年4月至 2026年4月：14 项调查，向消费者退款 GBP 760,000，罚款 GBP 4.7 million。 FCA, Post-implementation review of the RDR, phase 1 — RDR “realigned adviser and platform incentives with those of consumers\u0026rsquo; by removing the commission they received from providers”，2012 年底起生效。 Ofcom fines Unicom, 31 July 2015 — 因向小企业误导销售被罚 GBP 200,000，这是最接近执法先例的东西，在电信而不是 IT 领域。 ","permalink":"https://blogs.damiendye.uk/zh/random/is-your-msp-lying-to-you-part3/","summary":"三部曲第 3 部。承诺的是响应时间而不是结果，赔偿上限就定在你已经付过的费用上，而服务商的借口最后总会落到你头上。能把这一切逼出来的问题，一个真正的服务商会怎么做，以及摆脱一个糟糕的服务商需要什么。","title":"出了故障，到底谁来扛？"},{"content":"一个超时的连接几乎什么都不告诉你。对端可能根本没有程序在监听；三跳之外的一台防火墙可能正在悄无声息地丢掉你的 SYN，连一行日志都不留；也可能这条路由压根不存在。从你坐的位置看，这几种情况一模一样。你等着。什么都没发生。\n于是工单就写成了“445 端口在某个地方被挡了”，而正是“某个地方”让它被踢来踢去。你的服务商查了他们的边界，没问题，退回给你。你查了自己主机的防火墙，没问题，又退回去。一个星期过去了。什么都没修好。\n造成损害的就是“某个地方”这几个字。它本来不必出现。你和目的地之间的每一台路由器，在它就是那一台的时候，都有义务告诉你，而这项义务从 1995 年起就写进了标准。你只需要用对的方式去问。\n为什么这件事需要掰开讲 因为这个行业里有太多人连基本功都不会，这每个星期都在让他们的雇主花真金白银。\n我说的不是新人。我说的是干了好些年、墙上挂着证书、职位名称里带着“高级”的人，他们对一个超时端口的诊断停在“被挡了”，再也不往下走。他们跑 ping。不通，或者通了，不管哪种，他们对被问到的那个端口一无所知。然后工单转给服务商，服务商退回来，某人两个星期的工资就花在了一个本来一条命令就能解决的邮件往来上。\n这些都不难。分清丢弃（drop）和拒绝（reject），读懂回包的 TTL，知道 traceroute 里的一个星号本身说明不了任何问题：这是一个下午就能学会、用一辈子的东西。人们不会，不是因为他们笨。是因为没人教。厂商培训教你厂商的控制台。认证教你考试。底下的基本原理在第一天就被当成你已经会了，从来没有真正讲过，于是人们一路做到高级岗位都没人给他们演示过，到那时再开口问又拉不下脸。\n所以与其抱怨，不如把它写下来。这就是基本功，掰开讲清楚，附上命令，还有一个你今天就能跑的脚本。\n再说说我为什么费这个劲：写这篇文章时我拿它在自己的线路上跑了一遍，找到了三个我原先不知道的故障。11 跳之外的一个 SMB 丢弃。1 跳之内伪造的 SMTP 重置。一条在 IPv4 上存在、在 IPv6 上不存在的防火墙规则。一个下午，不用 root，在一条我自己维护、也留着心的线路上。你想想，在那些有人拿着工资在管的网络上，有多少东西就这么没人发现地待着。\n为什么 Fisher-Price OS (Windows) 不在这里 它不在这里有两个原因。一个是技术上的，一个不是，我宁愿两个都告诉你，也不想假装全是工程问题。\n技术上的原因是它做不到。tracert 只发 ICMP echo 请求，别的什么都不发。微软自己的参考文档这样描述它：“sending Internet Control Message Protocol (ICMP) echo Request or ICMPv6 messages to the destination with incrementally increasing time to live (TTL) field values”，而它的语法里没有任何端口参数。pathping 是同一个工具外加统计功能。Test-NetConnection 会告诉你一个 TCP 端口是开着还是关着，至于答案是从多远的地方来的，它一个字都不说。它们没有一个能在指定距离上探测你真正关心的那个端口，而这正是本文的全部方法。\n你也没法用脚本绕过去。在 .NET 里给套接字设置 TTL 不难，但把 ICMP 错误读回来才是难的那一半，而这里没有本文所依赖的那个技巧的对应物：没有办法让内核把错误报告在引发它的那个普通套接字上。剩下的就是原始套接字（raw socket），而微软自己的文档说“only members of the Administrators group can create sockets of type SOCK_RAW”。所以无特权的路径不存在，有特权的那条要一个本地管理员令牌。你还没开始，就已经在下载第三方软件了。\n另一个原因是我不在乎，我宁愿直说，也不想粉饰。这个名字也不是在挖苦，它是一个描述。它是你在从没用过别的系统时被塞到手里的那个操作系统，它把机器藏起来不让你看，这是设计目标而不是意外；当你想向网络问一个精确的问题时，你会发现那个工具从来就没造过，因为它服务的那些人从来就没被指望会问。三十年过去了，tracert 仍然没法把一个包对准一个端口。\n对真正搞 IT 的人来说，它不是一个像样的操作系统；如果它是你用过的唯一一个，那你干这份活的水平就够不上本文所面向的水平。我知道这话不好听。我写东西不是为了讨人喜欢，我是在为那些动手测量的人写下我测到的东西，至于只用过它的人更希望我换个说法，我不怎么在乎。\n工具清单才是论据，不是观点。下文表格里的每一个 Unix 都能让你设置跳数上限、选择协议，其中四个只用一条命令就行，而 Linux 连 sudo 都不用就能完成整个测量。这不是因为它们更难用。是因为造它们的人指望坐在键盘前的人想知道事情。一个诊断能力止步于 ping 的操作系统，已经清楚地告诉了你它怎么看待使用它的人，而三十年来人们一直接受这一点，这就是为什么我们最后有了一个找不到一个被丢掉的包的行业。\n所以我不用它，我已经好多年没正经用过它了，我也不会为了显得公允，给一个真实存在的缺口专门写一节。我在上面搭建的一切、一切值得从那里去测量的东西，都是 Unix，本文就待在那里。\n如果出故障的那台机器碰巧跑的是 Fisher-Price OS (Windows)，方法上什么都不变。在随便别的什么东西上拿一个 shell：一台 Linux 虚拟机、一台 Mac、同一台交换机上的一块树莓派，然后朝着它把跳数上限一跳一跳往上走。测量根本不在乎对端跑的是什么。它只在乎中间有什么。\nTTL 是跳数预算，每台路由器都欠你一张收据 IPv4 头部有一个 8 位的 Time to Live（生存时间）字段。这个名字是历史遗留：它当初是以秒为单位规定的，而几十年来没有任何东西把它当秒用。RFC 1812 在 1995 年了结了这场争论，把跳数的解读定为规范：\nEach router (or other module) that handles a packet MUST decrement the TTL by at least one, even if the elapsed time was much less than a second. Since this is very often the case, the TTL is effectively a hop count limit on how far a datagram can propagate through the Internet.\n接着是在这里真正要紧的部分，出自同一节：\nIf the TTL is reduced to zero (or less), the packet MUST be discarded, and if the destination is not a multicast address the router MUST send an ICMP Time Exceeded message, Code 0 (TTL Exceeded in Transit) message to the source.\n这是一个 MUST。不是客气，不是建议。1981 年的 RFC 792 只说网关“may also notify the source host”；十三年后要求收紧了，RFC 1812 把原因说得明明白白：\nICMP Time Exceeded messages are required because the traceroute diagnostic tool depends on them.\nIPv6 干脆不再装样子，把字段改了名。RFC 8200 把它叫作 Hop Limit（跳数上限），“8-bit unsigned integer. Decremented by 1 by each node that forwards the packet”，而过期消息变成了 ICMPv6 类型 3、代码 0，“hop limit exceeded in transit”。\n把它当成一件仪器而不是一条规则来读，它就说出了有用的东西。路径上的每一台路由器都是一个你可以按距离寻址的信标。 把跳数上限设为 4，第四台路由器就会报上名来。你不需要知道拓扑，不需要任何东西的访问权限，也不需要运营方配合。每一跳你只需要一个包。\ntraceroute 从 1980 年代末起就在干这件事。它干得不好的，恰恰是你真正关心的那件事：默认情况下它探测的是 33434 一带的 UDP 端口，这是一个没人过滤、也没人提供服务的端口，所以它告诉你的是一条任何真实流量都不走的路径。一个到某台主机的 traceroute 干干净净，而你在 TCP/445 上连不上它，这只证明 UDP/33434 能到。可问题从来就不是这个。\n所以，去探测你关心的那个端口。\n读回来的是什么，而不是有没有东西回来 数跳数之前，先看看用正常的跳数上限到达对端时，对端会做什么。有五种截然不同的回答，而人们习惯性地把它们混为一谈。\n回来的是什么 意味着什么 谁发的 SYN-ACK，连接建立 端口是开的 主机，或者替它应答的某个东西 TCP RST 被主动拒绝 没有程序在监听的主机，或者一台配置为拒绝的设备 ICMP 3/13，communication administratively prohibited 一台设备按策略拒绝，并且明说了 就是那台设备，它的源地址就是你要的答案 ICMP 3/1、3/2、3/3 主机、协议或端口不可达 最后一台路由器，或者主机 什么都没有 有人在悄无声息地丢包 不知道，所以去测 第三行值得你为它改掉习惯。当一台防火墙配置成拒绝而不是丢弃时，它会把自己的地址填进 ICMP 的源地址字段，白送你一个罪魁祸首。在 Linux 上，nft ... reject with icmpx admin-prohibited 产生的就是这个，iptables -j REJECT --reject-with icmp-admin-prohibited 一直以来产生的也是这个。大多数工具把它扔掉，只打印一个“filtered”。nmap --reason 会显示它。下面的脚本也会。\n第二行和第五行才是有意思的失败。静默丢弃是一个“什么都不告诉你”的策略决定，而因为它几乎是所有商用防火墙的默认行为，你实际碰到的就是它。准备好面对沉默。\n第二行也值得怀疑。一个重置并不能证明是主机发的，这一点我后面会用一个真实的例子回来讲，因为写这篇文章时我在自己的线路上就碰到了一个。\n把你关心的端口走两遍 方法就是跑两次再做个对比。全部就这些。\n用出故障的那个确切的协议和端口，把跳数上限从 1 加到 20，记下每一跳是哪台路由器在应答。 对一个正常工作的东西做同样的事：最好是同一台主机、一个能连上的端口。 第一次运行时应答停下、第二次运行时应答继续的那一跳，就是丢你包的那台设备。第二次运行给你它的地址。 为什么是应答停下而不是变了：路由器在对包做任何别的事之前，先应用它的入站访问控制列表，所以如果策略说丢弃，包在转发路径看一眼跳数上限之前就已经没了，不会生成 Time Exceeded，那台设备也就永远不会为它干的事署上自己的名字。正因如此，沉默是从出问题的那一跳开始的，而不是在它之后。\n我写了一个小工具来做这个一跳一跳的走查，因为没有一个原生工具能可移植地做到。它在一个普通套接字上设置 IP_TTL（或 IPV6_UNICAST_HOPS），发起连接，然后把 ICMP 错误读回来。在 Linux 上，IP_RECVERR 会把这个错误报告在引发它的那个套接字上，这意味着整个东西以无特权方式运行：不要 root，不要原始套接字，不要 capabilities。在 macOS、各家 BSD 和 Solaris 上，内核不会这样把 ICMP 交给你，所以它退回到原始套接字，需要 root。\n\u0026#8615; hopfind.py：TTL 走查工具 hopfind.py · 11 kB 它一共 279 行，只用标准库，别无他物，如果你宁愿读它而不是下载它，全文印在本文末尾。\npython3 hopfind.py example.net 445 # the port under suspicion python3 hopfind.py example.net 443 # the reference run python3 hopfind.py example.net 53 --proto udp python3 hopfind.py 2001:db8::1 443 -6 两次运行用同一种协议。拿一条 TCP 轨迹去和一条 ICMP 轨迹比，比的是两条路径，因为负载均衡按五元组做哈希，而 ICMP 没有端口可哈希。同一台主机、同一种协议、不同的端口，才是诚实的比较。\n下面的一切都是我自己线路上 2026年8月28日的真实输出，在 Fedora 上以无特权用户运行。里面的每一个地址都被改写进了文档专用地址段：IPv4 用 RFC 5737，IPv6 用 RFC 3849，那个唯一的接口标识符也改过了。所以 198.51.100.x 是我自己的路由器和我的 ISP，203.0.113.x 是中转和对等互联，192.0.2.x 是远端网络，2001:db8::/32 是整条 IPv6 路径。结构自始至终保持不变：同样的前缀边界，同样的主机部分形状，同样数量的不同网络。跳数、时延、ICMP 类型，以及哪一跳沉默了，都和测到的完全一样。\n一台主机，三个端口，三种不同的故障 目的地始终不变：公网上的一台主机，14 跳远，443 开着。先看参照运行。\n$ python3 hopfind.py 192.0.2.4 443 --max 15 walking to 192.0.2.4 TCP/443 hop limit 1-15 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 28.8 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.153 6.3 ms ICMP 11/0 time exceeded in-transit 5 * 6 203.0.113.240 16.5 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.188 16.5 ms ICMP 11/0 time exceeded in-transit 8 203.0.113.185 16.5 ms ICMP 11/0 time exceeded in-transit 9 203.0.113.15 15.6 ms ICMP 11/0 time exceeded in-transit 10 203.0.113.125 16.1 ms ICMP 11/0 time exceeded in-transit 11 192.0.2.31 26.6 ms ICMP 11/0 time exceeded in-transit 12 * 13 * 14 192.0.2.4 19.5 ms connected Verdict: TCP/443 is open. It answered at hop 14. 注意第 3、5、12 和 13 跳。在一条明显通畅的路径上，有四台路由器一声不吭，因为很多设备被配置成不为自己生成 ICMP，或者对它限速限得很狠。一个星号不是防火墙的证据。 别的啥都记不住，也要记住这一条。信号从来不是单次运行里出现了星号；而是两次运行从哪里开始不一致。\n现在是同一台主机的 445 端口，从这里连会超时。\n$ python3 hopfind.py 192.0.2.4 445 --max 15 walking to 192.0.2.4 TCP/445 hop limit 1-15 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 8.0 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.153 6.4 ms ICMP 11/0 time exceeded in-transit 5 203.0.113.76 5.6 ms ICMP 11/0 time exceeded in-transit 6 203.0.113.240 15.9 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.188 15.8 ms ICMP 11/0 time exceeded in-transit 8 203.0.113.185 16.6 ms ICMP 11/0 time exceeded in-transit 9 203.0.113.15 15.9 ms ICMP 11/0 time exceeded in-transit 10 203.0.113.125 15.0 ms ICMP 11/0 time exceeded in-transit 11 * 12 * 13 * 14 * 15 * Verdict: answers stop after hop 10 (203.0.113.125). Whatever swallows TCP/445 is hop 11. Walk a port that works and read off the address at hop 11. 第 11 跳在 443 运行中 26.6 ms 就应答了，而对 445 运行一个字都没说。同一台设备，同一条路径，前面是同样的十台路由器。拿正常的那次运行一对照，第 11 跳就有了名字：192.0.2.31。那就是丢弃 SMB 的设备，离目的地还差三跳，在我的服务商边界之后八跳。不是我的，也不是我的 ISP 的。\n第 5 跳从另一个方向印证了关于星号的那一点。它在 443 运行里是星号，在 445 运行里却应答了：和故障的方向正好相反。这可能是 ICMP 限速，也可能是两次运行经过负载均衡器时走了不同的路径。我不知道是哪一种，你也不会知道。两次运行都重复几遍，再去相信其中任何一个。\n对同一台主机的两次跳数上限走查，以及它们开始不一致的那一跳 对同一台主机的两次走查，以及它们开始不一致的那一跳 每个跳数上限发一个探测。带底色的格子表示那台路由器回了 ICMP Time Exceeded，报上了自己的名字。 路由器应答了 什么都没回来 从这里起沉默 1 2 3 4 5 6 7 8 9 10 11 12 13 14 探测包上设置的跳数上限 TCP/443 参照，能连上 \u0026#8226; \u0026#8226; * \u0026#8226; * \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; * * \u0026#10003; 连上 TCP/445 受测，会超时 \u0026#8226; \u0026#8226; * \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; * * * * 第 11 跳回应了一次走查，没回应另一次 第 3、5、12 和 13 跳在一条明显通畅的路径上一声不吭，所以单独一个星号啥也说明不了。 第 11 跳在 26.6\u0026#160;ms 内回应了参照走查，对测试走查则从未回应。 这就是边界，而参照走查给了它一个地址：\u0026#160;192.0.2.31. 同样的两次运行，并排放在一起。唯一要紧的格子是第 11 跳，而它要紧的地方在于不一致：它回应了一次运行，没回应另一次。 然后是 25 端口。这个让我停了下来。\n$ python3 hopfind.py 192.0.2.4 25 --max 15 walking to 192.0.2.4 TCP/25 hop limit 1-15 1 192.0.2.4 0.4 ms TCP reset Verdict: a reset came back to a probe with a hop limit of 1. Nothing more than one hop away can have sent it, so check the reply TTL before you believe the host did. 跳数上限为 1，意味着包死在了我自己的路由器上。它走了一跳。它不可能走了十四跳。可是一个 TCP 重置在 0.4 ms 内回来了，上面带着目的地的地址，我的内核也老老实实地报告了 connection refused。要是没设跳数上限，我会把它读成“对端没有邮件服务器”，然后关掉工单。\n一跳之内的某个东西正在为出站 SMTP 伪造重置，并且署上目的地的地址。封掉出站 25 端口，对一台家用路由器或一家 ISP 来说是再平常不过的事，用重置而不是丢弃来封，可以说还算客气的做法，但这个重置带着别人的地址，而我完全不知道我的线路在这么干。是跳数上限抓住了它，回包里的其他任何东西都抓不住。\n差一：访问控制列表在流水线里的位置 上面的结论说丢包的是第 11 跳，因为应答在第 10 跳之后停了。这笔算术要小心，因为它取决于出问题的设备做两件事的先后顺序。\n大多数设备先应用入站策略，再检查跳数上限。命中拒绝，包被丢掉，永远不会生成 Time Exceeded，所以这台设备从不露面，沉默就从它自己的跳数开始。上面就是这种情况。这也是常见的情况。\n有些平台在评估策略之前，就在快速路径里处理跳数上限过期。在那里，设备会应答发给它自己的探测，只丢弃瞄准它之后的探测，所以它会正常出现，沉默从下一跳才开始。\n为什么出问题的那一跳通常不出现：策略在跳数上限检查之前评估 在丢你包的那一跳内部，两项检查的先后决定了你看到什么 你的探测包到达时预算只剩一跳，并且命中了一条写着拒绝的规则。 策略优先：几乎所有防火墙，也是本文测到的每一个案例 第 N 跳的路由器 探测包进入 入站策略 跳数上限检查 转发 在任何东西查看跳数上限之前就被丢弃 不生成 ICMP，所以这台路由器从不为这次丢弃署名。 你的走查\u0026#160;就在\u0026#160;第\u0026#160;N\u0026#160;跳沉默。 过期优先：有些平台在快速路径里处理它 第 N 跳的路由器 探测包进入 跳数上限检查 入站策略 转发 已过期，于是 ICMP 11/0 带着这台路由器的地址返回 它为自己应答，只吞掉瞄准它之后的探测。 你的走查从第\u0026#160;N+1\u0026#160;跳起沉默。 为什么负责丢包的那一跳通常不露面。几乎所有防火墙都先评估拒绝规则，所以探测包在转发路径注意到跳数上限过期之前就没了，根本不会生成 ICMP。在快速路径里处理过期的设备上，同一台设备会应答发给它的探测，只吞掉瞄准更远处的那些。 所以，“应答在第 N 跳之后停了”的诚实解读是：如果丢包设备在注意到预算用完之前就把你的探测扔进了垃圾桶，那它是第 N+1 跳；如果它应答了发给它的探测、吞掉了瞄准它之后的一切，那它就是第 N 跳本身。 两台相邻的设备，而正常的那次运行把它们俩的名字都给了你。在工单里写地址，不要写跳数：跳数对读你工单的人毫无意义，他是从别的地方数起的。\n回包的 TTL 告诉你到底是谁在应答 上面那个 SMTP 重置，是靠出去的跳数上限抓住的。每一个回来的回包里，还有第二个独立的检查可用，而且不花一分钱。\n初始 TTL 值并没有标准化，但实际上只有三种：\n初始值 典型发送方 64 Linux、macOS、各家 BSD、illumos，大多数主机 255 Cisco IOS、Junos、Solaris，大多数网络设备自己发出的流量 128 Fisher-Price OS (Windows)，读它的回包时你还是得知道这个 用比收到的 TTL 大的下一个值减去它，就得回了跳数。一个 TTL 为 50 的回包，起点是 64，走了 14 跳。一个 TTL 为 250 的，起点是 255，走了 5 跳。ping 不用你问就会打印出来：\nping -c1 192.0.2.4 # ttl=50 → 14 hops away tcpdump -n -v \u0026#39;icmp\u0026#39; # -v prints the ttl of every packet it shows 由此得出两点。两点都是免费的。\n如果一个回包的反向跳数和这台主机其他回包的对不上，那它就不是这台主机发的。 如果一台服务器的 echo 回复是从 14 跳外回来的，而 25 端口上的 RST 是从 1 跳外回来的，那这个 RST 是某个中间设备写的。和上一节是同一个技巧，只是从另一头来做，而且即使你没法设置出站 TTL，它也管用。\n一个起点是 255 的回包来自网络设备，而不是服务器。 当你想弄清楚拒绝你的是主机还是它前面的路由器时，这一点很有用。\n要在 TCP 而不是 ICMP 上看到这个字段，你需要抓包，而这个过滤表达式值得背下来：\n# every hop-limit expiry coming back to you, IPv4 and IPv6 tcpdump -n -v \u0026#39;icmp[icmptype] == 11 or icmp6[icmp6type] == 3\u0026#39; # who is resetting you, and from how far tcpdump -n -v \u0026#39;tcp[tcpflags] \u0026amp; tcp-rst != 0\u0026#39; tcpdump 把过期打印成 ICMP time exceeded in-transit：和标准里的说法一样，也和某些平台上显示为“TTL expired in transit”的是同一个事件，只是那些平台换了个措辞。\n用原生工具做同一件事，在五种 Unix 上 如果你不想跑脚本，原生工具能完成大部分。只是它们彼此之间的分歧比你预想的要大。尤其是 -P，取决于你手里拿的是谁家的 traceroute，它有三种不同的含义，其中一种会悄悄毁掉你的测试。\nLinux（traceroute 2.1.x） macOS / FreeBSD OpenBSD NetBSD Solaris 11 TCP 探测 -T -P tcp 不可用 无 无 ICMP 探测 -I -I -I -I -I UDP 打固定端口 -U -p N -e -p N 无 无 无 目的端口 -p N（对 TCP 恒定） -p N（不加 -e 时递增） -p N（递增） -p N（递增） -p N（递增） -P 是什么意思 不使用 探测协议 数字协议号，“will not work reliably for most protocols” 设置 DF 并探测路径 MTU 探测之间的停顿，单位秒 需要特权 是，-T 和 -I 需要 是 是 是 是 这些全都需要原始套接字，所以全都需要特权。不过 macOS 和各家 BSD 通常把 traceroute 以 setuid root 方式发行，所以你可能不用在前面敲 sudo。Linux 不这样，Fedora 也不这样，这就是上面那个脚本存在的一半原因。\n那张表里有三个坑，三个我都亲眼见过有人在上面浪费掉一个下午。\n在各家 BSD 和 macOS 上，-p 是一个基准端口，每发一个探测就递增一次。 所以 traceroute -P tcp -p 445 host 测的是 445，然后 446，然后 447，到第 10 跳时你问的已经是一个从来没人听说过的端口了。你还需要加上 -e，手册页管它叫防火墙规避模式（firewall evasion mode），实际意思不过是“让端口别动”：\nsudo traceroute -P tcp -e -p 445 example.net # macOS, FreeBSD 在 Linux 上，对默认的 UDP 方式，单独用 -p 也会这样，你需要 -U -p 才能得到一个恒定的 UDP 端口。对 TCP，-T -p 本来就是恒定的：手册页写得很明白，“for TCP and others specifies just the (constant) destination port to connect”。\nsudo traceroute -T -p 445 example.net # Linux sudo traceroute -U -p 53 example.net # Linux, UDP/53 specifically 在 Solaris 和 NetBSD 上，根本没有办法固定端口，而在 Solaris 上 -P 是以秒为单位的停顿，所以一条照抄来的 Linux 命令行会毫无报错地跑完，测的却完全不是你要问的东西。Solaris 也没有 TCP 探测模式。这种情况下你要用脚本。\nRedox 是个异类，值得说一句，因为我料到会有人问。它的全部网络工具就是 netutils：dns、ifconfig、nc、ping、telnetd、wget。没有 traceroute，没有 tcpdump，啥抓包的东西都没有。如果问题的一端是一台 Redox 机器，那就从另一端去测，把走查对准它。\nmtr 也值得一提，因为它把重复和取平均这一步做了，而上面那些表格要你手工来做：\nsudo mtr -T -P 445 --report --report-cycles 20 example.net 对出故障的端口跑一次，再对一个正常的端口跑一次，并排对照。方法一样，输出更好看。\n有人封掉 ICMP，这一切就都不灵了 本文里的每一次测量，都是由传回给我的 ICMP 错误构成的。把它们封掉，整套诊断就瞎了，而且瞎掉的远不止这些。\n在有些地方，整个封掉 ICMP 仍然被当成一种安全姿态。从 1990 年代起它就站不住脚了。人们以为它能挡住的攻击是 ping of death 和 smurf，这两个都是在协议栈里修好的，而不是在边界上，而且修好的时候，有些至今还在重复这条建议的工程师还没出生。一刀切地封掉，如今挡住的是诊断。别的什么都没挡住。\nRFC 1812 在这一点上没有留下解释的余地：Time Exceeded 是一个 MUST，而标准写明了它的理由是 traceroute 依赖它。丢掉它，你就弄坏了一个工具，而互联网自己的路由器要求文档正是把这个工具列为这条消息存在的理由。\n路径 MTU 发现是代价最大的那个。它需要 ICMP 3/4（fragmentation needed，需要分片）回到发送方。把它过滤掉，你就会碰上每个网络工程师至少追过一次的那个故障：握手完成了，小的传输都正常，凡是带满尺寸包的东西都永远卡住。SSH 连上了，scp 却停住。页面加载了，图片却永远不来。日志里什么都没有。没东西可 grep。\n到了 IPv6，这就不再是个人口味的问题了。RFC 4890 §4.3.1 列出了防火墙绝不能丢弃的消息：\nDestination Unreachable (Type 1) - All codes Packet Too Big (Type 2) Time Exceeded (Type 3) - Code 0 only Parameter Problem (Type 4) - Codes 1 and 2 only 而说到 Packet Too Big，它对后果说得毫不客气：“Effectively, parts of the Internet will become inaccessible.” IPv6 路由器不做分片。如果 Packet Too Big 到不了发送方，就没有任何恢复的路径。\n该用的控制手段是限速，不是丢弃。入站放行类型 3 和类型 11，计数，把上限卡在每秒一百个左右，超出上限的记日志，这样你保住了诊断，保住了路径 MTU 发现，也保住了那条一刀切规则当初被想象成能提供的每一分保护。限制你接收某样东西的多少，是一种控制。全部拒绝还管这叫加固，那只是拒绝被测量。\n给所有做 MSP 的人一句话：如果你客户的线路丢弃 ICMP 错误，你就剥夺了他们证明故障出在哪个网络上的能力，也剥夺了你自己的。下一次故障卡在两家都说自己没问题的服务商之间时，那就是这条策略的账单。\n除了 Echo。把它丢掉。 上面说的全是 ICMP 错误。Echo 是另一回事，它是这个协议里我会在边界上从线上拿掉的唯一部分。\n看看标准对它的要求。在 IPv4 里，RFC 792 说到 echo 请求时写道：“the data received in the echo message must be returned in the echo reply message”。IPv6 更直白：RFC 4443 把这个字段定义为“zero or more octets of arbitrary data”，然后要求它“MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message”。\n站在攻击者而不是运维者的角度去读。标准要求地球上的每一台主机，接收一块由你挑选的字节，再原封不动地交还给你。 这不是副作用。这是一条被强制规定的、双向的、载荷任意的通道，跑在一个大多数防火墙不检查就放行、大多数日志只记包数不记内容的协议上。\n人们在它上面造隧道已经造了三十年。Loki 在 1996 年的 Phrack 49 里就干过。Ptunnel 能把一整个 TCP 会话装进 ping 里，二十年来装个软件包就有。如果你的出站策略是“全部封掉，放行 ICMP，因为网络组要用”，那你就没有出站策略。你有的是一个多绕了几步的 VPN，而流量出去时看起来就像有人在测试互联网通不通。\nRFC 4890 不同意我，这一点值得明说，而不是只引用对我有利的那一半。§4.3.1 把 Echo Request 和 Echo Response 和那些错误消息放在同一张绝不能丢弃的清单里。再读读它给的理由：\nFor Teredo tunneling [RFC4380] to IPv6 nodes on the site to be possible, it is essential that the connectivity checking messages are allowed through the firewall.\n它给出的让 echo 保持开放的理由，是有人需要用它在你的防火墙上打一条隧道。这正是我的论点，由持相反观点的人亲手写了下来。\n所以策略要窄，不要一刀切：\n# transit rules. permit the errors, drop the ping ip protocol icmp icmp type { destination-unreachable, time-exceeded, parameter-problem } \\ limit rate 100/second accept ip protocol icmp icmp type { echo-request, echo-reply } drop ip6 nexthdr ipv6-icmp icmpv6 type { destination-unreachable, packet-too-big, \\ time-exceeded, parameter-problem } limit rate 100/second accept ip6 nexthdr ipv6-icmp icmpv6 type { echo-request, echo-reply } drop 在 IPv6 上，不要把这个模式搬到链路本地或主机链上而不保留邻居发现。 类型 133 到 137，也就是 nd-router-solicit 到 nd-redirect，是 IPv6 用来干 IPv4 里 ARP 那份活的。把它们丢掉，网段几分钟内就会停止工作，而且看起来不会像防火墙故障。在边界上过滤 echo，而不是在主机和它自己的路由器之间的那段线上。\n这让你付出什么？跨边界的 ping，别的什么都没有。本文里的一切都照常工作，因为这里没有一次测量发送 echo 请求。 hopfind.py 走的是 TCP 和 UDP，读的是回来的错误；traceroute -T 和 -U 也一样。路径 MTU 发现需要 Packet Too Big，那是一个错误。反向 TTL 技巧对任何回包都管用，一次 TCP 握手就能给你一个。你唯一失去的是工具箱里信息量最少的那个工具，而这整篇文章就是在论证，止步于 ping 本身就是问题所在。\n我自己的线路已经正好是这么做的，不过我怀疑那不是有意的。ping 我的默认网关是 100% 丢包，而同一个网关发出的 ICMP Time Exceeded 在 0.3 ms 内就回来了：本文里每一条轨迹都显示了这一点。Echo 关着，错误开着。不管是谁发布的那个固件，他们做对了，而我是专门去找才发现的。\n同一条规则，只写了一次 这是我没想到会在自己家里找到的故障。一台公共 DNS 解析器，在 TCP/443 上分别用两种地址族走查，前后相隔几分钟。\n$ python3 hopfind.py 192.0.2.53 443 --max 10 walking to 192.0.2.53 TCP/443 hop limit 1-10 1 * 2 * 3 * 4 * 5 * 6 * 7 * 8 * 9 * 10 * Verdict: nothing answered at all, not even the first hop. 什么都没有。一跳都没有。连我自己的路由器都没报告它必定生成了的那个过期，而本文里其他每一次走查，它都在 0.3 ms 内报告了同样的过期。所以丢弃发生在第 1 跳，在跳数上限检查运行之前，而第 1 跳是我的。\n路径本身没问题，同一个目的地在 UDP 上就能证明：\n$ python3 hopfind.py 192.0.2.53 53 --proto udp --max 10 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 5.4 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.167 14.5 ms ICMP 11/0 time exceeded in-transit 5 203.0.113.50 6.3 ms ICMP 11/0 time exceeded in-transit 6 203.0.113.174 5.7 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.201 6.4 ms ICMP 11/0 time exceeded in-transit 8 * 到同一个地址，七跳干干净净的应答。所以不是路由，也不是目的地：我线路上的某个东西丢掉了发往那台主机的 TCP，却放行了发往它的 UDP。\n接着是同一台解析器，同一个端口，走 IPv6：\n$ python3 hopfind.py 2001:db8:53::53 443 -6 --max 10 walking to 2001:db8:53::53 TCP/443 hop limit 1-10 1 2001:db8:1:ee:beef:abcd:fec0:2a30 0.5 ms ICMP 3/0 hop limit exceeded in-transit 2 2001:db8:1::15c 24.6 ms ICMP 3/0 hop limit exceeded in-transit 3 * 4 2001:db8:2:200::50 5.5 ms ICMP 3/0 hop limit exceeded in-transit 5 2001:db8:2:2::4 5.7 ms ICMP 3/0 hop limit exceeded in-transit 6 2001:db8:2:991:: 16.6 ms ICMP 3/0 hop limit exceeded in-transit 7 2001:db8:53::53 5.7 ms connected Verdict: TCP/443 is open. It answered at hop 7. 一路畅通。七跳，毫无波折。同样的服务，同样的端口，同样的意图，而这条规则只存在于一种地址族上。\n写这条规则的人是为 IPv4 写的，从来没写它的孪生规则。我不知道它本来想达成什么：我猜是想让 DNS 留在本地之类的，但不管是什么，自从这条线路有了 IPv6，它就一直只在一半的流量上起作用。如果它是有理由才在那里的，那它不管用。如果没有理由，它就不该在那里。\n这就是双栈问题的日常版本，比那些到底要不要部署 IPv6 的争论常见得多。两本规则手册。只维护了一本。\n完整脚本 没有依赖，不用安装，只有标准库。Python 3.6 或更高版本，在 Linux 上完全不需要特权。\n这两个类就是可移植性的全部故事。ErrorQueue 是 Linux 的路径：在套接字上启用 IP_RECVERR，探测失败后读取 MSG_ERRQUEUE，从内核附加的 sock_extended_err 结构里取出路由器的地址。RawIcmp 是其他所有地方的路径：打开一个原始 ICMP 套接字，读取到达的任何东西，从包上取下源地址。前者什么都不需要，后者需要 root，而程序的其余部分并不在乎它拿到的是哪一个。\n有一个细节值得指出，因为它就是正确答案和看似合理的答案之间的区别。在 probe() 里，错误队列是在查询 SO_ERROR 之前被清空的。ICMP 错误到达 TCP 套接字时只是一个普通的 errno：ICMP 3/3 端口不可达会以 ECONNREFUSED 的形式到达，和一个真正的重置一模一样，所以如果先查 SO_ERROR，本文前面那个伪造的 SMTP 重置就会被报告成对端一次老老实实的拒绝。先读队列，ee_origin 就会告诉你是一台路由器说了话。\n#!/usr/bin/env python3 \u0026#34;\u0026#34;\u0026#34;hopfind - work out how many hops away the thing blocking your port is. Walks the IPv4 TTL, or the IPv6 hop limit, up from 1 and records which router answers at each step - using the protocol and port you actually care about instead of traceroute\u0026#39;s default UDP high ports. Run it twice. Once against something that works, once against the port that does not. The hop where the answers stop is the device dropping you, and the run that works gives you its address. python3 hopfind.py example.net 445 # the port under suspicion python3 hopfind.py example.net 443 # the reference run python3 hopfind.py example.net 53 --proto udp python3 hopfind.py 2001:db8::1 443 -6 On Linux this needs no privileges at all: IP_RECVERR and IPV6_RECVERR hand the ICMP errors back on the ordinary socket that caused them. On macOS, the BSDs and Solaris the errors have to be read off a raw ICMP socket, which means root. Written for https://blogs.damiendye.uk/networking/how-far-away-is-the-firewall/ Public domain. Do what you like with it. \u0026#34;\u0026#34;\u0026#34; import argparse import errno import os import select import socket import struct import sys import time # Linux socket options. Absent from the socket module on some builds, so they # are spelled out rather than looked up. IP_RECVERR = 11 IPV6_RECVERR = 25 # ee_origin values from linux/errqueue.h. Anything else means the errno came # from the local stack rather than from a router. SO_EE_ORIGIN_ICMP = 2 SO_EE_ORIGIN_ICMP6 = 3 ICMP_V4 = { (11, 0): \u0026#34;time exceeded in-transit\u0026#34;, (11, 1): \u0026#34;fragment reassembly time exceeded\u0026#34;, (3, 0): \u0026#34;net unreachable\u0026#34;, (3, 1): \u0026#34;host unreachable\u0026#34;, (3, 2): \u0026#34;protocol unreachable\u0026#34;, (3, 3): \u0026#34;port unreachable\u0026#34;, (3, 4): \u0026#34;fragmentation needed\u0026#34;, (3, 9): \u0026#34;net administratively prohibited\u0026#34;, (3, 10): \u0026#34;host administratively prohibited\u0026#34;, (3, 13): \u0026#34;communication administratively prohibited\u0026#34;, (5, 0): \u0026#34;redirect\u0026#34;, } ICMP_V6 = { (3, 0): \u0026#34;hop limit exceeded in-transit\u0026#34;, (3, 1): \u0026#34;fragment reassembly time exceeded\u0026#34;, (1, 0): \u0026#34;no route to destination\u0026#34;, (1, 1): \u0026#34;communication administratively prohibited\u0026#34;, (1, 3): \u0026#34;address unreachable\u0026#34;, (1, 4): \u0026#34;port unreachable\u0026#34;, (2, 0): \u0026#34;packet too big\u0026#34;, } def describe(family, icmp_type, icmp_code): table = ICMP_V4 if family == socket.AF_INET else ICMP_V6 return table.get((icmp_type, icmp_code), \u0026#34;unrecognised\u0026#34;) def is_expiry(family, icmp_type): \u0026#34;\u0026#34;\u0026#34;Was this the router saying \u0026#39;your hop budget ran out here\u0026#39;?\u0026#34;\u0026#34;\u0026#34; return icmp_type == (11 if family == socket.AF_INET else 3) class ErrorQueue: \u0026#34;\u0026#34;\u0026#34;Linux. The kernel reports the ICMP error on the socket that provoked it.\u0026#34;\u0026#34;\u0026#34; def arm(self, sock, family): if family == socket.AF_INET: sock.setsockopt(socket.IPPROTO_IP, IP_RECVERR, 1) else: sock.setsockopt(socket.IPPROTO_IPV6, IPV6_RECVERR, 1) def extra_readers(self): return [] def collect(self, sock, family): try: _, ancillary, _, _ = sock.recvmsg(0, 1024, socket.MSG_ERRQUEUE) except OSError: return None wanted = (socket.IPPROTO_IP, IP_RECVERR) if family == socket.AF_INET \\ else (socket.IPPROTO_IPV6, IPV6_RECVERR) for level, kind, data in ancillary: if (level, kind) != wanted or len(data) \u0026lt; 16: continue # struct sock_extended_err, then the sockaddr of the router that # sent the error - SO_EE_OFFENDER in the kernel headers. _, origin, icmp_type, icmp_code = struct.unpack_from(\u0026#34;=IBBB\u0026#34;, data, 0) if origin not in (SO_EE_ORIGIN_ICMP, SO_EE_ORIGIN_ICMP6): return None addr = None if len(data) \u0026gt;= 24: offender_family, = struct.unpack_from(\u0026#34;=H\u0026#34;, data, 16) if offender_family == socket.AF_INET: addr = socket.inet_ntoa(data[20:24]) elif offender_family == socket.AF_INET6 and len(data) \u0026gt;= 40: addr = socket.inet_ntop(socket.AF_INET6, data[24:40]) return addr, icmp_type, icmp_code return None class RawIcmp: \u0026#34;\u0026#34;\u0026#34;macOS, the BSDs, illumos, Solaris. Read the ICMP off a raw socket, as root.\u0026#34;\u0026#34;\u0026#34; def __init__(self, family): proto = socket.IPPROTO_ICMP if family == socket.AF_INET else socket.IPPROTO_ICMPV6 self.sock = socket.socket(family, socket.SOCK_RAW, proto) self.sock.setblocking(False) def arm(self, sock, family): pass def extra_readers(self): return [self.sock] def collect(self, sock, family): try: packet, peer = self.sock.recvfrom(1500) except OSError: return None if family == socket.AF_INET: # BSD raw sockets hand back the IP header too. header_len = (packet[0] \u0026amp; 0x0F) * 4 packet = packet[header_len:] if len(packet) \u0026lt; 2: return None return peer[0], packet[0], packet[1] def probe(dest, port, proto, family, hop_limit, timeout, listener): \u0026#34;\u0026#34;\u0026#34;One probe at one hop limit. Returns (icmp, socket_state, note).\u0026#34;\u0026#34;\u0026#34; kind = socket.SOCK_STREAM if proto == \u0026#34;tcp\u0026#34; else socket.SOCK_DGRAM sock = socket.socket(family, kind) if family == socket.AF_INET: sock.setsockopt(socket.IPPROTO_IP, socket.IP_TTL, hop_limit) else: sock.setsockopt(socket.IPPROTO_IPV6, socket.IPV6_UNICAST_HOPS, hop_limit) listener.arm(sock, family) sock.setblocking(False) try: if kind == socket.SOCK_DGRAM: sock.connect((dest, port)) sock.send(b\u0026#34;\\x00\u0026#34; * 32) else: try: sock.connect((dest, port)) except BlockingIOError: pass except OSError as exc: sock.close() return None, None, \u0026#34;local error: %s\u0026#34; % exc.strerror readers = [sock] + listener.extra_readers() writers = [] if kind == socket.SOCK_DGRAM else [sock] deadline = time.time() + timeout icmp = state = None while time.time() \u0026lt; deadline: ready_r, ready_w, ready_x = select.select( readers, writers, [sock], max(0.01, deadline - time.time())) if not (ready_r or ready_w or ready_x): continue # Drain the error queue first, always. An ICMP error reaches a TCP # socket as a plain errno, so SO_ERROR on its own cannot tell you # whether a router spoke or the far end did. icmp = listener.collect(sock, family) if icmp: break if ready_w: err = sock.getsockopt(socket.SOL_SOCKET, socket.SO_ERROR) if err == 0: state = \u0026#34;connected\u0026#34; elif err == errno.ECONNREFUSED: state = \u0026#34;TCP reset\u0026#34; else: state = os.strerror(err) break sock.close() if icmp or state: return icmp, state, None return None, None, \u0026#34;no reply\u0026#34; def walk(dest, port, proto, family, first, last, timeout, listener): print(\u0026#34;walking to %s %s/%d hop limit %d-%d\u0026#34; % (dest, proto.upper(), port, first, last)) answered = [] for hop in range(first, last + 1): started = time.time() icmp, state, _ = probe(dest, port, proto, family, hop, timeout, listener) rtt = (time.time() - started) * 1000 if icmp: addr, icmp_type, icmp_code = icmp print(\u0026#34; %2d %-39s %7.1f ms ICMP %d/%d %s\u0026#34; % (hop, addr or \u0026#34;?\u0026#34;, rtt, icmp_type, icmp_code, describe(family, icmp_type, icmp_code))) if is_expiry(family, icmp_type): answered.append((hop, addr)) else: return answered, hop, \u0026#34;icmp-reject\u0026#34;, addr elif state: print(\u0026#34; %2d %-39s %7.1f ms %s\u0026#34; % (hop, dest, rtt, state)) return answered, hop, state, dest else: print(\u0026#34; %2d *\u0026#34; % hop) return answered, None, \u0026#34;silent\u0026#34;, None def main(): parser = argparse.ArgumentParser(description=__doc__.splitlines()[0]) parser.add_argument(\u0026#34;host\u0026#34;) parser.add_argument(\u0026#34;port\u0026#34;, nargs=\u0026#34;?\u0026#34;, type=int, default=443) parser.add_argument(\u0026#34;--proto\u0026#34;, choices=(\u0026#34;tcp\u0026#34;, \u0026#34;udp\u0026#34;), default=\u0026#34;tcp\u0026#34;) parser.add_argument(\u0026#34;--first\u0026#34;, type=int, default=1, help=\u0026#34;hop limit to start at\u0026#34;) parser.add_argument(\u0026#34;--max\u0026#34;, type=int, default=20, help=\u0026#34;hop limit to stop at\u0026#34;) parser.add_argument(\u0026#34;--wait\u0026#34;, type=float, default=2.0, help=\u0026#34;seconds to wait per hop\u0026#34;) parser.add_argument(\u0026#34;-6\u0026#34;, dest=\u0026#34;v6\u0026#34;, action=\u0026#34;store_true\u0026#34;, help=\u0026#34;force IPv6\u0026#34;) parser.add_argument(\u0026#34;-4\u0026#34;, dest=\u0026#34;v4\u0026#34;, action=\u0026#34;store_true\u0026#34;, help=\u0026#34;force IPv4\u0026#34;) args = parser.parse_args() family = socket.AF_INET6 if args.v6 else socket.AF_INET kind = socket.SOCK_STREAM if args.proto == \u0026#34;tcp\u0026#34; else socket.SOCK_DGRAM dest = socket.getaddrinfo(args.host, args.port, family, kind)[0][4][0] if sys.platform.startswith(\u0026#34;linux\u0026#34;): listener = ErrorQueue() else: try: listener = RawIcmp(family) except PermissionError: sys.exit(\u0026#34;%s cannot report ICMP errors on a normal socket, so this \u0026#34; \u0026#34;needs a raw one. Run it as root.\u0026#34; % sys.platform) answered, stop, why, who = walk(dest, args.port, args.proto, family, args.first, args.max, args.wait, listener) what = \u0026#34;%s/%d\u0026#34; % (args.proto.upper(), args.port) print() if why == \u0026#34;connected\u0026#34;: print(\u0026#34;Verdict: %s is open. It answered at hop %d.\u0026#34; % (what, stop)) elif why == \u0026#34;icmp-reject\u0026#34;: print(\u0026#34;Verdict: %s at hop %d is refusing %s on policy, and is honest \u0026#34; \u0026#34;enough to say so.\u0026#34; % (who, stop, what)) elif why == \u0026#34;TCP reset\u0026#34;: print(\u0026#34;Verdict: a reset came back to a probe with a hop limit of %d.\u0026#34; % stop) print(\u0026#34; Nothing more than %s away can have sent it, so check the reply\u0026#34; % (\u0026#34;one hop\u0026#34; if stop == 1 else \u0026#34;%d hops\u0026#34; % stop)) print(\u0026#34; TTL before you believe the host did.\u0026#34;) elif answered: last_hop, last_addr = answered[-1] print(\u0026#34;Verdict: answers stop after hop %d (%s).\u0026#34; % (last_hop, last_addr)) print(\u0026#34; Whatever swallows %s is hop %d.\u0026#34; % (what, last_hop + 1)) print(\u0026#34; Walk a port that works and read off the address at hop %d.\u0026#34; % (last_hop + 1)) else: print(\u0026#34;Verdict: nothing answered at all, not even the first hop. Either the\u0026#34;) print(\u0026#34; first hop is the one dropping you, or the ICMP errors are being\u0026#34;) print(\u0026#34; filtered on the way back. Walk a port that works to tell those\u0026#34;) print(\u0026#34; two apart.\u0026#34;) if __name__ == \u0026#34;__main__\u0026#34;: main() 它告诉不了你什么 这个方法成本低，在大多数事情上也很诚实，但它不是拓扑扫描器。在工单里老老实实说清楚你实际测到了什么。\n不同的五元组可能走不同的路径。 ECMP 把源端口和目的端口哈希进下一跳的选择里，所以在两个不同端口上的两次运行根本不保证经过相同的路由器，这也是能解释上面第 5 跳在一次运行中应答、在另一次中沉默的两种可能之一。两次运行都重复几遍。一个会移动的边界是没有得到证明的。\nMPLS 会把跳藏起来。 一个标签交换的核心网可能表现为一跳，也可能一跳都不显示。任何穿过别人骨干网的计数都只是一个下限。\nICMP 的生成几乎到处都被限速。 探测得比路由器愿意应答的更快，你就会自己制造出星号来。hopfind.py 每跳发一个探测，然后等待；这是有意的。\n回程路径不一定和去程一样。 去程的跳数不等于回程的跳数，反向 TTL 算术测的只是回程那一段。\nAnycast 意味着第 N 跳的主机两次可能不是同一台机器。 尤其是公共解析器和 CDN。\n握手完成并不意味着会话能活下去。 一台有状态防火墙可以放行 SYN，再在检查后丢掉后续的包。如果连接建立了然后死掉，那这就是用错了仪器：去抓包。\n你找到的是第一台丢包的设备，而不是会有人承认的那一台。 在 CGN 或运营商网络里，第 N+1 跳的地址可能是一个地址背后的好几台设备之一。它仍然是该写进工单的东西，因为它是关于这条路径的一个事实。\n它到底是干什么用的 结束踢皮球。这就是这番功夫的全部回报。\n“445 端口在某个地方被挡了”是在邀请别人把工单退回来。这个不是：\n到 192.0.2.4 的 TCP/445 在第 11 跳被静默丢弃，地址 192.0.2.31。在同一路径上，第 11 跳对 TCP/443 在 26 ms 内应答 ICMP Time Exceeded，对 445 则什么都不应答，所以这次丢弃是那台设备上的策略决定，不是路由故障。它前面的十跳都是干净的。二十分钟内复现了四次，在无特权 shell 中运行，脚本附后。\n没人会把这个退回来。它点名了一台设备，说明了它做了什么，说明了它没做什么，还给出了推导过程。他们改不改，仍然由他们决定。但一个星期的来回踢球结束了，而这只用了四条命令。\n这一切都来自一个 8 位的字段，它在 1981 年被规定为一个计时器，从来没有一次被当作计时器用过，却悄悄地把“某个地方”变成了一个地址。\n值得学会怎么读。\n","permalink":"https://blogs.damiendye.uk/zh/networking/how-far-away-is-the-firewall/","summary":"“445 端口在某个地方被挡了”不是诊断，这正是防火墙工单在你和你的服务商之间来回踢上一个星期的原因。路径上的每一台路由器，在你的跳数预算用完时都欠你一个 ICMP Time Exceeded，这就把一次超时变成了一个距离。我在自己的线路上把 TTL 一跳一跳往上加，找到了三个我原先不知道的故障：11 跳之外的 SMB 丢弃，1 跳之内伪造的 SMTP 重置，还有一条没有 IPv6 孪生规则的 IPv4 规则。","title":"防火墙在 11 跳之外"},{"content":"英国这一行讲 IPv6 有一套说法，大致是这样的。迁移很难。设备太老。客户没要求。这里面没钱赚。等哪天商业论证说得通了，我们自然会去做。\n这套说法的每一句都是这一行自己骗自己的谎话，好让自己不必干活。\nIPv6 在 1995年12月就已经定稿。我是通过 6bone 接触到它的，那是在真正的互联网还不肯承载 IPv6 之前专门承载它的实验网。我当时同时跑了 Linux 的协议栈和 Microsoft Research 在 Windows XP 上的协议栈，看看两者有什么不同。我的接入来自 Hurricane Electric。\n6bone 在 2006年6月6日关停，于是我转到 6to4 自动隧道，后来又换成 Hurricane Electric 的隧道：至今免费，只要你开口，他们就给你路由一个 /48。原生 IPv6 直到 2017 年才到我家，那年我把 ISP 换成了 Zen。\n所以差不多二十年里，我的 IPv6 来自一家白送的美国传输商，而不是我付钱的任何一家英国 ISP。Hurricane Electric 给任何想要的人分配路由好的 /48。我自己的运营商则要我每月花 5 英镑买一个静态 IPv4。\n日期把剩下的话都说了。IETF 在 2006 年关掉了 6bone，又在 2015年5月废弃了 6to4 的任播中继，称这个机制“unsuitable for widespread deployment and use in the Internet”。我等一家英国 ISP 给我一个地址，等到两个官方过渡机制都先后寿终正寝。6bone 关停那天，下文图表里 40 家英国运营商中有 37 家还没向注册机构申请过分配。其中 22 家，超过一半，直到 2015 年或更晚才去申请，也就是 IETF 连 6to4 也放弃的那一年。\n自 2007 年的 Windows Vista 以来，任何人在用的每一个操作系统都默认开启它。从注册机构拿它不多花一分钱。这个国家里尝试过它的最大 ISP，用一个开会能坐满一间会议室的团队，三年就把活干完了，还为此拿了奖。\n规范发布至今三十年。互联网永久开启它的那一天至今十四年。而这个国家的答案是故意把互联网弄坏，再给弄坏的那部分包上更多机器，然后为这份不便向客户收钱。\n这不是成本问题。这是懒得做的问题，而且已经持续了二十年。\n我测了什么，怎么测的 下面的一切，要么是别人的成果并附了链接，要么是我自己算出来的数字。凡是我算的，计数的脚本都在下面的下载包里，按原样运行。唯一的例外是地址总量，它是怎么算出来的我在注意事项里交代。四个公开来源，全部免费：注册机构的分配文件、RIPE 路由表转储、RIPE 数据库，以及 DNS。凡是我挑样本而不是全量测量的地方，我都会说明。\n路由数据来自两组公开文件。\n第一组是分配文件，每个区域注册机构一份，列出该机构分出去的每一个地址块和 AS 号、注册所在国家，以及持有它的组织的一个不透明标识符。RIPE 的那份覆盖欧洲和中东，对英国来说是最重要的一份；不过有几十个注册在英国的 AS 号是在 ARIN 和 APNIC 的文件里，而下文的比较需要全部数据。我用的文件生成于 2026年8月26日和 27 日。\n第二组是 RIPE Routing Information Service 的全球路由表转储，列出 BGP 里的每一个前缀以及宣告它的 AS 号。IPv4 和 IPv6 分成不同文件。我用的那份生成于 2026年8月27日 18:06 UTC。\n把两者放在一起，你就能回答一个英国这一行谁都不想被大声问出来的问题：这个国家注册的网络里，到底有多少真的开了 IPv6？\n\u0026#8615; 脚本，拿来即可运行 ipv6-uk-2026-scripts.zip · 10 kB 从分配文件里取出注册到 GB 的 AS 号，从 RIS 转储里取出每一个起源前缀的 AS 号，再按地址族用 comm 把两张清单对比一下。这就得到了下面第一张表。有个坑值得点名：按字典序排序，不要用 sort -n。comm 比较的是字符串，按数值排序的输入会悄无声息地给你一个错误答案，而不是报一个你会注意到的错。\n把 GB 换成任何别的国家代码，你就得到下文对比表里那个国家的那一行。05-country-row.sh 干的正是这件事。\n组织层面的数字用的是第八个字段，也就是注册机构给每项资源的持有账户分配的不透明句柄。这部分只用 RIPE 的文件：句柄只在各自的注册机构内有效，把五份拼在一起只会把同一家公司数两遍，而不是合并起来。英国的组织都是 RIPE 会员，所以它们都在 RIPE。下面是持有 AS 号却完全没有 IPv6 的组织数量：\n03-org-no-ipv6.sh 负责数这些。而 04-silent-holders.py 是最要紧的那个：持有 IPv6、在 BGP 里活跃、却一个 IPv6 前缀都不宣告的组织。\n给出数字之前先说四条注意事项，因为它们很重要，我宁愿自己先说，也不想被别人拿来砸我。\n组织句柄是按注册账户算的，所以一家公司如果有好几个账户，会被数不止一次。\n在 BGP 里宣告一个 IPv6 前缀，不等于把 IPv6 交到了客户手里。这是下限，不是上限。一个什么都不宣告的网络肯定没有部署。一个宣告了点东西的网络，也可能还是把它晾在那里。\n地址总量合并了重叠的前缀。一个网络宣告一个 /16，同时又宣告从中切出的四个 /17，它宣告的是 65,536 个地址，而不是 196,608 个；简单地把前缀加起来，会把大持有者的数字夸大两三倍。我在求和之前先用 Python 的 ipaddress.collapse_addresses 处理。\n后面那份五十个网站的清单是我手工挑的样本，不是对整个国家的测量。换另外五十个，比例就会不同。它说明的是一种模式，而不是证明一个比例，我说到哪些网站就会点名哪些。\n前两条让路由数据对这一行比真相更宽容。\n计数结果 英国的 AS 号，以及其中有多少承载 IPv6 全球路由表中的英国网络，2026年8月27日 来源：RIPE NCC 分配文件和 RIPE RIS 路由表转储 注册到英国组织 3,106 在路由表中可见 2,248 宣告 IPv4 2,078 宣告 IPv6 1,048 有 IPv4，完全没有 IPv6 1,200 占活跃英国网络的 57.7% 在这 1,200 个网络中，共有\u0026#160;463 个持有注册机构早已分配给它们的 IPv6 空间 却从未宣告过其中任何一个前缀。另有 1,113 个持有 AS 号的英国组织 从来没有申请过 IPv6，尽管在它们已经缴纳的会员费之外， 它不需要多花一分钱。 2026年8月27日，以全球路由表为准，测量每一个注册到英国组织的 AS 号。右边那道缺口就是整个论点：1,200 个英国网络在互联网上活跃却完全没有 IPv6，其中 463 个手里攥着注册机构发放、却从未宣告过的 IPv6 空间。 注册到英国组织的 AS 号 3,106 在全球路由表中可见 2,248 宣告 IPv4 2,078 宣告 IPv6 1,048 宣告 IPv4 但没有 IPv6 1,200，占 57.7% 活跃的英国网络里将近十分之六根本不承载 IPv6。不是部分承载。不是藏在开关后面。不是在实验室里。一个前缀都没有。\n接下来这部分，会让成本论彻底收场。\n在持有 AS 号的 2,363 个英国组织中，1,113 个，即 47.1%，没有任何形式的 IPv6 分配。它们从来没向注册机构要过。\nRIPE NCC 会员资格 2026 年每年 1,800 欧元，统一价，这笔费用已经包含了你的分配。一个 IPv6 /29 给你 524,288 个子网，每个子网都跟整个 IPv4 互联网一样大。它随着这些组织本来就在交钱的会员资格免费附送，几天就能到手。\n其中一半人连表都没填。\n而在填了表的人里，有 463 个英国组织持有 IPv6 空间，每天都向全世界宣告 IPv4，却一个 IPv6 都不宣告。这占了在 BGP 里活跃的英国 IPv6 持有者的 44.7%。\n再读一遍，因为整篇文章就是这一句话。他们要了地址。他们拿到了地址。他们把地址填进了电子表格。然后就没人愿意费那个劲，把它敲进路由器。\n这用钱解释不了。谁都没花钱。没有发票，没有采购，没有商业论证，没有资本支出申请。有一样免费的东西躺在注册机构的账户里，而工程部门十四年来连工单都没开。\n名单上都有谁 以下是 2026年8月27日宣告 IPv4 却不宣告 IPv6 的最大几个英国网络，按它们实际宣告的地址空间排列。名字来自 RIPE 数据库，它会告诉你其中任何一个是谁持有的：\ncurl -s https://rest.db.ripe.net/ripe/aut-num/AS15914.json \\ | python3 -c \u0026#39;import sys,json; a=json.load(sys.stdin)[\u0026#34;objects\u0026#34;][\u0026#34;object\u0026#34;][0][\u0026#34;attributes\u0026#34;][\u0026#34;attribute\u0026#34;]; print(next(x[\u0026#34;value\u0026#34;] for x in a if x[\u0026#34;name\u0026#34;]==\u0026#34;org\u0026#34;))\u0026#39; 没有 IPv6 的最大英国网络 宣告 IPv4 却没有 IPv6 的最大英国网络，2026年8月27日 在 BGP 中宣告的 IPv4 地址，重叠前缀已合并。名称来自 RIPE 数据库。 0k 50k 100k 150k 200k Vodafone Limited AS25310 229,376 Nationwide Building Society AS8698 131,072 British Airways plc AS15914 131,072 Convergence Group (Metronet) AS42973 94,976 Rackspace Ltd AS24867 86,016 Lloyds Banking Group AS49758 81,920 QinetiQ Limited AS24775 69,632 Barclays Bank plc AS12701 68,608 MUFG Securities EMEA AS8651 65,792 University of Warwick AS201773 65,792 NatWest Markets plc AS21054 65,536 PricewaterhouseCoopers Services AS21296 65,536 London Borough of Hackney AS39400 65,536 Wireless Logic Limited AS51320 39,424 这些不宣告 IPv6 的英国网络加起来坐拥\u0026#160;4,232,232 个 IPv4 地址。 Barclays 从 1990年8月起就持有 141.228.0.0/16。 2026年8月27日宣告 IPv4 却不宣告 IPv6 的十四个最大英国网络，按实际宣告的地址空间排列。重叠前缀在求和前已合并。 看看这份名单，然后试着不笑出声地说出“成本障碍”这四个字。\n四家清算银行。一家全球会计师事务所，它的全部产品就是告诉别人该怎么打理自己的事务。一家国防科技公司。一家托管服务商，客户付钱给它就是为了它懂这些。一家物联网连接公司，卖 SIM 卡的，没有 IPv6。\n这些不宣告 IPv6 的英国网络加起来，坐拥 4,232,232 个 IPv4 地址。2026 年上半年转让市场的均价是每个地址 20.04 美元，所以这批存货价值八千万美元往上。这才是它们谁都没动的真正原因：它们地址富足，短缺是别人的问题，而互联网的长期管道工程不归任何人具体负责。\n这不是战略。这是舒服惯了。\n分配文件记录了每个地址块的分配日期，所以你能看清楚它们到底有多舒服：\ngrep -E \u0026#39;\\|ipv4\\|(141\\.228|155\\.131|155\\.136|161\\.2)\\.0\\.0\\|\u0026#39; \\ delegated-ripencc-extended-latest | cut -d\u0026#39;|\u0026#39; -f4,5,6 Barclays 从 1990年8月6日起就持有 141.228.0.0/16。Nationwide 和 NatWest 在 1991年11月拿到各自的地址块，前后相隔四天。British Airways 在 1992年4月拿到 161.2.0.0/16。这些都是万维网诞生之前的 B 类地址块，分出去的时候地址不要钱，也没人去数。\n之后来的每一个人都在为此买单。AWS 从 2024年2月1日开始对每个公网 IPv4 地址按每小时 0.005 美元收费，每个每年 43.80 美元，而且把原因说得明明白白：获取一个地址的成本“has risen more than 300% over the past 5 years.”稀缺是真的，而且有价格。只不过付钱的不是那些 1991 年白拿了四百万个地址的人。\n我们和同类国家比起来怎么样 每个国家两个数字。第一个是通过原生 IPv6 访问 Google 的人口比例，这是 Google 的测量，取 2026年8月25日的数据。第二个是活跃网络中宣告了 IPv6 前缀的比例，这是我自己的，来源和上面相同的文件。我只选了发达经济体。拿我们去和互联网来得晚的国家比，说明不了我们任何问题。按用户比例排序。\n国家 使用 IPv6 的用户 有 IPv6 的网络 活跃网络 法国 85.6% 48.5% 1,368 德国 76.6% 63.9% 2,291 比利时 72.8% 45.8% 273 美国 56.6% 25.9% 18,453 日本 56.1% 56.4% 721 英国 53.7% 42.3% 2,078 挪威 52.6% 66.9% 278 荷兰 51.9% 61.8% 1,023 加拿大 43.6% 33.1% 1,578 爱尔兰 38.1% 41.5% 195 澳大利亚 37.2% 26.3% 1,652 瑞典 36.1% 53.6% 642 韩国 18.1% 5.3% 916 意大利 17.6% 35.8% 1,078 西班牙 13.3% 26.7% 934 十五个里排第六。法国用上 IPv6 的人口比例比我们高出三分之二，用的是同一条欧洲供应链，同一批设备厂商，客户也同样告诉他们没人要这个。德国在用户上领先我们二十三个百分点，在网络上领先二十二个百分点。\n两列百分比彼此对不上，而对不上的地方就是故事所在。\n使用 IPv6 的用户对比承载 IPv6 的网络，十五个发达经济体 使用 IPv6 的人口，对比承载 IPv6 的网络 Google 的用户测量（2026年8月25日），对比我统计的宣告 IPv6 前缀的活跃网络（2026年8月27日）。 人口比例 网络比例 法国 85.6% 48.5% 德国 76.6% 63.9% 比利时 72.8% 45.8% 美国 56.6% 25.9% 日本 56.1% 56.4% 英国 53.7% 42.3% 挪威 52.6% 66.9% 荷兰 51.9% 61.8% 加拿大 43.6% 33.1% 爱尔兰 38.1% 41.5% 澳大利亚 37.2% 26.3% 瑞典 36.1% 53.6% 韩国 18.1% 5.3% 意大利 17.6% 35.8% 西班牙 13.3% 26.7% 0% 20% 40% 60% 80% 100% 长蓝条压在短粉条上面，意味着三四家运营商干了活，而国内其余的人 没有干。法国、比利时、美国和英国都是这个形状。 挪威、瑞典和日本不是。 同样十五个国家的两项指标，按使用 IPv6 的人口比例排序。凡是网络条比用户条短得多的地方，就是少数几家大运营商在扛着整个国家，其他人都懒得动。美国、比利时、法国是这个形状，英国也是。 一个国家的用户比例由三四家公司决定。网络比例则由其他所有人决定。前者高、后者低，说明大的接入网把活干了，国内其余的人都在搭便车。\n美国是最清楚的例子：56.6% 的人口用上了 IPv6，而网络只有 25.9%。有线和移动运营商几乎扛起了所有人。其余一万八千个美国网络什么都没做。\n我们耍的是同一个把戏，只是数字小一些：用户 53.7%，网络 42.3%。那个 53.7% 不是国家的成就。那是 Sky 和 BT，再加上其他所有人那点可以四舍五入掉的零头。\n挪威和瑞典是诚实的反面形状：用 IPv6 的用户比我们少，承载它的网络比我们多。他们这一行里有更多人真的干了活，落后的是面向消费者的 ISP，而不是整个行业。\n还有一行值得细看，因为每当有人想让自己对我们感觉好一点，就会去找它。\n韩国是这张表上最差的国家，而且差得很远。在 916 个活跃的韩国网络中，只有 61 个宣告 IPv6。六十一个。\n全球数一数二快的家庭宽带，一个印钞机一样的芯片产业，而 94.7% 的网络从没开过它。三大运营商 KT、SK Broadband 和 LG U+ 都宣告了它，所以韩国有 18.1% 的用户用上了。其余八百五十个网络啥也没干。\n不管那边的借口是什么，都不是钱，不是能力，也不是光纤的状况。\n二十年来不停地加装补丁 下面是这一行不去敲那些地址、转而造出来的东西。\n当地址开始紧缺时，答案是运营商级 NAT：把几百个客户放在一个公网 IPv4 地址后面，在他们之间做转换。下面的一切都是为了让这套东西能凑合活下去，而每一份文件都是某个人选择去做、而不是去部署 IPv6 的一项工程工作。\n补丁 用途 RFC 6598（2012） 烧掉整整一个 /10，四百万个地址，作为“共享地址空间”，于是应对地址短缺的变通方案自己也需要地址 RFC 6333（2011） DS-Lite：在你建好了却没交给客户的 IPv6 网络上用隧道传 IPv4 RFC 6877（2013） 464XLAT：在同一趟路程里把 IPv4 转成 IPv6，再转回来 RFC 6888（2013） 一份要求清单，运营商级 NAT 要满足它才不至于危险 RFC 7021（2013） 一份完整的研究，列出运营商级 NAT 会搞坏哪些应用 RFC 7422（2014） 确定性地址映射，发明出来纯粹是为了不让日志量把运营商拖垮 RFC 7597 / 7599（2015） MAP-E 和 MAP-T：又两种在 IPv6 上传 IPv4、却不承认自己有 IPv6 的办法 二十年的变通方案，对比它们所替代的那一项改动 我们转而造了什么，又是为了躲开什么 躲开 IPv6 共享地址空间：烧掉整整一个 /10 RFC 6598, 2012 DS-Lite：在 IPv6 核心上用隧道传 IPv4 RFC 6333, 2011 464XLAT：从 IPv4 转出去再转回来 RFC 6877, 2013 让运营商级 NAT 凑合活下去的规则 RFC 6888, 2013 一份关于它搞坏哪些应用的研究 RFC 7021, 2013 用确定性映射削减日志量 RFC 7422, 2014 MAP-E 和 MAP-T：又一次在 IPv6 上传 IPv4 RFC 7597/9, 2015 外加 NAT 层本身：会话表、端口块分配、 应用层网关、故障切换、容量规划、 一条日志管道，以及为掩盖被它毁掉的 溯源能力而通过的一部留存法律。 做 IPv6 双栈 多一个地址族， 跑在你已经在用的 路由协议和防火墙策略上。 流量路径上不新增任何一层。 没有会话状态需要估算。 不必为满足法规而保存日志。 从注册机构免费获得。 两栏都是工程工作，而左边那栏更多。 区别在于，左边的工作可以从厂商那里买来，而右边的工作 必须由拥有这张网络的人自己弄懂。 二十年的标准工作、硬件和日志，全都是为了不去做右边那件事。双栈就是在你已经在跑的地址族旁边再加一个地址族。左边的一切都是为了躲开它。 看看这个形状。清单上的每一项都比双栈更难。在 IPv6 里用隧道传 IPv4，严格来说比路由 IPv6 的活更多，因为要承载隧道，你反正得先路由 IPv6。在地址族之间做转换，比不做转换活更多。运营商级 NAT 是放在你网络中间的一台有状态的盒子，要做容量规划、故障切换、会话表、端口块分配，要为它搞坏的协议配应用层网关，还要有一条按法律义务来定规模的日志管道。\n双栈就是一个地址族，一个你已经在跑的路由协议，加上一份你已经写好的防火墙策略。\n这一行看了看这两个选项，连续二十年选了贵的那个，因为贵的可以买，便宜的那个得弄懂。买一台盒子是一次采购流程。打开 IPv6 则意味着楼里得有人知道网络是怎么工作的。\n这到底搞坏了什么 如果你觉得这只是审美问题，下面是共享地址让你的用户付出的代价，按他们打电话来投诉的顺序排列。\n外面什么都连不进来。没有端口转发，所以没有任何自托管，游戏主机当不了主机，站点到站点 VPN 离不开中继，安防摄像头离不开厂商云，也没法远程访问另一个站点里的东西。每一样都被第三方中转服务取代，于是又多了一家公司拿着你的数据，只因为你的运营商不肯给你一个地址。\n你继承了陌生人的名声。和几百个人共享一个地址，你就共享了他们的行为。速率限制、验证码、Wikipedia 封禁、流媒体地区错误和反欺诈评分，全都因为别人干的事落到你头上。\n端口会用完。运营商级 NAT 每个公网地址每种协议只有 65,535 个端口，而一个现代浏览器会话就要吃掉几十个。超卖之后，故障不是一个干净的报错。它是缓慢的、时有时无的、无法复现的故障，看起来像任何东西就是不像它本身，每次都要烧掉几天的技术支持时间。\n每一个变通方案都得永远维护下去，维护它的人本来可以把这些时间花在真正的修复上。\n然后还有一个，它已经不再是不方便，而是成了所有人的问题。没人能说清是谁干了什么。\n闹到议会的那个补丁 几百个客户共享一个地址之后，一个地址就再也识别不了任何人。于是警方没法把 IP 地址对应到一个人，而对此的答案不是 IPv6，是立法。\n《2015 年反恐与安全法》第 21 条修改了数据留存制度，专门让内政大臣可以强制运营商留存额外的数据，用来“to link the unique attributes of a public Internet Protocol (IP) address to the person (or device) using it at any given time.”解释性说明把为什么需要它说得很直白：运营商“may share IP addresses between multiple users, and the providers generally have no business purpose for keeping a log of who used each address at a specific point in time.”\n用工程师而不是律师的眼光读一读。这一行为了省点事把溯源能力搞坏了，然后议会通过了一部法律，逼它造一套日志系统去糊住这个破洞。\n两年后 Europol 说得很直白。2017年10月，它发布了呼吁这一行停止使用运营商级 NAT 的声明，附有数字：90% 的移动互联网接入运营商和 50% 的固网运营商采用了一种让它们无法识别自己用户的技术。Europol 当时的执行主任说 CGN“has created a serious online capability gap in law enforcement efforts to investigate and attribute crime”，并指出它“forces judiciary and law enforcement authorities to investigate many more individuals than would normally be necessary.”\nEuropol 还把那句不便明说的话也说了。运营商级 NAT“was supposed to be a temporary solution until the transition to IPv6 was completed”。结果这一行不断加大对它的使用，而替代方案就摆在那里，已经完成，免费，没人理。\n所以不部署 IPv6 的代价包括：一部基本立法，一项全国性的留存义务，无辜的人因为和某个不无辜的人共享了地址而被卷入调查，以及一个被警方形容为公共安全问题的、持续存在的能力缺口。\n没人把这些写进商业论证。它从来不会出现在“IPv6 没有投资回报”的那张幻灯片上，因为付钱的不是造成它的人。\n它不只是替罪犯打掩护，它还在帮他们 溯源论是执法部门提的，讲的是事后抓人。还有第二个论点，提得少得多，而且更糟：地址共享会主动削弱那些从一开始就阻止攻击发生的防御。\n这不是我的分析。IETF 早在 2011年6月就在 RFC 6269《Issues with IP Address Sharing》里列出了清单。那时英国现在在跑的大部分运营商级 NAT 都还没部署。它的原话是：地址共享“creates a vector for attack amplification in numerous ways.”\n下面是它警告过会坏、后来也确实坏了的东西。\n速率限制和锁定失效。防密码猜测和撞库的标准做法，是按地址统计失败次数，把作恶者关进“小黑屋”。把这个地址分给几百个人共享，计数器测的就是一群人。RFC 6269 对结果说得很直白：“In the presence of widespread large-scale address sharing, penalty box solutions to service abuse simply will not work.”一个用户登录失败，就把其他所有人都锁在外面，于是运维人员调高阈值，而调高阈值正是攻击者想要的。\n黑名单变成误伤。封了发垃圾邮件的人，就封了他住的整条街。于是明智的运维人员不再封禁，滥用继续从一个谁都不敢碰的地址上发出来。\n被感染的机器一直被感染。滥用通报和恶意软件通知给出的是一个地址和一个时间戳。在不记录端口日志的 CGN 后面，运营商分不清是哪个客户在跑僵尸程序，于是客户永远得不到通知，感染一直在线。更糟的是，RFC 6269 指出了反过来的问题：“someone else\u0026rsquo;s worm can interfere with the ability to access the service for other subscribers sharing the same IP address.”\n基于地址的访问控制失效。每一份基于源地址的允许列表，现在放进来的是一群人而不是一个客户。\n还有一种防御是被可测量地削弱，而不只是变钝。盲 TCP 攻击依赖于猜中五元组，这一行的缓解办法是随机化源端口（RFC 6056）。运营商级 NAT 给每个用户的只是端口范围的一小片，而不是全部。用 RFC 6269 的话说，“with shared IPv4 addresses, the port selection space is reduced.”应对地址短缺的变通方案，直接从一项防攻击机制里抽走了熵。\n接下来这部分，不管你怎么看待执法，都应该让你担心。如果服务器没记录源端口，NAT 也没记录目的地址，RFC 6269 写明了运营商收到合法请求时必须怎么做：它“would need to disclose the identity of all subscribers who had active sessions on the NAT during the time period in question. This may be a large number of subscribers.”\n不去识别一个有罪的用户，替代办法就是交出几百个无辜用户的身份。这才是地址共享在隐私上的真实结果，和它的辩护者所宣称的恰恰相反。\n三件事必须同时对得上，而没有谁被要求提供其中任何一件 人们以为日志总在某个地方，开口要就行。大多数时候根本没有，原因是算术，而不是恶意。\n要把一个共享地址还原成一户人家，三件不同的事必须全都做对：\n远端服务器记录了源端口。RFC 6302 在 2011 年就要求面向互联网的服务器在记录地址的同时记录源端口和时间戳。这只是一条建议。没人强制执行，大量服务器至今仍然只记地址。到了这一步，线索还没到英国这一端就已经断了。 运营商保存了映射关系。每一个会话，保存好几个月。 时钟对得上。RFC 6269 警告，在繁忙的 CGN 上，“even very small amounts of clock skew between a third party\u0026rsquo;s server and the CGN operator will result in ambiguity about which customer was using a specific port at a given time.” 缺了任何一件，你就什么都没有。而中间那件正是崩溃的地方，因为标准文档里算过账。\nRFC 7422 给出了实际数字。运营商报告每户每天大约 33,000 个连接。每条日志约 150 字节，那就是每个用户每天 5 MB，每月 150 MB。对一个有一百万用户的运营商来说：每月 150 TB 日志，每年 1.8 PB，还要按法律的期望保存六到十二个月，并随时可供检索。\n而且从来不止一份日志。NAT444，也就是 RFC 7422 用来估算日志条目大小的那种场景，在客户的路由器里做一次转换，在运营商那里再做一次，数据包经过的每一道关口都得记下自己做了什么。还原一个会话，意味着要把由不同方保存的不同表格关联起来，还要对付上面说的时钟问题。证据从不同系统里零零碎碎地来，或者根本不来。\n钱还只是一半。以这样的速率采集会话记录，把它们传到某处，建立索引好让一份合法请求几小时内而不是几周后就有结果，再把这些全部保存一年，这是一个数据工程项目。没有现成的仪表盘，也没有能买的盒子。它得由一个懂自己在造什么的人亲手造出来，而这不是点点鼠标的事；在这一行，这几乎就等于说它不会被造出来。\n也从来不会有人为它掏钱。IETF 心里清楚，所以 RFC 6888 告诉运营商的恰恰和公共安全所需相反：“A CGN\u0026rsquo;s port allocation scheme SHOULD minimize log volume”，理由是“huge log volumes can be problematic to CGN operators.”RFC 7422 存在的唯一目的就是把这笔账压下来。\n所以给这一行的设计建议是少记日志，经济账说每年 1.8 PB 负担不起，而法律上的期望是一份完整记录。这三者不可能同时成立，最后让步的是那份记录。\n这就是为什么 Europol 发现，大多数接入运营商在收到法律命令时无法识别出一个用户。不是因为它们故意阻挠。而是因为被要求保存的东西在经济上从来就不可能保存下来，也从来没人被逼着去保存。\n由此可以推出两件事，这两件是我的看法，不是谁的原话。\n第一：英国相当大一部分互联网连接，从设计上就无法溯源。移动网络是最清楚的例子，独立测量给出的比例比 Europol 还高，达到 95%。所以过去需要 Tor、或者需要有人花钱买个 VPN 才能获得的匿名性，现在成了英国移动连接的出厂设置：随 SIM 卡免费发放，人人有份，包括整套机器本来要找出来的那一小撮人。\n第二，也更糟：把便宜的定向手段搞坏，正是催生对昂贵的非定向手段的需求的原因。当你能对一个地址出示令状并得到一户人家时，你什么别的都不需要。当这招不灵了，国家不会耸耸肩了事。它会伸手去拿某种覆盖更广的东西。2015 年那部法律就是这样：对全体用户施加留存义务，只为回答关于一小撮人的问题。\n这些在另一边全都不存在。没有任何转换，所以根本没有按连接的记录需要保存。远端服务器日志里的地址本身就是用户的前缀：一条记录，在开通线路时写一次，存在一个系统里。即便是每天轮换前缀的运营商，每个客户每年也只写几百条，而每天 33,000 个连接一年下来是一千两百万条。不是 IPv6 记得少。是根本没什么可记的。\n写这个变通方案的人心里清楚。在一份纯粹为了让 CGN 的日志负担得起而写的规范中间，他们停下来记了一句：“native IPv6 will offer subscribers a better experience than CGN”。\n一个行业不肯为一项免费协议在每个网络上花两周时间，结果整个国家换来的是一套数据留存制度。\n修好这个，会比《网络安全法》更能保护儿童吗？ 这里我要小心，因为这个论点很容易被说得很烂，而说烂了的版本活该挨它会挨的那顿揍。\n先看儿童性侵案件实际是怎么查的。平台检测到材料并上报。报告里带着一个地址和一个时间戳。警方向接入运营商调取信息，把它变成一个用户，而这个用户是现实世界里一个有门的地址。整条链就是这样，后面的每一步都依赖前一步。\n现在在中间放一台运营商级 NAT。报告照样到达。地址照样能解析。解析出来的是几百户人家，Europol 发现调查因此“dropped or delayed”。他们的案例包括：一名检察官无法识别一个支持 ISIS 的论坛的成员，于是起诉没能进行；HMRC 把大宗税务欺诈追查到移动地址上，却发现线索“frustrated from the outset”。\nNCMEC 的 CyberTipline 在 2025 年收到 2,130 万份报告，向执法部门转交了超过 1,880 万份，其中超过 53,000 份涉及处于紧迫危险中的儿童。NCMEC 还记录到，超过 10% 的行业报告附带的信息太差，连该发往哪个司法辖区都判断不了。这个数字不是 CGNAT 造成的，我也没这么说，但它告诉你案件在这条管道的哪个环节死掉。它们死在元数据上。\n所以老实说，这个比较的版本是这样的。运营商级 NAT 搞坏了《网络安全法》自己的最后一公里。议会规定了检测和上报的义务，却让接入网无法解析被上报的东西。你想通过多少上报义务都行。如果最后一步返回的是一群人，报告就只是一张纸。\n而这两件事的成本根本不在一个量级。这部法案是这个国家尝试过的最大的互联网监管：成千上万的服务被纳入范围，一个监管机构花好几年写行为准则，年龄验证每天跑几百万次检查，规避问题大到议会在上议院辩论过 VPN 的使用。IPv6 从注册机构拿不花钱，一个称职的团队几周就能搞定。前者被强加给了整个行业。后者从来没被要求过任何人。\n有三件事必须说清楚，否则这个论点一文不值。\n第一，它不是替代品，我也没把它当替代品来提。IPv6 阻止不了一个十二岁的孩子找到色情内容。它管不了推荐系统、自动播放或直播。它管不了托管在别国的材料，而那占了绝大部分。这些才是法案要解决的问题，任何协议改动都碰不到它们。\n第二，IPv6 不是身份层，谁把它当身份层来卖，谁就是在夸大其词。隐私扩展按设计就会轮换设备的地址，所以机器的地址不是那个稳定的东西。稳定的是委派给这条线路的前缀，也就是 Sky 从 2016 年起分给每个用户的那个 /56。它解析到一个用户，这恰恰是一份合法请求所需要的解析精度，不多不少。这是恢复了过去每条线路一个 IPv4 地址时本来就有的能力，不是一种新的监控能力。\n第三，让警方头疼的这个特性，也让所有追踪你的人头疼，而有些人看重这一点。在一个共享地址后面做五百分之一，确实能在商业画像面前混在人群里。我不认为它值这个代价：这种掩护是靠让滥用无法溯源、让速率限制失效换来的，而平台大多也能靠 cookie 和指纹识别看穿它。但这是个真实的论点，应该把它说出来，而不是装作没看见。\n所以不，这不是用 IPv6 取代《网络安全法》。而是英国在一套明知已经坏掉的管道上，写出了它历史上最昂贵的网络安全法律，而修复办法免费、文档齐全，并且在法案起草的整个过程中一直都摆在那里。\n到底该要求什么 不是禁令。禁令是用错了工具，还会适得其反。\n已经没有 IPv4 可以分了：RIPE 从 2019年11月起就空了，新运营商只能从等候名单里拿到一个 /24。明天就宣布地址共享违法，小运营商就根本没法接入客户，而那些坐拥 1990 年 B 类地址块的机构照旧毫发无损。这只会巩固这篇文章说的正是那批人。\n更好的工具已经存在，而且已经有人做过实验了。\n2012 年，比利时联邦警察、电信监管机构、总检察长委员会和 ISP 协会签署了一份两页纸的自愿行为准则。一个 IPv4 地址后面最多 16 个用户。限制 CGN 的使用。开始采用 IPv6。\n到 2017 年，大多数比利时运营商都在限额之内，有一家降到了 8 个，比利时警方看到的每个移动地址平均只有四个用户。Europol 自己对原因的总结值得读两遍：最大的几家运营商“are quickly moving towards IPv6 because no financial interest to invest in CGN anymore.”给超卖设个上限，变通方案的经济账就塌了，因为一台最多只能叠十六个人的 NAT，并不比一个根本不需要 NAT 的协议便宜。\n那一年比利时的 IPv6 采用率是全球最高的，达 49%，而英国和法国是 14%，西班牙和意大利不到 1%。在上面的国家表里，比利时至今仍排第三，72.8%。\n这就是要提的要求。不是“你不得共享地址”，而是你不得出售一条既无法溯源、又没有 IPv6 的连接。在 IPv6 正常工作的前提下共享地址没问题，地球上每一个移动网络都是这么运营的。共享地址又没有 IPv6，就是在卖一项坏掉的服务，还让公众为后果买单。\nSky 在十一年前就证明了这能做到 如果这真的很难，英国就不会有人做成。\nSky 在 2013 年初启动了内部 IPv6 项目，2016 年完成，大约 90% 的固网用户，约五百万用户，用上了 IPv6 并在实际使用。他们的工程师在 RIPE Labs 上把整件事写了出来：MPLS 核心上跑 6PE，对等互联和传输做双栈，用 RADIUS 属性按用户开启，七款 CPE 的固件工作（其中五款是老型号），以及 RADIUS 和 DNS 的扩容。\n三年，一家 ISP，用的是和其他所有人一样的 Openreach 铜线。ISPreview 在 2016年9月报道了完工，当时 Sky 预计到年底覆盖 95% 的用户，Sky 还因此获得了 Jim Bound IPv6 Award。\n他们的建议是：“Do not underestimate the work required to enable IPv6, and do not leave it to the last minute to begin the journey.”\n十一年后，这一行的大多数人还停在最后一分钟，而且把那里当成了家。\n地址大家早就拿到手好多年了 Sky 是大 ISP 里的第一家。但它远不是全国第一家，而且这份名单上没有一家运营商能说自己是在等注册机构。\nRIPE 会把分配日期写进地址块的名字里，所以任何一家你都可以自己查：\nwhois -h whois.ripe.net 2a01:4b00::/32 | grep -E \u0026#39;netname|^org:\u0026#39; # netname: UK-BCUBE-20110225 -\u0026gt; Hyperoptic, allocated 25 February 2011 下面的每一个日期都来自对该运营商自身分配做的这种查询，并与分配文件做了交叉核对。大 ISP 用粗体，其余的是全光纤建设者。客户是否真的能拿到 IPv6，依据的是 ISPreview 在 2025年3月更新的调查，手机网络则依据移动网络跟踪数据。\n每家英国运营商持有 IPv6 多久了，客户能否用上 每家英国运营商持有 IPv6 多久了，客户又是否真的用上了 分配日期来自 RIPE 分配文件及其 netname 中的日期标记。 是否交付给客户：ISPreview，2025年3月，以及社区维护的移动网络跟踪页。 客户能用上 部分：仅一张网络 仍未提供（40 家中 17 家） 2002 2002 2006 2006 2010 2010 2014 2014 2018 2018 2022 2022 2026 2026 TalkTalk（时为 Opal Telecom） Andrews \u0026amp; Arnold Vodafone UK EE（时为 T-Mobile） Sky Gigaclear O2 (Telefónica UK) BT Virgin Media（时为 NTL） KCOM Hyperoptic（时为 Bcube） Zen Internet B4RN Trooli（时为 Call Flow） Exascale Three UK Community Fibre Ogi（时为 NetSupport） WightFibre Truespeed Airband G.Network Wessex Internet Quickline FibreNest Wildanet Fibrus（时为 B4B Networks） Zzoomm GoFibre（时为 Borderlink） Toob Netomnia / YouFibre Pine Media BeFibre Squirrel Internet brsk Lit Fibre（时为 Broadreach） iDNET * Grain Hey! Broadband Octaplus 四十家中每一家持有 IPv6 空间都至少三年，大多数超过十年。 其中 17 家至今仍不向任何客户提供它。 四十家英国运营商，按注册机构给它们分配 IPv6 的日期排序。每根条从那次分配一直延伸到今天。蓝色的向客户提供 IPv6；粉色的从来没有。 四十家运营商。每一家持有 IPv6 地址空间都至少三年，大多数超过十年，而其中十七家至今仍不向任何客户提供它。\nHyperoptic 从 2011年2月起就持有 2a01:4b00::/32。十五年来把光纤铺进一栋栋公寓楼，卖千兆连接，却把用户放在运营商级 NAT 后面，账上躺着一块没用过的 IPv6 分配。Trooli 拿到自己的已经十三年了。Truespeed 和 Airband 十年。\nAndrews \u0026amp; Arnold 是拿来衡量其他所有人的那一家。一家位于 Bracknell 的小 ISP，客户和工程师数量都只是名单上其他任何一家的零头，从 2002 年起就给每条线路提供 IPv6，还是 6UK 背后的机构之一。TalkTalk 拿到分配比它还早三个月，至今仍不向家庭用户提供。\nVirgin Media 拿到地址块比 Zen 早三周。Zen 把它交付了，从那以后我一直用着他们的一个 /48。Virgin 还在说“when we are ready”。\n再看表的底部。Squirrel、brsk、Lit Fibre 和 Octaplus 都是在最近六年里拿到分配的，全都提供 IPv6，而那些从 2011 年就持有地址空间的运营商却没有。起步晚不是障碍。根本不起步才是。\n那份调查里有两个名字不在图上，原因相同。Cuckoo 是一个零售品牌，通过 Openreach、CityFibre 等购买批发接入；Freedom Fibre 是一张批发网络，客户通过零售合作伙伴进来。两家都不持有自己的地址空间，所以 IPv6 是别人替它们做的决定。iDNET 标了星号，因为它的是一个独立于运营商的地址指派，而不是它自己的分配。\n一锤定音的那一家 如果你想把整个论点归结到一家公司，那就是 Plusnet。\nBT 在 2007年1月收购了 Plusnet。Plusnet 挂在 British Telecommunications 自己的 RIPE 账户下，所以从 2010年6月起它就能用 BT 的 IPv6 分配。BT 提供 IPv6。另一家姊妹公司 EE 也提供 IPv6。ISPreview 指出 BT 和 Plusnet 用的甚至是几乎一模一样的客户路由器，称这个差距“somewhat of a peculiarity”。\nPlusnet 在 2011 年试验过 IPv6，还公开敦促业内其他人赶紧动手。2019 年它说会在 2020 年春季推出。2021 年它预计“to make good progress over the coming year”。2023年11月，它在 Chesterfield 和 Sheffield 两个站点做了为期三个月的试验，参与的是大约二十名员工和友好客户。\n到了 2026年4月，它自己的客户论坛上还有人在问 IPv6 到底进展到哪了。\n一家母公司。一块地址分配。几乎一样的硬件。工程师在同一个集团工作，沿着走廊走过去就能找到已经做完这件事的人。三个品牌，其中一个十五年都搞不定另外两个早就完成的事。\n不管是什么在阻碍这件事，都不是技术、钱、设备或地址空间。是有人觉得这个季度这不归他管，而且连续这么觉得了十五年。\nVirgin Media，十六年的“When We Are Ready” 天平的另一端也值得点名，因为这条时间线是公开记录在案的，而且令人瞠目。\n2010年3月：一位客户在 Virgin Media 自己的论坛上问 IPv6 什么时候来。回答是“when we are ready”。\n2016年11月：Virgin 告诉 ISPreview，计划在 2017 年年中前采用 IPv6。没有。\n2018年6月：有报道称开始了家庭用户试验。2018年12月：第三次向 UK IPv6 Council 作报告，暗示 2019 年。\n2021 年：一份声明说他们“continuing to plan our IPV6 deployment having tested several solutions and intend to introduce IPV6 for our customers in future.”\n2024年2月：Virgin Media 锁定了那个已有十四年历史的论坛帖子。\n2026年8月：仍然什么都没有。\n十六年。在这期间，这家公司被收购，和 O2 合并，把核心网重建了两次，把全部路由器都换了一遍。从头到尾没有任何人加上一个地址族。锁帖是那份清单里最诚实的一件事。那是他们不再假装、开始管理投诉而不是管理问题的那一刻。\n新兴光纤运营商根本没有任何借口 全光纤建设者本来是从头干净开始的机会。新网络，新设备，没有历史包袱，工程师都是这十年里招的。看看它们在分配表里的位置，大多数拿了地址空间就停下了。\n于是一家拿着机构投资者的钱去建全新光纤网络的公司，挖开马路，给十万户人家吹进光纤，买了新路由器，写了一套新的开通系统。然后在 2026 年，把客户放在一张没有 IPv6 的网络上、一个共享地址后面，而地址空间早就躺在它自己的注册账户里。\n接着其中好几家还要收每月 5 英镑买一个静态公网 IPv4。\n它们拿走了本来能用的东西，拒绝交付免费的替代品，再把由此造成的故障变成你账单上的一行收费。一种先制造故障、再出售修复的商业模式，是有个词来形容的，而那个词不是“创新”。\n网站露了馅 路由表显示的是网络在做什么。DNS 显示的是其他所有人在做什么。于是在 2026年8月27日，我把五十个英国最知名的网站放进一个文件：中央政府、银行、大零售商、电信公司、交通和几所大学，然后逐个问它们是否在 IPv6 上应答：\nwhile read -r d; do n=$(dig +short AAAA \u0026#34;$d\u0026#34; | grep -c \u0026#39;:\u0026#39;) printf \u0026#39;%-46s %s\\n\u0026#39; \u0026#34;$d\u0026#34; \u0026#34;$([ \u0026#34;$n\u0026#34; -gt 0 ] \u0026amp;\u0026amp; echo AAAA || echo none)\u0026#34; done \u0026lt; sites.txt | sort -k2 然后我用第二台解析器核对了每一个答案，因为一台递归服务器状态不好不能算一个发现：\ndig @1.1.1.1 +short AAAA www.tesco.com | grep -c \u0026#39;:\u0026#39; 五十个里有十七个有 AAAA 记录。三十三个没有，两台解析器在每一个上都一致。\n没有 IPv6 的包括 www.bbc.co.uk、www.nhs.uk、www.hmrc.gov.uk、www.hsbc.co.uk、www.barclays.co.uk、www.lloydsbank.com、www.santander.co.uk、www.tesco.com、www.johnlewis.com、www.marksandspencer.com、www.britishairways.com、tfl.gov.uk、monzo.com（一家 2015 年成立的银行，没有任何历史包袱），以及我最喜欢的 www.sky.com。\nSky。那家把五百万客户迁上 IPv6 还为此拿了奖的公司。它自己的网站不在 IPv6 上应答。\n接下来这部分，把论点证明到无可争辩。\n有 IPv6 的十七个里，有十五个是从供应商那里得到的，而不是自己做的。我逐个解析，查了应答地址归谁所有：\nwhois -h whois.radb.net -- \u0026#34;$(dig +short AAAA www.sainsburys.co.uk | grep \u0026#39;:\u0026#39; | head -1)\u0026#34; | grep -i descr www.gov.uk 和 www.cam.ac.uk 从 Fastly 应答。ico.org.uk、www.parliament.uk、www.ofcom.org.uk、www.asda.com、www.autotrader.co.uk、www.nationalrail.co.uk 和 www.jisc.ac.uk 从 Cloudflare 应答，而 Cloudflare 默认给所有人开启 IPv6。natwest.com 和 nationwide.co.uk 从 Azure Front Door 应答。www.legalandgeneral.com 和 www.screwfix.com 从 CloudFront 应答。www.sainsburys.co.uk 和 www.next.co.uk 从 Akamai 应答。\n自己做到的有两个：Imperial College London，从它自己的地址空间应答；还有 UK IPv6 Council 自己的网站。一所大学，加上一群存在的全部意义就是 IPv6 的人。名单就这些。\n而 www.tesco.com、www.sky.com 和 www.nhs.uk 同样在 Akamai 上，同一家 CDN，同一款产品，却完全没有 IPv6。\nAkamai 从 2022年6月起就对此说得很明确：“Akamai has enabled IPv4+IPv6 dual-stack as the default for our CDN delivery products for many years, meaning that customers have needed to opt-out for content to be IPv4-only.”他们还补充说，切换很容易，包括通过 API。\n同一家供应商。同一个平台。默认开启。一家机构没去动它，另一家跑进去把它关了，或者保留着一份多年没人读过的老配置。Sainsbury\u0026rsquo;s 有 IPv6 而 Tesco 没有，两者之间的差别就是一个配置开关，外加有没有人上心。\n到了这一步，成本论和复杂度论都站不住了。剩下的只有一个问题：有没有人在上心。\n在整个样本里，规律都成立：凡是 IPv6 作为供应商的默认值到来的地方，英国就有。凡是英国机构需要自己做个决定的地方，就没有。五十个网站里两个，其中一个还是 IPv6 Council。\n这就说到了托管服务行业 面向消费者的 ISP 因为 CGNAT 挨骂，这是它们活该。但造成伤害最大的那一层，是卖专业知识的那一层：托管服务提供商、系统集成商、外包网络团队，以及写低层设计文档的咨询公司。\n回到那份没有 IPv6 的最大英国网络名单：银行、British Airways、PwC、QinetiQ。这些可不是草台班子创业公司。它们要么花大价钱请别人来运营网络，要么自己雇一个大团队来运营。那些 AS 号背后每一个都有设计文档、变更流程、架构评审委员会，还有一家名字里带“network”的供应商。没有一个拿出过 IPv6 计划。\n不管你从哪个角度看，模式都一样：\n模板是 IPv4。建设标准、防火墙规则集、监控检查、IPAM、运维手册、灾备计划、客户交接包，全是 IPv4，写一次，克隆十年。加一个地址族就意味着要改所有这些，而没有人拿钱去改。\n没人要求过。这一行里每一场关于 IPv6 的对话都以这句话收尾，而这是一句认罪。也没人要求过 TLS 1.3。也没人要求你停用 SMBv1。客户买的是结果，付钱给你，是让你知道这个结果需要什么。“客户没要求”的意思是“我不想学，而他们看不出来”。\nRFC 1918 让人觉得用不完。10 开头的网段有 1,670 万个地址，所以内网永远不会觉得紧张，所以永远不会有一个逼你动手的事件。然后并购来了，两边的网络都在 10.0.0.0/8 上，答案是又一个十年的重叠子网 NAT，外加一份文档解释哪个假地址对应哪个真地址：又是更多机器，又是为了躲开那个本可以让它根本不成问题的地址族。\nIPv6 会暴露真本事。这才是真正的原因。双栈不让你藏。\n你必须知道你的防火墙策略到底是什么，因为你得写两遍。你必须知道你的 DNS 长什么样。你必须懂邻居发现、前缀委派，以及你的 CPE 拿到一个 /56 会怎么处理。\n一个一直把 NAT 当作意外安全控制来混日子的工程师，会当着众人的面发现它从来就不是。这一行里有长达二十年的职业生涯，就建立在这一个误解之上。\n所以没人提议。不是因为它花钱，它不花钱，而是因为提议它就意味着要对它负责，而负责就意味着要学会它。\n这就是我说的懒到骨子里。不是不肯卖力气的那种懒。这一行干活卖力得很。它卖力地搞运营商级 NAT，卖力地向客户解释为什么他们的监控摄像头再也没法从外面连进来。它愿意干任何数量的活，只要那活是能买来的那种，而不是需要弄懂的那种。\n而这件事马上就不再是个人口味的问题了。正在议会审议的 Cyber Security and Resilience Bill 将修订 NIS 条例，把一批对象纳入进来，其中包括“managed service providers (organisations that provide third-party IT services to other businesses)”。它还不是法律。等它成为法律，检测、日志和事件上报就不再是这一层拿来卖的产品线，而成了它必须履行的义务。\n把它和上面那条链放在一起看。处理任何一份滥用通报，都从远端服务器记录了源端口开始，而那台远端服务器常常就是这些机构管的盒子。很快就要证明自己能检测和上报事件的人，正是眼下连一个地址族都没法让他们打开、隧道起不来时连一份抓包都读不懂的那批人。\n三个借口 你每次都会听到同样的三个，没有一个撑得过一分钟。\n“双栈就是什么都要两份”。我在 Nominet 的生产环境里跑过它，在 .uk 注册系统前面的 F5 负载均衡器上，所以我知道这个反对意见值几斤几两。你买来代替它的那层 NAT 同样什么都要两份，而且那一层就坐在流量路径上，附带着会话表、容量模型、故障切换方案和一项日志义务。你从来不是在复杂和简单之间做选择。你选的是那份附带发票的复杂。\n“设备不支持”。2006 年说这话，情有可原。2026 年说这话，意思是你的设备已经过了支持期，这比你想避而不谈的那件事更难承认。\n“这里面没有收入”。备份里也没有收入。\n人们在网上发的那些话 上面那些借口是你在会议上听到的。在它们底下还有一层技术说法，每次 IPv6 被提起，就会在论坛帖子、评论区和 LinkedIn 回复里被重复一遍，而其中大多数已经错了十多年。\n其中有些是真心的困惑，有些是一个决定了不去学某样东西的人在找理由。不管哪种，都值得逐条过一遍，因为这些说法确实在起作用。它们是工程师向一个没法核实的经理复述的东西。\n“NAT 就是我的防火墙。IPv6 会把每台设备直接暴露在互联网上。”\n这是最大的一个，而且完全说反了。人们归功于 NAT 的那份保护，来自于在内部有东西发起请求之前不存在任何映射，而这就是一个有状态防火墙，干活的是防火墙，不是地址转换。IETF 在 2007 年的 RFC 4864 里就说过：这个角色“often marketed as a firewall, is really an arbitrary artifact”，而一个真正的防火墙给你的是“explicit and more comprehensive management controls.”\n每一台面向消费者的 IPv6 路由器出厂都是默认拒绝入站。你得到的是同样的防护姿态，来自某个人写下来的策略，而不是来自地址用完的副作用。然后你可以只放行你真正想放行的那一样东西，而不是去搞端口转发的通灵仪式。\n如果你的整套安全模型就是“攻击者找不到我的设备”，那你根本就没有安全模型。你有的是 NAT。\n“IPv6 更慢。”\n这一条值得一个诚实的回答，而不是一句打发，因为真相是复杂的，提出它的人也不是单纯说错了。\n为它做过优化的内容提供商测到了提升：Facebook 报告通过 IPv6 页面加载快了约 15%，Akamai 在移动端快了约 5%。APNIC 对整个互联网做的更广泛测量就没那么好看了，IPv6 的往返时间平均反而略高，大约是一毫秒左右的量级，并且在逐年改善。\n所以：大体上打平，在有人做过功课的地方更好，在没人管的地方偶尔差那么一丁点。\n值得弄清楚成本到底在哪，因为人们脑子里想的是报头，而报头不是问题所在。\nIPv4 和 IPv6 报头，以及各自让路由器付出的代价 两种报头，以及各自让路由器付出的代价 各字段按 32 位宽度等比例绘制。来源：RFC 791（IPv4）和 RFC 8200（IPv6）。 路由器每一跳必须做的工作 更宽的查找键 IPv4 20 字节，加选项最多 60 字节 031 版本 IHL 服务类型 总长度 标识 标志 片偏移 生存时间 协议 报头校验和 源地址 目的地址 选项：可变长度，另加 0 到 40 字节 IPv6 40 字节，固定。永远如此。 031 版本 流量类别 流标签 载荷长度 下一个报头 跳数限制 源地址（128 位） 目的地址（128 位） IPv4 要求路由器\u0026#160;每一跳都重新计算报头校验和，在知道载荷从哪里开始之前先读取一个长度字段， 还要保留一条分片路径。IPv6 把这三样全去掉了，代价是要求它匹配\u0026#160;宽四倍的查找键。 两种报头并排，各字段按 32 位宽度等比例绘制。橙色阴影是路由器每一跳都必须做的工作；蓝色阴影是更宽的查找键。 先看 IPv6 从路由器身上拿掉了什么。IPv4 带有报头校验和。生存时间（TTL）每一跳都会变，所以校验和也得跟着变，RFC 6583 把“verifying and updating the checksum”列为转发过程本身的一个步骤。IPv6 根本没有校验和。这一步直接没了。\n再看长度。IPv4 报头是变长的，IHL 就是干这个的：路由器在知道载荷从哪开始之前，得先读一个长度。IPv6 报头是 40 字节。永远是。每个字段都在固定偏移处，不需要先算出什么。\n再看分片。IPv4 路由器可以在传输途中分片，这正是 Identification、Flags 和 Fragment Offset 待在报头里的原因。RFC 8200 说得斩钉截铁：“fragmentation in IPv6 is performed only by source nodes, not by routers along a packet\u0026rsquo;s delivery path”。所以这条路径也没了。\n单看报头处理，IPv6 是转发起来更便宜的协议。它本来就是照这个目标设计的。\n它真正多花钱的地方只有每条路由，而事实证明这无关紧要。查找键从 32 位变成了 128 位，所以一条 IPv6 转发表项更宽，在很多设备上要占两个硬件槽位，而一条 IPv4 路由只占一个。所有人都在这里结束争论。值得再往前走一步，因为完整的表要小四倍。\n在 2026年8月28日 02:03 UTC 生成的 RIS 转储里，全球路由表中有 1,229,166 个 IPv4 前缀和 300,470 个 IPv6 前缀。IPv4 路由的数量是四倍，每条宽度是四分之一。所以原始的键存储打成平手：4.92 MB 对 4.81 MB。现在再套用人们担心的“每条 IPv6 路由占两个槽位”的规则。一张完整的 IPv6 表仍然只需要一张完整 IPv4 表大约一半的硬件表项。\n而 IPv4 表之所以这么大，原因恰恰就是短缺本身。这 120 万条路由里有 767,543 条是 /24，整个 IPv4 互联网的 62% 都停在任何人愿意接受的最长前缀上，因为地址块被切碎、卖掉，再由买家一块块地宣告出来。每一条都意味着某处有一台路由器装着一条本来不需要的表项，如果地址空间没有用完的话。\nIPv4 路由表是 IPv6 路由表的四倍大 IPv4 路由表大了四倍，而其中大部分是短缺造成的 全球路由表中的不同前缀，RIPE RIS 转储，生成于 2026年8月28日 02:03 UTC。 IPv432 位键 其中 767,543 条是 /24 1,229,166 IPv6128 位键 300,470 IPv4 路由数量是四倍，每条宽度是四分之一，所以原始键存储 打成平手：4.92 MB 对 4.81 MB。 按人们担心的那样，把一条 IPv6 路由算作两个硬件表项，一张完整的 IPv6 表 仍然只需要大约一半。 IPv4 表的 62% 是 /24：地址块被切碎、卖掉，再一块块地宣告出来， 因为地址空间用完了。要不是用完了，路由器本不必装着其中任何一条。 2026年8月28日全球路由表中的不同前缀数量，按 RIPE RIS 转储统计。IPv4 条形中的实心部分是 /24：地址短缺逼出来的解聚合。 所以内存论的实际方向，和会议上的说法正好相反。在你的 FIB 上承载 IPv6 比承载 IPv4 更便宜，而且转让市场每把一个 /16 切成十六个 /24，它就又便宜一点。\n而人们真正碰到的 CPU 尖峰，跟这两者都没关系。现代路由器用芯片以线速转发两种地址族。真正伤人的，是任何把数据包从这条路径推到控制平面上的东西，RFC 6583 称之为“a \u0026lsquo;slower\u0026rsquo; software process running on a general purpose processor”。那颗处理器是按路由协议的需求配的。从来不是按流量配的。\n有两样东西会把数据包推给它。第一是扩展报头。它们是一条链而不是一个固定的块，所以一台设备想为 ACL 或 ECMP 哈希拿到第四层端口，就得遍历一个变长列表才能找到它们，而逐跳选项报头“may be examined or processed by any node along a packet\u0026rsquo;s delivery path”。在很多设备上，这就意味着被上送。\n第二是邻居发现。一个 /64 覆盖了数以万亿计永远不会被分配的地址，所以扫描一个 /64 会让路由器去解析根本不存在的地址。RFC 6583 就是为此写的，称之为拒绝服务。\n两者都有已知的答案。在边界过滤逐跳选项，对 ND 限速，给邻居缓存设上限。两者都不是协议慢的理由。它们是一台没配置好的路由器慢的理由，而这指向的方向，和这篇文章其余部分指向的一样。\n现在拿一毫秒去和你实际部署的那个替代方案比一比：每一个连接的路径上都有一台有状态的转换盒子，装着一张会话表，还会把其中一些连接直接搞断。没有人会因为一毫秒拖了二十年。\n“外面还有大把 IPv4，买就是了。”\n你可以买。短缺就是这个样子。1990 年白送出去的地址块，现在每个地址大约 20 美元易手，AWS 对你用的每一个每年收 43.80 美元。\n一样东西有了市场，并不能证明它很多。它证明的是有人想明白了怎么为短缺向你收钱。\n从来就没人会逼他们 英国在这件事上根本没有任何政策，也从来没有过。\n曾经有过一次尝试。6UK 于 2010 年成立，拿到了商业、创新与技能部的 20,000 英镑种子资金，有 Vint Cerf 支持，背后还有 LINX、AAISP、Timico 和 Easynet。2012年12月，它的志愿董事们在年度大会上辞职，没人竞选董事会，于是它被解散了。它的临别结论是：自由市场的激励不够，“one factor appears to dominate IPv6 adoption rates, namely government support,”以及“countries with hands-off governments fall behind.”\n十四年过去，事情恰恰就是这么发生的。UK IPv6 Council 还在运作，但一个论坛不是一根杠杆。\n对比一下美国，OMB 备忘录 M-21-07 要求联邦政府 80% 的 IP 资产在 2025 财年结束前做到纯 IPv6。各机构没达标。但他们至少有一个可以没达到的数字、一个可以错过的截止日期，以及一个必须站出来解释为什么没达到的人。这里没有任何东西可以没达到，所以从来没有人需要解释任何事。\n英国政府在自己的采购中没有以任何有意义的方式要求 IPv6。Ofcom 不测量它。没有哪个监管机构过问它。于是不出所料，www.nhs.uk 和 www.hmrc.gov.uk 没有它，而 www.gov.uk 有。而 www.gov.uk 之所以有，只是因为它通过 Fastly 提供服务，而 Fastly 多年前就替别人把 IPv6 打开了。\n我之前写过当没有人对一个行业握有合同时会发生什么：真正起作用的机制，最后都是某个有资源的人选择去运营的那些，如果没人去做，十年里什么都不会发生。英国的 IPv6 又是这个模式，只是到最后连一次会员投票都没有。\n也不是没有人注意到 如果这件事没人发现，缺少一项要求还只是令人失望。可它被发现了。\n国家弄清楚了运营商级 NAT 会造成什么，并且为此立了法。议会直视了这个问题，理解得足够透彻，透彻到能为它写法律，结果写出来的却是一部迁就这个破洞的法律。“要求他们部署那个能消除破洞的协议”，要么从没被提出过，要么提出了又被放弃了。\n所以我们这个国家公开的立场是：IP 溯源重要到足以写进反恐立法，却没要求任何一家运营商去做那件能恢复溯源的免费的事。欺诈、账户盗用、骚扰、死亡威胁、儿童性侵转介和恐怖主义，到了接入网都在问同一个问题，而对很多英国连接来说，老实的回答是“这几百户人家中的某一户”。\nNational Cyber Security Centre 隶属 GCHQ，发布各种各样的指导意见。它没要求任何人上 IPv6。在英国，没有任何人这么要求。\n不过话说回来，www.ncsc.gov.uk 和 www.gchq.gov.uk 都在 IPv6 上应答。Internet Watch Foundation 也是。三者都是因为躲在 Cloudflare 后面，而 Cloudflare 默认给所有人开启了它。www.police.uk 则完全没有。\n这对那十七家意味着什么 本文中的四十家运营商里，有十七家卖的连接没有 IPv6，而全光纤建设者里大约一半把客户放在运营商级 NAT 后面。\n我不是在指控它们任何一家犯罪，那些办公楼里也没有人盼着出事。\n但一条在运营商级 NAT 后面、又没有 IPv6 的连接，无法被解析到一个用户。这一点没有争议。IETF 在 2011 年写明了，Europol 在 2016 年和 2017 年写明了，议会在 2015 年写明了，全都发表在这批设备的大部分被买来之前。替代方案是免费的，而且一直都在。\n一路追下去，这就是“我们早晚会上 IPv6”的真正含义。\n具体该怎么办 简短，因为没有一样是难的。这正是整篇文章的要点。\n如果你采购网络连接：把 IPv6 写进招标书，作为通过/不通过的硬性要求，而不是锦上添花。书面要求原生双栈和一个委派前缀，并问清楚多大。\n如果答案是单个 /64，就继续追问。RFC 6177 在 2011 年就否定了这种做法：只给家庭站点一个 /64“precludes the expectation that even home sites will grow to support multiple subnets”，而且“strongly intended that even home sites be given multiple subnets worth of space, by default”。\n它没做的是规定一个大小。它撤回了过去一刀切的 /48，说这个选择“is an issue for the operational community”，顺带丢下了一个示例：家庭默认值“of less than /48, such as a /56”。\n运营商们自己给出了答案。RIPE-690 是他们自己的实践文档，说得很直白。想要简单的方案，每家一个 /48。想要务实的方案，企业 /48，住宅 /56。任何比 /56 更长的都“strongly discouraged”，而一个 /64 不符合 IPv6 标准，会搞坏客户的局域网。\n所以下限是 /56，而且这是 IETF 自己的数字，不是谁的偏好。Sky 从 2016 年起就给每个用户一个。Zen 发的是 /48，也就是 65,536 个子网。企业不应该接受比 /48 更少的。\n如果哪家运营商告诉你给一户人家 /48 太奢侈，那么在它还在琢磨自己立场的这些年里，已经有一家英国 ISP 一直在这么做了。\n如果你运营一个 AS 号：你很可能已经持有一个从没宣告过的 /29。查一下。\nAS=AS20712 # your AS number ORG=$(whois -h whois.ripe.net \u0026#34;$AS\u0026#34; | awk \u0026#39;/^org:/{print $2; exit}\u0026#39;) # what IPv6 the registry has already given you whois -h whois.ripe.net -- \u0026#34;-i org $ORG\u0026#34; | grep -i \u0026#39;^inet6num\u0026#39; # what you are actually announcing of it whois -h whois.ripe.net -- \u0026#34;-i origin $AS\u0026#34; | grep -i \u0026#39;^route6\u0026#39; 如果第一条命令打印出一个前缀，而第二条什么都没打印，那你就是那 463 家之一。\n宣告它，给边界和一个内部 VLAN 做双栈，再给一个公共服务加上 AAAA 记录。这是一个工程师两周的工作量，它能把你的组织从上表里的一个统计数字，变成一个已经起步的组织。\n如果你运营一个网站：检查一下有没有 AAAA 记录。如果你在 CDN 后面，它多半是一个今天下午就能打开、不花一分钱的开关。如果它是关着的，那就是有人把它关了。\n如果你卖托管服务：把 IPv6 写进建设标准和低层设计模板，写一次，之后的每个客户默认就都有了。没人需要开口要求，因为也没人开口要求过 TLS。\n如果你是一个从没做过这件事的工程师：今晚就搭个实验环境。我自己大约 90% 的流量走的是原生 IPv6，它是我网络里最平淡无奇的东西。弄一条隧道或者一台带 /64 的 VPS，给设备配上地址，把它搞坏，再修好。一个晚上它就不再吓人了，而且这是你今年能为自己的职业生涯做的最便宜的一件事。\n我解决不了的问题 上面的一切我都能拿出来给你看。这一部分是我一直在反复琢磨的，而且没有一个问题我有干净利落的答案。\n为什么有的人能做到，有的人做不到？ 这是最要紧的一个，而数据让它更奇怪，而不是更清楚。\nSky 和 Virgin Media 在同一个国家、同一个监管机构之下、同一时间卖宽带。一家在 2016 年完成了。另一家从 2010 年起就一直在说“when we are ready”。Sainsbury\u0026rsquo;s 和 Tesco 在同一家 CDN 上，用的是一款默认双栈的产品，一家有 IPv6，一家没有。挪威和英国从同样的厂商采购，挪威 66.9% 的网络承载 IPv6，我们是 42.3%。\n在这几组对比里，你可能归咎的每一个外部因素都保持不变。同一个国家，同样的供应商，同样的设备，同样的客户，同一个十年，同一个监管机构，同样的钱。而结果截然相反。\n所以原因不在外部环境里。它在楼里面。Sky 里有那么一个人，把这件事当成自己的事，并且三年来一直把它当成自己的事。在其他地方没有这样的人，或者有，但他上面没人在乎。整个变量就是这个，而它不是技术变量。\n这是个让人不舒服的答案，因为它没法采购，也没法写进战略文档。\n是培训的问题吗？ 部分是，而且比你以为的要少。\n再看看那 463 家持有 IPv6 却从没宣告过的机构。每一家的楼里都有某个人懂得足够多，知道自己需要它，知道该找谁，填了表，并且把它申请了下来。知识是有的，后续执行没有。\n培训能让一个工程师达到有能力的地步。它不能让他们达到被逼着去做的地步。从来没有人因为没部署 IPv6 而拿到差评。从来没有人因此丢掉过一份合同。在其中任何一件成真之前，培训就会和其他所有在课上学了却从来没用过的东西一起堆在那里。\n还要多久我们才能全都用上？ 这个我能给出一个数字，而它比我预想的更糟。\nGoogle 从 2008 年起就测量通过 IPv6 访问它的访客比例。每年取 8 月中旬的数据，以便同口径比较：\n全球 IPv6 采用在未过半时减速 全球 IPv6 采用在放慢，而不是加快 通过原生 IPv6 访问 Google 的访客比例，每年 8 月中旬。来源：Google IPv6 statistics。 0% 10% 20% 30% 40% 50% 2017 18.1% 2018 2019 2020 2021 2022 2023 2024 2025 2026 48.1% 当年增加的百分点 +3.6 +5.0 +4.4 +3.3 +4.3 +3.3 +2.3 +2.6 +1.1 今年只增加了\u0026#160;1.1 个百分点，是十年来最小的增幅，而截至 2017年8月的那一年增加了 6.6 个百分点。 Google 对通过原生 IPv6 访问自家服务的访客比例的测量，每年取 8 月中旬，以便同口径比较。折线是水平值。柱形是每年的增量。 我们不是在加速冲向终点。我们是在还没过半的地方减速。今年只增加了 1.1 个百分点，是十年来最小的增幅，而截至 2017年8月的那一年增加了 6.6 个百分点。\n按过去三年做直线外推，全世界在 2049 年达到 100%。只按今年做直线外推，是 2073 年。两者都不是预测。一条正在变平的曲线根本不会靠惯性爬到顶。它会在百分之六十几的某处停住，剩下的部分永远不动，因为到那时还没做的网络，正是任何东西都从来推不动的那些。\n我很希望自己在这件事上错了。可我每年去看，这个数字都更小。\n我们需要一部法律吗？ 这是我来回摇摆最多的一个问题，最后我的结论是：“不是人们第一反应想要的那种法律”。\n反对强制令的理由：美国人通过了迄今最强硬的一项，然后没达标。截止日期不等于部署。\n支持的理由：6UK 在 2012 年的临别结论是，自由市场的激励不够，落后的国家是那些政府撒手不管的国家。十四年的英国数据同意他们的看法。\n而一锤定音的是这一点。这个国家已经就这个问题立过法了，只是立错了方向。我们愿意立法去迁就地址共享。我们从来不愿意立法去消除它。\n我会要求的既不是禁令，也不是指标，而是前文描述过的比利时工具：对共享一个地址的用户数量设一个硬性上限。它不需要新地址，不会把任何人挤出市场，而且它作用于经济账，而不是寄希望于任何人的良好意愿。\n一项单独的强制令只会产出一样有用的东西，而那不是部署。那是一个有名有姓、必须为没达标作出解释的人。我们从来就没有过这样一个人。\n那我们当年是怎么那么快就迁到 IPv4 的？ 因为有人能把旧的那个关掉。\n这个比较严丝合缝，却几乎没人去做。ARPANET 跑的是 Network Control Program，它用 8 位给主机寻址：6 位给节点，2 位给主机，所以是 64 个节点、每个 4 台机器，总共 256 台主机。到 1970 年代末，这显然不够用了，答案是一个地址更大的新协议。和我们现在的问题一模一样，只是早了四十多年。\nJon Postel 在 1981年11月发布了过渡计划。1982年3月，美国国防部宣布 TCP/IP 为其官方标准。两个协议并行运行，然后在 1983年1月1日，NCP 被关闭。没有完成转换的主机失去了网络访问。Vint Cerf 记得，挺过来的人事后戴着“I survived the TCP/IP switchover”徽章。\n从计划到切换日，十四个月。\n现在数一数是什么让它成为可能。大约几百台主机，而不是四十亿。一张网络，而不是所有网络。一个出资方，拥有网上的每一台机器，并且给每个碰这些机器的人发工资。一个能定下日期的单一组织，而且，这才是要紧的部分，能让旧协议在那一天停止工作。\n这些东西现在一样都不存在，而这就是全部的答案。IPv4 赢了，不是因为迁移容易。它赢了，是因为有人处在能终结争论的位置上。\n今天没有人处在那个位置上。没有任何权威能关掉 IPv4，以后也永远不会有。这意味着这次过渡不可能像上一次那样完成：它只能靠几千家机构各自决定，自己去费这个劲。\n按今年的数字，那是 2073 年。切换日之后九十年。\n我们曾经是把东西做好的 标准，就是没人检查时你也守着的东西。全部就这么一句。这件事没有检查员，没有证书，没有哪个审计员会上门要看你的路由表，而二十年已经把这个国家如何对待一项没人强制执行的义务展示得清清楚楚。\n我们把它扔下，然后买点什么来遮住窟窿。\n这些都不是技术上的失败，我也不会假装它是。英国干得了这活。技能在这里，设备在这里，地址空间已经分配下来，躺在我们本来就在交钱的账户里等着。消失的是那种本能：因为这是分内的活，所以就把它干好，不为多拿一份钱，也不需要有人站在你身后逼着你。\n问问到底是什么在阻碍，你最后会落到钱上，但不是人们通常说的那个意思。\n运营商级 NAT 有采购订单。它有厂商、报价、折扣、支持合同和续约日期。它进资本支出计划，分五年折旧，商业论证上签着某个人的名字。交付它是一件经理在绩效考核时能指着说的、看得见的事。\nIPv6 这些全都没有。没有发票，没有供应商，没有续约，没有能写进预算的东西，也没有任何人能被看见买了什么。它只是活，由懂行的人好好地干完，这个季度没有任何回报。这一行里从来没有人因为一件从没出现在预算里的事而被提拔。\n所以，便宜的选项年年都输，输了二十年。不是因为有人权衡过之后选错了，而是因为这里长出了一种管理文化，它只看得见工程里那些带着价签到来的部分。便宜从来不是障碍。没法开票才是。当一家企业不再在乎标准、只在乎能写在发票上的东西时，就是这个样子，而做出这个选择的人，拿的薪水足够让他们明白事理。\n然后是他们拿来代替地址卖给我们的东西，这本该让人比现在更愤怒。\n互联网建造出来，就是为了让任何一台机器都能直接连到任何另一台机器。这不是设计里的一个细节。这就是设计本身。正因如此，任何有一条连接和一个想法的人，都能把某样东西放上去，让全世界都能访问到。把一个客户放到共享地址后面，这就没了。你能发问，却永远没法应答。你永远是别人服务的消费者，而永远成不了自己服务的提供者。\n这不是短缺带来的一个不幸的副作用。这是一次架构重塑，而它对所有卖它的人都正合适。现在得依赖厂商云的摄像头。现在得依赖某人中继的远程访问。人们过去在家里自己跑、现在变成了按月订阅的东西。每一样都是把一个拥有某样东西的人，变成一个租用它的人，也是把一条连接悄悄地从互联网上的一个位置，降级成一扇看向别人地盘的窗户。\n我们把互联网的中间地带送给了另一个大陆上的寥寥几家公司，然后站在那里，对它最后变得高度集中一脸惊讶。在一条什么都不让你托管的连接上，你没法自立。\n自立是我一再回到的那部分，因为这个国家已经不再这样要求自己了。现在的本能是等。等厂商，等监管机构，等补贴，等强制令，等一个打电话来要求的客户。这些一个都不会来。没有正在路上的市场信号，没有正在起草的政策，没有谁需要为错过它而解释的截止日期。\n于是它还在它一直待着的地方。一块免费的分配，躺在一个写着你公司名字的注册账户里，你和把这活干对之间，只隔着两周。\n没有人会来逼你。正因为如此，它才算数。\n你可以查查是不是你所在的那栋楼。脚本就在文章开头的下载包里。\n来源 以下所有内容均于 2026年8月27日获取。\n我测量所用的数据。我的每一个数字都来自这些。它们免费、公开，你一个下午就能把整件事重做一遍。\n注册机构分配文件，每个区域注册机构一份：RIPE NCC、APNIC、ARIN、LACNIC、AFRINIC。RIPE 的生成于 2026年8月26日，其余的生成于 2026年8月27日。 RIPE RIS 路由表转储，riswhoisdump.IPv4.gz 和 riswhoisdump.IPv6.gz，生成于 2026年8月27日 18:06 UTC。 RIPE 数据库 REST 接口，用于查每个 AS 号背后的组织。 公共 DNS，用于 AAAA 扫描，并用第二台解析器交叉核对。 别人的测量。\nGoogle IPv6 statistics — Google 自身访客中各国原生 IPv6 的比例，数据截至 2026年8月25日。 APNIC 谈 IPv6 性能以及谈 IPv6 安全误解 — 测量出来的情况，而不是论坛上的说法。 2026 年上半年 IPv4 转让市场价格，汇总了 CircleID 对公开定价交易的分析。 标准。各种补丁，按发布顺序排列。\nRFC 3056 — 6to4 自动隧道，2001年2月。 RFC 3701 — 6bone 逐步退出计划，把关停日期定在 2006年6月6日。 RFC 7526 — 废弃 6to4 任播中继并将其移入 Historic，2015年5月。 RFC 4864 — NAT 能给你什么、不能给你什么，以及为什么人们以为自己拥有的防火墙是“an arbitrary artifact”，2007 年。 RFC 4941、RFC 7217 和 RFC 8981 — 临时地址和不透明地址，这就是为什么一台设备的 IPv6 地址不是一个稳定的标识符。 RFC 801 — Jon Postel 的 NCP/TCP 过渡计划，1981年11月，定下了 1983年1月1日的切换日。 RFC 1883 — 最初的 IPv6 规范，1995年12月。 RFC 6333 — DS-Lite，2011 年。 RFC 6056 — 源端口随机化，也就是被 CGN 削弱的那项防御，2011 年。 RFC 6269 — Issues with IP Address Sharing，2011年6月。IETF 自己列出的 CGN 搞坏的东西的清单，包括滥用日志、惩罚箱、黑名单、端口随机化和可追溯性。 RFC 791 和 RFC 8200 — 两种报头格式，以及 IPv6 为什么去掉了校验和、可变长度和传输途中分片。 RFC 6583 — /64 上的邻居发现缓存耗尽，以及决定什么会耗费路由器 CPU 的转发平面与控制平面之分。 RFC 6177 — 一个末端站点应该得到多少地址空间，2011 年。废止了 RFC 3177 一刀切的 /48，排除了单个 /64，并把具体数字交给运营社区决定。 RIPE-690 — 欧洲运营商自己对这个问题的回答，2017年10月：给终端用户 /48 或 /56，永远不给 /64。 RFC 6302 — 记录源端口、时间戳和协议，2011 年。 RFC 6598 — 共享地址空间，2012 年。 RFC 6877 — 464XLAT，2013 年。 RFC 6888 — 运营商级 NAT 要求，2013 年。 RFC 7021 — 运营商级 NAT 对应用的影响，2013 年。 RFC 7422 — 用确定性映射削减 CGN 日志，2014 年。 RFC 7597 和 RFC 7599 — MAP-E 和 MAP-T，2015 年。 World IPv6 Launch，2012年6月6日。 Hurricane Electric 的免费隧道服务 — 在我们自己的 ISP 什么都没有的时候，我们很多人就是从这里拿到 IPv6 的。 法律与政策。\nCyber Security and Resilience (Network and Information Systems) Bill 2024-26 — 下议院图书馆关于这项法案的简报，该法案将把托管服务提供商纳入 NIS 条例。 Counter-Terrorism and Security Act 2015, section 21 — 相关互联网数据的留存，及其解释性说明。 Europol，2017年10月 — 执法部门呼吁终结运营商级 NAT，附移动 90%、固网 50% 的数字。 OMB memorandum M-21-07 — 美国联邦政府的纯 IPv6 要求，2020年11月。 Online Safety Act 2023。 Europol EC3, Carrier Grade NAT and crime attribution online — Gregory Mounier 在 RIPE 74 上的报告，含 2016年8月对欧盟执法部门的调查、案例，以及比利时行为准则及其成效。 NCMEC CyberTipline data — 2025 年的报告数量和转交情况。 A Multi-perspective Analysis of Carrier-Grade NAT Deployment，ACM IMC 2016 — 对移动和固网运营商 CGN 使用情况的独立测量。 RIPE NCC charging scheme 2026 — 每个 LIR 账户 1,800 欧元，统一价。 厂商自己的说法。\nAkamai，2022年6月 — 双栈是默认设置，客户必须主动选择退出。 AWS，2023 年 — 公网 IPv4 收费，以及收费的原因。 报道与记录。\nSky 在 RIPE Labs 上的自述 — 五百万用户是怎么迁过去的。 ISPreview，2016年9月 — Sky 完成部署。 CircleID，2016年9月 — Jim Bound IPv6 Award。 ISPreview，2012年12月 — 6UK 自行解散。 ISPreview 对新兴光纤运营商 IPv6 和 CGNAT 的调查 — 2024年4月，更新至 2025年3月。 ISPreview 谈 Plusnet 的 IPv6 试验，2023年11月 — 2011 年的试验，错过的 2020 年发布，以及 BT 和 Plusnet 用的路由器几乎一模一样的说明。 一个由社区维护的英国移动网络 IPv6 支持情况跟踪页 — 来自用户报告而非官方，也是哪些移动网络如今提供 IPv6 的数据来源。 havevirginmediaenabledipv6yet.co.uk — Virgin Media 从 2010 年至今的时间线。 Internet Society，2016年9月 — Sky 覆盖 90% 的用户，每个用户获得一个 /56。 Internet Society，2016年9月 — Ron Broersma 对 1983 年从 NCP 迁移到 TCP/IP 的记述，包括 256 台主机的上限，以及错过截止日期的人遭遇了什么。 The Register，2013年1月 — 切换日三十周年，以及人们事后戴的徽章。 UK IPv6 Council。 ","permalink":"https://blogs.damiendye.uk/zh/networking/we-never-ran-out-of-addresses/","summary":"IPv6 早就完成了，免费，而且差不多二十年来在每个操作系统里都是默认开启的。英国给出的回应是运营商级 NAT、一部关于日志留存的法律，以及每月 5 英镑把你原本就有的地址卖回给你。我把全球路由表里的每一个英国网络都数了一遍，想知道到底谁真的开了 IPv6：有 1,200 个没开，其中 463 个手里还攥着自己申请来却从没用过的地址空间。","title":"我们从未用完地址，我们用完的是干劲"},{"content":"先把话说在前头：我在 croit 工作，这家公司卖 Ceph，也出现在下面的表格里。我对自家的挑剔程度，尽量和对别人一样。每一个数字都来自公开的 git 历史、Ceph 自己仓库里的记录，或者有出处的公开声明，全部可以复现，全部列在文末的参考资料里。\nCeph 撑着一大堆没人会去多想的设备。Proxmox 集群、OpenStack、Kubernetes、国家级研究实验室、银行、电信运营商、粒子加速器。二十年过去了，只要有人想用普通硬件搭一个集群，同时提供块、文件和对象存储，第一个答案仍然是它。\n那么，是谁在写它，谁在维护它，谁在运行它？\n不是“谁在邮件列表上”，也不是“谁在 Cephalocon 上讲过话”。我克隆了 ceph/ceph，取出截至 2026-08-27 的十年里每一个非合并提交，再用 Ceph 自己的 .organizationmap 加上一组有记录的修正，把作者对应到公司。然后我拿 Ceph 仓库里的治理文件，把指导委员会全部 38 名成员按他们自己公布的邮箱追到雇主。最后我去找了公开说自己在运行它的人。\n加起来是 69,613 次提交，来自 478 个组织的 1,718 个人。这幅图景比我动笔前预想的要好，也不是我原本打算写的那一篇。\n这十年 排名 组织 提交数 占比 1 Red Hat 42,354 60.8% 2 SUSE 6,191 8.9% 3 IBM 4,308 6.2% 4 Intel 2,066 3.0% 5 ZTE 1,176 1.7% 6 QiAnXin 900 1.3% 7 Ceph Foundation 691 1.0% 8 Mirantis 566 0.8% 9 IONOS 498 0.7% 10 China Mobile 397 0.6% 11 Proxmox 254 0.4% 12 croit 242 0.3% 13 Cloudbase Solutions 239 0.3% 14 Bloomberg 231 0.3% 15 XSKY 225 0.3% — Clyso 181、Huawei 159、Inspur 155、Cafe Bazaar 130、CERN 121、SK Telecom 120、UMCloud 106、Deutsche Telekom 105、EasyStack 103、ISCAS 99、Tencent 83，以及另外 460 个组织 — 邮箱地址看不出雇主 6,295 9.0% 第 1 行和第 3 行是同一个团队。2022年10月4日，Red Hat 和 IBM 宣布 Red Hat 的整个 Ceph 团队转到 IBM，IBM 接过 Red Hat 在基金会的赞助席位，并出资支持上游测试实验室。人没有变；他们的邮箱地址至今还在一个工程师一个工程师地迁移，四年了。\n把两行加起来：46,662 次提交，占这十年的 67.0%。\n先把这一点想清楚，再看别的，因为正是这笔交易让 Ceph 得以存在。一家公司出钱养了几十名工程师，去开发和照看一套分布式存储，然后把它白送出去。十年如此，中间经历了两次收购和一次换东家。没有人逼他们这么做。\n最近三年 排名 组织 提交数 占比 1 Red Hat 7,273 45.0% 2 IBM 3,818 23.6% 3 QiAnXin 597 3.7% 4 Ceph Foundation 526 3.3% 5 IONOS 498 3.1% 6 Intel 279 1.7% 7 Proxmox 249 1.5% 8 Bloomberg 220 1.4% 9 croit 157 1.0% 10 Clyso 153 0.9% 11 Cafe Bazaar 118 0.7% 12 ISCAS （中国科学院软件研究所） 99 0.6% — 邮箱地址看不出雇主 2,008 12.4% 16,160 次提交。Red Hat 加 IBM：11,091 次，占 68.6%。\n单一公司在 Ceph 中的占比：十年窗口与三年窗口 占比不动，变的是里面的构成。 截至 2026-08-27 的十年 69,613 次提交 Red Hat\u0026#160;\u0026#160;60.8% IBM 6.2% SUSE 8.9% 其他所有人\u0026#160;\u0026#160;24.1% Red Hat + IBM：46,662 次提交，67.0% 最近三年 16,160 次提交 Red Hat\u0026#160;\u0026#160;45.0% IBM\u0026#160;\u0026#160;23.6% SUSE：13 其他所有人\u0026#160;\u0026#160;31.4% Red Hat + IBM：11,091 次提交，68.6% SUSE 是这十年的第二大贡献者。最近三年它只写了 13 次提交，2025 和 2026 年一次也没有。 单一公司的占比在十年窗口和近期窗口之间几乎没动：67.0% 对 68.6%。变的是它周围的一切。 没人提起的韧性 下面这部分是我没想到的，也是整件事里最好的发现。\n这些数据会让你担心的两件事，Ceph 都已经经历过了，而且眉头都没皱一下。\n它的创造者 Sage Weil 在这十年里写了 7,517 次提交，除了 Red Hat、SUSE 和 IBM，比任何一个组织都多。光是 2017 年他就写了 2,184 次，一个人占了整个项目的 21.5%。他在干了 17 年之后，于 2021年10月退居二线；他最后一次提交的日期是 2022-01-20。\n这十年的第二大贡献者 SUSE 写了 6,191 次提交，巅峰时一年 1,839 次。随后它为了 Rancher 的 Longhorn 砍掉了 SUSE Enterprise Storage，逐步收手：2021 年 463 次，2022 年 110 次，2023 年 14 次，2024 年 10 次，之后一次也没有。\n两件事都发生在同一个五年里。一个集中度这么高的项目如果是脆的，那时候就该断了。\n它没断。今年的提交速度是每天 14.6 次，去年是 14.8 次。 持平。版本照常发布。治理结构重建成一个执行委员会加一个 38 人的指导委员会，而且撑住了。\n年份 总提交数 Red Hat + IBM 占比 其他所有人 2016 10,286 5,834 56.7% 4,452 2017 10,158 6,942 68.3% 3,216 2018 8,099 5,265 65.0% 2,834 2019 9,000 5,934 65.9% 3,066 2020 8,361 5,230 62.5% 3,131 2021 7,381 4,517 61.1% 2,864 2022 4,731 2,937 62.0% 1,794 2023 4,634 3,315 71.5% 1,319 2024 5,410 3,571 66.0% 1,839 2025 5,389 3,730 69.2% 1,659 2026 3,495 2,329 66.6% 1,166 （2026 年只统计到 8 月 27 日，大约八个月。）\n十年里每一年，都有 57% 到 72% 出自同一家厂商。总量比 2016 年的高峰低了，这是一个项目不再重打地基、开始专心维护时的正常样子。最近三年持平，甚至略有上升。\nCeph 按年份的提交量：占比不变，总量减半 每年的提交数，以及由谁编写 Ceph 主分支，非合并提交，按作者日期 0 3k 6k 9k 12k 2016 57% 2017 68% 2018 65% 2019 66% 2020 63% 2021 61% 2022 62% 2023 72% 2024 66% 2025 69% 2026* 67% Red Hat + IBM：自 2022年10月起是同一个团队 其他所有人 SUSE 巅峰：1,839 Sage Weil 离开 SUSE：2022 年 110，2023 年 14，2026 年为 0 * 2026 年统计到 8 月 27 日；按当前每天 14.6 次的速度绘制，2025 年为每天 14.8 次。 按年份统计的提交量，分为 Red Hat/IBM 团队和其他所有人。图中标出了 SUSE 的巅峰与退出，以及 Sage Weil 的离开。Ceph 把两件事都消化了，节奏没变。 Ceph 比造它的公司活得更久 这才是这十年真正的故事，而在三年的窗口里你根本看不到。\n看第 2、5、8、10、13 和 15 行。SUSE、ZTE、Mirantis、China Mobile、Cloudbase Solutions、XSKY，再往下还有 Inspur、EasyStack、UMCloud、Kylin、UnitedStack、Xtao、Istuary 等等。它们加起来远远超过 10,000 次提交。几乎全都停了。\nSUSE：6,191 次提交，2020 年达到巅峰，现在是零。 ZTE：1,176 次提交，光 2016 年就有 1,071 次，最后一次提交在 2020 年。 Mirantis：566 次提交，走了。 XSKY、EasyStack、Inspur、UMCloud、Kylin、UnitedStack：OpenStack 时代那一批做存储的公司，全都收摊了。 每一家都曾把一款产品押在 Ceph 上。产品被砍了，或者转向了。而 Ceph 还在，还以同样的速度发版，它们的代码还在仓库里，由别人接着照看。\n最好的例子是 dashboard。这十年里，src/pybind/mgr/dashboard 是这个样子：\nsrc/pybind/mgr/dashboard，十年 提交数 占比 SUSE 1,408 36.6% Red Hat 1,177 30.6% IBM 734 19.1% 看不出雇主 478 12.4% Ceph 的 dashboard 主要是 SUSE 的手笔。 后来 SUSE 彻底离开了这个项目。最近三年，同一个目录里 IBM 占 57.5%，Red Hat 占 30.3%，dashboard 照样在发版，照样在加功能。\n这正是上游优先开发该干的活。一个厂商投入了很多，这个厂商走了，用户手里的软件还在。要是 SUSE 当初把 dashboard 做成一层闭源的外挂，就像不少存储厂商会做的那样，它早就跟着那条产品线一起死了。它进了上游，所以活了下来。\n下一个十年由好几家公司一起在造 Crimson 是对 OSD（管着你那些磁盘的守护进程）的彻底重写，基于 Seastar 框架，瞄准的是现代 NVMe 所要求的每核一线程模型。它是 Ceph 未来十年最大的一笔押注。这十年里：\nsrc/crimson，十年 提交数 占比 Red Hat 3,038 52.1% Intel 1,269 21.8% QiAnXin 824 14.1% 看不出雇主 450 7.7% 而在最近三年里，Red Hat 和 IBM 加起来反倒是少数，只占 45.4%，QiAnXin 占 28.4%，Intel 占 13.4%。\nCeph 眼下最重要的那项工程，确确实实是多家公司一起干的。 不是某一家厂商的路线图上挂几个贡献者，而是三家机构在同一个子系统上公开地做重活，一做就是好几年。\nQiAnXin（奇安信）值得多说一句，因为大多数做存储的人没听过这个名字。它是一家中国的企业网络安全公司，2014 年作为 Qihoo 360（奇虎 360）的子公司成立，大约 2016 年分拆出来；2019年4月，Qihoo 360 把剩下的 22.6% 股份卖给了与中国电子信息产业集团（CEC）有关联的公司，到 2020 年提交 IPO 申请时，CEC 持股 38.3%。这段公司历史在 git log 里清清楚楚：他们的主力贡献者 Xuehan Xu 在 2017 和 2018 年用 @360.cn 提交，从 2021 年起用 @qianxin.com。一家没有存储产品可卖的安全公司，往 Ceph 未来的 OSD 里投了 900 次提交。这就是开源项目照着它自己说的那样在运转。\n谁在维护 Ceph，谁给他们发工资 写代码是一回事，握着钥匙是另一回事。Ceph 把治理信息放在仓库里的 doc/governance.rst，Ceph 指导委员会的成员在里面按名字和邮箱一一列出。这样一来，“维护者受雇于谁”这个问题就能从一手资料里找到答案，而不必靠猜。\n三十八个席位，按每位成员自己列出的邮箱追到雇主：\n雇主 席位 Red Hat 16 IBM 9 Clyso 3 个人邮箱（Anthony D\u0026rsquo;Atri、Myoungwon Oh） 2 croit：Igor Fedotov 1 Bloomberg：Joseph Mundackal 1 Intel：Yingxin Cheng 1 Ceph Foundation：Zac Dover 1 XSKY：Haomai Wang 1 ZTE：Xie Xingguo 1 Ubiquiti：Yehuda Sadeh 1 11:11 Systems：David Orman 1 Red Hat 和 IBM 占 38 席中的 25 席，即 65.8%。 对照这十年 67.0% 的提交和最近三年 68.6% 的提交。治理机构几乎完全映照了代码，这是健康的方向：干活的人说了算，因此没有谁握着一票自己没挣来的否决权。\n按雇主划分的 Ceph 指导委员会席位：38 席中 25 席属于同一家公司 谁在维护 Ceph，按谁给他们发工资划分 Ceph 指导委员会的 38 个席位，依据每位成员在 doc/governance.rst 中所列的邮箱 Red Hat IBM Clyso 个人邮箱 各一席 16 9 3 2 8 croit, Bloomberg, Intel, Ceph Foundation, XSKY, ZTE, Ubiquiti, 11:11 Systems Red Hat + IBM：38 席中 25 席，65.8% 对照这十年 67.0% 的提交，以及最近三年的 68.6%。 委员会映照着代码。 XSKY 和 ZTE 仍占着席位。两家公司自 2020 年起都没给 Ceph 提交过一行代码。 38 人中有五人自 2021 年起没有提交，或从未提交过。掌舵和写代码不是同一份活， 但其中两个席位属于已经彻底离开这个项目的公司。 Ceph 指导委员会的 38 个席位，按每位成员列出的邮箱所对应的雇主划分，来源是 doc/governance.rst。委员会的构成与提交分布高度吻合。 有两个细节值得单拎出来，而且都是好事。\nXSKY 和 ZTE 至今还占着席位。 这两家公司从 2020 年起就一行代码也没提交过：Haomai Wang 最后一次提交是 2020-03-18，Xie Xingguo 是 2020-07-24，他这十年一共提交了 750 次。Ceph 没有把他们踢出去。一个项目在雇主撒手多年之后，还给那些造了 BlueStore 和 OSD 大块内容的人留着位子，就不是把贡献者当一次性用品的项目。\nYehuda Sadeh 以 @ui.com 的邮箱坐在委员会里。 RADOS Gateway 是他写的，那是通往 RADOS 的 S3 和 Swift 前门，而 RADOS（Reliable Autonomic Distributed Object Store）是 Ceph 其他一切的地基。他从 2008 年在 DreamHost 起步，经过 Inktank、Red Hat 和 IBM：光这十年就有 972 次提交，在那之前还有好几千次。2025年7月他还在写 cephx 的加密代码。到了 2026年6月，他只提交了一次，doc: governance/csc: update email address，把自己的条目改成了 Ubiquiti。他换了雇主，席位还留着。在这里，你的地位跟着你走，这是公开干活最好的地方之一。\n组件负责人 组件负责人日常负责各个子系统：\n组件 它是什么 负责人 雇主 Cephadm 集群部署和管理 Adam King Red Hat CephFS POSIX 文件系统 Venky Shankar Red Hat Crimson 下一代 OSD Matan Breizman Red Hat Dashboard Web 管理界面 Afreen Misbah IBM RADOS 其他一切所依托的对象存储 Radosław Zarzyński Red Hat RBD RADOS Block Device，即虚拟磁盘 Ilya Dryomov Red Hat RGW RADOS Gateway，即 S3 和 Swift 那一层 Adam Emerson、Eric Ivancich Red Hat NVMe-oF NVMe over Fabrics 网关 Aviv Caro IBM Seastore Crimson 的存储后端 Yingxin Cheng Intel 十位有名有姓的负责人，九位在 Red Hat 或 IBM，而 Crimson 的存储后端 Seastore 由 Intel 的人牵头。在他们之上是 Sage Weil 离开时设立的三人执行委员会：Dan van der Ster（Clyso）、Neha Ojha（Red Hat）、Patrick Donnelly（IBM）。Clyso 只占这十年提交的 0.3%，却握着最高治理机构的三分之一：这个委员会是按判断力和声望组建的，不是按人头。\n维护者换了地方，代码留了下来 要论证 Ceph 是真正的公共财产而不是某一家公司的产品，最有力的证据是维护者换工作时发生了什么。下面每一条都能通过仓库里的邮箱地址追溯：\n维护者（现雇主） 履历，据 git log 最后一次提交 Igor Fedotov（croit）：BlueStore Mirantis (2015–17) → SUSE (2017–24) → croit (2021–) 2026-08-24 Kefu Chai（Proxmox）：核心、构建 Red Hat (2015–22, 4,770 次提交) → XSKY → Proxmox (2025–) 2026-08-18 Radosław Zarzyński（Red Hat）：RADOS 负责人 Mirantis (2015–17) → Red Hat (2017–) 2026-06-16 Dan van der Ster（Clyso）：执行委员会 CERN (2013–22) → Clyso (2023–) 2026-03-18 Zac Dover（Ceph Foundation）：文档 独立 → Clyso → Ceph Foundation 2026-07-23 Yehuda Sadeh（Ubiquiti）：RGW 作者 DreamHost → Inktank → Red Hat → IBM → Ubiquiti 2026-06-08 Mark Nelson（Clyso）：性能 DreamHost → Inktank → Red Hat → Clyso 2024-04-16 Xuehan Xu（QiAnXin）：Crimson Qihoo 360 (2017–18) → QiAnXin (2021–) 2026 每人三个雇主，有的四个，每一次换东家，活都照干不误。Igor Fedotov 已经熬过了两任雇主的 Ceph 战略，到今天还在维护那个把你的字节写上磁盘的引擎。所以，“要是厂商撤了怎么办”的老实回答是：工程师会接着干。\n到底谁在运行 Ceph 贡献只是一半。下面是公开说自己在运行 Ceph 的机构，附上他们自己公布的数字。\n组织 公开声明的部署情况 CERN，欧洲核子研究组织 19 个生产集群，原始容量约 73 PB，另有 5 个在新数据中心，是 CERN IT 云底下的存储骨干 Bloomberg 对象存储从几百 TB 到超过 8 PB；曾在不到一小时内给一个在线集群在线加了 6 PB 原始容量，增幅 50% Wikimedia Foundation 五个生产 Ceph 集群：为 Cloud VPS 提供块存储，通过多站点 RGW 提供 S3，为 Airflow、Dumps 和 ML-Lab 提供 CephFS DigitalOcean 其块存储服务由 Ceph 通过 RBD 提供，每个区域有“hundreds of enterprise-class SSDs”，跨服务器和机架做 3 副本 OVHcloud 在其 On-Prem Cloud Platform 中，“Persistent storage for virtual machines is ensured by Ceph RADOS Block Device” Proxmox 在 Proxmox VE 里把 Ceph 作为内置的超融合存储选项提供 CERN 值得细看，因为它是迄今公开的最详细的一份记录。出自 Enrico Bocchi 2024年9月在 CERN IT 的一次报告：\nCERN 的 Ceph，按用途 原始容量 集群数 块存储：OpenStack Cinder/Glance，HDD 3 副本 25.1 PB 5 块存储：闪存，EC 4+2 976 TB 2 文件系统：OpenStack Manila、K8s/OKD、HPC，HDD 3 副本 13.4 PB 5 文件系统：闪存，3 副本 1.7 PB 4 对象存储：S3、Swift、备份，HDD EC 4+2 28.2 PB 2 对象存储：多站点，EC 4+2 3.6 PB 1 EC 4+2 是纠删码，四个数据块配两个校验块。HPC 是高性能计算，K8s 是 Kubernetes，OKD 是它的上游发行版。数字是原始容量，未扣除副本和编码开销。\n十九个生产集群，奉行的原则是*“don\u0026rsquo;t put all your eggs in the same basket”*（别把鸡蛋都放在一个篮子里），另有五个正在进驻新数据中心。它的服务史本身就是这款软件的一则低调广告：2013 年 300 TB 的概念验证，同年 12 月 RBD 上线生产 3 PB，2016 年从 3 PB 扩到 6 PB 且零停机，2018 年 S3 和 CephFS 投产，2022 年把整个 CephFS 集群物理搬迁且零停机，2023 年内核 RBD 投产。\n它在 CERN 承载的东西才是关键：GitLab、OpenStack、OpenShift、Kubernetes、Harbor、Jenkins、Grafana、Kafka、OpenSearch、InfluxDB、HTCondor、Slurm、Jupyter、Spark、Zenodo、Indico，还有 NFS、AFS 和 CVMFS 的虚拟化。Ceph 在那里不是什么边缘试验。它是整栋楼脚下的地板。\n再看整个社区的数字，出自 Linux Foundation 自己发布的 Squid 版本公告：超过 3,000 个 Ceph 集群，承载 1 EB 的数据。\n这 1 EB 是下限，不是总数 这里值得停一下，因为它会改变你读每一个 Ceph 采用率数字的方式。\nCeph 的遥测是选择加入的。 只有有人运行了 ceph telemetry on --license sharing-1-0，你才会被计入。所有从没运行过它的人都是隐形的，而实际上这就是大多数人，因为它不是默认开启的，也没有任何东西催你去开。\n再把 Proxmox 加进来。Proxmox VE 把 Ceph 作为它的超融合存储选项来提供：三个节点，在 Web 界面里点几下，底下跑的是 pveceph，你就有了一个 Ceph 集群。有非常多的人在生产环境里跑着 Ceph，却从没把自己当成 Ceph 用户。 他们是 Proxmox 用户。他们没加过邮件列表，永远不会写推荐语，没开过遥测，上面哪张表里都没有他们。\n这一档里的每一家小型托管公司、托管服务商、大学院系、悄悄转成生产的家庭实验室、三节点的办公室集群，都是真实的 Ceph 部署，而本文里没有一个数字算上了它们。通过 Kubernetes 上的 Rook 用 Ceph 的人也一样，还有那些藏在厂商一体机里、从不说明盖子底下是什么的。\n所以，3,000 个集群上的 1 EB，是举了手的那些集群的数字。真实的装机量要大得多，大多少没人知道。 对基础设施软件来说这是个怪位置，通常厂商是知道的，因为你得买许可证，而这正是它免费的直接结果。\n478 个组织提交过代码 提交日志同时也是一份大规模运行 Ceph 的名册，因为会往回送补丁的公司，几乎总是在运行这东西的公司。这十年里出现了 478 个不同的组织邮箱域名，其中 140 个提交过五次或以上。\n仅凭 git log 整理出来的名字，分组如下：\n芯片、磁盘和硬件厂商：Intel、Samsung、Seagate、SanDisk、Western Digital、Quantum、Mellanox、Lenovo、Fujitsu、Hitachi、Nokia、Arm、Linaro、HiSilicon、Synology、45Drives 云和托管服务商：DigitalOcean、OVH、IONOS、Akamai、Linode、Hetzner、Binero、City Network、iland、11:11 Systems、Vexxhost、StackHPC、Canonical、Deutsche Telekom、China Telecom、China Unicom、China Mobile、Chunghwa Telecom 互联网和企业用户：Bloomberg、eBay、GoDaddy、Flipkart、Wikimedia、Naver、LINE、Kakao、SK Telecom、Alibaba、Tencent、Baidu、ByteDance、Kuaishou、UnionPay、SenseTime、Sangfor、Micro Focus、MITRE、Igalia、Walmart Labs 存储厂商和集成商：SUSE、Mirantis、XSKY、EasyStack、Inspur、UMCloud、Kylin、UnitedStack、H3C、Xtao、Eisoo、Cloudin、Istuary、ProphetStor、SoftIron、Bigtera、Cloudbase Solutions、Digiware、Bisect、42on、croit、Clyso、Proxmox、DreamHost 科研和教育机构：CERN、中国科学院软件研究所（ISCAS）、Pennsylvania State University、Boston University、University of Michigan、Carnegie Mellon University，再加上基金会的 Associate 会员：哈佛大学 FAS Research Computing、希腊研究与技术网络（GRNET）、Monash University、南非射电天文台（SARAO）、科学与技术设施委员会（STFC）、SWITCH、斯坦福的 SLAC，以及加州大学圣克鲁兹分校的开源软件研究中心（CROSS） 这些名字不全是现役的，而这正是看一整个十年的意义所在。它展示了曾经有多少人把这款软件用到足够狠、狠到要往回送补丁，以及这个范围有多广。\n自称支持 Ceph 的那些玩家，对照他们实际交付了什么 基金会的分级会员制是公司宣布支持的地方。级别并不反映工程投入，最清楚的例子来自 Linux Foundation 自己的 Ceph Squid 版本公告里引用的三家 Diamond 会员。\nDiamond 会员 他们公开说了什么 最近 3 年提交数 IBM：Vincent Hsu，IBM Fellow，IBM Storage 的 CTO 兼 VP “reinforce our trust in Ceph and our commitment to open source” 11,091 （含 Red Hat） Bloomberg：Matthew Leonard，存储工程主管 “Our Diamond Membership is a symbol of our commitment to the future of Ceph and its growing community” 220 45Drives：Doug Milburn，联合创始人兼总裁 “our unwavering commitment to open-source excellence” 0 IBM 的表态背后，是这个项目历史上最大的工程投入，而且绰绰有余。Bloomberg 的表态背后，是 220 次提交、一个指导委员会席位，以及一套他们公开谈论的 8 PB 生产环境，无论怎么衡量都是实打实的贡献。45Drives 制造和销售 Ceph 硬件一体机，并出钱支持共享基础设施；这也是真正的贡献，只是不是代码。\n各个级别的全貌：\n会员 级别 最近 3 年提交数 IBM Diamond 11,091 （含 Red Hat） Bloomberg Diamond 220 CLYSO Diamond 153 45Drives Diamond 0 Western Digital Platinum 0 42on Gold 1 croit Silver 157 DigitalOcean Silver 13 Canonical Silver 9 OVHcloud、Sony、OSNexus、CloudFerro Silver 各 0 反过来看，最近三年贡献排前七的里面，有四家根本不是会员：\n贡献者 提交数 是会员吗？ QiAnXin 597 否 IONOS 498 否 Intel 279 已经不是了 Proxmox 249 否 基金会级别对照提交数：钱和代码毫无关系 他们付了多少钱，对照他们写了多少代码 Ceph Foundation 级别对照主分支提交数，2023-08-27 至 2026-08-27 200 400 600 次提交 DIAMOND IBM（含 Red Hat） 11,091 Bloomberg 220 CLYSO 153 45Drives 一次都没有 PLATINUM Western Digital 一次都没有 GOLD 42on 1 SILVER croit 157 DigitalOcean 13 Canonical 9 另外六个 Silver 会员 一次都没有，六家都是 非会员 QiAnXin 597 IONOS 498 Proxmox 249 Cafe Bazaar 118 零提交的六个 Silver 会员：OVHcloud、Sony Interactive Entertainment、OSNexus、 CloudFerro、Intelligent Systems、LongVan。四个顶级会员里有两个什么都没写。 Ceph 的第三和第五大贡献者根本不是会员。 基金会级别对照最近三年的提交数。赞助和工程是两种不同的贡献，级别衡量的是前者，不是后者。 我不把这看成虚伪，也希望别人别这么看。基金会的钱用来支付上游测试实验室、给每个合并请求把关的持续集成、Cephalocon 和社区工作人员，这些都是 Ceph 离不开的东西，一个卖 Ceph 一体机的硬件厂商出钱支持它们，是对的。Western Digital、DigitalOcean 和 OVHcloud 卖的产品都依靠 Ceph，它们往维持 Ceph 运转的公共池子里交钱。这是公平交易。\n实际可用的结论很窄：把会员页面当成“谁在出钱养共享基础设施”的名单来读，把提交日志当成“谁在写代码”的名单来读。 这是两个不同的问题，答案也不同，而两个答案都有用。\n创始会员，八年之后 基金会于 2018年11月12日成立。创始名单有两份记录可查，Linux Foundation 的公告和通稿，两者完全一致：十三个 Premier 会员，十个 General 会员，八个 Associate 会员。\n对照今天的会员页面：十三个 Premier 会员里，以自己名义仍在列的有四个（Canonical、DigitalOcean、OVHcloud、Western Digital），如果把 IBM 算作接了 Red Hat 的席位，就是五个。十个 General 会员里还剩两个：croit 和 Intelligent Systems。\n而八个 Associate 会员全都还在。按创始公告里的全称：\nBoston University Information Services and Technology CERN：欧洲核子研究组织 FAS Research Computing, Harvard University The Greek Research and Technology Network (GRNET) Monash University，墨尔本 The South African Radio Astronomy Observatory (SARAO) The Science and Technology Facilities Council (STFC)，隶属 UK Research and Innovation (UKRI) The Center for Research in Open Source Software (CROSS)，位于加州大学圣克鲁兹分校，也正是 Ceph 最初被写出来的地方：它是 Sage Weil 与 Scott Brandt、Ethan Miller、Darrell Long 和 Carlos Maltzahn 一起完成的博士研究；2006 年的原始论文至今仍挂在 ceph.io 上 八年，八个一个不少。\n付费会员来来去去。那些大学和研究实验室免费加入，八年下来一个都没走。他们是为科学大规模运行 Ceph 的人，没有一个撤。\nQuincy 版文档里还保留着大约 2022 年时的会员名单，正好给出一个中间点：那份快照里的二十四个商业会员，后来走了十二个，不多不少一半。Ceph 在这段时间里的节奏没有变。\n说说 croit，因为它是我的雇主，也是留下来的会员之一。 croit GmbH 在第一天就作为创始 General 会员加入，八年后仍是会员，坚持得比 Intel、SUSE、ZTE、Arm 或 Samsung 都久。它同时也只占这十年提交的 0.3%。待得久不等于造得多，我也不打算替给我发工资的公司把“待得久”包装成“贡献大”。\n手册是一个人写的，基金会给他发工资 十年总表的第 7 行是“Ceph Foundation”，691 次提交。那几乎就是一个人。\nZac Dover 这十年有 1,060 次提交，几乎全是文档。最近三年里，他一个人占 doc/ 全部提交的 28.4%，是最大的单一贡献者，排在 Red Hat 和 IBM 前面。他的邮箱历史是先 @gmail.com，再 @clyso.com，再 @proton.me，在 Ceph 自己的记录里对应到 Ceph Foundation。\ndoc/，最近三年 提交数 占比 Ceph Foundation 499 28.4% 看不出雇主 383 21.8% Red Hat 379 21.5% IBM 333 18.9% doc/ 是唯一一个最大单一贡献者既不是 Red Hat 也不是 IBM 的目录，效果看得出来。Ceph 的手册比大多数同等规模的基础设施软件都要好。花钱雇一位不对任何厂商负责的技术写作者，是基金会用这笔钱做的最聪明的事。\n个人仍然能让指针动起来 这十年按作者名字汇总的头部个人：\n人 十年提交数 雇主 Sage Weil 7,517 Red Hat，创造者，2022 年离开 Kefu Chai 5,538 Red Hat → Proxmox Casey Bodley 2,472 Red Hat Patrick Donnelly 2,330 Red Hat → IBM Jason Dillaman 1,629 Red Hat，2021 年离开 Radosław Zarzyński 1,607 Mirantis → Red Hat Samuel Just 1,415 DreamHost → Inktank → Red Hat John Mulligan 1,300 Red Hat Yingxin Cheng 1,202 Intel Zac Dover 1,060 Ceph Foundation Yehuda Sadeh 972 Red Hat → IBM → Ubiquiti Alfredo Deza 930 Red Hat，2019 年离开 二十一个人写了这十年一半的提交；九十一个人写了 80%。对一个大型 C++ 代码库来说这很正常，也正因为如此，个人在这里的分量才这么重。\n门是敞开的，最清楚的证据是：最近三年排第五的是 IONOS 的一个工程师。 Max Kellermann 从 2024 年起有 498 次提交，比 Intel、Proxmox、Bloomberg、croit 或 Clyso 作为公司的提交都多，覆盖 src/mds、src/common、src/mon、src/tools、src/librbd、src/mgr 和 src/rgw。在这个窗口里，他一个人占了全部 CephFS 元数据工作的 19.3%，仅次于 Red Hat。\n没人任命他。他自己找上门来开始修东西，三年后他成了一个由《财富》50 强公司主导的项目里最忙的贡献者之一。你现在仍然可以走进 Ceph，并且举足轻重。\nProxmox 是同一枚硬币的另一面：最近三年 249 次提交，其中 241 次出自 2025年9月30日之后的 Kefu Chai。Proxmox 靠雇了一个好工程师，在十一个月里从零变成了 Ceph 前十的贡献者。\nRGW：真正的活在这里 如果你想知道 Ceph 的工程力量花在了哪里，答案是对象存储，原因很简单：RGW 离它要对标的那个东西，差得最远。\nsrc/rgw 是 Ceph 这十年里最大的功能子系统，6,958 次提交，领先于 Crimson 的 5,827、OSD 的 4,499、dashboard 的 3,848、BlueStore 的 2,560 和 CephFS 的 2,546。它的投入是块存储层的四倍。最近三年它拿走了 1,705 次提交，仅次于 Crimson，而 Crimson 是一次从零开始的重写。就已发布的代码而言，RGW 是这个项目里规模最大的持续功能开发。\nAmazon 的 S3 是一个移动靶，API 面极大，每年都会长出新功能，客户随后就会要求任何自称 S3 兼容的东西也都有。所以 RGW 一直在追。把最近三年 RGW 的提交标题按功能领域数一遍，这场追赶的形状一目了然：\n最近 3 年 RGW 的工作 提到它的提交数 多站点复制 94 账户（Accounts） 94 IAM，身份与访问管理 72 策略（Policy） 71 存储桶通知 69 STS（临时凭证） 67 主题（Topics） 50 角色（Roles） 47 恢复（Restore） 41 POSIX / 文件系统网关 40 服务端加密（SSE） 38 分段上传 32 生命周期 16 KMS，密钥管理服务 12 S3 Select 11 校验和 11 云端迁移（Cloud transition） 10 版本控制、CORS、对象锁定、存储桶日志、标签 合计 28 （这是对 1,705 条提交标题的关键词计数，所以一个提交可能出现在不止一行里。重点是分布，而不是精确的总数。）\n这不是维护。这是身份账户、角色和策略、会话令牌、存储桶通知和主题、SSE-KMS、对象锁定、生命周期规则、S3 Select、校验和、云分层和多站点复制，也就是 AWS 的功能清单，正在一项项补齐。读一读最近的提交标题，你会看到 SigV4 签名校验、x-amz-content-sha256 的处理、预签名 URL。都是琐碎的兼容性细节，之所以要紧，只是因为某个人的客户端库期望 Amazon 的确切行为，没有就会出错。\n这也是为什么在几大子系统里，RGW 的贡献者构成最杂。这十年里 Red Hat 占它的 64.3%，但 Bloomberg（近期窗口 8.6%）和 Cafe Bazaar（6.2%）也在其中，它们都是在生产环境里跑大型对象存储、修那些咬到自己的问题的公司。\n如果你正在为 S3 用途掂量 Ceph，这个数字应该能让你放心。 和 Amazon 的差距，正是 RGW 比仓库里任何东西得到更多关注的原因，而这个项目最大的单项工程投入，就对准了缩小这个差距。\nRBD：代码稳定，不是衰退 src/librbd 是 Ceph 的块设备，Proxmox 用的是它，OpenStack Cinder 用的是它，大多数 Kubernetes 容器存储接口（CSI）驱动用的也是它。如果你在跑 Ceph，你多半在跑 RBD。它的提交图是这样的：\n按年份的 RBD 提交数：一个进入维护状态的组件 按年份统计的\u0026#160;src/librbd\u0026#160;提交数 Ceph 的块设备：Proxmox、OpenStack Cinder 和大多数 Kubernetes CSI 驱动都在用它 0 100 200 300 400 431 2015 477 2016 258 2017 276 2018 209 2019 455 2020 165 2021 85 2022 49 2023 74 2024 45 2025 19 2026 功能开发基本完成 2020 年的 455 次提交中，Jason Dillaman 写了 281 次，内容是持久化回写缓存 和加密，此后 RBD 进入了 维护状态。 2026 年统计到 8 月 27 日。这不是衰退，而是一个成熟组件在被维护， 而不是被重建。 按年份统计的 src/librbd 提交数。重度的功能开发在 2020 年前后结束：那一年 455 次提交里有 281 次出自 Jason Dillaman，内容是持久化回写缓存和加密。此后这个组件进入了维护状态。 最近三年 159 次提交，大约一周一次，对比 RGW 的 1,705 次和 Crimson 的 1,944 次。\n稳定的代码就是这个样子，而这是一项优点。 基于 RADOS 的块存储是一个已经解决的问题。RBD 早就有了快照、克隆、分层、镜像、加密、在线迁移和持久化缓存，也没有什么 S3 API 那样的东西在前面狂奔，因为虚拟机管理程序对块设备的要求，十年来几乎没变。功能开发已经做完了。剩下的是保养：修 bug，跟上内核，偶尔拿下一点性能提升。\n我是故意拿它和 RGW 比的。RGW 拿走十倍的提交，是因为它还有十倍远的路要走。 RBD 没有，所以它不需要。一个不再改变形状的组件，不是一个正在荒废的组件。要是 librbd 突然一年冒出 400 次提交，我反倒想知道出了什么问题，因为它托着的是我的虚拟机磁盘。\n唯一值得知道的是，它把专业知识集中在很少几个人的脑子里。RBD 差不多就是 Ilya Dryomov 一个人，他两头都管：上游 Ceph 和 Linux 内核里的 rbd 驱动。这差不多是能有的最好安排了，但它仍然只有一个人的深度。这告诉你的是该找谁问，而不是该不该部署。\n工作分布在哪里 同样的对应方法应用到整个代码树，十年窗口和近期窗口并排：\n领域 十年领头者 占比 最近 3 年领头者 IBM 集团，最近 3 年 src/mds：CephFS 元数据 Red Hat 78.5% Red Hat 56.4% 73.9% src/osd：现役 OSD Red Hat 69.7% Red Hat 56.9% 84.0% src/cephadm：部署 Red Hat 66.8% Red Hat 73.7% 92.0% src/rgw：S3 Red Hat 64.3% Red Hat 56.1% 66.7% src/librbd：块存储 Red Hat 61.1% Red Hat 76.7% 83.0% src/crimson：下一代 OSD Red Hat 52.1% Red Hat 42.0% 45.4% doc/：手册 Red Hat 45.6% Ceph Foundation 28.4% 40.5% src/os/bluestore：存储引擎 Red Hat 36.9% IBM 46.5% 54.2% src/pybind/mgr/dashboard SUSE 36.6% IBM 57.5% 87.8% 从这张表里能读出两件事。归属：越靠近厂商在卖的部分，比如部署工具和图形界面，越是一家公司说了算；越往外，比如下一代 OSD、存储引擎、手册，参与者越多，而如果你想在一个还没被人包下的地方做贡献，空间就在那里。\n体量：按这十年的提交总数排，依次是 RGW 6,958、Crimson 5,827、OSD 4,499、dashboard 3,848、monitor 2,896、BlueStore 2,560、CephFS 2,546、RBD 1,750、cephadm 1,685。投入跟着“离完成还有多远”走，而不是跟着部署份额走。RGW 排第一，是因为离 S3 对等还差得远；RBD 接近垫底，是因为块存储已经做完了。\nBlueStore 值得单独说一句。它是把你的字节写到磁盘上的引擎，而最近三年里，仅次于 IBM 的第二大贡献者是 croit，占 18.1%，也就是它的首席维护者 Igor Fedotov，就职于一家只有几十个人的公司。那是我的雇主，所以请自行掂量我的话。但不管是谁给他发工资，这一点都成立：一家小公司可以雇下技术栈里安全性最关键的组件之一的维护者，而这个项目也因此变得更好。\n谁握着合并按钮 我也数了合并：最近三年 7,893 次，算在按下按钮的人头上：\n组织 合并数 占比 Red Hat 3,892 49.3% IBM 1,597 20.2% Ceph Foundation 524 6.6% Proxmox 202 2.6% Intel 136 1.7% croit 76 1.0% 合并占 69.5%，提交占 68.6%。 把关和干活是同一个形状。这里不存在一家公司写代码、另一家公司控制什么能合进去的情况，而那才是企业主导的开源项目里真正值得担心的失败模式。Ceph 没有这个问题。\n数字从哪里来 全部可以复现。Ceph 在仓库里维护着自己的贡献者到组织的对应表，.organizationmap，旁边还有 .mailmap、.peoplemap 和 .githubmap，并且写明了使用它的命令。\ngit clone --filter=blob:none --no-checkout https://github.com/ceph/ceph.git cd ceph git show HEAD:.organizationmap \u0026gt; /tmp/orgmap # Ceph\u0026#39;s own documented method, over the last ten years git log --no-merges --since=2016-08-27 --until=2026-08-27 --pretty=\u0026#39;%aN \u0026lt;%aE\u0026gt;\u0026#39; \\ | git -c mailmap.file=/tmp/orgmap check-mailmap --stdin \\ | sort | uniq -c | sort -rn | head -30 # the maintainer-to-employer mapping, straight from the repo git show HEAD:doc/governance.rst | sed -n \u0026#39;/^.. _csc:/,/^\\.\\. _ctl:/p\u0026#39; \\ | grep -oE \u0026#39;\\* [^\u0026lt;]+\u0026lt;[^\u0026gt;]+\u0026gt;\u0026#39; 运行第一条命令，你得到的 IBM 会比我的小，因为官方对应表已经过时了。 它不认识 aainscow@uk.ibm.com、bill_scales@uk.ibm.com、ylifshit@ibm.com、rkachach@ibm.com、leonid.usov@ibm.com，也不认识 li-*.ibm.com 这种机器生成的主机名。用项目自己的工具，反而会低估集中度。\n我在这张对应表之上做的修正：\n任何以 ibm.com 结尾的地址，包括 uk.ibm.com、il.ibm.com、in.ibm.com、de.ibm.com 和 li-*.ibm.com 这些形式，都算 IBM。 redhat.com 和 inktank.com 算 Red Hat，和 IBM 分开列，但自 2022年10月起是同一个团队。 有七个个人邮箱，在仓库本身能证明的情况下归到了雇主：sage@newdream.net（Red Hat）、idryomov@gmail.com（在 Ceph 自己的 doc/governance.rst 里登记为 idryomov@redhat.com）、max.kellermann@gmail.com（IONOS）、xxhdx1985126@gmail.com（QiAnXin）、yuvalif@yahoo.com（IBM）、yingxincheng@gmail.com（Intel）、shraddha.agrawal000@gmail.com（IBM）。 其余一律保留原域名。个人邮箱一律记为“看不出雇主”，不去猜。 有些局限我改不了。提交是个粗糙的单位：一次精心的 900 行重构算一次，四十个错别字修正算四十次，这里没有做任何加权。邮箱域名并不完美：这十年有 9.0% 看不出雇主，其中肯定有人是被雇来写 Ceph 的。评审在 git 里是看不见的：Ceph 在 GitHub 的合并请求里做评审，而不是用 Reviewed-by: 尾注，三年里我只找到十二条；项目里最重要的那道关，在克隆下来的仓库里不留痕迹。数字只统计 main，所以回移到稳定分支的提交没算进去，这会低估维护工作。而且这里每一个采用率数字都是下限，原因就是上面讲过的遥测问题。\n凡是依赖日期的说法，我用的是作者日期；凡是依赖某人雇主的说法，用的是他们自己公布的邮箱。\n我从中得出了什么 Ceph 是一个由企业出资、边上围着一圈真实社区的项目，它整个商业生命周期都是这样。这不是贬低。总得有人出钱，养工程师去照看这种规模的分布式存储，而十年来，确实有人在出这笔钱。\n我不会假装 Ceph 很典型，因为我查过。LWN 对 Linux 6.15 的统计记录了 2,068 名开发者，来自至少 195 个雇主，最大的单一公司 Intel 占变更集的 12.0%。Ceph 是十年里 1,718 个人，一家公司占 67.0%。内核把对企业的依赖分散到几十家公司身上。Ceph 把它压在一家身上。这是真实的差别，用一句“大家都这样”把它打发掉，就是偷懒。\n但对于这一点到底要不要紧，十年的数据给出的答案，比我去找的那个还要好：\nCeph 在要紧的地方是扛得住的。 它失去了写它的那个人，那个人当时干着五分之一的活。它失去了 SUSE，它的第二大贡献者、dashboard 的作者。它失去了 ZTE、Mirantis、XSKY、EasyStack、Inspur，还有基金会一半的创始会员。今天的提交速度和去年相差不到百分之二。二十年的存储工程以 LGPL-2.1 或 LGPL-3 躺在那个代码树里，谁也没法把它闭源、改许可证或者收回去。\n维护者是可以带走的。 Fedotov 跨了三个雇主一直在维护 BlueStore。Kefu Chai 从 Red Hat 到了 Proxmox，接着干。Sadeh 在 DreamHost 写了 RGW，今年 6 月把委员会里的邮箱改成了 Ubiquiti。公司走了，它的人往往还在。\n门是真的敞开的。 IONOS 的一个工程师三年里成了第五大贡献者。Proxmox 靠一次招聘进了前十。一家没有存储产品的安全公司在造下一代 OSD 的五分之一。478 个组织送过补丁。如果你想进来，挡着你的只有活本身。\n用户群比任何人能测量的都大得多。 3,000 个集群上的 1 EB，只是通过选择加入的遥测举了手的那部分，光 CERN 一家就有十九个生产集群。每一个 Proxmox 超融合集群、每一个 Rook 部署、每一台盖子底下装着 Ceph 的厂商一体机，都是没有任何公开数字计入的真实生产使用。部署得这么广、又这么悄无声息的软件，不会说没就没。\n投入流向差距所在之处，而不是用户所在之处。 RGW 是项目里最大的工程，这十年 6,958 次提交，因为在 S3 上追赶 Amazon 是一场追逐移动靶的长跑。RBD 接近垫底，因为块存储已经做完了。成熟组件提交数低，说明活干完了，不是警报，而把这两个数字读反，是面对这类数据时最容易犯的错。我第一遍就犯了。\n评判供应商要看提交，不要看级别。 历史是公开的，四行 shell 就能告诉你，你即将依赖的东西到底是谁在照看。闭源存储花多少钱都给不了你这个。\n所以，如果你正在掂量 Ceph：在做五年规划时，这种集中度值得知道，但它不是你犹豫的理由。一个成熟的块存储层。项目最大的工程投入正对准 S3 对等。一个由三家公司同时在造的未来 OSD。一本比大多数都好的手册。一个挺过了失去创始人的治理结构。十年公开进行的评审，478 个组织的成果躺在代码树里，还有一个最坏情况是分叉而不是死胡同的许可证。以 69,613 次提交为证，这个项目身体健康。\n不信的话，自己去数。命令就在上面，数据是公开的，这篇文章里没有啥需要你凭信任接受的，我的不用，别人的也不用。\n参考资料 Ceph 项目资料\n\u0026ldquo;Ceph: A Scalable, High-Performance Distributed File System\u0026rdquo;：Weil、Brandt、Miller、Long 和 Maltzahn，OSDI \u0026lsquo;06，2006年11月。Ceph 起步时的那篇论文 ceph/ceph on GitHub：每一个提交数字的来源仓库；.organizationmap、.mailmap、.peoplemap、.githubmap、doc/governance.rst 和 COPYING 都在仓库里 Ceph governance：执行委员会和 Ceph 指导委员会成员名单，附邮箱 Ceph component team：组件负责人 Ceph Foundation members：按级别列出的现任会员 Ceph Foundation documentation：级别结构，以及免费的 Associate 会员资格 Ceph Foundation members, Quincy documentation：大约 2022 年时的会员情况 Ceph telemetry module：证实遥测是选择加入的 \u0026ldquo;Red Hat\u0026rsquo;s Ceph team is moving to IBM\u0026rdquo;，2022年10月4日 Ceph Community Newsletter, November 2021：Sage Weil 退居二线 Ceph Foundation 和 Linux Foundation\nIntroducing Ceph Squid：上文引用的 Diamond 会员表态，以及 1 EB / 3,000 多个集群的数字 The Linux Foundation Launches Ceph Foundation，2018年11月12日：创始会员名单 The same release via PRNewswire：用来独立核对这份名单 部署案例\n\u0026ldquo;Ceph: Infrastructure Storage at CERN\u0026rdquo;：Enrico Bocchi，CERN IT Storage，2024年9月27日。上文所有 CERN 的数字都出自这份幻灯片 Why We Chose Ceph to Build Block Storage：DigitalOcean \u0026ldquo;We Added 6 Petabytes Of Ceph Storage and No Clients Noticed\u0026rdquo;：Matthew Leonard 和 Joseph Mundackal，Bloomberg，Cephalocon 2020 Ceph on Wikitech：Wikimedia Foundation 的五个生产集群 Ceph RBD block storage：OVHcloud 自己的文档 Deploy Hyper-Converged Ceph Cluster：Proxmox VE 把 Ceph 作为超融合存储提供 公司\n\u0026ldquo;SUSE says tschüss to Ceph-based enterprise storage product\u0026rdquo;，The Register，2021年3月25日：SUSE Enterprise Storage 被砍，改推 Longhorn Qi An Xin files for $634m IPO，Global Venturing，2020年5月13日：奇安信源自 Qihoo 360、CEC 持股及股权结构 对比\nDevelopment statistics for the 6.15 kernel，LWN.net：用于集中度对比的内核开发者和雇主数量 ","permalink":"https://blogs.damiendye.uk/zh/ceph/who-actually-writes-and-uses-ceph/","summary":"我把 Ceph 主分支过去十年的每一次提交都数了一遍：来自 478 个组织、1,718 个人，共 69,613 次；把指导委员会全部 38 名成员追到各自的雇主；又收集了公开声明的部署情况。结论是：这个项目失去了创始人，又失去了第二大贡献者，节奏却一拍没乱，到今天仍在以同样的速度发版。","title":"Ceph 到底是谁在写、谁在用"},{"content":"这次主机是存在的，只是在错误的虚拟化平台上 上一次的问题是，清单里点名的那台机器还不存在：没有 IP，没有 SSH，没有 Python，没有任何东西可以连接。每个任务都得委派到别处去执行。\nVMware 迁移把这一点倒了过来，却什么也没改变。机器存在，在运行，有人在用。你仍然从不连接它。它是一个名字加一包变量，描述一个要在别处重建的东西。每个任务仍然在控制节点上运行，只是现在另一端有两个 API，而不是一个。\n先说明这是什么。 本文是设计和 playbook，不是实战故事。我还没有在生产环境上把它从头到尾跑过一遍。下文关于模块行为的每一句话，都是从发布的代码里读出来并核实过的；凡是某个说法来自源代码而不是实际运行，我都明说了。等我用它做过一次真实迁移，那些数字和意外会单独写一篇。\n核对时所用的版本：\n$ ansible --version | head -1 ansible [core 2.20.7] $ ansible-galaxy collection list | grep -E \u0026#39;vmware|proxmox\u0026#39; community.proxmox 1.6.0 community.vmware 6.2.1 vmware.vmware 2.9.0 下面的片段都摘自同一个 playbook：migrate.yml、位于 inventory/vmware.vms.yml 的 vSphere 动态清单，以及一个 group_vars/all.yml。为了便于阅读，我把数据中心、节点和存储的名字都做了通用化处理。\n这活的整体形状 五个步骤，只有最后一步有代价。\n客户机在运行，毫无风险 停机 发现 读取分布式 端口组及其 VLAN 标签 sdn 一个 VLAN 区域， 每 VLAN 一个 VNet 在 Proxmox 上 构建 无磁盘外壳， CPU、内存、 固件和 MAC 都对 迁移存储 用存储 vMotion 把 VMDK 迁到 NFS， 运行中进行 切换 关机，导入磁盘， 设置启动顺序， 然后启动客户机 一切可逆的事都在关掉任何东西之前做完 慢的部分是迁移存储，而它完全不需要停机。到窗口打开时，磁盘已经在 Proxmox 挂载的存储上了，所以切换是一次本地导入，而不是一次复制。 没有磁盘的外壳删起来很便宜，所以切换之前犯的错，除了时间什么都不花。 迁移做到一半放弃，每个客户机仍然在 VMware 上运行，原封未动。 一切可逆的事情都先做。慢的阶段不花代价，而昂贵的阶段很短，因为到那时磁盘已经在它们需要在的地方了。 顺序就是整个设计。发现阶段什么都不改。构建网络只改 Proxmox。构建外壳也只改 Proxmox，而一个没有磁盘的外壳删起来很便宜。搬磁盘慢，但是在线进行。只有最后一个 play 会关掉任何东西的电源。\n做到一半走开，每个客户机仍然在 VMware 上运行，原封未动。\n两个集合，其中一个正在退役 两个你都需要，而且原因和你猜的不一样。\ncollections: - name: community.vmware version: \u0026#34;\u0026gt;=6.2.1\u0026#34; - name: vmware.vmware version: \u0026#34;\u0026gt;=2.5.0\u0026#34; - name: community.proxmox version: \u0026#34;\u0026gt;=1.6.0\u0026#34; community.vmware 是那个老的、大而全的集合，正在被拆散。它的 MANIFEST.json 把 {\u0026quot;vmware.vmware\u0026quot;: \u0026quot;\u0026gt;=2.5.0\u0026quot;} 声明为硬依赖，所以装第一个就会把第二个拉进来，不管你要没要。模块正一个一个地搬过去，而迁移中你要用到的那些，正处在这次搬迁的不同阶段：\nvmware_dvs_portgroup_info：仍然只在 community.vmware 里，读取你的 VLAN 靠的就是它。 vmware_vmotion：仍然只在 community.vmware 里。 vmware_guest_powerstate：已弃用，在 community.vmware 7.0.0 中移除。 改用 vmware.vmware.vm_powerstate。 vmware_vm_inventory：已弃用，在 7.0.0 中移除。 改用 vmware.vmware.vms。 Ansible 会在第一次运行时告诉你模块弃用的事，这一点它做得挺厚道：\n[DEPRECATION WARNING]: community.vmware.vmware_guest_powerstate has been deprecated. Use vmware.vmware.vm_powerstate instead. This feature will be removed from collection \u0026#39;community.vmware\u0026#39; version 7.0.0. 它不会就清单插件警告你，因为清单插件在那套机制运行之前就被解析了。你得自己去读插件。\n这次拆分里还有第三个陷阱。vmware.vmware.vm_portgroup_info 看上去正是网络迁移想要的东西：按虚拟机、按网卡，给你端口组和 VLAN。但它构建在 ModuleRestBase 之上，并导入 com.vmware.vapi，这意味着控制节点上需要 vSphere Automation SDK，而不只是 pyVmomi。它文档里的返回值也过时了：RETURN 块承诺有 name 和 vlan_id，而代码在分布式交换机的情况下实际构建的是 portgroup_name 和一个 vlan_info 字典。我在下文走了另一条路，两样都没用上。\n清单就是发现 这个 playbook 里没有“去把虚拟机找出来”的 play，因为在第一个任务运行之前，清单已经做完了这件事：用一次属性收集器查询，而不是逐台虚拟机循环。\n# inventory/vmware.vms.yml plugin: vmware.vmware.vms hostname: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_HOST\u0026#39;) }}\u0026#34; username: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_USER\u0026#39;) }}\u0026#34; password: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_PASSWORD\u0026#39;) }}\u0026#34; validate_certs: false search_paths: - /Datacenter-1 properties: - name - config.name - config.uuid - config.guestId - config.firmware - config.template - config.hardware.numCPU - config.hardware.numCoresPerSocket - config.hardware.memoryMB - config.hardware.device - summary.runtime.powerState gather_compute_objects: true hostnames: [\u0026#39;name\u0026#39;] filter_expressions: - \u0026#39;config.template\u0026#39; 文件名很要紧。 插件的 verify_file 只认领以 vms.yml、vms.yaml、vmware_vms.yml 或 vmware_vms.yaml 结尾的文件。叫它 vcenter.yml，它就悄无声息地不是你的清单。\nsearch_paths 在查询之前过滤，而不是之后。 在大型环境里，这就是几秒和几分钟的差别。filter_expressions 则不同，文档对它说得很明白：它在收集之后运行，并且 “does not affect the speed of the inventory plugin”。\n表达式为真时，filter_expressions 会丢弃该主机。 因此 config.template 会去掉模板，第一次读的时候感觉是反的。\n而最重要的一行是 config.hardware.device，它不在任何地方的任何默认属性列表里。它是虚拟机的完整硬件清单，带着这次迁移缺了就无法进行的三样东西：每块网卡的 MAC、每块网卡所连接的 dvportgroup 键，以及每块磁盘的数据存储路径。没有它，你就回到了 vmware_guest_info 循环，每台虚拟机一次往返。\n设备以 JSON 形式返回，其 vSphere 类型保存在 _vimtype 里。这值得知道，因为你正是靠它来区分网卡和磁盘的。我核查了编码器，而不是靠猜：\n{ \u0026#34;_vimtype\u0026#34;: \u0026#34;vim.vm.device.VirtualVmxnet3\u0026#34;, \u0026#34;macAddress\u0026#34;: \u0026#34;00:50:56:87:a5:9a\u0026#34;, \u0026#34;backing\u0026#34;: { \u0026#34;_vimtype\u0026#34;: \u0026#34;...DistributedVirtualPortBackingInfo\u0026#34;, \u0026#34;port\u0026#34;: { \u0026#34;_vimtype\u0026#34;: \u0026#34;vim.dvs.PortConnection\u0026#34;, \u0026#34;portgroupKey\u0026#34;: \u0026#34;dvportgroup-1014\u0026#34; } } } 于是一个 compose 块就能把那些别扭的路径提升为扁平的主机变量：\ncompose: vm_moid: moid vm_firmware: config.firmware vm_memory_mb: config.hardware.memoryMB vm_num_cpu: config.hardware.numCPU # A virtual NIC is any device with a MAC. Filtering on _vimtype does not # work cleanly here, because VMXNET3, E1000 and SR-IOV cards are all # different types with no shared substring. vm_nics: \u0026gt;- config.hardware.device | selectattr(\u0026#39;macAddress\u0026#39;, \u0026#39;defined\u0026#39;) | selectattr(\u0026#39;macAddress\u0026#39;, \u0026#39;ne\u0026#39;, None) | list # Disks are one exact type, so this one can match on it. vm_disks: \u0026gt;- config.hardware.device | selectattr(\u0026#39;_vimtype\u0026#39;, \u0026#39;eq\u0026#39;, \u0026#39;vim.vm.device.VirtualDisk\u0026#39;) | list 这种不对称是真实存在的，而且会坑人。没有 VirtualEthernetCard 这个类型可供匹配。那是抽象基类，vCenter 实际给你的是 VirtualVmxnet3、VirtualE1000、VirtualE1000e、VirtualPCNet32 或 VirtualSriovEthernetCard。它们之间没有公共子串。不过，带 MAC 是只有网卡才会做的事。\n每个 info 模块都藏起了你需要的字段 这是贯穿整件活的主线，一旦你见过三次，就会在写任务之前先检查每一个默认值。\nvmware_dvs_portgroup_info 有六个 show_* 选项。五个默认为 true。第六个是 show_vlan_info，默认是 false。\nshow_mac_learning=dict(type=\u0026#39;bool\u0026#39;, default=True), show_network_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_teaming_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_uplinks=dict(type=\u0026#39;bool\u0026#39;, default=True), show_port_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_vlan_info=dict(type=\u0026#39;bool\u0026#39;, default=False), 不去管它，你会拿到环境里每个端口组的 MAC 学习策略、绑定策略、上行链路顺序和端口策略。除了 VLAN 标签什么都有，而 VLAN 标签恰恰是网络迁移真正在问的唯一字段。所以这个任务和你凭直觉会写的正好里外相反：打开那一个，关掉另外五个。\n- name: Read the distributed portgroups community.vmware.vmware_dvs_portgroup_info: datacenter: \u0026#34;{{ vcenter_datacenter }}\u0026#34; show_vlan_info: true show_network_policy: false show_teaming_policy: false show_port_policy: false show_mac_learning: false show_uplinks: false register: dvs_pgs 这不是个例。vmware.vmware.vms 有 gather_compute_objects，用来填充 cluster 和 esxi_host，默认 false。community.vmware.vmware_vm_info 有 show_allocated，即存放 CPU 和内存的那一块，默认 false。三种情况下，收集成本高的字段都正是迁移需要的那个，而默认值保护的是一个只读报表的用例，不是你所处的这个。\nvlan_id 有三种不同的类型 接着你拿到了 VLAN 标签，却发现它们不是同一种形状。直接取自 get_vlan_info：\nif isinstance(vlan_obj, vim...TrunkVlanSpec): ... return dict(trunk=True, pvlan=False, vlan_id=vlan_id_list) elif isinstance(vlan_obj, vim...PvlanSpec): return dict(trunk=False, pvlan=True, vlan_id=str(vlan_obj.pvlanId)) else: return dict(trunk=False, pvlan=False, vlan_id=str(vlan_obj.vlanId)) 接入端口组给你字符串 \u0026quot;100\u0026quot;。PVLAN 给你一个字符串。trunk 给你一个字符串列表，每项要么是 \u0026quot;20\u0026quot;，要么是 \u0026quot;20-30\u0026quot;。而且每个分布式交换机上都至少有一个 trunk，不管你建没建过，因为上行端口组就是一个承载 \u0026quot;0-4094\u0026quot; 的 trunk。\n所以在你把另外两种形状扔掉之前，| int 是用不了的：\naccess_pgs: \u0026gt;- {{ dvs_pgs.dvs_portgroup_info | dict2items | map(attribute=\u0026#39;value\u0026#39;) | flatten | rejectattr(\u0026#39;vlan_info.trunk\u0026#39;) | rejectattr(\u0026#39;vlan_info.pvlan\u0026#39;) | rejectattr(\u0026#39;vlan_info.vlan_id\u0026#39;, \u0026#39;in\u0026#39;, [\u0026#39;0\u0026#39;, 0]) | list }} 三次 reject，按这个顺序。trunk 去掉，PVLAN 去掉，然后不带标签的端口组去掉，这一步也顺带处理掉了上行端口组和 VLAN 0 上的任何东西。\n我不会自动转换 trunk 或 PVLAN，谁这么做我都会提出异议。一个落到 Proxmox 上的 VMware trunk，需要的要么是 Q-in-Q 区域，要么是支持 VLAN 的 VNet，哪个对取决于客户机期望看到什么。这是一个决定，不是一个映射。playbook 把它们打印出来，然后继续：\nTASK [Report what was found] ok: [localhost] =\u0026gt; { \u0026#34;msg\u0026#34;: \u0026#34;3 access portgroups -\u0026gt; [100, 200]. Not translated: [\u0026#39;dvs_001-uplink\u0026#39;] (trunks), [\u0026#39;isolated\u0026#39;] (PVLANs).\u0026#34; } 把 VLAN 镜像到 SDN 一个绑定到网桥的 VLAN 区域，然后每个 VLAN 一个带标签的 VNet。\n- name: Create the VLAN zone community.proxmox.proxmox_zone: zone: \u0026#34;{{ sdn_zone }}\u0026#34; type: vlan bridge: \u0026#34;{{ sdn_bridge }}\u0026#34; mtu: \u0026#34;{{ sdn_mtu }}\u0026#34; state: present - name: Create one VNet per VMware VLAN community.proxmox.proxmox_vnet: vnet: \u0026#34;{{ sdn_vnet_prefix }}{{ item.vlan_info.vlan_id | int }}\u0026#34; zone: \u0026#34;{{ sdn_zone }}\u0026#34; tag: \u0026#34;{{ item.vlan_info.vlan_id | int }}\u0026#34; alias: \u0026#34;{{ item.portgroup_name }}\u0026#34; state: present loop: \u0026#34;{{ access_pgs | unique(attribute=\u0026#39;vlan_info.vlan_id\u0026#39;) }}\u0026#34; throttle: 1 VNet 名称短且受限，VMware 端口组名称则不然。 Production-Web-Tier-VLAN100 是一个再普通不过的端口组名称，却是一个不可能的 VNet 名称。所以名称是生成的，v100，取自标签，而人类可读的原名放进 alias，在界面和 pvesh 输出里都看得见。从 VLAN 而不是从端口组推导名称，也意味着六个月后看一眼就能把映射反推回去。\n同一 VLAN 上的两个端口组会合并成一个 VNet。 这是对的，在 VMware 里它们本来就是同一个广播域，但你应该看到这件事发生，这正是 unique(attribute='vlan_info.vlan_id') 在做的。两个叫 prod-web 和 prod-web-b 的端口组，都在 VLAN 100 上，只产生一个 v100。\nthrottle: 1 不是谨慎，而是模块本身的要求。 community.proxmox 里的每次 SDN 写入都会拿一把全局集群锁，应用待定配置，然后释放：先 get_global_sdn_lock()，再 apply_sdn_changes_and_release_lock()。并行运行它们，反正也会在锁上排队；throttle 只是让你别自欺欺人。还值得知道的是，失败时能否回滚取决于版本：模块会检查 is_lock_and_rollback_supported，在较老的 PVE 上，它会告诉你没法回滚，而不是去回滚。\n有一个纯外观上的问题会让你怀疑自己。在 1.6.0 中，proxmox_vnet 每次创建都会把整个参数字典作为一条 Ansible 警告输出：\nself.module.warn(f\u0026#34;{vnet_params}\u0026#34;) self.proxmox_api.cluster().sdn().vnets().post(**vnet_params) 那是有人忘了删的调试输出。是噪音，不是故障。\n建好外壳，不带磁盘 现在轮到虚拟机，这也是这个设计证明自己价值的地方。每台虚拟机都在 Proxmox 里建好，CPU 数对，内存对，固件对，网卡对，接在正确的 VLAN 上。一块磁盘都没有。\n没有磁盘的外壳创建得快，删除不花钱，如果有人不小心启动了它，它会启动到 PXE 提示符。你可以一个下午建四百个，看一看结果，觉得不对，全部删掉再来一遍。什么都没复制，什么都没关机，也没人察觉。\n派生值是声明，不是任务。Ansible 会针对当前作用域内的主机惰性求值，所以每台虚拟机都能拿到自己的值，一个 set_fact 都不用：\n# group_vars/all.yml pve_vmid: \u0026#34;{{ vmid_base | int + (vm_moid | regex_replace(\u0026#39;^vm-\u0026#39;, \u0026#39;\u0026#39;) | int) }}\u0026#34; pve_bios: \u0026#34;{{ \u0026#39;ovmf\u0026#39; if vm_firmware == \u0026#39;efi\u0026#39; else \u0026#39;seabios\u0026#39; }}\u0026#34; pve_cores: \u0026#34;{{ vm_cores_per_socket | int }}\u0026#34; pve_sockets: \u0026#34;{{ ((vm_num_cpu | int) / (vm_cores_per_socket | int)) | round(0, \u0026#39;ceil\u0026#39;) | int }}\u0026#34; VMID 来自 vCenter 的 MoID。 vm-42 变成 20042。这比看上去更要紧：切换 play 必须找到构建 play 创建的那台虚拟机，而重跑必须落在同一台上，而不是悄悄再建第二台。让 API 分配下一个空闲 ID（省略 vmid 时就会这样，我上次写过）会让这一点无法实现。\n内存不需要换算。 VMware 报告 config.hardware.memoryMB，Proxmox 要的也是 MB。插槽数则需要：VMware 给你的是 vCPU 总数和每插槽核数，Proxmox 要的是插槽数和核数。\n- name: Create the VM shell delegate_to: localhost community.proxmox.proxmox_kvm: node: \u0026#34;{{ proxmox_node }}\u0026#34; vmid: \u0026#34;{{ pve_vmid }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; cores: \u0026#34;{{ pve_cores }}\u0026#34; sockets: \u0026#34;{{ pve_sockets }}\u0026#34; memory: \u0026#34;{{ vm_memory_mb }}\u0026#34; ostype: \u0026#34;{{ pve_ostype }}\u0026#34; bios: \u0026#34;{{ pve_bios }}\u0026#34; scsihw: \u0026#34;{{ default_scsihw }}\u0026#34; efidisk0: \u0026#34;{{ {\u0026#39;storage\u0026#39;: pve_target_storage, \u0026#39;efitype\u0026#39;: \u0026#39;4m\u0026#39;, \u0026#39;pre_enrolled_keys\u0026#39;: false} if pve_bios == \u0026#39;ovmf\u0026#39; else omit }}\u0026#34; agent: \u0026#34;enabled=1\u0026#34; onboot: false state: present 故意设 onboot: false。 迁移进行到一半时，什么都不该自己启动，尤其是一台磁盘还在被另一个虚拟化平台写入的机器。\n固件必须弄对，没得商量。 一个 UEFI 客户机导入到 SeaBIOS 虚拟机上，会导入得完美无缺，然后拒绝启动，而你会在上面耗掉一个小时。config.firmware 是 efi 或 bios，直接对应 ovmf 和 seabios。UEFI 客户机还需要一块 EFI 变量盘，它必须和虚拟机一起创建，原因见下文。\nproxmox_kvm 不会修正网卡，也不会告诉你 上次我写过，proxmox_kvm 宁可不收敛也不去更新。这里是更尖锐的版本，写本文时它咬了我一口，值得说得精确些。\nupdate 默认为 false，所以对一台已存在的虚拟机重跑什么都不做。这没问题，文档里也写了。但设置了 update: true，模块仍然拒绝碰某些参数：\n# If update, don\u0026#39;t update disk (virtio, efidisk0, tpmstate0, ide, sata, scsi) # and network interface, unless update_unsafe=True if update_unsafe is False: ... if \u0026#34;efidisk0\u0026#34; in kwargs: del kwargs[\u0026#34;efidisk0\u0026#34;] 它把这些参数从请求里删掉，然后继续执行。于是你在清单映射里改正了一块网卡，带 update: true 重跑，看着 Ansible 报告 changed，而网卡和之前错得一模一样。changed 是真的，载荷里别的东西被更新了，但不是你要修的那个。\nupdate_unsafe: true 解除了这个限制，而这个名字很诚实。同一道防护也覆盖磁盘，所以在有磁盘的虚拟机上，一次不安全的更新是凭空多出一份磁盘副本的好办法。这不是迁移期间该去伸手碰的开关。\n出路是根本不用 net。网卡用 proxmox_nic 来加，这个模块的全部工作就是一个接口，而且能正确收敛：\n- name: Attach each NIC to its VNet delegate_to: localhost community.proxmox.proxmox_nic: vmid: \u0026#34;{{ pve_vmid }}\u0026#34; interface: \u0026#34;net{{ idx }}\u0026#34; bridge: \u0026#34;{{ sdn_vnet_prefix }}{{ pg_vlan[item.backing.port.portgroupKey] }}\u0026#34; mac: \u0026#34;{{ item.macAddress }}\u0026#34; model: \u0026#34;{{ default_net_model }}\u0026#34; state: present loop: \u0026#34;{{ vm_nics }}\u0026#34; loop_control: index_var: idx 这和我上次最终得出的分工一样：proxmox_kvm 用来定义机器，proxmox_disk 和 proxmox_nic 负责之后会变的东西。参数名是 mac，不是 mac_addr。\nefidisk0 没法用同样的方式移出去：proxmox_disk 没有 efitype 或 pre_enrolled_keys，所以它必须在创建时加上，而且第一次就得对。\n把 MAC 带过去。 VMware 从 00:50:56:... 分配 MAC，Proxmox 照单全收，毫无怨言。保留它们意味着 DHCP 预留仍然匹配，绑定 MAC 的许可证仍然有效，任何针对 MAC 写的防火墙规则仍然生效。改掉它们则意味着一整天的小谜团。proxmox_nic 也接受 model: vmxnet3，如果你需要客户机看到和以前一样的网卡；但在 KVM 上，virtio 是更好的网卡，而 Windows 客户机无论哪种都会需要新驱动。\n宁可拒绝，也不去猜 标准端口组上的网卡根本没有 backing.port。它的 backing 是一个带 deviceName 的 NetworkBackingInfo。它不会在映射里，正确的做法是停下来：\n- name: Every NIC must sit on a distributed portgroup with a VNet ansible.builtin.assert: that: - vm_nics | rejectattr(\u0026#39;backing.port.portgroupKey\u0026#39;, \u0026#39;defined\u0026#39;) | list | length == 0 - vm_nics | map(attribute=\u0026#39;backing.port.portgroupKey\u0026#39;) | reject(\u0026#39;in\u0026#39;, pg_vlan.keys() | list) | list | length == 0 fail_msg: \u0026gt;- {{ inventory_hostname }} has NICs that do not map to a Proxmox VNet. Attaching it to the wrong network is worse than not building it. 两个条件而不是一个，因为第一个必须先于第二个运行：对一个没有 port 的网卡做 map(attribute=...)，会在未定义的查找上炸掉。先把没有形状的拒掉，再拿剩下的去对照映射。\n一个导出，挂载两次 让整件事变便宜的就是这一部分。\n把一个 NFS 导出放在两个虚拟化平台都能挂载的地方。vCenter 看到的是一个叫 nfs-migration 的数据存储；Proxmox 节点挂载同一个导出，看到的是 /mnt/pve/nfs-migration。然后用存储 vMotion 把 VMDK 迁到上面。\n存储 vMotion 是在线的。客户机全程照常提供服务。什么都没切换，不需要维护窗口，半路放弃也只是浪费了些 I/O，没有别的后果。它是迄今为止最慢的阶段，却不花任何代价。\n- name: Relocate to the NFS datastore delegate_to: localhost throttle: 2 community.vmware.vmware_vmotion: moid: \u0026#34;{{ vm_moid }}\u0026#34; destination_datastore: \u0026#34;{{ nfs_datastore_vmware }}\u0026#34; timeout: \u0026#34;{{ vmotion_timeout }}\u0026#34; timeout 默认为 3600，也就是一小时。 一个 2 TB 的 VMDK 赶不上，而失败的方式阴险得不声不响：Ansible 任务失败了，vMotion 却在 vCenter 里继续运行。你现在有一个说自己失败了的 playbook，和一个仍在忙碌的环境。把它设成符合你实际存储情况的值。\nthrottle: 2，因为瓶颈不在控制节点。 存储 vMotion 受限于存储阵列和网络。同时跑六个不会给你六倍吞吐量；它给你的是六个慢吞吞的迁移和一个怒气冲冲的存储团队。\n这个模块的幂等性正合你意：如果虚拟机已经在目标数据存储上，它会设置 storage_vmotion_needed = False，所以重跑一遍来收拾掉队的虚拟机是安全的。\n等这一步结束，数据就躺在 Proxmox 已经挂载的存储上了。因此，再也不需要任何东西去复制它们。永远不需要。\n切换 这是唯一一个要付出停机代价的 play，其内部顺序没有商量余地。\n首先，一个很容易漏掉的问题：清单现在已经过时了。 它是在 vMotion 之前收集的，所以 vm_disks 里存的还是旧的数据存储路径。从那些路径导入，你就是在让 Proxmox 指向一个它看不到的路径。\n- name: Re-read the inventory now the disks have moved ansible.builtin.meta: refresh_inventory 这也是清单配置里关掉缓存的原因。热缓存会把它本该替换掉的过时数据原样交还给 refresh_inventory。这是一个实打实的取舍，vCenter 不快，但这里路径一错，就是窗口内的一次失败切换，相比之下多一次往返很便宜。\n然后关机。导入一个 ESXi 主机还开着的 VMDK，最多只能得到一个崩溃一致的副本：\n- name: Shut the guest down in VMware delegate_to: localhost vmware.vmware.vm_powerstate: moid: \u0026#34;{{ vm_moid }}\u0026#34; state: \u0026#34;{{ \u0026#39;shutdown-guest\u0026#39; if vm_power_state == \u0026#39;poweredOn\u0026#39; else \u0026#39;powered-off\u0026#39; }}\u0026#34; timeout: 600 force: true shutdown-guest 是通过 VMware Tools 进行的正常关机；force: true 会硬停止任何在超时时间内关不掉的机器。在新模块里，参数叫 timeout，而不是弃用模块里的 state_change_timeout。\n然后是导入，这是关键转折：\n- name: Import each VMDK onto its VM delegate_to: localhost throttle: 2 community.proxmox.proxmox_disk: vmid: \u0026#34;{{ pve_vmid }}\u0026#34; disk: \u0026#34;scsi{{ idx }}\u0026#34; storage: \u0026#34;{{ pve_target_storage }}\u0026#34; import_from: \u0026gt;- {{ item.backing.fileName | regex_replace(\u0026#39;^\\[[^\\]]+\\]\\s*\u0026#39;, \u0026#39;/mnt/pve/\u0026#39; ~ nfs_storage_pve ~ \u0026#39;/\u0026#39;) }} format: \u0026#34;{{ pve_target_format }}\u0026#34; timeout: \u0026#34;{{ import_timeout }}\u0026#34; create: regular state: present loop: \u0026#34;{{ vm_disks }}\u0026#34; loop_control: index_var: idx regex_replace 承担了两个世界之间的翻译。vCenter 把磁盘命名为 [nfs-migration] app01/app01.vmdk；Proxmox 则在 /mnt/pve/nfs-migration/app01/app01.vmdk 访问同一个文件。同一个导出，同样的字节，没有第二份副本。你保留描述符 .vmdk，忽略它旁边的 -flat.vmdk：qemu-img 会读取描述符并顺着它找到数据区。\n关于 import_from 有三件事，都写在模块里，都值得在窗口打开之前知道。\n它只在创建时生效。 在更新分支里：\n# \u0026#39;import_from\u0026#39; fails on disk updates playbook_config = self.get_create_attributes() playbook_config.pop(\u0026#34;import_from\u0026#34;, None) 如果那台虚拟机上已经有 scsi0，这个参数就会被丢掉，你得到的只是一次普通更新。所以一次失败的导入之后重跑，并不会重新导入。它悄无声息地什么都不做，然后报告成功。如果导入出了问题，先删掉磁盘再试。\ntimeout 默认为 600 秒。 十分钟，用来导入并转换一台虚拟机的磁盘。模块自己的文档都说要调高它；听它的。\n而且绝对路径需要 root。 文档对此说得很直白：\n\u0026lt;STORAGE\u0026gt;:\u0026lt;VMID\u0026gt;/\u0026lt;FULL_NAME\u0026gt; or \u0026lt;ABSOLUTE_PATH\u0026gt;/\u0026lt;FULL_NAME\u0026gt;. \u0026lt;STORAGE\u0026gt;:import/\u0026lt;FULL_NAME\u0026gt; for PVE 9.x and later, to use storage\u0026rsquo;s import directory. Attention! Only root can use absolute paths.\n这和我上次给出、至今仍坚持的建议撞得很别扭：用限定范围的 API 令牌，不要用 root。这条建议对这里其他每个阶段都成立：发现、SDN、构建外壳、设置启动顺序，用令牌都没问题。唯独这一个任务不行，而且无论给角色多少权限都改变不了，因为限制针对的是用户是不是 root，而不是某项权限。\n老老实实的出路有三条，没有什么巧妙的第四条：\nPVE 9.x：用 \u0026lt;storage\u0026gt;:import/\u0026lt;file\u0026gt;，继续用令牌。 PVE 8.x：这一个任务以 root@pam 执行，仅此一个。 PVE 8.x，不允许通过 API 用 root：改为通过 SSH 运行 qm importdisk。 playbook 通过一个开关支持前两种，因为假装不是这样，只会把问题转嫁给运行它的人。\n最后是启动顺序，这是一次普通更新，因此不受 update_unsafe 限制的影响：\n- name: Boot from the first imported disk delegate_to: localhost community.proxmox.proxmox_kvm: node: \u0026#34;{{ proxmox_node }}\u0026#34; vmid: \u0026#34;{{ pve_vmid }}\u0026#34; boot: \u0026#34;order=scsi0\u0026#34; update: true 什么都不会启动客户机。这是故意的。手工启动它，看着它起来，然后才去考虑删除 VMware 里的任何东西。\n运行它 整件事是一个 playbook，按阶段打标签，因为这些步骤你不会想一起跑：\nansible-playbook migrate.yml --tags discover # look, change nothing ansible-playbook migrate.yml --tags sdn # build the VLANs ansible-playbook migrate.yml --tags build # build the diskless shells ansible-playbook migrate.yml --tags relocate # storage vMotion, live ansible-playbook migrate.yml --tags cutover # power off and import --limit 自始至终都是你的朋友。先做一台虚拟机。再做一个集群。playbook 对你一口咬多少没有意见，而清单免费给了你分组：power_poweredOn、cluster_\u0026lt;name\u0026gt;，以及来自 groups 块的 vmware_windows 和 vmware_linux。\n在指向某个目标之前，先确认你指向的是什么：\nansible-inventory --graph ansible-inventory --host some-vm 我仍然会留意的事 当这套东西碰上真实环境时我预计会遇到的问题，现在就写下来，免得事后我说自己早就料到了：\nWindows 客户机不会从 VirtIO SCSI 控制器干净地启动，除非事先装好驱动。virtio-scsi-single 是正确的控制器，却是交给一台从没见过它的 Windows 虚拟机的错误控制器。那本身就是一整个问题，上面的任何内容都解决不了它。 VMware Tools 应该在迁移之前卸掉，而不是之后。 快照。 带快照链的虚拟机每块磁盘不止一个 .vmdk，导入基础盘得到的是快照之前的状态。先合并。 config.hardware.device 的顺序决定了哪块磁盘成为 scsi0。在我看过的每个地方，它都和客户机自己的顺序一致，但在一台多磁盘的数据库服务器上，我会先核实，再在窗口里信任它。 独立磁盘和 RDM 磁盘不能像普通磁盘那样做存储 vMotion。 这些都不改变整体形状。先建好外壳，在一切仍在运行时搬磁盘，把停机限制在唯一需要它的那个 play 里。\n","permalink":"https://blogs.damiendye.uk/zh/ansible/vmware-to-proxmox-ansible/","summary":"用动态清单读取 vSphere 环境，把它的 VLAN 镜像到 Proxmox SDN，并在搬动任何一块磁盘之前把每台虚拟机重建为不带磁盘的外壳。为什么每个 VMware info 模块都藏起了迁移唯一需要的那个字段，为什么 vlan_id 有三种不同的类型，以及为什么把同一个 NFS 导出挂载两次能把切换变成一次本地读取。","title":"用 Ansible 从 VMware 迁移到 Proxmox：搬动一个字节之前先把外壳建好"},{"content":"2017 年到 2019 年，我在 .uk 的注册局 Nominet 做 DNS 注册系统管理员。下文关于 ICANN 的内容全部是公开记录，我都附了链接。凡是我凭那份工作的亲身经历来讲的地方，我会说明。\n问大多数工程师 DNS 是谁在管，你会得到两种回答之一。要么耸耸肩，要么说些十三台根服务器之类的话。两种都错，而第二种错得更有意思，因为它指向的是机器，而不是那个文件。\nDNS 的控制权并没有分散在十三台服务器上。它就在一个文本文件里，以及决定其中内容、编辑它、签名它、发布它的那寥寥几家机构手里。系统里的其他一切，每一台解析器、每一家注册商、你运行过的每一个区域，都在这个文件的下游，权威都来自它。\n本文讲的是谁握着这个文件，2016 年的移交到底移交了什么，以及握着它的人拿它做了什么。底下的机制，即注册局到底是什么、名字怎么进入注册局、谁能把一个名字拿走，留给续篇。\n在 ICANN 之前，靠的是打电话 现在这套安排没有一样是必然的，而历史说明了 ICANN 当初到底是为了解决什么而建的。\n起初根本没有 DNS。从 1972 年开始，只有一个文本文件 HOSTS.TXT，里面记着 ARPANET 上每台机器的名字和它所在的地址。它由 Elizabeth Feinler 和她的团队保管在斯坦福研究所，想把你的机器加进去，就得在上班时间给网络信息中心打电话申请。其他所有人时不时把文件拉下来一份，然后祈祷它是最新的。\n这种做法没法扩展，到 20 世纪 80 年代初显然已经撑不住了。DNS 就是为取代它而造的：一棵树，逐级向下委派，这样就没有哪一个办公室需要握着整份名单。\n但树顶总得有人握着。好多年里，这个人就是一个人。南加州大学的 Jon Postel 靠美国政府的科研经费负责名字和号码的分配。IANA，即互联网号码分配机构，那时还算不上一个机构。它就是 Postel 和几个同事，之所以行得通，是因为运营网络的人信任他。\n钱是 1993 年来的，那年美国国家科学基金会把注册业务外包给了 InterNIC，其中就有 Network Solutions。1995年9月14日，免费注册结束。Network Solutions 收费每年 50 美元，最少两年，其中 30% 进了一个政府基金，后来法院裁定那是非法征税。一家公司，一个价格，别无去处，到 1997 年就招来了反垄断诉讼。\n然后在 1998年1月，Postel 做了一件事，让你看清根的权威到底是由什么构成的。\n他凭着自己的声望，别无其他，给十二家根服务器运营者中的八家发了邮件，请他们把服务器指向 IANA 的机器，而不是 Network Solutions 的。八家全都照做了。 大约有一个星期，互联网的权威根就在 Jon Postel 请大家去看的那个地方。\n他称之为一次测试。很多人把它看作一次示威：根属于建造它的工程师，而不属于某个政府承包商。华盛顿采取了哪种解读，看反应就清楚了。负责此事的总统顾问 Ira Magaziner 告诉 Postel，他这辈子别想再碰互联网的事。测试被撤回了。\n同年 9 月，ICANN 在加利福尼亚注册成立。次月，Postel 去世。\n所以本文讲的这套安排，是为了解决两个实实在在的问题而建的：一个由不受问责的垄断者出售的命名空间，以及一个权威全靠某一个人广受信任的根。两个都是真问题。ICANN 就是对它们的回答。那个回答最后变成了什么样，就是本文剩下的内容。\n比规则活得更久的两个代码 继续往下之前，先说那个年代留下的两个尾巴，因为两者合起来，比 ICANN 章程里的任何条文都更能说明这套系统实际上是怎么运转的。\n英国拿了错的代码，而且一直留着。\n1984年10月的 RFC 920 规定，国家顶级域名取自 ISO 3166 中的两字母代码。英国的 ISO 3166 代码是 GB。按照字面规则，英国的域名应该是 .gb。\n它不是，因为英国先到了。学术网络 JANET 在 ISO 派生的名单拟定前几个月，就已经把 uk 定为自己的顶级标识，.uk 于 1985年7月24日注册。.gb 也被分配了，前提是 .uk 日后会迁移过去。\n迁移从来没有发生。没有人去推动它。此后 .gb 在根里待了四十年，一生中总共只收获了一个二级域名，即英国政府的 hmg.gb，而且几乎没人用。ISO 最终向既成事实低头，应英国的请求，把 UK 作为例外保留了下来。\n顺带一提，没有谁被抢了东西。UK 不是别国的代码，它在 ISO 3166 中是应英国本国请求、专为英国例外保留的，从来没有其他国家对它有过主张。这正是没人追究的原因：没有受害方来投诉。\n这也正是它值得一讲的地方。ISO 3166 规则对任何想进来的人都是死的：名单上没有你，就没有国家代码域名。这就是为什么各个地区要先游说加入 ISO 3166，也是为什么未获承认的地方根本没有 ccTLD。而对一个已经在根里的既得者来说，同一条规则原来只是个建议。\n甚至可以公平地说，英国最后拿到的名字更好。GB 是大不列颠，不包括北爱尔兰。UK 包括。这个不合规的代码，比合规的那个更准确地描述了这个国家。\n还有，苏联至今还在根里。 这一个更奇怪。\n.su 于 1990年9月19日委派给苏联。十五个月后，苏联就不复存在了。\n它还在。在它所属的国家消失三十五年之后，.su 依然在线并接受注册，截至 2025年5月有超过 111,500 个名字，由莫斯科管理。\n规则说 ccTLD 来自 ISO 3166。ISO 3166 上没有苏联。而且这条规则也不是从来没执行过：东德的 .dd 和南斯拉夫的 .yu，都随着这些国家的消失而撤销了。只有 .su 没走，而且从来没有人能用这条规则解释其中的区别。\n它后来变成什么样，不难预料。2011 年底 .ru 收紧注册审核后，生意就搬到了隔壁。.su 下的恶意网站在 2011 年翻了一番，2012 年又翻了一番，这和本文后面讲到的廉价新 gTLD 与免费 ccTLD 是同一个故事：滥用像液体，哪里审核最松，就往哪里流。\n于是，有两个国家代码活得比产生它们的规则更久。.uk 是因为没人逼既得者搬家，.su 是因为在它的国家消失时没人让这个委派撤销。两种情况下规则都写得清清楚楚，两种情况下都没人执行，因为执行它就意味着从已经拥有它的人手里拿走东西。\n这就是 DNS 中权威的全部本性，在 ICANN 出现之前就已经看得见，正因如此，下面的一切都不该让你吃惊。\n移交之前的十八年 ICANN 于 1998年9月30日在加利福尼亚注册成立，随即与美国商务部签署了一份谅解备忘录。它不是先独立、后来才变成美国的。它从第一天起就是美国的，生来如此，而这一安排以这样或那样的形式续了十八年。\n先说它做对的那件事，因为确实有一件，而且很要紧。\n1999 年，ICANN 打破了注册垄断。之前 .com 只能在 Network Solutions 一家买；共享注册系统让其他注册商也能在同一个区域里卖名字，价格降了下来，而且一直在降。这是实打实的成就，今天一个域名之所以是这个价，原因就在这里，本文后面的任何内容都抵消不了它。\n然后，贯穿其余一切的那个模式开始了。\n2000 年。 ICANN 举办了一次全球选举，由互联网用户直接选出五名董事。此后再没有过。取而代之的一般会员结构只提建议，没有投票权。公众第一次也是最后一次在 ICANN 拥有有约束力的发言权，被 ICANN 自己停掉了。\n2005 年。 在突尼斯举行的信息社会世界峰会上，世界上很大一部分国家反对由美国握着根。结果产出的是互联网治理论坛：一个每年开一次、对任何事都没有权力的会议。根的安排没有变。\n2005 年。 .xxx 事件，持续了六年，是本文中最尖锐的单个证据，证明管辖权并不抽象。美国的社会保守派游说团体向商务部施压。NTIA，即国家电信和信息管理局，是商务部中持有与 ICANN 协议的那个部门，它起草了给 ICANN 的信函，用它自己的话说，是向 ICANN 调集了资源。原本正走向批准的董事会否决了申请，九比五，接着又是八比四，主席和 CEO 都改变了立场。时任欧盟主管专员 Viviane Reding 称这是美国政府政治干预 ICANN 的第一个明确案例。.xxx 最终在 2011 年获批，商务部随即宣布对此感到失望。\n一场美国国内的游说活动，经由一个美国联邦机构，改变了互联网上存在哪些顶级域名。没有条约，没有法院，美国之外没有任何投票。\n2009 年。 与商务部的联合项目协议被《承诺确认书》取代，各方普遍报道为 ICANN 走向独立。IANA 职能合同则原封不动。\n然后，真正推动它的那件事来了，而那根本不是 ICANN 做的。\n2013 年。 Edward Snowden。10 月 7 日，曝光已经持续了几个月，ICANN、互联网工程任务组、互联网架构委员会（IAB）、万维网联盟、互联网协会以及全部五家地区互联网注册机构的负责人发表了《蒙得维的亚声明》，呼吁 ICANN 和 IANA 职能全球化，并明确指出无处不在的监控对全球信任造成的损害。互联网自己的技术领导层，包括签署人之一的 ICANN 首席执行官，公开说出了美国的管理权已经成了一个负担。\n2014年3月14日。 NTIA 宣布打算移交其对 IANA 职能的管理权。\n2016年10月1日。 合同到期。\n所以这次移交不是挣来的，也不是凭功绩授予的。它是让出来的，在十八年之后，因为一桩美国情报丑闻让现有安排在政治上站不住了，而技术界公开说了出来。\n在你读到移交实际做了什么的时候，值得记住这一点。\n2016 年的移交改变了什么，又没改变什么 你会听到有人说，美国人在 2016 年把互联网交出去了。任何主张 ICANN 是美国控制工具的人都会被这样回敬，如果他们事实没搞对，争论就在那里输了。所以要把事实搞对。\n2016年10月1日，NTIA 与 ICANN 之间的 IANA 职能合同到期，没有续签。这是真的。美国政府不再持有一份赋予它根区变更审批权的合同，新章程设立了一个“赋权社群”，理论上能否决预算、罢免董事。\n下面是没有改变的东西，而且这不是疏忽。它是作为目标白纸黑字写下来的。\n移交方案明确规定，ICANN 所在的法律管辖地保持不变。新章程要求 ICANN 总部继续设在加利福尼亚。移交期间建起的整套问责结构都建立在加州法律之上。它的运作方式，是让 ICANN 成为一家加州非营利组织，可以请加州法院要求它遵守自己的章程。\n所以在这次伟大的移交之后：ICANN 是一家加州公司，受美国联邦法律和加州法律管辖，它的问责机制只能在美国法院执行，别处都不行，它为一个根区制定政策，而这个根区由一家美国公司根据与美国商务部的协议来编辑和签名。\n合同没了。管辖权被刻意保留了。而管辖权才是有牙齿的那部分，因为它不需要任何人出手干预。它自动生效，时时刻刻，默认如此。\n最清楚的例证是制裁。OFAC，即外国资产控制办公室，隶属美国财政部，负责执行美国的经济和贸易制裁，决定美国个人和公司可以和谁做生意。ICANN 是加州公司，所以受 OFAC 约束，这就限制了 ICANN 可以与谁签约、给谁认证。\n范围要说准确：它覆盖通用顶级域名（gTLD）注册局和注册商，因为它们持有 ICANN 合同。它不覆盖国家代码（ccTLD）的运营，后者完全在 ICANN 的合同结构之外。但效果远远漏出了法律边界，因为美国以外的注册商也对自己的客户执行 OFAC 限制，要么是误以为持有 ICANN 合同就必须这么做，要么干脆是照抄美国的注册人协议。美国的外交政策沿着注册商链条往下传播，靠法律，也同样靠模仿。\n不存在哪一种说法，能让“谁控制 DNS”的答案不从美国开始。\n那么面对 ICANN 的一项决定，还剩谁能有所作为，这是问题的另一半，最好等手里有了一份可以检验它的记录再问。本文最后会回到这个问题。\n根是一个文本文件 谁说了算就讲到这里。下面是他们说了算的那个东西，而且你直接就能把它拉下来。ICANN 通过区域传送发布根区，即 AXFR，一种复制整个区域而非单条记录的 DNS 机制，谁要都给，不需要任何凭据：\ndig . AXFR @xfr.dns.icann.org 此刻它是 1,578,790 字节，共 24,886 行。其中有 1,439 个委派，即现存的每一个顶级域名，其中 1,350 个带有 DS 记录，也就是委派签名者，把子区域的签名密钥绑定到父区域的那个指纹，因此属于签名链的一部分。\n一兆半。整个互联网的命名空间，小到可以用邮件发送。\n这个文件就是根的全部权威。一台冷启动的解析器除了根提示里的地址之外一无所知，一旦拿到答案，它跟着走的就是这个文件里的委派，别无他处。改掉其中一个委派，你就改变了整个国家的流量去向。没有第二份持不同意见的副本，没有共识协议，解析时也没有投票。只有这个文件。\n所以“谁控制 DNS”这个问题，就收窄成一个窄得多的问题：谁能修改这个文件，之后又由谁来签名。\n三家机构经手 答案是一条由三家组成的链，值得弄清楚各自做什么，因为所有的争论都藏在这些区别里。\nPTI，即公共技术标识符，ICANN 的附属机构，负责执行 IANA 职能。它接收 TLD 运营者提交的根区变更请求，检查，然后授权。这是文书层，而且是刻意如此：整个设计意图就是让 IANA 做一个仔细而没有自由裁量权的文书。\nVerisign 是根区维护者。它接过授权后的变更，编辑区域文件，用根区签名密钥签名，然后发布出去供分发。Verisign 是一家美国上市公司，它是根据与美国商务部的合作协议来做这件事的。\n根服务器运营者随后提供服务。它们是链条中权力最小的部分，也是唯一一个大家听说过的部分。\n注意自由裁量权实际在哪里。不在运营者那里。其实也不在文书那里。它在制定文书所执行政策的那一方，也就是 ICANN，以及握着笔和签名密钥的那家公司，也就是 Verisign，后者依据的是与美国政府的协议。\n十三台里的十台 根服务器的字母值得完整列出来，因为人们引用“十三”这个数字时，好像它意味着分散：\n字母 运营者 国家 A Verisign 美国 B USC Information Sciences Institute 美国 C Cogent Communications 美国 D University of Maryland 美国 E NASA Ames Research Center 美国 F Internet Systems Consortium 美国 G 美国国防部（DISA） 美国 H 美国陆军研究实验室 美国 I Netnod 瑞典 J Verisign 美国 K RIPE NCC 荷兰 L ICANN 美国 M WIDE Project 日本 十三个字母，十二家机构，因为 Verisign 同时握着 A 和 J。十三台里有十台在美国运营。其中两台属于美国军方。\n这不是阴谋，是化石化的历史。这些是 20 世纪 80 年代就在网上、之后再没离开的机构。但一个让美国军方运营着互联网两台根服务器的历史偶然，依然是美国军方在运营着互联网的两台根服务器，把它说成一个全球系统，是件怪事。\n这些运营者也没有任何有实际意义的合同约束。ICANN 不雇用他们，也没有什么直截了当的办法撤换他们。他们提供根服务，是因为他们一直在提供。系统在这一层的稳定，靠的是善意，再没有更结实的东西，这在出事那天之前一直行得通。\nICANN 并不运营根区 这是本文最重要的一个事实，却几乎从来没人说出口，所以它单独占一个标题。\nICANN 并不运营根区。\n它决定里面应该放什么。它不编辑这个文件，不签名这个文件，也不提供这个文件。编辑和签名的是 Verisign。提供服务的是十二家机构。ICANN 的工作是说出答案应该是什么，然后让别人把它变成现实。\n正是这种分工，是唯一在制约 ICANN 的东西。\n设想一下没有这种分工的样子。一个机构制定政策、握着笔、拥有签名密钥、运营服务器。从决定一件事到这件事在全世界生效，中间没有任何别的方，没有第二双手，没有谁有资格说不。无论你怎么看下文中 ICANN 的记录，那种安排只会更糟。\n现在的情况是，有三道刹车。没有一道写在章程里。\n文件是公开的。 任何人都能通过 AXFR 拉取根区，命令就在本文上面，然后和昨天的版本做 diff。你没法悄悄改掉一个委派。 改动得由别人来做。 编辑和签名由维护者完成。这就多了一家必须同意去做的机构，也多了一家可能拒绝的机构。 运营者是出于同意在提供服务。 如上所述，ICANN 与根服务器运营者之间没有任何有实际意义的合同。他们分发这个区域，是因为他们一直在分发。没有什么强迫他们分发任何东西，而且正如 Postel 在 1998 年所展示的，只要一个他们信任的人客客气气地开口，这份同意就能转向。 最后一道才是真正的兜底，而且在人们记忆所及的时间内就在下一层用过。2003 年 Verisign 给 .com 加通配符时，互联网系统联盟（ISC）在 BIND 里发布了 delegation-only，运营者直接不再采信那些答案。没有人需要在某个政策论坛上赢得争论。技术社群拒绝的能力哪儿都没写，而所有相关的人都知道它在那里。\n现在说让人不舒服的部分，因为这比听起来要薄。\n这道制约没人设计过。它不是分权，而是 20 世纪 90 年代分工方式的一个偶然，2016 年的移交既没有加强它，也没有把它写下来。没有任何规则说，制定政策的机构有朝一日不能同时握笔。\n而且做制约的那一方，是一家正在和 ICANN 做生意的商业公司。Verisign 握着根区维护者的角色，握着 .com 合同，还有（本文后面会摊开讲）一份与 ICANN 签下的 2,000 万美元协议，跟 .com 涨价是在同一轮谈判里签的。一道依赖一方愿意拒绝另一方的制约，在双方开始一起签东西的那一刻就失效了。\n所以这种分工是现行安排里最好的东西。它也是不成文的、无计划的，靠习惯维系着。\n出售命名空间 在任何治理争论之前，有件更简单的事能说明，握着命名空间一部分的人在没人拦着的时候会拿它做什么。它一再发生，在每一层都发生过，而它第一次在顶层发生时，持续了十九天。\n2003年9月15日，Verisign 在 .com 和 .net 区域里加了一条通配符 A 记录：\n*.com. IN A 64.94.110.11 这个地址反查是 sitefinder.verisign.com。从那一刻起，.com 和 .net 里的每一个名字都存在了。每一个拼写错误、每一个未注册的域名、每一个格式错误的字符串、每一个过期的名字，全都能解析，指向一个 Verisign 搜索页面，上面挂着 Verisign 的广告。\n为什么这不是一个关于广告的故事 当时的抱怨大多是冲着广告去的，而这没抓住要点。NXDOMAIN 不是一个用户体验功能。它是一个承重的协议信号，DNS 之上有大量软件就是建立在能问一句“这个名字存在吗？”并得到真实回答之上的。\n删掉否定回答，坏掉的东西和浏览器毫无关系。\n邮件是最糟的部分，而且至今仍是人们说错的部分。 Verisign 并没有发布通配符 MX 记录。它不需要。RFC 5321 §5.1 规定，当 MX 查询什么都没返回时，发送方回退到该域名的地址记录，把它当作优先级为 0 的隐式 MX。Verisign 刚刚给 .com 里每个不存在的域名都配了一条地址记录。于是互联网上每一台 MTA，即每一个邮件传输代理、每一台中继邮件的机器，只要正确遵循标准，现在就都有了 soemcompany.com 的邮件交换器，而那就是 Verisign 的机器。\n连上它的 25 端口，它会回答：\n220 snubby2-wceast Snubby Mail Rejector Daemon v1.3 ready Verisign 声称的意图还算合理：立即拒收邮件，免得它们在全世界的队列里积压。实现却不合理。Snubby 要等发送方 MTA 把邮件正文传完之后才放弃，返回的代码大多数 MTA 会读成临时失败，所以发往拼错地址的邮件不是立刻退回，而是重试好几天才死掉。运维人员在 NANOG 邮件列表上抱怨之后，Verisign 才把它换成了一个基于 Postfix 的应答程序。\n反垃圾邮件也同时坏了，坏得更不声不响。检查发件人的域名是否真实存在，过去是、现在也仍是最便宜、最有效的过滤启发式之一。一夜之间，两个最大 TLD 里的每个域名都存在了。这项检查对一切都返回真，再也区分不了任何东西。\n而其他所有讲 DNS 但不讲 HTTP 的东西，邮件中继、FTP 客户端、网络打印机、监控系统，都不再得到“没有这个主机”，而是得到一台 Web 服务器，表现出来大多是超时和挂起，而不是干净利落的失败。一个死掉的名字现在看起来像一个坏掉的服务。\n一家公司往一个区域文件里加了一条记录，就改变了互联网的失败语义。\n是什么让它停下来的 不是治理。是工程，然后是一个威胁。\n几天之内，ISC 就在 BIND 里发布了 delegation-only 功能，让运营者丢弃来自 TLD 区域的合成答案：技术社群绕开了注册局，而没有向任何人申诉。很多 ISP 都部署了它。\nICANN 要求 Verisign 暂停这项服务。9 月 21 日，Verisign 拒绝了。ICANN 随后在 10 月 3 日提出强制要求，把合同后果写得明明白白，Verisign 于 2003年10月4日撤下了这些记录。IAB 发表了反对注册局通配符的架构意见，ICANN 自己的安全与稳定咨询委员会于 2004年7月9日报告称，这项服务本不该在未经审查的情况下部署，注册局应当逐步淘汰通配符。\n然后 Verisign 在 2004年2月27日起诉了 ICANN，主张 ICANN 叫停它是越权。案子当年 8 月大部分被驳回，剩下的部分在 2006年3月1日和解，而这份和解给了 Verisign 一份新的 .com 注册局协议。\n把这个顺序再读一遍。注册局把它受托运营的命名空间拿去变现，拒绝停止，被迫停止，起诉了迫使它停止的机构，然后从和解中拿回了一份现存最值钱 TLD 的续约合同。它至今还握着这份合同。它就是今天编辑并签名根区的那家公司。\n然后其他人还是都这么干了 叫停注册局并没有叫停这个点子，只是把它往下挪了一跳。如果权威服务器不肯在“不存在”上撒谎，那就由解析器来撒。\n从 2006年8月起，Earthlink 开始把 NXDOMAIN 响应重定向到 Barefruit，提供搜索页面和广告。Paxfire 卖的是同样的东西，另外还把某些输入的关键词重定向给付费广告主。Comcast 的“Domain Helper”大规模地这么干。在英国，BT 和 Virgin Media 都运行过它。从 ISP 的角度看，这笔账让人无法抗拒：拼错的域名是你自己客户的手指头产出的免费库存。\n它的故障模式比 Verisign 那次更糟，因为解析器看得到每一个查询，而不只是一个 TLD。Barefruit 的实现会劫持私有地址空间的 NXDOMAIN，破坏企业网络上的水平分割查询和 VPN 行为。Dan Kaminsky 演示了针对重定向页面本身的跨站脚本（XSS），因为现在世界上每个不存在的主机名都解析到一段攻击者够得着的 HTML，而浏览器把它和别人的域名联系在一起。把错误情况变现，把一次失败的查询变成了一个 XSS 攻击面。\n协议层面的修复 有两件事把它堵上了，两件都值得一提，因为 DNS 里每一个真正的修复都是这个形状：先让谎言可以被发现，再把它写进合同。\nDNSSEC 提供了经过认证的不存在证明。NSEC 和 NSEC3 记录让一个签名区域能够证明某个名字不存在，做验证的解析器会拒绝顶替它的合成答案。“不存在”不再是那个没人能验证的回答。它也不是密不透风：一个在途中剥掉签名的解析器仍然可以改写答案，这正是为什么要在客户端验证、而不是信任解析器，这也是本站已经长篇论述过的观点。\n而 ICANN，说句公道话，在这件事上确实吸取了教训。新 gTLD 注册局协议的规范 6 明令禁止对未注册名字使用通配符、合成记录和重定向，并要求权威服务器返回 Name Error，即 RCODE 3。2012 年那一轮的 1,200 个字符串，每一个都在合同上被禁止做 Verisign 对 .com 做过的事。\n这是实实在在的改进，而值得说准确的是，是什么促成了它：不是治理流程，而是 2003 年那十九天看得见的故障，丢人到十年后被写进了合同。\n而这一切都没碰到国家代码 规范 6 约束的是 gTLD。它约束它们，是因为它们与 ICANN 签了注册局协议，而这份协议就是杠杆。\nccTLD 不签任何这类东西。没有注册局协议，没有规范 6，没有合规部门，没有费用。ICANN 的规则手册里没有任何东西管着一个国家代码注册局如何运营它的区域，这就是为什么下面两件事都成为可能，也是为什么没有谁有资格阻止它们。\n这不等于说 ICANN 不在场，我想把它所处的位置说准确，因为我在接受它的那一头待了两年。\nICANN 对 ccTLD 握着的，是委派本身。 .uk 的每一条 NS 记录、每一份胶水记录、每一条 DS 记录、每一次联系人变更，都在根区里，而进入根区的唯一途径是一份 IANA 变更请求：要对照登记在案的行政和技术联系人核实，按 IANA 的日程处理，而不是按你的。根据 RFC 1591，IANA 还在最后关头决定由谁持有这个委派。重新委派很少见。但它不是假设。\n所以一个国家代码注册局对自己怎么运营拥有主权，而对任何需要在根里可见的东西，则完全依赖第三方。你最需要变更落地的时刻，比如名称服务器迁移，比如一次密钥轮转、它的 DS 必须在旧的撤下之前发布，恰恰就是你在别人队列里排队等着的时刻。这是一个活生生的运维依赖，而不是治理上的抽象，留给续篇去讲。\n现在注意这个组合产生了什么。ICANN 对 ccTLD 的掌控，恰好在给一个守规矩的注册局添麻烦的地方很紧，恰好在可能约束一个不守规矩的注册局的地方缺席。它能卡住你的 DS 记录。它却没法阻止喀麦隆把整个顶级域名指向一个广告页面。\n所以这种做法从来没停过。它只是搬到了合同够不着的地方。\n喀麦隆给整个顶级域名加了通配符，用来收割拼写错误。\n2006年8月，.cm 注册局把区域里每一个未注册的名字都指向了一个满是付费搜索链接的停放页面。这一手毫不隐晦：.cm 就是漏打了 o 的 .com，所以目标市场是现存最大 TLD 的手滑率，而运营者是一个政府机构，即喀麦隆邮电部下属的 ANTIC。\n它很赚钱。NameJet 报告第一天 .cm 的销售额就超过 50 万美元，第一周超过 200 万美元；hotels.cm 在 2009 年卖了 81,100 美元。它对这个区域的安全造成的影响也完全如你所料，因为送上门的拼写错误流量是投递恶意下载的理想渠道。2009年12月，McAfee 把 .cm 评为世界上风险最高的 TLD，其网站中有 36.7% 被评估为存在风险。\nVerisign 被迫在十九天内撤掉同样的把戏。喀麦隆则跑了好几年。区别不在于哪一个更坏。区别在于有一个签了合同。\n托克劳靠白送名字，成了地球上最大的国家代码域名。\n托克劳是新西兰在南太平洋的一块属地，人口约 1,500。它的 ccTLD .tk 由 Freenom 运营，注册分文不取。到 2016 年，它以 31,311,498 个名字成为世界上注册量最大的国家代码域名，这个数字碰巧来自 Nominet 发布的一张世界地图。\n免费并不免费。Freenom 的条款要求免费域名必须有正常流量，并规定如果重定向失效，或者这个名字开始吸引值得拥有的访客，注册局可以把它收回并在上面投放自己的广告。这就是全部生意，而且比 Verisign 那一套更精巧。不用去猜哪些名字值钱。以零边际成本把整个命名空间白送出去，让全世界替你发现值钱的那些，然后把它们收回来，把流量变现。托克劳每年收入的大约六分之一来自于此。\n外部成本落到了其他所有人身上。不经核实的免费注册是批量滥用的理想原料，和廉价新 gTLD 同样的经济学，一路降到了零。到 Meta 提起诉讼时，Freenom 的五个免费 ccTLD，即 .tk、.ml、.ga、.cf、.gq，是国家代码 TLD 中超过一半新钓鱼域名的来源。\n是什么让它停下来的，才是这里要紧的部分。\n不是 ICANN，它既没有合同也没有立场。不是托克劳，它正收着国民收入的六分之一。不是新西兰。是 Meta 的律师，2023年3月，在加州北区法院，以域名抢注和商标为由。\n几天之内 Freenom 就停止了新注册。来自这些后缀的钓鱼从超过 60% 跌到了 15% 以下。Freenom 于 2024年2月和解并退出了域名业务，到当年 3 月，大约 1,260 万个域名，即其组合的 99%，已经停止解析。\n一家公司的法务部门，在一家美国法院，把一千二百五十万个名字从互联网上移除了。DNS 历史上没有任何一个治理机构对命名空间行使过这么大的权力，而它并不是通过治理做到的。\n这是本文第三次发现，“这里到底是什么在执行规则”的答案是加州的一家法院，也是第二次发现，执行者是一个为了自身商业利益行事的私人方，只是那一次碰巧和其他所有人的利益一致。\n而 .uk 也是 ccTLD。 同样没有任何合同管着区域怎么运营，同样没有规范 6，同样有自由给它加通配符或者把命名空间白送出去。它两样都没做。它做的是一套滥用处理流程。\n而整齐的划分到这里就不整齐了，值得故意把它点破。\nNominet 不只运营 .uk。它也运营通用顶级域名，有它自己的，还有替其他运营者运营的几十个，对这些它和其他人一样签 ICANN 注册局协议，包括规范 6 和持续监测。在它自己的平台上，那个没签合同的区域以大约三十比一的比例处于少数。\n所以 ICANN 的要求还是延伸到了 .uk。不是凭权力，它没有这个权力，而是因为没有哪个头脑清醒的人会为了给一个区域保留豁免，并行运行两套运维制度。你把严格的那一套建一次，然后所有东西都跑在上面。\n这和前面 OFAC 的问题是同一个形状：ICANN 的正式管辖止于合同，而它的实际影响越过合同继续延伸，由那些觉得处处合规比维持区别更便宜的运营者传播开来。实际上受 ICANN 管辖的注册局集合，明显比签过任何东西的集合要大。\n那片资产、运营它是什么滋味，以及 Nominet 后来发生了什么，是另一篇文章的内容。\n这就留下了本文一再从不同方向走到的那个问题：当合同够不着的时候，到底是什么阻止一个注册局想干啥就干啥？\n续篇会从 Nominet 内部来回答：发布流水线、EPP（注册商用来在注册局里创建和修改名字的协议）及其底层的经济学、注册局规模的签名，以及到底谁能把一个名字拿走。本文讲的是它上面那一层，而上面那一层的表现并不好看。\n钱 下一项指控更简单，需要的解读也更少。\n他们发明的产品 2012 年，ICANN 开放了新通用顶级域名的申请。任何人都可以申请运营点号右边的一个新字符串，评估费 185,000 美元，大部分不退。\n它收到了 1,930 份申请。也就是超过 3.5 亿美元的评估费，在一个字符串都还没委派之前就收进来了。提早撤回的申请人按递减比例拿回了一部分；绝大部分都留下了。\nICANN 把这笔费用称作成本回收。\n然后，凡是两个申请人想要同一个字符串、又不肯私下解决的，ICANN 就在他们之间拍卖，留下拍卖所得，又是 240,590,128 美元。所以这个项目申请要收你一次钱，赢了再收你一次。\n问一问 2008 年就该问的那个问题：这是在解决什么问题？\n公开的理由是竞争、选择和创新。十四年过去，结果是可以衡量的。大约 1,200 个字符串被委派。截至 2026年8月，1,112 个新 gTLD 一共持有约 4,870 万个域名，而单单 .com 就是这个数的十倍以上。原有的垄断丝毫没被撼动。它反倒得到了一次涨价。\n“选择”这个论点被它自己的证据推翻了。2012 年的申请中有 34% 是 .brand 字符串，也就是一家公司申请自己的商标，主要是为了不让别人拿到。这对任何人来说都不是新的选择。很多根本没用过。麦当劳从来没启用过 .mcdonalds。英特尔于 2016年7月接手 .intel，2020年11月就终止了它，赛门铁克早两个月放弃了 .symantec，SC Johnson 申请了八个字符串，包括 .scjohnson、.raid、.glade、.off、.duck，然后在 2022年1月全部终止。申请窗口过去六年后，超过十分之一的新 gTLD 仍未启用，144 个还没进入日升期，欧莱雅守着一堆从未宣布任何计划的字符串。\n这是大量死掉的命名空间。下面说说为什么 ICANN 并不在乎。\n根据基础注册局协议，一个 gTLD 运营者每年向 ICANN 支付 25,000 美元的固定费用，外加每笔注册 0.25 美元，但只有在该 TLD 一个季度的交易量超过 50,000 笔之后才收。低于这个门槛，就完全没有交易费。\n读一读这意味着什么。ICANN 从一个里面一个名字都没有的顶级域名获得的收入，和从一个有四万个名字的顶级域名获得的完全一样：每年 25,000 美元，年年如此，为了一个没人用的委派。一个死掉的字符串在 ICANN 的账本上不是失败。它是一份没有支持负担的年金。\nICANN 没有任何财务上的理由去关心这些东西有没有用，也很难找到它关心过的证据。\n互联网实际得到了什么 这个项目确实产生了一个可以衡量的效果，只不过不是招股书上写的那个。\n那些真卖出去了的新字符串，是靠价格卖的。没有品牌、没有自然需求的注册局，只能用唯一可行的方式竞争：每个名字一美元或更低，批量，核查最少。这是一种产品，而它找到了自己的市场。\nInterisle 的 Cybercrime Supply Chain 2025 研究发现，新 gTLD 在域名市场中只占 12%，却承载了 47% 被举报的网络犯罪域名，大约超出六倍。同一项研究记录了 1,950 万个用于攻击的独立域名，同比增长 126%，其中 730 万个是批量注册的。它找出的被滥用最多的域名的共同因素，就是便宜。\nICANN 没有发明钓鱼。但它制造了 1,200 个新的作案地点，把入场价定在这样一个水平，使得其中大多数唯一可行的策略就是以接近零的成本走量，然后不管产出什么，都从每一个那里收一笔固定费用。\n这个项目自己的标志性失败，比任何统计数字都更能说明问题。.sucks 被委派给了 Vox Populi，它在日升期向商标持有人收取每个名字 2,499 美元，这个价格正是因为品牌方为了不让别人拿到不得不付而定的。ICANN 的回应是以掠夺性定价为由把这家注册局举报给了美国联邦贸易委员会。FTC 认定没有违反任何规则，并指出 ICANN 早就无视了 FTC 对新 gTLD 项目提出过的若干关切。\n整件事就浓缩在这一段里。ICANN 设计了项目，无视监管者对它的警告，委派了字符串，收了费，然后就可以预见的结果向监管者投诉。\n下一轮的申请在 2026 年开放。费用是 227,000 美元。\n危险到不能委派的字符串 这个项目还产出了一样东西，这一条是写给每个搭过内部网络的人的。\n各个组织一向会为内部使用发明顶级域名，假设一个在公网上不存在的名字永远不会存在。.corp。.home。.mail。.local。随便挑一个，放进你的 Active Directory，外面谁也看不见。\n2012 年那一轮提议把其中一些真的委派出去，这样一来，这些私下的假设每一个都变成了现实的安全问题：内部名字开始解析到别人的服务器上，原本会失败的查询开始把你的内部结构泄露给某个注册局，为内部名字签发的证书变成了一个陌生人如今控制着的名字的证书。\n没人检查过。它之所以浮出水面，只是因为研究人员测量了根实际收到的查询，发现 .home 和 .corp 是现存查询量最大的字符串之一：被大量使用、却从未委派给任何人的名字。ICANN 自己的安全与稳定咨询委员会在 2013 年、在申请都已经交上来之后，才提出这个问题。\n.corp、.home 和 .mail 从来没被委派过。它们至今仍被无限期推迟，因为委派它们会弄坏太多东西。三个有人申请、有人付了钱的字符串，结果被证明危险到不能存在。\n这是一个在扩展根之前没先弄清楚扩展会撞上什么、事后才从别人的测量中发现的项目。如果你想要它的实际落点，那就是自己编一个内部 TLD 是个坏主意的原因：你发明的命名空间只在有人把它卖掉之前是私有的。\n拍卖的钱 2014年6月到 2016年7月之间，这些争用拍卖收进了那 240,590,128 美元，扣除拍卖成本后约 2.33 亿美元。\n这笔钱是靠出售一个 ICANN 并不拥有、只是受托持有的命名空间的碎片得来的。它应该怎么处置，有一个站得住脚的答案，社群为此成立了一个跨社群工作组去找这个答案。\n就在那个工作组还在开会的时候，ICANN 董事会拿走了其中 3,600 万美元，放进了 ICANN 自己的储备基金，那个基金离目标还差 6,800 万美元。不是提议，是批准。社群反对时，给它的说法是，另一个选择就是 ICANN 涨费。\n工作组照样继续开。董事会直到 2022年6月才采纳它的建议，那是最后一场拍卖过去六年之后，在此期间，ICANN 握着别人的四分之一个十亿美元，而在决定这笔钱用途的人还坐在屋里的时候，自己先拿走了 3,600 万。\n.org 的价格上限 2019年3月，ICANN 提议续签 .org 注册局协议，并取消价格上限。正是这些上限，阻止了 .org 的运营者向慈善机构、NGO 和非营利组织想收多少收多少，而这些组织二十年来一直被告知 .org 就是它们该待的地方。\n公众意见征询开始了。3,252 条意见反对取消。6 条支持。 反对者包括 NPR、YMCA、C-SPAN、美国国家地理学会、AARP 和美国国家历史保护信托，不是那些常见的域名行业评论者，而恰恰是 .org 为之存在的那群人。\n2019年7月1日，ICANN 签署了协议。没有公开宣布。把签署文本和提议文本对比，没有任何针对意见征询所做的修改。不是“部分关切已处理”，是同一份文件。\n如果一个公众意见征询流程能以 542 比 1 的反对率跑完而一个字都不改，它就不是征询。它是一道产出文书痕迹的手续。\n然后是出售 2019年11月，四个月之后，互联网协会宣布将 .org 的非营利运营者公共利益注册局（PIR）以 11.35 亿美元出售给私募股权公司 Ethos Capital。\n正是取消价格上限，让 PIR 值 11.35 亿美元。一个不能涨价的注册局是一份年金。一个能涨价的注册局是一项增长资产。ICANN 在四个月前不顾一致反对，把前者变成了后者，市场立刻就给它定了价。\nEthos Capital 成立于 2019年5月。域名 ethoscapital.com 由 ICANN 前 CEO Fadi Chehadé 于 2019年5月8日注册，正是 ICANN 员工发布取消价格上限报告截止期限的那一周。交易宣布时，Ethos Capital 的网站上没有出现他的名字。他的参与之所以曝光，是因为 WHOIS 数据，即谁拥有一个域名的公共登记册，下一节讲的就是它，其中的讽刺不言自明。Ethos 随后证实他曾为这笔交易提供咨询，而在 2020年7月，他成了它的联席 CEO。\nICANN 最终确实在 2020年4月阻止了这笔出售。记下这一点是公平的。同样公平的是记下在此之前发生了什么：ICANN 几个月来一直坚称此事大体不在它的职权范围内，持续的公众运动，美国参议员的来信，最后是加州总检察长的一封信，警告 ICANN 别碰这笔交易，并指出 Ethos Capital 缺乏透明度。\nICANN 在这里不是保障。ICANN 取消了制造出这个机会的上限，自己则在最后一刻被一位州执法官员拦住，这又一次说明，这套系统里真正的问责机制是加州的管辖权，而不是章程里的任何东西。\nVerisign 的安排 这和通配符那件事是同一个交易对手，只是过了十五年。2018年10月，NTIA 与 Verisign 签署了合作协议的第 35 号修正案，解除了 .com 的价格冻结，允许每六年中有四年每年涨价 7%。\n那是美国政府的决定，不是 ICANN 的。但涨价仍然需要修改 .com 注册局协议，而那是 ICANN 的事。2020年3月，ICANN 同意了第 3 号修正案，同时还有一份有约束力的意向书，根据它，Verisign 从 2021年1月1日起五年内向 ICANN 支付 2,000 万美元，用于安全与稳定工作。\n这两样东西都是在公众意见征询开始之前谈好的。征询期走完了，意见压倒性地反对，什么都没改变：和 .org 同样的模式，同一个时间窗口，同样的结果。\n就按它本身来看这个结构。决定一个垄断者能否涨价的机构，在同一时间、和同一个交易对手，谈下了一笔付给自己的款项。公众意见征询是事后的，是装饰。无论这笔钱花在什么上，一个让被监管者在涨价的同一笔交易里付钱给监管者的安排，是任何称职的监管者都不会接受的，而当时评论者脱口而出的那个词，回扣，就是最显而易见的那个。\n.com 的批发价因此从 7.85 美元涨到了 10.26 美元，而这个名字在技术上没有任何涨价的需要，注册人也没有任何可以转投的竞争者。\n八个国家对一家公司 如果你想要一个能说明 ICANN 实际向谁负责的事件，那就是 .amazon，它持续了七年。\n亚马逊公司在 2012 年那一轮申请了 .amazon。亚马孙合作条约组织提出反对：玻利维亚、巴西、哥伦比亚、厄瓜多尔、圭亚那、秘鲁、苏里南和委内瑞拉，八个主权国家，这个名字描述的正是它们的领土，那里生活着约 3,000 万人。它们的立场是，一个共享的地理和文化名称不应该成为一家公司的私有财产。\n它们用的是 ICANN 为政府提供的渠道。政府咨询委员会（GAC）发布了反对该申请的共识建议，2014年5月 ICANN 董事会接受了它。这些国家赢了，通过的正是为这种情况设计的机制。\n亚马逊提起了独立审查程序（IRP）申请。\n2017 年，IRP 小组裁定亚马逊胜诉。它认定董事会的做法与 ICANN 自己的章程不一致，裁定董事会不能把 GAC 共识建议当作决定性的，指示它根据实际情况重新评估申请，并命令 ICANN 向亚马逊偿付 163,045.51 美元的费用。\n2019年5月，ICANN 得出结论，没有任何公共政策理由阻止这些申请继续推进。亚马逊拿到了 .amazon。\n看结构，而不是看结果，因为结果可以争论，结构不能。\n政府拿到的是 GAC，而 GAC 只是建议。一家公司拿到的是独立审查程序，而 IRP 产出的是有约束力的裁决、对董事会的指示和一份费用裁定。当这两条渠道正面相撞时，小组的结论明确是：政府那条不是决定性的。\n所以 ICANN 确实有一个管用的问责机制。它管用了。它被地球上最大的公司之一成功用来推翻八个国家的集体反对，而 ICANN 还为此替它付了律师费。\n这和本文前面的管辖权问题是同一个事实，换了身衣服。这些机制是真实的，而它们的形状决定了，付得起钱去运作它们的那些方，才是能从中拿到结果的那些方。八个政府没能让咨询渠道立得住。一家公司三年就让法律渠道奏了效。\nGDPR 之战：当一部法律适用于 ICANN 时，它会怎么做 关于一个机构最有力的证据不是它的使命宣言。而是一条不是它写的规则第一次对它执行时，它做了什么。\n对 ICANN 来说，那一刻就是 GDPR，而记录毫不含糊。\nICANN 并不缺警告。按 The Register 的统计，它收到过十多年的信函，告诉它 WHOIS，即把每个域名注册人的姓名、邮寄地址、电子邮件和电话号码不加任何访问控制地公布给任何人，与欧洲数据保护法不相容。GDPR 本身在 2016 年通过，专门留了两年的缓冲期让各组织做准备。ICANN 走到 2018年5月，手里没有任何合规的方案。\n它的做法是，在 2018年4月跑到布鲁塞尔，请第 29 条工作组暂停执法一年，同时允许它在此期间继续公布注册人的电子邮件地址。\n好好想想这个请求到底是什么。不是延期提交文件。而是请欧洲监管者同意，在一年内不对一个组织及其全球签约方执行一部基本权利法规，因为这个组织还没顾得上合规。GDPR 里没有任何机制能批准这种事。数据保护是《基本权利宪章》下的一项基本权利；没有任何监管机构，连欧洲数据保护委员会也没有，有权为某一个数据控制者暂停它。ICANN 要的不是一个被扣着不给的让步。它要的是一个根本不存在的东西，而且显然事先都没弄清楚它是否存在。\nWP29 两项请求都拒绝了。ICANN 自己对那次会议的总结承认，注册人、行政和技术联系人的电子邮件地址必须匿名化，而对它请求过的暂停执法则只字未提。\n然后它打起了官司。\n2018年5月25日，GDPR 生效当天，ICANN 在波恩起诉了 EPAG，即 Tucows 旗下的德国注册商。EPAG 决定停止收集 Admin-C 和 Tech-C 联系人信息，理由是收集自己用不着的个人数据，恰恰是 GDPR 禁止的。Tucows 的立场是，在绝大多数注册中，注册人、行政和技术联系人本来就是同一个人，所以这种收集不只是违法，而且毫无意义。\nICANN 的法律理论是，GDPR 的“履行合同所必需”这一依据覆盖了这种收集，因为 ICANN 自己与注册商的合同要求这样做。这是个惊人的论点：一个组织只要在与第三方的合同里写上收集要求，就能为处理别人的个人数据凭空造出一个合法依据。如果它成立，第 6(1)(b) 条就成了任何人靠起草合同就能满足的一道手续。\n它不成立。ICANN 在波恩输了。它上诉。又输了。2018年8月，科隆上诉法院第三次驳回了它，认为此前的裁决令人信服，认定不存在足以支持禁令的紧迫情况，而且，这部分值得读两遍，拒绝了 ICANN 把问题提交欧盟法院的请求，理由是 ICANN 的法律解释对判决无关紧要。法院认为这个论点连拿去问卢森堡都不值得。\nICANN 照样花会员的钱想把案子推到那家法院。2019 年，它彻底放弃了 WHOIS。\n技术上的结果是对的：原来那种 WHOIS 本就不该存在。但看看结果是怎么得来的。十年的警告被无视。请求豁免一项基本权利。在法律生效当天起诉自己的签约方，要证明这部法律并不像监管者说的那样适用。三次败诉。然后投降。\n这不是一个读错了法规的组织。这是一个直到法院告诉它三次之前，都不接受这部法律竟然是冲着它来的组织。\n其他所有人付出的代价 本文大部分讲的是 ICANN 和注册局做了什么。这一节讲的是谁为此买单，因为买单的极少是他们自己。\n地球上每一个 .com 注册人都在为涨价买单。 .com 批发价从 7.85 美元涨到了 10.26 美元。Verisign 自己的报告显示，截至 2026年3月31日，.com 的存量为 1.636 亿个名字。两者相乘，这次涨价每年价值约 3.94 亿美元，取自世界上任何地方每一个 .com 的注册人，而这个名字没有任何技术变更来为它辩护。拉各斯或马尼拉的一家企业和帕洛阿尔托的一家企业付同样的涨价，由一个美国机构和一个在同一轮谈判中从受益方拿了 2,000 万美元的美国非营利组织决定。\n.org 的决定落到了全世界的慈善机构头上。 二十年来，.org 一直作为属于非营利部门的那一块命名空间卖给它们。取消上限的决定意味着，不管谁来运营它，都可以向它们收取市场能承受的价格。NPR 和 YMCA 吃得消。一个靠一笔资助过活的小 NGO 吃不消，而且也没人问过它：3,252 条反对，6 条赞成，签署时一个字没改。\n滥用的负担由每一个运行邮件服务器的人承担。 新 gTLD 占市场的 12%，占被举报网络犯罪域名的 47%。这些名字中的每一个都落进了别人的收件箱、别人的滥用处理队列、别人的欺诈损失里。ICANN 每份申请收了 185,000 美元，不管怎样每个字符串每年收 25,000 美元。那些廉价字符串随后产出的东西，成本落在每个邮件运营者、每家银行、每个安全团队和每个被钓鱼页面骗到的人身上。这是教科书意义上的外部性，而这个项目在设计时，对由谁来承担它一行字都没写。\nSite Finder 一下子就弄坏了整个星球的失败语义。 值得直说，因为它很容易被读成一个美国故事。只有一个根，只有一个 .com。当 Verisign 改变一个不存在的名字的行为时，它是同时为地球上每一个网络改变的，包括每一个与 Verisign 毫无关系、对这个决定没有发言权、除了给自己的解析器打补丁之外别无出路的网络，而它们中有很多最后正是这么做的。\nWHOIS 在用它对付滥用的人面前熄了灯。 这里的两种伤害都是真的，也都是可以避免的。把每个注册人的姓名、地址、电子邮件和电话号码公布给任何来问的人，对全世界的人是一种真实的、持续几十年的伤害，GDPR 在这一点上是对的。但 ICANN 有十多年的警告却没有计划，所以 2018年5月不是一次有序过渡到分级访问的迁移。它是一次突然关停。反滥用研究人员、安全团队和执法部门，包括远在欧洲之外的，一夜之间失去了一件好用的工具，因为 ICANN 把缓冲期花在了打官司上，而不是建替代品上。之前的暴露和之后的真空，都属于同一个准备不足。\n还有 1,260 万个名字停止了解析。 Freenom 的倒台对钓鱼数据来说是个好结果。对每一个因为挤不出一年 10 美元而使用免费 .tk 或 .ml 的人来说，它不是个好结果，而这样的人非常多，并且不成比例地集中在 10 美元不算小钱的地方。当互联网上唯一的免费命名空间同时也是被滥用最多的那个时，它消失时失去它的人不是罪犯。罪犯一周后就搬到了下一个便宜货那里。\n形状始终一致。决定在加州做出，收入在加州收取，成本则分摊给全球那些没有投票权、没有合同、也够不着任何法院的人。\n而且只在美国法院 现在记录都摆出来了，回到本文开头的管辖权问题，因为它起的作用比公司注册地还大。\n世界上每个人都受制于 ICANN 的决定。能对此有所作为的，是那些能在加州打官司的人。\n想想这把谁挡在了门外。喀麦隆的一个 ccTLD 运营者。德黑兰的一个注册人，他的域名被删，是因为某个注册商过度执行了一项本来并不约束它的 OFAC 规定。波恩的一个注册商，这正是为什么 ICANN 与 EPAG 之争必须作为一宗依德国法审理的德国案件来打，而根本不是一个 ICANN 问责问题。任何一家小注册局，只要它请不起美国律师，去和一个预算九位数的组织争论一个加州非营利法的问题。\n再想想这让谁进了门。本文中每一次真正改变了什么的干预：\nSite Finder 结束于 ICANN 威胁 Verisign 的合同，而 Verisign 的回应是在美国法院起诉，并带着一份续签的 .com 走出和解。 .org 的出售在加州总检察长寄出一封信后被叫停。 Freenom 停下来，是因为 Meta 在加州北区法院起诉，1,260 万个名字随之熄灭。 .amazon 归了亚马逊，因为亚马逊把 ICANN 拖进了它自己的独立审查程序，还拿到了费用裁定。 四次奏效的干预。四个美国行为者：一位州执法官员和三家公司。没有一条是美国以外的任何人能走的路，而且四次中有三次，推动事情的是一家私人公司的商业利益，只是在那几次碰巧和其他所有人的利益指向同一个方向。\n社群确实提出过这个问题。问责工作组下的一个管辖权小组在第二工作流上花了功夫，产出的建议让事情大致停在原地，这不奇怪，因为移交方案早在任何人坐下来之前，就已经把唯一要紧的那个改变排除在范围之外了。\n所以全球多利益相关方治理，在它唯一能被检验的地方，归结为这个：你可以去加州起诉，如果你付得起的话。\n记录实际显示了什么 把它们放在一起，因为分开看每一件都有借口，合起来看就没有了。\n一个要德国法院告诉三次、才承认欧洲法律适用于它的组织，而在此之前它先请那些法院的监管者干脆别执行这部法律。\n一个发明了没人要的产品的组织，为审议申请收了超过 3.5 亿美元的费用，拍卖有争议的字符串又收了 2.4 亿美元，现在每年从空空如也的顶级域名那里收 25,000 美元，而真卖出去了的那些字符串，成了互联网上买钓鱼域名最便宜的地方。\n一个公众意见征询以 542 比 1 的反对率跑完、却没对所征询的文件改动一个字的组织。\n一个在其前 CEO 的私募股权载体出价 11.35 亿美元收购非营利命名空间之前四个月，取消了那里价格上限的组织，而它最后要靠一位州总检察长、而不是它自己的任何机制才被拦住。\n一个在允许垄断注册商涨价的同一轮谈判中，从垄断注册商那里拿了 2,000 万美元，然后才开放公众意见征询的组织。\n一个在决定一笔受托资金用途的小组还在开会时，自己先从中拿了 3,600 万美元的组织。\n还有一个组织，在被劫持了互联网上两个最大区域的注册局起诉之后，以给那家注册局续签一份 .com 合同的方式和解了。\n一个唯一管用的问责机制被一家万亿美元公司用来推翻八个国家一致反对的组织，费用还判给了 ICANN 来付。\n一个差一份委员会报告就把 .corp 和 .home 委派给陌生人的组织，而它是从别人的测量里才得知这会弄坏什么的。\n贯穿始终的线索不是无能。无能是随机的。这是有方向的：每一件都偏向了既得者、钱和 ICANN 自身的机构利益，而那些参与机制，意见征询期、工作组、赋权社群，产出的是文档，而不是结果。\n而这就是为那个文件制定政策的机构。不是标准机构，不是法院，不是任何你选出来的东西。一家有着这种治理记录的加州非营利组织，坐在 1.5 兆的文本上面，而地球上每一个网络都要对着这段文本做解析。\n挡在这份记录和那个文件之间的唯一一样东西，是 ICANN 不握笔。它得开口请求。上面的一切，都是一个组织在仍然得开口请求时的所作所为。所以值得带走的问题不是 ICANN 表现好不好。它显然不好。值得带走的问题是：既然没人把它写下来，而被请求的那一方早已在领着报酬，那么是什么让“请求”这道程序一直留在那里？\n","permalink":"https://blogs.damiendye.uk/zh/dns/who-actually-controls-dns/","summary":"互联网的根是一个 1.5 MB 的文本文件，由一家美国公司编辑并签名。到底是谁在控制 DNS，2016 年 IANA 移交改变了什么、又没改变什么，以及 ICANN 如何使用这份控制权的有据可查的记录。","title":"到底是谁在控制 DNS"},{"content":"2017 年到 2019 年，我在 Nominet，也就是 .uk 注册局，做 DNS 注册局系统管理员。那段时间我就在楼里，而促成 2021 年那场反叛的压力正在一点点积聚。投票本身发生在我离开之后，那部分是公开记录，照例附了链接。凡是我在讲从内部看到的样子，我都会说明。\n这篇文章的姊妹篇讲的是 ICANN，它从不同方向反复回到同一个问题：当没人对一个注册局握有合同时，到底是什么让它规规矩矩？\n.uk 是回答这个问题的好地方，因为确实没人握有合同。它上面没有 ICANN 注册局协议，没有 Specification 6，没有合规部门，没有外部监测，也没有通常意义上的监管机构。Ofcom 不管它。政府不管它。\n它的会员管它。而在 2021年3月，他们动用了这一点。\nNominet 到底是什么 Nominet 是一家担保有限公司。它没有股东。它有会员，也就是注册商和其他利益相关方，他们交会费，换一张选票。它成立的目的是为公共利益而不是为利润运行 .uk。\n这个结构就是整个故事。一家没有所有者可以让其发财的公司照样会收钱，而一个运行国家命名空间、没有竞争对手的注册局，收的钱还不少。这笔盈余是用来干什么的，章程答得含糊，董事会则在实践中作答。\n会员是唯一的制衡。别的啥都没有。答案一致的时候这没问题，答案不再一致的时候，这就成了全部。\n从内部看这套资产 这是注册局外面的人很少想象得到的部分，而它对后面的一切都很重要。\nNominet 从来就不只是 .uk。我在那里的时候，这个平台承载着：\n.uk，国家代码顶级域（ccTLD），完全不在任何 ICANN 合同之下。 .cymru 和 .wales，Nominet 以自己名义持有的通用顶级域（gTLD），这两个确实在 ICANN 注册局协议之下。 别人的 gTLD。 2016年4月，Minds + Machines 把最多 28 个字符串的后端交给了 Nominet，其中包括 .london、.work、.law、.fashion、.cooking，这让 Nominet 按运行的 TLD 数量跻身注册局运营商的第一梯队。再加上 .bbc 和 .bentley 这样的品牌顶级域。 ICANN 的应急角色。 Nominet 是 ICANN 的应急后端注册局运营商（Emergency Back-end Registry Operator）之一，也就是 ICANN 从某个运营方手里收回一个 gTLD 时，把它交出去的那些机构。它在 2014 年加入，2017年12月 ICANN 启用了它：在 .wed 的运营方的注册数据服务失效之后，Nominet 成了 .wed 的应急临时运营方。 解析器那一端。 Nominet 为国家网络安全中心（NCSC）搭建并运行了 Protective DNS，这是英国公共部门机构查询的递归解析器，它拒绝解析已知恶意的域名。 这里值得澄清一点，因为“Nominet 运行 .uk”这个说法比它该有的样子要松。\nNominet 运行 .uk 注册局以及它下面的大部分：.co.uk、.org.uk、.me.uk，还有二级的 .uk 本身。它从来没运行过全部。.ac.uk 归 Jisc，也就是那个当初给 uk 起名的学术网络的继承者，从 1996 年起就在管理和注册它下面的域名。在这篇文章覆盖的那些年里，.gov.uk 也归 Jisc；Nominet 直到 2024 年才接手它，而即便到现在，审批权也在中央数字与数据办公室（Central Digital and Data Office）而不在注册局。\n还不止于此，而且方向出人意料。Jisc 也负责 .gov.scot 的管理，以及 .gov.wales 和 .llyw.cymru 的管理，这两个都位于 .wales 和 .cymru 之下，也就是 Nominet 以自己名义持有的那两个通用顶级域。Nominet 运行这些 TLD。政府在其中的那一角，由别人来运行。\n所以即便在一个国家的命名空间之内，权力也是分开的，而分开它的是历史和惯例，不是任何人的设计。\n于是一个机构同时处在和域名系统的四种不同关系里。对 .uk 来说，完全在 ICANN 的手够不着的地方。对 gTLD 来说，在它的手里，有合同，被持续测量。ICANN 需要从别人手里收回一个顶级域时伸手去拿的那件工具。以及决定一个政府部门可以查询什么的那台解析器。\n这些都不矛盾。一旦你不再读组织架构图、开始读合同，结构实际上就是这个样子。这里的权力附着在一个个具体的委派上，而不是附着在公司上。\n两套制度，一个平台 现在是只有从内部才看得到的那一块，也正是它让这套资产重要，而不只是一堆冷知识。\n对 gTLD，Nominet 和任何人一样签 ICANN 注册局协议。Specification 6 适用：不准用通配符，不准合成应答。Specification 10 也适用，ICANN 从外部持续测量对它的合规情况：DNS 解析、共享注册系统、Whois 服务、托管存放和正确签名的区域，全都对照阈值被监测着，跌破其中一个就是一次合规事件，而不只是一次故障。\n数一数区域。一边是 .uk，没有合同。另一边是几十个 gTLD，每一个都在注册局协议和一个监测探针之下。这个没有合同的区域，在它自己的平台上被以大约三十比一的比例压倒。\n一个平台上的两种合同制度，严格的那个胜出 一个平台，两种合同制度 Nominet：一个注册局平台，一套运维手册 .uk 1 个区 没有注册局协议 没有 Specification 6 无人监测 通用顶级域 约 30 个区 .cymru\u0026#160;· .wales\u0026#160;· MMX\u0026#160;×28\u0026#160;· .bbc\u0026#160;· .bentley ICANN 注册局协议 Spec 6、Spec 10，外部监测 严格制度成为内部标准 没有人会为了给一个区保留豁免， 而去维护两套运维标准。 .uk 照样用上了 ICANN 的规则\u0026#160;没有合同，没有咨询，英国没人问过。 一个平台承载着两套制度。没有合同的那个区域以大约三十比一被压倒，于是为 gTLD 写的规则就成了运行一切的方式，包括那个没人对它有任何权力的区域。 在一个平台上跑两套运维制度是很痛苦的，所以你不会这么做。 两套托管流程，两套监测制度，两套运维手册，两套值班程序，同一个问题因为工单碰巧涉及哪个区域而有两种答案：凌晨三点的错误就是这么犯下的。当 ICANN 对 gTLD 强制要求某件事时，你不会把它建两遍。你建一遍，然后把所有东西都跑在上面。\n这就意味着 ICANN 的要求也落到了 .uk 身上。不是因为 ICANN 对 .uk 有任何权力，它一点都没有，而是因为要满足一条约束着你大部分资产的规则，最便宜又安全的办法就是把它用在全部资产上；还因为刻意维持一个分叉、好让 ccTLD 做 gTLD 不准做的事，除了给平台多一种坏掉的方式之外，什么都换不来。\n为此没有签过任何合同。没有进行过任何咨询。英国没有任何人被问过。一条在洛杉矶为通用顶级域写下的要求，通过一个构建决策，塑造了这个国家自己的注册局的运行方式。\n顺便记一笔，这也让 ICANN 成了值班表上一个真实的存在，而不是政策文件里的一行字。对一部分资产来说，它是一个有合同的对手方，一个对准我们基础设施的探针，以及一条升级路径。\n卖 .uk 来养活其余的部分 这一切背后的商业逻辑，正是会员们最终反对的东西。\n.uk 是垄断。买一个 .uk 域名的地方只有一个，需求几乎没有弹性，利润用来资助董事会决定资助的任何东西。从 2016 年起，The Register 就在公开提出这个论点：.uk 的注册人被多收了钱，用来补贴其余的业务。\n在 2015 年上任的 CEO Russell Haworth 治下，Nominet 大力进军网络安全，NCSC 的合同就是其中之一，理由是一个坐在国家 DNS 基础设施上的注册局，很适合出售安全服务。\n我在那里的整段时间，方向都是这样。那场反叛不是 2021 年凭空冒出来的。它的条件早在几年前就已经铺好了，在楼里工作的任何人都看得一清二楚。\n先走的是慈善机构 2018年1月，我还在那里的时候，Nominet 退出了它自己的慈善基金会。\nNominet Trust 从 2008 年起由注册局出资：这期间共 4,400 万英镑，2016 年 400 万英镑，2017 年 540 万英镑。它把钱拨给科技向善的项目。在相当直接的意义上，它就是这家公益公司里的那份公益。它独立了出去，并在 2018年5月成为 Social Tech Trust。\nHaworth 公开给出的理由是“the grant-giving, single funder model we set up in 2008 was not the most effective route to greatest impact”。\n和它一起宣布的，是一个网络安全咨询小组，由 Haworth 担任主席，瞄准政府和企业业务，背后有一个营销计划，而且用 Nominet 自己的话说，可能还有一次收购。\n把这两件事放在一起看，因为它们是一起宣布的。流向一家保持距离的慈善机构的钱停了。一个由首席执行官担任主席的商业项目开始了。这两件事都没有征求过会员的意见。\n其中一位会员 Andrew Bennett 当时就问了那个显而易见的问题：未来所有的营业利润都要花到哪里去？\n三年后，会员们回答了它。\n这也是为什么下面这些段落不只是我的印象。Nominet 历史上最大的一笔公益资金转移，从一个有自己治理结构的独立信托，转到了一个由首席执行官担任主席的小组，就在一次公告里，没有问过所有者。不管你怎么看它的意图，钱的去向是有据可查的。\n“Profit With a Purpose”（有目的的盈利） 这就是那句话。它是整个战略的口号，我们听过很多遍。\n它的问题不在于野心大。而在于两半已经分开了。利润是真的，在增长，来自一个被困住的市场，除此之外没有别的地方能买 .uk。目的只是幻灯片上的一页。\n利润上升，使命撤回：口号的两半各奔东西 账目里的“Profit with a purpose” 使命：对 Nominet Trust 的捐赠 £4.0m 2016 £5.4m 2017 2018年1月撤回 信托被甩开，自己找资金 2018 年以后 2008 至 2018 年共捐出 4400 万英镑，之后分文没有。 同样这些年里，.uk 域名价格上涨了 50% 以上。 口号里“利润”那一半，完全按设想在运转。 口号的两半，朝着相反的方向走。拨款数字来自 Nominet Trust 的资助历史；涨价是会员们自己在 2021 年的投诉。 你可以拿这样一句口号去要求一家公司，而会员们最终也这么做了。在内部，它产出的主要是一种特别的疲惫：每次全员大会都有人告诉你，商业扩张就是公共利益，而实际的公共利益那一条线却在往下走。\n钱去了哪里 我在那里的时候有三件事在推进，没有一件是给英国做 DNS 的。\n一个无线电频谱登记库。 Nominet 建了一个 TV White Space 数据库，也就是登记在某个地点、某个时间哪些无线电频率可以自由使用的登记库，并且在美国获得 FCC 批准成为数据库管理方。理由是注册局就是注册局，一家擅长某一种查询的公司，可以卖另一种。\n一个 DNS 安全产品。 NTX，基于检查 DNS 流量的威胁检测，卖给政府和企业。换句话说，一家英国域名注册局入场，成了 OpenDNS 的竞争对手，也就是 Cisco 的竞争对手。\n无人驾驶汽车。 和无人机、物联网一起，被捧为下一波需要命名和注册的大潮。\n它们后来怎么样了，就回答了它们算不算一个战略。频谱业务在 Nominet 调整重心时卖给了 RED Technologies。网络安全工作产出了 NCSC 合同背后的技术，而 Nominet 在 2024 年丢了这份合同。无人驾驶汽车始终没来，它们本来需要的那些域名也没来。\n竞标澳大利亚 还有第四件，它最能说明那份野心。2018 年，Nominet 竞标运营澳大利亚的注册局。\n管理 .au 的 auDA 把注册局运营拿出来招标。九份标书来自世界各地，三家入围，Afilias 在 2018年7月1日接手，结束了 AusRegistry 十六年的运营。auDA 从没公布过还有谁投了标，所以你在记录里找不到这件事，但 Nominet 在其中，而我们去竞标的时候我就在那里。\n把这件事和同一年的其他新闻放在一起看。2018年1月，Nominet 退出了它给过 4,400 万英镑的慈善基金会，理由是单一出资方的拨款模式不是产生影响的最有效途径。就在同样的十二个月里，它在竞标运营地球另一边一个国家的域名注册局。\n还值得注意 .au 的招标是什么，因为它恰恰就是大多数人以为 .uk 必定是的样子。auDA 可以把它的注册局拿出来公开招标，交给别人，而它在 2018 年就这么做了。.uk 没有对应的机制。Nominet 的地位不是一份会到期续约的合同，这比 Afilias 在澳大利亚赢得的地位还要稳固，在掂量会员投票实际代表多大压力时，值得记住这一点。那是唯一存在的杠杆。\n再看看 Nominet 竞标为 auDA 干活的同时，auDA 自己身上发生了什么。\n在招标的同时，澳大利亚政府正在对 auDA 本身进行审查。2018年4月，审查得出结论：auDA 的管理和治理框架“no longer fit-for-purpose”，以新的认可条款的形式提出了 29 项必须进行的改革，并派了一名通信部的高级官员进入 auDA 董事会监督这项工作。它还明确说，如果 auDA 做不到，它会把 .au 的委派转给另一家提供方。\n这是一个国家政府白纸黑字地声明：如果持有本国域名的机构不把自己整顿好，就把它移走。auDA 自己的会员当时也在造反：一份请愿要求召开特别股东大会，罢免它的四名领导层成员，这比 Nominet 的会员对他们自己的五个人做同样的事早了三年。\n两个国家级注册局，两个持有一个国家命名空间的非营利机构，在四年之内先后被指治理失败。这不是 Nominet 的怪癖。这是这种结构在没人足够仔细盯着时会做的事。\n会员们看到了什么 至于为什么是这些而不是别的，我会很谨慎，因为我能告诉你它看起来是什么样子，却说不出任何人脑子里在想什么。当时员工中普遍的看法是，资金跟着批钱的那些人的热情走。我拿不出一本账给你看，也不会假装我拿得出。\n我能指出的是，三年后会员们的正式投诉，是同一种怀疑的一个证据更充分的版本：一个没有股东、以公共利益为宗旨的机构，在把一项国家垄断的盈余花在合运营者心意的东西上，而本该为这整套安排正名的那部分捐赠，就在这期间被砍掉了。\n.uk 的盈余去了哪里，每一项结局如何 盈余去了哪里 .uk 只有一个卖家，没有对手 价格上涨 50% 以上 Nominet Trust 2008 至 2018 年捐赠 4400 万英镑 2018年1月停止 TV White Space 频谱数据库 在美国获 FCC 批准 卖掉了 NTX 网络安全 最后一个完整年度营收 1260 万英镑 亏损 240 万英镑 竞标运营澳大利亚注册局 九家投标，三家入围 输给了 Afilias 无人驾驶汽车、无人机、物联网 下一波需要名字的东西 始终没有到来 唯一在做这家公司存在意义之事的那一项，恰恰被砍掉了。 下面的每一项，都由购买 .uk 域名的人买单。 来自垄断的钱的五个去处。其中四个以出售、亏损、竞标失败或一无所获告终，而第五个，章程本来就是为了资助它而存在的那一个，恰恰是被叫停的那一个。 会员们的投诉不是说多元化本身有错。而是算术。.uk 的价格涨了 50% 以上。慈善和公益捐赠下降了，而这个机构正在一项国家资产上赚着垄断利润。尽管削减了成本，运营表现仍在倒退。高管薪酬和奖金在这一切当中一路上涨。而会员通过章程规定的渠道提出的反馈，好几年都石沉大海。\n一家没有股东的公司，开始表现得像一家股东很不耐烦的公司，而为此买单的是国家命名空间的盈余。\n会员造反 这场运动叫 PublicBenefit.uk，由托管公司 Krystal 的 Simon Blackler 组织。它的决议直截了当：罢免点了名的董事。\nNominet 的反应才是值得记下来的部分，因为它告诉你这个机构已经变成了什么样。\n它用会员自己的钱发起反对自己会员的宣传：邮件、电话和寄送材料，敦促否决。它拒绝回应这场运动的实质内容。当运动行使权利索要会员联系方式以陈述理由时，Nominet 没有发一张电子表格。它寄了一个实体包裹，联系方式打印在 500 多张纸上，邮箱地址还被删掉了。\n它还以不合法为由，挡下了第二项决议，那项决议本来会任命两名合格的看守董事；然后它又批评这场运动没有继任计划。\n2021年3月22日，事情付诸投票。投票率 53%。决议以 52.7% 获得通过，十一名董事会成员中有五人离开：\nMark Wood 董事长 Russell Haworth 首席执行官 Eleanor Bradley 注册局董事总经理 Ben Hill 首席财务官 Jane Tozer 非执行董事 Haworth 在投票前几小时辞职，而不是等着输掉。Rob Binns 成了代理董事长。\n下面是我认为这两人到底意味着什么，我会标明这是观点，因为它就是观点。\nWood 和 Haworth 经营 Nominet 的方式，就像一家风险投资公司经营一家被投企业。不是把它当成一个碰巧产生盈余的注册局，而是当成一张资产负债表，上面拴着一项没被充分利用的资产：一个被困住的垄断，源源不断地吐出现金，这些现金可以挪到别处、去追求更大的上行空间。\n上面每一件有记录的事都和这一点一致。你把稳定的收入拿来涨价，因为客户没地方可去。你停掉不产生回报的支出，也就是那个慈善机构。你把差额投进一个组合，频谱、网络安全、一个外国注册局、无人驾驶汽车，理论是其中总有一个会成功。你按这类工作的行情给指挥它的人开薪水。然后你一直这么干下去，直到某个有资格叫停你的人叫停你。\n这样经营一家公司没什么不寻常的。但这不是经营一个以信托方式持有国家资产的公益机构的方式，因为那笔盈余从来就不是寻找回报的资本。它是这整套安排存在的目的所要产出的东西，章程也是这么写的。\n会员们最终也说了同样的话，用的是他们唯一能用的语言。\n关于差距，值得说句实话。53% 投票率下的 52.7% 不是压倒性胜利，它是在一个意见分裂的会员群体里的险胜，而那个机构动用了它拥有的一切资源去对抗。它还是输了。\n后来发生了什么 Nominet 从商业网络安全方向撤了回来，转向注册局和公益工作。然后数字来了。\n核心业务在我离开的那一年见顶。 在管的 .uk 域名在 2019 年达到 13,348,378 个的峰值。到 2023年1月，是 11,045,559 个。到 2024年1月，是 10,688,932 个。五分之一的基数没了，而且还在往下掉。\n多元化亏了钱。 在清算之前的最后一个完整年度，网络安全业务单元营收 1,260 万英镑，录得 240 万英镑亏损。这就回答了盈余资助的那些项目是投资还是放纵，而且这是 Nominet 自己的数字。\n然后合同没了。 2024 年，NCSC 对 Protective DNS 重新招标，这是一项每年处理大约五千亿次查询的服务，而 Nominet 丢了它。从 2024年9月起，这项工作交给了 Cloudflare 和 Accenture，据报道合同金额约 3,000 万英镑。首席执行官 Paul Fletcher 说，政府选了一个更便宜的竞争对手。\n后端业务也在流失。 2021年4月，特别股东大会之后几周，MMX 以 1.2 亿美元把它的组合卖给了 GoDaddy Registry，当初让 Nominet 跻身注册局运营商第一梯队的那 28 个字符串，也跟着买家走了。.blog 早在 2019 年就已经转投 CentralNic。\n公平地说，这是双向的。Amazon 在 2019 年把它 54 个 gTLD 中的大部分迁到了 Nominet 的平台上，Microsoft 后来也把 .skype 和 .office 从 GoDaddy 迁了过来。Nominet 既会丢掉组合，也会赢得组合。\n但这恰恰是关于这门生意的要点，而不是在为它辩护。后端注册局服务是一笔你控制不了的收入。它随着别人的公司交易来，也随着别人的公司交易走：MMX 走，不是因为 Nominet 平台运行得不好，而是因为 MMX 被卖了。把一个公益机构的财务建立在一本随时可能在某个周二因为所有者拿了 1.2 亿美元就走人的业务上，这是一个战略选择，而这个选择是做出过的。\n而在同一年，它赢下了 .gov.uk。\n.gov.uk 多年来由 Jisc 以公益方式、依据一份遗留的谅解备忘录运营，政府最终认定这种安排没有达到国际公认的标准。中央数字与数据办公室通过 Crown Commercial Service 进行了采购，Nominet 在 2023年11月中标，过渡在 2024年6月26日完成，时间特意定在大选前一周，好让选民登记不受影响。Jisc 自己的注册局页面现在平淡地记下了这个日期：自 2024年6月26日起，它不再管理 .gov.uk 命名空间，不过它仍为一些客户担任注册商。运营一个国家命名空间二十八年，结束在网页上的一行字里。\n公布的要求是韧性、符合 ICANN 的 DNS 标准，以及满足 NCSC 的网络评估框架（Cyber Assessment Framework）。\n拿这个对照这篇文章前面的论点。Nominet 之所以是政府自己命名空间的一个可信投标方，是因为它本来就按 ICANN 的标准运行：它采用这些标准，是因为它大部分资产在合同上受其约束，而这些标准之所以延伸到 .uk，是因为没人在一个平台上维护两套制度。通过 gTLD 合同从侧面进来的那份纪律，正是让它有资格运营 .gov.uk 的东西。\n所以 2024 年不只是糟糕的一年。它丢了自己最大的合同，又赢下了印着政府名字的那一份。\n关于这次中标，有两点值得注意，因为它们就是运营一个命名空间和持有一个命名空间的区别。\n政府保留了权力。 Nominet 运营注册局。中央数字与数据办公室仍然管理和审批申请：谁能拥有一个 .gov.uk，依然是政府的决定，不是注册局的。.co.uk 可不是这样运作的，在那里，经认证的注册商卖给任何上门的人。技术运营外包了出去。对命名空间的话语权没有。\n而且它是一份合同。 .gov.uk 是通过 Crown Commercial Service 采购的，这意味着它有期限、有结束日期，而政府已经恰好示范过一次，它认定安排不够好时会怎么做：在二十多年之后，把整个东西从 Jisc 那里搬走。\n所以 Nominet 持有 .gov.uk 的条件，是它持有 .uk 时所没有的。一个可以在合同期满时，由一位官员决定不续约而收回。另一个没有合同，没有期限，也没有续约，而唯一曾经成功管束过它的那群人，不得不组织一次会员投票才做到。\n2024年3月，PDNS 没了，.uk 在缩水，Fletcher 宣布了一次重组，多达 70 个岗位面临风险。\n然后是让这个圈闭合的那句话。Fletcher 指出，域名定价“cannot be held at the level set in January 2020 indefinitely”。\n.uk 涨价正是会员们造反的原因之一。五年过去，多元化在亏损中收摊，旗舰合同输给了一个更便宜的投标方，注册量在下降，而正在准备的答案，是再一次给 .uk 涨价。\n从内部看，情况也没有恢复 会员们换掉了董事会。至于他们有没有把这个机构夺回来，那是另一个问题。\n截至 2026年8月25日，Nominet 在 Glassdoor 上的评分是 97 条评价中的 2.9 分（满分 5 分），31% 的人表示会推荐它，22% 对业务前景持积极态度，29% 认可首席执行官。得分最低的类别是高级管理层，2.3 分。评价者给同事和工作本身打分很高。他们不认可的，是他们上面的那一层。\n这是一个平庸的分数，而不是一个致命的分数，而且应该按它本来的样子去读：一个公开网站上的自选样本。但抱怨的形状，一眼就能认出是会员们在 2021 年提出的那一种：没人解释得清的战略，往上流的回报，以及运营国家注册局的那些人没被征求过意见。\n换了首席执行官。还是同样的抱怨。\n这说明了谁在治理一个 ccTLD 回到开头那个问题。\nICANN 这些一样都做不到。它对 .uk 没有合同，没有资格，除了写一封信之外没有任何机制。ICANN 那篇文章里讲的关于 Specification 6、合规和监测的一切，适用于 Nominet 的 gTLD，而不适用于对这个国家真正要紧的那个区域。\n英国政府也没做到，而值得说清楚为什么，因为普遍的假设是错的。.uk 不是靠一份政府合同授予的。没有招标，没有续约日期，也没有竞争对手等着去竞标它。Nominet 从 IANA 那里持有委派，和其他每一个国家代码注册局持有各自委派的方式一样，没人每隔几年把它发出去一次。\n政府确实有的，是一项后备权力，而几乎没人知道它的存在。\nDigital Economy Act 2010（《2010 年数字经济法》）第 19 至 21 条允许国务大臣在一个符合条件的互联网域名注册局出现“serious relevant failure”时采取行动，也就是对英国通信的可用性或声誉、或对消费者或公众利益造成不利影响的失职。Nominet 就是那个注册局。在发出通知并给予陈述意见的机会之后，国务大臣可以为注册局指定一名管理人，或者向法院申请修改它的章程。\n这比 ICANN 对任何 ccTLD 曾经拥有的权力都大得多。而值得细品的是这一点：这两条规定沉睡了十四年，直到 2024年4月6日才生效，正是 Nominet 丢掉 NCSC 合同、宣布 70 个裁员岗位的同一年。\n我不会说这些事实之间有联系，因为我不知道它们有没有。有据可查的是，向 .uk 注册局派驻管理人的权力在 2024 年生效了，而在那之前的十四年里一直没有。\n而这只是国内的途径。还有第二条，它就是为什么世界上没有任何一个 ccTLD 运营方是凭权利持有委派的。\n一个国家代码的委派是可以转移的。IANA 依据 RFC 1591、ICP-1 和 GAC 原则对 ccTLD 进行重新委派，而且它已经这么做过很多次：.kz、.iq、.za、.gd、.gw 等等。GAC 原则认为，每个政府在本国领土内对国家公共政策负有最终责任，而在实践中，IANA 在任何转移该国域名的事情上，都把被承认的政府的意见当作一个主要考量。\n如上所述，澳大利亚在 2018 年就把这一点写成了白纸黑字：要么改革，要么委派转移。\n所以一个认定 .uk 需要换个地方的英国政府，不会被挡住。这不会是立刻的事，这不是一项靠发表声明就能行使的权力，而且本地互联网社区会被征求意见。但机制存在，先例存在，而政府的意见是其中分量最重的单一因素。\n这就把 .uk 放在了一个值得直说的位置上。通信是英国的关键国家基础设施部门之一，而国家也相应地对待 DNS：NCSC 多年来一直在为公共部门采购保护性 DNS。一个运行着关键国家基础设施的注册局，它的政府在国内可以给它派驻管理人，在国际上它的政府的话在重新委派中会起决定作用，这样的注册局并不是把委派当作财产来持有。它是凭容忍来持有的，而这份容忍的条件，是别让任何人难堪。\n管束住它的，是一次会员投票，险胜，在问题出现六年之后，由一家托管公司发起运动，而这家公司为了陈述理由，不得不收下打印在 500 张纸上的它自己的会员信息。\n这比 ICANN 拥有的任何问责机制都要好。它罢免了一个国家注册局的首席执行官和董事长，这是任何 ICANN 流程都从来没对任何人做到过的。它也很慢，充满对抗，依赖于有人决定把自己一年的生命花在上面，而且它离失败只差几个百分点。\n而这大致就是各地 DNS 治理所处的位置。管用的机制，是那些有资源的人选择去启动的机制。.cm 对整个顶级域用了多年的通配符，因为没有一个有资格的人反对。Freenom 是在 Meta 起诉之后才停下来的。.uk 改变了方向，是因为一家托管公司组织了一次投票。\n这些都不是这个词所暗示的那种意义上的治理。它只是碰巧谁出现了。\n最后，一点自由的想法 上面的一切，要么有出处，要么标明了是我自己的经历。这最后一部分两者都不是。这是我的想法，你尽可以不同意。\n我是 2017 年进的 Nominet，那是九年前。Russell Haworth 是 2015 年接手的，那是十一年前。这么长的时间，足够一个机构学到点什么了。\n它学到了吗？\n纸面上，学到了。被投票罢免的董事会走了。商业网络安全的野心收摊了。慈善部门独立了出去，至今仍以自己的名字在运作。会员们用了他们拥有的唯一一个机制，而且它奏效了。\n然后看看实际摆在你面前的东西。.uk 比 2019 年小了五分之一，还在缩水。多元化最终产出的那份合同，给了一个更便宜的投标方。七十个岗位跟着它一起走了。首席执行官在放风说 .uk 的定价不可能无限期维持在 2020 年的水平，而这正是当初帮着惹出麻烦的同一个杠杆。员工给高级管理层打了 2.3 分（满分 5 分），29% 认可首席执行官。换了一位首席执行官，一眼就能认出还是同样的抱怨。\n所以我诚实的回答是：人换了，而我不相信这个机构变了。\n值得留意 Haworth 后来去了哪里，因为这不是批评，而这恰恰是它要紧的原因。在 Nominet 之前，他在 Thomson Reuters 做了十四年金融数据。之后他去了 NBS，然后是 Byggfakta，然后是 Acclaro：都是面向专业客户、有经常性收入和定价权的订阅型企业。NBS 在 2023 年营收 4,500 万英镑，EBITDA 2,360 万英镑。这些是好数字，而拿到这样的数字，正是一位商业型首席执行官的用处。\n这正是要点所在，而且对这个定性你用不着信我的话。他自己的职业简介把他描述为一位面向私募股权支持的 B2B 企业的首席执行官。那就是他干的工作，他自己这么说，而且他显然干得很好。\n他是一个商业经营者，做了商业上的事。错误从来不在他的性情，而在于把这种性情放到一个盈余不是资本、也从来不该是资本的机构的掌舵位置上，然后六年里没有让任何人处在能核查它的位置上。\n不过 NBS 值得再看一眼，因为它的形状很眼熟。\nNBS 卖 Chorus，这是大多数英国建筑事务所都在用的规格说明工具。它接进了 Revit 和 ISO 19650 工作流，没有像样的替代品：建筑师们形容它是一件不得不一直付钱的必备工具。一位从业者的许可证从 2015 年的 1,385 英镑涨到了 7,350 英镑，《建筑师杂志》（Architects\u0026rsquo; Journal）报道这是十年涨了 400%。没有小型事务所费率，所以一名独立执业者每个席位付的钱和一家 200 人的公司一样。行业媒体上的说法是“rip-off increases”和“well above inflation”，同时还指出，除了付钱几乎别无选择。\n在归因上要小心，因为日期并不像你可能希望的那样对得上。Chorus 是 2018 年推出的。RIBA 在 2018 年到 2020 年间以大约 1.72 亿英镑卖掉了 NBS，一位前 RIBA 主席说过，它本不该交出控制权，这句话听起来颇有回响。Haworth 在 2021年10月到 2024年10月间掌管这家企业。报道中涨幅最大、抱怨最响的，是 2024 年和 2025 年，在他离开之后，而现在公开为涨价辩护的首席执行官是另一个人。\n所以这不是关于某个人的证据。这是关于一种形状的证据。\n一个专业机构，卖它的会员离不开的那件工具。买家发现客户走不了。价格年复一年地远超通胀上涨，抱怨石沉大海，因为它们无处可去。这就是 .uk，也是 .org 差点变成的样子：ICANN 取消价格上限四个月之后，一个私募股权载体出价 11.35 亿美元要买下它。\n这才是真正的教训，而对任何希望这只关乎某一位高管的人来说，它都不令人舒服。被困住的专业客户，一件必需的工具，没有替代供应商：不管谁在经营，这种安排都会产出同样的结果，除非有什么东西挡在路上。在 Nominet，最终挡在路上的是会员。在 NBS，没有任何人：本来可能扮演这个角色的那个专业机构，卖掉了自己的股份，拿着 1.72 亿英镑走了。\n我也不认为这真的关乎任何个人。让任何人掌管一个由会员所有、运行国家资产、没有监管机构盯着的垄断，再给他们一笔没有明显主人的盈余，拉力永远都会朝着把钱花在比挣钱的那件事更有意思的东西上。把 .uk 运营好，不是一个你能在大会上讲的故事。竞标澳大利亚是。\n纠正一旦到来，只能来自会员，这意味着得有人放弃自己一年的生活，去组织一次投票，对抗一个正在花这些会员自己的钱来抵制它的在任者。这件事发生过一次，在 53% 的投票率下以 2.7 个百分点通过。没人会这样设计一个问责机制。\n两道真正的后备防线自始至终都没被用过。《数字经济法》的那些权力直到 2024 年才生效。重新委派从来没有被任何人认真提出过。\n九年过去了，我想知道、却没法从外面看出来的是：今天在 Nominet，有没有人能在会议上大声说出“我们是一家非营利机构，真的应该在这上面花钱吗？”，而一年后还在那里工作。\n如果答案是能，那它学到了点什么。如果是不能，那么 2021 年改变的，就只有那些名字。\n","permalink":"https://blogs.damiendye.uk/zh/dns/what-happened-at-nominet/","summary":".uk 注册局归它的会员所有，2021年3月，会员投票罢免了半个董事会。从内部看这套资产实际是什么样子，为什么在运行 .uk 的同时运行几十个 gTLD 塑造了它的运行方式，以及一个没有监管机构的注册局，最后是怎样被唯一有能力管束它的那群人管束住的。","title":"Nominet 发生了什么"},{"content":"8 篇中的第 1 篇。这个系列写得平实，句子短，用的是日常词语。\n本文讲什么 你购买技术的方式发生了什么变化。 为什么会变。 为什么离开一家供应商变难了。 为什么开源没能制止这件事。 整件事最后走到了哪里。 变化 二十年前，你买软件。\n付一次钱。那份拷贝就是你的。只要它还能用，你就可以一直用下去。\n现在大多数软件是租的。你每年都得付钱，才能接着用。\n不付钱，它就停了。你什么都不拥有。\n这就是订阅。订阅就是为了继续使用一项服务而一次又一次付的钱。\n计算本身也经历了同样的事。以前你买服务器。现在很多机构从云服务商那里租用计算能力。\n云服务商就是在它自己的机房里替你运行计算机的公司。\n为什么会变 这一点要说公道，因为它很重要。之所以会变，是因为租往往更划算。\n买服务器前期要花一大笔钱。租的话前期几乎不用花什么。\n云服务可靠，搭起来快。小团队用上了以前只有大公司才负担得起的工具。\n订阅还带来了定期更新。不用再每隔几年筹划一次大折腾。\n所以大多数机构都搬了，而且理由充分。没有人是被逼的。\n这个系列要问的问题在后面。它关心的是：当换一家已经变得困难之后，会发生什么。\n为什么离开变难了 关键在这里。\n这场变化的每一步，都挪动了“难以离开”的那个位置。\n起初它在文件格式上。文件格式就是一个程序保存你工作成果的方式。如果只有一个程序能打开你的文件，你就会一直买那个程序。\n开放文件格式解决了这个问题。如今大多数文档都能在不止一个程序里打开。\n于是难点挪了位置。它挪到了接口上。\n接口就是一个软件和另一个软件对话的方式。把你所有的系统都围绕一家供应商的接口来建，换供应商就意味着全部重写。\n然后它又挪了一次，挪到了你的数据上。\n搬一点数据很容易。搬好几年的数据就很慢，而且有些服务商会对把数据拿出去收费。\n每挪一次，软件本身就变得不那么重要。所以现在真正要紧的，是你要离开得花多少工夫。\n离开的难处在不同时期所在的位置 过去 后来 现在 你的数据 文件格式 接口 程序本身 你的数据 文件格式 接口 程序本身 你的数据 文件格式 接口 程序本身 蓝色方框是难以更换的那一层。 每当一层被打开， 难处就挪到了下一层。 同样的层次，画了 3 遍。难以更换的部分一路往上爬：先是文件格式，然后是接口，再然后是数据。 为什么开源没能制止这件事 开源软件就是代码任何人都可以阅读、使用和修改的软件。\n很多人指望它能解决这个问题。它确实解决了真实的一部分，但不是你以为的那一部分。\n开源赢了。互联网大部分都跑在它上面。大多数重要组件的代码都摆在那里，谁都能读。\n但是离开的难处并没有消失，因为它早就挪到别处去了。\n一个数据库的每一行代码你都能读。可你还是没法轻松地把 5 年的数据从运行它的托管服务里搬出来。\n托管服务就是由服务商替你运行软件，你自己不用管。\n代码是开放的。服务不是。\n这里还有第二点，而且说得在理。\n大量开源软件是靠没有报酬的志愿者维持的。大公司在这些劳动之上做产品。\n2024 年，一个被广泛使用的压缩工具被发现藏有恶意代码。那个工具是由 1 个没有报酬的人维护的。Bruce Schneier 等人对此写过详细的分析。\n教训不是开源有风险。而是大家都依赖的共享成果需要有人付钱，而它往往没人付。\n最后走到了哪里 把这些步骤放在一起，就得到我们现在的处境。\n少数几家公司提供了大多数机构所依赖的服务。\n这些公司大多在同 1 个国家：美国。\nEuroStack 项目汇总的研究认为，非欧洲服务商大约占欧洲云市场的 85%。\n这不是哪一个决定造成的。它是 20 年里许许多多合理选择一个接一个累积起来的结果。\n正因为如此，它是一种趋势，而不是一个事件。\n这对你意味着什么 这些都不是说美国软件不好。其中很多非常好，它也正是这样才遍布各处的。\n但它确实意味着，有 1 个问题比以前更重要了。\n你要换到另一家供应商，需要多长时间？\n这个数字决定了不少事情，第 2 篇会解释为什么。\n首次发布：2026年8月25日。最后更新：2026年8月25日。\n","permalink":"https://blogs.damiendye.uk/zh/random/technology-you-rent/","summary":"二十年前你买软件，那份拷贝归你。现在你租它，条件由供应商定。8 篇中的第 1 篇讲清这是怎么发生的，以及为什么每一步都让你更难换一家。","title":"技术是怎样变成租来的东西的"},{"content":"8 篇中的第 2 篇。第 1 篇讲了租用是怎样取代购买的。\n本文讲什么 离开变难之后，价格是怎样定的。 利润在哪里纳税。 你的数据适用谁的法律。 贸易决定怎样落到你的设备上。 一项服务直接停掉会怎样。 1. 价格跟着你的退出成本走 先说大多数机构已经遇到过的那一个。\n2023 年 Broadcom 收购了 VMware。VMware 做的软件可以在 1 台物理服务器上运行许多台虚拟服务器。\n随后 Broadcom 停止销售永久许可证。客户只能改用订阅。\n很多客户的价格大幅上涨。AT\u0026amp;T 在法庭文件中说，它的成本将上涨约 1,050%。\nCISPE 是欧洲云服务商的行业协会。它已经就这些变化向欧盟委员会投诉，引用的数字规模相近。\n2026 年 3 月，在欧洲合作伙伴计划被关闭之后，CISPE 再次投诉。The Register 报道了服务商们的看法。\n这里没有任何违法行为被证实。投诉仍在审查中。\n但其中的规律已经足够清楚，值得学习。\n续约就是一场谈判。你在谈判中的地位取决于 1 件事：你能多容易地走人。\n如果走人要花 3 年，你几乎没有说“不”的余地。\n而且这不只是美国供应商的事。任何处在这个位置上的供应商都有同样的优势。\n2. 利润在哪里纳税 第二种成本更难看见。\n很多大型科技公司把东西卖给 1 个国家的客户，却把利润记在另一个国家。\n当地公司常常被当作母公司的服务提供方。大部分利润流去了别处。\n于是在一个国家销售额很高，在那个国家交的税却很少。\nTaxWatch 是英国的一个研究机构。它估算，2021 年 7 家大型科技集团从英国客户身上赚了将近 150 亿英镑的利润，并估计它们的安排让英国应缴的公司税少了约 20 亿英镑。\n欧洲已经对这些安排出手了。结果有输有赢，两边都应该公平地摆出来。\nApple 输了。2024 年 9 月，欧盟法院确认爱尔兰的税务安排属于非法国家援助。爱尔兰追回了约 140 亿欧元。 Amazon 赢了。2023 年 12 月，同一家法院驳回了欧盟委员会在一宗涉及卢森堡的类似案件中的上诉。 还有一项全球协议，叫做“支柱二”（Pillar Two）。它规定了 15% 的最低税率。\n2026 年 1 月，经济合作与发展组织发布了一套“并行”安排。根据它，总部在美国的公司遵循美国的规则，而不是大部分全球规则。\n有些国家尝试征收自己的数字服务税。加拿大通过了一项，然后在美国因此叫停贸易谈判后，于 2025 年 6 月取消了它。\n所以钱是在一个地方赚的。在哪里纳税，却是在别处定下的。\n3. 适用谁的法律 这一条被误解得最多，所以值得说准确。\n很多人以为，只要数据放在欧洲，就只受欧洲法律管辖。\n这不完全对。真正起作用的，是谁控制着保管数据的那家公司。\nCLOUD Act 是美国 2018 年的一部法律。它要求美国服务商交出它所控制的数据，无论这些数据放在哪里。美国司法部列出了细节。\n所以，一座位于法兰克福、由美国所有的公司运营的数据中心，仍然可以被美国的法律命令触及。\n“我们的数据留在欧洲”和“我们的数据不受美国法律管辖”是 2 句不同的话。谨慎的供应商只说前一句。\n法律命令跟着公司的控制者走，而不是跟着大楼所在地走 欧洲的数据中心 你的数据存放在这里 该站点遵守欧盟法律 母公司 位于另一个国家 控制着数据 运营该站点 法律命令送到这里 命令不必送到大楼。 它送到控制数据的人那里。 大楼在欧洲。运营它的公司归别处所有。法律命令送到所有者那里，而不是送到大楼那里。 这方面的规则也在变，而且是双向的。\n第 702 条是美国的一项监控法律。由于国会没有续期，它已于 2026年6月12日到期。\n这并不意味着收集停止了。已经批准的授权会一直有效到期满，预计在 2027 年 3 月前后。Brennan Center 一直在跟踪。\n还有欧美数据隐私框架（EU–US Data Privacy Framework）。它允许个人数据从欧洲转移到美国。\n针对它的一项法律挑战已于 2025 年 9 月被驳回。这一裁决目前正在上诉。\n这个框架今天是有效的法律。它也是同类安排中的第三个，因为前 2 个都被推翻了。\n如果一项转移安排失效，代价落在使用它的欧洲机构身上。2023 年，爱尔兰数据保护委员会就向美国转移数据一事对 Meta 罚款 12 亿欧元。\n对这一切，有一个冷静、实际的应对办法，值得知道。\n如果你的服务商掌握着你数据的密钥，你的服务商就能响应法律命令。\n密钥自己掌握，命令就只能来找你。这样一来，决定权就落在你自己国家的法律之下。\n4. 贸易决定会落到你的设备上 技术现在是贸易政策的一部分。\n2026 年 1 月，美国对一小类先进计算机芯片以及含有这些芯片的产品征收 25% 的关税。第二阶段也已经放出了信号。\n你自己的设备会不会被波及，是随时间变化的。最该去问的是你的供应商。\n贸易关系也可能很快翻转。美国与加拿大的谈判于 2026年8月22日破裂，新关税达到 50%。加拿大宣布了反制措施。\n加拿大总理公开说明了理由。\n对你来说，要点很窄，也不取决于任何人的政治立场。\n设备的成本和供应，可能因为另一个国家在很短时间内做出的决定而改变。\n在 3 年计划里值得留出余地。\n5. 一项服务可能因为与你无关的原因停掉 对大多数机构来说，这最后一条不太可能发生。把它放在这里，是因为它的运作方式和其他几条不同。\n2025 年 2 月，美国对国际刑事法院的检察官实施了制裁。\n随后这位检察官失去了他的 Microsoft 邮箱账户的使用权，转到了一家瑞士服务商。\nMicrosoft 总裁公开表示，公司没有关闭这个账户。究竟发生了什么仍有争议，这一点理应说明。\n没有争议的是它造成的影响。德国科技媒体 heise 称之为欧洲数字主权的一个转折点。此事在欧洲议会被提出。\n到 2025 年底，国际刑事法院已经迁移到 openDesk，一个开源替代方案。\n这里重要的是机制。\n没有欠费。没有违规。服务本身也没有任何问题。\n一个政府做了一个决定，于是一家供应商必须弄清楚它还能合法地继续提供什么。\n你的协议是和你的供应商签的。你的供应商的法律义务是对它自己的政府负的。\n这种事你没法监控。仪表盘上没有警示灯。\n对大多数读者来说，风险很小，接受它是合理的。但前提是你认真想过它。\n5 条之间的共同点 这 5 种成本彼此差别很大。\n第一种你最有可能遇到。最后一种你可能永远遇不到。\n但它们有 1 个共同点。\n每一种都会随着你离开的难度增加而变得更糟。\n如果你有地方可去，涨价只是件烦心事。如果你无处可去，那就是大事。\n这就是贯穿所有这些的那条线，而它指向一个有用的方向。\n值得下工夫的问题，不是你的供应商在哪个国家。而是你能多快改变主意。\n第 3 篇看看还有谁在为你使用的软件买单。\n首次发布：2026年8月25日。最后更新：2026年8月25日。\n","permalink":"https://blogs.damiendye.uk/zh/random/what-renting-costs/","summary":"一旦换供应商变难，成本就换了形状。价格跟着你的退出成本走。利润在一个国家申报，在另一个国家赚到。法律跟着公司的所有者走，而不是机房所在地。8 篇中的第 2 篇，语言平实。","title":"租用技术要付出什么代价"},{"content":"8 篇中的第 3 篇。第 2 篇讲了依赖让你付出的代价。\n本文讲什么 开源遭到打压的那些年。 为什么打压停了。 如今是谁在维持这些软件。 软件的作者想收费时发生了什么。 公司被收购之后会怎样。 这对你意味着什么。 开源遭到打压的那些年 开源软件就是代码任何人都可以阅读、使用和修改的软件。\n它现在很平常。可在大约 15 年里，它一直被当作威胁。\n1998 年 10 月，一份 Microsoft 内部备忘录泄露。Eric Raymond 加上注释发布了它，后来它被称为万圣节文件（Halloween documents）。\n这份备忘录对开源的质量很坦诚。它说成千上万的人在开源项目上协作的方式非常了不起。\n然后它列出了该怎么对付。其中一句话说明了很多问题：\nBy extending these protocols and developing new protocols, we can deny OSS projects entry into the market.\n协议就是 2 个系统彼此对话时约定好的方式。\n所以计划不是做出更好的产品。计划是改动产品之间的接合处，让竞争对手没法直接替换进来。\n接下来的 10 年里又有几步跟进。\n2003 年，一家叫 SCO 的公司声称 Linux 里有它拥有的代码。这场官司拖了好几年，SCO 没有赢。但在官司进行期间，很多机构拿不准用 Linux 是否安全。\nMicrosoft 还和手机厂商签了专利协议。有好几年，每卖出一部运行 Android 的手机，它都要收一笔钱，而 Android 这个操作系统并不是它写的。\n2008 年，Microsoft 的文档格式被批准为国际标准。好几个国家的标准机构对这一过程的处理方式提出了反对。\n欧洲对其中一些做法进行了反击。欧盟委员会因竞争对手与其产品协作所需的信息问题，于 2004 年对 Microsoft 罚款 4.97 亿欧元。\n由于一项商定的补救措施没有落实，2013 年它又对该公司罚款 5.61 亿欧元。\n第二笔罚款值得停下来想一想。问题不是新问题。只是商定好的修正根本没有做。\n为什么打压停了 它在 2014 年前后停了，因为它没有奏效。\nLinux 已经成了大多数服务器运行的软件。它还跑着大多数云服务和大多数手机。\n一样东西一旦所有东西都建在它上面，你就没法通过法庭把它拿掉。\n于是做法完全掉了个头。\nMicrosoft 加入了 Linux 基金会。它把自己的一些工具作为开源发布。2018 年它收购了 GitHub，世界上大量开源代码就是在那个网站上写出来的。\nAmazon 和 Google 在开源之上建起了非常庞大的业务，如今这 3 家公司都向开源回馈了大量工作。\n这些工作是实实在在的，软件也因此变得更好。假装不是这样就太蠢了。\n但有 1 件事没有变。\n曾经想拖开源后腿的那些公司，如今是开源最大的资助者之一。它们也仍然是市场上最大的公司。\n开源赢下了技术上的争论。它没有改变谁手里的牌最硬。\n如今是谁在维持这些软件 这一点会让软件圈外的人感到意外。\n大量被广泛使用的开源软件，是由非常小的团队维持的。有些只靠 1 个人，用自己的业余时间，分文不取。\n而这些组件又被放进了超大公司出售的产品里。\n2021 年 12 月，Log4j 被发现有一个漏洞。Log4j 是 Java 程序用来记录自己在做什么的一个小工具。\n这个漏洞让攻击者可以在受影响的系统上运行他们自己的代码。它同时波及了数量巨大的机构。英国国家网络安全中心发布了相关指南。\n这个工具是由一小群志愿者维护的。\n教训不是开源有风险。大多数开源软件非常好，而且以闭源软件永远做不到的方式向检查开放。\n教训在于付钱这件事。许多企业都依赖的共享成果需要资金，而它往往拿不到。\n这是可以解决的，也确实有机构在解决。资助一位维护者，或者资助一个基金会，和软件替你省下的钱相比，通常只是很小的开销。\n软件的作者想收费时发生了什么 有些公司开发开源软件，再围绕它卖付费服务。这种模式在很长一段时间里运转得不错。\n当云服务商开始把同样的软件作为自己的服务来提供时，事情就难了。\n收入被服务商拿走了。写这个软件的公司没拿到。\n其中好几家的应对办法是修改许可证，让别人不能把它们的软件作为竞争性服务来提供。\nMongoDB 在 2018 年修改了许可证。 Elastic 在 2021 年跟进。 HashiCorp 在 2023 年修改。 Redis 在 2024 年修改。 开放源代码促进会（Open Source Initiative）制定公认的开源定义。它裁定其中 1 种新许可证不符合这个定义。\n随后很多 Linux 发行版放弃了受影响的软件。\n更广泛的社区拿走了最后一个开源版本的副本，另起炉灶继续维护。这样的副本叫做分叉（fork）。\nOpenSearch 延续了早先的 Elasticsearch 代码。 OpenTofu 延续了早先的 Terraform 代码。 Valkey 延续了早先的 Redis 代码。 Elastic 和 Redis 后来都回到了开源许可证。\n值得看看这件事是怎么收场的，因为参与其中的每一方都没得到自己想要的。\n一家公司做出了有用的软件。一家更大的公司从中赚的比作者还多。作者为了活下去而收紧了许可证。社区反对，而且反对得对：这已经不再是开源了。分叉出现了，背后往往是那些更大的公司。\n到最后，软件仍然可以免费使用。分叉大多由最大的玩家主导。而为原始工作付了钱的那家企业，比起步时更弱了。\n公司被收购之后会怎样 价值流出一家企业的第二种方式，和软件许可证毫无关系。\n它关乎一家公司是怎样被买下的。\n这个模式说白了是这样的。\n买方借来大部分收购款。这笔贷款随后以被收购的公司作抵押。于是这家公司最后背上了用来买它自己的债。\n买方接着可能把公司的房产卖掉再租回来。筹到的钱可以分给新的所有者。这家公司现在要为它原本拥有的场地付租金。\n那些今年看不出来的成本会被砍掉。通常是维护、人手、研究和产品开发。\n然后这家公司被转手卖掉。\n英格兰银行研究过这件事在金融稳定方面的影响。它对私募股权的评估指出，杠杆收购中的大量借债让这些公司更容易违约，也让借钱给它们的一方面临损失。此后它一直在关注这个行业。\n并非每一笔收购都是这样，很多所有者是投资而不是掏空。这是一种需要认出来的模式，而不是对所有买家的描述。\n但凡是真这样做的，结局每次都一样。\n这家企业原本通常运转良好。运转不下去的，是这家企业加上为了买它而背的债。\n借钱收购前后的同一家企业 之前 之后 工作 同样的员工，同样的客户 拥有自己的房产 没有收购带来的债务 为维护出钱 为研究出钱 所付租金：无 工作 同样的员工，同样的客户 租用同样的房产 背着用来买它的贷款 维护被削减 研究被削减 所付租金：每月都付 用借来的钱 买下 这家企业仍在为同样的客户做同样的工作。 变的是它拥有什么，以及它现在必须往外付什么。 同一家企业，前后对比。工作和客户都还在原处。房产和借款换了主人，运营成本上去了。 软件里的同一个模式 这在几年前就蔓延到了软件业。\n被拿来榨取的资产不是房产。是那些没法轻易离开的客户。\n一个成熟产品，加上一批老客户，就可以重新定价。这些客户没法迅速搬走，所以他们大多会掏钱。\n与此同时，工程投入可以被削减。这要好几年才会显现出来，而到那时交易早已完成。\n第 2 篇讲了这对 VMware 客户来说是什么样子。\n还有一种由投资人而不是债务出钱的版本。它被描述得足够多，已经有了一个名字：enshittification（“平台劣化”），这个词由加拿大作家 Cory Doctorow 从 2022 年起开始使用。\n它分 3 个阶段。\n服务以低于运营成本的价格出售，由投资人出钱补贴。便宜又好用，于是大家都搬了过来。 一旦大家没法轻易离开，它就被改成迎合付费的企业客户。 一旦两边都被套牢，条款再变一次，以提高利润。 对这个系列来说，第 1 阶段才是关键。\n一家公司常年低于成本销售，不是因为它更好才赢。它是被出钱来抢占市场的。\n必须自负盈亏的小企业跟不上那个价格。很多关了门。\n等到价格后来涨到能持续的水平时，曾经存在的选择往往已经没了。\n这对你意味着什么 从中可以得出两件实际的事，而且都很容易做到。\n查一查你依赖的东西有多少人在维护。\n看看那些你的系统离了就跑不起来的工具。弄清楚每一个有多少人在积极维护。\n如果答案是 1 个或 2 个，这就值得知道。你可能想资助这份工作，自己留一份源代码，或者预先想好万一它停了你怎么办。\n留意谁拥有你的供应商。\n你的合同条款跟着所有者走，而不是跟着产品走。所有权的一次变更，对你续约的影响可能比软件的任何改动都大。\n签约时，查清楚你停止付费后还能保留什么。查清楚你是否还能运行已经安装的东西，以及是否还能收到安全更新。\n这两件事都花不了多少时间。在续约之前做，比在续约过程中做容易得多。\n第 4 篇看看法院和监管机构已经做出了哪些裁决。\n首次发布：2026年8月25日。最后更新：2026年8月25日。\n","permalink":"https://blogs.damiendye.uk/zh/random/who-pays-for-the-software/","summary":"前 2 篇看的是依赖让你付出什么。这一篇看还有谁在付账：为超大公司维持软件运转的志愿者，以及被收购、被拿来抵押借债、被削减的企业。8 篇中的第 3 篇，语言平实。","title":"谁在为你使用的软件买单"},{"content":"8 篇中的第 4 篇。第 3 篇看的是谁在为你用的软件买单。\n本文讲什么 为什么这些记录值得一读。 关于 Google 已经认定了什么。 关于 Apple 已经认定了什么。 关于 Amazon 已经认定了什么。 关于 Meta 已经认定了什么。 所有这些案子的共同规律。 为什么这些记录值得一读 挑选供应商是一种预测。你是在判断它们 3 年或 5 年后会怎样做。\n公司的价值观声明对此没什么用。每家都有一份，说的都差不多。\n事实认定要好得多。这是法院或监管机构在听取证据后得出的结论。\n本文用的就是这些。只要有欧洲的决定，就把它放在前面。\n列清单之前先说两件事，好让它保持公正。\n并不是每个案子都判公司输。有些是监管机构输了，这些也收在里面。\n这也不是在说欧洲公司表现更好。大众汽车和 Wirecard 足以说明这一点。这个规律来自规模和市场地位，而不是来自公司是哪国的。\nGoogle 欧盟委员会最先出手，而这些案子拖了很久才了结。\n2017 年，它对 Google 罚款 24.2 亿欧元。它认定 Google 把自家的购物比价服务推到搜索结果前面，把对手往后压。\nGoogle 提起上诉，欧盟法院在 2024 年 9 月维持了这一决定。\n从罚款算起已经过了 7 年，从行为发生算起还要更久。\n2018 年，欧盟委员会因 Google 对想要 Play 商店的手机厂商附加的条件，对它罚款 43.4 亿欧元。这笔罚款后来减到约 41 亿欧元，最终上诉在 2026 年被驳回。\n2019 年，欧盟委员会因广告合同对 Google 罚款 14.9 亿欧元。普通法院在 2024 年撤销了这一决定，认定指控没有成立。这一次是监管机构输了。\n在美国，一家法院在 2024 年认定 Google 非法维持了搜索领域的垄断。2025 年 9 月，同一家法院定出了补救措施，要求修改默认协议并与竞争对手共享部分数据，但没有要求 Google 出售 Chrome 或 Android。\n2025 年 4 月，另一项美国裁决认定 Google 非法捆绑了自己的 2 款广告产品。补救措施仍在审理中。\nApple 2021 年，一家美国法院命令 Apple 允许应用开发者告诉客户还有其他付款方式。\n2025 年 4 月，同一家法院认定 Apple 没有遵守。\n它还认定 Apple 的一名高管提供了不实证词，而公司自己的内部文件说的是另一回事。CNBC 当时报道了这项裁决。\n法院把此事移交检方，考虑是否提起刑事藐视法庭诉讼。Apple 表示将会上诉。\n这个案子重要的原因和其他几个不同。\n一家公司可以对自己的法律立场持坚定看法，同时依然对法院坦诚相待。认定证词不实，则完全是另一回事。\n你和供应商之间的关系就是一组承诺。这是直接的证据，说明一旦遵守承诺变得代价高昂，承诺会被怎样对待。\nAmazon 2025 年 9 月，Amazon 同意支付 25 亿美元，了结美国联邦贸易委员会提起的一起案件。委员会公布了细节。\n其中 10 亿美元是罚款，15 亿美元退还给客户。\n案子关于 Prime 会员注册和取消流程的设计。指控是这些界面被做成会让没有选择加入的人加入，并让取消变得费劲。委员会说约有 3500 万人受到影响。\n作为和解的一部分，Amazon 同意修改注册和取消流程。\n这种规模的界面设计在发布前都会经过测试和测量，这是正常、合理的做法。所以一个设计会产生什么效果，通常在上线之前就已经知道了。\nMeta 2019 年，在 Cambridge Analytica 事件之后，美国联邦贸易委员会因隐私做法对 Facebook 处以 50 亿美元罚款。\n更大的事情不是罚款。\n2021 年，一名前员工把公司内部研究交给记者，随后在美国参议院一个委员会作证。BBC 报道了她的核心主张：公司一次又一次把利润放在安全前面。\n其中一部分研究考察了 Instagram 对青少年用户的影响。有些结果令人担忧。\nMeta 不同意对这些研究的描述。它说结果比报道的更复杂，而且这名前员工并没有在那些团队工作过。这方面更广泛的科学结论尚无定论，公平起见应该说明这一点。\n有一点没有争议，也正是该记住的那一点。\n公司研究过自己的产品是否在伤害某一群用户。其中一些研究结果令人担忧。这些结果之所以被公众知道，是因为有人把它们带出了大楼。\n只能靠这种方式流出来的研究，和独立监督毫无相似之处。\n所有这些案子的共同规律 把这些案子放在一起看，有 4 点很突出。对规划来说，它们比任何单个案子都重要。\n1. 罚款和收益相比很小。\n几十亿相对于数千亿的收入只是小数目，而且要在钱赚到手多年以后才落下来。\n当罚款比收益还少时，它的作用更像是做生意的成本，而不是威慑。\n2. 补救来得太晚。\n在这些案子里，从行为发生到可以执行的补救措施，间隔大约 7 到 12 年。\n竞争对手很少能撑那么久。等到补救措施生效时，它本来要保护的那个市场通常早已变了样。\n3. 个人很少被追究。\n罚款由公司支付，也就是由股东承担，而批准这些决定的人通常保住了薪水和职位。\n这很重要，因为它决定了激励。当成本落在公司身上、好处落在个人身上时，对做决定的人来说，这个决定看起来就值得做。\n4. 问题在内部被知道，早于在外部被知道。\n在其中好几个案子里，公司先掌握了信息。这些信息是通过泄露、诉讼或监管机构才到达公众的。\n不过要小心你从中得出什么结论。\n这些通常不是某个人存心作恶的案子。一个团队按照指标优化了一个注册界面。一个排序系统被调得能增加使用量。一项研究结果没有发表。\n这些决定分散在很多人手里，每一步单独看都合情合理。这正是这个规律如此稳定的原因，也是为什么要求公司更努力一点不太可能改变它。\n怎样使用这些信息 把它用在它真正回答的问题上。\n当一家供应商有商业利益，而你又没有真正的替代选择时，记录表明结果往往对供应商有利。\n任何纠正通常都要等上好几年，而且通常让供应商付出的代价比这种行为给它赚到的要少。\n这不是因为一家供应商所在的国家就避开它的理由。\n这是一个很好的理由：不要依赖任何你离不开的供应商。\n第 5 篇看的是一个国家的法律怎样伸向另一个国家的公司。\n首次发布：2026-08-25。最后更新：2026-08-25。\n","permalink":"https://blogs.damiendye.uk/zh/random/what-the-record-shows/","summary":"挑选供应商就是猜它日后会怎样做。这个猜测最公平的依据，是法院和监管机构已经作出的决定。8 篇中的第 4 篇列出这些认定，也收录监管机构输掉的案子，并归纳出其中的规律。","title":"记录说明了什么"},{"content":"8 篇中的第 5 篇。第 4 篇看的是法院和监管机构已经作出的决定。\n本文讲什么 伸向其他国家公司的法律。 法国怎样看待这件事。 关于商业信息的旧担忧。 通过贸易施加的压力。 跟着产品走的假设。 伸向其他国家公司的法律 第 2 篇解释了一个国家的法律怎样伸向它所控制的公司持有的数据。\n同一条原则也会伸向公司本身，而且影响可能大得多。\n欧洲记录最完整的例子是法国工程公司 Alstom。\n2014 年，Alstom 在美国认罪，同意支付 7.72 亿美元。这个案子依据的是《反海外腐败法》，一部美国的反贿赂法律。美国司法部公布了细节。\n贿赂是真实的。这不是一个关于无辜公司的故事。\n一名 Alstom 高管在途经美国时被捕，并坐了一段时间的牢。\n差不多同一时期，Alstom 把它的电力业务卖给了美国公司通用电气。\n这名高管后来提出，那桩悬而未决的案子在这次出售中起到了施压的作用。美国检方否认自己是在帮一个美国买家。\n这个分歧从未得到解决，所以本文也没法解决它。\n法国怎样看待这件事 能拿出来的，是法国政府事后得出的结论。\n2019 年 6 月，一份报告呈交给法国总理。它被称为 Gauvain 报告，标题讲的是恢复法国和欧洲的主权，保护公司免受具有域外效力的法律影响。\n域外效力指的是一部法律在制定它的国家的边界之外也适用。\n报告有 3 点结论值得在这里重复。\n法国、欧洲和其他非美国公司被处以非常巨额的罚款，总数达到数百亿美元。 其中很多行为与美国领土几乎没有直接联系。 法国公司没有有效的法律工具来保护自己。 报告还指出，美国公司很少成为目标。\n法国随后更新了它的阻断法，这是一部限制法国公司可以向外国当局交出哪些信息的法律。更早的一次议会调查在 2016 年就研究过同一个题目。\n你不必全盘接受那份报告的每一个结论。一个国家的议会研究过这个问题，并认定它关乎主权，这就够了。\n对你自己的规划来说，要点很短。\n对另一个国家的法律风险就是商业风险。不只是合规风险。\n关于商业信息的旧担忧 这种担忧并不新，值得知道它能追溯到多久以前。\n2001 年，欧洲议会发表了一份关于一个全球通信截听系统的报告，这个系统当时被称为 ECHELON。议会后来又发表了一份回顾那项工作的研究。\n报告的结论是这样的系统确实存在。它还审视了截获的信息被用来谋取商业利益的说法，其中涉及欧洲公司。\n这些说法在当时就有争议，至今也难以证实。\n提到它不是为了给它们下定论，而是因为欧洲议会在 25 年前就足够重视这个问题，进行了一次正式调查，而这个问题此后从未消失。\n通过贸易施加的压力 第 2 篇讲到了针对设备的关税，以及加拿大在贸易谈判被叫停后取消了数字服务税。\n还有一步值得单独记下来，因为它针对的是人而不是货物。\n2026 年 1 月，美国国务院对 5 名欧洲官员实施签证限制。他们参与过《数字市场法》和《数字服务法》的工作，这两部欧洲法律管辖大型在线平台。\n与此同时还伴随着与欧洲执法行动挂钩的关税威胁。\n美国战略与国际研究中心把这描述为用贸易手段阻止数字监管。\n意大利的国际事务研究所研究了《数字市场法》的执行是否因此变得可以谈判。\n这正是悬而未决的问题。如果欧洲的技术规则能被贸易压力撼动，它们给你的保护就不像条文看上去那样确定。\n公平起见也要补一句：贸易压力是治国的常规工具，许多国家都在用，包括欧洲国家。这里的重点是它被用在了什么上面。\n跟着产品走的假设 最后一项比其他几项都安静，没有官司，没有罚款，却每天都在影响你。\n软件是为它的开发者最熟悉的市场造的。那个市场的假设会跟着它走。\n有些你一眼就能认出来。\n隐私设置往往默认共享，因为这是美国常见的做法。欧洲的法律则从征求同意开始。 员工管理工具往往假定雇用关系可以在短时间内结束，而且没有需要征询意见的职工委员会。 标准合同条款往往要求纠纷在美国法院、按美国法律审理，哪怕客户在欧洲。 内容规则遵循 1 个国家对言论自由的理解，然后被推行到全世界。 对小语种的支持最后才来，有时根本不来。 这些都不是存心添麻烦，而是为本土市场做产品、再把结果卖到其他所有地方的正常结果。\n不过它确实解释了更大的那场争论里的一些东西。\n《通用数据保护条例》、《数字市场法》和《数字服务法》，大体上是欧洲在声明自己是一个有着既定规则的独立法律区域。\n对此的回应就包括上面那些贸易手段。\n这对你意味着什么 从中可以得出三点实际的结论。\n读一读适用法律条款。 看清楚纠纷会由哪国的法院审理。对大合同来说，这值得谈。\n问一问你的供应商的母公司注册在哪里。 这个答案决定的东西比数据中心的地址还多。\n买之前先确认产品符合你所在的法律环境。 同意、雇用规则和记录保存，通常是进口来的默认设置与本地法律对不上的地方。\n这些都不需要你对任何政府有什么看法。这只是普通的供应商尽职调查，用在一个大多数采购清单至今仍漏掉的问题上。\n第 6 篇谈安全，以及以国家安全为由把一家供应商挡在门外时所用的标准。\n首次发布：2026-08-25。最后更新：2026-08-25。\n","permalink":"https://blogs.damiendye.uk/zh/random/how-far-the-law-reaches/","summary":"第 2 篇讲的是伸向你数据的法律。8 篇中的第 5 篇讲伸向你公司的法律：美国法律下的巨额罚款，法国议会报告关于这是否构成商业武器的看法，施加在税法和监管机构上的贸易压力，以及把一个市场的假设带到各处的产品。","title":"一个国家的法律能伸多远"},{"content":"8 篇中的第 6 篇。第 5 篇讲的是一个国家的法律能伸多远。\n本文讲什么 把某些供应商挡在门外时给出的理由。 关于被削弱的产品，已经确认了什么。 2024 年发生了什么。 为什么这同样落到欧洲头上。 你能做些什么。 把某些供应商挡在门外时给出的理由 好几个国家的政府已经把中国供应商挡在电话网和互联网之外，并在公务设备上限制了一些中国应用。\n给出的理由通常是同一个：一家公司可以被迫帮助它自己的政府。所以不管代码做了什么，设备本身就带着风险。\n这个推理是成立的。它也正是第 2 篇在讨论你的数据归谁的法律管辖时用的那个推理。\n往下讲之前，先把一件事说清楚。\n中国国家背景的网络行动是真实存在的。欧洲各国的国家安全机构和美国的一样都有记录，其中包括大规模窃取商业信息。本文没有一个字是在为此辩护。\n但如果原则是一家供应商可以被迫帮助它自己的政府，那么这条原则适用于每一家有政府的供应商。\n一视同仁地执行，欧洲和美国这边的记录并不是空白。有些地方它比那些指控还要确凿，因为议会专门调查过。\n关于被削弱的产品，已经确认了什么 三件事，每件都有出处，按站得住的程度排序。\n一家情报机构拥有一家加密公司。\nCrypto AG 是一家瑞士公司，从 20 世纪 50 年代起向 120 多个政府出售密码机。\n它归美国的 CIA 和德国的 BND 所有。机器被改过，好让这两个机构能读到买机器的那些政府的电文。\n这件事靠的不只是新闻报道。消息曝光后，瑞士议会自己的情报监督机构做了调查，并在 2020 年 11 月发布了报告。\n瑞士公共广播机构 SWI 报道了调查结论，包括瑞士情报部门从 1993 年起就知情。\n买家里有欧洲国家的政府。这件事持续了大约 50 年。\n一项密码标准被撤回。\n一个叫 Dual_EC_DRBG 的随机数生成器曾作为美国标准发布。随机数是加密用来让密钥无法预测的东西。\n研究人员证明，它的设计让挑选其中某些数值的人能够预测它的输出。\n标准机构在 2013 年建议停止使用，2014 年把它移除。The Register 当时报道了与此相关的商业安排。\n设备在运输途中被截获。\n2013 年 12 月，德国《明镜》周刊发布了一份截获工具目录，涵盖知名厂商的路由器、防火墙、服务器和存储固件。\n报道还描述了设备在运输途中被转走、改动、重新包装，再发给客户。\n买硬件的人都值得在最后这一条上停一下。\n它意味着信任边界不只是你的供应商，而是你的供应商加上经手这次交付的每一个环节。\n一家诚实的供应商没法替你担保第二部分。\n2024 年发生了什么 这件事回答了那个工程问题，也是本文最有用的一部分。\n1994 年，美国通过一项法律，要求电话公司在搭建网络时，让通信可以根据合法请求被截听。\n所以这个入口是永久的、内置的，并由法律程序管着。\n2024 年，一个与中国国家有关、公开名称为 Salt Typhoon 的组织被发现进入了至少 9 家美国大型电话公司。\n被攻入的系统里就有截听系统本身。The Register 报道了议员们的反应。\n一个政府要求建起来的入口，成了另一个政府进来的路。\n这不是运气不好。这是这种东西的工作方式决定的。\n内置的入口是一种能力，不是一条规则。管着它的法律只约束接受这部法律的人。一个已经闯进来的人不在此列。\n每一个支持内置合法访问的论点，都假定这种访问可以只留给预期的使用者。这是现有最清楚的证据，说明这个假定不成立。\n为什么这同样落到欧洲头上 如果这个推理是对的，它在哪里都对，所以它同样落到欧洲的提案头上。\n在消息加密之前就在设备上扫描的提案，造出的正是同一类内置入口。\n英国有一项权力，可以要求公司提供技术能力。它已经被用来要求修改一项加密功能，而那家供应商选择在英国撤下这项功能，也不去改它。\n两者都由民主国家推动，有监督，理由也很严肃，比如保护儿童。\n两者造出的也恰恰是 2024 年已经证明无法可靠地只留给预期使用者的那种能力。\n欧洲的入口并不比别的入口更安全，因为入侵者不在乎机构有多负责。他们在乎的只是这东西存不存在。\n这就是为什么这个论点有用的版本是技术性的，不是政治性的。\n“别信任来自某国的供应商”每次政治风向一变就得重新讨论。\n“假定任何内置入口最终都会被不是为他而建的人用上”则不管怎样都成立。\n你能做些什么 实际的答案主要不在于你向谁买，而在于把系统设计成让这个问题没那么要紧。\n把网络当作不可信的。 端到端加密流量，不要因为一个系统在网络上的位置就让另一个系统信任它。\n尽可能自己掌握加密密钥。 第 2 篇解释了为什么这会改变谁能被要求交出你的数据。它也会限制入侵者觉得值得拿走的东西。\n少发送。 你从未收集的数据不会被截获、被索取或丢失。这是清单上最不时髦的控制措施，往往也是最有效的。\n信任设备之前，先查查它运行的是什么。 只要硬件支持，验证启动和固件校验都值得打开。\n在真正敏感的系统上，检查交付的货物。 防拆封包装和记录序列号都足够简单。\n这些都不需要你先决定最该担心哪个政府。\n这正是它们是更好的答案的原因。一个只有在你对政治的猜测正确时才起作用的控制措施，算不上真正的控制措施。\n第 7 篇走出技术领域，看看其他行业是怎样处理同一个问题的。\n首次发布：2026-08-25。最后更新：2026-08-25。\n","permalink":"https://blogs.damiendye.uk/zh/random/backdoors-and-who-is-accused/","summary":"以安全为由把一家供应商挡在门外，需要一个标准，并且一视同仁地执行。8 篇中的第 6 篇列出关于被削弱的产品和截获已经确认的事实，包括瑞士议会的一次调查，并说明为什么一个内置的入口属于任何能摸到它的人。","title":"后门，以及谁会被指控装了后门"},{"content":"8 篇中的第 7 篇。第 6 篇讲了安全和内置的后门。\n本文讲什么 为什么这种比较有用。 种子，以及加在活物上的许可条款。 超市，以及专为它们制定的规则。 为什么技术行业没有任何类似的东西。 它告诉了你什么。 为什么这种比较有用 有一种常见的看法：技术是一种新型的权力，需要一种新型的思路。\n这种看法让人安心，但它大体上是错的。正是因为相信它，应对才来得这么慢。\n这个系列讲的问题是个老问题。一家供应商变得不可或缺。客户的替代选择消失了。条款不再是谈出来的，而是宣布出来的。\n这种事在完全没有软件的行业里早就发生过。\n这种比较在 2 个方面有帮助。\n它能告诉你接下来往往会发生什么，因为那些行业在这条路上走得更远。\n它还能告诉你一个认真的应对是什么样子，因为其中一些应对已经存在，而且管用。\n种子，以及加在活物上的许可条款 买种子的农民，处境和购买核心软件的机构差不多。\nBayer、Corteva、Syngenta 和 BASF 这 4 家公司占据了全球种子市场的大部分，在农药市场上的份额也相近。瑞士机构 Public Eye 发布了相关分析。\n在某些单一作物上集中度更高，少数几家公司掌握着大部分相关专利。\n如果你读过软件协议，这种许可方式会让你觉得眼熟。\n专利种子不是简单地卖给你。它是许可给你使用的，而许可条款可以禁止农业里最古老的做法：把今年收成的一部分留下来，明年再种。\n所以农民买到的是 1 季的种子使用权。繁殖它的权利，也就是种子的全部意义所在，留在了供应商手里。\n这就是把一次性购买变成了反复购买。它在农业里发生，比在软件里还早。\n还有第二个眼熟的细节。\n种子常常是为配合某一种特定农药而培育的，而这两样东西由同一家公司出售。买了其中一样，再买另一样就比换家更省事。\n农业经济学家追踪过结果：可选的品种更少了，投入成本更高了，换供应商的能力更弱了。\n超市，以及专为它们制定的规则 食品行业的另一半，从买方一侧呈现了同样的问题。这才是值得效仿的例子。\n在英国，少数几家零售商经手了大部分食品杂货的销售。\n所以一家供应商面对的潜在客户非常少。丢掉一家就可能让生意完蛋。而对零售商来说，换一家供应商只是一上午的事。\n这种不对等被记录得足够充分，于是议会采取了行动。食品杂货守则裁决官（Groceries Code Adjudicator）于 2013 年设立。它负责监督大型零售商是否遵守《食品杂货供应业务守则》（Groceries Supply Code of Practice）。\n看看这部守则限制了什么，再想想你上一次续约软件的情形。\n未经同意，事后更改已经商定的条款。 向供应商收费，作为继续做生意的条件。 不给补偿就把成本和风险转嫁给供应商。 在纠纷中以下架作为要挟。 欧盟也制定了自己的版本。关于不公平交易行为的第 2019/633 号指令覆盖农业和食品供应链。\n它禁止拖欠货款、临时取消订单、单方面更改条款，以及以商业报复相威胁。每个成员国都有一个负责执行的机构。\n这两套制度都不完美。裁决官的权力有限，不管定价本身，最强硬的权力也很少动用。\n但它们内在的原则，正是技术行业所缺的。\n当议价能力极不对等时，契约自由其实并不存在。所以某些做法要直接禁止，而不是留给谈判。\n没有人提出过，应该禁止软件供应商事后更改已商定的条款。\n没有人把“取回你自己的数据要收费”看作把成本转嫁给弱势一方。\n在食品行业，这两样都会立刻被认出来。在软件行业，我们管它叫授权模式。\n为什么技术行业没有任何类似的东西 原因有四个，值得弄明白，因为它们指出了需要改变的是什么。\n速度。 食品杂货行业的集中化用了大约 100 年。云计算的集中化用了大约 15 年。等你能清楚看见它时，它已经完成了。\n免费服务。 大多数国家的竞争法是围绕消费者支付的价格发展起来的。按这个标准，一项定价为零的服务看起来无害，哪怕客户并不是用户。\n“新”的说法。 这个行业成功地论证了它的经济规律与众不同，难以离开只是复杂系统的一种属性，而不是一种设计选择。\n组织。 农民有工会、有合作社，还有长期集体议价的习惯。他们用这些争取到了具体的法律保护。\n技术采购方只有用户组和一场年会。当 VMware 客户遭遇大幅涨价时，真正的反击来自一个云服务商的行业协会，而且走的是竞争法的途径。第 2 篇讲了那要花多长时间。\n它告诉了你什么 两个结论，都值得记住。\n问题是结构性的，而不是国别性的。\nBayer 是德国公司。最大的几家超市是英国、法国和德国的。第 3 篇里的收购模式在整个欧洲都用得很起劲。\n明天就把这个系列里的每一家美国供应商换成 4 家欧洲供应商，同样的行为还会回来，因为它是由结构决定的。\n所以，这里的建议关乎能否更换供应商，而不是挑哪个国家。\n一个可行的答案已经存在。\n我们不需要发明一套新的平台监管理论。\n现成就有一种模式：因为议价能力不对等，某些做法被禁止；有一位裁决官受理投诉；弱势一方不必承担全部举证责任。\n它是为卷心菜建起来的。用在云合同上一样管用。\n第 8 篇看看欧洲现在正在建设什么，以及怎样查清你所处的位置。\n首次发布：2026年8月25日。最后更新：2026年8月25日。\n","permalink":"https://blogs.damiendye.uk/zh/random/the-same-pattern-elsewhere/","summary":"这一切都不新鲜，而且其实不是技术问题。4 家公司控制着全球大部分种子供应。10 家零售商经手英国大部分食品。两者都催生了软件业完全没有的法律应对。8 篇中的第 7 篇把它们放在一起比较，并追问技术行业为什么能逃过去。","title":"其他行业里的同一个模式"},{"content":"8 篇中的第 8 篇。第 7 篇把这个模式和其他行业做了比较。\n本文讲什么 欧洲实际建成了什么。 今天什么是现实的，什么不是。 3 个问题，帮你弄清自己所处的位置。 关于这个网站的一句老实话。 趋势已经转向 很多年来，欧洲的数字独立大体上停留在嘴上。\n从 2025 年起，情况变了。现在有了能用的产品，也有机构每天都在用。\n这是整个系列里最有用的趋势，因为它是你能付诸行动的那一个。\n办公与协作软件 openDesk 是一套用于日常办公的开源工具。文档、邮件、日历、文件、聊天和视频会议。\n它由德国数字主权中心 ZenDiS 负责维护。\n它由现成的工具组合而成：Nextcloud 管文件，Collabora 管文档，Open-Xchange 管邮件和日历，Element 管聊天，Jitsi 管视频。\n它是在真用的。德国联邦国防军签了一份多年协议。德国公共卫生机构罗伯特·科赫研究所为几千人运行它。国际刑事法院在 2025 年选择了它。\n现在也有商业选项了。\noffice.eu 于 2026 年 3 月在海牙上线。它是一个由欧洲人所有的托管服务，用来替代美国的大型办公套件。\nEuro-Office 于 2026 年 6 月跟进。它是由几家欧洲公司联合打造的共享文档编辑器，参与者包括 IONOS、Nextcloud、XWiki、OpenProject、Open-Xchange 和 office.eu。\n这样合作很重要。它意味着每家公司不必各自从头再造同一个编辑器。\n政府真的在迁移 有些政府已经迁移了，这给我们其他人提供了可以借鉴的真实经验。\n丹麦数字化部从 2025 年 7 月起从 Microsoft 365 迁移到 LibreOffice。LibreOffice 是一套免费的办公套件。\n德国石勒苏益格-荷尔斯泰因州正在把数以万计的工作人员电脑迁移到开源软件上。\n法国和德国也在一起打造共享工具，而不是各自掏钱买自己的。\n也应该老实说，这并不总是一帆风顺。\n慕尼黑花了几年把市政府迁移到 Linux，然后在 2017 年又迁回了 Windows。The Register 当时报道了其成本。\n慕尼黑的主要教训不在技术上。软件大体上是能用的。没能持续下去的，是政治上的支持：一个跨越十多年的项目，经历了几届政府更替。\n所以这些事情需要多年的稳定支持。这是一项真实的要求，值得老老实实地为它做计划。\n支付 支付遵循同样的趋势，而很多人并没有意识到它有多集中。\n对欧洲中央银行数据的分析表明，2025 年欧元区约 47% 的银行卡支付金额由 Visa 和 Mastercard 处理。在好几个国家，这个比例还要高得多。\n好几个欧洲国家确实有自己的银行卡系统。问题是它们不能跨境使用，所以到处都能用的那一个就是美国的。\nWero 是欧洲的回答。它由欧洲支付倡议（European Payments Initiative）运营。\n它从比利时、法国和德国的个人间转账起步。现在已经有几千万注册用户。卢森堡在 2026 年加入，荷兰正在把现有的 iDEAL 系统迁到它上面。欧洲支付委员会会公布进展。\n在商店和网上付款是下一阶段。正是这一阶段决定 Wero 能否成为真正的替代方案。\n在它背后还有数字欧元，时间线更长，大约在 2029 年。\n新规则 欧盟委员会于 2026年6月3日发布了《云与人工智能发展法案》提案。\n这是第一次认真尝试，把云主权从一个自愿贴的标签变成一项法律要求。\n它按等级给云服务商评级，依据是基础设施所在地、能多独立地运行，以及谁拥有它。公共部门的采购方会要求服务商至少达到最低一级。\n它是一项提案。它还不是法律，在审议过程中可能会改。\n什么是现实的，什么不是 一份充满希望的清单在这里很容易出错，所以我们说明白。\n今天就现实可行。 办公文档、邮件、日历、文件、聊天和视频。可用的欧洲和开源选项已经存在，现在就有机构在生产环境里运行它们。\n正在接近。 支付，以及部分云服务。零件已经有了。覆盖面还在补齐。\n还不行。 大规模的云基础设施。欧洲的容量远远赶不上需求。\n今天哪些可以用欧洲或开源方案替代 每一层今天的可替代程度 办公 文档、邮件、日历、文件、聊天、视频 现在可替代 支付 Wero 在增长；商店和网上付款是下一阶段 部分就绪 云基础设施 欧洲的容量远小于需求 还不行 计算机芯片 欧洲确有实力，但今天没有完整替代 这十年内不行 越往技术栈的上层看，你今天的选择就越多。 这十年内不行。 芯片本身。欧洲确有实力，包括荷兰的 ASML，以及在芯片设计上的 Infineon 和 NXP。但这些今天都替代不了一块数据中心用的图形处理器。\n德国基金会贝塔斯曼基金会（Bertelsmann Stiftung）估算，建成一整套欧洲技术栈大约需要 10 年和约 3000 亿欧元。\n所以完全独立不在选项之内，谁要是向你兜售它，就是在夸大自己手里的东西。\n况且，完全独立本来就从来不是有用的目标。\n3 个问题，帮你弄清自己所处的位置 这里有一个简单的办法来审视你自己的系统。它适用于任何国家的任何供应商。\n对你依赖的每一项服务，问这 3 个问题。\n1. 如果这项服务停了，什么会停止运转？\n要具体。说出受影响的系统和人。“它很重要”不是你能拿来做计划的东西。\n2. 搬走需要多少周的工作量？\n只要你还用着这家供应商，这个数字就决定了你在每一次续约时的地位。\n如果你估不出来，这本身就已经值得知道了。\n3. 你的机构真的能运行替代方案吗？\n不是问替代方案存不存在。而是问你的团队，以它真实的规模，能不能运行它。\n对一个有培训预算的部委来说，LibreOffice 是一个实实在在的答案。对一家没有 IT 人员的小公司来说，这个答案就难得多。\n按这 3 个答案给你的服务排个序。清单通常很短，而且往往不是人们预想的那一份。\n对很多机构来说，邮件和员工账户排在云计算前面。迁移它们很少被测试过，而且会花很长时间。\n然后，对你正在考虑的任何欧洲替代方案，问同样的 3 个问题。\n一家你离不开的欧洲供应商，并不比一家你离不开的美国供应商好多少。\n开放格式和开源真正的优势不在价格。在于它们让第 2 个问题有了答案，让第 3 个问题成为可能。\n关于这个网站的一句老实话 写了这么多却不拿来对照自己，是不公平的。\n这个网站用 Hugo 构建，由美国公司 Cloudflare 提供服务。这个系列里的每一点都适用于它。\n我选 Cloudflare，是因为它好用，而且不花我一分钱。如果明天账户停了，我会改几条 DNS 设置，换个地方发布。\n所以风险是真实的，后果是轻微的。这是一笔公平的交易，而且是我有意做出的。\n我自己的其他设备也是混杂的。我经常写到的 Proxmox 是奥地利的。它跑在美国设计的处理器上，固件我也没法检查。\n没有哪种配置能降到零。那本来就不是目标。\n简短版 技术从你买的东西变成了你租的东西。\n租往往更好，这正是它会发生的原因。\n租用的每一种代价，都随着你离开的难度增加而增长。\n从 2025 年起，日常办公已经有了真正的替代方案落地，支付方面也正在落地。\n所以实际的目标不是躲开哪个国家。而是减少那些你 3 个月内离不开的服务的数量。\n从那些你从未测试过的开始。意外通常就等在那里。\n首次发布：2026年8月25日。最后更新：2026年8月25日。\n","permalink":"https://blogs.damiendye.uk/zh/random/choice-coming-back/","summary":"从 2025 年起，欧洲的应对从计划变成了能安装的东西。8 篇中的第 8 篇讲哪些已经落地，哪些老实说还要好几年，并给出 3 个问题，帮你弄清自己所处的位置。","title":"你的选择正在回来的地方"},{"content":"Active Directory 域里的每台机器都是靠问 DNS 来找到域控制器的。不是靠一份配置好的列表。它查询一条 SRV 记录，答案让它去哪儿，它就去哪儿。这就让 _msdcs 下面那几条记录成了整个区域里安全上最要紧的东西，也引出两个值得认真回答的问题：怎么给它们签名，以及谁有权写它们。这两个问题很少有人问，而默认配置给出的答案都很糟。\n本文针对 Samba4 域控制器回答这两个问题。用 BIND 加 dlz_bind9 提供目录数据、内联签名、一个任何客户端都碰不到的隐藏主服务器、在公共区域内做一次委派让信任链一直连到根，并把客户端动态更新远远挡在定位记录之外。\n但签名只有在你知道它保护什么的时候才有价值，这就得从下一层讲起：名字到底是怎么被解析的。所以本文前三分之一讲的是从根往下走的过程。如果你对这些已经烂熟于心，直接跳到 Samba 的两种 DNS 后端。\n解析器生来几乎一无所知 值得先弄清楚解析器出厂时带着的东西有多少，因为本文其余的一切都由此而来。\n一台刚装好的递归解析器只知道两件事。它知道根服务器的地址：一个 hints 文件，从 a.root-servers.net 到 m.root-servers.net 共 13 个名字，通过 anycast 由远多于 13 个的实例提供服务。另外，如果它做验证，它还知道一把公钥：根的公钥。\n内置配置就这么多。它以后提供的每一个其他事实，比如哪些服务器对 uk 有权威、你的域在哪儿、你的邮件服务器是什么地址，都是运行时问出来的，然后缓存到 TTL 用完为止。\n这是个好设计。没人需要分发一份互联网名字服务器的清单，也没有哪个中心机构需要批准你对自己区域的修改。但它有一个后果，本文剩下的部分讲的就是这个：**解析器相信它被告知的内容，只要说话的是上一个答案指给它的那台服务器。**去掉签名，整个结构就是一串断言，每一环唯一的认证就是：它来自上一个答案点名的那个地址。把这么大的分量挂在一个回信地址上，太重了。\n沿着树往下走 一次查询不是一个问题。它是沿着名字树往下的一连串转介（referral），每一步都是对另一台服务器的单独查询。\n假设客户端要查 dc01.ad.example.co.uk。一台缓存为空的解析器会这样做：\n问根服务器。根不知道答案，也不装作知道。它返回一个转介：answer 部分为空，authority 部分是 uk 的 NS 记录，这些名字服务器的地址作为 glue 放在 additional 部分。 问 uk 的服务器。又是一个转介，这次指向 example.co.uk 的名字服务器。 问 example.co.uk 的服务器。如果 ad.example.co.uk 被委派出去了（本文后面的设计里正是如此），那就再来一次转介。 问 ad.example.co.uk 的服务器。这台对该名字有权威，所以它用 A 记录作答，并设置 AA（权威应答）位。 一次查询沿委派树往下走，一次一个转介 递归解析器 生来只知道： \u0026#183; 根 hints \u0026#183; 根的公钥 1 \u0026#160; 根服务器 a\u0026#8211;m.root-servers.net 转介 uk. 的 NS 记录，外加作为 glue 的地址 2 \u0026#160; uk 名字服务器 对 uk. 有权威 转介 example.co.uk. 的 NS 记录 3 \u0026#160; example.co.uk 保存委派 转介 ad.example.co.uk. 已被委派，去问它的服务器 4 \u0026#160; ad.example.co.uk 对该名字有权威 应答 dc01 的 A 记录，设置了 AA 位 每一步都缓存到 TTL 过期，所以热缓存的 解析器从第 3 或第 4 步开始。 这恰恰让一条被投毒的缓存记录 值那么多钱。 一次查询，四台服务器。每一步返回的都不是答案，而是一个更该去问的地方的名字，解析器一路往下把每一步都缓存起来。 这一路上有三点后面会用到。\n**转介就是委派。**一个区域的父区域并不保存它的内容。父区域保存的是 NS 记录，意思是“去那边问”，而一旦引入签名，还有一条 DS 记录，意思是“这是你到了那边应该看到的密钥指纹”。委派是 DNS 唯一的结构性机制，你也要用它来让内部区域留在内部。\n**这些几乎全都会被缓存。**根和 TLD 的转介 TTL 都很长，所以热缓存的解析器会直接跳到第三步或第四步。这就是解析器缓存值得攻击的原因：毒化一条记录，它下面的一切就都被你重定向了，时长就是你选的 TTL。\n**完整名字并不会发给每台服务器。**在 QNAME 最小化下，解析器只问根关于 uk 的事，不问 dc01.ad.example.co.uk。如果你哪天去上游的查询日志里找你的内部名字，这一点值得知道。它们不该出现在那里。\n存根、递归、权威 这三个词经常被混着用，但指的是完全不同的工作。这个区别对本文 Active Directory 那一半至关重要，所以值得把它钉死。\n做什么 走树吗？ 保存区域数据吗？ 存根解析器 应用程序调用的那个库或本地服务。问一台配置好的服务器，接受它的答案。 否 否 转发器 把查询转给另一台解析器，缓存回复。 否 否 递归解析器 做上面那一路走树，缓存每一步，可选地验证签名。 是 否 权威服务器 只为被交给它的区域作答。对其他一切都说“我不知道”。 否 是 要紧的是最后一行。权威服务器没有理由做递归，递归解析器也没有理由做权威。把两者合在一起，你就得到一台既接受客户端随便提问、又保存着那些客户端赖以运行的数据的机器，而这恰恰是你不想让域控制器成为的那种机器。\n在现代 Linux 桌面上还有一层值得留意。systemd-resolved 在回环地址上运行一个存根监听器，并写一个指向自己的 resolv.conf，带着 options edns0 trust-ad。要注意的就是这个 trust-ad：它让存根相信来自那台服务器的回复里的 AD（authenticated data，已认证数据）位。AD 位本身什么也证明不了，它只是上游解析器声称它自己做过验证。上游是你自己的、到它那一跳也可信的时候，信任它是合理的；否则毫无意义。\n服务到底是怎么被找到的 一条 A 记录只回答一个问题：这个名字是什么地址。它对服务在哪个端口、几台服务器里优先用哪台、第一台挂了怎么办，一概不说。\nSRV 记录把这三个问题都回答了。按 RFC 2782，格式如下：\n_service._proto.name. TTL IN SRV priority weight port target SRV 记录的各个部分，以及每一部分决定什么 传输协议 域 服务 哪类服务器 _ldap. _tcp. dc._msdcs. ad.example.com. 600 IN SRV 0 100 389 dc01.ad.example.com. 一个所有者名字：下划线让它不占用主机名空间 TTL 记录类型 优先级 权重 端口 目标 优先级数字小的先试。权重在同一优先级的 服务器之间分担负载。 目标必须是有 A 或 AAAA 记录的主机名， 绝不能是 CNAME。 单独一个 \".\" 作为目标，表示这里 刻意不提供该服务。 拆开一条 SRV 记录。所有者名字里编码了服务和传输协议；记录主体携带故障切换顺序、同一顺序内的负载分担、端口，以及一个必须是真实主机名的目标。 每个字段都有它存在的理由：\n下划线前缀让服务标签自成一个命名空间。_tcp 永远不会和一台真叫 tcp 的主机冲突，因为主机名不允许以下划线开头。 **Priority（优先级）**是故障切换顺序，数字小的先试。优先级数字更大的服务器，只有在比它小的全都不可达时才会用到。 **Weight（权重）**在同一个优先级内分担负载。一对权重分别为 100 和 300 的服务器，大约分到四分之一和四分之三的客户端。这是按比例抽取，不是轮询。 **Port（端口）**让服务摆脱了知名端口号，客户端就是这样在没人硬编码的情况下找到 3268 端口上的 LDAP 服务器的。 Target（目标）必须是一个有 A 或 AAAA 记录的名字。RFC 2782 明确规定它不能是 CNAME，而单独一个 . 作为目标的意思是“这里刻意不提供这项服务”，这是值得有意发布的东西。 正是这一点让域变得可被定位，而不是靠配置。加入域的机器手上并没有你的域控制器列表。它只有一个域名，然后它去问。\nActive Directory 发布的名字 从客户端的角度看，一个 AD 域主要就是一组 SRV 记录。_msdcs 下面那棵树是有意思的部分，因为客户端正是靠它来区分“一台 LDAP 服务器”、“这个域的一台域控制器”和“这个林的一台全局编录”：\n名字 谁来查询它 _ldap._tcp.\u0026lt;domain\u0026gt; 任何想在域里用 LDAP 的东西 _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; 定位域控制器，最要紧的那条 _ldap._tcp.pdc._msdcs.\u0026lt;domain\u0026gt; 专门找 PDC 模拟器 _ldap._tcp.gc._msdcs.\u0026lt;forest\u0026gt; 全局编录 _kerberos._tcp.\u0026lt;domain\u0026gt;、_kerberos._udp.\u0026lt;domain\u0026gt; 定位 KDC，在任何票据存在之前 _kpasswd._tcp.\u0026lt;domain\u0026gt;、_kpasswd._udp.\u0026lt;domain\u0026gt; 修改密码 _ldap._tcp.\u0026lt;site\u0026gt;._sites.dc._msdcs.\u0026lt;domain\u0026gt; 按站点定位，找一台近的 DC 看看这份列表是干什么用的。客户端找到 KDC 之前，Kerberos 认证根本无法开始，而它是靠 DNS 找到 KDC 的。按站点定位意味着这个答案还决定了客户端在哪个数据中心做认证。\n同一个思路，现代化版本 SRV 有一个值得了解的后继者。SVCB 和 HTTPS 记录（RFC 9460）把这个模式推广了：把服务参数放进 DNS，包括 ALPN、端口和地址提示，全在一条记录里。浏览器就是这样不经重定向直接用上 HTTP/3 的。HTTPS 记录已经广泛部署。这个机制在精神上和 SRV 一样：**客户端由 DNS 告诉它怎么到达服务。**这意味着下一节的论点对它同样适用。\n查询之后的一切都信任这次查询 转折点在这里，这也是为什么一篇 DNS 文章里有一节讲安全，而不是反过来。\n一台加入域的机器启动，问域控制器在哪儿。它拿到一个名字和一个端口。它连过去，然后才开始做所有我们通常认为是安全层的事情：Kerberos、LDAP 签名、通道绑定、证书验证。\n那么，如果那个答案是假的，会怎样？\n这里公平一点很重要，因为答案并不是“立刻大祸临头”。Kerberos 设计了双向认证，正是为了让客户端不至于任由名字查询摆布：一台无法为客户端所请求的名字出示服务票据的主机，没法完成这次交换。拿到一个指向在域里没有密钥的机器的 SRV 答案，对一个配置严格的客户端来说，就是失败。\n现实中的损害更隐蔽，全在它周围的缝隙里：\n**降级。**Kerberos 不工作时回退到 NTLM 的客户端，刚刚就被交给了回答问题的那个人。 **中继与胁迫。**攻击者不需要是 DC。只要成为客户端去连的那个名字，就足以开始把那次认证中继到有用的地方去。 **看起来像故障的拒绝服务。**把 _ldap._tcp.dc._msdcs 指向一个不应答的东西，整个域就会时好时坏，而且相当长一段时间里没人会诊断出这是 DNS 的问题。 **所有根本没有双向认证的东西。**时间同步、syslog、监控、备份代理，还有那个带着 verify=False 的内部 HTTP 玩意儿。很多环境里这类东西比它们愿意承认的要多。 值得带走的是那条一般原则：**DNS 是发现机制，不是授权机制。**按名字找到一项服务完全合理。凭一个名字就授予任何权限则不合理，而悄悄这么做的系统有多少，比如基于 PTR 的白名单、主机名 ACL、“它在内网上所以肯定是我们的”，这些才是真正的攻击面。\nDNSSEC 修好了什么，没修好什么 DNSSEC 的存在只为回答一个问题：这个答案真的来自拥有该名字的区域，并且没被改过吗？\n它的做法（RFC 4033 及其后的两篇）是签名，并把签名串到你已经信任的某个东西上：\n签名区域里的每个 RRset 都有一个 RRSIG，即对该集合的签名。 区域的公钥以 DNSKEY 发布。 父区域发布一条 DS 记录：子区域密钥的哈希。 这条 DS 本身由父区域签名，而父区域的密钥又被哈希进它的父区域的 DS，一路到根，而根的密钥正是你的解析器生来就知道的那一个东西。 从根一直到内部区域的信任链 .：根 你的解析器本来就有的那一把密钥 每条链的起点。 随解析器分发，很少轮换，默认信任。 com. 的已签名 DS com. 或 uk.，或你所在的任何上级 父区域为子区域的密钥担保。 DS 是子区域密钥的哈希，由父区域签名。 example.com. 的已签名 DS example.com. 公开、已签名，DS 存放在父区域 你已经拥有、已经签名的区域。 它保存内部区域的委派，以及认证它的 DS。 关于内部，它保存的就这么多。 ad.example.com. 的已签名 DS 线上方：发布到互联网 线下方：只在内部环境提供 ad.example.com. 从 AD 派生的视图，仅限内部服务器 在内部签名，从外部获得信任。 你的解析器按 根 \u0026#8594; com \u0026#8594; example.com \u0026#8594; 这里 验证它， 不需要本地信任锚，也没有东西要分发。 数据从不出门。只有信任沿着普通的 公共链条进来。 验证解析器构建的链条。每个父区域用一条已签名的 DS 记录为子区域的密钥担保，所以根上一个内置的信任锚就能认证它下面的每个区域，包括一个内容从不出门的委派内部区域。 否定应答也会被签名，这一点很容易被忽略，而它比听上去重要。没有它，“没有这个名字”就是一个未经认证的答案，攻击者可以伪造它让某样东西消失。NSEC 和 NSEC3 提供经过认证的“这两个名字之间什么都没有”。\n这是对一个真问题的真修复。缓存投毒不是理论：Kaminsky 攻击让路径外伪造便宜到迫使整个互联网紧急打补丁，而随后的缓解措施，比如源端口随机化、0x20 大小写混合，都是为了让猜测更难，而不是让答案可验证。此后的侧信道研究一再削弱它们。这份清单里只有签名改变了游戏规则，而不只是抬高价码。\n现在说说老实话的局限，因为 DNSSEC 在两个方向上都被吹过头了。\n**它不提供保密性。**签名是公钥认证；每个查询和答案在线路上仍然是明文。客户端那一跳的隐私靠的是 DoT、DoH 或 DoQ，那是另一种机制，解决另一个问题。对一台不做验证的解析器加密那一跳，你买到的是和一个仍然可以被骗的东西进行的私密对话。\n**它不验证含义，只验证来源。**DNSSEC 证明的是区域的所有者发布了这条记录。如果记录是错的、恶意的，或者是区域不明智地允许某人写进去的，签名同样会忠实地盖在上面。**给一个不受信任的机器能写的区域签名，并不会让内容变得可信，它只是给谎言做了认证。**记住这句话；本文最后三分之一基本上就是它的推论。\n**只有有人验证时它才有用。**如果你的解析器不做验证，你查询的那些区域上的签名就是摆设。如果验证发生在离客户端隔着网络的解析器上，客户端信任的是 AD 位和这条路径，见上面的 trust-ad。\n**而且它需要运维。**过期的签名不是一个降级的答案，而是 SERVFAIL，名字直接消失。父区域里一条和子区域密钥不再匹配的 DS 效果一样。这是老实的代价，也正因如此，后面几节里的自动化比最初的签名更重要。\n为什么自己编的内部 TLD 没法签名 多年前做的命名决定，就是在这里带着账单回来的。值得说清楚，因为这正是本文设计用一个真实的、自己拥有的域来做内部名字的原因。\n再看一遍链条是怎么建的：一个区域的密钥由其父区域中的一条 DS 记录担保。所以验证解析器只有在一个内部区域拥有一个愿意也能够为它发布 DS 的父区域时，才能认证它。\nad.corp.local 没有这样的父区域。.lan、.home，或者在开通域那天随手编的任何东西，也都没有：\n.local 是为 mDNS 保留的。把它用于单播 DNS，不只是没签名的问题，它和楼里每个操作系统有权采取的行为之间存在有据可查的冲突。它在下面单独有一节，因为它和另外三个根本不是一个级别。 .lan、.corp、.home 是未注册的字符串。没有父区域来存放 DS，而被申请过的那几个版本，因为私有环境里的名字冲突乱象，被扣下没有委派。 home.arpa 是为家庭网络正式保留的，听上去很理想，但它的委派是刻意不安全的。按设计，没有一条签名路径通到它。 .internal 已被 ICANN 专门留作这个用途，它解决了冲突问题。但它解决不了这个问题：没有委派就没有 DS，也就没有链条。 对于一个没串上链的内部区域，你的选择是让它保持不签名，或者在环境里每台验证解析器上配置一个本地信任锚，成为你自己私有孤岛的根：一把你现在必须手动分发、监控和轮换的密钥，在每台解析器上，永远如此，而失败模式是整个域 SERVFAIL。\n有一个容易得多的答案，而且是免费的：让内部区域成为你已经拥有、已经签名的公共区域内的一个委派。ad.example.com，从 example.com 委派出来。DS 放在公共父区域里。环境里每台验证解析器就能用它本来就有的信任锚来认证内部名字，你什么都不用分发。\n内容留在内部。只有信任来自外部。这个区别就是本文剩下部分的设计。\n.local 不是风格问题 这四个里有一个值得单独一节，因为它是人们会去辩护的那个，而辩护词永远一样：它能用，我们用了好多年了，有什么问题。\n问题在于，.local 不是一个哪天可能被人卖掉的未注册字符串。它是一个已经有主人、有明确定义行为的命名空间，而那个行为不是“去问 DNS 服务器”。RFC 6762 第 3 节对此毫不客气：\nAny DNS query for a name ending with \u0026ldquo;.local.\u0026rdquo; MUST be sent to the mDNS IPv4 link-local multicast address 224.0.0.251 (or its IPv6 equivalent FF02::FB).\n看看这个 MUST 实际管的是什么。它不是在声明谁拥有这个字符串。它是在规定查询发到哪里去，而答案是本地链路上的一个组播组，不是你的域控制器。同一节还说，.local 下的名字“只在其产生的链路上有意义”，相当于 DNS 里的 169.254 地址。\n所以一个正确遵守规范的客户端，永远不会去问你的 DNS 服务器 .local 名字。它在线路上喊一嗓子，谁应答就听谁的。\n这会带来一组风味非常独特的故障：\n**解析取决于客户端，而不是你的 DNS。**macOS 一直通过 Bonjour 解析 .local；systemd-resolved 默认把 local 域路由到 mDNS；Windows 从 Windows 10 起就支持 mDNS。三套协议栈，三套规则，没有一个会去查你的区域文件。 **它在第一个路由器处就停了。**mDNS 按设计就是链路本地的。一个在同一 VLAN 的工位上能解析的名字，到另一层楼、另一个站点或者 VPN 上就解析不了，这就是那种“办公室能用、在家就坏”的工单，在有人去读规范之前会被当成“网络问题”关掉四次。 **行为会在你脚下变化。**某台机器是先试组播、先试单播，还是两者并行，取决于解析器协议栈及其版本。那些用 .local“好好地跑了好多年”的环境，通常只是发行版更新还没改变顺序而已。 **证据不在你去找的地方。**DC 的查询日志里什么都没有，因为什么都没到。人们在服务器上花好几天，而查询根本没离开过客户端。 而且它没法签名，这正是本节的重点。没有父区域，没有 DS，没有链条，没有办法发布。 现在把这些放到一个 Active Directory 域下面。realm 由域名派生。服务主体由 realm 派生。_msdcs 定位记录，也就是本文通篇讲的那些记录，就挂在一个符合规范的客户端必须靠对本地网段喊话来解析的后缀下面。你是在一个半数环境都用一个为找打印机而设计的协议来解析的命名空间上搭 Kerberos。\n而且退出代价高昂，这也是为什么值得毫不留情地看待当初那个决定。Samba 上没有原地改名。文档给出的路径是 samba-tool domain backup rename 然后恢复：你拿一份改了名的数据库副本，用它播种一台新 DC，然后从零重新加入其他每一台 DC，旧名字和新名字的 DC 之间不允许有任何重叠。这不是 Windows 的 rendom，后者至少还是一台一台地处理 DC。这是一次换了个好听名字的重建。\n所以老实的总结是：单播域用 .local 不是偏好，不是惯例，也不是无害的历史遗留。它和一个在楼里每个操作系统上默认开启的协议之间存在有据可查的冲突，账单会在多年后以间歇性的、无法复现的解析故障形式送来，而当你终于想给区域签名时，账单是一次域重建。\n同一个错误，换了顶帽子 既然说到这儿：5353 端口。\nmDNS 监听 UDP 5353，这不是一个碰巧空着的备用端口。把一个普通的单播 DNS 服务架在它上面，或者因为 53 被占了或需要 root 就把解析器指向 :5353，是从另一个方向造成同样的破坏：那个网段上每台懂 mDNS 的机器现在都在和你的名字服务说话，而你的名字服务现在要应付它根本不该回答的组播服务发现。名字和端口是同一个命名空间的两半，两者都早已名花有主。\n53 端口上的 .local，或 5353 端口上的单播 DNS。同样的误解，同一类间歇性故障，同样耗掉别人好几个星期。\n也要老实面对这说明了什么 Microsoft 在 Small Business Server 时代推荐过 .local，这就是为什么这么多环境至今还带着它，而他们早就不再推荐了。**继承一个 .local 域是运气不好。**读到这里、手上有这么一个域的人，大多数并没有选择它，上面那节是迁移计划，不是指控。\n部署一个则完全是另一回事，我要直说，因为把这事说软从来没帮到过任何人。\n**任何为 Active Directory 或标准单播 DNS 部署 .local、或者在 5353 端口上架 DNS 服务的人，都不是 IT 专业人员。**他们也许挂着这个头衔。他们没在干这份活。RFC 6762 从 2013 年就发布了，二十分钟就能读完，而一锤定音的那句话就在第 3 节。把一家公司的名字服务建在一个规范保留给链路本地组播的命名空间上，不是一个站得住脚的工程决定。这是有人在协议栈里唯一一个“瞎猜就会产生没人能复现、人人都怪网络的故障”的地方瞎猜。\n**他们应该被调离你的 IT 部门。**不是平调，也不是在监督下继续管 DNS。是离开这个岗位。这个角色存在的意义，就是知道哪个包往哪儿去、凭谁的授权。一个连自己给楼里每台机器选的命名空间的规范文档都没读过的人，没有在履行这个角色，而让他们继续待着，就意味着下一个同等规模的决定会以同样的方式做出。\n**他们碰过的每个系统都应该审计。**这是人们会跳过的部分，也是最要紧的部分。这样的决定从来不是孤立的。一个在给域命名前没查 RFC 6762 的人，别的东西也没查过，所以去看看他们还建了什么。预计会发现：\n对全世界开放的 DNS 服务器，谁问都答的转发器，到处没有 ACL。 大开着的动态更新，以及自域创建以来就没人审查过权限的区域容器。 证书和 Kerberos 建在注定无法一致解析的名字上，故障被 hosts 文件糊住。 **hosts 文件。**到处都是。整个环境就靠它们撑着，恰恰因为 .local 从来没好好工作过，而有人找到了变通办法，而不是找到原因。 防火墙规则和服务账号，当初为了让症状消失而创建，至今还在，授予的权限比现在任何人记得的都多。 这不是报复。这正是能力信号的用途。当你发现一个没读规范就做的决定时，正确的反应是假设其余的决定也是这么做的，然后去查，因为同一个人配置了你的认证、你的证书和你的访问控制，而你现在手上有直接证据，知道他们如何对待一个自己没完全弄懂的问题。\n继承这摊烂摊子，花掉的是一次迁移。雇着那个还在制造它的人，花掉的要多得多。\nSamba 的两种 DNS 后端 Samba AD 域控制器把 DNS 数据存在目录本身里，提供服务的方式有两种。\nSAMBA_INTERNAL 是 Samba 自己的 DNS 服务器，内置在 AD DC 中。它处理 AD 区域和经 Kerberos 认证的动态更新，其他一切交给转发器。Samba 说它支持“the basic feature required in an AD”，并推荐它“for simple DNS setups”，这话公道，也值得照字面理解。它在下面有单独一节，因为它不做的事比它做的事更长，也更有意思。\nBIND9_DLZ 用 BIND 作为 DNS 服务器，并在其中加载 Samba 的 dlz_bind9 模块。DLZ，即 Dynamically Loadable Zones（可动态加载区域），是 BIND 的一个接口，用来让区域由区域文件以外的东西支撑。该模块直接从 sam.ldb 回答 BIND 的查询，所以没有副本，没有导出步骤，也没有会出错的同步：BIND 在提供服务时就是在读目录。\n内置 DNS 服务器不做递归，也做不了 先从几乎总被说错的那件事开始，包括运行它的人也说错。\n“DC 是我们的 DNS 服务器，它为客户端做递归”，这不是实际发生的事，因为**内置 DNS 服务器根本做不了递归。**Samba 自己的功能列表说得很明白。内置 DNS 不支持：\n充当缓存解析器 递归查询（但它可以转发给另一台递归 DNS 名字服务器） 共享密钥事务签名（TSIG） 存根区域 区域传送 在 DC 之间做轮询负载均衡 另外，清理（scavenging）和条件转发器也列为未实现。\n把头两条放在一起读，因为整件事就在这里。它不能解析，也不能缓存。dns forwarder 实际给你的是一个中继：客户端问 DC 要 windowsupdate.com，DC 去问一台真正的解析器，答案经 DC 传回，然后 DC 把它忘得一干二净。下一个客户端问同样的问题，整件事再来一遍。\n回头看看本文前面那张表，注意这是什么：一个没有转发器缓存的转发器。它有这个角色的所有成本，多一跳、多一个依赖、多一个会宕的东西，却没有它的任何好处。\n所以，一台用 SAMBA_INTERNAL 为整个环境服务的 DC，并不是人们所说意义上的 DNS 服务器。它是一台真正解析器前面的无缓存代理，而你把它放在了保存你目录的机器上。\n为什么这是风险，而不只是低效 低效很容易看出来：楼里每一次外部查询都要永久性地绕一趟 AD DC，没有缓存来缓冲。在一个安静的域里没人察觉。这恰恰是它能活下来的原因。\n值得说的是安全上的论点，分三部分。\n**监听器在错误的进程里。**内置 DNS 是 AD DC 自身的一个服务任务，以目录的权限运行，而不像 named 那样是一个以自己账号运行的独立守护进程。所以，那个解析任何能到达 53 端口的东西发来的未经认证 UDP 的组件，就运行在提供 LDAP 和 Kerberos、拥有 sam.ldb 的那个进程里。BIND 承受了三十年的敌意关注，有专门的用户，习惯在 jail 里运行，正是因为 DNS 监听器是个鱼龙混杂的地方。Samba 的内置服务器是一个便利功能，只是碰巧住在了皇冠上的宝石里。\n**为客户端服务就意味着客户端能够到你。**要成为整个环境的 DNS 服务器，它必须接受每台工作站、每台打印机、某人不小心桥接进来的访客 VLAN 上每个承包商笔记本的查询。这是在你拥有的最有价值的主机上一个巨大的、永久敞开的、未经认证的攻击面，而你运行它，只是为了省下一台树莓派就能跑的解析器的钱。\n**一个对全世界开放的转发器是别人的武器。**一台为任何提问者转发的 DC 就是开放转发器。一旦它从你的网络之外可达，它就成了反射放大攻击的参与者，这意味着流量和滥用投诉都会落到你的域控制器头上。没有限速可用，因为内置服务器根本没有。\n这些都不需要 Samba 有漏洞就已经是个坏主意。光看形态它就是个坏主意：它把一个未经认证、一不小心就面向互联网、解析逻辑繁重的服务放进了和你的目录同一个进程，去做一件文档明说它做不好的事。\n它会更早倒下，并且拖着更多东西一起倒 值得说清楚这个论点不是什么。它不是说 Samba 的 DNS 代码比 BIND 的漏洞更多。BIND 有很长的 CVE 列表，主要因为它是现存被审视最多的 DNS 实现，靠数公告来二选一是个糟糕的办法。\n要紧的比较是结构性的，归结为三个问题和三个让人不舒服的答案。\n**谁能给它发一个畸形包？**用 SAMBA_INTERNAL 为整个环境服务时：每台工作站、无线网上的每部手机、所有能路由到那台机器 53 端口的东西。按本文的设计：签名服务器。一台主机，一把 TSIG 密钥，allow-query 只限于它。这不是程度上的小差别。这是一个暴露的服务和一个实际上不可达的服务之间的差别，它远远压过两种实现之间任何代码质量上的差别。\n**它倒下时什么跟着倒？**这一条决定了严重程度。named 是以自己账号运行的独立守护进程；它挂了，DNS 停了，域控制器照样做认证。Samba 的内置 DNS 是 AD DC 内部的一个服务任务，所以任何让它卡死、耗尽或崩溃的东西，都发生在提供 LDAP 和 Kerberos 的那个进程里。一个 DNS 问题变成了一次目录中断。而且 systemctl restart named 只花一秒钟，重启一台 DC 则是另一种早晨。\n**问题发生时你能做什么？**BIND 有响应限速、allow-query、allow-recursion、blackhole、按视图的策略，以及干脆不回答客户端的选项。内置服务器只有 dns forwarder 和一个日志文件。当有东西开始狂轰它时，没有旋钮可拧。\n再加上缺失的缓存。每一个客户端查询都是一次全新的外发往返，所以一波查询洪水让 DC 每个包付出一次上游查询，而不是一次缓存命中，而且是在正试图签发 Kerberos 票据的同一个进程里付出。这不需要什么漏洞利用；只需要一个忙碌的早晨、一个行为不端的应用，或者有人把扫描器对准了错误的 VLAN。持续下去，表现就是认证变慢，而没人想到去看 DNS。\n**所以是的，即便有 DLZ，BIND 也是做这件事更安全的地方。**DLZ 模块确实让 named 能访问 Samba 的数据，这是一个本文已经专门指出过的真实考量。但 named 崩溃是 DNS 中断而不是目录中断，而在这个设计里，那个 named 本来就不接收来自环境的查询。漏洞是每个代码库都有的事实。爆炸半径和可达性则是你可以选择的。\n而且它搭不出本文的设计 还有一个更简单、更决定性的原因，说明它不是这里的后端。\n**没有区域传送。**下一节的流水线，隐藏主服务器、签名服务器、独立的权威服务器，起点就是从 DC 做一次 AXFR。SAMBA_INTERNAL 没有东西可以用来传送。也没有 TSIG，所以连传送所需的认证都不存在。也不签名，对它转发的任何东西也不做验证。\n所以对 SAMBA_INTERNAL 老实的总结是：它是让你在某个周日下午不用配 BIND 就能在实验室里搭起一个 AD 域的后端，而它在这方面非常好。Samba 说“simple DNS setups”，他们是认真的。它不是解析器，它从来就不是为了当整个环境的 DNS 服务而造的，一旦你想要签名、传送、视图、ACL、缓存或限速，答案都不是去调它。它没有那些旋钮。答案是 BIND。\n如果你今天正这样跑着，所有客户端都指向 DC，修复不算紧急，但也不是可选的：给客户端一台真正的验证解析器，并把 DC 上的 dns forwarder 指向它，这样 DC 只为自己的区域作答，别的一概不管。\n**而这是我想说清楚的部分，因为“别用 DLZ”被反复传诵，好像它是一条加固规则：暴露面不是 DLZ。**它是提取机制。要紧的不是 BIND 里加载了哪个模块，而是*谁被允许和那个 BIND 说话，以及区域接下来会被怎么处理。*一个只回应你签名服务器传送请求的 DLZ 后端 BIND，在任何有意义的层面上都不是攻击面。一台为四百台笔记本应付每一次名字查询的 SAMBA_INTERNAL DC 则绝对是。这两者里只有一个出现在加固清单上，而它不是要紧的那个。\n关于 DLZ，有两件事是真的，值得为之做规划，而不是为之害怕：\n**模块和 BIND 版本绑定。**Samba 为每个 BIND 版本单独提供一个 .so，named.conf 会具体指明用哪个。BIND 大版本升级意味着必须有匹配的模块到位，否则 named 起不来。这是一个需要提前测试的打包依赖，不是安全属性。 named 需要访问 Samba 的数据，这就是为什么 Samba 为 BIND 需要的那部分保留了一个专门的目录，而不是把整个 private 目录授权给它。这个授权本意是要窄的，值得在你的 DC 上确认它仍然是窄的，因为这是 DLZ 唯一确实扩大了 named 被攻破后可触及范围的地方。 DLZ 在这里是正确选择的原因，在于它能做到的事：BIND 的 DLZ 接口支持枚举整个区域，这才让从 DLZ 支撑的区域做区域传送成为可能。这次传送是流水线的第一跳，而且是 BIND 在做，这意味着流水线其余部分都是普通的 BIND 配置，没什么奇特的。\n有一个约束决定了下游的一切，值得直说，因为很容易想当然地以为不是这样。**DLZ 区域本身不能被签名。**ISC 在 BIND ARM 里说得很明确：DLZ“is unable to handle DNSSEC-signed data due to its limited API”。你不能往 dlz 语句上挂一个 dnssec-policy 就完事。\n你能做的，也是 ISC 在同一处为 DLZ 建议的，是把它作为一个隐藏主服务器运行，由一个把数据传送进来的普通 BIND 区域来做签名。这就是下一节，而这个约束就是它长成那样的原因。\n值得知道的是，这是 Samba 的约束，而不是 Active Directory 的铁律。Microsoft 的 DNS 服务器从 Windows Server 2012 起就能对动态的、AD 集成的区域做在线签名。区域原地签名，私钥通过 AD 复制本身复制到 Key Master，动态更新照常工作。在 Windows 上，“给 AD 分区签名”是一个真实的选项，对变动频繁这一反对意见的回答是内建的。（在 Server 2008 R2 上不是这样：你可以给 AD 集成区域签名，但不能给接受动态更新的区域签名，每次变更都得手动重新签名，“AD 区域没法签名”的说法就是从这儿来的。）\nSamba 没有对应的东西。两种后端都不签名：内置服务器完全没有 DNSSEC，DLZ 又承载不了签名数据。所以在 Samba 上，传送加签名的流水线不是几种设计中的一种。它就是唯一的路。\n发布流水线 现在看它的形态。四个角色，DC 在最后面，什么都够不着它。\n从作为隐藏主服务器的域控制器发布 Active Directory 区域 域控制器：隐藏主服务器 BIND 加 dlz_bind9，从目录提供权威服务 关闭递归 \u0026#183; 只向签名服务器传送，用 TSIG 保存目录的主机不接受提问。 环境里价值最高的机器， 依赖它的机器够不着它。 按 SOA 刷新做 AXFR 轮询：DLZ 发不了 notify 签名实例：普通的辅助区域 把区域传送进来，签名后提供 DC 上的第二个 named，或单独的主机 DLZ 区域本身不能签名。 所以签名由保存副本的普通辅助区域来做， 客户端被挡在区域之外，也就没有频繁变动。 向外传送 已签名区域 权威服务器 已签名区域的普通辅助服务器 没有密钥，没有通往目录的路径 被攻破只得到副本，造不出伪造品。 面向环境的服务器上没有密钥， 就造不出能通过验证的新记录。 查询 带签名的应答 验证解析器 客户端 resolv.conf 指向它们 转发内部区域，走公共的树 验证就在客户端旁边进行。 链条一直通到根信任锚，因为 内部区域是公共区域里的一个委派。 DC 上没有面向 客户端的 DNS 发布是单向的，从目录向外。 客户端发出的任何东西都到不了它的顶端。 DC 是隐藏主服务器：它通过传送提供 AD 区域，别的什么都不回答。签名实例是一个普通的辅助区域，保存传送过来的副本。DLZ 区域本身不能签名，所以签名总是在下一跳进行，不管那一跳是 DC 上的第二个 named 还是一台单独的主机。独立的权威服务器是客户端唯一能看到的东西，它们是已签名区域的辅助服务器。 **1. 域控制器：隐藏主服务器。**BIND 加 dlz_bind9，从目录对 AD 区域提供权威服务。关闭递归。不提供任何面向客户端的服务。allow-transfer 只限签名服务器一台，并用 TSIG。从网络的角度看，DC 根本不提供 DNS，唯一会查询它的就是下一台机器。\n2. 签名实例：一个把数据传送进来的普通 BIND 区域。inline-signing 和 dnssec-policy 就在这里，挂在一个同名的、保存传送副本的区域上。BIND 把收到的未签名副本和发布出去的已签名副本当作两样东西分开保存，新的传送到达时重新签名。因为这是传送而不是共享文件，这个实例可以放在 DC 本身上（在自己的地址上跑第二个 named），也可以放在一台单独的主机上，两种情况下配置几乎一样。\n取舍就是看上去的那样：放在 DC 上少运行一台机器，而单独的主机让私钥远离保存目录的那台机器。两者都说得过去，而这个选择不改变流水线里的任何其他东西。要紧的是签名只发生一次，在一个明确的位置，按一套密钥策略进行，这就是你在运维的 DNSSEC 和凌晨三点过期的 DNSSEC 之间的区别。\n**3. 权威服务器：客户端唯一看到的东西。**已签名区域的普通辅助服务器。它们不持有密钥，不做签名，也没有通往目录的路径。如果其中一台被攻破，攻击者得到的是一份区域副本，而没有能力伪造一条能通过验证的新记录。\n**4. 解析器。**为整个环境服务的验证型递归解析器，把内部区域条件转发给那些权威服务器，其他一切则去走公共的树。客户端的 resolv.conf 指向的就是它们。\n这种安排带出两个值得单独说明的特性，因为它们就是全部意义所在：\n**保存目录的机器，使用目录的机器够不着。**域控制器是整个环境里价值最高的主机。给它一个面向客户端的网络服务，一个回答任何工作站发来的未经认证 UDP 的服务，用来换一个别的机器也能做的服务，是笔赔本买卖。 **签名只发生一次，在一个明确的位置。**反对给 AD 区域签名的常见理由是变动频繁，说内容变得太快，签名跟不上。这个反对意见其实针对的是默认布局，而不是签名。按下一节论证的那样，把客户端注册挪出去之后，AD 区域只在提升或降级域控制器时才变，其余时候几乎从不变。一个只有 DC 写的区域是稳定的区域，而给一个稳定的区域签名是件平平无奇的事。把客户端挡在外面不只是一项安全控制；正是它让区域安静到能被干净地签名。 签名到底是怎么接起来的 上面的形态是重点，但“一个把数据传送进来的普通 BIND 区域”值得演示而不只是描述，因为第一次尝试通常就栽在想直接给 DLZ 签名上。\n**在 DC 上，DLZ 这一侧刻意保持乏味。**它提供目录数据，只把区域交给唯一一个对端，别的什么都不做：\nkey \u0026#34;transfer-to-signer\u0026#34; { algorithm hmac-sha256; secret \u0026#34;...\u0026#34;; }; options { recursion no; allow-query { key transfer-to-signer; localhost; }; allow-transfer { key transfer-to-signer; }; notify no; }; dlz \u0026#34;AD DNS Zone\u0026#34; { database \u0026#34;dlopen /usr/lib64/samba/bind9/dlz_bind9_18.so\u0026#34;; }; 注意 .so 的名字里带着 BIND 的大版本号。这就是上一节说的版本绑定落到了实处：BIND 升级之后，必须先有匹配的 Samba 模块到位，named 才能启动。\n在签名这一侧，区域就是一个普通的辅助区域，挂上签名选项。这是没法放在 DLZ 上的那部分：\ndnssec-policy \u0026#34;ad-internal\u0026#34; { keys { ksk lifetime P365D algorithm ecdsa256; zsk lifetime P90D algorithm ecdsa256; }; }; zone \u0026#34;ad.example.com\u0026#34; { type secondary; primaries { 192.0.2.10 key transfer-to-signer; }; file \u0026#34;ad.example.com.axfr\u0026#34;; inline-signing yes; dnssec-policy \u0026#34;ad-internal\u0026#34;; allow-transfer { key transfer-to-public; }; also-notify { 192.0.2.20; 192.0.2.21; }; }; 这在一个辅助区域上能行，是承重的细节，而 ARM 直接说明了这一点：\nIf yes, BIND 9 maintains a separate signed version of the zone. An unsigned zone is transferred in or loaded from disk and the signed version of the zone is served with, possibly, a different serial number.\n所以 BIND 保存两份副本：收到的未签名那份写进 file，提供服务的已签名那份写在旁边，带 .signed 扩展名。传送到达，签名版本重新生成，下游服务器收到一个 notify，因为到这一步它就是一个完全普通的区域。挂上 dnssec-policy 之后，inline-signing yes 其实就是默认值；上面把它写出来，是因为一份把自己干什么写清楚的配置值得多这一行。\n密钥轮换随策略而来，而不是靠一个 cron 任务。ZSK 轮换完全不需要人工输入；KSK 轮换需要新的 DS 送到父区域，这就是本文后面讲的 CDS/CDNSKEY 自动化。rndc dnssec -status ad.example.com 告诉你每把密钥处在生命周期的哪个阶段。\n那段配置是跑在 DC 上还是单独的主机上，只取决于 primaries 指向哪个地址。在 DC 上，它就是第二个地址上的第二个 named 实例，通过回环或管理接口从第一个实例传送数据。这就是“带 DLZ 的 BIND 可以当签名服务器”在实践中的意思：同样的软件，愿意的话同一台机器，但签名发生在传送过来的副本上，而不是 DLZ 区域上。\n**唯一的运维陷阱是 notify，而且它在 DLZ 那一侧。**ISC 的手册对此说得很直白：DLZ“has no built-in support for DNS notify”，所以辅助服务器不会自动得知数据库里区域的变化。Samba 可以改掉目录里的一条记录，而 DLZ 实例根本不知道它该告诉谁。\n所以第一跳是轮询，不是推送。签名服务器按它所传送区域的 SOA 计时器刷新，这意味着：\n从 DC 上的一次变更到一条已签名、已发布的记录，传播时间的上限是那个刷新间隔，而不是几秒钟。提升一台 DC，它新的 _msdcs 记录最多晚一个刷新周期出现在下游。 如果延迟要紧，那个间隔就是要拧的旋钮。它要和你希望多频繁地查询 DLZ 做权衡，这就引出了 ISC 关于 DLZ 说的另一件事：它做实时的数据库查找，不带缓存，“not recommended for use on high-volume servers”。 这两点都是支持这种拓扑的论据，而不是反对。DLZ 实例唯一的客户端就是签名服务器，每个刷新周期问一次。环境里真正的查询负载落在独立的权威服务器上，它们全速提供一个普通的已签名区域文件。 签名服务器下游的一切都是常规的：权威服务器是已签名区域的辅助服务器，它们收到正当的 notify，从不碰目录，也不碰密钥。\n客户端不能写存放定位记录的区域 这是最重要的一条，它是一条设计规则，而不是一个设置项。\nActive Directory 动态注册记录。一台机器加入域，它就注册自己；一台 DC 启动，它就注册宣告自己服务的 SRV 记录。“安全”动态更新意味着这些更新经过认证：机器用自己的凭据证明自己是谁，并且有逐条记录的 ACL，所以一台机器一般只能修改它自己创建的记录。\n仔细读这段，因为这个保证比乍看上去窄。安全动态更新认证的是谁在写。它不评估记录是什么意思。而有资格写的账号集合比人们以为的宽得多：在默认的 AD 集成区域里，Authenticated Users 组在目录中的区域容器上拥有 Create All Child Objects 权限，因为 ADIDNS 把每条记录都存成 CN=MicrosoftDNS,DC=DomainDnsZones 下的一个 AD 对象。不只是机器账号，域里任何经过认证的账号都行，包括今天早上打开了发票附件的那位的账号。\n在一个同时保存客户端记录和服务定位记录的区域里，这会产生两种失败模式：\n还不存在的名字不属于任何人。逐条记录的 ACL 保护的是已经有主人的记录。一个从没注册过的名字没有对象可以执行 ACL，所以第一个创建它的账号就得到了它。这就是整个 ADIDNS 攻击家族背后的机制，最狠的是通配符：创建 *，区域里每个没人明确认领的名字，比如拼写错误、已下线的主机、wpad，都会解析到攻击者那里。已有的记录毫发无损，这恰恰是它不被察觉的原因。\n爆炸半径包括定位记录。_msdcs 下的记录是域里每个客户端找到域控制器和 KDC 的方式。它们是你拥有的安全上最要紧的记录，而在默认部署中，它们和四百台笔记本每拿到一次 DHCP 租约就写一次的那个区域待在一起。\n谁可以写哪个区域：一个合并的区域，对比按写入者拆分 默认：一个区域 ad.example.com 定位记录和客户端记录混在一起 _ldap._tcp.dc._msdcs. SRV _kerberos._udp SRV dc01 A laptop-042 A * A \u0026#8592; 无人认领 没人注册过的名字没有 ACL 可执行 每台加入域的机器 都可以写全部内容 一个被攻破的机器账号就能改写 用来定位域控制器的记录。 按写入者拆分 ad.example.com：仅限 DC 没有客户端能更新这个区域 _ldap._tcp.dc._msdcs. SRV _kerberos._udp SRV dc01 A NS 委派 dyn.ad.example.com 或一个有自己 ACL 的单独 Samba 区域 laptop-042 A 每台加入域的机器 可以写 没有 通往定位 记录的路径 谁可以写什么。左边是一个区域，每台加入域的机器都是存放 DC 定位记录那个区域的授权写入者。右边，AD 区域只由 DC 写入，客户端注册落在一个单独的子区域里，被攻破的机器最多只能就它自己撒谎。 所以规则是：存放定位记录的区域由域控制器写入，其他任何东西都不行。客户端动态注册放到别处去。\n“别处”可以是以下两种之一，都行：\n**一个在别处提供服务的委派子区域。**AD 区域为比如 dyn.ad.example.com 保存一个 NS 委派，记录落在一台接受更新的单独服务器上。Samba 的分区根本不接受任何客户端写入。 **Samba 里一个有自己更新 ACL 的单独区域。**仍在目录里，但是自己的区域，所以客户端写入没有通往 _msdcs 或 DC 自身记录的路径。 第一种隔离得更彻底；第二种要运行的东西更少。违反这条规则的不是这两种中的任何一种。而是默认情况，两者住在一起。大多数域至今就是这么跑着的，因为没人选过它，也没人回头看过。\n还有第二个红利，它把这一点和流水线联系起来。一个只有域控制器写的区域，是一个几乎从不变化的区域：一次 DC 提升，一次 DC 降级，其余时候一片安静。默认 AD 区域里所有的变动都来自客户端注册。把它拿掉，反对给 AD 分区签名的理由也就随之而去：没有一连串的更新让签名去追，所以签名是例行公事而不是一场仗。写入纪律和签名是同一个决定，只是看了两次。\n无论选哪种，旁边都有一项权限值得去看看，而在 Microsoft DC 上它就是直接的修复。因为 ADIDNS 记录是目录对象，这项资格来自一条 AD ACL，而不是 DNS 协议里的任何东西：Authenticated Users 在区域容器上拥有 Create All Child Objects。收紧它是对未认领名字和通配符问题最干净的缓解，在很多环境里，一旦你弄清楚真正需要自注册的是什么，这项权限可以直接去掉。Samba 的 AD DNS 以同样的方式把记录存在目录里，所以同样的问题也适用：去看看你的区域容器实际上授予了什么。\n等一下：2026 年了，客户端还该注册吗？ 上面的一切都假设客户端动态更新是你需要的东西，而你在努力让它安全。在接受这个假设之前，值得问一个没人问的问题，因为自从这个行为被设计出来，答案已经变了。\n动态 DNS 注册是为台式机设计的。桌子底下一台机箱，一根网线，一个用好几年的地址。在那个世界里，机器注册自己的名字既整洁又基本属实。\n现在看看 2026 年的客户端是什么。它在家里的 wifi 上醒来。它来到办公室，连上公司无线网。它插进扩展坞，又拿到一个有线地址。有人启动 VPN，冒出一个带第三个地址的隧道适配器。他们去咖啡店，用手机热点，VPN 又以第四个地址回来。这是一台机器，一个名字，一个工作日里六七个地址，而默认情况下它会尝试注册其中相当一部分。\n于是区域里塞满了曾经属实的声明。\nWindows 会注册它的每一个适配器，除非有人挨个接口取消勾选了 Register this connection\u0026rsquo;s addresses in DNS。一台插着扩展坞、连着 VPN 的笔记本，就是一台有三个活动适配器、对每个都有主见的机器。 一个名字对应多条 A 记录不是错误状态，而是正常结果。一次查询把它们全返回，客户端按自己喜欢的顺序去试，到那个名字的连接失败的比例，就是死地址所占的比例。这就是“远程支持这一分钟能看到机器、下一分钟又看不到”背后的机制。 VPN 地址是其中最糟的，因为隧道地址有效一个小时，而记录活得比它长。隧道断了，地址池里的地址分给了别人，于是这个名字现在指向一位同事。 **扩展坞让身份本身都变得模糊。**除非配置了 MAC 地址直通，租约属于扩展坞而不是笔记本，所以在一个共享工位的环境里，名字、租约和机器每天都在彼此漂移。 **而所有权让这一切变成永久的。**一条记录只能由创建它的账号更新。当一条记录是 DHCP 以某个凭据创建的，而机器后来试图以它自己的凭据更新它时，更新会悄悄失败，过期的地址原地不动。 清理的故事也不是听上去那样的救星。Samba 从 4.9 起就有了清理（scavenging），但默认关闭（dns zone scavenging = yes，配合 samba-tool dns zoneoptions --aging=1），而且 Samba 自己说它“should only be enabled on new zones or new installations”，因为旧版本把动态记录标成静态、把静态记录标成动态。在最可能塞满垃圾的环境里，也就是那些跑了好多年的环境，用来清理的工具正是你被建议不要打开的那个。它自己也出过一个 CVE。\n所以把问题直接摆出来：到底是什么在用一台笔记本的 A 记录？\n在大多数单位里，很少。用户连服务器；服务器不连笔记本。真正的使用者是远程支持工具、对一台具名工作站的 RDP，以及资产盘点或监控，而几乎所有这类工具都维护自己的清单，靠代理签到工作，因为它们从一开始就没法靠 DNS 来找移动客户端。\n这就提示我们把默认值反过来：\n服务器和基础设施的记录来自开通流程。既然 NetBox 和 Ansible 已经在用，记录就由创建机器的同一样东西创建，按构造就是正确的，机器移除时记录也一起移除。 稳定的有线设备如果真有东西需要，可以从 DHCP 获取记录，由一个凭据统一拥有，这样更新就不会失败。 **移动客户端什么都不注册。**它们是 DNS 的使用者，不是发布者。如果有东西需要够到一台笔记本，它需要的是一个代理，而不是一条 A 记录。 你从一个完全不同的方向，落到了安全论点把你带到的同一个地方。写入者越少，ADIDNS 的攻击面越小，区域里不会塞满过期的声明，而且，回到流水线，区域安静到可以不假思索地签名。\n安全上的理由说，客户端不能写存放定位记录的区域。运维上的理由则问，它们为什么要写 DNS。2026 年，对于一批一天换五次地址的设备，“它们不写”是个完全够好的答案，而且比把它们的烂摊子弄安全要省事得多。\n分离视图，以及信任从哪里来 最后一块把本文的两半连在一起。\n命名空间有两个视图。一个公共区域，发布到互联网，保存全世界需要的那几个名字。还有一个内部视图，即从 AD 派生的内容、每台加入域的主机、每条服务定位记录、站点拓扑，这些外界没有理由看到。这些内容是整个环境的地图，应该从外部既不可达也不可传送。\n但内部视图的信任来自公共那一侧，这正是这个设计比常见的内部 DNS 孤岛更好的地方：\nexample.com 是公共的、已签名的，它的 DS 在父区域里，有一条通到根的链。 ad.example.com 从它委派出来。公共父区域发布这个委派，以及内部区域密钥的一条 DS。 内部权威服务器提供已签名的 ad.example.com。内部解析器验证它，根 → com → example.com → ad.example.com，用的只是它们本来就有的根信任锚。 **没有本地信任锚。没有孤岛。没有手动分发的密钥。**数据从不出门，而验证路径就是普通的公共路径。你新增一台解析器，它不需要任何 DNSSEC 配置就能正确验证内部名字。\n老实说说代价，因为确实有一个。在公共区域里发布一个委派和一条 DS，意味着 ad.example.com 的存在及其名字服务器的名字是公开的。内容不公开，永远不会，但你已经告诉全世界这个区域存在。作为交换，你拥有的每台解析器都能对照真正的根来验证内部名字。对大多数环境来说这是笔好买卖，而它应该是一个有意的决定，而不是一个意外。\n同时还有两件事要做对：\n**让内部视图不可枚举、不可传送。**内部权威服务器上的 allow-transfer 只给签名服务器和你自己的辅助服务器，别的一概不给。还要记住，NSEC 认证否定应答让任何能查询该区域的人从头走到尾把它遍历一遍；NSEC3 提高了这个成本，但真正的控制在于外人根本够不着这些服务器。 **把 DS 自动化。**父区域里一条不再匹配子区域密钥的 DS，会让整个内部域 SERVFAIL。CDS/CDNSKEY 的存在，就是让子区域能发出密钥变更的信号，父区域能自动接收，而不需要人在轮换期间手动编辑记录。如果父区域所在的注册商或服务商支持它，就用；如果不支持，轮换流程需要在第一次轮换之前写下来，而不是轮换的时候。 让 Windows 和 Linux 真正去验证 到这里为止，讲的都是发布一个可以被验证的区域。在客户端这一侧有东西坚持去验证之前，这些都不起任何作用。一个签得完美的区域，加上一个从不检查签名的客户端，产生的体验和一个没签名的区域完全一样，直到它们不一样的那一天。\n验证只可能发生在两个地方，而两者的区别，就是一项安全控制和一个礼貌建议之间的区别。\n**在解析器上验证，并信任 AD 位。**客户端问解析器，解析器做密码学运算，然后通过在回复里设置一个位来报告结果，即 AD，authenticated data（已认证数据）。客户端相信这个位。这是 Windows 采用的模型，它的强度只取决于客户端和解析器之间的路径，因为任何能冒充解析器作答的东西都能设置这个位。\n**在客户端本身上验证。**机器运行自己的验证解析器，于是“到解析器的路径”就是机器内部的一个回环套接字，没有什么可以伪造的了。这更强，而在 Linux 上完全可以做到。\n默认什么都没有 在配置任何东西之前，值得看看一台主流 Linux 工作站开箱是怎么做的。这是一台 Fedora 44 机器，systemd 259，没动过：\n$ resolvectl status | head -3 Global Protocols: LLMNR=resolve -mDNS -DNSOverTLS DNSSEC=no/unsupported resolv.conf mode: stub $ grep options /etc/resolv.conf options edns0 trust-ad $ dig +dnssec cloudflare.com A | grep flags ;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1 把这三样放在一起读，因为它们讲了一个小故事。\n存根配置了 trust-ad，它被告知要相信 AD 位。systemd-resolved 报告 DNSSEC=no/unsupported，所以它自己什么都不验证。而对一个已签名区域的回复，带回来的标志是 qr rd ra，没有 ad，这条路径上没有任何东西声称做过验证。\n这不是配置错误。这就是默认。一个客户端可以被告知去相信一个链条里根本没人在做的断言。什么都没在检查。在配置别的任何东西之前，值得花一分钟好好想想这一点。\nLinux 三个选项，按你需要信任网络的程度从多到少排列。\n**1. systemd-resolved，在本地验证。**用一个 drop-in 文件，而不是去改发行版自带的文件：\n# /etc/systemd/resolved.conf.d/dnssec.conf [Resolve] DNSSEC=yes DNSOverTLS=opportunistic 然后 systemctl restart systemd-resolved，用 resolvectl status 确认那一行现在显示 DNSSEC=yes。\n要小心的是中间那个设置。DNSSEC=allow-downgrade 看上去是个合理的折中，但它不是安全控制，resolved.conf(5) 自己就这么说：\nNote that this mode makes DNSSEC validation vulnerable to \u0026ldquo;downgrade\u0026rdquo; attacks, where an attacker might be able to trigger a downgrade to non-DNSSEC mode by synthesizing a DNS response that suggests DNSSEC was not supported.\n一个能伪造答案的攻击者，恰恰就是 DNSSEC 存在要阻止的那个攻击者，所以一个他们靠伪造一个答案就能关掉的模式，对付他们毫无用处。要么 yes，要么就是摆设。\n2. 主机上一台真正的验证解析器。systemd-resolved 的验证器图的是方便而不是周全。要紧的地方，在回环地址上运行 Unbound 或 BIND，把存根指向它：\n# unbound: validate against the root anchor, refuse to be stripped server: module-config: \u0026#34;validator iterator\u0026#34; auto-trust-anchor-file: \u0026#34;/var/lib/unbound/root.key\u0026#34; harden-dnssec-stripped: yes val-permissive-mode: no # the internal zone is reached like any other name — no local anchor needed forward-zone: name: \u0026#34;ad.example.com.\u0026#34; forward-addr: 192.0.2.53 BIND 里对应的就一行，dnssec-validation auto;，它使用内置的根信任锚副本，并替你管理轮换。\n**3. 全环境范围，在你已经运行的解析器上。**这就是本文前面流水线的第四阶段。验证在那里进行，客户端信任 AD 位，而两者之间那一跳就是你必须保护的东西，用 DoT，或者用一个你愿意作出这个假设的网络。\n再注意一下这些配置里没有什么：内部区域的信任锚。因为 ad.example.com 是一个公开签名区域内的委派，这里每一种都通过从根开始的普通链条来验证内部名字。这就是上一节的设计在回本。另一条路是把一个本地信任锚推送到环境里每个客户端和解析器上，每次轮换再推一遍。\nWindows 先说最要紧的，因为它经常被误解：**Windows DNS Client 不验证 DNSSEC。**它不做任何密码学运算，不检查任何签名，也不持有任何信任锚。它是一个存根解析器，一直都是。\n你能做的，是强制它拒绝那些没有经过服务器代为验证的答案。这就是名称解析策略表（NRPT），它是按命名空间而不是全局生效的：\n# Require validated answers for the internal zone Add-DnsClientNrptRule -Namespace \u0026#34;.ad.example.com\u0026#34; ` -DnsSecEnable -DnsSecValidationRequired # What is actually in force on this machine, including from Group Policy Get-DnsClientNrptPolicy -Effective Get-DnsClientNrptRule 对整个环境，同样的东西在组策略里的 Computer Configuration → Policies → Windows Settings → Name Resolution Policy 下：为该命名空间创建一条规则，勾选 DNSSEC 选项，并勾选要求客户端检查数据已由 DNS 服务器验证。\n由此得出两点，两点都要紧。\n**上游仍然得有东西去做验证。**NRPT 规则让客户端要求 AD 位；它并不会创造出一个来。那些客户端指向的解析器必须是验证解析器，否则该命名空间里每个名字都会失败。\n**这也是为什么 NRPT 规则旁边有 IPsec 选项。**Microsoft 把它们放在那儿，理由就是本节开头说的：要求一个任何路径上的攻击者都能设置的位，算不上什么要求。如果你在不受信任的网络上依赖“解析器验证”模型，最后一跳就需要保护：客户端和解析器之间用 IPsec，或者在解析器支持的地方用 DoT。\n它是失败即关闭的，所以按这个顺序推行 强制验证把一类无声的入侵变成了一类响亮的中断。这是正确的取舍，但它仍然是中断：一个过期的 RRSIG、一次轮换后父区域里不再匹配的 DS、或者一台够不着父区域的解析器，都会产生 SERVFAIL，而 _ldap._tcp.dc._msdcs 的 SERVFAIL 意味着域是宕了，而不是降级了。\n所以按这个顺序来：\n先在解析器上打开验证，客户端先别动。在解析器日志里盯着 SERVFAIL 看几个星期，你就是在这里找到那个已经悄悄坏了一年的区域。 在强制任何东西之前把 DS 自动化，按上一节说的。大多数自己造成的 DNSSEC 中断，都是父区域从没更新过的一次轮换。 然后再强制客户端，一次一个命名空间，从你自己的工作站和一个测试 OU 开始，而不是整个环境。 你要防的故障，是客户端被递上一台伪造的域控制器。你要冒的风险，是客户端什么都拿不到。第二种可恢复、显而易见；第一种两样都不是。中断你一分钟之内就会听说。另一种你永远都不会听说。\n加密最后一跳：内部解析器上的 DoT 和 DoH 验证那一节留下了一件悬而未决的事。在“解析器验证”模型里，也就是 Windows 给你的那个模型，客户端信任的是解析器设置的一个位，而那个位的价值只等于它走过的那条路径。总得有东西来保护那条路径。\nBIND 原生支持两种加密传输，所以这是配置的活，不是采购的活：\nDNS over TLS：在 listen-on 里引用一个 tls 块，按惯例在 853 端口。 DNS over HTTPS：同一个 tls 块再加一个 http 块，在 443 端口。 外发 DoT，因为 forwarders 可以为每个地址或整个列表指定一个 TLS 传输。 基于 TLS 的区域传送，因为 type secondary 区域的 primaries 语句也能带一个，这对本文前面的流水线直接有用。 首先说清楚这买到了什么，因为 DoT 和 DNSSEC 经常被混为一谈，而它们不是替代关系。**DNSSEC 认证数据，一直追溯到发布它的区域。DoT 保护和解析器之间的对话。**一个能扛住恶意的解析器和解析器之间的恶意网络；另一个能阻止你 wifi 上的那台机器读取和改写你笔记本问的东西。两个你都要，谁也替代不了谁。对一台不做验证的解析器加密那一跳，就是和一个仍然可以被骗的东西进行私密对话。\n提供服务 tls internal-resolver { key-file \u0026#34;/etc/pki/dns/resolver.key\u0026#34;; cert-file \u0026#34;/etc/pki/dns/resolver.pem\u0026#34;; protocols { TLSv1.3; }; }; http internal-doh { endpoints { \u0026#34;/dns-query\u0026#34;; }; }; options { dnssec-validation auto; listen-on port 53 { 192.0.2.53; }; listen-on port 853 tls internal-resolver { 192.0.2.53; }; listen-on port 443 tls internal-resolver http internal-doh { 192.0.2.53; }; listen-on-v6 port 853 tls internal-resolver { 2001:db8::53; }; }; 证书才是真正的活儿，也是被跳过的那部分。一个会做验证的客户端，而验证正是全部意义所在，需要一张对它被配置使用的那个名字有效的证书，由它已经信任的某个机构签发。这意味着用你的内部 CA 和你现有的证书自动化，而不是 ephemeral 关键字。ephemeral 生成一张一次性的自签名证书；它存在的目的是让你证明监听器能工作，对任何真正做检查的客户端来说一文不值。\n通过它转发 如果那些解析器是往某处转发，而不是自己走树，上游那一跳也可以加密，而这里有一个值得弄对的区别：\ntls upstream { ca-file \u0026#34;/etc/pki/tls/certs/ca-bundle.crt\u0026#34;; remote-hostname \u0026#34;dns.example.net\u0026#34;; }; options { forwarders port 853 tls upstream { 192.0.2.1; }; }; 没有 remote-hostname，你得到的是加密而没有认证：被动的旁观者读不了流量，而能拦截连接的主动攻击者只要出示自己的证书就行。有了 remote-hostname 和 ca-file，BIND 会验证它在和谁说话。前者有点价值。只有后者才配叫一项控制。\n客户端这一半并不对称 混合环境在这里变得别扭，这也是为什么要两种传输都配，而不是只挑一种。\nLinux 把 DoT 做得很到位。systemd-resolved 用 DNSOverTLS=yes 开启严格模式，还可以给服务器指定一个用来验证的名字：\n[Resolve] DNS=192.0.2.53#resolver.ad.example.com DNSOverTLS=yes DNSSEC=yes 和 DNSSEC= 一样，中间那个设置是陷阱：DNSOverTLS=opportunistic 在 TLS 不可用时回退到明文，而一个能干扰连接的攻击者完全可以安排这种情况。\n**Windows 支持 DoH，不支持 DoT。**客户端 DoH 支持随 Windows 11 和 Server 2022 发布，按服务器用一个模板来配置：\n$doh = \u0026#34;https://resolver.ad.example.com/dns-query\u0026#34; netsh dnsclient add encryption server=192.0.2.53 dohtemplate=$doh 在撰写本文时，DoT 只在 Insider 版本里出现过。所以在正式发布的 Windows 上，加密的选项要么是 DoH，要么什么都没有，这正是前面 NRPT 那一节转而求助于 IPsec 的原因。\n因此要从同一个 BIND 实例同时提供两者。DoT 给 Linux 设备和其他会说它的东西，DoH 给 Windows，一台解析器，一张证书。\n哪个用在哪儿 对内部解析器来说，DoT 是更好的传输，DoH 是兼容性方案。\nDoT 有自己的端口。你能看见它、放行它、拒绝它，并对任何在做 DNS 却不走它的东西告警。DoH 的优势，即和 443 上的普通网页流量无法区分，在敌对网络上是真正的好处，在你自己的网络上却是个麻烦，因为在自己的网络上能分辨出什么是 DNS，是你花钱买来的功能。在你掌控的环境里，优先用你能观察到的传输，运行 DoH 是因为 Windows 让你别无选择，而不是因为它更好。\n顺便把传送也加密了 本文前面的流水线通过 AXFR 搬运 AD 区域，而分离视图那一节已经指出，它的内容就是整个环境的地图。TSIG 认证这些传送；它不隐藏它们。既然辅助区域的 primaries 语句接受 TLS 配置，传送也可以走 TLS，想要标准的话是 RFC 9103：\nzone \u0026#34;ad.example.com\u0026#34; { type secondary; primaries { 192.0.2.10 port 853 tls xfr-tls key transfer-to-signer; }; ... }; 由密钥认证，由传输加密。如果流水线里有任何一跳要跨站点链路、跨你和别人共用的虚拟化平台，或者跨任何你不愿意在上面接个集线器的东西，这二十分钟就值得花。\n它修不好什么 **它不是验证。**上面讲过了，值得再说一遍，因为厂商卖“安全 DNS”时说的往往只是加密。 **它对解析器什么都不隐藏。**解析器完整看到每个查询。加密保护的是路径，而不是对运营者隐藏查询的隐私，当运营者就是你自己时，这没问题。 对不验证证书的客户端它毫无作用，而机会主义模式恰恰可以被你所担心的那个攻击者降级。 **它也不是在域控制器上开一个监听器的理由。**在 DC 上做加密 DNS，是把一个错误的问题解决得很漂亮。DC 仍然谁也不回答。 如何检查你现有的情况 对你自己的环境运行的命令。输出才是有意思的部分，其中有一两个第一次读的时候往往让人不太舒服。\n# Walk the tree yourself, one delegation at a time dig +trace dc01.ad.example.com # Validate, and show the chain being built delv +rtrace +vtrace ad.example.com SOA # Is the resolver you are pointed at actually validating? # A deliberately broken test name must come back SERVFAIL, not an address dig @\u0026lt;resolver\u0026gt; dnssec-failed.org A # What does the estate advertise as a domain controller? dig SRV _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; dig SRV _kerberos._udp.\u0026lt;domain\u0026gt; # Is a DC answering for names it has no business answering? # Ask it for something it is not authoritative for. \u0026#34;recursion requested # but not available\u0026#34; is the answer you want. An actual address means it is # serving the estate — recursing if it is BIND, relaying to the forwarder # if it is SAMBA_INTERNAL. Either way it should not be doing that. dig @\u0026lt;dc\u0026gt; www.example.org A # Is the DC configured as the estate\u0026#39;s DNS relay? grep -E \u0026#39;dns forwarder|server services\u0026#39; /etc/samba/smb.conf # Will a DC hand its zone to anybody who asks? dig @\u0026lt;dc\u0026gt; AXFR ad.example.com # Which backend is this DC running, and does named have the module? grep -r dlz /etc/named.conf /var/lib/samba/bind-dns/ 2\u0026gt;/dev/null samba-tool dns query \u0026lt;dc\u0026gt; \u0026lt;domain\u0026gt; @ ALL # Is the internal zone chained to the public parent? dig DS ad.example.com @\u0026lt;public-authoritative-for-example.com\u0026gt; # What does the local stub actually do with the AD bit, and is the # hop to the resolver encrypted? resolvectl status # DNSSEC= and DNSOverTLS= per link grep options /etc/resolv.conf # trust-ad, trusting whom exactly? # Did anything in the path claim to have validated? Look for \u0026#34;ad\u0026#34; in the flags dig +dnssec ad.example.com SOA | grep flags # Validate independently of whatever the local resolver believes delv ad.example.com SOA # \u0026#34;fully validated\u0026#34; is the line you want # Is the resolver actually listening for DoT, and does its certificate # match the name clients are configured with? kdig +tls @192.0.2.53 ad.example.com SOA openssl s_client -connect 192.0.2.53:853 \\ -servername resolver.ad.example.com \u0026lt;/dev/null 2\u0026gt;/dev/null \\ | openssl x509 -noout -subject -dates 在 Windows 客户端上，看看它到底有没有在要求任何东西：\nGet-DnsClientNrptPolicy -Effective # the rules actually in force Resolve-DnsName ad.example.com -DnssecOk Get-DnsClientDohServerAddress # is the hop to the resolver encrypted? 最常带来意外的两个是递归检查和 AXFR 尝试。如果一台 DC 对任意客户端回答了其中任何一个，那么本文的流水线就没有落地，不管 wiki 上的图怎么画。\n第三个是在一台没人动过的机器上运行 resolvectl status。DNSSEC=no/unsupported 加上 resolv.conf 里的 trust-ad，是 Linux 桌面的正常状态，这意味着上面描述的签名工作目前没有任何人在检查。\n简短版 解析器生来只知道根服务器和一把密钥，其他一切都是听别人告诉的。名字靠沿委派往下走来找到，服务靠查询 SRV 记录来找到，所以当客户端开始和域控制器做 Kerberos 时，那台域控制器的身份来自一个 DNS 答案。靠 DNS 发现是正确的，没问题。靠 DNS 授权则不行，而数量惊人的基础设施仍在悄悄这么做。\nDNSSEC 让这些答案变得可验证：每个集合都有签名，每个父区域都有一条 DS，一条链通到根上唯一一个信任锚，还有认证的否定应答，让名字没法被弄消失。它买到的是来源认证和完整性，不是隐私，也不是正确性。区域说什么它就签什么，这就是为什么它救不了一个允许不受信任机器写入的区域。而且它需要一个父区域：自己编的内部 TLD 没地方放 DS，所以 .local、.lan、.internal 和 home.arpa 都让你要么不签名，要么经营一座靠手动分发密钥的私有孤岛。\n对一个 Active Directory 域来说，这得出的是一个设计，而不是一张设置清单。用你拥有的公共区域内的一个委派，让信任沿着从根开始的普通链条下来，而数据从不出门。用 BIND 和 dlz_bind9 提供 AD 分区，DLZ 不是风险，它是把区域从目录里取出来的方式，让 DC 做一个只往外传送、谁也不回答的隐藏主服务器。DLZ 区域本身不能签名，所以签名是一个保存传送副本的普通辅助区域，带着 inline-signing 和 dnssec-policy：想少几台机器，就在 DC 上跑第二个 named；想让私钥远离目录，就用一台单独的主机。无论哪种，都只签一次，在一个明确的位置，按一套密钥策略，而第一跳是轮询而不是推送，因为 DLZ 发不了 notify。从不持有密钥、也没有通往目录路径的独立权威服务器上发布。\n还要把客户端挡在要紧的区域之外。安全动态更新认证的是写入者，而不是含义，而在默认的 AD 集成区域里，写入者是 Authenticated Users，每个账号，而不只是每台机器，所以一个同时保存笔记本记录和 _msdcs 定位记录的区域，离客户端被告知“域控制器在别处”只差一个被钓鱼的用户，而且附带一个完全有效的签名。客户端注册属于一个子区域，委派出去，或在 Samba 里单独设立，在那里被攻破的账号最多只能就它自己撒谎。\n不过更好的问题是，客户端到底该不该注册。2026 年的一台笔记本，在家里 wifi 上有一个地址，在办公室无线网上有另一个，通过扩展坞又有一个，在 VPN 上还有一个，而它会欢快地把其中大部分都发布出去。用到笔记本 A 记录的东西几乎没有：需要够到工作站的工具都维护自己的清单，因为 DNS 对移动客户端本来就从没靠谱过。服务器的记录应该来自开通流程，而终端设备什么都不该注册。\n然后让某样东西去检查签名，因为在客户端拒绝一个答案之前，以上这些都一文不值。在 Linux 上，这意味着 systemd-resolved 里设 DNSSEC=yes，或在回环地址上跑一台真正的验证解析器，绝不用 allow-downgrade，一个能伪造答案的攻击者只要伪造一个答案就能把它关掉。在 Windows 上，这意味着接受 DNS 客户端自己从不验证任何东西这一事实，用一条 NRPT 规则让它要求一个由解析器验证过的答案，并保护好最后一跳，因为这个要求只是一个位。先在解析器上打开，盯着 SERVFAIL，把 DS 自动化，然后再强制客户端。它是失败即关闭的，这是正确的方向，但仍然是一次中断。\n这些都不稀奇。就是委派、传送和签名，DNS 一直在做的三件事，只是安排得让保存你目录的那台机器，不是从停车场接收提问的那台机器；并且当有东西对客户端撒谎时，客户端会察觉。\n","permalink":"https://blogs.damiendye.uk/zh/dns/samba4-securing-ad-records-with-dnssec/","summary":"每台加入域的机器都是靠向 DNS 查询一条 SRV 记录来找到域控制器的，所以 _msdcs 定位记录是你拥有的安全上最要紧的记录。本文讲如何从 Samba4 DC 正确地发布并签名它们：用 BIND 加 dlz_bind9 读取目录、内联签名、一个客户端永远碰不到的隐藏主服务器，以及把客户端动态更新挡在存放定位记录的区域之外。然后讲如何强制 Windows 和 Linux 客户端真正去检查签名，因为一个没人验证的签名区域，表现和没签名的完全一样。","title":"Samba4 与用 DNSSEC 保护 AD 记录"},{"content":"什么都能插的槽位 三模适配器的卖点确实不错，在把它拆开之前，值得先把它好好讲一遍。\n买一台带 U.3 背板和三模控制器的机箱，每个盘位就都成了通用盘位。0 号槽可以插一块 24G SAS 盘，1 号槽插一块便宜的 SATA 启动盘，2 号槽插一块 Gen4 NVMe SSD，适配器插什么就协商什么。Broadcom 把这块硅片叫做 Tri-Mode SerDes；盘位标准是 SFF-TA-1001，也就是 U.3，它为 SAS x1/x2、SATA 以及 x1、x2 或 x4 的 NVMe 定义了一个通用连接器。管理那一侧是 SFF-TA-1005，即 Universal Backplane Management，机箱就是靠它弄清自己到底在跟什么说话，并点亮正确的活动指示灯。\n对于给服务器定配置的人来说，这解决了一个真实又烦人的问题。你不再需要在下采购单时就决定存储协议，不必维护两个机箱型号，也不会事后发现支持 NVMe 的盘位是左边那四个，而你的盘全插进了另外二十个。一个料号覆盖整个机群，SAS 存储可以一块盘一块盘地迁到 NVMe，而不是一台机箱一台机箱地迁。\n这些都不是营销话术。这就是这类适配器卖得动的原因，装作不是那就犯傻了。\n但灵活性不是免费的，而且账单不是用英镑付的。是用队列付的。\n盘到底遭遇了什么 一块 NVMe SSD 是一个 PCIe 端点。在直连的服务器里，它的四条通道连到 CPU 的根复合体，中间可能经过一个 retimer 或 PCIe 交换芯片，但在电气和逻辑上它都是 PCIe 总线上的一个设备。内核枚举它，绑定 nvme 驱动，从那以后驱动直接跟盘的寄存器对话。\n把同一块盘放到三模适配器后面，这一切就不成立了。\n盘的通道现在终止在控制器上。Broadcom 的文档把相关模块叫做 PCIe device bridge，“bridge”（桥）这个词分量很重：这不是一个把你 CPU 的事务转发给一块它仍然看得见的盘的透明交换芯片。适配器才是你的主机枚举到的 PCIe 端点。盘是挂在它另一侧的一个 target，控制器固件会重新发起每一次 I/O。\n直连 NVMe，对比同样的盘接在三模适配器后面 直连 在三模适配器后面 CPU 根复合体 CPU 根复合体 x4 x4 x4 x4 四条独立链路 每条约 7 GB/s，并行 x8 Gen4 下面的一切共用这条 三模控制器 主机枚举到的唯一 PCIe 端点 NVMe NVMe NVMe NVMe nvme0n1 nvme1n1 nvme2n1 nvme3n1 NVMe NVMe NVMe NVMe sda sdb sdc sdd nvme 驱动 每块盘每个 CPU 核心一个队列对 带宽随加盘增长 mpt3sas 驱动： 盘是 SCSI target 每块队列深度 128， 共用一个 tag 池 带宽止步于 适配器 同样四块盘，两种接法。左边每块盘各有四条通道直达根复合体。右边通道止于适配器，下游一切共用一条 x8 上行链路和一个控制器。 所以适配器并没有把你的 NVMe 命令透传过去。它把命令终结掉，然后代表你去跟盘说话。\n这就引出一个问题：它跟你说的是什么协议。\n操作系统根本看不到 NVMe 盘 它说的是 SCSI。\n把一块 NVMe SSD 插进 Broadcom 三模 HBA，它不会出现为 /dev/nvme0n1。它出现为 /dev/sdb，绑定在 mpt3sas 上，就是十多年来一直驱动 LSI SAS 控制器的那个驱动。nvme list 什么也不返回。lsblk -o NAME,TRAN 报告的传输方式是 sas。在驱动之上的每一层存储栈看来，你买的是一块 SAS 盘。\n这不是 bug，也不是等着修的固件限制。这就是设计本身。把一切都呈现为 SCSI target，恰恰就是一块适配器能服务三种协议的方式：控制器把 SAS、SATA 和 NVMe 统一成一个设备模型，主机只需要一个驱动、一条枚举路径、一套工具。营销里的灵活性和 dmesg 里的 SCSI 呈现，是同一个架构决策从两头看到的样子。\n9500 和 9600 这两代确实加了一个透传机制，让厂商工具能够到盘的 NVMe 管理命令，而且 Broadcom 的新部件在呈现盘的健康状况方面比 9400 强得多。但那只是管理上的旁路。数据路径，也就是你的负载发出的每一次读写，仍然走的是 SCSI 栈。\n而 SCSI 栈的队列模型比闪存还早二十年。\n你刚刚放弃的队列模型 这才是真正让你掉性能的部分，值得说得精确一点，因为原因并不是“NVMe 比 SAS 快”。\nNVMe 的核心设计决策不是一根更快的线。而是不再假装存储设备是一个单一的、串行的东西。\n规范允许多达 65,535 个 I/O 队列对，每一篇 NVMe 科普都会引用这个数字。这是一个拿错了的数字。没有任何盘实现到接近它的程度，所以任何真正看过运行中系统的人都可以一挥手把这个比较打发掉，而且他们说得对。真实的数字更小，毫不起眼，却更能说明问题。\n那就来看一块真实的盘。不是企业级部件：一块 256 GB 的 SK Hynix OEM SSD，就是焊在中端笔记本里的那种，装在一台 16 核的机器上。\n$ nproc 16 $ cat /sys/class/nvme/nvme0/queue_count 17 $ ls /sys/block/nvme0n1/mq | wc -l 16 $ cat /sys/block/nvme0n1/queue/nr_requests 1023 十七个队列：一个管理队列，加上十六个 I/O 队列对应十六个核心。每个深 1023 条命令。映射是一对一的，每个硬件队列恰好绑定一个 CPU：\n$ cd /sys/block/nvme0n1/mq \u0026amp;\u0026amp; grep -H . */cpu_list 0/cpu_list:1 1/cpu_list:9 2/cpu_list:3 3/cpu_list:11 ... 每个队列一个 CPU，一路到底：硬件队列 0 只服务核心 1，别的一概不管。\n这就是“NVMe 有很多队列”在实践中的真正含义。不是 65,535 个，而是每个核心一个，你有多少核心就有多少个。 Linux 为每个 CPU 创建一个队列对，上限是控制器愿意给的数量，而控制器给的数量远多于一台典型服务器的核心数，所以实际上核心数就是那个数字。把这块盘放进一台 64 核的机器，你就得到 64 个。\n性能正是从这种按核心的拆分来的：\n一个核心往自己的队列里提交。不需要锁，因为没有别的核心碰它。 每个队列有自己的 MSI-X 向量，亲和到那个核心。 完成中断落回发出 I/O 的那个核心，相关的缓存行本来就在那里。 全部十六个核心可以同时在途，永远不用在共享结构上争用。 并行度随你的核心数扩展，没有哪个核心的活会排在另一个核心的后面。一块便宜的消费级盘就能做到这一点。这是起码的标配。\n现在看看盘在适配器后面得到了什么。下面这些数字不是估算，它们是主线 mpt3sas 驱动里的常量。\n每设备的队列深度取自 ioc-\u0026gt;max_nvme_qd，驱动从控制器固件报告的值里取，否则就退回到 drivers/scsi/mpt3sas/mpt3sas_base.h 里的编译期默认值：\n#define MPT3SAS_SATA_QUEUE_DEPTH\t32 #define MPT3SAS_SAS_QUEUE_DEPTH\t254 #define MPT3SAS_RAID_QUEUE_DEPTH\t128 #define MPT3SAS_NVME_QUEUE_DEPTH\t128 128。 一个能够承载数万条未完成命令的设备，被给了 128 的队列深度，而且注意，它比上面两行的 SAS 默认值 254 还浅。盘自身的能力从来没有进入这个决定。这个数字来自控制器。\n硬件队列数更糟，而驱动对此很坦白。摘自 mpt3sas_scsih.c：\nshost-\u0026gt;nr_hw_queues = 1; if (shost-\u0026gt;host_tagset) { shost-\u0026gt;nr_hw_queues = ioc-\u0026gt;reply_queue_count - ioc-\u0026gt;high_iops_queues; ... dev_info(\u0026amp;ioc-\u0026gt;pdev-\u0026gt;dev, \u0026#34;Max SCSIIO MPT commands: %d shared with nr_hw_queues = %d\\n\u0026#34;, shost-\u0026gt;can_queue, shost-\u0026gt;nr_hw_queues); } 仔细读，因为这里有三件不同的事。\n默认是一个硬件队列。 nr_hw_queues = 1。多队列只在启用了 host_tagset 功能的 gen35 控制器上才会出现，即便如此，按驱动自己的提交历史的说法，它也只是模拟的多个硬件队列：I/O 控制器硬件是单个提交队列加多个回复队列，blk-mq 是被套在它上面的。\n队列数来自控制器，而不是核心数。 它是 reply_queue_count 减去高 IOPS 队列，也就是适配器的 MSI-X 向量分配。它和你有多少 CPU 毫无关系，加盘也不会增长。这和上面那块盘恰好相反，在那里队列数就是核心数。\n而且 tag 池是共享的。 host_tagset 就是字面意思：整个主机适配器一个 tag 池，那行日志里明明白白写着 “shared”。卡上的每一块盘都从同一组命令槽里取。一台二十四盘位的机箱，就有二十四块盘在争一个控制器的 tag。\n把两者并排放。那块笔记本 SSD 有十六个私有的、深 1023 的队列，每核心一个，只对自己负责。同一块盘放到适配器后面，得到的是卡上回复队列的一份份额、128 条未完成命令，以及二十三个从同一个池子里取的邻居。\n每核心 NVMe 队列对，对比适配器的一个共享 tag 池 队列随核心倍增 盘分一个池 核心 0 核心 1 核心 2 核心 3 SQ + CQ SQ + CQ SQ + CQ SQ + CQ 深 1023 深 1023 深 1023 深 1023 NVMe SSD /dev/nvme0n1 每核心一对提交和完成队列 独立 MSI-X 向量，完成落回该核心 无锁，无跨核争用 核心 0 核心 1 核心 2 核心 3 三模控制器 回复队列来自卡的 MSI-X 向量， 而不是你的核心数 所有盘共用一个 tag 池 sda sdb sdc sdd qd 128 qd 128 qd 128 qd 128 还有 20 个盘位 从同一个池里取。 每设备 128 条未完成， 不管盘能做多少 加盘是在分割 固定资源 左：每核心一个队列对，私有且深 1023，完成中断落回提交的核心，数据实测自上面那块盘。右：所有核心被汇入控制器的回复队列，从一个共享 tag 池里取，每块盘上限 128。 所以损失不在于 SCSI 慢。跑在 blk-mq 上的现代 SCSI 没问题。损失是结构性的：\n队列属于适配器，而不属于盘。 加盘是在分割一份固定资源，而不是增加它。 tag 池是整个主机共享的。 一块重负载的盘可以饿死其他盘，而当每块盘都有自己的队列时，这种事根本不可能发生。 每设备深度上限 128，不管盘能承受多少。 中断局部性被削弱。 完成落在控制器用了的那个回复队列上，不一定是提交的那个核心。 对于队列深度 1 或 2，也就是一个偶尔读一下的单线程进程，这些都无关紧要。两种方式下你测到的延迟一样，在噪声范围内。惩罚恰恰出现在你买 NVMe 想让它帮忙的地方：许多核心发出许多并发 I/O。负载越深，你花了钱却够不着的那部分盘就越多。\n上行链路只是一条 x8 插槽 队列模型是隐蔽的问题。带宽天花板是明摆着的问题，你不用跑基准测试，直接从 Broadcom 自己的产品简介里就能读出来。\n9500 系列 HBA 是一块 x8 PCIe Gen 4.0 卡。Broadcom 公布的数据是 256K 顺序读 13,700 MB/s，4K 随机读 3M IOPS。同一份简介说它支持多达 32 个 NVMe 设备。\n把这两个数字放在一起，问题自己就有了答案：要多少块盘才能把适配器用光？\n不多，而且一年比一年少。一块 Gen4 x4 SSD 大约 7 GB/s。一块 Gen5 x4 SSD 大约 14 GB/s。两者在 2026 年都是普通部件：二手 U.2 市场上满是 Gen4，买新的拿到的就是 Gen5。\n天花板 达到它需要的 Gen4 盘数 达到它需要的 Gen5 盘数 HBA 9500，13,700 MB/s 顺序 2 1 HBA 9500，3M IOPS（4K 随机读） 3 1–2 eHBA 9600，6.4M IOPS（4K 随机读） ~6 ~3 MegaRAID 9600，1.1M RAID 5 IOPS（4K 随机写） ~1 ~1 再读一遍第一行。一块 Gen5 SSD 就顶满了 HBA 9500 的整个顺序读天花板。 一块盘，插在一张标称支持三十二块的卡上。之后再加的都是容量。不是性能。\n最后一行才是应该叫停采购单的那一行：在当前一代 MegaRAID 上，满满一架做成 RAID 5 的 NVMe，交付的大约就是一块主流盘单独能做到的。\n盘连 x4 都协商不到 在共享上行链路下面还有第二道节流，很容易漏掉，因为它藏在规格表里，而不是标题里。\nDell 的 PERC 12 User\u0026rsquo;s Guide 涵盖 H965i 三模控制器，里面写着：\nSupports drive speeds for NVMe drives are 8 GT/s (Gen 3) and 16 GT/s (Gen 4) at maximum x2 lane width.\n每块 NVMe 盘拿到的是两条通道，不是四条。所以在争用上行链路之前，在 tag 池之前，在 SCSI 转换之前，一块 Gen4 盘就已经降到大约 3.5 GB/s，是它本来能力的一半。把一块 Gen5 盘插进那个盘位，它会协商降到 Gen4 x2，交付的大约是标称带宽的四分之一。\n这件事改变了什么、没改变什么，值得说清楚。它并不意味着适配器能撑得更远。确实要大约四块受 x2 限制的盘才能填满 9500 的上行链路，而不是两块，但那只是因为每块盘贡献的少了一半。瓶颈从上行链路挪到了盘的链路上。你能榨出来的总量没有变好。\n如果直连，同样这三十二块盘每块都会有自己通往根复合体的 x4 路径，速率是盘和 CPU 能协商到的任何一代。\n那张表里 RAID 5 那一行值得单独看一眼，因为那是 Broadcom 自己的数字，而且发布时没加任何粉饰。摘自 9600 系列简介：\n900K to 1.1M RAID 5 IOPS (4K RW)\n控制器固件里的奇偶校验 RAID，是你能要求三模卡做的最昂贵的事，而这是当前一代在做它。在有人给二十四块 NVMe 盘配 RAID 5 并期待二十四块盘的性能之前，值得先读一读。\n盘数对两条三模天花板：一张 x8 Gen4 卡和一张 x16 Gen5 卡 0 15 30 45 60 75 90 总 GB/s 1 2 3 4 5 6 NVMe 盘数 Gen5 直连，每块约 14 GB/s Gen4 直连，每块约 7 GB/s 两张卡都够不着 PERC13，Gen5 x16，实测 52.5 GB/s HBA 9500，Gen4 x8，13.7 GB/s 2 块 Gen4 盘到 9500 的顶，4 块 Gen5 盘连 PERC13 都能到顶 厂商和评测数据，非本文实测。9500 标称支持 32 个 NVMe 设备，PERC13 支持 16 个。 两张卡还把每块盘限制在 x2 链路，直连线没有这个限制。 要多少块盘才能把适配器用光，对照两个天花板。两块 Gen4 盘就到 HBA 9500 的顶；四块 Gen5 盘连 PERC13 都能顶满。这两张卡分别标称支持三十二块和十六块设备。 换成 x16 卡呢？ 对上面这一切，最显而易见的反驳是：9500 是一张 x8 Gen4 卡，天花板只是窄主机链路造成的。给适配器十六条 Gen5 通道，问题就没了。\n这个反驳很公道，它值得用最强的例子来回应，而不是立个稻草人。那就拿 Dell 的 PERC13 H975i 来说：当前一代，三模卡差不多能做到的最好水平。它的用户指南写明 “Gen 4 and Gen 5 PCIe x16 host interfaces”，StorageReview 实测到每控制器 52.5 GB/s 和 12.5M IOPS，对应最多十六块 NVMe 盘。\n这些是很硬的数字，它们实质性地改变了局面。对比 9500 的 13,700 MB/s 和 3M IOPS，这是大约四倍的带宽和四倍的 IOPS，分摊到一半数量的盘上。Dell 不只是把管子加粗了，还把扇出减半了，超额订阅比也因此改善。尤其在 IOPS 上，12.5M 分给十六块盘大约是每块 780K，接近一块主流盘单独能交付的水平。到这一步，控制器确实不再是拖你后腿的东西。\n那就该给的肯定要给：一张现代的 x16 Gen5 三模卡，在工程上比 x8 Gen4 的那张好得多，如果带宽是你唯一的异议，x16 基本上回答了它。\n有三件事它没修好。\n盘仍然只连 x2。 这一点让我吃了一惊。PERC13 的指南在描述一张 Gen5 x16 控制器时，仍然写着：\nSupports drive speeds for NVMe drives are 8 GT/s (Gen 3), 16 GT/s (Gen 4), and 32 GT/s (Gen 5) at maximum x2 lane width.\n更宽的主机链路不会让下游的盘链路变宽。Dell 卖的最新、最快的三模 RAID 控制器上，每一块 NVMe 盘仍然只用两条通道而不是四条连接，仍然在一切发生之前就先丢掉一半带宽。\n队列模型完全没动。 本文队列那一节里的东西，没有一样是主机链路宽度的函数。nr_hw_queues 来自控制器的 MSI-X 回复队列分配；每设备深度 128 是驱动和固件常量；tag 池是整个主机共享的，因为 host_tagset 就是这么规定的。把主机链路加宽到 x16、x32，随你，盘仍然是共享卡上队列的 SCSI target，仍然没有 /dev/nvme0n1，你仍然不能把一块盘直通给虚拟机。\n而且 x16 并不制造带宽，它只是把你本来就有的通道扇出去。 这才是真正一锤定音的论点。十六条 Gen5 通道接进一张 PERC13，换来的是十六个盘位共享的 52.5 GB/s。同样这十六条通道直接连到四块 x4 的 Gen5 盘上，换来的是四个盘位大约 56 GB/s：同样的通道，同样的带宽，只不过每块盘都拿到完整的 x4、每核心自己的队列对，以及一个真正的 nvme 设备节点。\n所以描述一张 x16 三模卡，诚实的说法不是“更快的适配器”。而是一个通道复用器：它把固定的通道预算换成更多的盘位，并且为这次转换向你收取队列模型的代价。这笔交易划不划算取决于一件事。你要的是盘位，还是并行度。\n把盘位插满会怎样 这就把我们带到了真正要紧的情形，因为没人会买一台二十四盘位的机箱只插四块盘。\n过了饱和点，总量曲线是平的。加盘增加的是容量，别的什么都没有，所以每块盘的性能按 1/N 下降。在实际的盘数下，这笔算术毫不留情：\nHBA 9500 上的盘数 总量 每块盘 占一块 Gen4 盘的比例 2 13.7 GB/s 6.9 GB/s 98% 12 13.7 GB/s 1.14 GB/s 16% 24 13.7 GB/s 0.57 GB/s 8% 看最后一行。HBA 9500 后面的二十四块 NVMe 盘，每块交付大约 570 MB/s。一块 SATA SSD 大约 550。你买了二十四块 NVMe 盘，花钱买了一张三模控制器来接它们，最后落到了 SATA 级别的每盘带宽。\nIOPS 的算术是同样的形状：3M 分给二十四块盘是每块 125K，而一块主流 Gen4 盘单独就能做到 1M，大约是你所拥有的八分之一。\nx16 卡把这一点改善了不少，但逃不掉。一张插满十六块盘的 PERC13 是 52.5 GB/s ÷ 16 = 每块盘 3.3 GB/s，大约是一块 Gen5 盘的 23%，而这还没算 x2 链路再砍掉的一半。\n盘数多的时候，有两个效应比单纯的除法更糟：\ntag 饥饿是跨设备的。 共享的主机 tag 池意味着一块重负载的盘可以吃掉其他盘需要的槽位。二十四个设备，每个名义上允许 128 条未完成命令，加起来要 3,072 条，全都从一个控制器的 can_queue 里取。不同盘之间的队头阻塞，是在每块盘拥有自己队列时根本不存在的一种故障模式。 重建会拖累一切。 在一整架盘上做奇偶校验重建，会把那条唯一的共享上行链路跑满，于是卡上其他每一块盘的前台 I/O 同时变差。如果盘在独立的通道上、用软件 RAID，重建争的是 CPU，而不是一根管子。 什么时候这些都无所谓 有一个重要的反向因素，它也是为什么很多二十四盘位的三模服务器跑得好好的原因。\n适配器的天花板只有在下游有东西能消耗得比它交付得更多时才会咬人。 一台配 2 × 25GbE 的服务器有 6.2 GB/s 的网络，连一张 HBA 9500 都填不满。如果那二十四块盘是一个通过这条链路提供文件的容量层，适配器离瓶颈还远着呢，上面那套每盘算术也就无关紧要。\n它开始要紧的时刻，是消费者变得比卡快的时候：100GbE（12.5 GB/s）单靠自己就和 9500 的整个顺序天花板持平，而本地负载，比如数据库、编译、分析、带着繁忙客户机的虚拟化主机，路径上根本没有网络。\n所以对一架插满的盘，要问的不是“适配器慢不慢”，而是**“谁来消耗这些，它能不能消耗得比卡交付得更多？”** 如果答案是一条 25GbE 链路，别操心了。如果答案是 100GbE、NVMe-oF 或者本地数据库，卡就是你的瓶颈，而盘数在让它更糟。\n还丢了些什么 除了吞吐量，把 NVMe 盘呈现为 SCSI 磁盘，意味着你工具箱里 NVMe 专属的那些东西都不灵了：\n直连 在三模适配器后面 设备节点 /dev/nvme0n1 /dev/sdb 驱动 nvme mpt3sas / mpi3mr nvme-cli 能用 没有对话对象 健康数据 NVMe SMART 日志页 转换后的 SCSI 日志页 命名空间管理 有 没有 固件更新 nvme fw-download 经控制器用厂商工具 Format / sanitize NVMe Format NVM SCSI 对应命令，如果实现了的话 硬件队列 每核心一对（上面那台机器是 16） 卡的回复队列，所有盘共享 队列深度 每队列 1023 每设备 128 有一个后果经常坑人，值得单独拎出来说：你不能把单块盘直通给虚拟机。 PCIe 直通要求盘是一个有自己 IOMMU 组的 PCIe 端点，而在三模适配器后面它不是，唯一在场的 PCIe 设备是控制器。你可以把整个适配器连同挂在上面的每一块盘一起直通，或者什么都不直通。如果你的计划是把特定的 NVMe 盘交给特定的客户机，背板的决定已经替你做了这个决定。\n那么 2026 年到底谁想要这个？ 到这里，本文开头那套卖点就得面对一个更难的问题了，因为它当初为之设计的那个世界大多已经不在了。\n三模是在 NVMe 还是你给 SAS 存储加上去的昂贵层级时构想出来的。到了 2026 年，这是反过来的：NVMe 是默认，U.2 企业盘在二手市场上又多又便宜，而“一台机箱里混插 SAS、SATA 和 NVMe”描述的真实部署越来越少。那么到底是谁在买它？\n大多数情况下谁都没买，是被塞的。 诚实的回答是，大多数三模控制器不是被选中的。它们是跟着来的，因为服务器厂商装了一张，而厂商装一张，是因为单一的 U.3 背板型号让他们能用同一台机箱卖 SAS、SATA 和 NVMe 配置。这是 OEM 在供应链上的胜利。它对你的性能毫无帮助，所以它也从来没被当作有帮助来卖。\n三条经典理由如今都站不太住了：\n“我需要混用不同类型的盘。” 在同一台机箱里需要的情况很少，就算真需要，三模也不是唯一的办法。一张普通 SAS HBA 接机械盘，再把 NVMe 接到根复合体，两样都有，哪样都不受罚。混合存储不等于混合控制器。\n“我的 PCIe 通道不够。” 这在 2019 年是真论点，那时是 40 通道的平台配 24 个盘位。一颗单路 Genoa 或 Turin Epyc 有 128 条通道。二十四块盘每块 x4 是 96 条。当初让人把盘汇聚到一个控制器后面的那种稀缺，基本已经没了，而在还没消失的地方，一块 PCIe 交换芯片就能干这活，而且不会终结协议。\n“盘位必须通用。” 这一条值得仔细拆开，因为它是最常被用来给错误部件找理由的论点。U.3 是背板标准，不是控制器要求。 U.3 背板可以直接用线缆接到 CPU 的 PCIe 通道上，而不经过三模控制器，厂商对两种拓扑都有文档。你可以保留通用盘位，把这笔税删掉。如果你接手了一台三模服务器，最有价值的一项检查就是看背板能不能重新布线直连。\n真正剩下的是：\n在策略或平台要求下、高密度的硬件 RAID：审计要求、支持矩阵、没有软件层可以干这活的 Windows 或 ESXi 部署。这是真正剩下的市场，也是唯一一种你买的是 RAID 引擎而不是连接能力的情形，而在当前的芯片上它是个能干的产品：十六块 NVMe 盘做硬件 RAID 5，带超级电容保护的缓存，只用十六条通道，这是直连根本给不了的。 大容量 SAS 机械盘，按每 TB 的英镑算，机械盘依然稳占上风。但那是普通 SAS HBA 的活，而且更便宜。 非常多的盘位和外部扩展柜，SAS 扩展器能比 PCIe 伸得更远、铺得更宽。 从来不会跑深的负载。 如果你的队列深度停在个位数，这些都无关紧要。很多真实系统就在这里过得挺好。 还有一个朴素的运维论点：一种机箱类型、一个驱动、架子上一种备件。对一台通用虚拟化主机来说，这是有实在价值的。只是要诚实地把它和这样一个事实放在一起掂量：按上面那张表，一块 Gen5 盘就能顶满整张卡的顺序读天花板。\n什么时候它是错的工具 这笔交易变差的程度，和你的负载有多少并发成正比。\nCeph 是最清楚的例子。 一个存储节点每块盘跑一个 OSD，每个都有自己的线程池，全都同时发 I/O，然后整个集群的客户端还在并发地驱动它们。这正是共享 tag 池的最坏情形：二十四个守护进程争一个控制器的命令槽，每块盘上限 128 条未完成命令，一切都汇进一条 x8 上行链路。把这些盘直接放到根复合体上，每个 OSD 就有自己的队列、自己的 tag 和自己的通道。一个全 NVMe 的 Ceph 节点，数据路径上不该有三模适配器。\n同样的逻辑也适用于 NVMe-oF target，你在重新导出盘，每一层串行化都会叠加；适用于有深度异步 I/O 的数据库；也适用于任何建在 io_uring 或 SPDK 之上的东西，它们存在的意义就是利用每核心队列，而适配器刚刚把这个拿走了。\n一般规律是：你的软件被写来利用的并行度越多，三模适配器向你收的费就越多。\n怎样判断你手里是什么 如果你接手了一台服务器，想知道自己在这件事的哪一边：\n# What is the transport? \u0026#34;nvme\u0026#34; is direct, \u0026#34;sas\u0026#34; means it went through a controller lsblk -o NAME,TRAN,MODEL,SIZE # Is there a tri-mode controller in the machine at all? lspci -nn | grep -Ei \u0026#39;sas|megaraid|serial attached\u0026#39; # Which driver claimed the disk? ls -l /sys/block/sdb/device/driver # Per-device queue depth — 128 is the mpt3sas NVMe default cat /sys/block/sdb/device/queue_depth # How many hardware queues does this device actually get? ls /sys/block/sdb/mq/ | wc -l ls /sys/block/nvme0n1/mq/ | wc -l # compare against a direct-attached drive # On a direct-attached drive, what did the controller actually grant? # One admin queue plus one I/O queue per core, so expect nproc + 1 cat /sys/class/nvme/nvme0/queue_count nproc # The driver says it out loud at load time dmesg | grep -i \u0026#39;nr_hw_queues\u0026#39; 最后那条会打印出前面引用过的那行 Max SCSIIO MPT commands: N shared with nr_hw_queues = M。如果在一台别人告诉你是全闪存 NVMe 的机器上 nvme list 是空的，原因就是适配器。\n简短版 三模适配器把你的 NVMe 盘转换成 SCSI 磁盘。这次转换不是副作用。它就是一张卡服务三种协议的方式，也就是你买的东西。\n你放弃的东西是具体的、可测量的：每核心的队列对被控制器的共享回复队列取代，每设备深度 128，一个由卡上每块盘分的 tag 池，盘要 x4 却只给 x2 的链路，以及一条共享的上行链路，而原本每块盘都有自己通往根复合体的路径。适配器不再是一个连接，而成了瓶颈，在当前的硬件上它很快就成了：两块 Gen4 盘就到 HBA 9500 的顶，四块 Gen5 盘连 PERC13 都能顶满。\n更宽的主机链路确实有帮助，一张 x16 Gen5 卡的带宽和 IOPS 大约是 x8 Gen4 卡的四倍，但它不改变形状。它买到的是盘位，不是并行度：同样十六条通道直接连到四块盘上，交付同样的带宽，没有任何队列税。而且它救不了一整架插满的盘。9500 后面的二十四块盘每块大约 570 MB/s，也就是一块 SATA SSD 的水平。\n2019 年，当 NVMe 还是你给 SAS 存储加的那一层、平台还缺通道的时候，这是一笔合理的交易。到了 2026 年，通常不是了。NVMe 是默认，二手 U.2 盘很便宜，一颗单路 Epyc 的通道多得用不完，而唯一还站得住的好处，也就是通用盘位，属于 U.3 背板，不属于控制器。你经常可以把背板直接用线缆接到 CPU 上，保留盘位，删掉这笔税。\n所以，如果你买的是它的 RAID 引擎而你确实需要一个，那就买三模适配器。不要为了灵活性去买它，而如果你在一台插满 NVMe 的机箱里接手了一张，去弄清楚那块背板是怎么布线的。\n为那些你之后用不好的盘付两次钱，没有道理。\n","permalink":"https://blogs.damiendye.uk/zh/hardware/tri-mode-adapters-nvme-as-sas/","summary":"三模适配器让任何槽位都能接 SAS、SATA 或 NVMe：这是真正的灵活性，也是 U.3 背板存在的原因。它不宣传的是，你的 NVMe 盘不再是 NVMe 盘：它们在 Linux 里变成了 mpt3sas 上的 SCSI 磁盘，队列深度 128，共用一个 tag 池和一条 x8 上行链路。两块 Gen4 盘就能把卡跑满。一块 Gen5 盘就已经超过它了。本文讨论这笔交易在 2026 年是否还划算，以及为什么通用槽位该归背板而不是控制器。","title":"三模适配器拿你的 NVMe 队列换灵活性"},{"content":"Ansible 平时可以默认的那个前提 你用过的几乎每一个 Ansible 模块都是这样工作的：Ansible 连到清单里写的那台主机，把一个小 Python 程序拷过去，运行，再把结果读回来。主机既是被修改的对象，也是干活的那一方。\n创建虚拟机用最根本的方式打破了这一点。**你要构建的那台主机还不存在。**它没有 IP，没有 SSH 守护进程，没有 Python，也没有操作系统。根本没有东西可连。\n所以 community.proxmox 不是配置代理。它是一个 API 客户端，只不过碰巧以 Ansible 集合的形式发布。因此，本文的一切都从这一个事实推出来：任务在哪里运行，凭据怎么传进去，为什么重跑不会做你以为的事，以及为什么 --check 没有对你说实话。\n这里的例子是从一个根据 NetBox 记录构建 Fisher-Price OS (Windows) 和 Linux 虚拟机的 playbook 里删减出来的：proxmox-create-vms.yml。为了好读，我把节点、存储和网桥的名字改成了通用的，真东西在那个仓库里。\n下面我对模块行为的每一个说法，都对照 community.proxmox 1.6.0 核实过，这是我装的版本：\n$ ansible-galaxy collection list community.proxmox # /home/damien/.ansible/collections/ansible_collections Collection Version ----------------- ------- community.proxmox 1.6.0 首先：这个集合搬家了 如果你在看较老的 playbook 或较老的回答，那时这些模块叫 community.general.proxmox_kvm。它们现在住在一个专门的集合里，开发也在那里进行。1.6.0 版本带了 47 个模块，覆盖 Ceph、SDN、防火墙、HA 规则和加入集群，这些在 community.general 时代都没有。\nansible-galaxy collection install community.proxmox pip install \u0026#39;proxmoxer\u0026gt;=2.0\u0026#39; requests Python 依赖不是可选的，也没有打包进去：集合声明了 requirements: [\u0026quot;proxmoxer \u0026gt;= 2.0\u0026quot;, \u0026quot;requests\u0026quot;]，这些需要装在模块实际执行的地方，而下一节会解释，那不是 Proxmox 节点。\n如果你想固定版本，用 requirements.yml：\n--- collections: - name: community.proxmox version: \u0026#34;\u0026gt;=1.6.0\u0026#34; 该集合针对 ansible-core 2.17 到 2.20 做了测试。把你的 community.general.proxmox_* 任务改名为 community.proxmox.proxmox_*，迁移就完成了大半。\n每个 Proxmox 任务都在 localhost 上运行 play 顶部的两行承担了主要工作，而这两行看上去都像在关掉什么有用的东西：\n- name: Create Proxmox virtual machines hosts: \u0026#34;{{ target_hosts | default(\u0026#39;cluster_pve:\u0026amp;status_planned\u0026#39;) }}\u0026#34; gather_facts: false serial: 1 gather_facts: false 不是优化。收集 facts 要连到清单主机，而清单主机是一台还没建好的虚拟机。不关掉的话，play 在第一个任务之前就失败了。\n然后每一个 Proxmox 任务都带着 delegate_to: localhost：\n- name: Create Proxmox VM delegate_to: localhost register: created_vm community.proxmox.proxmox_kvm: api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; node: \u0026#34;{{ proxmox_api_host }}\u0026#34; ... 清单主机现在只是一个名字加一袋变量。inventory_hostname 成了虚拟机的名字；它的变量描述你想要的机器。没有任何东西连到它。任务在控制节点上运行，控制节点打开一个到 api_host 的 HTTPS 会话，提交一份虚拟机定义。\n你还会看到这写成 local_action:，那是同一件事的旧语法。那个仓库里的拆除 playbook 通篇用的都是它。两者等价。delegate_to 是现在的写法。\n逃生舱口指向节点 有些事确实必须在 Proxmox 主机上做，这些任务就委派到完全不同的地方去：\n- name: Fail if no ISO file exists for the OS delegate_to: \u0026#34;{{ proxmox_api_host }}\u0026#34; ansible.builtin.stat: path: \u0026#34;{{ iso | replace(\u0026#39;isos:\u0026#39;, \u0026#39;/mnt/pve/isos/template/\u0026#39;) }}\u0026#34; register: iso_file failed_when: not iso_file.stat.exists 这是一个真实的 SSH 连接，连到一个真实的节点，检查共享存储上的一个真实路径，因为 API 会很乐意接受一个解析不到任何文件的 ISO 引用，而你宁可现在发现，也不要等到开机时才发现。注意那段字符串手术，把 PVE 存储引用（isos:iso/debian.iso）翻译成文件系统路径。stat 用不了存储抽象层。\n所以一个 play 里的任务在三个不同的地方执行，把它们搞混是这类 playbook 失败的最常见方式：\nProxmox 构建 playbook 里每个任务实际在哪里执行 Ansible 控制节点 delegate_to: localhost proxmox_kvm proxmox_vm_info proxmox_disk proxmox_access_acl 它们每一个都是 HTTPS 客户端，不是代理 proxmoxer \u0026#8805; 2.0 + requests 装在这里，不在节点上 gather_facts: false Proxmox 节点：pve1 pvedaemon, REST API 监听 8006 端口 qm、/etc/pve、存储 虚拟机定义落在这里 你正在创建的虚拟机 没有 IP \u0026#183; 没有 SSH \u0026#183; 没有 Python 没有操作系统 在清单里它只是 一个名字和一堆变量 API SSH qm set stat 无处可连 要等到后面的 play 一个 play 里的三种执行上下文。Proxmox 模块从不碰节点或客户机，它们是跑在 playbook 旁边的 HTTPS 客户端。qm 逃生舱口是唯一需要 SSH 到虚拟化主机的部分。 凭据，以及一个即将改变的默认值 认证选项通过一个文档片段被集合里的每个模块共享，所以到哪儿都一样：api_host、api_user，然后是 api_password，或者 api_token_id / api_token_secret 这一对。它们全都会回退到环境变量：PROXMOX_HOST、PROXMOX_USER、PROXMOX_PASSWORD、PROXMOX_TOKEN_ID、PROXMOX_TOKEN_SECRET、PROXMOX_VALIDATE_CERTS，这是把机密完全挡在 play 之外最干净的办法。\nAPI 令牌是更好的默认选择。它有范围限制，吊销它不用改某个人的密码，而且可以只给它 playbook 需要的权限，而不是某个人碰巧拥有的那些：\n- name: Create Proxmox VM delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; validate_certs: true ca_path: /etc/ssl/certs/pve-cluster-ca.pem **今天就显式设置 validate_certs。**集合自己的文档说得很明白：\nCurrently defaults to false and changes default to true with community.proxmox 2.0.0.\n这意味着一个从没提到它的 playbook 现在并没有校验 TLS，而一旦有人运行 --upgrade，它就会开始校验，于是也就开始在每个全新 Proxmox 安装自带的自签名证书上失败。与其让这个决定在一次构建进行到一半时砸下来，不如有意识地自己做决定。如果你保留自签名证书，就写 validate_certs: false，接受这条审计发现；如果你有一条像样的证书链，就把 ca_path 指向它。不管哪种，都写下来了。\n最小可用的创建 把生产任务精简到真正定义一台机器的那些东西，就读得懂了：\n- name: Create Proxmox VM delegate_to: localhost register: created_vm community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; validate_certs: true node: pve1 name: \u0026#34;{{ inventory_hostname }}\u0026#34; cores: \u0026#34;{{ vcpus | int }}\u0026#34; memory: \u0026#34;{{ memory }}\u0026#34; machine: q35 bios: ovmf ostype: l26 scsihw: virtio-scsi-single scsi: scsi0: \u0026#34;vmdata:32,format=qcow2,discard=on,ssd=1\u0026#34; sata: sata0: \u0026#34;isos:iso/debian-13-netinst.iso,media=cdrom\u0026#34; net: net0: \u0026#34;virtio,bridge=vmbr0\u0026#34; efidisk0: storage: vmdata format: raw efitype: 4m pre_enrolled_keys: true boot: \u0026#34;order=scsi0;sata0\u0026#34; agent: \u0026#34;enabled=1,fstrim_cloned_disks=1\u0026#34; onboot: true tags: - production 写你自己的之前，这个形状里有几点值得知道。\n设备选项是写在 YAML 里的 PVE 语法。scsi、sata、net、virtio、ide 的类型都是 dict，键是 scsi0、net0 之类，而值是直接从 man qm 里搬来的逗号分隔选项字符串：磁盘是 \u0026lt;storage\u0026gt;:\u0026lt;size\u0026gt;,option=value，网卡是 [model=]\u0026lt;enum\u0026gt;,option=value。模块不对它们建模；它只是转发。被拒绝的时候，答案在 PVE 选项参考里，不在 Ansible 文档里。\n你还会看到这些写成 JSON 字符串而不是 YAML 映射：\nnet: \u0026#39;{\u0026#34;net0\u0026#34;:\u0026#34;virtio,bridge={{ vlan_bridge }}\u0026#34;}\u0026#39; 两种都行。对 dict 类型的参数，Ansible 会转换字符串。JSON 形式之所以存在，是因为用一个 Jinja 表达式模板化整个结构更容易。映射形式在六个月后更好读。\n**boot 有两代语法。**模块接受老式字母写法，boot: \u0026quot;cdn\u0026quot; 的意思是“先试磁盘，再试光驱，再试网络”。现在的 PVE 要的是一个显式的有序列表，boot: \u0026quot;order=scsi0;sata0;net0\u0026quot;，哪块盘说得清清楚楚。老写法仍然能用。新工作里你要的是显式写法。模块文档里埋着一个真正的坑：自 PVE 8.3.5 起，网络启动需要设置 rng0。\nnuma 和 numa_enabled 是两个不同的参数。numa_enabled 是打开 NUMA 的布尔值。numa 是一个描述拓扑的 dict（cpus、hostnodes、memory、policy）。设置 numa: true 是类型错误，很容易就白丢一个小时。如果你想知道这些为什么要紧，Proxmox 上的 NUMA 对齐讲了底层的问题。\nmachine: q35 和 bios: ovmf 是正确的默认值，不是装饰，完整的论证在这里。\n**省略 vmid 意味着模块会向 API 要下一个空闲 ID。**方便，也直接引出了下一件事。\n为什么要 serial: 1 “取下一个可用 ID，再用它创建一台虚拟机”是两次 API 调用，中间有个空档。两个 worker 同时这么做，可能读到同一个空闲 ID，输的那个会得到一个错误，或者更糟，一个意外。\nserial: 1 让创建阶段一次只处理一台主机。不快，也不需要快。构建虚拟机最费时的部分发生在这个 playbook 交接之后。对应的那个启动已建好虚拟机的 play 用的是 serial: 5，因为启动没有共享计数器可抢。\n如果你想要并行，就从你的真实数据源自己分配 VMID，显式传进去。这样就没有读-改-写，也就没有竞争。\n幂等性不是你以为的那样 这一节要读两遍，因为 proxmox_kvm 的行为不像 ansible.builtin.package。\nname 不是身份标识。虚拟机名字在一个 Proxmox 集群里并不唯一，模块自己也这么说。在 state: present 且没有 vmid 的情况下，如果同名虚拟机已经存在，模块以 changed=false 退出，带着 msg: \u0026quot;VM with name \u0026lt;x\u0026gt; already exists\u0026quot;，什么都不做。它不把你的参数和现实对比。它不收敛。它拒绝。\n**update 默认是 false。**所以在 playbook 里改 memory: 再重跑，什么都不会发生。虚拟机保持构建时的内存，任务报告成功，哪儿都没有任何东西告诉你两者已经分道扬镳。\n**update: true 仍然拒绝那些要紧的参数。**模块文档原话：\nBecause of the operations of the API and security reasons, I have disabled the update of the following parameters net, virtio, ide, sata, scsi. Per example updating net update the MAC address and virtio create always new disk…\nupdate_unsafe: true 解除这个限制，而那条警告不是摆样子的：\nUse this option with caution because an improper configuration might result in a permanent loss of data (for example disk recreated).\n所以你以为在扩容的那块盘，可能被换成一块新的空盘。别去碰这个，被拒绝的那些参数有它们自己的模块，那就是下一节。\n**而 --check 对这些一概不管。**集合按模块声明 check 模式支持，而它恰恰在最糟的方向上不一致：\n模块 check_mode diff_mode proxmox_kvm 无 无 proxmox_disk 无 无 proxmox_template 无 无 proxmox_snap 完整 无 proxmox_nic 完整 无 proxmox_pool 完整 无 分界线不是“只读模块可以，写模块不行”，proxmox_nic 会创建和删除网卡，check 模式照样支持得好好的。分界线是，处理存储和虚拟机生命周期的那三个模块不支持。对构建 playbook 跑一次 --check，会悄无声息地跳过虚拟机创建，然后对一个虚拟机从没被创建的世界做报告，于是后面每一个任务推理的都是错误的状态。在构建 playbook 上，--check 不是安全网，把它当安全网比不跑还糟。\nproxmox_kvm 第二次运行实际做了什么 第二次运行：state: present，且同名虚拟机已存在 模块从不把你的参数和运行中的虚拟机比较 update: false 默认 changed = false \u0026#8220;VM with name \u0026lt;x\u0026gt; already exists\u0026#8221; 在 play 里改内存， 再运行一次， 没有任何地方告诉你 update: true 大部分能收敛 核心数、内存、标签、 agent、onboot 生效 net, virtio, ide, sata, scsi, efidisk0, tpmstate0 按设计拒绝 这些改用 proxmox_disk 和 proxmox_nic update_unsafe: true 全部收敛 被拒绝的参数 也会应用 一个磁盘参数 可能重建磁盘 永久丢失数据 是文档写明的风险 --check 什么都不告诉你 check_mode: none 任务被跳过 之后的每个任务 都在一个虚拟机 从未被创建的 世界里推理 四种里只有两种会收敛，而覆盖磁盘的那一种 正是能毁掉磁盘的那一种。 所以自己以是否存在为条件，把创建当作 一次性事件。 第二次运行实际做了什么。四条路径里只有两条会收敛任何东西，而唯一涉及磁盘的那条，恰恰能毁掉磁盘。 所以让“是否存在”当闸门 考虑到这一切，可行的模式是别再指望模块幂等，由你自己决定要不要构建。生产 playbook 是这么做的：\n- name: Check if VM is present or manually built delegate_to: localhost community.proxmox.proxmox_vm_info: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; config: current register: existing_vm ignore_errors: true failed_when: (existing_vm.proxmox_vms | length) == 0 - name: Configure Proxmox VM when: existing_vm is failed block: - name: Create Proxmox VM ... 带 config: current 的 proxmox_vm_info 返回虚拟机及其当前配置，或者一个空列表。failed_when 把“空列表”变成失败，ignore_errors: true 让这个失败不终止 play，而 when: existing_vm is failed 就成了“虚拟机不在，去建”。\n用一个故意失败的任务当布尔值，读起来很别扭，我不打算假装不是。替代写法是 when: (existing_vm.proxmox_vms | default([]) | length) == 0，它老老实实地就是一个长度检查，也不需要 ignore_errors。两种都行。上面那个版本是生产里在用的，它唯一真正的优势是，注册下来的结果带着现有配置，供后面的任务读取。\n重要的是形状，不是写法：**先检查，再分支，把创建当作一次性事件。**虚拟机的持续配置和虚拟机是否存在是两个不同的问题，而这个模块只擅长后一个。\n磁盘和网卡有自己的模块 这是我上面一笔带过的事，而它改变了整个局面：proxmox_kvm 拒绝更新的那些参数，并不是集合的缺口。它们是被委派出去了。community.proxmox.proxmox_disk 和 community.proxmox.proxmox_nic 负责添加、修改和删除的，正是创建模块不肯碰的那些东西，用的键也正是你构建虚拟机时用的 scsi0 和 net0。\n两者都比 proxmox_kvm 规矩，其中一个还是这个工作流里唯一能演练（dry-run）的模块。\nproxmox_nic：添加、改标签或删除网卡 - name: Move the VM\u0026#39;s primary NIC to a new bridge and VLAN delegate_to: localhost community.proxmox.proxmox_nic: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; interface: net0 bridge: vmbr1 tag: 120 model: virtio mtu: 1 queues: 4 firewall: true state: present 除了认证之外，interface 是唯一必填的选项，net[n]，n 从 0 到 31；state: present 或 absent 给你添加和删除。model 默认是 virtio，除非客户机应付不了，这就是正确答案。\n**这个模块存在的理由是 MAC 地址。**回想一下 proxmox_kvm 为什么拒绝更新 net：“updating net update the MAC address”。proxmox_nic 明确解决了这个问题：\nWhen not specified this module will keep the MAC address the same when changing an existing interface.\n所以你可以改 VLAN 标签、换网桥、改 MTU 或打开防火墙，而客户机网卡的身份不会在它脚下变掉。这比听起来要紧：新的 MAC 会让 DHCP 预留失效，弄坏任何绑定在网卡上的授权，还会让创建 playbook 精心写下的那条 NetBox 接口记录对不上。有了这个模块，第二天的网络变更才能平淡无奇。\n几个最好在需要之前就知道的选项：\nrate 的单位是 MBps，即每秒兆字节，不是比特。文档写得很明确，而差八倍的错误非常容易犯。 link_down: true 断开网卡，文档描述为“like pulling the plug”。想隔离一台可疑的虚拟机，又不想停机或碰客户机，这是个干净的办法。 trunks 接受一个要透传的 VLAN ID 列表，给自己打标签的客户机用。 mtu: 1 不是笔误，也不是 1 字节的 MTU，它的意思是“继承网桥的 MTU”，而且只适用于 virtio。 queues 设置多队列，0 到 16。凡是跑真实流量的，都值得把它设成和 vCPU 数一致。 **而且它完整支持 check 模式。**对 proxmox_nic 任务跑 --check 会告诉你真话，这让它成为这个工作流里你唯一能安全彩排的部分。它的消息也是真正幂等的。没变的网卡报告 Nic net0 unchanged on VM with vmid 103，而不是谎称有了变化。\nproxmox_disk：磁盘的整个生命周期 proxmox_disk 是三个里最大的模块，它的 state 身兼五职：\nstate 发生什么 可逆吗？ present 创建磁盘，或更新现有磁盘的选项 不适用 resized 扩容，PVE 不能缩容，文档说要手动做 否 detached 变成 unused[n]；卷和里面的数据都还在 是 moved 换后端存储，或把磁盘交给另一台虚拟机 原盘保留，除非设了 delete_moved absent 从后端存储删除 否 detached 和 absent 之间的差别，就是 proxmox_kvm 从来不给你的那张安全网。卸下是改配置；删除是毁数据。两个不同的词，两种不同的后果。\n给一台已经存在的虚拟机加第二块盘：\n- name: Add a data disk delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 storage: vmdata size: 200 format: qcow2 iothread: true aio: io_uring discard: \u0026#34;on\u0026#34; ssd: true backup: true state: present **create 是 proxmox_kvm 本该有的那个旋钮。**它控制 state: present 被允许做什么：\nregular（默认）：磁盘不存在就创建，否则更新它的选项。 disabled：只更新选项，永远不创建。当你要改一块必须已经存在的磁盘上的 cache 或 iothread 时，就该用它。它不会因为某个键拼错了就凭空变出一个新卷来吓你一跳。 forced：总是创建。已有的磁盘会被卸下并留作 unused，而不是删除。 最后这个行为是关键细节。create: forced 看起来是那个有破坏性的选项，可它仍然什么都不毁：旧卷作为 unusedN 保留下来，你可以重新挂回去。拿它和 proxmox_kvm 加 update_unsafe 比一比，后者文档里写明的故障模式就是磁盘被重建。大致相同的操作，波及范围好得多。\n给磁盘扩容：\n- name: Grow the data disk by 100 GiB delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 size: \u0026#34;+100G\u0026#34; state: resized **注意单位，因为 size 的含义会随 state 变化。**在 state: present 下，它是一个不带单位的数字，单位是 GiB（size: 200）。在 state: resized 下，它要带后缀：+100G 表示在当前大小上增加，500G 表示一个绝对目标。一个参数，两种约定，猜错了也不会报错。\n把磁盘移到另一个存储上，也就是单个卷的在线迁移：\n- name: Move the disk to NVMe storage delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 target_storage: nvme-pool bwlimit: 200000 delete_moved: true timeout: 3600 state: moved target_storage 在同一台虚拟机内移动；target_vmid 把磁盘交给另一台虚拟机，并要求两边是同一个存储。两者互斥。delete_moved 默认是 false，所以默认情况下你最后会有两份拷贝，原盘作为 unused 留在那里。这很安全，但如果你再也不回来清理，也是填满一个存储池的好办法。\n**这里 timeout 默认是 600，而 proxmox_kvm 里是 30。**看起来一样的参数，相差二十倍，因为这些操作要拷贝数据。镜像大或者存储慢，就把它调高，文档对 moved 和 import_from 都是这么说的。\n这就引出了让这个模块成为 V2V 和云镜像通道的那个选项：\nimport_from: \u0026#34;vmdata:9000/base-debian13.qcow2\u0026#34; import_from 从一个已有的卷构建磁盘，而不是分配一块空盘：格式是 \u0026lt;STORAGE\u0026gt;:\u0026lt;VMID\u0026gt;/\u0026lt;NAME\u0026gt;，在 PVE 9.x 及以后也可以用存储的 import 目录写成 \u0026lt;STORAGE\u0026gt;:import/\u0026lt;NAME\u0026gt;。它和 size 互斥，而且只有 root 能用文件系统的绝对路径。\n参数列表里剩下的部分，正是用这个模块挂磁盘、而不是在创建调用里内联写的理由：cache、aio、iothread、discard、ssd、backup、detect_zeroes，还有整套限速参数：iops、iops_rd、iops_wr，它们的 _max 和 _max_length 变体，以及 bps_*_max_length 突发控制。创建之后，这些没有一个能通过 proxmox_kvm 改到。\n有两点要注意，都出自这个模块自己的文档：\n有些选项的修改需要重启。“Some updates on options (like cache) are not being applied instantly and require VM restart.” 任务显示绿色，意思是配置写进去了，不代表正在运行的虚拟机行为已经变了。 它不支持 check 模式。check_mode: none，和 proxmox_kvm 一样。所以这个集合从中间劈成两半：网卡的修改可以用 --check 彩排，磁盘的修改不行。 分工 要做这件事 用这个 创建虚拟机 proxmox_kvm，只调用一次，以是否存在为条件 改核心数、内存、标签、agent、onboot proxmox_kvm 加 update: true 添加、改标签、断开或删除网卡 proxmox_nic 添加、扩容、移动、卸下或删除磁盘 proxmox_disk 快照 proxmox_snap（同样完整支持 check 模式） 它们都不暴露的任何东西 通过 SSH 执行 qm set 通过 proxmox_kvm 改磁盘或网卡 不要这么做。update_unsafe 就是干这个的，这也正是你不该用它的原因 用一个最精简的 proxmox_kvm 调用构建虚拟机，然后用各自的模块挂上磁盘和网卡。任务多一些，但这个版本里，第二天的变更有一条路可走，而不必去用一个文档写明风险是丢盘的选项。\n模块到此为止的地方 proxmox_kvm 的参数列表很长，但仍然覆盖不了 qm 能做的全部事情。生产 playbook 没有干等，而是在节点上直接退回到命令行：\n- name: Set RNG source and better SPICE quality delegate_to: \u0026#34;{{ proxmox_api_host }}\u0026#34; become: true ansible.builtin.command: cmd: \u0026gt;- /usr/sbin/qm set {{ created_vm.vmid }} --rng0 source=/dev/urandom --spice_enhancements videostreaming=all 这没什么不对。它谈不上什么像样的幂等性，qm set 是一次写操作，每次运行都会报告 changed，但它明确、好读，而且不装模作样。以后模块要是加上了这个参数，你把这个任务删掉就行。\n还有一些东西需要让模块带着 update: true 再跑一遍，因为它们不能在创建虚拟机的同一个调用里设置：\n- name: Add SPICE-compatible USB device delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; node: \u0026#34;{{ proxmox_api_host }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; usb: usb0: \u0026#34;spice,usb3=1\u0026#34; update: true when: spice_usb | default(false) 注意它传的是 vmid，不是 name。一旦拿到了 ID，就用 ID。它是 API 唯一当作唯一标识的东西。\n至于 QEMU 能做、PVE 却没有对应选项的事情，还有 args，它会原样传到 QEMU 命令行上：\nargs: \u0026gt;- -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096 这一条让虚拟磁盘以 4Kn 而不是 512e 的形式呈现，这比听起来重要得多，见 块大小、4Kn 与 512e。模块把 args 标注为“for experts only”，原因是 PVE 不校验它，一个错误的参数会让虚拟机起不来，报错还是 QEMU 给的，而不是 Proxmox 给的。\n集群不是瞬间一致的 - name: Let registration complete on cluster ansible.builtin.pause: seconds: 5 when: created_vm.changed playbook 里出现 pause 通常是个坏味道，但这一个是承重的。创建调用在 API 接受定义时就返回了，这和每个节点都认可这台虚拟机已经存在不是一回事，而紧接着的下一个任务就要在 /vms/\u0026lt;vmid\u0026gt; 上设置 ACL。五秒钟的耐心，比围着一个只在高负载下才出现的错误写重试循环便宜。\n拆除 playbook 出于同样的原因也是同样的形状：停机，等待，再删除。\n读回你构建出来的东西 proxmox_kvm 文档里写了三个返回值：vmid、status 和 msg。实际上你会需要第四个，而它不在文档里。\n- name: Get MAC address of VM ansible.builtin.set_fact: primary_mac_addr: \u0026#34;{{ created_vm.mac.net0 }}\u0026#34; created_vm.mac 是真实存在的，模块在 get_vminfo() 里构造它，再把它展开进结果里，但它不在文档的 RETURN 块中，这意味着没有任何承诺保证它会一直能用。值得弄清楚它到底怎么表现，因为里面有两个坑：\n只有模块真正创建了虚拟机，它才会出现。mac 只在创建并部署的路径上组装。走了“已经存在”的分支，结果里只有 vmid 和 msg，别的什么都没有。 **它只包含你传进去的那些网卡。**代码遍历的是你提供的参数，挑出匹配 net[0-9] 的那些，再从 API 读回每一个存储的配置。没有 net 参数，就没有 mac 键。 这就是为什么生产 playbook 两半都要，而第二半很难看：\n- name: Get MAC address of VM ansible.builtin.set_fact: primary_mac_addr: \u0026gt;- {{ created_vm.mac.net0 if created_vm is defined and created_vm.changed else ((existing_vm.proxmox_vms[0].config.net0 | split(\u0026#39;,\u0026#39;))[0] | split(\u0026#39;=\u0026#39;))[1] }} 虚拟机已经存在时没有 mac，所以 MAC 只能从原始配置字符串里挖出来。net0 从 API 返回的样子是 virtio=AE:AE:5C:A8:89:85,bridge=vmbr0，所以：按逗号拆分，取第一段，再按 = 拆分，取后半段。这是对 API 响应做字符串手术，也是一个返回结构取决于走了哪个分支的模块的真实代价。\n如果两种情况下你都需要可靠地拿到 MAC，那就无条件地从 proxmox_vm_info 取，只解析一种结构，而不是两种。\n用唯一可信源来驱动 再看一眼开启这个 play 的那一行：\nhosts: \u0026#34;{{ target_hosts | default(\u0026#39;cluster_pve:\u0026amp;status_planned\u0026#39;) }}\u0026#34; 这才是真正的架构，值得直说：要构建的虚拟机不是变量文件里的一张列表。它们是清单里那些记录状态表明应该存在、但还不存在的主机。\n这里的清单是 NetBox。申请一台虚拟机，就是创建一条状态为 planned 的 NetBox 记录，带上它的 CPU、内存、磁盘、VLAN、负责人和平台。playbook 选出 planned 的机器，构建它们，分配 IP，写 DNS，然后把记录设为 staged。这时这台主机就不再匹配 play 的主机模式了，一个 handler 会刷新清单，让下一个 play 看到新状态：\nhandlers: - name: Refresh inventory ansible.builtin.meta: refresh_inventory 状态字段是一个状态机，playbook 是其中的一次状态转换，整个东西可以重复运行，因为已经往前走了的主机不会再被选中。这个性质比模块层面的任何幂等性都好得多，也是创建任务可以只跑一次的原因。\ncommunity.proxmox 也自带一个清单插件，它从集群构建清单。当 Proxmox 是唯一可信源时，那是正确的选择。这里正好反过来：NetBox 是权威，Proxmox 是把它的意图变成现实的地方。这本身就够写一整篇，我会另外写。\n再把它拿掉 只有创建没有拆除，生命周期只走了一半，而删除这条路有它自己的坑：你不能删除一台正在运行的虚拟机：\n- name: Force stop the VM if it is running delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; state: stopped force: true timeout: 10 - name: Allow the cluster to stop the VM before removing it ansible.builtin.pause: seconds: 10 - name: Remove the VM from the cluster delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; state: absent force: true timeout: 10 state: stopped 是正常关机，它和 timeout 之间的配合有文档说明，值得记住：如果达到超时且 force: true，虚拟机会被强制断电；如果 force: false，任务就会失败。十秒钟的正常关机窗口，然后拔插头，对一台正在被拆除的机器来说是合理的策略，对其他任何机器来说都很糟糕。\n完整的拆除流程（proxmox-remove-vms.yml）接着把记录的其余部分逐一撤掉：DNS、分配的 IP、NetBox 接口、NetBox 虚拟机，以及 known_hosts 里的过期条目。它把这一块包在 ignore_errors: true 里，在拆除流程里这说得过去。你要删的东西可能已经不在了，而一台删了一半的机器比一份吵闹的日志更糟。\n如果从头构建，我会改什么 读过模块的源代码而不只是它的文档之后，有五件：\n用 API 令牌，而不是 api_user 加 api_password。权限有范围，可以吊销，而且从来不属于某个人。 显式设置 validate_certs，赶在 2.0.0 替你改掉它之前。 **自己从唯一可信源分配 VMID。**这消除了读取、修改、写回之间的竞争，让你可以去掉 serial: 1，也给之后每个任务一个稳定的标识，而不是一个不唯一的名字。 **先创建一台光秃秃的虚拟机，再用 proxmox_disk 和 proxmox_nic 挂上磁盘和网卡。**任务多一些，但每块磁盘、每块网卡以后都有一个能改它的模块，包括只改选项的 create: disabled，以及用 state: detached 代替删除，而不是一份只能通过 update_unsafe 修改的配置。 在一个地方从 proxmox_vm_info 取 MAC，这样只需解析一种结构，而不是在一个有文档的返回值和一个没文档的返回值之间写条件判断。 还有，别对构建 playbook 用 --check。最关键的那个模块不支持它。\n一个永远说“可以”的演练，比没有演练更糟，因为你会相信它。\n参考资料 community.proxmox collection docs：完整的 47 个模块 community.proxmox on GitHub：上文源代码所在之处；文档含糊时要读的文件是 plugins/modules/proxmox_kvm.py proxmox_kvm module documentation：参数列表，以及上文引用的 update / update_unsafe 警告 proxmox_vm_info module documentation：config: current 和 config: pending PVE qm options reference：你传进去的每一个 scsi[n]、net[n] 和 boot 字符串的真正规范 proxmoxer：这个集合所基于的 Python 客户端 damo2929/ansible-example：这些片段所出自的 playbook，包括 NetBox 驱动的清单、DHCP 生成和虚拟化主机构建 ","permalink":"https://blogs.damiendye.uk/zh/ansible/proxmox-create-vms-community-proxmox/","summary":"community.proxmox 集合是一个 API 客户端，不是配置代理，这改变了每一个用到它的 playbook 的形状。任务到底在哪里运行，proxmox_kvm 为什么拒绝收敛而不是去更新，为什么磁盘和网卡的变更应该交给 proxmox_disk 和 proxmox_nic，以及你最终一定会用到的那个没写进文档的返回值。","title":"用 Ansible 创建 Proxmox 虚拟机：你要构建的主机还不存在"},{"content":"每次评估 Proxmox 都从这个问题开始 “Proxmox 真的够企业级吗？”\n几乎每一次迁移讨论都会冒出这个问题，而它底下的担心几乎从来不是 Web 界面。 没有人真的怕一个浏览器控制台会把数据弄坏。 大家真正在问的是：站在虚拟机和硬件之间的那个东西，那个必须永远、一次都不出错地把一个租户挡在另一个租户内存之外的组件，到底是一件严肃的工程作品，还是一个碰巧火起来的社区项目。\n这恰恰是该紧张的地方。 只是瞄错了层，因为 Proxmox VE 里根本没有 hypervisor。\nhypervisor 是 KVM。它是 Linux 的一部分，2007 年起就在那里了。如果你的组织用 EC2、Google Cloud、Oracle Cloud、Alibaba Cloud、DigitalOcean 或 Nutanix，那你今天已经在生产环境里跑着它了。你只是从来不必去想它，因为上面那几层归别人管。\n这篇文章讲的是这块共同地基到底意味着什么。两半都讲：论证里真正站得住的那一半，以及在厂商幻灯片里被吹过头的那一半。\nProxmox VE 是一个管理层 Linux 上的虚拟化分四层，由四拨不同的人构建和维护。\n1. 硬件虚拟化扩展。 Intel VT-x 加 EPT，或者 AMD-V 加 NPT。这是硅片。正是它让客户机能以原生速度运行自己的内核、用自己的页表，而不需要任何东西去模拟指令。\n2. KVM，也就是 hypervisor。 内核模块：kvm.ko 是与架构无关的核心，再加上 kvm-intel.ko 或 kvm-amd.ko 处理厂商扩展。隔离边界归这个组件管。它设置客户机的虚拟机控制结构，处理 VM exit，管理二级页表，投递中断。\n3. VMM，即用户空间里的虚拟机监视器。 在 Proxmox VE 上就是 QEMU。它搭出那块虚拟主板：芯片组、PCIe 拓扑、磁盘、网卡、串口、固件。KVM 负责跑 CPU；QEMU 决定客户机以为自己有什么硬件。\n4. 管理层。 这才是 Proxmox VE：pve-manager 和 pveproxy 提供 API 和界面，qemu-server 把虚拟机配置文件变成 QEMU 命令行，pve-container 负责 LXC，pmxcfs 跑在 Corosync 之上提供复制的集群配置，pve-ha-manager 负责隔离（fencing）和重启，再加上防火墙和 SDN 栈。\n你要迁出的那个平台上也有这四层，干的也是这四样活：vCenter 是第 4 层，VMkernel 是第 2 层。等零件都摆上桌，我再回来做这个对比。\nProxmox VE 和 vSphere 上同样的四层 Proxmox VE VMware vSphere 4 \u0026#183; 管理层 Proxmox VE pve-manager \u0026#183; pveproxy \u0026#183; qemu-server Corosync 上的 pmxcfs \u0026#183; pve-ha-manager \u0026#183; SDN vCenter Server 一台单独的设备，要规划容量、买许可、 打补丁、做备份 3 \u0026#183; 设备模型 pve-qemu，在用户空间 虚拟主板：芯片组、PCIe、磁盘、网卡 上游 QEMU + 78 个 Proxmox 补丁 2 \u0026#183; hypervisor \u0026#183; 隔离边界 KVM：kvm.ko + kvm-intel.ko / kvm-amd.ko vCPU 进入和退出 \u0026#183; EPT/NPT \u0026#183; 中断 上游 Linux，在 Proxmox 编译的内核里 VMX userworld，每台虚拟机一个 设备 I/O、快照、远程控制台 用户空间，不在内核里 VMkernel，外加每个 vCPU 一个 VMM 客户机指令和内存 VMware 自己对 VMkernel 的说法： \u0026#8220;a POSIX-like operating system\u0026#8221; 1 \u0026#183; 硅片 Intel VT-x + EPT \u0026#183; AMD-V + NPT 同样的硅片 两边是同样的四层。Proxmox 写第 4 层，大量修改第 3 层，自己编译第 2 层的内核，KVM 本身取自上游。VMware 四层全写，一层都不让你看。 Proxmox 实际维护什么 第 4 层完全归 Proxmox VE 所有。但如果说它只是把第 2、3 层打包一下，那就错了，而这正是对这家公司最常见的误读。\n在撰写本文时，pve-qemu 的 series 文件里有 78 个针对上游 QEMU 的补丁：\nProxmox 往 QEMU 里加了什么：78 个补丁，按比例 extra/ bitmap-mirror/ pve/ 78 个补丁，按比例 26 6 46 向后移植的上游修复。其中相当惊人的一部分是设备模型里的安全修复： qxl 和 virtio-gpu 的 stride 校验，一个客户机可触发的 intel_iommu abort， 以及 lsi53c895a 和 virtio-net 里的重入 DMA。 drive-mirror 的 dirty-bitmap 同步模式。 Proxmox 自己的工作：savevm-async、VMA 格式、PBS 块驱动、 pbs-restore、alloc-track、备份 fleecing。 按 debian/patches/series 按比例绘制。队列的大部分是 Proxmox 自己的工程成果，而且全部落在第 3 层：没有一个补丁碰 kvm.ko。 他们还自己编译内核，并为周边大部分组件维护打包或补丁：OVMF 用的 pve-edk2-firmware，以及 lxc、zfsonlinux、openvswitch、libiscsi、corosync-pve、lvm 和 ceph。\n所以真正的边界是：第 4 层全部，第 3 层里大量的工程工作，外加一个他们自己编译的内核。他们没有做的，是写一个 hypervisor。第 2 层的 KVM 代码是上游 Linux。\n而这一切都不是在批评 Proxmox。 正因为如此，像 Proxmox 这样规模的公司才值得托付这份工作。维也纳的一家小公司并没有坐下来从零写一个 hypervisor；他们建在一个 Intel、AMD、Red Hat、Google、Amazon 和 IBM 早就在花钱雇工程师维护的 hypervisor 之上，把自己的力气花在上面那一层以及那一层需要的集成工作上。那才是这种规模的团队能做出差别的地方，而补丁队列显示他们确实做出来了。\nKVM 到底是什么 KVM 是 Kernel-based Virtual Machine（基于内核的虚拟机）的缩写，这个名字一点不差：它是一个内核功能，不是一个程序。\n加载这些模块，Linux 就多出一个字符设备 /dev/kvm，以及它上面的一小组 ioctl 调用：KVM_CREATE_VM、KVM_CREATE_VCPU、KVM_SET_USER_MEMORY_REGION、KVM_RUN。 这个接口就是 hypervisor 的全部 API。任何能打开文件描述符并调用 ioctl 的东西，都能创建虚拟机。\n它由 Qumranet 的 Avi Kivity 编写，合入了 2007年2月发布的 Linux 2.6.20，距今十九年。Red Hat 在 2008 年收购了 Qumranet，此后每一个内核版本都带着 KVM，按内核惯常的九到十周节奏发布。它早已移植到 x86 之外：arm64、POWER、IBM Z 上的 s390，以及 RISC-V。\n架构上要紧的一点是：它为什么这么小。\nKVM 没有调度器，因为 Linux 有。一个 vCPU 就是一个普通的宿主机线程，完全公平调度器把它放到某个核心上，和其他线程一样。 它没有内存管理器，因为 Linux 有。客户机内存是一段普通的用户空间映射，所以可以换页、用大页支撑，或者用和其他进程一样的机制放到某个 NUMA 节点上。 它没有驱动栈、块层、网络栈或文件系统，因为 Linux 早就全有了，而且你的硬件厂商测试的正是这些。\n这才是真正的成熟度论据，它比一个版本号有力得多。 每一项 NUMA 均衡改进、每一次 io_uring 改动、每一个网卡驱动、每一个合入 Linux 的新 CPU 勘误规避，都会落到你的虚拟机下面，因为根本没有一个单独的 hypervisor 内核需要谁去移植。\n“Type 1”之争把线划错了地方 接下来的反对意见必然是：KVM “只是一个 type 2 hypervisor”。它跑在宿主操作系统上，不像 ESXi 那样跑在裸机上。\n这套分类法比硬件虚拟化早了三十年，而它当初圈起来的那个东西，早就不在大家以为的位置了。\nvCPU 运行时到底发生了什么 QEMU 调用 ioctl(vcpu_fd, KVM_RUN)。控制权进入 kvm.ko，它加载客户机的 CPU 状态并执行 VMLAUNCH。从这条指令开始直到下一次 VM exit，客户机直接在物理核心上执行，处于客户机模式，通过 EPT 启用它自己的页表，以全速硬件速度运行。它下面没有任何东西在解释任何指令。“宿主操作系统”不在这条路径上，它甚至都没在那个核心上运行。\n当客户机做了需要处理的事情，CPU 就退出到宿主机，并落到 kvm.ko 里，在内核中，在和 ESXi 的 VMkernel 完全相同的特权级上。大多数 exit 就在那里解决，然后重新进入，用户空间根本不参与。\nvCPU 从 QEMU 进入客户机模式的路径，以及它的 exit 停在哪里 用户空间 内核：ring 0 宿主机模式 客户机模式：VMX non-root QEMU：vCPU 线程 每个 vCPU 一个普通宿主机线程 kvm.ko VM 进入 \u0026#183; exit 处理 \u0026#183; EPT \u0026#183; 中断 客户机，在物理核心上 自己的内核，通过 EPT 用自己的页表 以全速硬件速度运行 ioctl(KVM_RUN) VMLAUNCH VM exit 在这里解决 退出到用户空间 没有任何东西在解释客户机，宿主机也不在那个核心上运行。 exit 停在哪里 在内核里解决 \u0026#183; EPT/NPT 违例 \u0026#183; 写本地 APIC：有 APICv 时常常没有 exit \u0026#183; 处理器间中断，由硬件 posted \u0026#183; virtio-net 门铃，由 vhost-net 接住 到达 QEMU \u0026#183; 访问模拟 e1000 或 IDE 的寄存器 \u0026#183; 写 PCI 配置空间 \u0026#183; 任何只有 QEMU 才知道怎么回答的事 只有第二张清单要付出 一次用户空间往返， 而缩短这张清单的办法是 用 virtio 设备， 以及一个不带任何 老硬件的机器类型。 一个 vCPU 走的路径。虚线以上都是宿主机线程；虚线以下是跑在裸硅片上的客户机。唯一会到达 QEMU 的 exit，是那些必须由 QEMU 来回答的。 ESXi 也是同样的拆分 现在看看那个据说能证明这种区分的平台。\nVMware 自己的架构文档把 VMkernel 描述为 “a POSIX-like operating system”，提供 “process creation and control, signals, file system, and process threads”。按它作者自己的描述，那就是一个操作系统。而 ESXi 上一台运行中的虚拟机也不是内核里的某个东西，它是一组 userworld 进程：每个虚拟 CPU 一个 VMM，负责虚拟化客户机指令并管理其内存；每台虚拟机一个 VMX 进程，负责那些对性能不敏感的设备的 I/O，并与快照管理器和远程控制台通信。\n带着 QEMU 再读一遍。内核里每个 vCPU 一个执行上下文，用户空间里每台虚拟机一个进程负责设备模拟和管理。VMware 这样拆分的理由，和其他所有人一样。\nHyper-V 也不例外。微软的文档明确写着，虚拟机工作进程 vmwp.exe 是 “a user mode component of the virtualization stack”，每台虚拟机生成一个，而且所有模拟设备都在它里面实现，运行在根分区里，而根分区就是 Windows。就连最符合这套分类法的 Xen，也需要 dom0 里有一个通用 Linux 才能工作，而全虚拟化客户机的设备模型来自 QEMU。\n那条线到底在哪？ 判断标准从来就不是“用没用用户空间”。 Goldberg 在 1970 年代初提出的分类法问的是：hypervisor 是不是一个运行在既有操作系统之上的应用程序，而那个操作系统已经掌管硬件并负责调度。那才是 type 2，即宿主型 hypervisor：VMware Workstation、VirtualBox、Parallels Desktop、不带加速的纯 QEMU。你先装一个通用操作系统，再往上装一个程序，那个程序像其他程序一样向操作系统讨内存和 CPU 时间。\nKVM 不是这样。kvm.ko 不是 Linux 之上的一个程序。它是 Linux 的一部分，和掌管硬件的代码在同一个特权级执行，客户机 exit 时直接落到那里。hypervisor 下面没有宿主操作系统。内核就是 hypervisor。Proxmox VE 把这个内核当作系统来发行，和 ESXi 把 VMkernel 当作系统来发行完全一样。\n至于“它需要用户空间，所以是 type 2”这个版本，根本救不回来，因为一以贯之地套用，它会把所有东西都套进去。ESXi 上没有 VMX 进程就跑不了任何虚拟机，Hyper-V 上没有 vmwp.exe 也不行，Xen 上的 HVM 客户机没有 QEMU 也不行。一个把所有在售 hypervisor 都扔进同一个桶的测试，什么也区分不了。\n掌管 CPU 和内存虚拟化的内核 每台虚拟机的用户空间设备模型 需要既有的宿主操作系统吗？ VMware ESXi VMkernel 每台虚拟机一个 VMX 否 Microsoft Hyper-V hypervisor 加 Windows 根分区 vmwp.exe 否 Xen Xen hypervisor 加 dom0 Linux QEMU，在 dom0 或 stub domain 里 否 KVM kvm.ko QEMU 否 VirtualBox、VMware Workstation 宿主机的内核，通过安装的驱动 应用程序本身 是 四个产品，一个形状；然后第五行才是真正不同的。最后那一行才是“type 2”这个词当初要描述的东西，也是唯一一行硬件早已归别人掌管的。\n所以这套分类法确实还划着一条线。只是它划的位置离这场争论假设的地方差得远：KVM 和 ESXi 在线的同一侧。 把 KVM 叫做 type 2，是从 VirtualBox 那一类借了个词，安到一个架构上属于 ESXi 那一类的东西上。\n于是这个标签在评估里起不了任何作用，因为你正在二选一的两个产品都在同一个框里。区别不在 type 编号。区别在于其中一个厂商连内核也写了，而且不让你读：这是一个披着架构图外衣的许可和透明度问题。Nutanix 从商业上说明了这一点：它发行的 KVM 代码和 Proxmox 一样，却把 AHV 描述为裸机 type 1 hypervisor。同样的代码，相反的标签，不同的市场部。\n这项指责里确实藏着一个真问题，值得给它起个更准确的名字：通用内核要干上千样专用内核不干的活，这意味着隔离边界旁边有更多代码、更大的攻击面。这一点合理，也能量化，我会在接近结尾时回到它。\n活到底在哪里干 “它跑在宿主操作系统上”这种直觉唯一有道理的地方是 exit 处理，所以值得说清楚哪些 exit 去哪里。\n客户机做了这件事 由谁处理 代价 访问一个 EPT/NPT 里还没映射的页 kvm.ko，在内核里 一次 exit，微秒级 写它的本地 APIC CPU 自己，通过 APICv/AVIC 常常根本没有 exit 发送处理器间中断 硬件里的 posted interrupt 常常没有 exit 在带 vhost-net 的 virtio-net 队列上发包 内核线程，不经过用户空间 一次门铃 读模拟的 e1000 或 IDE 控制器上的寄存器 一路出到 QEMU exit 加一次用户空间往返 只有最后一行看起来有点像 type 2 的漫画形象，而它也正是你可以用工程手段消掉的那一行：用 virtio 设备，不去呈现你用不着的模拟老硬件。这和选择 Q35 而不是 i440fx 背后的道理一样：更少被捕获的寄存器访问，更少需要遍历的老设备。\n宿主操作系统是功能，不是包袱 这本账的另一半从来没进入过争论，那我就写在这里：一个 Proxmox 节点是一台你真能上手干活的机器。 它就是 Debian，整个 Debian 软件仓库离你只有一条 apt install。\n用你已经在用的监控：Prometheus node exporter、smartmontools、你现有的 agent，而不是设备厂商愿意给你暴露什么就是什么。 慢的时候用来诊断的工具：fio、iperf3、nvme-cli、perf、bpftrace。 任何发行 Linux 二进制的厂商的备份 agent。 配置管理，让 hypervisor 和其他所有东西待在同一份 Ansible inventory 里，而不是一个特例。 用 fwupd 更新固件，前提是硬件厂商支持 LVFS。 这些都不需要插件格式、签名包或厂商的恩准。对比一下 ESXi 的模式：shell 被刻意限制，第三方代码以 VIB 形式进来，而且压根没有包管理器可用。\n它能伸进存储栈 监控 agent 只是这件事的无聊版本。Proxmox 自己的存储文档列出了原生插件：dir、NFS、CIFS、CephFS、ZFS、BTRFS、LVM、LVM-thin、iSCSI、FC/SAS、RBD、ZFS-over-iSCSI、PBS，然后加了一句值得照字面理解的话：\nyou may use all storage technologies available for Debian Linux\n这句话说明了边界在哪里，而背后的机制是通用的：让每个节点都看到一个块设备，在上面放 LVM，把它添加为启用了 shared 的 LVM 存储。 受支持的 Fibre Channel 和 iSCSI 路径正是这么工作的，所以任何能产出共享块设备的东西都能走同一条路。\n四种传输，一条通往 Proxmox 共享存储的路 传输方式 Linux 给你什么 Proxmox 看到什么 Fibre Channel / SAS 原生插件 iSCSI 原生插件 NVMe/TCP 或 RDMA 无插件：nvme-cli ATA over Ethernet 无插件：aoetools 一个块设备 在每个节点上 /dev/sdX \u0026#183; /dev/nvme0n1 LVM 卷组 shared: 1 存储类型：lvm 热迁移 跨整个集群 Proxmox VE 只需要认得右边那两个框。 它们左边的一切都是 Linux 块层， 它不在乎设备是怎么来的。 这些传输方式里有两种有 Proxmox 插件，两种什么都没有，而过了第二个框就毫无区别。不管共享 LUN 是谁送来的，到了 LVM 这一层它就变成了集群存储。 NVMe over TCP 或 RDMA 是值得知道的那个例子，因为它快、新，而且不在那份插件列表里。nvme-tcp 和 nvme-rdma 是内核树内的 Linux 主机驱动，NVMe/TCP 从 5.0 起就在主线里了，所以没什么需要编译的。nvme-cli 是一个 Debian 包（先 nvme discover，再 nvme connect），另一端用 nvmetcli 配置内核里的 nvmet target。连接上的 namespace 会出现为 /dev/nvmeXnY，从那以后它就是一个普通块设备。\nATA over Ethernet 从光谱的另一端说明同一件事：古老、冷门，同样没有插件支持。aoe 驱动在主线里；aoetools 给你 aoe-discover 和 aoe-stat；vblade 能把另一台机器上的任何文件或块设备变成 target。同一条路，同样的结果。\n这两者都不是插件 API、SDK 或认证计划。这就是当 hypervisor 的存储层本身就是 Linux 块层时自然会发生的事。\n老实说几句保留意见，因为这事在凌晨 3 点出问题之前，看着都像个炫技把戏。这两种传输都不是经过测试的 Proxmox 存储类型，所以集成和它的故障模式，比如重连行为、多路径、负载下的超时，都归你自己负责，在任何重要东西放上去之前都得你自己测。而且 AoE 是一个裸二层协议，不可路由，没有认证，所以它只该待在隔离的存储 VLAN 上，别处一概不行。NVMe/TCP 至少有发现模型，也能路由，这在很大程度上就是为什么现在该选它。\n还有谁在跑 KVM “你早就在用它了”这句话就是从这里来的。下面每一个平台跑的都是同一个内核模块。\n平台 你在哪里碰到它 KVM 部分 用户空间 VMM Amazon EC2（Nitro） 公有云 KVM 核心模块 定制：去掉了 QEMU，设备模型放在 Nitro 卡里 AWS Lambda、Fargate Serverless /dev/kvm Firecracker：一个用 Rust 写的极简 microVM 监视器 Google Compute Engine 公有云 从上线起就是 KVM Google 自己的 VMM，刻意不用 QEMU Alibaba Cloud ECS 公有云 精简版 KVM（X-Dragon） 定制，网络和存储卸载到 MoC 卡上 Oracle Cloud（OCI） 公有云 Oracle Linux KVM，和 Oracle 本地部署发行的是同一套栈 QEMU 一脉 DigitalOcean、Linode/Akamai、Vultr、Hetzner、OVHcloud、Scaleway、UpCloud 公有云 原版 KVM QEMU Nutanix AHV 本地部署 HCI 原版 KVM QEMU，加 libvirt 和 Open vSwitch OpenStack（Nova） 私有云 原版 KVM 通过 libvirt 的 QEMU：默认且测试最充分的驱动 Apache CloudStack、OpenNebula、oVirt 本地部署 原版 KVM 通过 libvirt 的 QEMU OpenShift Virtualisation、SUSE Harvester Kubernetes 原版 KVM 跑在 pod 里的 QEMU，通过 KubeVirt Proxmox VE 本地部署 原版 KVM QEMU，旁边还有用于容器的 LXC 大家都保留内核那一半，重写用户空间那一半 超大规模云厂商没有 fork KVM。他们 fork 的是 QEMU 的活。\nAWS 把 EC2 从 Xen 迁到了 Nitro hypervisor 上，它建在 KVM 核心内核模块之上，QEMU 被整个扔掉。设备模型改放在专用的 Nitro 卡里，这就是他们能拿到和裸机难以区分的性能的原因。每一种当代 EC2 实例类型都跑在这上面。另外，Lambda 和 Fargate 跑的是 Firecracker，一个专门用 Rust 写的 VMM，对接的是同一个 /dev/kvm。\nGoogle 从 Compute Engine 上线起，就把每一台 Compute Engine 虚拟机都跑在 KVM 上，并且自己写了用户空间 VMM，而不是用 QEMU，明确就是为了避开 QEMU 那张庞大的客户机、设备和模式矩阵。他们还反过来在上游加固了内核模块，删掉没人需要的模拟设备，收窄了被模拟的指令集。这些工作就在你正在跑的 KVM 里。\n阿里巴巴用 X-Dragon 做了同样形状的事：一个精简的 KVM hypervisor，网络和存储虚拟化卸载到基于 FPGA 的 MoC 卡上。\nNutanix AHV 是 KVM 加 libvirt 加 QEMU 加 Open vSwitch 加 Nutanix 的编排。在那张表里所有商业产品当中，它是 Proxmox VE 最近的亲戚。第 4 层不同，发票也大不相同。\n五个平台，五种设备模型，一个 KVM Amazon EC2Nitro Google CloudCompute Engine Alibaba CloudECS, X-Dragon NutanixAHV Proxmox VE基于 Debian 管理层 设备模型 hypervisor 硬件 EC2 控制平面 控制台和 API 按实例小时计费 GCE 控制平面 控制台和 API 按实例小时计费 ECS 控制台 和 API 按实例小时计费 Prism 和 AOS 每个节点上都有 按节点按年计费 pve-manager pveproxy、HA、SDN 每个节点上都有 订阅可选 定制 VMM， 完全没有 QEMU 设备放在 Nitro 卡上 Google 自己的 用户空间 VMM， 刻意 不用 QEMU 精简的 VMM， 网络和存储 卸载到 MoC 卡上 QEMU、libvirt 和 Open vSwitch QEMU，旁边 还有 LXC KVM：kvm.ko、kvm-intel.ko / kvm-amd.ko 隔离边界，每一列都是同一份代码 Intel VT-x + EPT \u0026#183; AMD-V + NPT 每一列都是同一个内核模块。沿着栈往上，变化的依次是设备模型、管理层、许可，而这也正是这些平台实际产生差异的顺序。 Proxmox VE 是故意保留 QEMU 的 人很容易把那张表读成一个排名，AWS 和 Google 因为换掉了 QEMU 而排在最前面。这种读法是错的，因为他们的约束不是你的约束。\nAWS 和 Google 只跑一种硬件配置，规模大到一个设备模拟的 bug 就是全舰队级别的事件，而且他们在意的每一个客户机镜像边界都在自己掌控之中。在那个世界里，QEMU 的广度几乎全是负债，删掉它显然是对的。\n你不在那个世界里。 你有一个 2013 年的设备镜像要一块 e1000。你有一台 Windows 虚拟机，它的机器类型这辈子都得钉死。你有一块 GPU 要直通，一个模拟的 SAS 控制器要喂给某个安装程序，一个 UEFI 变量存储要保住。正是 QEMU 让一个通用平台能对这些全都说“行”。\nAWS 所说的攻击面，就是你所说的兼容性矩阵。两种说法都准确；区别在于你能不能挑选自己的负载。\n这也解释了那条补丁队列的形状。AWS 和 Google 是在 VMM 之外、在他们自己的存储服务里解决备份和快照的。Proxmox 没有存储服务可以用来解决这件事，所以他们把它放进了 QEMU：这就是为什么 savevm-async 和 PBS 块驱动是以补丁而不是以产品的形式存在。\n而这件事值得知道，有一个实际的理由：Proxmox VE 里你最会怀念的部分，恰恰是不在上游的部分。 你的虚拟机配置是纯文本，磁盘镜像是标准格式，所以一台机器能搬走。但带内存状态的快照，以及 Proxmox Backup Server 的增量链，都依赖 Proxmox 的 QEMU fork。这比依赖一个专有 hypervisor 轻得多，那个 fork 是公开的、AGPL 的，每个补丁你都能读，但它不是零，“软件层面没有锁定”这句话应该带上这个脚注。\n那么，它够企业级吗？ 这个论证的偷懒版本是行不通的，值得直说。“AWS 用 KVM，所以 Proxmox VE 是企业级的”是一个推不出来的结论：它拿一个关于某一层的说法，悄悄套到了整个产品上。\n站得住的版本是这样的。\n共享的那一层，恰恰是最难做对、做错了最危险的那一层。 CPU 和内存虚拟化，以及租户之间的隔离边界，是一个 bug 就意味着入侵而不只是宕机的地方。这些代码由 Amazon、Google、Red Hat、Intel、AMD、IBM 和阿里巴巴付钱雇的工程师审查，它们的 bug 由运营着世上最大机群的那些机构发现，通常在内核到你手上之前。真的出现客户机逃逸漏洞时，修复会随着你本来就要打的常规内核更新一起到来。你不用等某一家厂商的发布周期，去修一个只有那家厂商才看得到的 hypervisor。\n不共享的，是边界之上的一切。 这意味着那个问题会坍缩成两个好回答得多的问题：\n管理层是否足够适合你的运维方式？ 你能不能以你接受得了的条款买到对它的支持？ 两者都能在概念验证里测试，也都能写进合同。两者都不需要你去信仰某个 hypervisor。\n这比原问题所假设的处境好得多。原问题假设你被要求去信任一个小厂商的新奇 hypervisor。并不是。Proxmox 特有的代码是一个管理层，大部分用 Perl 写，越来越多用 Rust 写，再加上那条针对 QEMU 的补丁队列。注意那些补丁落在哪里：设备模型和备份路径，而不是隔离边界。\n还值得知道 Proxmox 特有的这一层出故障会让你付出什么。QEMU 进程是宿主机上普通的独立进程，所以 pveproxy 倒了不会让任何一台虚拟机停下。这和丢掉掌管隔离边界的那个组件，波及范围完全不是一回事。\n“同一个 Hypervisor”买不到什么 厂商的信心文档往往就停在这里，这本身就说明了它们是写给谁看的。这是更有用的那一半。\n它买不到 AWS 的可靠性。 Nitro 的可用性和 KVM 关系不大。它来自控制平面、网络架构、存储服务、容量管理，以及围绕这些的运维实践。你的集群的可靠性来自你的 Corosync 仲裁设计、你的 fencing 配置、你的存储选择和你的网络冗余。KVM 对这些一概没有意见。和超大规模云厂商共用一个 hypervisor，并不会继承他们的运维。\n它买不到 Nitro 的攻击面，而这正是 type 2 指责里合理的那一半落地的地方。 你在通用内核上跑着 QEMU，而从历史上看，那些让人记得住的虚拟机逃逸都出在 QEMU 的设备模型里：VENOM，出在一个根本没人用的模拟软驱控制器里，就是典型例子。当时 Google 可以指出 Compute Engine 不受影响，恰恰因为它不跑 QEMU。你跑，所以补偿性控制就归你：优先用 virtio 而不是模拟硬件，不需要的设备就别呈现，别去动 AppArmor 配置文件，像对待内核一样有纪律地给 QEMU 打补丁。Proxmox 的 extra/ 补丁正是他们在替你做这件事，而去确认他们还在做，是一件合情合理的事。\n它不会让虚拟机行为在平台之间可移植。 CPU 型号选择、机器类型版本、热迁移兼容性和时钟行为，全都在第 3、4 层决定，而且各处都不一样。一个混合了几代 CPU 的集群，照样会因为你把 CPU 类型设成 host 而惩罚你，而且不管平台上贴的是什么标志，客户机时钟照样会漂移。同一个 hypervisor 不等于同样的行为。\n它回答不了支持问题，而这恰恰是采购真正在意的问题，在意得也对。Proxmox VE 是 AGPLv3，可以免费在生产环境运行。订阅买的是经过企业测试的软件仓库和厂商支持，起价每插槽每年 €120。Proxmox 自己的支持在奥地利工作时间内提供，所以全天候覆盖来自合作伙伴，而不是来自维也纳。我工作的 croit 就是其中一家合作伙伴，提供一年 365 天 24/7 的覆盖。这是一个商务谈判，不是一个技术风险，而它能成为一个商务谈判，正是上面所有内容的意义所在。\n真正该评估的是什么 既然 hypervisor 已经定了，概念验证就该把时间花在真正属于 Proxmox VE 特有的那一层上：\nFencing 和 HA。 拔掉一个跑着 HA 客户机的节点的电源，给重启计时。然后对两个节点这么干，确认仲裁丢失时剩下的节点表现得和你预期的一样。 跨 CPU 代际的热迁移。 用你真打算统一采用的 CPU 型号，不是 host。 备份，以及更重要的，恢复。 看负载下的恢复时间，不是备份时间。从来没有人因为备份快而被感谢过。 权限模型。 你能不能把应用团队自己那些虚拟机的控制台和电源控制交给他们，别的一概不给，而且粒度细到能让审计员满意。 API。 Web 界面做的每件事都是一次 API 调用；如果你的自动化驱动不了它，这个平台就不适合你的工作方式。 升级路径。 在你往上放 400 台虚拟机之前，先在 PoC 集群上做一次大版本升级。 这些没有一个是关于 KVM 的问题。这差不多就是重点。\nhypervisor 是已经定下来的那部分。把概念验证花在没定下来的那些部分上。\n参考资料 KVM 本身\nKVM API documentation — /dev/kvm 的 ioctl 接口，也就是 hypervisor 契约的全部 Linux 2.6.20 release notes — KVM 合入的那个版本，2007年2月 Some KVM developments — LWN，2007年1月，讲 KVM 刚合入主线那几天的情况 其他 hypervisor 是怎么构建的\nInterpreting virtual machine monitor and executable failures — Broadcom 自己把运行中的 ESXi 虚拟机描述为 “several processes or userworlds”，每个 vCPU 一个 VMM，每台虚拟机一个 VMX The Architecture of VMware ESXi (PDF) — 把 VMkernel 称为 “a POSIX-like operating system” 的白皮书，带进程、信号、文件系统和线程。这里链接的是镜像，因为原来的 VMware URL 没能熬过 Broadcom 的重组，这本身就是对厂商延续性的一个小小注脚 Hyper-V architecture — 微软说明虚拟机工作进程是用户态组件，每台虚拟机一个，所有模拟设备都在里面 The Nutanix Bible — AHV architecture — 把 AHV 描述为 KVM 加 libvirt、QEMU 和 Open vSwitch 谁在跑 KVM，以及他们怎么改的\n7 ways we harden our KVM hypervisor at Google Cloud — Google 讲不用 QEMU 运行 KVM，以及他们在上游做的加固 The AWS Nitro System — 哪些 EC2 实例类型跑在 Nitro hypervisor 上 AWS EC2 Virtualization 2017: Introducing Nitro — Brendan Gregg 对从 Xen 到 KVM 过渡的记述，至今仍是最清楚的一篇 Firecracker — AWS 用在 Lambda 和 Fargate 背后的极简 KVM VMM Alibaba Cloud\u0026rsquo;s sixth-generation ECS instances — X-Dragon hypervisor 和 MoC 卸载 KubeVirt — OpenShift Virtualisation 和 Harvester 背后的 QEMU/KVM-in-a-pod 模型 OpenStack Nova hypervisor support matrix — KVM 是参考驱动 Proxmox 维护什么\nThe Proxmox GitHub organisation — 89 个仓库，包括 pve-qemu、pve-kernel、pve-edk2-firmware，以及 lxc、zfsonlinux、openvswitch、libiscsi、corosync-pve 和 ceph 的打包 pve-qemu patch series — 上文统计的 78 个补丁，也是看清 Proxmox 到底往 QEMU 里加了什么的最快途径 Proxmox VE storage documentation — 原生插件列表、哪些存储类型是共享的，以及关于可以使用 Debian Linux 上所有存储技术的那句话 nvme-cli 和 nvmetcli — NVMe-oF 的主机端和 target 端工具；aoetools 和 vblade 是 ATA over Ethernet 的对应物。全都在 Debian trixie 里，而 Proxmox VE 9 正是基于它构建的 Proxmox VE pricing and subscription tiers — 订阅包含什么 披露：我在 croit 工作，它是 Proxmox 金牌合作伙伴。上面的技术论断都有出处、可以核查；商务那一段是我有利益关系的部分，请相应看待。\n","permalink":"https://blogs.damiendye.uk/zh/proxmox/kvm-the-hypervisor-inside-proxmox-ve/","summary":"“Proxmox 够不够企业级？”问的其实是 hypervisor，而 Proxmox VE 里根本没有 hypervisor。hypervisor 是 KVM，就是 EC2、Google Cloud、Alibaba Cloud、Nutanix AHV 和 OpenShift Virtualisation 底下的同一个内核模块。本文讲 Proxmox 真正维护的是什么，为什么“type 1”之争瞄错了那条线，以及这块共同的地基替你买不到什么。","title":"Proxmox VE 不是 Hypervisor：KVM 才是，而你早就在用它了"},{"content":"为什么 HDD 又回到了菜单上 多年来，这条建议简单到一张便利贴就写得下：全部放 SSD。\n这条建议当时是对的，而且也便宜。如今这两点都不太成立了。NAND 供应收紧，AI 需求把闪存价格往上推，对于一个精打细算的 Proxmox 部署来说，大容量 NVMe 已经很难自圆其说。这类部署要能正常运转、要可靠，还要在诚实允许的范围内尽量便宜。\n企业级 HDD 又变得有意思了，理由和以往一样：每英镑能买到的容量，没有别的东西能接近。\n问题在于，凡是在机械盘上跑过虚拟机的人，都知道它能糟糕到什么地步。那段经历是真实的，但通常是架构的错，而不是盘的错。\n怪盘当然更省事。可那是错的，而且代价不小，因为它会说服人去买根本不需要的闪存。\n下文的一切都以 Proxmox 加超融合 Ceph OSD 为前提，因为布局上的决定正是在这里真正见分晓。\n问题在延迟，不在吞吐 现代企业级 HDD 搬运大块顺序数据完全没问题。那从来就不是瓶颈。\n一块 7.2k RPM 的企业级盘，随机负载大约只有 80 到 100 IOPS，因为每一次随机操作都要等磁头寻道、等盘片转到位。这个数字二十年来几乎没动过。这是机械问题，不是电子问题。一块入门级企业 SSD 和它相差三到四个数量级。\n给同一块盘顺序负载，它就是个有用的设备。操作速率大约翻一倍，到 200 IOPS 左右，但每次操作现在都带着一个大块，因为磁头已经在正确的位置，可以一直流式读写下去。于是你得到了真正的吞吐，150 到 250 MB/s，而每 TB 的价格没有别的东西碰得到。\n这才是关键的不对称，而不是“HDD 很慢”。机械盘擅长顺序负载，对随机负载毫无办法，两个数字之所以靠得近，只是因为受限的是操作次数，而不是字节数。\n整个设计的任务书就由此而定。你不是要让盘变快。你做不到。你要做的是安排它把时间花在它本来就能胜任的模式上，并把小块随机流量挡在它外面。正因如此，后面的一切都是把这一个想法用了两次。\n麻烦在于，虚拟机产生的恰恰不是 HDD 擅长的负载。它们产生的是元数据更新、日志写入、小的同步刷盘、记录日志、文件系统的日常维护，以及十几个客户机同时迸发、交错到达磁盘的随机活动。\n随机负载毫无办法，顺序负载真心不错：磁盘跑在哪种模式下，就是整个设计 单个设备每秒操作数。柱条未按比例，因为三个数量级画不下 7.2k HDD：随机 80–100 每次操作都要等寻道和旋转，毫无办法 7.2k HDD：顺序 ~200 而且每次都带一个大块：150–250 MB/s 的真实吞吐 企业级 NVMe 100k+ 没有运动部件，所以不用为寻道买单 超融合集群实际发给磁盘的东西 客户机元数据 更新 日志写入 和 fsync 记录日志和 日常维护 RocksDB 元数据 随机突发， 众多客户机 大块顺序 传输 六样里有五样又小又随机。只有一样是机械盘擅长的。 这不是“HDD 很慢”。机械盘真心擅长顺序负载，对随机负载毫无办法， 两个数字之所以靠得近，只是因为受限的是操作次数， 而不是每次操作携带的字节数。所以任务不是让磁盘变快， 而是让它待在它本来就能胜任的模式里。 随机和顺序的操作速率出奇地接近，因为受限的是操作次数，而不是每次操作携带的字节数。顺序负载是这块盘挣钱的地方；而超融合集群天生发给它的却是另一种活。 Ceph 在此之上又加了自己的一层。每一次写入，除了数据，还带着 RocksDB 元数据更新。如果这些全都落到裸机械盘上，盘就把时间花在寻道而不是服务上，于是你会看到每个管理员都认得的症状：I/O 等待高、客户机迟钝、响应时快时慢，集群感觉比容量表上写的慢得多。\nCeph 自己的硬件指南对这会走向哪里说得很直白。它提醒要“consider carefully the ostensible cost-per-gigabyte advantage of larger HDDs, and the concomitant limitations of IOPS per TB”，并且说 8 TB 以上的盘“may be best suited for storage of large files / objects that are not at all performance-sensitive.”\n这笔账值得算一算，因为让这件事在经济上成立的，本来就是大盘。20 TB 起步。一块 20 TB 的盘照样只有 80 到 100 随机 IOPS，因为容量买不来任何操作次数。所以它每 TB 大约只有 4 到 5 个随机 IOPS，而 8 TB 的盘大约是 11 个，2 TB 的盘是 40 个。\n按 Ceph 自己的标准，一块 20 TB 的机械盘就远远落在它告诉你不要放性能敏感负载的区域里。\n这不是反对买它们的理由。这正是本文其余部分存在的理由。下面的设计，恰恰就是通过让小块随机负载永远到不了 20 TB 机械盘，使它能用来做虚拟机存储。\n把元数据搬离机械盘 对一个 HDD 承载的集群，价值最高的改动，就是别再让机械盘去存 Ceph 的账本。\nBlueStore 每个 OSD 保存三样东西：数据本身在 block 上，RocksDB 元数据库在 block.db 上，预写日志在 block.wal 上。默认情况下三者都在同一个设备上。把 block.db 放到 NVMe 上，大量小块随机 I/O 就完全离开了这块盘。\nCeph 的硬件文档说得很明白：“HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD.”\nBlueStore OSD 布局：一切都在机械盘上，对比元数据放在 NVMe 上 默认：一个设备装下全部三样 对象数据写入 RocksDB 元数据 一块 7.2k HDD block block.db .wal 两路流量共用 80 IOPS 的预算。 每次写入，磁盘都要在数据和元数据之间寻道。 block.db 放 NVMe：元数据离开 对象数据写入 RocksDB 元数据 7.2k HDD block：只放数据 企业级 NVMe block.db .wal 机械盘现在只干一件事。 指定 DB 设备，WAL 就跟着过去。 把\u0026#160;block.db\u0026#160;定为\u0026#160;block\u0026#160;的 1–2%（RBD 负载）；想宽裕些就取 2.5%。 容量给小了，RocksDB 并不会报错，而是溢回机械盘，这恰恰是唯一一种 会浪费你刚买的闪存的结果。有用的大小大约在 3 GB、30 GB 和 300 GB 处成台阶， 因为 DB 分区只能完全利用与 RocksDB 各层之和相对应的大小。 向上取到下一级台阶通常不贵；向下取则什么也买不到。 左边，一切都在一块机械盘上：数据写入和 RocksDB 更新争抢同样那 80 来个 IOPS。右边，block.db 放在 NVMe 上：元数据流量离开了磁盘，机械盘只剩下干它擅长的那一件事。 这里要用正经的企业级 NVMe，而不是消费级闪存。原因不在宣传用的跑分数字，而在持续负载下稳定的延迟，以及掉电保护。Ceph 的文档说得很直接：“Enterprise-class SSDs are best for Ceph: they feature power loss protection (PLP)”，还有“bargain client-class or off-brand SSDs are a false economy.”\nSamsung PM9A3 和 Micron 7450 Pro 这一级的盘，才是该放在这里的东西。在写入压力下，Ceph 在意的是一致性，远胜过峰值数字，而这正是企业级盘和快速消费级盘的分界。\nblock.db 的容量规划，以及溢出的代价 容量算错了，好处就会悄无声息地蒸发，因为 block.db 写满时，RocksDB 并不会报错，而是溢回到慢设备上，恰恰回到没有 NVMe 时它本来会在的地方。\n这是两头都占了坏处：闪存你买了，机械盘上照样在寻道。\nCeph 当前的指导：\n负载 block.db 占 block 的比例 RBD / 块设备：虚拟机磁盘 1% 到 2% RGW / 对象 至少 4% 卸载 WAL+DB 时的通用建议 至少 2.5% Proxmox 的虚拟机存储就是 RBD 那一行，所以 1–2% 是老实的规划数字，2.5% 是一个舒服的位置。\n拿一块 20 TB 的盘套进去算，数字就引人注目了：\n一个 20 TB OSD 的 block.db 按 1% 200 GB 按 2% 400 GB 按 2.5% 500 GB 结合下面讲的 RocksDB 层级台阶，每个 OSD 300 GB 是合理的落脚点。它是最靠近这个区间中段的那个有用台阶。\n这就改变了共享元数据设备实际上是什么。八个 20 TB 的 OSD 合起来要 2.4 TB 的 NVMe；十五个，也就是 Ceph 规定的单块 NVMe 后面的最大数量，要 4.5 TB。在这么大的盘上，决定一块设备后面挂几个 OSD 的，是 DB 容量，而不是比例。早在用完 Ceph 的许可之前，你的 GB 就先用完了。\n还有一个值得知道的细节，因为它会让凭直觉估算出错。RocksDB 的层级结构意味着，一个 DB 分区只能完全利用与各层之和相对应的大小。历史上，有用的台阶大约在 3 GB、30 GB 和 300 GB，介于两者之间的大小比下一级台阶多不出任何东西。把 18 GB 向上取到 30 GB，实际中往往不花什么；把它向下取到 20 GB，最坏情况下比 3 GB 多不出任何好处。\n集群运行一段时间后再检查溢出，而不是第一天。这是一个慢慢发作的问题。\n你不需要单独的 WAL 设备 这一条能省一个分区，也省掉不少折腾。\n如果你指定了 DB 设备而没有明确指定 WAL 设备，Ceph 会自动把 WAL 和 DB 一起放到快设备上。文档写明：“whenever a DB device is specified but an explicit WAL device is not, the WAL will be implicitly colocated with the DB on the faster device.”\n所以“把 DB 和 WAL 放到 NVMe 上”这个目标是对的，但它是一个参数，不是两个。只有当你还有第三层、更快的设备可放时，单独的 block.wal 才有意义。\n关掉 HDD 的写缓存 小事，不起眼，也很容易漏掉。\nCeph 的文档指出，在 HDD 上“by disabling this write cache”，OSD 性能“may be dramatically increased \u0026hellip;”。盘内的易失性缓存会重排和延迟写入，方式恰好和 Ceph 的刷盘语义对着干，关掉它通常只会更快，而不是更慢。\n一旦用上 bcache，这一条就从“建议”变成了“必须”，那是下一节的内容。\n既然说到这里：你不需要支持 RAID 的 HBA。Ceph 说得很直接：“You do not need an RoC (RAID-capable) HBA.” 把盘直接交给 OSD。\n每块机械盘配一块 Optane 把元数据搬离磁盘，解决的是稳态。它解决不了突发，因为一阵小块同步写入照样要被确认，而机械盘照样以机械盘的速度去确认。\n这就是 bcache 的用处，而让它在这里成立的，是 Optane。\n关键不在容量，而在写负载下的表现。和 NAND 相比，Optane 延迟极低、耐久度极高，也没有那种垃圾回收造成的断崖：SSD 服役一段时间后，正是这种断崖让它做写缓存时的性能变得不可预测。吸收小块、突发、以写为主的流量，是它在全世界最拿手的事。\n真正要紧的布局：每块 HDD 配一块 Optane，每一对各自组成一个 bcache 设备。 而不是一块 Optane 被一整排盘共享。\n三个层级，两种共享方式：配对的写缓存，共享的元数据设备 一个 Proxmox 节点，三个 OSD 客户机虚拟机写入：小块、同步、突发 Ceph RocksDB 元数据 bcache0 Optane 写缓存 HDD osd.0 block bcache1 Optane 写缓存 HDD osd.1 block bcache2 Optane 写缓存 HDD osd.2 block 每块机械盘一块 Optane：配对，绝不共享 一次缓存故障恰好损失一个 OSD，Ceph 照例重建即可。 这里需要的耐久度：30–100 DWPD。只能是 Optane。 共享的企业级 NVMe block.db + 隐式 WAL，三个 OSD 共用 带掉电保护 共享，因为元数据量小 Ceph：每块 SATA SSD 挂 4–5 块，NVMe 最多 15 块。 丢了这一块，它后面的每个 OSD 都跟着完蛋。 企业级 NAND 可以，但要快的 NVMe，不要便宜的。 两层都必不可少，而且不是同一种采购。Optane 缩短写入确认； 对 Ceph 不断发出的元数据读毫无帮助，对元数据写也只是延后。 省掉 NVMe，RocksDB 就回到了盘片上。 写到 OSD 的每一笔都要穿过它的缓存设备，所以那块必须是 Optane。元数据设备 不必是，但仍然必须是快速 NVMe：写入量小，却承担着它后面 每一个 OSD 的元数据延迟。 三个层级，两种不同的共享方式。DB/WAL 设备被几个 OSD 共享，因为 RocksDB 的写入量很小；但它仍然必须是一块快速 NVMe，因为它承担着每一个 OSD 的元数据延迟。Optane 写缓存和它的机械盘一对一配对，所以一次缓存故障最多只会损失一个 OSD。 这种配对是有意为之，它换来两样东西。\n没有争抢。 每块机械盘独享一整块 Optane 的延迟和队列深度，而不是排在另外七个 OSD 的突发后面。\n一个 Ceph 本来就知道如何扛过去的故障域。 共享写缓存为它后面的每一个 OSD 保存着脏数据，所以丢了它就同时丢掉所有 OSD；一对一配对时，丢一块 Optane 恰好只损失一个 OSD。这个区别是这套设计最重要的一个后果，在你要付出的代价一节里单独讲。\n必须是 Optane，不能是 NAND “Optane”这个词在这里不是品牌偏好，也不是锦上添花。换成 NAND NVMe，不管多贵，搭出来的都是会磨损报废的东西，原因就是耐久度。\n看看缓存设备所处的位置。因为这套设计把 bcache 的顺序旁路关掉了，也就是下面这条规则里的 sequential_cutoff=0，写到这个 OSD 的每一个字节都要经过它：不只是突发，是全部。这让缓存成了节点里负载周期最高的设备，要在机器的整个寿命里吸收一整块机械盘的写入量。\n耐久度以每日全盘写入次数（DWPD）标称，而差距不是一点半点：\n设备 额定耐久度 Optane P5800X 100 DWPD Optane P4800X 30 DWPD 写密集型企业级 NAND，顶配 约 10 DWPD 混合用途企业级 NAND 3 DWPD 或更低 主流企业级 NAND：PM9A3、7450 Pro 这一级 约 1 DWPD Optane 的耐久度是你本来会放在那里的 NAND 的十到一百倍。把一块 1 DWPD 的盘放到集群里接收每一次写入的那个位置上，你搭的不是缓存，是耗材。\n实际情况比表格显示的还糟，因为 NAND 内部有写放大，而 Optane 没有。NAND 盘的额定 DWPD 是它在接口上承受的量；它的存储单元实际吸收的更多。Optane 的数字不需要这样的星号。\n重建正是考验这一点的时候。回填会在一个压缩的时间窗里把数 TB 的写入推过存活的节点，每一个字节都要穿过它们的缓存设备。这是一次耐久度事件，而不只是延迟事件，而且它偏偏在你最不希望第二块设备坏掉的时候到来。\n所以两层闪存要用不同的盘，理由也不同：\n层级 写入量 设备需要什么 DB/WAL 小，只有 RocksDB 一块快速的企业级 NVMe。 低延迟、高随机 IOPS、PLP。企业级 NAND 是对的技术；PM9A3 或 7450 Pro 是对的选择 写缓存 全部写入 PLP，并且耐久度在几十 DWPD。NAND 是错的技术，多少钱都一样 用同一种盘干两份活，正是这一节要防止的错误。但别把第一行读成可以省钱的许可，因为写入量低不等于要求低。\nDB/WAL 设备仍然必须是真正快速的 NVMe，理由有三个，都和穿过它的字节数无关。\n它同时为它后面的每一个 OSD 服务，所以它看到的队列是四套或十五套元数据流量，而不是一块盘的量。\n它的延迟直接落到你的客户端上。RocksDB 查找位于定位对象、peering 和 scrub 的关键路径上，而且都是小块随机读。恰恰是快速 NVMe 和平庸 NVMe 差距最大的那种负载。每一微秒都要乘以依赖它的每一个 OSD。\n而且压缩（compaction）是突发的。RocksDB 会周期性重写它的各层，把平稳的变动变成一阵集中的读写尖峰。一块能应付平均值、却在尖峰上卡住的设备，会让它后面的每一个 OSD 同时卡住。\nCeph 自己的比例就说明了问题。它允许一块 NVMe 后面挂的 OSD 数量是 SATA SSD 后面的三倍，这是接口和设备等级在说话，不是容量。用 NVMe。\n所以：缓存设备必须是 Optane，DB/WAL 设备可以是 NAND，而这两个位置都不是省钱的地方。\n选哪块 Optane：32 GB 的 M10 往往就够了 上面这些都不意味着最大的 Optane 就是对的。你需要什么设备，由你的写负载决定，不过事实证明，二手市场可能不管怎样都会替你决定。这笔账依然要算，因为它告诉你自己是买多了还是买少了。\n先从缓存是干什么的说起。它装的是一次突发，而不是一整块盘。在 writeback_percent=40 下，一块 32 GB 的设备大约提供 13 GB 的脏数据缓冲，这能装下数量巨大的小块同步写入。\n所以别被这个比例吓到。一块 32 GB 的模块放在 20 TB 的盘前面，只占它的 0.16%，听起来很荒唐，直到你想起它是一个突发吸收器，而不是试图装下热数据的工作集缓存。同一块盘前面放 375 GB 的设备是 1.9%，那只是多出了你用不上的余量。\n这就让价格区间的便宜那头也有了机会。下面是这块小小的消费级模块和数据中心型号的对比，因为差距并不在人们以为的地方：\nOptane Memory M10 32 GB Optane DC P4800X 375 GB 4K 随机读 240,000 IOPS 550,000 IOPS 4K 随机写 65,000 IOPS 与读相当 顺序读 1,200 MB/s 2,400 MB/s 顺序写 290 MB/s 2,000 MB/s 典型延迟 — 10 µs 以下 耐久度 365 TBW 12.3 PBW，30 DWPD 接口 PCIe 3.0 x2，M.2 2280 PCIe 3.0 x4，U.2 或 AIC 先看随机写 IOPS 那一行。小小的 M10 每秒能做 65,000 次随机写；它后面的机械盘只能做 80 次。就连最便宜的 Optane 也大约是它所缓存的那块盘的 650 倍，所以在性能这条轴上，争论还没开始就结束了。下游只有一块 7.2k 的盘时，DC 型号多出来的 IOPS 无处可去。\n决定买哪块的是耐久度那一行，差距是 34 倍。换算成五年寿命里的每日预算：\n设备 五年内每天可持续写入量 M10 32 GB：365 TBW 约 200 GB/天 P4800X 375 GB：12.3 PBW 约 6.7 TB/天 每天写入不到 200 GB，一块 32 GB 的 M10 就能撑完这套系统的寿命。翻一倍，你能用两年半。真正写密集的话，DC 型号就物有所值了：不是为了你用不上的 IOPS，而是为了它多扛的那三十来倍写入。\n所以要测量，别猜。在现有的缓存设备上运行 nvme smart-log，会给你 data_units_written；隔一周采样一次，相除，再和你在考虑的设备的额定 TBW 比较。如果你更愿意在 bcache 那边读，它自己也在 /sys/block/bcacheN/bcache/stats_total/ 下记着总数。\n关于 M10 有两点要注意。它的随机性能数字是在 8 GB 跨度上测的，而不是整个设备，所以如果你打算让缓存长期处于相当满的状态，就把这些数字当作乐观的那一端。还有，它是消费级部件，不带任何企业级 PLP 声明。Optane 的介质是原地写入的，写入路径里没有 DRAM 缓冲，这就是这些模块在突然断电时表现远好于消费级 NAND 的原因，但“实践中表现不错”不是规格。如果你要白纸黑字的保证，就买 DC 系列。\n下限看带宽，不看容量：跳过 16 GB 的模块 还有第二个约束，和上面的一切都无关，而它把这个系列里最便宜的部件排除在外。\n缓存在顺序写上必须比磁盘快，否则它就是个节流阀。 16 GB 的 M10 做不到，而它偏偏是你最想买的那块，因为它几乎不要钱：\n顺序写 Optane Memory M10 16 GB 150 MB/s Optane Memory M10 32 GB 290 MB/s Optane DC P4800X 375 GB 2,000 MB/s 一块 7.2k 企业级 HDD 150–250 MB/s 把第一行和最后一行放在一起读。一块 16 GB 的模块，顺序写速度大约和它本该加速的那块机械盘一样，还比一块好盘慢。在随机负载上它依然快得惊人：35,000 随机写 IOPS 对磁盘的 80。但在顺序数据流上，它最好也就是打平，最坏则是一道天花板，比裸盘自己能跑到的还低。\n而这套设计保证你一定会撞上这道天花板，因为关掉顺序旁路之后，一切都要穿过缓存，缓存自己的顺序写带宽就成了整个 OSD 的硬上限。恢复时咬得最狠：回填一个 20 TB 的 OSD，几乎是这种负载里最顺序的操作，把它卡在 150 MB/s，会让本来就慢的重建更慢。\n所以 M10 这条产品线的下限是 32 GB，而且这是带宽下限，不是容量下限。容量的账说 32 GB 绰绰有余；带宽的账则不管你需要存多少，都把 16 GB 排除了。两项测试都要通过，而便宜部件挂掉的，正是人们不去查的那一项。\n不管你在考虑哪块设备，买之前先把它的顺序写数字放到 250 MB/s 旁边比一比。\n买一件已经没人生产的产品 Optane 已经停产。 Intel 在 2022 年收掉了这项业务，核销了 5.59 亿美元的库存，并终止了开发。没有新的生产，也不会补货；总供应量从此只会减少。\n这就引出一个明显的问题，因为市面上在卖的数量多得惊人。弄清楚这些货从哪里来，你就知道自己买的是什么。\n它是正在被清仓的 OEM 维修备件库存。 三大服务器厂商把 Optane 作为备件囤着，用来支持他们卖出去的那些平台。这些平台已经到了生命周期终点、退出了支持，于是为它们准备的备件一夜之间成了死库存：一仓库一仓库的零件，对应的机器已经没有人在合同上有义务去修了。流到 AliExpress 和翻新商那里的，就是这批库存。\n两个后果，都是好消息。\n其中很多是全新未用的，而不是拆机件。 维修备件在货架上等着一次从未到来的故障，所以到手时的磨损数字往往实际上就是零：不是“轻度使用了几年”，而是从来没被写过。要核实，别轻信：nvme smart-log 会给你 percentage_used 和 data_units_written，真正的备件库存上这两个数应该低得惊人。凡是显示出真实磨损的，都是拆机件冒充别的东西在卖。不过即便如此，凭着耐久度的余量，一块用过的 Optane 剩下的寿命也可能比同容量的全新 NAND 盘还长。\n它也解释了你能找到哪些容量。 OEM 备件是为服务器囤的，也就是数据中心部件。下面是完整的产品线，注意旗舰型号从哪里起步：\n部件 容量 形态 Optane Memory M10 16、32、64 GB M.2 2280，消费级 Optane SSD 800P 58、118 GB M.2 2280，消费级 Optane SSD P1600X 58、118 GB M.2 2280，数据中心启动与缓存部件 Optane SSD DC P4801X 100、200、375 GB M.2 110 mm 或 U.2 Optane SSD DC P4800X 最小 375 GB，750 GB，1.5 TB U.2 或扩展卡 Optane SSD P5800X 400 GB，800 GB，1.6 TB U.2 或扩展卡 理论上，小的 M.2 部件才是优雅的答案：M10、800P、P1600X 和 100 GB 的 P4801X 都能胜任，而且便宜。实际上市场里没有它们，因为没人把桌面加速模块当作服务器备件来囤。挂出来卖的都是 375 GB 及以上、P4800X 这一级的硬件。\n所以要做好买比这个角色所需更多容量的打算，因为市面上卖的就是这些。这不是坏结果。多买缓存设备，你得到的是 30 DWPD 和 10 µs 以下的延迟，而你的负载只需要其中的零头；对一块你打算用好多年的 20 TB 机械盘来说，往这个方向犯错才是对的。这确实意味着入门价格比算出来的要高，也意味着上面的容量规划变成了防止买少的核对，而不是购物清单。\n既然这是清仓而不是供应链，有三件事要提前打算：\n备件和系统一起买。 一个有限的库存池正在被清空。三年后有设备坏了，你不会是去下单买替换件，而是去满世界找。所以趁现在有货，把备件成本算进去。\n做好拿到 OEM 固件的准备，并检查命名空间。 来自厂商备件计划的部件，往往带着该厂商的固件，到手时可能被格式化成某种 LBA 大小，或带着适合当初囤货用途的元数据设置。在它上面搭建之前，先用 nvme id-ns 确认，并准备好用 nvme format 格式化成普通的 4096 字节格式。\n没有保修，没有支持，也不会再有固件更新。 Intel 自己的支持公告讲了业务收尾对已经在用的设备意味着什么，而你买到的任何东西都已经处在这个位置上。核实到手的部件就是挂牌上写的那个，是你自己的事。\nbcache 不能取代 DB/WAL 卸载 值得明确说一句，因为这是最容易想到要省钱的地方，而它行不通：你仍然需要把 block.db 放在 NVMe 上。两层都要，不是二选一。\nOptane 是一个写缓存。它就只是这个。它缩短了写往磁盘的确认路径，别的什么都不做。\nRocksDB 不只是写。Ceph 一直在读它的元数据：定位对象、处理 peering、响应 scrub。而一旦数据已经从写缓存里刷出去，写缓存对一次读能提供的帮助恰好为零。缓存也不会消除元数据流量；它只是延后并批量处理，所以每一次 RocksDB 更新最终仍然会到达机械盘，争抢同样的寻道。而压缩会把不大的变动变成远多于原始写入的设备流量。\n所以这两项改动解决的是不同的问题，谁也替代不了谁：\n它解决什么 它不解决什么 block.db 放 NVMe 元数据住在闪存上，读和写都永久离开机械盘 对客户机的一阵写入突发毫无作用 通过 bcache 用 Optane 数据写入的突发确认延迟 对元数据读毫无作用；只是延后元数据写 省掉 DB 卸载、保留 Optane，RocksDB 就回到了盘片上，它的读以 80 IOPS 的速度被服务。省掉 Optane、保留 DB 卸载，稳态还算过得去，但突发照样以机械盘的速度卡住。\nudev 规则，逐行讲解 bcache 的可调参数在 sysfs 里，而每次设备注册时 sysfs 都会把它们重置，也就是每次开机。所以它们应该写进 udev 规则，而不是一个得有人记得去运行的脚本：\n# /etc/udev/rules.d/99-bcache.rules ACTION==\u0026#34;add|change\u0026#34;, SUBSYSTEM==\u0026#34;block\u0026#34;, KERNEL==\u0026#34;bcache*\u0026#34;, \\ ATTR{bcache/cache_mode}=\u0026#34;writeback\u0026#34;, \\ ATTR{bcache/sequential_cutoff}=\u0026#34;0\u0026#34;, \\ ATTR{bcache/congested_read_threshold_us}=\u0026#34;0\u0026#34;, \\ ATTR{bcache/writeback_rate}=\u0026#34;81920\u0026#34;, \\ ATTR{bcache/writeback_rate_minimum}=\u0026#34;20480\u0026#34;, \\ ATTR{bcache/writeback_percent}=\u0026#34;40\u0026#34; KERNEL==\u0026quot;bcache*\u0026quot; 匹配节点上的每一个 bcache 设备，所以一条规则覆盖所有配对。ACTION==\u0026quot;add|change\u0026quot; 意味着每当设备出现或重新挂接时它都会重新生效，而不只是在开机时。\n每个设置在做什么，以及为什么：\ncache_mode=writeback：整件事的意义所在。在默认的 writethrough 下，写入要到达 HDD 才会被确认，所以缓存对写延迟毫无帮助。在 writeback 下，由 Optane 确认，机械盘稍后再追上。\nsequential_cutoff=0：默认情况下，bcache 会检测顺序 I/O，一旦超过 4 MB 就把它直接绕过缓存送走，理由是后端磁盘处理顺序负载没问题。设为零就关掉了这个旁路，一切都进缓存。在超融合节点上这是对的：对单个 bcache 设备看起来是顺序的东西，一旦几个 OSD 交错起来，到了盘片上就不再是顺序的了，而你希望每一次写入不管怎样都以 Optane 的速度被确认。不过它确实带来一项义务：没有旁路，缓存设备自己的顺序写带宽就成了整个 OSD 的上限，这就是为什么 16 GB 模块被排除在外。\ncongested_read_threshold_us=0：bcache 会监视自己缓存设备的延迟，当它判断拥塞时就开始绕过缓存，读的默认阈值是 2000 µs。Optane 不会像 NAND 那样拥塞，所以这是 bcache 在对一块它量错了的设备瞎猜疑。设为零就关掉这项跟踪。\nwriteback_rate=81920 和 writeback_rate_minimum=20480：后台刷盘速率，单位是每秒扇区数，所以目标大约 40 MB/s，下限 10 MB/s。一个 PD 控制器在两者之间调整实际速率。目标设在机械盘顺序吸收能力附近，下限则防止控制器把刷盘节流到接近零，让脏数据无限堆积。两者都是起点，不是常数，怎么修改它们在下面。\nwriteback_percent=40：bcache 允许多少比例的缓存处于脏状态，超过后才会强力往回压，默认值是 10。四十给你一个深得多的突发缓冲。它也意味着那块 Optane 最多有 40% 存着系统里数据的唯一副本，这就是代价，也正是每块机械盘一块 Optane 的布局之所以重要的原因。在你观察过真实负载之后，这是最值得回头调整的值。\n以后修改填充值和刷盘值 上面的 40% 和两个速率，是这里正在跑的值，不是普遍适用的常数。在你观察过真实负载之后，它们是你最先想动的东西，所以值得知道有两个地方可以改，做的是两件不同的事。\nsysfs 是马上改。udev 规则是下次开机改。 两个你都要，而且按这个顺序。\n在一个设备上实时修改：\necho 30 \u0026gt; /sys/block/bcache0/bcache/writeback_percent 或者对节点上的每一对一起改：\nfor d in /sys/block/bcache*/bcache; do echo 30 \u0026gt; \u0026#34;$d/writeback_percent\u0026#34; done 刷盘速率也是一样的做法。两个值的单位都是每秒扇区数，所以下面这样会把目标和下限都减半：\nfor d in /sys/block/bcache*/bcache; do echo 40960 \u0026gt; \u0026#34;$d/writeback_rate\u0026#34; echo 10240 \u0026gt; \u0026#34;$d/writeback_rate_minimum\u0026#34; done 这会立刻生效，并且恰好保持到设备被重新注册为止。内核文档明确说这些设置“do not persist across reboot”，这正是 udev 规则存在的全部理由。\n一旦你对某个值满意了，就编辑规则，不用重启就能重新加载：\nudevadm control --reload udevadm trigger --subsystem-match=block --action=change 这就是 ACTION==\u0026quot;add|change\u0026quot; 发挥作用的地方。触发器会向已经存在的设备发出一个 change 事件，所以规则会在运行中的节点上重新生效，而不用等下次开机。如果规则只匹配 add，那条命令什么也不会做。\n然后把值读回来，因为 udev 规则里的笔误会悄无声息地失败：\ngrep . /sys/block/bcache*/bcache/writeback_percent 知道往哪个方向调 别从第一性原理出发去调这个：bcache 在同一个 sysfs 目录下就提供了你需要的东西。\n要盯的是 dirty_data：当前有多少数据只存在于缓存里、别处都没有。文档把它描述为“continuously updated unlike the cache set\u0026rsquo;s version, but may be slightly off”，对这个用途来说足够了。在一个正常的工作日和一个备份窗口里都采样看看。\ncache_hits、cache_misses 和 cache_hit_ratio 告诉你缓存有没有在被用上，需要注意的是“a partial hit is counted as a miss”。bypassed 统计完全绕过缓存的 IO：在 sequential_cutoff=0 下它应该几乎不动，所以如果这个数字在增长，说明还有什么东西在绕开缓存。\n这些都既有累计总数，也有在过去一天、一小时和五分钟上衰减的版本，这让短时间窗的那些在发现问题时远比终身数字有用。\n从这里出发：\n症状 参数 方向 突发卡顿：写入在突发中途撞上机械盘延迟 writeback_percent 调高，换一个更深的缓冲 暴露在缓存上的数据超出你能接受的程度 writeback_percent 调低 日常工作中 dirty_data 一直顶在上限 writeback_rate 调高：问题不在缓冲，在排空 后台刷盘在机械盘上和客户机的读争抢 writeback_rate 调低 dirty_data 以天而不是小时为单位慢慢上涨 writeback_rate_minimum 调高，让控制器没法把速率压到龟速 如果不管你怎么做，dirty_data 都顶在上限不动，那两个参数都不是答案：集群写入的速度超过了机械盘能吸收的速度，老实的解决办法是更多机械盘，或者更少写入。\n有一个文件别去碰：writeback_running。把它关掉会完全停止回写，文档说它“only meant for benchmarking”。在生产 OSD 上，这意味着脏数据不断累积，直到缓存写满，而且永远排不出去。\n你要付出的代价 关于这种设计的大多数文章都止步于好消息。下面这些才是真正会让你吃苦头的部分，每一条都值得在搭建之前而不是之后知道。\n两块新增设备的故障方式截然不同 共享的 DB/WAL NVMe 挂了 osd.0–2 的 block.db 没了 osd.0 损失 osd.1 损失 osd.2 损失 三个 OSD，一次事件。 一次贯穿整个节点的关联故障， 恰恰是复制保护不了你的那种。 按你愿意熬过的重建来选比例， 而不是按每个 OSD 的价格。 一块配对的 Optane 挂了 Optane osd.0：没了 Optane osd.1：正常 Optane osd.2：正常 osd.0 损失 osd.1 服务中 osd.2 服务中 一个 OSD，Ceph 每天都在干这种事。 波及范围只是一块盘的数据量， 正是复制池生来要吸收的 那种故障。这就是买几块小设备 而不是一块大设备的 全部理由。 两边是同一类损失：每块设备都保存着别处不存在的状态，所以 OSD 是被毁掉而不是停掉， 必须重建并回填。不同的只是数量， 而这正是每块盘一块 Optane 的配对所换来的。 两块新增设备都保存着别处不存在的状态，所以丢了任何一块，依赖它的 OSD 就毁了。区别只在于毁掉几个：共享的 DB/WAL NVMe 会拖垮它后面的每一个 OSD，而一对一配对的 Optane 恰好只拖垮一个。这就是多出来的设备换来的东西。 丢了任何一块闪存设备，OSD 就毁了。 不是停掉，是毁掉。两块设备都保存着别处不存在的状态：block.db 保存着让 block 有意义的 RocksDB，写回缓存保存着每一笔还没刷出去的写入。内核文档对第二点毫不含糊：“In writeback mode you\u0026rsquo;ll lose data if something happens to your SSD.” 不管哪种情况，OSD 都回不来了，只能重建并回填。\n所以这两者是同一类风险，值得把这一点说清楚，而不是把缓存当作那个吓人的。Optane 并不比 NVMe 更危险。把它们区分开的有两件事，而哪一件都不是对单个 OSD 的严重程度。\n第一是波及范围，这正是配对的全部理由。 每块机械盘一块 Optane，意味着一次缓存故障只损失一个 OSD：一次单盘损失，正是复制池生来要吸收的事件，Ceph 处理它时不需要把任何人叫起来。DB/WAL 设备是共享的，所以丢了它就同时损失它后面的每一个 OSD，这是复制保护不了你的关联故障。同样的故障，一块设备对五块。\n第二是故障表现出来的方式，这一条是个运维陷阱。 当缓存在 writeback 模式下挂掉时，后端设备会停止并返回 I/O 错误，这没问题：Ceph 把 OSD 标记为 down，然后继续干活。坏的情况是一次重启后，后端设备起来了，却没有挂上它的缓存。这时它看起来像一个可以挂载的文件系统，只是少了每一笔脏写入，这是损坏，而不只是过时。缺了 block.db 会大声报错，OSD 拒绝启动；缺了缓存则可能悄悄失败，让你把残骸挂载上去。把没有缓存的 bcache 后端设备当作不可挂载，永远别让任何东西“好心”替你挂载它。\nbcache 本身并不保证写回在掉电时是安全的。 正是在这里，关掉 HDD 写缓存不再是优化，而是硬性要求：关掉它，并运行一个新到带有 FUA 处理的内核，这样同步写入在整个栈里都能被如实遵守，而不是在中间某处被提前确认。没有掉电保护的缓存设备会让问题雪上加霜，因为它可能丢掉它已经报告为安全的数据。\n这就让 DB/WAL 比例成了那个要紧的数字。 Ceph 允许每块 SATA SSD 挂 4–5 个 HDD OSD，每块 NVMe 不超过 15 个，并提醒要“balancing the risk of reducing costs by placing too many responsibilities into too few failure domains.” 和缓存层不同，这里没有配对可以把风险圈住：共享正是这块设备存在的意义。\n在 20 TB 的盘上，这就是全部要谈的，因为重建量巨大。一个坏掉的 OSD 就是 20 TB 要回填；按机械盘能持续的 150–250 MB/s，再加上为了不让恢复饿死客户机而做的节流，单单一块盘就意味着远超一天的降级运行。丢掉一块挂着五个 OSD 的共享 DB 设备，就有 100 TB 要搬。\n所以这个比例其实不是成本决定。它决定的是你准备降级运行多久，以及集群在继续服务虚拟机的同时能承载多少重建流量。\n这套设计依赖一种已经没人生产的设备。 这一条没有技术上的答案。Optane 是缓存位置上的正确部件，而当下没有任何东西能取代它：NAND 扛不住这个写入量，Intel 转向的基于 CXL 的内存也不能直接替代块缓存。所以缓解办法是商业上的，而不是什么巧妙的技术，上面已经讲过，老实的总结是：这套架构在未来某个时候有一个截止日期。\n这一切都不会让 HDD 集群变成全闪存集群。 持续的随机写流量一旦超过刷盘速率，就会把缓存填满，而一旦填满，你就是在以机械盘的速度写入，路径上还多了几层。这套设计吸收突发、去掉元数据开销。它变不出 IOPS。\n归结起来是什么 三个层级，每一层只干它最拿手的那一件事，而且三层缺一不可：\nOptane 吸收随机写突发，每块机械盘一块。它必须是 Optane，因为每一次写入都要穿过它，而 NAND 的耐久度不适合这个位置 一块快速的企业级 NVMe 存放 RocksDB 和 WAL，由几个 OSD 共享，比例是你有意选定的，而不是随便接受的 HDD 提供大容量，摆脱了元数据和突发两样负担 重点不是假装机械盘是闪存。而是别再把它们最不擅长的活派给它们，好让你真正花钱买来的容量能用得上。\n这就是全部窍门，里面没啥聪明的地方。把每份活放到擅长它的设备上，别再为那些不擅长的设备花两遍钱。\n对于一个需要数十 TB 容量、又不想付全闪存价格的超融合 Proxmox 集群，这是一个站得住脚的设计。搭得好，它感觉比裸 HDD 快得多，它的故障方式是 Ceph 生来就能处理的，钱也花在了真正改变结果的地方。\n两样相关的东西值得一起读：4Kn、512e 和 512n 里关于扇区大小的工作，对机械盘如何处理到达它们的写入关系重大；如果你是在直连节点上搭这套东西，无交换机网状网络讲的是小型 Ceph 集群的网络这一侧。\n参考资料 Ceph — Hardware Recommendations — 大容量 HDD 的每 TB IOPS 警告，“HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD”，每块 SATA SSD 挂 4–5 个 HDD、每块 NVMe 不超过 15 个的比例，企业级 SSD 的掉电保护，关闭 HDD 写缓存，以及不需要 RoC HBA Ceph — BlueStore Configuration Reference — RBD 下 block.db 为 block 的 1–2%、RGW 下至少 4%，2.5% 的通用建议，溢回主设备，3/30/300 GB 台阶背后的 RocksDB 层级大小，以及 WAL 隐式与 DB 放在一起 Linux kernel — bcache admin guide — 缓存模式，sequential_cutoff 及其 4 MB 默认值，2000 µs 的读拥塞默认值，以每秒扇区数计的 writeback_rate，writeback_percent PD 控制器，dirty_data / cache_hit_ratio / bypassed 计数器及其按天、小时和五分钟衰减的版本，writeback_running“only meant for benchmarking”的警告，这些设置“do not persist across reboot”的说明，以及“in writeback mode you\u0026rsquo;ll lose data if something happens to your SSD” Intel — Optane Memory M10 32 GB specifications — 365 TBW，在 8 GB 跨度上 4K 随机读 240,000 IOPS、随机写 65,000 IOPS，顺序 1200/290 MB/s，PCIe 3.0 x2 Intel — Optane Memory M10 16 GB specifications — 150 MB/s 顺序写和 35,000 随机写 IOPS，正是这两个数字让该部件的顺序吞吐低于一块机械盘 PC Perspective — Optane SSD DC P4800X performance — 375 GB 型号的 550K 4K 随机读 IOPS，顺序 2400/2000 MB/s，10 µs 以下的典型延迟，以及 30 DWPD 下的 12.3 PBW ServeTheHome — Optane DC P4801X 100GB M.2 review — 小容量数据中心 M.2 部件，用于容量阶梯 StorageReview — Intel Optane SSD P5800X — 100 DWPD 的额定值，P4800X 的 30 DWPD，以及与 NAND 企业级盘的对比：写密集型部件最高约 10 DWPD，混合用途 3 或更低 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/hdd-backed-ceph-bcache-optane/","summary":"闪存价格让全 NVMe 越来越难自圆其说，企业级 HDD 值得再看一眼。要在超融合 Proxmox Ceph 上让它们给出可以接受的延迟，就得把 RocksDB 搬离机械盘，通过 bcache 给每块盘配一块专属 Optane（专门是 Optane，因为 NAND 的耐久度不适合这份活），并且老老实实面对这样做给你带来的故障模式。","title":"让 HDD 承载的 Proxmox Ceph 集群跑得快：NVMe 放元数据，每块盘配一块 Optane，以及你要付出的代价"},{"content":"为什么这件事一直很贵 VDI，即虚拟桌面基础设施（Virtual Desktop Infrastructure），从数据中心或云端交付一个完整的桌面，而不是从你面前的设备上。 用户从笔记本、瘦客户机或者自己的机器登录，拿到一个熟悉的 Windows 或 Linux 桌面，桌面上的应用、文件和计算全都集中在后端进行。\n对 IT 团队来说，它的吸引力在于打补丁、访问控制和数据保护都在一个地方完成，人们在任何地方都能用到同一个桌面。\n障碍从来不是虚拟化平台。障碍一直是 GPU。\n在多个桌面之间共享一块物理 GPU，一直是 NVIDIA 的地盘，而 NVIDIA 对负责切分的 vGPU 软件收费。 正是这份许可证，让带硬件加速图形的 VDI 大多成了有企业预算的机构的专利。 每年付一笔钱，只为打开硅片本来就能做的事，这很难让人热心起来。\nIntel 用 Arc Pro 系列改变了这笔账。 这些卡通过标准 SR-IOV 支持硬件切分，而 SR-IOV 是一项 PCIe 功能，不是一个产品。所以，没有许可证服务器，没有订阅，也不用另外购买 vGPU 软件。\n于是我弄来一块 Intel Arc Pro B50，看看它和 Proxmox 配合得有多干净。 简短的回答是：机制完全如宣传的那样工作，然后固件挡了道。两半都在下面。\n一张卡如何变成多张：物理功能留在主机，虚拟功能交给客户机 Intel Arc Pro Bxx 03:00.0：物理功能 主机驱动：xe 03:00.1 vfio-pci 03:00.2 vfio-pci 03:00.3 支持时才创建 03:00.4 支持时才创建 Windows 桌面 1 硬件加速 Windows 桌面 2 硬件加速 Windows 桌面 3 硬件加速 Windows 桌面 4 硬件加速 全程不涉及 vGPU 许可证。SR-IOV 是一项 PCIe 能力，卡要么通告它， 要么不通告，这张卡在\u0026#160;[320]\u0026#160;处通告了它。它会创建多少个功能，由 固件决定，因为每个功能分到卡上内存的固定一份：每份越大， 功能越少。16 GB 的 B50 给两个，每个 8 GB；24 和 32 GB 的卡报告七个。 物理功能留在主机的 xe 驱动上。每个虚拟功能本身就是一个 PCIe 设备，绑定到 vfio-pci 再交给一台客户机，和直通整张卡用的是同一套机制，只是重复了好几次。虚线那一对取决于卡：每张卡能创建多少个功能，在后面讲。 房间里的大象：你得先有 Windows 在这一切能工作之前，卡要先更新固件。Intel 把这个更新放在 Windows 驱动安装程序里发布。\n这就很别扭了，因为你买这张卡的原因，就是要在 Proxmox 下跑它。\n有一个只靠 Proxmox 就能绕过去的办法：建一台 Windows 虚拟机，把整张卡直通给它，让 Windows 更新固件，然后再把卡还给主机。 这是一个引导循环，最好在规划搭建之前就知道它，而不是之后。\n用一台临时虚拟机打破“先有 Windows”的引导循环 问题在于：SR-IOV 需要最新固件，而固件装在 Windows 驱动安装程序里。 1 卡在主机里 lspci → 03:00.0 2 整张卡 → Windows 虚拟机 hostpci0, Q35 + OVMF 3 安装 Intel 驱动 固件随之更新 4 重启主机 卡重新初始化 卡还给 Proxmox 5 SR-IOV 出现 lspci -v → [320] 6 启动时 tmpfiles.d numvfs, unbind, bind 7 VF 交给客户机 固件允许多少就多少 第 2、3 步只为更新固件。Windows 虚拟机是临时的：卡一回到主机， 它就不再起任何作用，最终的配置没有任何一处依赖 在虚拟化平台上运行的 Windows。 固件不是最新的，卡就做不了 SR-IOV，而固件更新是以 Windows 驱动的形式到来的。一台挂着整张卡的临时 Windows 虚拟机打破了这个循环。 找到这张卡 在 Proxmox 主机上，用 lspci 找到它：\nlspci 它在 03:00.0，报告为 Battlemage G21，也就是 Arc Pro B50 背后的芯片。 把这个地址记下来。你会用到好几次，而且它还附带一个单独的音频功能，在 04:00.0。\n把整张卡直通给 Windows 虚拟机 把卡作为一个原始 PCI 设备加到 Windows 虚拟机上。 在虚拟机的硬件里，就是一个 PCI Device 条目：0000:03:00，带 pcie=1：\n值得注意一下这台虚拟机别的配置，因为没有一样是偶然的：Q35 机器类型、OVMF 固件、VirtIO SCSI single，以及给 Windows 11 用的 TPM。 尤其是 Q35，在这里不是可选的。直通的 GPU 在 i440fx 上会显示为一个传统 PCI 设备，这对现代图形驱动来说是错误的形态。这一点在永远用 Q35，不要用 i440fx里讲过。\n启动虚拟机，检查 Windows 能看到这张卡：\n它显示为 Microsoft Basic Display Adapter，因为还没装驱动。 这是预期中的状态，而且够用了。Windows 已经找到了硬件。\n更新固件 从 Intel 的 Arc Pro B50 下载页面获取当前驱动。 写作时的版本是 32.0.101.8306（Q4.25），适用于 Windows 11 和 Windows 10 22H2：\n安装它，让固件更新作为安装过程的一部分跑完，不要中途取消。 这个固件步骤，就是绕这一大圈的全部原因。\n完成后，把卡还给主机并重启，让它在 Proxmox 下完整地重新初始化。\n确认 SR-IOV 已经在了 现在问问卡它能做什么：\nlspci -v 关键的那一行：\nCapabilities: [320] Single Root I/O Virtualization (SR-IOV) 整个卖点就在 lspci 输出的这一行里，而且上面没有挂任何许可证。\n既然看到这里了，输出里还有三样东西值得读一读：\nKernel driver in use: xe：卡用的是 Intel 较新的 xe 驱动而不是 i915，创建虚拟功能的就是它。 [420] Physical Resizable BAR 和 [220] Virtual Resizable BAR：卡支持可调整大小的 BAR，它的虚拟功能也支持。如果你要直通好几个，值得知道这会占用多少地址空间：见 PCIe Resizable BAR 与现代 GPU。 IOMMU group 13：卡独占一个组，这正是干净直通所需要的。为什么这很重要，见 IOMMU 税那篇文章。 在启动时创建虚拟功能 虚拟功能不是持久的。请求它们是往 sysfs 里写一次，所以每次启动都得做一遍。\ntmpfiles.d 是一种以声明方式完成这件事的整洁办法，不用往某个 unit 文件上硬绑一个脚本：\n这个文件按顺序做三件事。\n创建虚拟功能，把数量写进物理功能的 sriov_numvfs：\nw /sys/devices/pci0000:00/0000:00:01.1/0000:01:00.0/0000:02:01.0/0000:03:00.0/sriov_numvfs - - - - 4 把每个新功能从 xe 解绑，因为主机驱动会在它们出现时就把它们认领走，而主机占着的设备客户机拿不到：\nw /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.1 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.2 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.3 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.4 把它们绑定到 vfio-pci，这样它们才能被直通：\nw /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.1 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.2 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.3 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.4 注意地址：物理功能是 03:00.0，虚拟功能出现为 .1 到 .4。\n关于 w 有一个细节，它解释了这个顺序，而且如果你弄错了它会咬你一口。systemd 的文档是这么写的：“Write the argument parameter to a file, if the file exists.” sriov_numvfs 只有在某个驱动绑定到物理功能之后才存在，而虚拟功能的路径只有在那次写入生效之后才存在。 所以文件里的顺序不是风格问题。每一行都依赖于前一行已经生效。\n为什么是两个，而不是四个 驱动 32.0.101.8306，也就是上面装的那个，带的是图形固件 BMG__21,1162，Intel 正是在这个版本里首次正式在 Arc Pro 上启用了 SR-IOV。 Intel 在该版本里给 B50 定的默认值是两个虚拟功能，每个配一个 8 GB 的 VF Local Memory BAR。\n这让这个数字成了算术问题，而不是策略问题。B50 有 16 GB。每个虚拟功能 8 GB，只放得下两个。\n如果你想找变通办法，有一个小插曲值得知道。在正式支持出现之前，有些人跑过旧固件，它在 B50 上暴露出 12 个虚拟功能，退回到驱动 32.0.101.6979 就能恢复这个数量。 那 12 个共享同样的 16 GB，所以每个分到的内存只有我这边的一小部分。Intel 的立场是，选择两个是有意为之，为的是让每个功能都有足够的计算、容量和带宽，表现可预期。\n所以这个上限是可以挪的，但不是由你来挪。最大 VF 数量和 VF Local Memory BAR 大小都在 IFWI 里，没有公开工具能改其中任何一个，而在当前的软件栈上，受支持的答案就是两个。\n每张卡能给你多少个桌面 B50 是这个家族里的小卡，它的两个功能是整个家族的最低点。如果你在意的是席位数，就往这个系列的上面买。\n整个 Battlemage Arc Pro 系列都支持 SR-IOV。不同的是固件愿意切出多少个功能，而这跟着内存走：\n卡 内存 当前受支持软件栈上的 VF 数 其他地方见到的 Arc Pro B50 16 GB 2，每个 8 GB VF BAR，Intel 文档写明的默认值 正式支持前的固件上 12 个，经由驱动 32.0.101.6979 Arc Pro B60 24 GB 报告为 7 早期 ASRock 固件上 24 个，后来的固件砍到 7 个 Arc Pro B60 Dual 2 × 24 GB 每个 GPU 7 个，两个 GPU，所以一个插槽 14 个 同上；两半相互独立 Arc Pro B65 32 GB 没有找到公布的数字 无 Arc Pro B70 32 GB 报告为 7，固件 8517 较早固件上 4 个 只有 B50 那一行是 Intel 文档写明的。B60 和 B70 的数字是人们从 lspci 里报告出来的，而且变过不止一次。尤其是 B60，一次固件更新就从 24 降到了 7，这和 B50 遭遇的收窄是同一类。 似乎没有人公布过 B65 的 VF 数，所以把那一行当作未知，而不是零。\n从这张表能得出两点，而且两点都比表里任何单个数字更要紧。\nVF 数量是内存的切分，不是芯片的功能。 Intel 的规则是，VF Local Memory BAR 越大，功能越少。这就是为什么 16 GB 的卡给两个、32 GB 的卡给七个：GPU 的着色器跟这个决定毫无关系。\n检查你要买的那张卡，而不是那个家族。 在同一颗芯片上，不同板卡厂商的 SR-IOV 支持情况各不相同：Sparkle 的 B60 Blower 刚出货时根本看不到这项能力，是在一次 igsc 固件更新之后才有的。要么向卖家要那个确切型号的 lspci -v 输出，要么在指望这一切之前，先把一次固件更新算进预算。\n双 B60 是两张卡共用一块挡板 Maxsun 的 Arc Pro B60 Dual 48G Turbo 在席位数上是最有意思的一张，要理解的是，那 48 GB 不是一个池。\n它是一块板子上的两颗 B60 GPU，也就是两颗 BMG-G21 芯片，每颗连着 24 GB GDDR6，而且两者之间没有 PCIe 桥接芯片。两颗芯片直接挂在 x16 金手指上，各自 PCIe 5.0 x8。\n这意味着主机得替你把插槽拆开。这张卡需要把主 x16 插槽拆分为 x8/x8，而大多数消费级主板默认不开启这个。这是一项你得自己去找的固件设置，和这一切都需要的 IOMMU 及 ACS 设置属于同一类。\n设置对了，操作系统会看到两块独立的 GPU，各有自己的物理功能和自己的 SR-IOV 能力。所以你从一个插槽得到两批虚拟功能，如果每颗芯片表现得像一张单独的 B60，就是 14 个席位，而上面那个 tmpfiles.d 文件要翻倍，每颗芯片一次 sriov_numvfs 写入。\n设置错了，你只看到一块 GPU，半张卡是隐形的。\n关于那 48 GB 不是什么，值得说清楚：挂在第一颗芯片某个虚拟功能上的客户机，碰不到第二颗芯片的内存。这是同一个物理空间里的两张 24 GB 卡，对 VDI 席位来说正合适，对一个大模型来说正不合适。\n所以：如果两个席位够用，B50 是一张 70 W 的卡，能做到。如果你想要七个，围绕 B70 来规划。如果你想要十四个，而且主板能拆分插槽，双 B60 用一个插槽就能让你做到。\n能在虚拟功能上跑 AI 吗？ 简短的回答：当作不受支持。长一点的回答，因为原因很重要，而且不是你会猜的那个。\n这些卡是作为 AI 卡来卖的，而且它们不是装的。B50 的 128 个 XMX 引擎标称峰值 170 TOPS，B70 是 367，Intel 的软件方面也是实打实的：vLLM 在 Arc Pro B 系列上能服务从 8B 到 120B 的模型，IPEX-LLM 和 llama.cpp 的 SYCL 后端都能在上面跑。\n但看看这些结果每一个是怎么得出来的。vLLM 自己的 Arc Pro 数据来自裸金属上的一个 Docker 容器，系统里是四张和八张整张的 B60 卡在做张量并行。Intel 那篇文章一次都没有提到 SR-IOV 或虚拟功能。\n我查到的每一处都是这个模式。Intel 把 SR-IOV 的用途限定在虚拟化远程桌面、客户机操作系统图形加速，以及媒体编码和解码。计算不在这个列表里，而且我找不到哪怕一个公开的案例，说有人在挂着虚拟功能的虚拟机里跑 LLM 推理。\n人们实际怎么做的很能说明问题：他们在主机上用 Docker 跑模型，把虚拟功能交给虚拟机做桌面。一个两样同时做的人只是简单地报告说 “VRAM gets pretty tight.”\n这才是真正的问题，而且它是算术问题，不是驱动支持问题。\n一个虚拟功能得到一份固定的本地内存，B50 上是 8 GB，在固件里定死。这份内存就是那台客户机里权重加 KV 缓存的硬上限，它不会因为卡上有更多内存而增长。一个 FP16 的 8B 模型，光权重就大约 16 GB，还没加任何上下文，所以无论哪个驱动，它都放不进 B50 的一个虚拟功能。量化到 Q4，一个 8B 模型大约 4 GB 就放得下，给上下文留出几 GB，这能用，但离这张卡不切分时能做到的差得远。\n所以两种负载在争同一份内存，而切分在它们任何一个开始之前就已经在固件里定好了。\n如果活是 AI，就别切分这张卡。 把整张卡直通给一台虚拟机，就是本文前面更新固件时用的那个 hostpci0 直通，或者在主机上跑容器，这个负载就别虚拟化了。两种方式都能把全部 16 GB 和完整的 XMX 阵列交给模型。\n如果活是 VDI，虚拟功能就是对的，每个虚拟功能后面期待的是桌面图形，而不是一台推理服务器。 硬件加速的桌面、视频播放和编码都能用。这正是这个机制在文档里写明的用途。\n值得直说：没有公开证据并不证明它不行。xe 驱动通过 Level Zero 和 OpenCL 暴露计算能力，一台以 VF 为后端的客户机完全有可能把这些顺利跑起来。但 Intel 没有任何说法表明它经过验证，似乎也没有人展示过它能用，而且就算能用，内存上限也限制了收益。这不是可以拿来做规划的东西。\n它依然值什么 两个虚拟功能，就是一张卡上的两个硬件加速 Windows 桌面，没有 vGPU 许可证，没有订阅，没有许可证服务器。而且是在一个运行起来零成本的虚拟化平台上。 这足以证明这个思路行得通，而这正是 B50 该老老实实干的活。它是这个系列的最低档。\n如果是真正的 VDI 部署，我会选双 B60。\n一个插槽十四个功能，如果每颗芯片表现得像一张单独的 B60，就让它进入了和那些专为这种负载销售的 NVIDIA 卡同等的席位数范围，价格低得多，而且没有任何按用户计的许可。 最后这一点是会不断累加的。NVIDIA 的 vApps、vPC 和 RTX vWS 全都按并发用户授权，要么是年度订阅，要么是永久许可证，但必须同时购买五年的支持与维护订阅。每一个席位都是一行账目，而且年年都会再来。 在 Intel 这边没有对应的那一行。你买下这张卡就完了。\n而从长远看，机制才是要紧的部分。GPU 上的 SR-IOV 是一项 PCIe 能力，不是一个产品档次，所以 tmpfiles.d 文件只需要跟着卡允许的数量增长。\n它的形状是一次 sriov_numvfs 写入，然后每个功能一次解绑加一次绑定，所以两个功能是五行，上面那九行是在一张只给两个功能的卡上请求了四个。七个功能是十五行。双 B60 是三十行，因为每颗芯片都是自己的物理功能，各有自己的 sriov_numvfs 写入。\n规模扩大时，别的啥都不变。那个文件里，任何时候都不会冒出一台许可证服务器。\n参考资料 Intel support — why the latest Arc Pro B50 firmware shows 2 SR-IOV VFs — 权威说法：从驱动 32.0.101.8306 中的图形固件 BMG__21,1162 起正式启用 SR-IOV，B50 上两个 VF，每个 8 GB VF Local Memory BAR，最大 VF 数和 BAR 大小在 IFWI 层面设定，没有公开工具可以修改 Intel Community — “Why did the latest Intel Arc Pro B50 firmware nerf SR-IOV VFs from 12 to 2?” — 正式支持前给出 12 个 VF 的固件，恢复这一数量的 32.0.101.6979 回退，以及 Intel 给出较低默认值的理由 Level1Techs — B60 SR-IOV support in the Arc Pro drivers — B60 的实地 lspci 报告，暴露出这项能力的 igsc 固件更新，以及先 24 后 7 这组数字的来源 Level1Techs — B50, B60 or B70 for SR-IOV — 按卡和按固件报告的 VF 数，B70 各行的来源 ASRock — Intel Arc Pro B65 Creator 32GB — B65 的规格：32 GB GDDR6、20 个计算单元、160 个 XMX 引擎、256 位、PCIe 5.0 MAXSUN — Arc Pro B60 Dual 48G Turbo — 厂商自己的说法，这张卡 “uses PCIe 5.0 x8 + x8 interfaces and runs efficiently on consumer platforms that support PCIe x16 lane bifurcation” vLLM — Fast and affordable LLM serving on Intel Arc Pro B-Series — 这些卡上的 AI 故事，以及它是一个在四张和八张整张 B60 上跑的裸金属 Docker 故事，完全没有提到 SR-IOV 或虚拟功能 Linux kernel — Intel Xe driver — 按 lspci -v，卡上正在使用的驱动 tmpfiles.d(5) — w 行类型，以及决定了上面顺序的 “if the file exists” 条件 NVIDIA Virtual GPU Software Packaging, Pricing and Licensing Guide — 这套设计所避开的需许可方案：vApps、vPC 和 RTX vWS 全部按并发用户销售，形式为年度订阅，或捆绑五年支持与维护的永久许可证 Proxmox VE — PCI(e) Passthrough — 主机侧的直通要求 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/licence-free-vdi-intel-arc-pro-sriov/","summary":"Intel 的 Arc Pro 卡原生支持 SR-IOV，不用买 vGPU 许可证，这让在 Proxmox 上做免许可证的 Windows VDI 真正成为可能。本文给出在 B50 上的完整搭建过程、必须先有 Windows 的引导难题、为什么固件把它限制在两个虚拟功能，以及 B 系列每张卡各能给你多少个。","title":"在 Proxmox 上用 Intel Arc Pro B50 做免许可证的 Windows VDI，以及卡住它的固件限制"},{"content":"你不用买的那台交换机 一个跑 Ceph 的三节点 Proxmox 集群，节点之间需要快速网络。 常见的答案是一台 100 Gbit 交换机，常见的反对理由是它的价格。\n对三个节点还有另一个答案：把它们直接互连成三角形，在上面做路由。 存储路径上根本没有交换机。\n任何设计里最便宜的部件，就是你没买的那个，也只有它永远不会坏。\n这换来了四样东西。\n交换机的成本没了。 你需要的是网卡和三根线，而不是一台端口数相配的 100 或 200 Gbit 交换机。\n数据路径没有单点故障。 一台交换机坏了或者重启，整个集群的东西向流量就跟着没了。 直接互连的节点不在乎楼里别处的交换机出了什么事。\n重流量走自己的线。 实时迁移和 Ceph 复制留在网格上，不和办公、管理流量抢。\n扩容是接线的活，不是端口预算的活。 没有一个中心设备充当带宽或端口数的天花板，所以只要每台服务器还有空闲 PCIe 插槽，这个网络就能长。OpenFabric 会自己在新链路上做路由。\n还有一个老实话里的限制，因为它比那四个好处更重要。 全网格需要每两个节点之间都有一根线。 三个节点三根线。四个节点六根。五个节点十根。 接线增长得比节点数快，这个设计撑不过小集群，再往上就得换成有交换机的方案，比如 leaf-spine。\n三个节点正是全网格合理的地方。再往上，每个节点只有两个网格端口，你还能搭的是一个环，而它需要一样这次搭建本来避开的东西，下面会讲。\n搭出来的是什么 三台 Proxmox VE 主机，每台有两个专用的 100 Gbit 接口，接成三角形，这样每个节点都有两个直接邻居。\nProxmox SDN 负责路由。 协议是 OpenFabric：它算出网格上的最佳路径，拔掉一根线或者一条链路掉了，它就通过剩下的路径重新路由。不需要任何人登录。\n这个网络在 10.10.10.0/24 里，专门留给网格，别的什么都不用：不做管理，不给客户机，不做存储寻址，也不对外。\n节点 网格地址 网格接口 mesh1 10.10.10.1/32 nic1, nic2 mesh2 10.10.10.2/32 nic1, nic2 mesh3 10.10.10.3/32 nic1, nic2 每个节点得到一个 /32，而不是子网的一段。 这正是路由网格而非桥接网格的意义所在。地址标识节点，OpenFabric 通告它，两条物理链路只是到达它的路径。 Proxmox 会创建一个 dummy 环回接口来承载它。\n三节点三角形，以及每根线接在哪块网卡上 2.5 Gbit 交换机 管理 + 客户 mesh1 10.10.10.1/32 mesh2 10.10.10.2/32 mesh3 10.10.10.3/32 DAC-01 nic1 ↔ nic1 DAC-03 nic2 ↔ nic2 DAC-02 mesh2 nic2 ↔ mesh3 nic1 nic0 nic0 nic0 每个节点都直达另外两个，所以网格里每一跳都只有一跳。虚线的 nic0 链路是 独立的 2.5 Gbit 管理路径：从不属于网格，也正因为它，网格坏了 你仍然能登录。 三根线，六个端口，到每个节点都有两条路径。随便拔掉一根线，每个节点仍然可达：剩下两条链路组成一条链，OpenFabric 会绕过去路由。 接线 有源光纤 DAC 线缆，接成三角形，每个节点的两个网格接口都开启巨型帧。\n线缆 从 到 DAC-01 mesh1 nic1 mesh2 nic1 DAC-02 mesh2 nic2 mesh3 nic1 DAC-03 mesh3 nic2 mesh1 nic2 选有源光纤而不是铜缆 DAC，有两个理由，都关乎机柜而不是网络：\n理线。 有源光纤 DAC 比铜缆细得多，也软得多，走线整齐，不会在服务器背后堆成一团。 风道。 机箱背后的线少了，对前进后出风道的干扰就少，几条高速链路落在同几个 U 里时，这一点很要紧。 两张网，不是一张 网格不是唯一的网络，也绝不能变成唯一的网络。\n每个节点的 nic0 接在一台 2.5 Gbit 交换机上，在 Proxmox 里呈现为 vmbr0 网桥。 它承载 Web 界面、管理访问和客户流量。它也是你搭建网格时用的路径，所以它必须独立于网格。\nnic0 被刻意排除在网格之外。 创建网格节点时只选 nic1 和 nic2。\n网格承载三样东西：\nCeph。 超融合存储的节点间复制、恢复和回填。 客户虚拟网络。 基于 VXLAN 的 VNet 把客户机网络延伸到三个节点上，用路由网格做底层。 Corosync，作为第二条路径。 集群成员流量同时走管理网络和网格，这样仲裁不依赖其中任何一条单独存活。 什么走管理网络，什么走网格，以及两边都走的那一样 2.5 Gbit 管理网络 nic0 → vmbr0 → 交换机 Proxmox Web 界面 管理访问 面向客户的流量 100 Gbit 路由网格 nic1 + nic2 → 直连 DAC，无交换机 Ceph 复制、恢复、回填 VXLAN 客户虚拟网络 实时迁移 Corosync：两条路径 集群成员关系不依赖任何一张网单独存活。 分离本身就是设计。不管 100 Gbit 接口处于什么状态，管理始终可达， 正因如此，从 Web 界面搭建网格、以及回滚网格， 才是安全的。 只有 Corosync 两边都走。其他每样东西都只有一个归宿，而管理访问是你在改动另一张网时必须一直能用的那个。 值得写进变更单的规则：不管 100 Gbit 接口处于什么状态，管理和客户访问都始终通过 2.5 Gbit 交换机保持可用。\n全部通过 Web 界面 这次搭建完全在 Proxmox Web 界面里完成。 这是有意的选择，不是工具的限制。\n刻意不用的：\n手工编辑 /etc/network/interfaces。 手工编辑 FRR 配置文件。 用 vtysh 作为搭建方法。 Proxmox 根据你定义的 SDN 对象生成底层网络和路由配置。 如果某样东西确实没法在界面里设置，那应该把它作为前提条件明确指出来，而不是在命令行上悄悄修好。下一个打开 Web 界面的人不会知道你做过什么。\n下面出现的命令行输出只作为证据，绝不是搭建步骤。\n搭建过程 1. 打开 Proxmox Web 界面，进入 Datacentre → SDN → Fabrics。\n2. 添加网格。给它起名，填上网格前缀，设置计时器。\nHello 和 CSNP 间隔设为 1，在有变化时尽快更新状态，这正是这么小的网络想要的。 代价是控制面的消息更多。在三个节点、每个两条链路的规模上无关紧要，如果网络哪天长大了，值得再想一想。\n3. 用 Add node 添加每个节点。从网格范围里给它一个地址，勾上参与的接口。\n注意没勾的是什么：nic0 留在外面，vmbr0 保留管理地址。 前两个节点用 Create another，最后一个用 Create。\n4. 应用之前先检查结果。\n三个节点，三个地址，每个都是 nic1, nic2，全部标着 new，还什么都没写入。\n5. 应用 SDN 配置。\nApply 旁边有一个 Dry-Run，如果你想先看看它打算做什么的话。\n怎么知道它成了 状态视图里，三个节点的 zone 和 fabric 条目都应该是 ok，也没有剩下待应用的改动。\n然后从某个节点自己的角度检查网格。 先看路由：每个节点都应该有到其他每个节点的 /32，Via 列告诉你它用的是哪个邻居。\n再看邻居。三节点三角形上有两个，都是 Up。\n然后是接口，这里能看出整个东西的形状：dummy_Mesh 作为承载路由器地址的环回接口，nic1 和 nic2 是 Point-To-Point 而不是广播网段。\n最后，端到端证明它。\n没有丢包，平均 0.134 ms 和 0.141 ms。 两个邻居都只隔一个直连跳，这正是三角形给你的。\n值得做、却没有截图能显示的检查：拔掉一根线，确认一切仍然可达。 这正是选择路由网格而不是一对点对点链路的全部理由。因此，这是唯一要紧的测试。\n超过三个节点：环 三角形就是全网格。每个节点到其他每个节点都有直连线，每一跳都只有一跳，没有哪个节点会承载不属于自己的流量。\n这个特性是每节点两个网格端口在三个节点时换来的，到了四个节点就正好失去。不是失去一部分，是全部。四节点全网格每台需要三个端口。只有两个的话，你最多能接成一个环。\n环改变了流量模型。相邻节点仍然有直连线，但环上相对的两个节点没有，它们的流量必须穿过一个中间节点。而那个节点必须愿意在它的两个网格接口之间转发数据包，Linux 默认不会这么做。内核文档把 ip_forward 描述为“Forward Packets between interfaces”，并且“Default: 0 (disabled)”。\n四节点环：相对的节点之间没有线，由一个节点替它们转发 mesh1 10.10.10.1 mesh2 转发 mesh3 10.10.10.3 mesh4 10.10.10.4 mesh1 → mesh3 两者之间没有线 所以经过 mesh2 中转节点 在 nic1 和 nic2 之间转发 4 节点全网格 6 根线，每节点 3 个端口 无中转，无转发 环：4 根线，2 个端口， 所以你才读到这里 六对节点中有两对没有直连线。它们的流量由邻居承载，也就是说 邻居的链路除了自己的 Ceph 复制，还要承载别的节点的， 这是三角形没有的代价。 mesh1 到 mesh3 没有线。它的流量穿过 mesh2 或 mesh4，而那个节点之所以转发，只是因为在流量进入的两个接口上开启了转发。 只为网格接口打开它，别的不开：\n# /etc/sysctl.d/99-mesh-forwarding.conf net.ipv4.conf.nic1.forwarding = 1 net.ipv4.conf.nic2.forwarding = 1 sysctl --system 读回来确认，而不是想当然：\nsysctl net.ipv4.conf.nic1.forwarding net.ipv4.conf.nic2.forwarding 按接口设置在这里是正确的范围，而且它单独就能生效。全局的 net.ipv4.ip_forward 不是前提条件。内核的转发判断读的是接收接口自己的值：\n#define IN_DEV_FORWARD(in_dev) IN_DEV_CONF_GET((in_dev), FORWARDING) IN_DEV_CONF_GET 返回的是该设备自己的设置，而不是和全局设置做与运算。所以 nic1 和 nic2 为网格转发过境流量，而 nic0 和 vmbr0 保持它们应有的样子：不做路由的主机接口。打开全局开关会让这台机器上的每个接口都变成路由器，包括面向你办公网络的那个。这个设计压根不需要这个。\n关于全局 IPv4 开关，即使你不设置它，也有一件事要知道：net.ipv4.ip_forward 是一个批量设置项，所以内核文档警告说改变它会“resets all configuration parameters to their default state”。如果主机上有任何别的东西写了它，就会覆盖这些按接口的值。在你花一下午琢磨为什么过境流量不通之前，值得知道这一点。\nIPv6 是例外，也是唯一需要全局开关的地方。 内核文档在 conf/all/forwarding 下直接这么说：\nEnable global IPv6 forwarding between all interfaces. IPv4 and IPv6 work differently here; the force_forwarding flag must be used to control which interfaces may forward packets.\n所以 IPv6 没有上面那种整洁的按接口做法。如果网格承载 IPv6，你就全局开启转发，然后用 force_forwarding 限定范围，文档里写的是“Enable forwarding on this interface only — regardless of the setting on conf/all/forwarding”。注意同样的覆盖行为反过来也成立：把 conf.all.forwarding 设为 0，会重置每个接口上的 force_forwarding。\n上面的搭建把网格的 IPv6 前缀留空了，所以这些在这里都不适用，只有你加上一个时才要紧。\n注意转发没有改变什么：OpenFabric 本来就在通告每个节点的 /32，本来就在算出穿过环的路径。转发是缺失的许可，不是缺失的脑子。路由表一直都是对的，只是内核不肯当路由器而已。\n和三角形相比，环的代价：\n过境流量。 在四节点环上，两对对角节点要穿过一个中间节点，所以它们的流量除了占用自己的链路带宽，还占用那个节点的。Ceph 最先察觉，因为复制是全对全，而不是只在邻居之间。 多一跳的延迟，在这些路径上，叠加在无交换机设计通常的亚毫秒数字之上。 故障余量更小。 断一条链路，环就变成链：仍然全连通，但路径更长，过境更多。再断一条，集群就被分割。三角形断一条也完全没有过境流量。 而且它变糟的方式画出来比说出来容易。加上第五个节点，集群里每两个节点里就有一半要靠别人转发：\n五节点环：一半的节点对要靠别人转发 mesh1 mesh2 mesh3 mesh4 mesh5 有线：直连，一跳 无线：需要邻居转发 五个节点，各两个端口 共 10 对节点 5 对有直连线 5 对没有，经邻居中转 每个节点现在都要转发 不属于自己的流量。 换成全网格？ 10 根线，每节点 4 个端口 每台服务器多两块网卡， 设计就到此为止了。 三个节点时没有中转。四个节点时有两对。五个节点时一半都要中转，而且 断一处，每条路径都变长。 十对节点，五根线。虚线是之间没有线的节点对：每一对都是 Ceph 流量穿过第三个节点的链路。能避免这一点的全网格要求每台服务器四个端口。 这才是这个设计真正的天花板，而且不是路由协议。OpenFabric 应付得很好。问题在于每节点的端口数是固定的，所以超过三个节点后，每多一台机器，就把你更多的流量变成别人的过境流量。\n还有一句老实话，因为对一个到这里为止都只用 Web 界面的搭建来说它很重要：sysctl 不是 Web 界面里的操作。 按照前面立下的规则，这让它成为一个要明确指出的前提条件，而不是在命令行上悄悄修好的东西。把它写进运维手册，因为下一个打开 SDN 面板的人会看到一个健康的网格，却看不到任何提示说明这个环依赖 /etc/sysctl.d 里的一个文件。\n撤销它 拆除就是把搭建倒过来，在同一个界面里：删除为网格创建的 SDN 对象，应用配置，确认管理访问没受影响。\n最后这一步正是 nic0 和 2.5 Gbit 交换机存在的原因。 如果回滚网格可能让你失去 Web 界面，那这个设计在你动手之前就已经错了。\n动手之前 管理访问确实独立于网格。去检查，不要想当然。 任何 SDN 改动之前，三个节点都是健康的。 节点名、接口名和接线都写下来，因为一台主机上的 nic1 在另一台上是 nic2，那会是个糟糕的下午。 两个网格接口都设置了巨型帧，并且 MTU 考虑了 VXLAN 在底层上的开销。 网格地址范围已经保留，别处没有在用。 参考资料 Proxmox VE — Software-Defined Network — SDN Fabrics 文档。Fabrics “provide automated routing between nodes in a cluster”，OpenFabric “based on IS-IS and optimized for the spine-leaf topology common in data centers”，每个节点需要唯一的 Router-ID，并且 “a dummy \u0026rsquo;loopback\u0026rsquo; interface with the router-id is automatically created” Proxmox VE — Cluster Manager — Corosync 网络和冗余链路，双路径成员设计的依据 Proxmox VE — Deploy Hyper-Converged Ceph Cluster — 超融合集群对网络的要求 Linux kernel — IP sysctl documentation — ip_forward 及其默认值 0、按接口的 forwarding 控制，以及改变全局开关会重置按接口配置的警告 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/proxmox-routed-mesh-sdn-openfabric/","summary":"三台 Proxmox 节点直接互连成一个三角形，OpenFabric 在网格上做路由，Ceph 和 VXLAN 客户网络跑在上面。全部在 Web 界面里完成，并且坦白这个设计在哪里不再能扩展。","title":"用 SDN OpenFabric 搭一个无交换机的 Proxmox 网格：不买 100G 交换机也能跑 Ceph 和客户网络"},{"content":"照抄启动行的问题 搜索 Proxmox 调优，你会找到一条长长的 GRUB_CMDLINE_LINUX，作为一个整体呈现，完全不说明哪个参数用在哪里。\n这比听起来要紧。虚拟化主机和客户机要解决的问题恰好相反。\n主机想要对真实硬件的确定性访问：IOMMU 行为、PCIe 链路状态、物理空闲状态。客户机则想干脆别再假装自己有硬件：它的定时器是近似值，它的空闲状态是虚构的，它的卡顿通常是别人的调度器造成的。因此，同一个参数可能在一侧正确，在另一侧毫无意义，偶尔还有害。\n下面是每个参数真正该放的位置。\n每个内核启动参数属于哪里 仅主机 真实硬件在这里 iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=… pcie_aspm=off pci=pcie_bus_perf → 有 USB4 则用 pcie_bus_safe processor.max_cstate=1 Intel 上另加 intel_idle.max_cstate amd_pstate=disable 同时设定调速器 客户机没有 PCIe 链路， 没有 C 状态，也没有 cpufreq。 仅客户机 别再假装它是硬件 cpuidle.off=1 客户机的空闲状态是虚构的 nmi_watchdog=0 被调度出去的 vCPU 会触发它 softlockup_panic=0 卡住是主机的锅 别动 kvm-clock。 不要强制 tsc 或 hpet， 计数器不归你管。 这三个在主机上 含义各不相同， 其中两个会让你 付出实际代价。 两边都有，理由不同 同一参数，分别决定 mitigations=off 主机：客户机到主机的泄漏 客户机：进程隔离 default_hugepagesz + hugepages 主机：支撑客户机内存 客户机：支撑某个应用 只选一层，别两层都上 watchdog_thresh / nowatchdog 主机：你接受的噪声 客户机：从来不可信 “两边都有”不是说 两处都要设置。 而是说这个决定 要做两次。 两边都不要：毫无作用 amd_iommu=on 不是有效选项；内核记下 “Unknown option - 'on'” 后照常运行 consoleblank=0 本来就是内核默认值 照抄来的启动行里如果有其中任何一个，说明它从没对照 /proc/cmdline 核实过， 而这是最省事的检查， 也能顺带发现改错引导程序的错误。 流传的参数，分好类。其中两个流行参数在哪一侧都不起作用，而看门狗那一行确实需要判断，而不是一条规则。 首先：你改的文件对吗？ 以 ZFS 为根文件系统安装的 Proxmox 用 systemd-boot 启动，这时 /etc/default/grub 没有任何东西去读。改了它再重启，不会有变化，也不会报错。白白浪费一个钟头，叫人恼火。\nproxmox-boot-tool status # tells you which bootloader is in use # systemd-boot: edit /etc/kernel/cmdline, then proxmox-boot-tool refresh # GRUB: edit /etc/default/grub, then update-grub 无论哪种，都要验证，别想当然：\ncat /proc/cmdline 在 GRUB 那边，要用 GRUB_CMDLINE_LINUX_DEFAULT，而不是 GRUB_CMDLINE_LINUX。后者作用于每一个启动项，包括恢复模式，而恢复模式恰恰是你想要原厂行为的时候，不是关掉缓解措施、钉死 C 状态的时候。\n主机那一行 IOMMU 与直通 iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction iommu=pt 让 IOMMU 进入直通模式：分配给虚拟机的设备经过地址转换，主机自己的设备绕过转换。它是真实存在的，在 arch/x86/kernel/pci-dma.c 中处理，那里调用了 iommu_set_default_passthrough(true)。内核文档说它等同于 iommu.passthrough=1。\namd_iommu=on 根本不存在。 这是 Proxmox 教程里被抄得最多的不存在的参数。内核的 parse_amd_iommu_options() 接受 fullflush、force_enable、off、force_isolation、pgtbl_v1、pgtbl_v2、irtcachedis、nohugepages 和 v2_pgsizes_only。其他任何值都落到这里：\npr_notice(\u0026#34;Unknown option - \u0026#39;%s\u0026#39;\\n\u0026#34;, str); 只要固件声明支持，AMD-Vi 默认就是启用的。查一查你自己的日志，就会发现这个参数从来没干过人们归功于它的那件事：\ndmesg | grep -i \u0026#34;AMD-Vi\\|Unknown option\u0026#34; amd_iommu=pgtbl_v2 是 有效的：它选择 v2 DMA 页表格式，与 CPU 的页表结构共用，而不是用 AMD 自己的格式。有两点要知道：文档把它的作用范围限定在 DMA-API，也就是主机自己的设备域，而不是直通所用的 VFIO 域；而且它失败时是安全的，会留下一行日志，你应该去检查：\nif (amd_iommu_pgtable == PD_MODE_V2) { if (!amd_iommu_v2_pgtbl_supported()) { pr_warn(\u0026#34;Cannot enable v2 page table for DMA-API. Fallback to v1.\\n\u0026#34;); amd_iommu_pgtable = PD_MODE_V1; } } 所以在主机侧 IO 很重的节点上值得测一测，也值得确认你真的用上了它。\npcie_acs_override=downstream,multifunction 是 Proxmox 的树外补丁。它通过声称硬件并未声明的隔离来拆分 IOMMU 组，正是这一点让消费级主板上的直通成为可能。它同时也正好是在告诉内核一件关于拓扑的不实之事。如果这台机器上的客户机和主机一样可信，没问题。否则就不行。原因在 IOMMU 税那篇文章 里有更多讨论。\n延迟与抖动 pcie_aspm=off processor.max_cstate=1 amd_pstate=disable pcie_aspm=off 让 PCIe 链路不进入低功耗状态，这样到来的 IO 永远不必等链路醒来。每条链路要多花几瓦，换来的是去掉一条很难诊断的延迟长尾。见 PCIe ASPM 与直通。\nprocessor.max_cstate=1 把 ACPI 空闲状态限制在 C1。注意是哪个驱动：这是 processor/acpi_idle 的开关，所以在 Intel 上你还需要 intel_idle.max_cstate=1，因为 intel_idle 优先。在 AMD 上用这个就对了。\n确实存在反方观点。空闲核心进入深度睡眠，正是封装获得散热和功耗余量、让繁忙核心加速的来源，所以把一切钉在 C1 可能 降低 你的单线程峰值频率，同时提高空闲功耗。在对延迟敏感的主机上，这笔交易通常值得。在追求吞吐量的主机上就未必。去测量它，别照单全收。\namd_pstate=disable 会退回到 acpi-cpufreq。动用它之前，先了解有文档的替代方案：passive（驱动请求一个性能等级）、active（EPP 驱动，偏向性能或能效）和 guided。偏向性能的 active，或者 passive 加 performance 调速器，往往能得到同样的延迟，同时保留 CPPC 更精细的控制。如果你确实禁用了它，就有意识地选一个调速器：落到 acpi-cpufreq 加 schedutil 上，可能是在倒退。\n内存 default_hugepagesz=1G hugepages=64 单独一个 default_hugepagesz=1G 什么也不保留。 内核文档说它设置的是“the size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs”，是一个 单位，不是一次分配。分配来自 hugepages=，文档写的是“Number of HugeTLB pages to allocate at boot”。\n这对 1 GiB 页比对 2 MiB 页重要得多，因为主机一旦运行了一段时间、内存碎片化之后，连续的 1 GiB 区域实际上已经拿不到了。启动时是你唯一靠得住的机会。\n然后客户机还得主动选用（在虚拟机配置里写 hugepages: 1024）。保留了却没人用的页，就是你拿不回来的内存，而且使用它们的虚拟机会失去 ballooning 和 KSM。\n安全上的取舍 mitigations=off 这不是一个开关。内核把它展开成一个列表，在虚拟化主机上，要紧的是这些条目：\nl1tf=off mds=off mmio_stale_data=off kvm.nx_huge_pages=off gather_data_sampling=off retbleed=off spec_rstack_overflow=off nospectre_v2 nopti indirect_target_selection=off 内核自己的总结是“improves system performance, but it may also expose users to several CPU vulnerabilities”。L1TF、MDS 和 MMIO stale data 专门是客户机到主机、客户机到客户机的泄露路径，而 kvm.nx_huge_pages 是 KVM 自身内部针对 iTLB-multihit 的缓解措施。\n在单租户机器上，如果每台客户机都和主机一样可信，这说得过去。在客户机不可信或属于不同租户的地方，说不过去。还要注意它会和 pcie_acs_override 叠加：同一行里拿掉了两项相互独立的隔离保证。要做就有意去做，别因为继承而做。\n走 USB4 的 PCIe 会改变其中两项 如果你的 PCIe 设备是通过 USB4 或 Thunderbolt 接进来的，比如外置 GPU 或 NVMe 硬盘盒，上面有两个答案会变。\nMPS 调优不再是白赚 在固定插槽上，pci=pcie_bus_perf 是一个白赚的小收益。内核对它的描述是：\nSet device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.\n问题在于它 在启动时 根据启动时存在的拓扑配置桥。走 USB4 时热插拔是常态，后来加入的设备支持的 MPS 可能比桥已经设定的值更小。\n内核在宣传另一种策略的时候，把不便明说的话说了出来：\npcie_bus_peer2peer — Set every device\u0026rsquo;s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.\n只有一种策略带着这个保证，而它恰恰是把一切钉死在 128 字节的那种，正是 MaxPayloadSize 调优 想要摆脱的东西。对于热插拔拓扑，pcie_bus_safe（根复合体下所有设备都支持的最大值）或者干脆保持 tune_off，是更安全的起点。隧道自己的交换芯片本来就会限制可达到的 MPS，所以这个上限从来就不由你来抬。\n为什么热插拔改变了 MPS 策略的答案 启动时，pcie_bus_perf\u0026#160;按它能看到的设备配置桥 桥：MPS 512 设备 A · 512 设备 B · 512 启动时在场 热插入 · 只支持 256 不匹配 不会重新协商 在机箱里这从不发生，启动时的拓扑就是永远的拓扑。在 USB4 端口上， 这却是常态。 四种策略，以及内核认定哪一种对热插拔安全 pcie_bus_tune_off 不动 BIOS 设的值 pcie_bus_safe 根复合体下所有设备都支持的最大值 pcie_bus_perf 逐设备取父总线允许的最大值，另加 MRRS pcie_bus_peer2peer 处处 128 B， “guarantees that hot-added devices will work” 只有一种策略带这个保证，而它恰恰扔掉了你 正在调的负载大小。 桥只在启动时根据当时存在的设备配置一次。之后的一切都得接受这个决定，在机箱里没问题，在端口上就不行。 安全上的叠加变得严重 外接 PCIe 意味着有人可以把一个能做 DMA 的设备插进你的虚拟化主机。内核的 Thunderbolt 文档说得很直接：\n…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.\nIOMMU 是防线。现在数一数主机那一行对它做了什么。iommu=pt 让主机拥有的设备使用不做转换的恒等域，pcie_acs_override 声称了并不存在的隔离，mitigations=off 关掉了客户机隔离的缓解措施。每一项单独看都说得过去。放在一台 USB4 端口伸手可及的机器上，它们就叠加起来了。\n看看你处在什么位置：\ncat /sys/bus/thunderbolt/devices/domain*/security # none | user | secure | dponly | usbonly 在那条启动行旁边看到 none，就是门户大开。如果端口能被你不会给 root 的人碰到，iommu=pt 是我会最先重新考虑的东西。\n客户机那一行 这些参数属于虚拟机 内部，其中三个在这里的含义和在主机上不一样。\nnmi_watchdog=0 softlockup_panic=0 cpuidle.off=1 cpuidle.off=1 关闭 cpuidle 子系统。在客户机里这几乎没有代价：客户机的空闲状态是模拟出来的，没有物理核心可以让它睡眠，所以这个框架带给你的只有唤醒延迟。在主机上，同一个参数是实打实的功耗和加速余量的交换，而且和 processor.max_cstate=1 重叠。只用在客户机侧。\nsoftlockup_panic=0 阻止软锁死让客户机 panic。这在虚拟机里确实有保护作用，因为那里的软锁死常常不是客户机的错。一个被调度出去的 vCPU，看上去和一个拒绝让出 CPU 的任务一模一样。这和 为什么虚拟机的时钟不可信 背后是同一个机制。不过先查一查你是否需要它。在大多数构建里它默认就是 0。\nsysctl kernel.softlockup_panic nmi_watchdog=0 是最有意思的那个，它值得的不只是一条规则。\n看门狗问题 有两个检测器共用一个阈值：\nwatchdog_thresh= — Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.\n硬锁死（nmi_watchdog）在一个 CPU 完全不再接收定时器中断时触发。软锁死在一个任务霸占 CPU 两倍时长而不发生调度时触发。\n在客户机里，关掉硬锁死检测器是对的。 被调度出去的 vCPU 可能在自己毫无过错的情况下触发它，而检测器的性能计数器工作会为一个纯属噪音的信号引发虚拟机退出。\n在主机上这需要判断，取决于你实际在追的是什么噪音。 超额分配饿着的是客户机，不是主机内核：无论虚拟机塞得多满，主机的物理 CPU 都在继续接收中断。所以繁忙的虚拟化主机打出来的日志噪音，绝大多数是 软锁死和 RCU stall 消息，而不是 NMI 硬锁死报告。如果噪音是这些，nmi_watchdog=0 让它安静不了，softlockup_panic=0 也不行：后者阻止的是 panic，不是消息。\n有针对性的开关是：\nwatchdog_thresh=30 # hard 30s, soft 60s — scale to taste nowatchdog # honest single flag: disables both detectors sysctl -w kernel.soft_watchdog=0 # runtime, keeps hard-lockup detection 在繁忙的主机上关闭硬锁死检测器，还有一个独立而且更好的理由，和噪音毫无关系：它在每个 CPU 上占用一个硬件性能计数器。 这就是为什么这个参数接受 rNNN 来配置一个原始 perf 事件。如果你在做基于 PMU 的性能剖析，或者运行一台刻意超额分配的机器，已经把延迟波动当作密度的代价接受下来，那么把这个计数器还回来是合理的交换，而你有意签下的那些小卡顿也算不上事故。\n只是要为了这个理由做选择，而不是为了噪音的理由，因为两个理由只有一个是真的。\nconsoleblank=0 什么也不做。 内核文档对控制台空白超时的描述是“A value of 0 disables the blank timer. Defaults to 0.”它本来就是关的。无害，但它是常见流传参数里第二个毫无作用的，带着它，会让一条被抄来抄去的启动行看起来像是深思熟虑过。\n速查：每个参数属于哪里 参数 主机 客户机 说明 iommu=pt 是 否 主机拥有 IOMMU。只有在客户机里用 vIOMMU 做嵌套直通时才适用 amd_iommu=pgtbl_v2 是 否 主机的 DMA-API 域。确认你拿到的是 v2，而不是退回的 v1 amd_iommu=on — — 不是有效选项。 内核会记录“Unknown option - \u0026lsquo;on\u0026rsquo;” pcie_acs_override=… 是 否 Proxmox 补丁，只关乎主机拓扑。设计上就削弱隔离 pcie_aspm=off 是 否 客户机里没有真实的 PCIe 链路；物理链路归主机 pci=pcie_bus_perf 是 不可靠 主机在线路上设定 MPS。如果设备走 USB4 接入，改用 pcie_bus_safe processor.max_cstate=1 是 否 真实的空闲状态属于主机。Intel 上加 intel_idle.max_cstate=1 amd_pstate=disable 是 否 客户机不控制 CPU 频率 cpuidle.off=1 谨慎 是 在客户机里没有代价。在主机上会损失加速余量，并与 max_cstate 重叠 nmi_watchdog=0 需判断 是 在客户机里是对的。在主机上，为了 PMU 计数器去做，而不是为了噪音 softlockup_panic=0 否 是 客户机卡顿常常是主机调度器造成的。通常本来就是默认值 consoleblank=0 — — 无操作。 内核默认值本来就是 0 mitigations=off 两边 两边 两边都有效，风险算法不同：主机上是客户机到主机的泄露，客户机里是进程隔离 default_hugepagesz + hugepages= 两边 两边 主机：为虚拟机内存提供后备。客户机：虚拟机里某个需要它的负载。目的不同，参数相同 watchdog_thresh= / nowatchdog 两边 两边 主机：让你已经接受的卡顿安静下来。客户机：这个检测器从来就不可信 确实有三个属于两边，而且值得说清楚：“两边”并不意味着“出于同样的理由”：\n主机上的 mitigations=off 关乎客户机到主机、客户机到客户机的泄露。在客户机里，它关乎该虚拟机内部的进程隔离。你完全可以在一处关掉它，另一处不关。 主机上的 大页 为客户机内存提供后备；在客户机里它们为某个应用提供后备。为同一块内存保留两次是浪费，所以要决定是哪一层需要它们。 看门狗调优 在主机上是噪音问题，在客户机里是正确性问题。 其余的一切都只属于一边，而其中两个根本算不上选择。\n两条启动行 主机，一台做直通的 AMD 机器，单租户：\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off\u0026#34; 如果有任何东西走 USB4 接入，把 pci=pcie_bus_perf 换成 pcie_bus_safe。如果客户机不全是你的，去掉 mitigations=off。在 Intel 上，intel_iommu=on 取代 AMD 的参数，intel_idle.max_cstate=1 加入 C 状态限制。\nLinux 客户机：\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1\u0026#34; 并且在客户机里别动 kvm-clock：不要强制使用 tsc 或 hpet。半虚拟化时钟之所以存在，正是因为那些计数器不归你。这就是 虚拟机计时那篇文章 的全部论点。\n该删掉什么 如果你从论坛帖子里继承了一条启动行，最先该删的是这两个，因为删掉它们一分钱不花，而它们证明这条启动行从来没被测试过：\namd_iommu=on：不是有效选项；内核记录“Unknown option - \u0026lsquo;on\u0026rsquo;”然后照常运行 consoleblank=0：本来就是默认值 然后在重启后对照 /proc/cmdline 检查剩下的。那一行上的每个参数，都应该是你说得出理由的。\n如果你说不出一个参数是干什么的，那就不是调优。那是迷信。而且它会被某个信任你的人抄进下一次构建。\n参考资料 Linux kernel — the kernel\u0026rsquo;s command-line parameters — mitigations=、default_hugepagesz=、hugepages=、watchdog_thresh=、nowatchdog、consoleblank=、processor.max_cstate=、amd_pstate=、amd_iommu= 以及 pci=pcie_bus_* 各项策略 Linux kernel source — drivers/iommu/amd/init.c — parse_amd_iommu_options()，以及退回 v1 的 v2 页表能力检查 Linux kernel source — arch/x86/kernel/pci-dma.c — iommu=pt 调用 iommu_set_default_passthrough() Linux kernel — Thunderbolt — 安全级别，以及作为 DMA 主控的已连接设备 Proxmox VE — System Administration — proxmox-boot-tool status，systemd-boot 与 GRUB 下分别如何编辑内核命令行 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/kernel-boot-flags-host-guest/","summary":"网上找到的 Proxmox 调优行，大多是一整坨内核参数。其中一半属于虚拟化主机，一半属于客户机内部，有两个流行的参数根本不起任何作用，还有几个参数的含义取决于它们落在边界的哪一侧。","title":"两条启动行：哪些内核参数属于 Proxmox 主机，哪些属于客户机"},{"content":"为什么你会想要一个 QEMU 可以模拟一个真正的 NVMe 控制器。不是那种要你自己提供驱动的半虚拟化设备，而是一个 PCIe NVMe 控制器，客户机把它当成一块普通 SSD 认出来，用自己已有的 NVMe 支持去驱动它。\n全部吸引力就在这里，而且它比听上去更值钱。\nLinux 自带 nvme 驱动已经很多年了。Windows 从 Windows 8.1 和 Server 2012 R2 起就带着 stornvme。所以客户机启动，枚举出一个 PCIe NVMe 控制器，加载自己的驱动，找到一块盘。不需要 VirtIO ISO，不需要在安装时注入驱动，也不会在 Windows 安装程序走到一半时出现“找不到驱动器”的画面。\n谁要是盯着那个画面看过，VirtIO ISO 明明挂上了，安装程序还是坚称没有磁盘，立刻就会明白它的好处。\n第二个理由是它从下到上都表现得像 NVMe。nvme-cli 能用。命名空间是真的。LBA 格式、元数据字节、保护信息都可以配置。所以它是一个非常好的地方，用来练习那些你不应该在存着数据的硬件上练习的操作。\n怎么加一个 Proxmox 没有图形界面的勾选框，也没有配置键来做这件事。它是一个原始的 QEMU 设备，所以要写进 /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf 的 args: 里。\nQEMU 文档给出了最小的一对：一个没有接口的后端驱动器，以及使用它的控制器。直接写进 /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf，不加引号：\nargs: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier if=none 很关键：它告诉 QEMU 不要把这个驱动器接到默认控制器上，因为 -device nvme 那一行要认领它。驱动器上的 id= 和设备上的 drive= 必须一致，正是这一对把两半连在一起。\nserial= 是必填的，没有它 QEMU 拒绝启动虚拟机。选一个你认得出的值，因为客户机在 nvme list 和 smartctl 里报回来的正是它，而“这四块一模一样的虚拟盘到底哪块是哪块”是你迟早会问的问题。\n引号：人人都会踩的坑 这个字符串要不要加引号，取决于你在哪里输入它，而弄反了正是这类配置第一次就失败的最常见原因。\nProxmox 存下 args: 的值，之后用 Text::ParseWords::shellwords 把它拆开。所以在配置文件里，引号会被识别并剥掉。整个加了引号的字符串会变成一个参数：\n# WRONG in the config file — collapses to one argv element QEMU cannot parse args: \u0026#34;-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier\u0026#34; 经过 shellwords，这只得到一个元素。不加引号，同一行得到 QEMU 真正需要的四个：-drive、它的参数串、-device、它的参数串。\n在命令行上正好相反，因为那里你是为 shell 加引号，而不是为 Proxmox。这里引号是必须的，存进配置的是去掉引号后的值：\nqm set 100 --args \u0026#34;-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier\u0026#34; 两种写法都对，只是不能互换。如果你用 qm set 构建这一行，之后用 qm config 100 检查结果，会看到它是不带引号存的。那正是配置文件要的形式。\n如果后端镜像还不存在，先创建它：\nqemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G 不止一个命名空间 只要超过一块盘，就把控制器和它的命名空间分开：\n-device nvme,id=nvme-ctrl-0,serial=deadbeef -drive file=nvm-1.img,if=none,id=nvm-1 -device nvme-ns,drive=nvm-1 命名空间标识符从 1 开始自动分配。正是这种配置让这个设备在学习上真正有用，因为命名空间管理是 NVMe 里大多数人从来碰不到的那部分。\n一个 4Kn 的虚拟命名空间 命名空间接受常见的块大小属性，QEMU 直接从中推导出 LBA 数据大小。hw/nvme/ns.c 计算格式指数的方式是 ds = 31 - clz32(ns-\u0026gt;blkconf.logical_block_size)。所以下面这样就给你一个真正的 4K 原生命名空间：\n-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096 命名空间设备还接受 ms（每个 LBA 的元数据字节）、mset（扩展 LBA），以及 pi 和 pif（保护信息类型和校验格式）。\n这就是一整套实验室，可以练 4Kn 与 512e 那篇文章里的所有内容：512 字节与 4096 字节逻辑块、带元数据的格式、T10-PI，而且是在一个你想毁多少次就毁多少次的设备上。\n确认它到位了 在客户机里：\nlsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC nvme list nvme id-ns -H /dev/nvme0n1 | grep -i \u0026#34;lbaf\\|data size\u0026#34; 你应该看到一个真正的 NVMe 命名空间，块大小正是你要求的。\n你放弃了什么 三样东西，而前两样不是性能上的取舍，是能力的移除。在往这个设备上放任何东西之前，先弄清楚它们。\nProxmox 管理什么，以及 args 挂上的设备落在什么之外 在虚拟机配置里，作为驱动器 scsi0: local-zfs:vm-100-disk-0,iothread=1 Proxmox 拥有这个卷，知道它存在 包含在 vzdump / PBS 备份里 是 PVE 快照 是 实时迁移 是 图形界面里调整大小和 Move Disk 是 计入存储视图 是 通过 args: 挂接 -device nvme,drive=nvm1,serial=… 原始 QEMU 设备，PVE 对它一无所知 包含在备份里 否 PVE 快照 否 实时迁移 否 调整大小和 Move Disk 否 计入存储视图 否 这些“否”里只有一个会自己报出来。实时迁移会报错失败，因为 QEMU 把设备 标记为不可迁移。备份则照常成功，里面却没有这块盘，所以这件事 要写进运维手册，而不是只记在脑子里。 Proxmox 管理的是虚拟机配置里作为驱动器出现的东西。通过 args 挂上的控制器在这之外，所以建立在存储层之上的每个功能都根本不适用于它。 1. 实时迁移没了 这不是 Proxmox 的限制，也不是疏忽。QEMU 在设备模型本身里就把这个设备声明为不可迁移。来自 QEMU 10.2 的 hw/nvme/ctrl.c：\nstatic const VMStateDescription nvme_vmstate = { .name = \u0026#34;nvme\u0026#34;, .unmigratable = 1, }; 三行，中间那一行就是全部。控制器没有迁移状态，所以 QEMU 直接拒绝迁移，而不是去尝试。这是正确的失败方式：你得到一个错误，而不是一个在另一个节点上恢复运行、磁盘却一团糊涂的客户机。\n还有第二个独立的原因让它不可能成功：Proxmox 不知道这块盘存在。就算 QEMU 能搬动设备状态，PVE 的迁移逻辑里也没有任何东西会安排后端卷在目标节点上可用。\n不过值得关注：QEMU 的开发分支已经用一个 nvme_set_migration_blockers() 函数替换了这个一刀切的标志，它允许迁移，只对特定功能阻止迁移。比如多于一个命名空间，注释里写的是“we don\u0026rsquo;t handle this in migration code yet”。截至并包括 10.2，这还没进入任何正式版本，所以今天帮不上你，但这个限制看起来很可能会放宽。去查你自己的 QEMU 版本，而不是相信一篇文章。\n2. Proxmox 备份看不见它 vzdump 和 Proxmox Backup Server 备份的是虚拟机配置里作为驱动器出现的卷：scsi0、virtio0 等等。通过 args: 挂上的磁盘不在其中。它是一个 PVE 啥都不知道的原始 QEMU 设备。\n所以备份照常运行，报告成功，里面却没有这个设备。\n这种失败方式比报错更糟，因为没有任何东西告诉你。同样的情况全面适用：没有 PVE 快照，不能从图形界面调整磁盘大小，没有 Move Disk，存储视图里也不计入。如果你是通过 PVE 创建卷然后又把它分离的，PVE 可能也不会清理它。一个孤儿，等着以后把谁搞糊涂。\n如果数据要放在这种设备上，就在客户机内部备份，并且在某个地方写下来：hypervisor 没有覆盖它。\n3. 它不比 VirtIO SCSI 快 这一点让人意外，因为“NVMe”读起来像个性能特性。在这里它不是。\nVirtIO SCSI 和 VirtIO block 是半虚拟化的：客户机驱动和 hypervisor 共享一个专门为这件事设计的环形缓冲区，客户机知道自己在和 hypervisor 对话。\n模拟的 NVMe 控制器在设计上正好相反。它呈现真正的 NVMe 寄存器，所以客户机像对待硬件一样对它编程。每一次门铃写都是一次陷入 hypervisor 的 MMIO 访问。正确，但每个 IO 的代价比往环上放一个描述符要高。\n共享环与模拟寄存器对比 客户机 │ hypervisor VirtIO SCSI：半虚拟化 客户机驱动 知道自己是虚拟机 共享环 两端都理解它 宿主机块层 1 次通知 描述符放到环上，通知宿主机。这个环有意横跨边界。 模拟 NVMe：真正的寄存器 客户机驱动 以为自己是硬件 NVMe 寄存器 门铃、队列、MMIO 宿主机块层 每次门铃写都陷入 每个 IO 都陷入 + 模拟 客户机做的正是它对物理控制器会做的事，这正是要点：它自己的驱动 无需修改就能用。这也是为什么它是兼容性特性，而不是性能特性。 不支持中断合并，默认关闭：硬件行为正确，代价是 模拟硬件。 半虚拟化路径是一个客户机和宿主机都理解的环。模拟路径让客户机去驱动寄存器，每次门铃写都是一次陷入：硬件行为准确，代价是硬件模拟的代价。 QEMU 自己的文档对这个设备的粗糙之处也很坦率：中断合并“is not supported and is disabled by default”，SMART/Health 日志页里的统计数字“are reset when the device is power cycled”。\n这些都不会让它在绝对意义上变慢，它完全可用。只是说你永远不该指望它比 VirtIO SCSI 给你更多吞吐量而选它。为了驱动选它，或者为了 NVMe 语义选它。\n它真正值得用的地方 在没有 VirtIO 介质的情况下安装客户机。 看不见 VirtIO SCSI 磁盘的 Windows 安装程序看得见 NVMe 磁盘，因为驱动已经在镜像里了。装到它上面，之后再决定要不要换成 VirtIO。 你控制不了的设备和镜像。 任何以固定镜像形式交付、没有 VirtIO 驱动、你又不想重新构建的东西。 学习和实验。 nvme format --lbaf、命名空间的创建和挂接、元数据和保护信息：这些在真实硬件上有破坏性、又依赖厂商的操作，在这里都是免费的。这是在碰一块重要的盘之前练出肌肉记忆最安全的办法。 复现别人的拓扑。 如果你在排查客户的 NVMe 布局，一个命名空间和块大小都对得上的模拟控制器，比借用他们的硬件快得多。 生产环境该用什么 对于需要性能、PVE 功能和省心日子的虚拟机：VirtIO SCSI single，加 iothread=1、discard=on 和 ssd=1，用 cache=none。这套组合能让实时迁移、备份、快照和存储视图全都正常工作。\n对于需要最后那几个百分点、并且愿意有意放弃这些功能的虚拟机，答案不是模拟的 NVMe 设备，而是真正的直通，它有自己的硬性取舍，见 IOMMU 税那篇文章。\n模拟 NVMe 设备两边都不属于。因此，它是一个兼容性和实验工具，而且在这方面做得非常好。\n拿它做它擅长的事，它不会让你失望。要它当性能特性用，它会非常迅速地让你失望。\n参考资料 QEMU — NVMe Emulation — -drive/-device nvme 语法、用于多命名空间的 nvme-ns、ms/mset/pi/pif 命名空间参数，以及关于中断合并和 SMART 统计的已声明限制 QEMU source — hw/nvme/ctrl.c — 10.2 版本中带 .unmigratable = 1 的 nvme_vmstate 声明 QEMU source — hw/nvme/ns.c — 命名空间从 logical_block_size 推导 LBA 格式 Proxmox VE — Backup and Restore — vzdump 覆盖什么，以及只对 PVE 管理的驱动器存在的逐卷备份选项 Proxmox VE — Qemu/KVM Virtual Machines — VirtIO SCSI、iothread、discard 以及受支持的磁盘选项 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/virtual-nvme-proxmox/","summary":"QEMU 可以模拟一个真正的 NVMe 控制器，客户机用自带的 NVMe 驱动就行，不需要 VirtIO 介质。但它按设计不能迁移，Proxmox 备份看不见它，也不比 VirtIO SCSI 快。本文讲怎么加一个，以及什么时候值得。","title":"Proxmox 里的虚拟 NVMe 设备，以及你要放弃的三样东西"},{"content":"每个时钟都做的那个假设 计算机的时钟靠的是数一个有规律的东西，并且相信它会一直数下去。 晶体振荡，计数器递增，软件再把经过了多少时间换算出来。\n虚拟化打破的正是“相信”这一部分。\n内核自己的 KVM 计时文档用一句话就把问题说清楚了：“the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.” 下面的一切都由此而来。\n你的 vCPU 并不总在运行 vCPU 是宿主机上的一个线程。宿主机调度器让它跑，它才跑。\n它不运行的时候，客户机不只是空闲，而是不在场。它没法计数，没法处理定时器中断，也没有办法知道自己离开了多久。 宿主机把这段时间记作 steal time（被窃取的时间），这个名字很老实：“发生在你身上，而不是为你发生的时间”。\n定时器中断是最疼的地方。 客户机请求周期性的 tick，就是在要求宿主机按固定频率投递中断，而宿主机并不总能做到。 还是内核文档的话：“the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.”\n为什么客户机的定时器滴答不再均匀 裸金属：CPU 始终归你 运行中 定时器滴答间隔均匀，数一数就知道时间 虚拟机里：vCPU 只是别人调度器上的一个线程 运行中 被调度出去 被调度出去 空档期间该来的滴答要么迟到，要么扎堆，要么根本不来 客户机看不到虚线标出的时段。从内部看，时钟只是产生的滴答比 应有的少。所以内核文档说，当主机无法送达它请求的中断时， 客户机的时间“may fall behind”。 主机把虚线区域叫作 steal time（被窃取时间）。客户机对它们毫无称呼， 因为那时它根本不在场。 客户机自己看到的是最下面一行：迟到的 tick、扎堆到来的 tick，以及它无法解释的空白。它测量的既是时间的流逝，也是宿主机的调度器。 tick 频率越高情况越糟，宿主机超分配又会让它更糟。 这也是为什么一台繁忙的宿主机会拖累安静客户机的计时。它们都在排队等同一批物理核心。\n计数器也不是你的 如果周期性 tick 不可靠，显而易见的办法就是改读计数器。可计数器有它自己的问题。\nTSC 是快的那个，内核文档对它说得很直白：“The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.” 它的频率会随处理器电源状态变化，在较老的处理器上，核心空闲时它干脆停住。 所以一个在物理核心之间迁移的 vCPU，读到的计数器可能和它一微秒前读到的那个对不上。\n其他选择则以另一种方式更糟。 HPET、PIT 和 ACPI PM 定时器全是模拟设备，所以每次读取都要陷入 hypervisor。结果是对的，但代价高到一个在热循环里读时钟的客户机能感觉出来。\n这就是半虚拟化时钟存在的原因。在 KVM 上，kvm-clock 让宿主机把自己的计时信息发布到一个共享结构里，客户机直接读取：不陷入，不计数，也不假设客户机一直醒着。 这也是为什么你应该让客户机的 clocksource 保持原样，而不是因为某个论坛帖子说更快就强制改成 tsc 或 hpet。\n迁移、快照与挂起 热迁移、快照恢复和挂起/恢复，对客户机时钟做的是同一件事：先让它停下，再在别处重新启动。\n客户机看到的不是漂移，而是一次跳变。时钟原来是一个值，现在是另一个值，中间啥也没有。 迁移到一台 TSC 频率不同的宿主机，问题还会叠加。\n跳变之所以要紧，是因为校正时钟的软件是为校正漂移而设计的，不是为瞬间移动设计的。\n这不是 KVM 的问题 很容易把上面这些都读成 KVM 的短板。其实不是。\n每种 hypervisor 都自带一个半虚拟化时钟，因为每种 hypervisor 都有同样的结构性问题：KVM 有 kvm-clock，Hyper-V 有它的 reference TSC page，VMware 有伪性能计数器加上基于 Tools 的同步，Xen 有它的 pvclock。这是同一个变通办法的四套独立实现。\n内核文档自己的结论是，这里不存在完美方案。只有准确性、性能和复杂度之间的取舍。\n如果你更想听厂商而不是内核开发者怎么说，微软关于高精度时间的支持边界坦率得出奇。 要在虚拟化的 Windows 系统上声称 50 ms 精度，列明的要求之一是“the one-day average CPU utilization of the host must not exceed 90%.” 要达到 1 ms，宿主机必须保持在 80% 以下。\n再读一遍：客户机时钟的精度，被白纸黑字写成取决于宿主机有多忙。这不是 Windows 的怪癖，而是内核文档描述的同一套物理规律，被写成了一条支持边界。\n客户机计时的三层，以及客户机真正掌控哪几层 实际时间同步 现在到底几点 经网络的 NTP 抖动、不对称、层级 ptp_kvm hypercall 直接问主机 半虚拟化时钟 主机公布自己的计时 每个 hypervisor 都带一个， 因为它们都有这个问题： kvm-clock Hyper-V TSC page VMware pseudo-perf Xen pvclock 同一个变通方案的四种独立实现 硬件计数器 在虚拟机里不归你 TSC HPET PIT ACPI PM 定时器 要么绑定 CPU 且频率可变，要么是模拟的，所以每次读取都陷入 hypervisor 客户机只掌控最上层的选择。中间那层是 hypervisor 借给它的时钟， 而那个时钟从头到尾一直在走。 三层结构，客户机真正拥有的只有最上面一层。每种 hypervisor 的半虚拟化时钟，都是为了绕开下面那一层缺失的同一个保证。 为什么在客户机里跑 NTP 是用错了工具 NTP 擅长它被设计来做的事：一台有真实振荡器的机器，走得稍快或稍慢，通过测量到远程服务器的往返时间来校正，并平缓地调整（slew）本地时钟。\n这些假设在虚拟机里每一条都站不稳。\n本地振荡器不是稍有偏差，而是时有时无。 往返测量由一个进程完成，而它可能在读取时钟和发送数据包之间被调度出去，这会把测量本身弄坏。 迁移之后需要的校正是跳变，而 slew 算法要么处理得很差，要么干脆拒绝。\n在这方面 chrony 比 ntpd 强得多。它 slew 得更快，能容忍跳变，也老实承认自己的不确定性。但它解决的仍然是错误的问题：从 20 ms 之外的二级（stratum 2）服务器跨网络拉取时间，而正确的时间就在 hypervisor 里，隔着一道内存边界而已。\n实际得到的是一台大多数时候是对的客户机，偶尔偏差几十甚至几百毫秒，而且从来说不清是哪种情况。\n时钟偏差到底会弄坏什么 没人为了时钟本身而关心时钟。他们关心的是某个东西不工作了。\nKerberos 和 Active Directory Kerberos 天生依赖时间，因为票据的有效期就是用一个时间窗口表示的。\nMIT 的 krb5.conf 文档把 clockskew 定义为“the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid”，默认值是 300 秒，也就是五分钟。\n超过它，认证不是变差，而是直接失败。 由于 Active Directory 认证就是 Kerberos，这意味着域登录、net use、SQL Server 连接、Exchange、文件共享，统统完蛋。 五分钟听起来很宽裕，直到某台客户机在快照恢复后往回跳了一下。\nTLS 证书带有一个有效期窗口：notBefore 和 notAfter。 时钟落后的客户机会拒绝一张今天早上才签发的证书，因为在它看来，这张证书还没生效。 时钟超前的客户机会拒绝一张其实还没过期的证书。\n同样的算术也管着 OCSP 和 CRL 的新鲜度、JWT 的 nbf/exp 声明，以及活在 30 秒窗口里的 TOTP 多因素验证码。 时钟偏差 45 秒，就是一次带着极其费解的错误信息的认证故障。\nCeph Ceph 的 monitor 比整个栈里几乎任何东西都更在乎这个，因为它们的共识依赖于此。\nMON_CLOCK_SKEW 健康检查会在“the clocks on hosts running Ceph Monitor daemons are not well-synchronized”时触发。具体说，是偏差超过 mon_clock_drift_allowed 时。 文档的建议是用 ntpd 或 chrony 对多个时间源同步，并指出 monitor 之间的同步尤其重要。\n你可以调高 mon_clock_drift_allowed，但文档说得很清楚，它必须保持“significantly below the mon_lease interval”。因此这个预算很小，拿它去掩盖 hypervisor 的计时问题，不是一笔划算的买卖。\n其他一切 跨主机的日志对不上了，事故时间线就成了瞎猜。 数据库复制和分布式共识，比如 etcd、Galera，以及任何使用 leader 租约的东西，都会闹脾气。 备份和监控窗口会慢慢错开它们本该观察的对象。\nWindows 客户机的偏差方式不同 Windows 值得单独说一句，因为它的时间服务是按不同目标构建的，而且看得出来。\n微软明说，Windows 10 1607 / Server 2016 之前的版本“can\u0026rsquo;t guarantee highly accurate time”。 在那些版本上，Windows Time 服务提供的是“the necessary time accuracy to satisfy Kerberos version 5 authentication requirements”，以及给同一 AD 林内机器的“loosely accurate time”。 比这更精确的要求属于“outside of the design specification… and weren\u0026rsquo;t supported.”\n换句话说，老版本 Windows 的目标是待在 Kerberos 的五分钟窗口之内，而不是准确。 这没问题，直到你环境里有东西需要更好的精度。一台偏差 90 秒的虚拟化 Windows 机器会高高兴兴地通过认证，同时写出没法和任何东西对上的日志。\nWindows 10 和 Server 2016 及以后的版本可以做到 1 s、50 ms 甚至 1 ms，但只有在前面引用的条件下才行，包括宿主机 CPU 利用率的限制。 微软还指出：“anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy”。一个被争抢的 vCPU，换个说法就是目标系统上的高 CPU 负载。\nWindows 没有 ptp_kvm。你能用的是：\nHyper-V 时钟 enlightenment。 Proxmox 已经把这些暴露给 Windows 客户机。PVE::QemuServer::CPUConfig 会在 hv_vapic、hv_spinlocks、hv_relaxed 和 hv_synic 之外一并设置 hv_time。hv_time 就是半虚拟化时钟，是 Windows 这边对应 kvm-clock 的东西。Windows 类型的虚拟机默认就开着，没有什么需要启用的。 QEMU guest agent。 装了 agent，宿主机就能在恢复或快照还原后把自己的时间推给客户机，这正好处理了 NTP 最不擅长的跳变情况。 只选一个权威来源。 虚拟机里 Windows 的经典故障是两个时间源打架：宿主机到客户机的同步和域层级同步，两者朝相反方向校正同一个时钟。加入域的客户机，让域层级说了算，别让宿主机再往它身上推时间。独立的客户机，用宿主机同步就行。绝不两个都用。 如果你想确切知道 hypervisor 对某台虚拟机说了哪些关于时间的东西，直接问它，别猜：\n# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags qm showcmd \u0026lt;vmid\u0026gt; --pretty QEMU/KVM 上的修复：ptp_kvm KVM 上的 Linux 客户机有一个正经答案，而且不是“再多加几台 NTP 服务器”。\nptp_kvm 让客户机通过一次 hypercall 直接问宿主机现在几点：x86 上是 KVM_HC_CLOCK_PAIRING，arm64 上是等效的固件调用。 内核把它呈现为一个 PTP 硬件时钟设备，所以在用户态看来它和其他精密时钟源没什么两样，chrony 可以把它当作参考时钟使用。\n要紧的特性：\n没有网络。 没有抖动，没有不对称，没有 stratum，没有数据包。路径就是一道内存边界。 亚微秒级。 精度受限于 hypercall，而不是跨数据中心的一次往返。 它绕过了坏掉的那部分。 客户机既不计数，也不估算往返时间。它读的是宿主机用一个一直在走的时钟算出来的值。 跨网络的 NTP 对比跨内存边界的 ptp_kvm chrony 对网络服务器池 客户机 时钟总在停 网络 抖动、不对称 stratum 2 服务器 相隔几十毫秒 往返时间由正在被校正的那个时钟来测量 而且做测量的进程可能在测量途中被调度出去 chrony 对 ptp_kvm 客户机 读取 /dev/ptp_kvm 主机时钟 从未停过 hypercall KVM_HC_CLOCK_PAIRING 一道内存边界，而不是网络 亚微秒 没有数据包，没有层级，没有不对称，也没有任何估算。客户机不是在推算 现在几点，而是被告知：告诉它的，是整段时间里唯一醒着的参与者。 两条路径最后都是客户机设置自己的时钟。一条用一个老是停摆的时钟去测网络往返；另一条直接问 hypervisor。 实施 在每台有这个驱动的 Linux 虚拟机上都这样做。宿主机 hypervisor 自己需要有正常工作的 NTP 或 PTP。ptp_kvm 交给客户机的是宿主机的时间，所以它也继承了宿主机的误差。\n1. 开机时加载内核模块。\n# /etc/modules-load.d/ptp_kvm.conf ptp_kvm 2. 给它一个稳定的名字，并让 chrony 能读它。\n# /etc/udev/rules.d/90-ptp-kvm.rules ACTION==\u0026#34;add\u0026#34;, SUBSYSTEM==\u0026#34;ptp\u0026#34;, ATTR{clock_name}==\u0026#34;kvm\u0026#34;, SYMLINK+=\u0026#34;ptp_kvm\u0026#34;, GROUP=\u0026#34;chrony\u0026#34;, MODE=\u0026#34;0660\u0026#34; 符号链接很重要，因为 PTP 设备编号并不稳定。/dev/ptp0 这次开机可能是某块网卡的时钟，下次开机就成了 KVM 时钟。按 clock_name 匹配，每次都能拿到对的那个。\n3. 让 chrony 指向它，并删掉 pool。\n在 Debian 和 Ubuntu 上编辑 /etc/chrony/chrony.conf，在 RHEL 系上编辑 /etc/chrony.conf。删除 pool 行，改用：\nrefclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004 删掉 pool 不是可有可无的整理。 留着它们，就是要求 chrony 把一个亚微秒级的本地参考，和几十毫秒外的互联网服务器调和在一起，而互联网时间源只会让结果变差。\n4. 重启并检查。\nsystemctl restart chronyd # or chrony, on Debian/Ubuntu 验证 # The symlink exists and points at the KVM clock ls -l /dev/ptp_kvm cat /sys/class/ptp/ptp*/clock_name # chrony should be using PHC0 as its selected source chronyc sources -v # and the offset should be microseconds, not milliseconds chronyc tracking 在 chronyc sources 里，PHC 参考时钟被选中后显示为 #* PHC0。# 表示这是本地硬件参考而不是网络对端，* 表示它就是当前在用的那个。 如果你看到它列出来了却没被选中，说明 chrony 没接受它：检查设备权限，以及 udev 规则里的 chrony 组是否和你的发行版上 chrony 实际运行所用的用户相符。\n注意事项 宿主机必须是对的。 这只是让客户机和宿主机一致，而只有宿主机和现实一致时这才有用。给 hypervisor 配上真正的 NTP 或 PTP。 每台客户机都要配。 一半虚拟机用 ptp_kvm、一半用互联网 pool 的集群，就是一个有两个时间权威的集群。 热迁移没问题，而且这正是重点。 迁移之后，客户机读的是新宿主机的时钟。只要各宿主机彼此一致，客户机就永远不会看到跳变。 仅限 KVM。 这是一个 KVM hypercall。嵌套的或其他厂商的 hypervisor 不会提供这个设备，udev 规则也就根本不会触发。这是一种干净的失败，而不是悄无声息的错误答案。 不要做的事 别强制指定 clocksource。 让 kvm-clock 保持原样。在客户机内核命令行上强制 tsc 或 hpet，等于拿一个专为这种情况设计的半虚拟化时钟，去换一个从来就不属于你的计数器。 别在 cron 里跑 ntpdate 或 hwclock。 那是按计划表制造跳变，而这恰恰是数据库和 Kerberos 最讨厌的。 别把 pool 留着“当后备”。 有了能用的参考时钟，它们不是后备，而是一个更差的来源给出的第二意见。 别调高 mon_clock_drift_allowed 就说修好了。 你花掉了本该留给真实网络状况的一部分预算，只为了容忍一个已有现成解法的问题。 最后一条值得直说：放宽阈值不是修好时钟。那是把警报挪个地方，让它别再响。\n参考资料 Linux kernel — KVM timekeeping — 为什么客户机时间会落后，TSC 作为本地时钟的问题，以及只存在取舍这一结论 Linux kernel — PTP_KVM — PTP 时钟设备背后的 hypercall 接口 Linux kernel — KVM x86 hypercalls — KVM_HC_CLOCK_PAIRING，也就是 x86 这一侧 chrony — chrony.conf — refclock 指令和 PHC 驱动选项 MIT Kerberos — krb5.conf — clockskew 及其 300 秒的默认值 Microsoft — support boundary for high accuracy time — 精度目标，以及虚拟化系统对宿主机 CPU 利用率的条件 Ceph — health checks — MON_CLOCK_SKEW、mon_clock_drift_allowed 及其与 mon_lease 的关系 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/vm-time-ptp-kvm/","summary":"虚拟机的时钟建立在一个被虚拟化打破的假设之上：CPU 会一直计数。本文讲为什么每种 hypervisor 上的客户机时间都会漂移，时钟偏差到底会弄坏什么（Kerberos、TLS、Ceph、Windows），以及 ptp_kvm 如何在 QEMU/KVM 上把它正确修好。","title":"虚拟机的时钟不可信，以及 QEMU/KVM 上的 ptp_kvm 修复方法"},{"content":"硬盘呈现自己的三种方式 一块硬盘有两个块大小，两者之间的差别就是整件事的全部。\n物理扇区是介质实际工作的单位，也就是硬盘不做额外工作就能读写的最小单位。 逻辑块是硬盘告诉主机它工作的单位，也就是主机寻址用的单位。\n实际使用中有三种组合。\n512n：原生 512。 两个大小都是 512 字节。 这是旧世界：2010 年以前的机械硬盘，今天任何值得买的容量里，你都买不到一块新的了。\n512e：512 字节模拟。 物理扇区是 4096 字节，但硬盘报告的是 512 字节的逻辑块，由固件做转换。 它存在只有一个原因：兼容那些以为 512 会永远不变的操作系统、引导程序和应用。 作为工程手段说得过去，而后面几乎所有的麻烦，根子都在这里。\n4Kn：原生 4K。 两个大小都是 4096 字节。 硬盘说的是实话，主机用介质本身的单位来寻址，中间没有任何转换层。\n512n、512e 与 4Kn：主机寻址的单位与介质使用的单位 上排 = 逻辑，主机寻址的单位 · 下排 = 物理，介质工作的单位 512n 512512 512512 512512 512512 1:1，诚实，但已过时。新硬盘没有这样出货的了。 512e 8 × 512 B 逻辑块：告诉主机的 一个 4096 B 物理扇区：实际存在的 每次访问都由固件转换 主机寻址的东西 并不存在。写不满扇区的 写入要额外付费。 4Kn 一个 4096 B 逻辑块 一个 4096 B 物理扇区 无需转换 硬盘说的是实话，所以 下游没有任何东西会拿着 一个错误的数字做决定。 512e 是值得关注的那种：主机寻址的是一个并不存在的东西，固件在每一次访问时维持这个假象。 512e 在每次未对齐写入时做了什么 在三种情况下，读都很便宜。 硬盘读出整个 4K 扇区，再把你要的那 512 字节切片交回来。\n写才是这个假象变贵的地方。\n如果主机写入单个 512 字节的逻辑块，硬盘没法只写 512 字节，介质上根本没有这个单位。 于是它改做这样一件事：\n读出整个 4096 字节的物理扇区。 把 512 字节的新数据合并进去。 把整个 4096 字节的扇区写回去。 这就是读-改-写（read-modify-write），它把一次小写入变成了一次读加一次写。 在机械硬盘上，这意味着要等盘片再转一圈。7,200rpm 下转一整圈，大约就是 8ms，这笔时间你没算进预算。 在闪存上，代价在性质上就不一样，而且写入结束后也不会消失。那一点有专门的一节。\n读-改-写的代价，以及未对齐让它变成什么样 4Kn：对齐的 4 KB 写入 4 KB 新数据填满整个扇区 1 次写 不必先读 512e：写一个 512 B 逻辑块 1. 读出整个物理扇区 读回 4096 B 2. 合并这 512 B 真正改动的只有这么多 3. 把整个扇区写回 写入 4096 B 1 次读 + 1 次写 机械盘上多转一圈； 闪存上多编程一页 512e：未对齐的 4 KB 写入（最贵的那种） 一次 4 KB 写入，偏移了半个扇区 物理扇区 n 物理扇区 n+1 2 次读-改-写 每次写都是，永远如此 现代分区工具默认按物理扇区对齐，所以这通常是从旧安装或克隆镜像继承来的， 而不是新创建出来的。它不会自己修好。 4K 对齐的 4K 写入根本不需要读。其他情况都需要，而跨越扇区边界的写入需要两次。 未对齐是其中最伤人的版本。 如果分区从一个奇数的 512 字节偏移开始（经典例子就是老的 63 扇区约定），那么每一次 4K 的文件系统写入都会跨越两个物理扇区。 那不是一次读-改-写，而是两次，每一次写都是，永远如此，直到有人重新给硬盘分区。\n闪存上的写放大 在机械硬盘上，读-改-写让你损失一圈转动，然后就结束了。 在闪存上，它消耗的是硬盘寿命，这笔账你付一次，然后一直付下去。\n写放大是实际写进 NAND 的数据量与主机要求写入的数据量之比。 比值为 1.0 意味着硬盘写入的正好是它收到的东西。 它永远不会是 1.0，因为闪存不能原地覆盖：硬盘编程一个新页，把旧页标记为过期，之后垃圾回收再把还存活的页搬走，好让整个块可以擦除。 这些搬移也是写入。\n512e 在此之上又加了一层本可避免的开销，原因是一个值得说清楚的细节：无论对外宣称的逻辑块大小是多少，硬盘的转换层都以大约 4 KB 为单位做映射。 一块报告 512 字节块的硬盘，内部仍然按 4 KB 单位来跟踪。\n所以主机发来的一次 512 字节写入，在硬盘内部就变成：读出 4 KB 的映射单元，合并进 512 字节，编程一个新的 4 KB 单元。 为了改动 512 字节，有 4096 字节写到了 NAND 上。就这一次写入而言，是八倍。\n未对齐在单次写入上没那么夸张，总量上却更糟。 一次跨越两个映射单元的 4 KB 写入会把两个单元都弄脏，于是为 4 KB 数据编程了 8 KB。 那是每一次写入都有 2× 的放大，永久如此，直到分区表被修好。\n为什么未对齐的写入让到达 NAND 的量翻倍 从上往下读：主机写入的 → 硬盘的 4 KB 映射单元 → 到达 NAND 的 512e：4 KB 写入，未对齐 来自主机的 4 KB 单元 n 单元 n+1 重写 4 KB 重写 4 KB 为 4 KB 写了 8 KB：WAF 2× 每次写都是，直到分区表修好为止 4Kn：4 KB 写入，已对齐 来自主机的 4 KB 单元 n 写入 4 KB 4 KB 换 4 KB：WAF ≈ 1× 下限，尚未算垃圾回收 两边都躲不开垃圾回收：硬盘在擦除一个块之前，仍然要把其中有效的数据搬走， 而这项工作的多少，取决于最初写了多少。 4Kn 不会让放大消失，它去掉的是你白白付钱的那一部分。 两种情况下主机要求写的都是同样的 4 KB。左边它落在两个映射单元上，所以两个都被重写，而垃圾回收之后还要把里面仍然有效的数据搬走。 真正让这件事要紧、而不只是不整洁的，是连锁反应：\nNAND 写入越多，垃圾回收就跑得越频繁，而它的搬移本身就是放大。 SLC 写缓存更快被填满，硬盘更早掉到较慢的稳态，持续写入吞吐量下降。 编程/擦除周期按实际到达 NAND 的量消耗，而不是按主机发送的量。放大翻倍，同样的负载下硬盘寿命就减半。 耐久度指标（TBW、DWPD）是按主机写入量标注的。放大悄悄吃掉了这段余量，硬盘会比你买它时算的保修账更早磨损完。 直接写和同步写是最坏的情况 大多数时候，页缓存把这一切都藏起来了。 内核把小写入攒起来、合并，再向硬盘发出 4 KB 或更大的 IO，于是读-改-写根本不会发生。\n有两个标志会拿掉这层保护，而在乎持久性的应用会把两个都设上。\nO_DIRECT 绕过页缓存。 应用和硬盘之间再也没有任何东西能把一次 512 字节写入凑成扇区大小。\nO_SYNC 或 O_DSYNC 要求写入在调用返回之前就落到稳定介质上。 这就不让硬盘把写入吸收到易失缓冲区里、稍后再和相邻的写合并。\n两者一起用，每一次 512 字节写入都是一个完整的读-改-写周期，必须现在完成，单独完成，没有任何东西可以分摊。 512e 硬盘上的放大就是在这里逼近理论上的 8×，而这恰恰是数据库提交日志、ZFS ZIL 或 Ceph BlueStore WAL 产生的模式。\n在企业级硬件上，挽救这一点的是掉电保护。 有 PLP 的硬盘，写入一旦进了电容保护的 DRAM 缓冲区就可以确认同步写，那是持久的，并且仍然可以在编程 NAND 之前在内部合并。 没有 PLP 的消费级硬盘必须写到闪存上才能应答，所以每次写都要付全价。这又是一个理由：对这类负载来说，PLP 不是可选项。\n在 Proxmox 里，缓存模式决定了你得到的是哪一种：\ncache=none 就是 O_DIRECT，是 PVE 的默认值，也是全闪存 HA 的正确选择。主机页缓存不在路径上，所以客户机的写入模式会原样到达硬盘。 cache=directsync 是 O_DIRECT 加 O_DSYNC，每次写都是同步的。这是给专用数据库日志盘的小众设置，通用负载根本没法用。 在 512e 的底层设备上，cache=directsync 加上一个以 512 字节记录提交的客户机，差不多是能找到的最低效的组合：主机不合并，硬盘不合并，每次提交一次读-改-写。\n而下面这一点，让 4Kn 成为结构性的要求，而不只是更好的选择。 O_DIRECT 要求偏移、长度和缓冲区都按硬盘的逻辑块大小对齐。 在 512e 硬盘上那是 512 字节，所以 512 字节的直接写是合法的，硬盘默默替你买单。 在 4Kn 上逻辑块是 4096，所以内核能接受的最小直接写就是 4 KB。 病态的模式不再是你需要躲开的东西，而是整个栈根本无法表达的东西。\n介质上的开销 第二笔代价是结构性的，也是 Advanced Format 存在的根本原因。\n一个扇区不只是它的数据。 在机械硬盘上，每个扇区都带着一个同步标记让磁头知道扇区从哪里开始，一段间隙让相邻扇区不互相碰到，一个地址标记，以及一个用来纠正读错误的 ECC 字段。\n用 512 字节扇区，每 4K 数据你要把这些全套付八次。 用一个 4K 扇区，你只付一次。\n这有两个后果，第二个比第一个更重要：\n盘片上原本是开销的一部分变成了可用容量。这是 Advanced Format 过渡期间业界公开说的动机，幅度在百分之几的低个位数。 在总开销相同的情况下，ECC 字段可以大得多。一个强纠错码保护 4096 字节，比八个弱纠错码各保护 512 字节能纠正的多得多。随着面密度攀升，这不再是锦上添花，而成了把错误率维持在可接受范围内的唯一办法。 每扇区开销：512 字节时付八次，4K 时付一次 512 字节扇区：同样的 4 KB 数据 8 个扇区 × (同步 + 数据 + ECC + 间隙) 8 × 每扇区开销，外加八个小 ECC 字段 一个 4096 字节扇区：同样的数据 1 × 开销，外加一个大得多的 ECC 字段 同步标记、地址标记、扇区间隙 ECC 你的数据 未按比例：开销字段被夸大了，否则根本看不见。 省回来的容量只有百分之几的低个位数。更强的 ECC 才是业界 真正转向的原因。 八套同步标记、间隙和 ECC，或者一套。省出来的空间是小收获，更强的纠错才是业界转向的原因。 闪存没有同步标记，也没有旋转间隙，但同样的逻辑在上一层适用：NAND 按页编程，页远大于 512 字节，而硬盘的映射表对每个可寻址单元都有一个条目。 逻辑块越小，跟踪同样容量需要的元数据就越多。\n主机里的开销：命令与中断 第三笔代价是人们会漏掉的，因为它根本不在硬盘上。\n逻辑块大小决定了一次 IO 能小到什么程度的下限。 在 512 字节逻辑块的硬盘上，文件系统或应用可以随意发出 512 字节的写入，而每一次都是一个完整的 IO：构建并提交一条命令，一次门铃寄存器写入，一个完成队列条目，以及一次通知它完成的中断。\n这其中每一项都有固定开销，跟涉及多少数据无关。 把 4KB 拆成八条 512 字节的命令来搬，这笔开销你付八次。 用一条 4K 命令来搬，你只付一次。\n逻辑块大小决定 IO 大小的下限，而每条命令都有固定开销 512 B 逻辑块：应用可以发出 512 B 写入 4 KB 数据变成 8 条命令 512 B512 B 512 B512 B 512 B512 B 512 B512 B 8 × 提交 + 门铃 8 × 完成条目 8 × 中断机会 8 × 每命令固定开销 搬的是完全相同的 4 KB 数据 4 KB 逻辑块：4 KB 就是下限 一条 4 KB 命令 1 × 提交，1 × 完成，1 × 中断 1 × 固定开销 这只在确实发出小 IO 的地方有帮助：一条命令可以描述很多个块， 所以 1 MB 写入无论如何都是一条命令。 同样的 4 KB 数据。这里的瓶颈不是硬盘，而是主机里每条命令、每次完成的开销。 有两个实话实说的限定，因为这正是这个论点通常被夸大的地方。\n对于大 IO，逻辑块大小对命令数量毫无影响。 一条命令可以描述很多个块，所以一次 1MB 的顺序写不管块是 512 字节还是 4K，都是一条命令。 只有在发出小 IO 的地方，这笔节省才是真实的。\n不过，在确实发出小 IO 的地方，效果一点也不细微：这八个请求每一个都要内核去构建、调度和完成，每一个都有自己的 MSI-X 中断和用户态到内核态的切换，在高队列深度下，中断风暴就是这么来的。 在虚拟机里还要更糟，因为每一次中断同时也是一次客户机上下文切换。\n另外，现代 NVMe 控制器会合并中断，所以中断数并不简单等于命令数。 但每条命令的提交和完成工作依然存在，在几十万 IOPS 下，每条命令的 CPU 开销是一个核心中可测量的一部分。 这和 直通系列里讲的 posted interrupt 是同一笔账：很小的固定开销乘以一个非常大的数。\n4Kn、扇区元数据与硬件 RAID 改用 4096 + 0 格式有一个让人措手不及的后果，而它正好落在硬件 RAID 头上。\n有些 RAID 控制器和存储阵列根本不用普通的 512 或 4096 字节扇区。 它们把硬盘格式化成扩展大小：520 或 528 字节，或者对应的 4K 版本，比如 4104、4160 和 4224，因为每个扇区多出来的那些字节，就是控制器存放自己元数据的地方。 那是 T10-PI/DIF 保护信息，或者厂商的完整性数据，和它所描述的数据存放在一起。\n4096 + 0 格式没有地方放它。 扇区从头到尾都是数据，选择它的意义就在这里。\n所以想要内联元数据的控制器有三个选择，没有一个是免费的：\n拒绝这块硬盘。 把它重新格式化回扩展格式，把你刚做的 4Kn 工作全部推翻。 把元数据存在硬盘上的其他地方。 第三种就是闪存惩罚你的地方。 与所描述数据分开写入的元数据是第二次写入，写在不同的偏移，落在不同的映射单元里。你每想写一个 NAND 页，就要再多编程一个。 这就是上一节讲的放大，被故意重新引入，只为了携带完整性元数据，而如果你保留扩展格式，硬盘本来可以零成本地把它内联存放。\n你不可能两样都要。扇区要么装控制器的元数据，要么只装你的数据。\n所以闪存相当程度上动摇了硬件 RAID 存在的理由 这一节剩下的部分是判断而不是机制，请按判断来看。\n硬件 RAID 控制器就是跑在专用处理器上的固件 RAID。 所谓“硬件”是一颗 CPU、一些 DRAM 和一块电池，并不是什么根本不同的奇偶校验计算方式。 它历史上给你的是带电池保护的写缓存和奇偶校验卸载，而在闪存上，这两个理由都已经大大削弱。 企业级 NVMe 自己就有掉电保护的缓存，而控制器则成了一个带宽天花板，挡在那些每块都能跑满好几个 GB/s 的设备前面。\n它还让你失去现在真正想要的东西：\n设备状态消失了。 SMART 细节、磨损指标，以及能让你算出写放大的厂商日志，全都藏在一个不透明的抽象后面。 没有端到端校验和。 控制器校验的是奇偶，它能发现一块缺失的硬盘，发现不了一块在场的硬盘给出的错误答案。ZFS 和 Ceph 对数据本身做校验，能告诉你哪一份副本是错的，而这种静默损坏控制器会直接放过去。说到底，控制器解决的是错误的问题。 硬盘上的厂商元数据把阵列绑死在一个控制器系列上，而当坏掉的正是控制器时，这本身就是一种不可靠。 奇偶校验 RAID 自己也做读-改-写，在部分条带写入时如此，叠加在前面几节讲的一切之上。 对 Ceph 来说，这甚至不是偏好问题。 Proxmox 自己的超融合指南说，硬盘必须以 HBA 或直通模式呈现，不能放在 RAID 控制器后面，ZFS 出于同样的原因要求完全一样的东西。\n所以从这一切得出的布局是：用 HBA 而不是 RAID 控制器，硬盘格式化为零元数据的 4Kn，冗余和校验交给 ZFS 或 Ceph 来做，它们能在硬盘撒谎时真正告诉你。 如果你的环境里确实有东西需要扩展扇区格式，那是一个要趁硬盘还空着时就定下来的二选一，而不是等 OSD 都建好之后才发现的事。\n512e 真正伤人的地方 如果说 512e 会毁掉一个现代系统，那是不诚实的，因为通常它并不会。\n当前的 Linux 栈会读取物理扇区大小，按它对齐分区（parted 和 sfdisk 现在默认都这么做），并使用 4K 的文件系统块。 在这种配置下，主机发出的是 4K 对齐的 4K IO，硬盘从来不需要读-改-写，512e 几乎不让你付出任何代价。\n问题出在具体的地方：\n未对齐的分区，通常是从旧安装或克隆镜像继承下来的。每一次写入都有两次读-改-写。 512e 硬盘上的 ZFS ashift=9，因为 ZFS 相信了报告出来的 512。每一次记录写入都变成读-改-写，而且 ashift 事后改不了，整个池必须重建。 用 O_DIRECT 写 512 字节记录的应用，绕过了页缓存的合并。有些数据库和大量定制软件就是这么干的。 任何相信逻辑大小就是真实大小的东西。 这才是模拟真正的害处：它交出去一个错误的数字，下游的东西拿着它做决定。 4Kn 把这一整类问题都去掉了。硬盘没法就一个它根本没有的扇区大小撒谎。\n不过，对收益的大小也值得说实话。Seagate 自己的建议是：当整个栈都针对 4K 完全优化、你在计较每一个 IOPS 时（比如一个调好的全闪存层），4Kn 显然值得追求。低于这个水平，在一个正确对齐的现代 Linux 上，对齐 IO 的性能差异往往很小。另一个理由是整批设备的一致性：清一色 4Kn 的环境里没有混合格式带来的意外，也没人需要记住哪些硬盘在撒谎。\n大多数硬盘都能转换，前提是厂商允许 这是常被漏掉的部分：512e 往往只是一个格式设置，而不是硬件的属性。 大量企业级 SAS 和 SATA 硬盘，以及大多数企业级 NVMe，出厂时报告 512 字节，但很乐意被重新格式化为 4Kn。\n下面所有操作都会销毁设备上的每一个字节。 没有原地转换。\nNVMe：nvme-cli 先看看命名空间支持哪些格式：\n# Lists each LBA format and marks which one is in use nvme id-ns -H /dev/nvme0n1 | grep -i \u0026#34;lbaf\\|data size\u0026#34; 你要的是 Data Size 4096 且 Metadata Size 0 的格式，标记为 best，且当前未在使用。 然后应用它：\n# -l/--lbaf selects the LBA format index from the list above nvme format /dev/nvme0n1 --lbaf=1 --force 元数据大小和数据大小一样重要。 有些出厂格式会在每个扇区预留额外字节（520 或 4160），用来携带端到端的 T10-PI/DIF 保护元数据。 如果你的栈里没有东西用它，那就是每个扇区上的填充，所以选零元数据的格式，把它甩掉。 不小心选了带元数据的格式，你得到的硬盘行为也会和你想要的不一样，而且把扇区大小变更和 PI 变更放在一起，可能会迫使硬盘做一次缓慢的完整格式化，而不是快速格式化。\n一整台主机的硬盘，就用循环来做。这需要 shopt -s extglob 来支持扩展通配符，而且它只挑选 4096/0 且未在使用的格式：\nshopt -s extglob for dev in /dev/nvme+([0-9])n+([0-9]); do # Skip anything that is not actually there [ -e \u0026#34;$dev\u0026#34; ] || continue # An LBA format with 4096-byte data, 0-byte metadata, marked Best, not in use lbaf=$(nvme id-ns -H \u0026#34;$dev\u0026#34; \\ | grep -P \u0026#39;(?=.*Metadata Size: 0)(?=.*Data Size: 4096)(?=.*Best)(?!.*in use)\u0026#39; \\ | awk \u0026#39;{found=$3} END {print (found != \u0026#34;\u0026#34; ? found : -1)}\u0026#39;) if [ \u0026#34;$lbaf\u0026#34; != \u0026#34;-1\u0026#34; ]; then echo \u0026#34;Formatting $dev using LBA Format: $lbaf\u0026#34; nvme format --force --lbaf=\u0026#34;$lbaf\u0026#34; \u0026#34;$dev\u0026#34; else echo \u0026#34;Skipping $dev: no matching LBA format found.\u0026#34; fi done 里面有两处做的事比看上去多。\n通配符匹配的是命名空间，nvme0n1、nvme12n3，并且故意不匹配 nvme0n1p1 这样的分区，因为模式在 n 后面的数字之后就结束了。这就是重新格式化一个命名空间，与对一个运行中的系统做出无法挽回的事情之间的区别。\n而且选择逻辑只会转换真正提供了你要的格式的硬盘。其他情况都落到 -1 被跳过，这涵盖了三种不同的情况：\n硬盘只提供 512。 不存在 4096 字节的格式，没有可转换的目标，循环就不碰它。它不会尝试，也不会半途失败。 硬盘已经是 4Kn。 4096/0 格式就是正在使用的那个，(?!.*in use) 把它排除了，所以在同一台主机上再跑一次什么也不会做。不会无谓地把每块硬盘都重新格式化一遍。 仅有的 4096 格式都带元数据。 4096 + 8 的格式不满足 Metadata Size: 0，所以循环不会悄悄塞给你一块你没要的 T10-PI 硬盘。 换句话说，它是失败即关闭的。拿不准的时候，它就跳过。\n一个可移植性方面的提醒：那些前瞻断言需要 GNU grep 的 -P（PCRE）模式。在 grep 是别的实现的系统上，模式什么都匹配不到，每块硬盘都会被跳过。烦人，但至少它错在安全的方向。\n即便如此，运行之前还是要把循环读一遍。 在它确实匹配的地方，它会不再提示就直接重新格式化。nvme format --force 不会问第二遍。 它属于装机流程，用在硬盘上什么都没有的机器上，永远不要用在跑着活 OSD、存储池或虚拟机磁盘的主机上。\n在 FreeBSD 上对应的工具是 nvmecontrol，其中 -f 是格式索引：\nnvmecontrol format -f 1 nvme0ns1 SAS 和 SATA：openSeaChest Seagate 的 openSeaChest 跨平台、开源，对其他厂商的硬盘也能用。\n# Find the handle openSeaChest_Format --scan # Ask the drive which sector sizes it will accept openSeaChest_Format -d /dev/sg1 --showSupportedFormats # Convert. The confirmation string is deliberately hard to type by accident. openSeaChest_Format -d /dev/sg1 --setSectorSize 4096 \\ --confirm this-will-erase-data-and-may-render-the-drive-inoperable 那句确认语不是我在故弄玄虚。那是工具要求的字面字符串，而 “may render the drive inoperable” 这部分是真的。 低级格式化如果被断电打断，硬盘可能需要再格式化一次才能工作。\n在底层，操作因传输协议而异：SAS 和 SCSI 用 Format Unit，SATA 用 Set Sector Configuration Ext（快速格式化路径），NVMe 用 NVM Format。 对 SAS 硬盘，你可以直接驱动 Format Unit，注意这个选项要的是更短的确认字符串：\nopenSeaChest_Format -d /dev/sg1 --formatUnit 4096 --poll \\ --confirm this-will-erase-data 两个不同的选项，两个不同的确认字符串，弄反了工具就会拒绝。\n在硬盘支持快速格式化的地方，扇区大小几秒钟就改好，而不是几个小时；硬盘之后再做完整性和后台工作，把你真正的数据写上去会缩短这段后台时间。完整格式化会从头到尾写零，在大容量机械硬盘上可能要好几个小时甚至好几天。\nopenSeaChest_Format -d /dev/sg1 --setSectorSize 4096 --fastFormat \\ --confirm this-will-erase-data-and-may-render-the-drive-inoperable SCSI：sg_format 对任何说 SCSI 的设备，sg3_utils 能做同样的事：\n# --size requires --format; expect hours on a large spinning disk sg_format --format --size=4096 /dev/sdb # Fast format where the drive supports it — seconds instead of hours sg_format --format --size=4096 --ffmt=1 /dev/sdb sg_format 在提交之前会给你 15 秒倒计时，--quick 会跳过它。 它的文档还警告了一种值得了解的特定故障：如果块大小变更成功但随后的格式化失败，硬盘可能会处于 “format corrupt” 状态，需要再格式化一次才能恢复。\n转换任何东西之前 检查引导路径。 用 4Kn 硬盘做引导设备需要 UEFI 和支持它的操作系统。现代 Linux 没问题。老版本的 Windows 不行，有些硬件 RAID 控制器至今完全拒绝 4Kn。 在硬盘装东西之前做。 事后改造意味着迁出、转换、再恢复。 先做一块，再检查。 转换一块硬盘，确认报告的大小，然后再做其余的。 预计要几个小时，如果是不支持快速格式化的机械硬盘。别在一台你很快就要用回来的机器上开始低级格式化。 检查你手上有什么 # LOG-SEC is what the host addresses, PHY-SEC is what the medium uses lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC # The same, from sysfs cat /sys/block/sda/queue/logical_block_size cat /sys/block/sda/queue/physical_block_size # SMART states both, and this is the clearest 512e signature there is smartctl -a /dev/sda | grep -i \u0026#34;sector size\u0026#34; 512 bytes logical, 4096 bytes physical 是 512e 硬盘。 两个数字相同则是原生的：都是 512 就是 512n，都是 4096 就是 4Kn。\n再检查分区是否真的对齐：\nparted /dev/sda align-check optimal 1 ZFS、Ceph 与虚拟磁盘 ZFS：创建存储池时显式设置 ashift=12，不要依赖硬盘报告的大小，因为在 512e 上它会告诉你 9，而那是错的。之后改不了。\nCeph：在闪存上，BlueStore 的最小分配大小应该是 4 KB。现代 Ceph 默认就是 4096，但老版本默认值更高，SSD 上大约 16 KB，HDD 上 64 KB，这对 RBD 虚拟机磁盘很不合适，因为它们发出大量小的随机 4 KB 写入，而一次 4 KB 写入落进 16 或 64 KB 的分配单元，既放大了写入，又把剩下的部分浪费在填充上。它在 OSD 创建时就固定了，所以必须在创建或重建之前设置：\nceph config set global bluestore_min_alloc_size_ssd 4096 # new or rebuilt OSDs only 还有一个对应的 bluestore_min_alloc_size_hdd。已有的 OSD 保留它们创建时的值，所以改它就意味着重建它们。\n虚拟磁盘：客户机看到的是虚拟化层呈现给它的东西，而不是底层硬盘，所以虚拟机下面的 4Kn 硬盘，除非你另行指定，仍然会给客户机 512 字节的块。要让整个栈端到端保持 4K，就要告诉 QEMU 呈现 4K，在 Proxmox 里这是 /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf 里的一行原始参数：\nargs: -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096 真正迫使 QEMU 对这些磁盘使用 4Kn 的就是这一行：-global 把它应用到虚拟机上的每一个 scsi-hd 设备，于是客户机被告知逻辑和物理块大小都是 4096，并据此分区和对齐。\n不要给整个字符串加引号。 Proxmox 用 Text::ParseWords::shellwords 解析 args:，所以这样写：\nargs: \u0026#34;-global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096\u0026#34; 会被合并成一个参数：引号被识别并去掉，QEMU 拿到的是一个又长又无法解析的选项，而不是四个。不加引号，同一行会被拆成 -global、scsi-hd.physical_block_size=4k、-global、scsi-hd.logical_block_size=4096，这才是你要的。这个错误很容易犯，因为在命令行上加引号是正确的直觉，而出错的表现（虚拟机启动不了，抱怨这个选项）并不会把你指回引号上。\n要在安装客户机操作系统之前做这件事。在已经装好的系统下面改磁盘的块大小，可能让它无法启动，因为分区布局和引导程序是按 512 字节扇区写的。还要注意 args: 是一个绕开 GUI 管理的专家级后门，它与实时迁移和快照之间的相互影响，值得对照当前的 Proxmox 文档再核实一遍。\n当客户机说 512 而主机说 4K 这是值得真正弄明白的情况，因为在做完上面所有工作之后，你默认得到的就是它。\n无论底层设备是什么，QEMU 都会向客户机呈现 512 字节的逻辑块，除非另行指定。 所以你可以把主机里的每一块硬盘都转换成 4Kn，上面的虚拟机仍然会被告知 512，而且它们会相信。\n于是客户机按 512 字节边界分区，因为它可以；发出 512 字节的 IO，因为它可以。 但主机设备现在确实有 4096 字节的逻辑块，它不会接受 512 字节的写入。 总得有东西来调和两者，而那个东西就是主机：QEMU 读出周围的 4 KB，把客户机的 512 字节合并进去，再把整块写回去。\n你并没有去掉模拟。你只是把它从硬盘固件里搬到了你的虚拟化层里，在那里它消耗的是主机 CPU 和一个回弹缓冲区，而不是硬盘的周期。\n在 cache=none 下，这也不是一个温和的惩罚。对 4Kn 设备使用 O_DIRECT 要求偏移和长度都按 4 KB 对齐，所以小于 4K 的客户机写入没法直接透传，必须先在 QEMU 里把对齐修好，然后才能发出 IO。\n而未对齐的情况会在上一层卷土重来。一个按 512 字节粒度分区的客户机，会把它的 4 KB 文件系统写入放在跨越两个主机 4 KB 块的偏移上，于是每一次都变成主机上的两次读-改-写。和裸 512e 硬盘上分区未对齐是同一种故障，只是现在它发生在虚拟机里，没人会去那里找。\n所以规则是：如果主机是 4Kn，也给客户机呈现 4K，并且在操作系统装上去之前做。\n例外是客户机的支持情况，这也正是 512e 存在的全部理由：\nLinux 客户机处理 4Kn 毫不费力。 Windows 从 Windows 8 和 Server 2012 起支持 4Kn 数据卷，从 4Kn 启动则需要 UEFI。 任何更老的东西，Windows 7 及更早，根本做不了 4Kn。对它们来说，呈现 512 的虚拟磁盘就是运行它们的代价，主机会去做调和。如果这件事要紧，就把这些客户机放在代价最小的存储上，而不是放在你最快的那一层。 从客户机内部检查它实际得到的是什么：\nlsblk -o NAME,LOG-SEC,PHY-SEC 在 4Kn 主机上那里如果是 512，就意味着上面讲的调和在每一次未对齐写入时都在发生。\n参考资料 OpenZFS — Workload Tuning：ashift，为什么 2^ashift 是一个 vdev 上可能的最小 IO，以及 “many devices misreport their sector sizes” 这一观察 nvme-format man page：--lbaf、--namespace-id、--ses 和 --force sg_format man page：--size 配合 --format、快速格式化选项，以及 format-corrupt 警告 openSeaChest：Seagate 的开源硬盘工具集，包括 --setSectorSize 和 --showSupportedFormats openSeaChest wiki — Format, Fast Format, And Sector Sizes：哪种传输协议用哪条命令，以及快速格式化何时适用 nvmecontrol(8)：FreeBSD 上的对应工具 Linux block layer documentation：内核如何建模逻辑块大小和物理块大小 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/block-sizes-4kn-512e/","summary":"512e 硬盘对外报告的 512 字节扇区其实并不存在，每一次未对齐的写入都要靠固件来补差。这在介质上、在主机里、在写放大上各要付出什么代价，为什么直接同步写入是最坏的情况，以及怎样把整批硬盘转换成 4Kn。","title":"4Kn、512e 与 512n：为什么原生 4K 更好，模拟又要付出什么代价"},{"content":"BAR 是什么，GPU 为什么撑破了它 每个 PCIe 设备都暴露一个或多个基地址寄存器（Base Address Register）。 BAR 告诉系统这个设备需要多大的地址空间，固件再把它映射进主机的内存映射里。 映射好之后，CPU 就用普通的读写指令访问设备的内存。\nBAR 的大小过去是固化在芯片里的。 固件在上电时读一下，事情就到此为止。\nBAR 还小的时候，这没问题。 一块网卡的寄存器只要几十 KB。 一个 NVMe 控制器要 16KB 到 64KB。\n显卡打破了这个安排。 一块现代显卡有 8、12、16 或 24GB 显存，显而易见的做法是把它全部映射进来，让 CPU 能往任何地方写。 固定大小的 BAR 表达不了这一点，于是惯例变成了一个小窗口，通常是 256MB，由驱动在帧缓冲上来回挪动，一块一块地透过它复制。 这能用。 只是为了够到你已经买下并装上的内存，要记一大堆没道理的账。\n固定窗口一次只露出一片；Resizable BAR 把整块都映射进来 固定 BAR：一个 256 MB 的窗口 24 GB 显存，画成一片一片 窗口 驱动挪动窗口，透过它复制， 一次一片。分片仅作示意，不按比例。 Resizable BAR：全部 同样的 24 GB，一次映射 一个 BAR 覆盖全部 CPU 想往哪写就往哪写。没有窗口 需要挪动。 256MB 的窗口与其说是带宽限制，不如说是一笔记账税：驱动把时间花在挪窗口上，而不是搬数据上。 Resizable BAR 改变了什么 Resizable BAR 是一项 PCIe 能力，让 BAR 的大小可以协商，而不是固定。 设备通告它能支持的大小，由固件或操作系统设定其中一个。\n对 GPU 来说，这意味着整个帧缓冲可以一次映射进来。 驱动不再透过窗口翻页，而是想往哪写就往哪写。 内核把这项能力报告为 Physical Resizable BAR，它与厂商无关。AMD 显卡在 Intel 平台上能用，反过来也一样。\n三家厂商实际怎么做 有意思的是，各家厂商对它有多重要并没有共识。\n三家厂商，一项能力，三种不同的姿态 Intel Arc / Arc Pro 必须开启 “Required to get a good experience with Arc” 关闭后，原本就有的 帧时间尖峰会变得更大。 平台：第 10 代 Core 及 更新、大多数 Ryzen 3000、 全部 Ryzen 5000。 NVIDIA 按游戏配置 RTX 30 系列起， 2021年3月 “A few percent, up to 12%”， 而有些游戏会变慢，所以 驱动只在测试中更快的 地方开启它。 需要更新 VBIOS + SBIOS。 AMD Radeon SMART ACCESS MEMORY 同一项能力， 换个品牌名来卖 随 RX 6000 和 Ryzen 5000 作为配套功能推出， 但这项能力是标准的 PCIe 功能，跨厂商可用。 在 Vega 和 Polaris 上支持较零散。 三种情况下能力完全相同，不同的是厂商把它当作前提条件、 有选择地应用的优化，还是一项产品功能。 同一项能力，三种不同的姿态。Intel 把它当作前提条件；NVIDIA 只为它测试过的游戏开启；AMD 把它当作一项功能来卖。 Intel Arc 和 Arc Pro：Intel 说必须开 Intel 的态度最坚决。 它的指南说 Resizable BAR 是“required to get a good experience with Intel® Arc™ hardware”（要在 Intel Arc 硬件上获得良好体验所必需的）。 对一项平台功能来说，这是罕见的强硬措辞，它反映的是 Arc 驱动的构造方式，而不是一个营销选择。\n在症状方面，Intel 描述关闭它的后果时讲的是稳定性而不是平均值：在“ReBAR off”的情况下，“will generally result in spikes that were already there getting bigger”（通常会让原本就有的尖峰变得更大）。 这是一个关于帧时间稳定性的论点，和 ASPM 对延迟长尾的影响是同一种形状的问题。平均值把它藏起来了。\nIntel 列出的支持平台是第 10 代及更新的 Intel Core 处理器、大多数 Ryzen 3000 系列和全部 Ryzen 5000 CPU，并把它当作一项需要你自己去主板 BIOS 里开启的功能。\n对 Arc 和 Arc Pro 来说，实际结论很简单。 如果你把一块 Arc 卡装进机器，性能让人失望或者忽高忽低，先查这个，再查别的。 正因如此，在这些卡上它与其说是一个调优旋钮，不如说是一个前提条件。\nNVIDIA：Ampere 起步，而且只在有用的地方开 NVIDIA 在 2021年3月为 GeForce RTX 30 系列显卡和笔记本加入了支持。 要让它工作，需要受支持的 VBIOS、兼容的 CPU 和主板、一次主板固件更新，以及较新的驱动。 RTX 3060 出厂就带；3060 Ti、3070、3080 和 3090 可能需要更新固件才能用上。\nNVIDIA 自己对性能的表述朴实得让人耳目一新。 它们发现“some titles benefit from a few percent, up to 12%”（有些游戏能提升几个百分点，最多 12%），而“there are also titles that see a decrease in performance”（也有游戏的性能会下降）。\n它们对此的应对才是值得知道的细节：NVIDIA 没有全局开启，而是预先测试游戏，用按游戏的配置文件只在测得有收益的地方开启 Resizable BAR。 所以在 NVIDIA 卡上，“ReBAR 开了吗？”的答案因应用而异，一个啥也没测出来的基准测试，可能只是驱动决定不去碰的那个游戏。\nAMD：Smart Access Memory 就是同一个东西 AMD 给它起的品牌名是 Smart Access Memory，与 Radeon RX 6000 系列和 Ryzen 5000 CPU 一起推出。 营销上暗示要 AMD CPU 配 AMD GPU，发布时也确实是这么推的，但底下的能力就是标准的 PCIe 那一项。 在 Intel 机器里插一块 Radeon 卡，在固件里开启 Resizable BAR，你就得到了同样的功能，只是没有那个品牌名。\nRadeon Pro W 系列卡也支持。 在较老的架构上，即 Vega 和 Polaris，支持就参差不齐了，而虚拟化的麻烦也正出在那里。\nResizable BAR 与 AI 工作 这正是这项功能被误解的地方，所以值得把它碰到的东西说清楚。\nResizable BAR 改变的是 CPU 访问 GPU 内存的方式。 那是传输路径：暂存模型权重、推送批次、读回结果。 它不碰 GPU 自身的显存带宽，也不会让矩阵乘法变快。\n所以老实的总结是，它影响的是模型的加载和投喂，而不是运算。 对一个大模型来说，加载时从主机到设备的复制是实实在在的成本，全尺寸 BAR 让 CPU 能直接写进设备内存，而不是透过一个 256MB 的舷窗来回倒腾。 在推理运行的稳定阶段，权重已经驻留、工作受计算限制，别指望有啥变化。\n有三点具体的值得知道。\n用于 AI 的 Arc Pro 继承了 Intel 的结论。 如果 Intel 说这块卡需要 Resizable BAR 才能有良好体验，那么这对一块跑 oneAPI 或 PyTorch 的卡和对一块跑游戏的卡同样适用。 做推理的 Arc 和 Arc Pro 卡都应该开启它，没什么好说的。\n在 NVIDIA 上，你要看的数字是 BAR1。 BAR1 是主机可见的设备内存窗口，主机映射的分配和 GPUDirect RDMA 走的都是它：\n# How much device memory is actually host-visible nvidia-smi -q | grep -A3 \u0026#34;BAR1 Memory Usage\u0026#34; 数据中心卡在设计上就自带很大的 BAR1。 在桌面卡上，是 Resizable BAR 让这个窗口变大而不是变小。 如果你在做从网卡直接到 GPU 内存的 RDMA，这就不是锦上添花。\n别把它和 ROCm 的要求混为一谈。 AMD 的 ROCm 系统要求需要支持 PCIe atomics 的 CPU，即“modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell”（第一代 AMD Zen 和 Intel Haswell 发布之后的现代 CPU），对 BAR 大小只字未提。 这是两项不同的平台要求，都在同一个 BIOS 菜单里，人们总是把它们搞混。 查你真正需要的那一项。\n对 AI 机器打击最大的故障模式根本不是性能问题，下面会讲到：一台机器里装几块大 BAR 的 GPU，可能把地址空间耗尽。\n它需要什么才能工作 四样东西，全都在固件层面：\n在主板固件里开启 Resizable BAR。默认常常是关的。 开启 Above 4G Decoding。一个 24GB 的 BAR 放不进 4GB 线以下，所以平台必须愿意在那条线以上分配地址空间。就算没有 GPU 也把它打开。它不花你任何代价。 UEFI 启动，关闭 CSM。 传统兼容模式和大 BAR 合不来。 较新的固件和驱动，尤其是 2020 到 2021 年过渡期的主板和显卡，那时支持是靠更新而不是在发布时就带来的。 大 BAR 只放得进 4GB 以上，而客户机窗口必须大到能容纳它 调整后的 BAR 实际能放在哪里 系统内存 0 32 位 MMIO 空洞 4 GB 64 位 MMIO 高位 GPU 0 24 GB BAR GPU 1：24 GB GPU 2：24 GB GPU 3：24 GB 拥挤，而且总共只有 4 GB 宽 24 GB 的 BAR 放不进这里。256 MB 的 也只是勉强放得下。 只有开启 Above 4G Decoding 才能用 这是一项固件设置。有些主板默认关闭， 没有它，大 BAR 根本不会被分配。 每块卡在这里都需要自己的空间 四块 24 GB 的卡需要分配 96 GB 的 64 位 MMIO， 外加总线上的其他所有东西。不是每块消费级 主板的固件都做得到。 征兆：两块卡没问题，四块时有一块拒绝 初始化，dmesg 报告没有空间放 BAR。 不按比例：64 位区域比下方的 4 GB 大得多，而这恰恰 就是重点。 Above 4G Decoding 是让上方区域能用起来的前提，而每块卡在那里都需要自己的空间，多 GPU 的 AI 机器就是在这里撞墙的。 在 Linux 上怎么检查 显卡有没有这项能力，以及它提供哪些大小：\n# Substitute your card\u0026#39;s address from lspci lspci -vvs 0000:XX:00.0 | grep -A6 \u0026#34;Physical Resizable BAR\u0026#34; 内核也在 sysfs 里暴露了这一点，每个可调整大小的 BAR 一个文件：\ncat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize 这个值是一个表示所支持大小的位图，而不是一个大小。 位 0 表示 1MB，位 1 表示 2MB，位 2 表示 4MB，某一位对应的大小是 2 ^ (bit + 20)。 所以 00000000000001c0 设置了位 6、7 和 8，意思是这个 BAR 可以是 64MB、128MB 或 256MB。\n要看实际生效的是什么，读取已分配的区域：\nlspci -vvs 0000:XX:00.0 | grep -i Region 一块映射了完整帧缓冲在运行的卡，显示的区域大小与其显存相符，而不是 256MB。\n手动调整大小 你可以自己写入位的位置：\n# bit 7 -\u0026gt; 2 ^ (7 + 20) = 128MB echo 7 \u0026gt; /sys/bus/pci/devices/0000:XX:00.0/resource1_resize 附带的条件很严格，在你在乎的机器上尝试之前值得读一读。 必须先把所有驱动从设备上解绑。 同一父桥下的对等设备可能需要软移除。 在 VGA 设备上，写入调整值会拆掉底层的控制台驱动。 任何打开着 resourceN sysfs 文件的东西都必须松手。\n内核文档对结果也说得直白：不保证成功。 如果没有地址空间放下更大的 BAR，调整就会失败。这又把你直接带回 Above 4G Decoding。\n出问题的时候 dmesg 说无法分配 BAR。 形如 BAR 0: no space for [mem size ...] 的消息意味着分配失败，而不是显卡坏了。 第一个要查的就是 Above 4G Decoding。\n几块 GPU 中有一块无法初始化。 这就是多 GPU 和 AI 机器的故障。 四块带 24GB BAR 的卡需要分配 96GB 的 64 位 MMIO 空间，外加其他所有东西，而不是每块消费级主板的固件都做得到。 症状是机器插两块卡没问题，插四块就趴下。\n性能下降了。 在 NVIDIA 上，那可能就是驱动自己的结论，毕竟它们按游戏开启，正是因为有些负载会退步。在另外两家上，两种方式都测一下，而不是想当然。\n什么都没变。 对于一个从来就不受 CPU 显存窗口限制的负载，这是最可能的结果。\n把大 BAR GPU 直通给虚拟机 值得特别提一下，因为它会让人吃惊：客户机不会继承主机的内存映射。 虚拟机的固件会构建自己的 64 位 MMIO 窗口，而 OVMF 的默认值远小于现代 GPU 的需要，所以显卡要么初始化失败，要么退回到小 BAR。 这是一个 Proxmox 和 QEMU 的话题，而不是 GPU 的话题，它放在 IOMMU 税那篇文章 里，与 始终使用 Q35，而不是 i440fx中的机器类型要求放在一起。\n参考资料 Intel — Resizable BAR and Intel Arc Graphics — Intel 自己声明在 Arc 上要获得良好体验必须开启它，以及支持的平台列表 NVIDIA — Resizable BAR support for GeForce RTX 30 Series — 要求、测得的提升范围，以及按游戏配置的做法 AMD — Smart Access Memory — AMD 的品牌名和平台搭配 Linux kernel sysfs-bus-pci ABI — resourceN_resize — 位图、2 ^ (bit + 20) 的大小计算，以及解绑条件 ROCm system requirements — 常与此混淆的 PCIe atomics 要求 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/pcie-resizable-bar/","summary":"Resizable BAR 让 CPU 能映射 GPU 的整个帧缓冲，而不是透过一个 256MB 的窗口去窥看。Intel 说 Arc 必须开启，NVIDIA 按游戏逐个开启，AMD 把它当作 Smart Access Memory 来卖；而对 AI 工作来说，它改变的是传输，不是计算。","title":"PCIe Resizable BAR 与现代 GPU：Intel Arc、NVIDIA 和 AMD"},{"content":"问题 这件事出现在一次客户项目里，当时我们在为一个对延迟敏感的工作负载设计带 NVMe 直通的 Proxmox VE 部署。客户在开会之前已经自己做过基准测试。在宿主机上，fio 对这块 NVMe 盘测出 70 万随机读 IOPS，完成延迟低于 10µs。在虚拟机里，同一块盘、同样的测试，他们只拿到大约一半。\n明显的地方他们已经查过了。盘没换。固件没变。PCIe 插槽没动。他们开始怀疑，直通是不是从根上就选错了。\n并没有。他们看到的是 IOMMU 税。它常常让人措手不及，因为在你敲定直通方案之前，没人会告诉你有这回事。好消息是，一旦搞清楚开销从哪来，大部分都能找回来。\n深入剖析 必须解决的问题 让虚拟机直接访问一块物理 PCIe 设备，听起来很简单。实际上，它是系统虚拟化里比较难的问题之一。有几件在裸机上自动就能成立的事，一旦设备在宿主机和客户机之间共享，就变得危险了。\nDMA 隔离 这是最根本的问题。\nPCIe 设备读写内存不经过 CPU。它们用直接内存访问（DMA），直接写物理 RAM 地址。在裸机上这没问题，设备和操作系统互相信任。\n在虚拟化下，客户虚拟机有自己的一套物理内存视图。客户机驱动交给 NVMe 控制器的地址是客户机物理地址，它们对应的并不是宿主机 RAM 里的同一位置。如果设备直接使用这些地址，就会读写错误的内存，破坏宿主机、其他虚拟机，或者两者一起。\n更糟的是，一个恶意或有缺陷的客户机驱动，可以故意让设备 DMA 到宿主机内存的任何地方。这实际上等于拿到了整台机器的 root 权限，而且根本不需要利用任何虚拟化管理程序的漏洞。\n解决办法是 IOMMU，一个位于每块 PCIe 设备和主内存之间的硬件地址转换单元（Intel VT-d、AMD-Vi）。它维护自己的页表，与 CPU 的页表分开。设备发出的每个 DMA 请求都要经过 IOMMU，由它把客户机物理地址转换成宿主机物理地址，并拦截任何超出客户机所分配内存区域的访问。\n没有 IOMMU，安全的直通就不可能。有了它，设备就被关在笼子里了。\n设备分组 IOMMU 隔离的不是单个设备，而是组。\nPCIe 规范定义了访问控制服务（ACS），它决定同一总线上的设备能否不经过 IOMMU 所在的根复合体，直接互相通信，也就是点对点 DMA。如果两个设备共用一个不强制 ACS 的 PCIe 交换芯片，一个设备就能 DMA 进另一个设备的内存空间，完全绕过 IOMMU。\n内核会把那些可能在没有 IOMMU 约束的情况下互相访问的设备，归进同一个 IOMMU 组。如果你的 NVMe 控制器和另一个设备同组，只直通 NVMe 就会破坏隔离模型。组里的另一个设备仍然可能被用作绕过 IOMMU 的旁路。\n每座桥和每个交换芯片都正确支持 ACS 的服务器级硬件，通常会让每个设备独占一个组。消费级和工作站主板则常常把多个设备塞在一起，因为 PCIe 根复合体没有在每个端口上实现 ACS。\nProxmox 带有一个内核补丁 pcie_acs_override，它让内核不管硬件是否支持 ACS，都把每个设备当作隔离的。实践中它能用，但它是在对内核谎报硬件拓扑。在生产系统上，由真正的硬件 ACS 支撑的干净分组永远是更好的选择。\n中断投递 在裸机上，NVMe 控制器完成一次 IO 操作时，会直接向 CPU 发出一个 MSI-X 中断。CPU 几百纳秒就处理完了。\n在虚拟化下，这个中断必须送到客户机，而不是宿主机。最朴素的做法是在虚拟化管理程序里截获每个中断，触发一次 VM exit，把中断注入客户机，然后恢复运行。这能用，但每次 VM exit 要花 5–20µs。在高 IOPS 下，也就是每秒几十万个中断，这个开销相当可观。\n硬件上的解决办法是 posted interrupt（投递中断）。Intel 的 APICv 和 AMD 的 AVIC 允许 IOMMU 把中断直接写进客户机的虚拟 APIC 页，完全不产生 VM exit。客户机看到的中断，就像来自裸机硬件一样。开销降到几百纳秒。\n不是所有平台都支持 posted interrupt。较老的 CPU、一些工作站芯片组，以及某些 BIOS 版本，都不提供这项能力。没有它，每个中断都走慢路径，而且没有任何软件上的变通办法。\n设备复位 当虚拟机关机或崩溃时，被直通的设备需要回到一个干净的已知状态，否则它没法被分配给另一台虚拟机，也没法被宿主机收回。\n在裸机上，操作系统会有序地关闭设备驱动。在直通下，客户机可能崩溃，用户可能强制停止虚拟机，虚拟化管理程序可能直接杀掉进程。设备可能正传输到一半，还有 DMA 操作在途。\nPCIe 为此定义了功能级复位（FLR），一种只复位单个设备功能、不影响总线其余部分的办法。NVMe 控制器一般都支持 FLR，而且处理得很好。GPU 在这方面出了名地差，不过那是另一篇文章的事了。\n如果不支持 FLR，后备方案是二级总线复位，它会把那座 PCIe 桥后面的一切都复位。如果这座桥上还有别的设备，它们也会一起被复位。最坏的情况下，只有整台宿主机重启才能收回这个设备。\n地址转换开销 IOMMU 解决了安全问题。因此，它不是可选项。但它带来了一个性能问题。\n现在每次 DMA 操作都要多经过一层地址转换。IOMMU 有自己的 TLB，也就是 IOTLB，命中时开销很小。未命中时，IOMMU 必须遍历自己的页表，这会给每个受影响的 IO 操作增加实实在在的延迟。\n这就是 IOMMU 税。本文剩下的部分，讲的就是它从哪来，以及如何把它降到最低。\n每次 DMA 都经过 IOMMU：命中开销很小，未命中要遍历页表 客户虚拟机 NVMe 驱动 给出客户机物理地址 NVMe 控制器 直接写内存，不经 CPU DMA IOMMU IOTLB 自己的页表 先转换，再放行或拒绝 宿主机内存 本虚拟机的页 转换结果落在这里 宿主机和其他虚拟机 按设计无法访问 没有 IOMMU，控制器会把客户机地址直接写进宿主机 RAM， 破坏那里的任何东西。 IOTLB 命中 ：转换结果已在缓存中，几乎没有开销。 IOTLB 未命中 ：IOMMU 遍历页表，这段延迟落在这个 IO 上。这就是那笔税。 不经过这里，什么都到不了内存。这是安全保证，而它所做的地址转换就是代价。 BAR 映射与地址空间 每个 PCIe 设备都会暴露一个或多个基地址寄存器（BAR），把设备内部的寄存器和内存映射进宿主机的 MMIO 地址空间。宿主机 CPU 通过这些映射访问设备。要让直通工作，虚拟化管理程序必须把这些映射正确地呈现给客户机。\n传统上，BAR 大小在启动时由 BIOS 固定，并且放在 4GB 以下传统的 32 位 MMIO 窗口里。BAR 很小的时候，这没问题。现代 GPU 改变了局面。一个 24GB 的帧缓冲需要一个 24GB 的 BAR，32 位地址空间根本装不下。\n可调整大小 BAR（ReBAR），市场上也叫 AMD Smart Access Memory（SAM），是一项 PCIe 能力，允许在启动后重新协商 BAR 的大小。对 GPU 来说，这是一项重要特性。宿主机不再通过一个 256MB 的窗口一块一块地翻页访问帧缓冲，而是一次映射整个显存。\n对 NVMe 来说，直接影响较小。NVMe 控制器的 BAR 通常只有 16KB 到 64KB，用于控制器寄存器组（BAR0）。NVMe 规范定义了控制器内存缓冲区（CMB），可以为驻留在主机端的提交队列暴露一个更大的 BAR，但大多数盘没有实现它。ReBAR 对 NVMe 吞吐量的影响，远不像对 GPU 那样。\n它在 NVMe 直通场景下之所以重要，是因为 PCIe 环境是共享的。如果你在同一台宿主机上把 NVMe 盘和 GPU 一起直通，GPU 调整后的 BAR 需要 4GB 边界以上的地址空间。BIOS、IOMMU 和虚拟 PCIe 拓扑都得容纳得下。地址空间分配错了，设备就初始化不起来，NVMe 直通也会跟着其他东西一起失败。\n掉电风险 在虚拟磁盘上，写入顺序和崩溃一致性由虚拟化管理程序和存储层负责。用了直通，客户机就是在直接和闪存打交道。如果宿主机在写入中途掉电，你会不会丢数据，取决于 NVMe 控制器固件如何处理（或者不处理）它的写缓存。\n企业级 NVMe 盘带有掉电保护（PLP）电容，能在断电时安全地把写缓存刷下去。没有 PLP 的消费级盘可能做不到。用了直通，客户机和硬件之间就没有虚拟化管理程序这张安全网了。\n对生产工作负载来说，带 PLP 的企业级盘不是可选项。\n运维上的取舍 直通还会拿走虚拟磁盘提供的一些能力。\n被直通的设备在物理上就钉死在某一台宿主机上。设备挂着的时候，虚拟机无法热迁移。在启用了 HA 的 Proxmox 集群里，节点故障意味着虚拟机宕掉，然后在另一个节点上冷启动。没有无缝的故障切换。\n这块盘对 vzdump 和 Proxmox Backup Server 也是不可见的。它不会被包含在虚拟机快照或计划备份里。在工作负载上线之前，必须先准备好单独的备份策略，客户机层面、文件系统层面或应用层面都行。\nVFIO 直通到底是怎么工作的 当你把一块 PCIe 设备直通给虚拟机时，虚拟化管理程序把设备 MMIO 寄存器的直接控制权交给客户机。客户机驱动和 NVMe 控制器打交道，就像跑在裸机上一样。这部分接近原生性能。MMIO 寄存器访问经过扩展页表（Intel 上是 EPT，AMD 上是 NPT），通常不产生 VM exit 就能完成。\n代价出现在 DMA 路径上。每次 DMA 操作都要经过 IOMMU 做地址转换，而如上所述，这个转换是有代价的，尤其是在 IOTLB 未命中的时候。\n为什么基准测试看起来比实际更糟 大多数人的测试就是在这里出的错。\n促使我写这篇文章的那个 Proxmox 论坛帖子里，用户运行 fio 时用的是 iodepth=1。在这个队列深度下，fio 提交一个 IO，等它完成，再提交下一个。这个测试测的只是单个 IO 的延迟。IOMMU 开销的每一微秒都会原原本本地显露出来。\n那个帖子里的数字把事情说得很清楚。裸机的完成延迟平均约 10µs。虚拟机里平均约 28µs。每个 IO 多出来的约 18µs，就是 IOMMU 地址转换的开销。在 iodepth=1 下，它直接让吞吐量减半，因为当只有一个 IO 在途时，吞吐量就等于 1 / latency。\n把队列深度提到 32 或 64，这才是 NVMe 盘设计时的工作方式，情况就变了。有多个 IO 在途时，IOMMU 开销会摊到所有 IO 上。控制器在处理完成事件的同时，新的地址转换也在进行。吞吐量会回到离裸机只差几个百分点的水平。\n实际的结论是这样的。如果你的工作负载跑在 4 以上的队列深度，IOMMU 对吞吐量的影响很可能可以忽略。大多数数据库、虚拟化和存储工作负载都属于这种。如果你的工作负载在低队列深度下对延迟敏感，比如某些实时应用、同步的元数据操作，你会感觉到它。\nIOMMU 损失更多是队列深度造成的假象，而不是吞吐量上限 虚拟机吞吐量占裸机的比例 实际工作负载在这一段 0% 25% 50% 75% 100% 人人都在跑的基准测试 iodepth=1 测的纯粹是单个 IO 的延迟，所以 10 µs 对 28 µs 的差距原样显露 只差几个百分点 1 2 4 8 16 32 64 队列深度（fio iodepth） 示意图，依据本文自己的 10 µs / 28 µs 数据。 同样的硬件、同样的测试、同样的开销，变的只有队列深度。 这条曲线上每一点的开销都一样。变的只是有多少个 IO 在途，能把它分摊掉。 在断定直通太慢之前，先用贴近实际的队列深度跑基准测试：\n# Bare metal baseline — run on the host before binding to vfio-pci fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting # Same test inside the VM after passthrough fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting 对比 clat（完成延迟）百分位数和 IOPS 数字。在 iodepth=32、四个 job 的情况下，差距应该是个位数百分点，而不是 50%。\nNUMA 对齐 这个话题有单独的文章。见 Proxmox VE 上的 NUMA 对齐：为什么要紧，以及怎么做对。\n简短版本：在多路系统上，每个 PCIe 设备都连接到某一个特定的 CPU 插槽。如果 NVMe 盘在 NUMA 节点 1 上，而虚拟机的 vCPU 被绑定在节点 0，那么每次 DMA 完成都要跨越插槽间互联链路。每次操作增加 50–100ns。在高 IOPS 下，NUMA 对齐和不对齐之间的吞吐量差距是 20–30%。\n用 cat /sys/bus/pci/devices/0000:XX:00.0/numa_node 检查，然后在虚拟机配置里用 affinity 参数把虚拟机的 vCPU 绑定到同一节点的核心上。在单路系统上，不用操心这个。\nPCIe 活动状态电源管理（ASPM） 这个话题有单独的文章。见 PCIe ASPM，以及为什么做直通时应该关掉它。\n简短版本：ASPM 允许 PCIe 链路在空闲时进入低功耗状态。在直通下，宿主机仍然控制物理链路，但设备归客户机所有。当客户机提交 IO 而链路正在休眠时，唤醒时间就会增加延迟。症状是 clat 百分位数分布很宽。平均值看起来没问题，p99 却可能比平均值高 5–10 倍。\n在宿主机内核命令行里加上 pcie_aspm=off 关掉它。如果你的 NVMe 控制器在电源状态恢复上有问题，还要在 vfio-pci 模块选项里加上 disable_idle_d3=1。Samsung 990 EVO Plus 就是出了名的问题盘。\nMaxPayloadSize（MPS） 这个话题有单独的文章。见 PCIe MaxPayloadSize：直通的一项免费性能提升。\n简短版本：PCIe 设备用事务层数据包（TLP）传输数据。QEMU 的虚拟根复合体默认最大负载是 128 字节。大多数设备支持 256 或 512 字节。在宿主机内核命令行里加上 pci=pcie_bus_perf，会把 MPS 设成每个设备的上级总线所允许的最大值。这是一个很小的吞吐量提升，个位数的低百分比，但它是免费的，没有任何坏处。\nResizable BAR 与 MMIO 窗口 前面讲的 BAR 映射问题，在 BIOS 和虚拟机两侧都有实际的处理步骤。\n首先，在 BIOS 里启用 Above 4G Decoding。这允许 BAR 被映射到 4GB 边界以上的地址空间，任何带大 BAR 的设备都需要它。即使只直通 NVMe 也要启用。它没有任何坏处，而且以后加上 GPU 或其他大 BAR 设备时能避免问题。\n如果 BIOS 里有 ReBAR，也一并启用。它不会直接影响 NVMe 性能，但能让同一台宿主机上的 GPU 使用完整的帧缓冲映射。\n在虚拟机一侧，QEMU 的虚拟 Q35 根复合体需要一个足够大的 64 位 MMIO 窗口，客户机才能看到调整过大小的 BAR。默认情况下，OVMF 分配的窗口相对较小。只直通 NVMe 的话没问题，NVMe 的 BAR 放得下。但如果虚拟机同时直通了 NVMe 和 GPU，就要加大 MMIO 窗口：\nargs: -fw_cfg name=opt/ovmf/X-PciMmio64Mb,string=65536 这会让 OVMF 分配 64GB 的 64 位 MMIO 空间，足够大多数 GPU 帧缓冲和 NVMe 控制器的小 BAR 共用。\nQEMU 对 ReBAR 的支持一直在改进，但仍然不算顺畅。一些 AMD GPU（Vega 及更新的型号）在 QEMU 下启用 ReBAR 时会触发驱动错误（Windows 里的 Code 43）。如果遇到这个问题，第一步先在 BIOS 里关掉 ReBAR。无论哪种情况，NVMe 直通都不受影响。\n关于 Resizable BAR 在 GPU 那一侧做了什么，以及为什么 Intel 在 Arc 上把它当作必需项，而 NVIDIA 按游戏逐个启用，见 PCIe Resizable BAR 与现代 GPU：Intel Arc、NVIDIA 和 AMD。\n中断处理 前面讲的中断投递问题，有一个实际的调优步骤。posted interrupt（Intel 上的 APICv，AMD 上的 AVIC）可能默认没有启用。\n检查它们是否已激活：\n# Intel — look for \u0026#34;Posted-Interrupts\u0026#34; in dmesg dmesg | grep -i \u0026#34;posted\u0026#34; # AMD — check AVIC support dmesg | grep -i \u0026#34;avic\u0026#34; 陷入式中断投递与 posted interrupt 对比 没有 posted interrupt：完成事件绕远路 NVMe发出 MSI-X 虚拟化管理程序截获它 注入到客户机 客户机恢复处理它 VM exit VM entry 5–20 µs 每个中断 在几十万 IOPS 下，这不是舍入误差，而是主要开销。 posted interrupt（Intel APICv / AMD AVIC）：直接送达 NVMe发出 MSI-X IOMMU直接写入 客户机的虚拟 APIC 页 客户机只看到一个中断 无 exit 无 exit 约几百 ns 没有软件上的变通办法：posted interrupt 是一项硬件能力。 但它并不总是默认启用，所以在认定慢路径无法避免之前，先检查一下。 四个步骤加两次 VM exit，或者往客户机的 APIC 页里写一次。在高 IOPS 下，这个差别就不再只是理论问题了。 在 AMD EPYC 系统上，如果 KVM 模块默认没有启用 AVIC，就把它打开：\n# /etc/modprobe.d/kvm.conf options kvm_amd avic=1 在 Intel 系统上，VT-d 激活时，带 posted interrupt 的 APICv 通常会自动启用。\n如果你的平台不支持 posted interrupt，就没有任何软件上的变通办法。这是一项硬件能力。但在认定慢路径无法避免之前，值得先确认它是不是真的打开了。\n中断亲和性与队列对齐 NVMe 控制器使用多对提交队列和完成队列，通常每个 CPU 核心一对。当虚拟机的 vCPU 和处理 NVMe 中断的物理核心对不上时，完成事件就得通过处理器间中断在核心之间跨越。这会增加延迟。\n在客户机里，检查 NVMe 驱动创建了多少个 IO 队列，以及它们是怎么映射的：\n# List NVMe IO queues cat /proc/interrupts | grep nvme # Check affinity for irq in $(grep nvme /proc/interrupts | awk \u0026#39;{print $1}\u0026#39; | tr -d \u0026#39;:\u0026#39;); do echo \u0026#34;IRQ $irq: $(cat /proc/irq/$irq/smp_affinity_list)\u0026#34; done 理想情况下，每个 NVMe IO 队列的中断都应该绑定到向这个队列提交 IO 的那个 vCPU 上。大多数现代 NVMe 驱动会自动处理这一点。但值得确认一下，尤其是当你手动绑定了 vCPU，或者把 vCPU 数量减到低于控制器的队列数时。\n永远用 Q35，别用 i440fx 这个话题值得单独写一篇。见 永远用 Q35，别用 i440fx。\n简短版本：i440fx 呈现的是一条扁平的传统 PCI 总线。Q35 呈现的是一个真正的 PCIe 根复合体。i440fx 上的直通设备显示为传统 PCI 设备，这会破坏 MSI-X 多队列中断投递。NVMe 控制器的“每核一队列”架构需要 MSI-X。没有它，所有 IO 完成事件都挤过同一个中断，在高 IOPS 下形成瓶颈，内核再怎么调也解决不了。\n在 Proxmox 8.x 及更新版本中，Q35 是新建虚拟机的默认值。如果你在一台仍然是 i440fx 的老虚拟机上做直通，就把它换掉。RHEL 10 已经正式弃用 i440fx，更广泛的 KVM 生态也在跟进。\n综合起来 下面按影响大小排列，汇总这些调优步骤。\n按影响大小排列的调优步骤，以及每一步实际改变了什么 按影响大小 改变了什么 1 NUMA 对齐 多路机器上 20–30% 的吞吐量。这张表上别的没一项能比。 吞吐量 2 关闭 ASPM 去掉尾部的唤醒延迟。平均值几乎不变，p99 会变。 延迟抖动 3 贴近实际的队列深度 机器上什么都没变。只是让你别从 iodepth=1 得出错误结论。 测量本身 4 posted interrupt（APICv / AVIC） 每个中断从微秒降到纳秒，但前提是平台支持。要核实，别想当然。 单中断开销 5 MaxPayloadSize：pci=pcie_bus_perf 个位数的低百分比。免费、没坏处，所以设上，但别指望看得出来。 链路开销 6 vfio-pci disable_idle_d3 防止挑剔的控制器在 D3 里死掉。换来的是可靠性，不是速度。 可靠性 只排名次，故意不画成条形：它们的单位不同， 画成条形图会引人做一种并不存在的比较。 从上往下做，别横着挑。在多路机器上，第一项比其余各项加起来还值。 NUMA 对齐：确保 NVMe 盘和虚拟机的 vCPU 在同一个 NUMA 节点上。在多路系统上，光这一项就可能带来 20–30% 的吞吐量差距。\n关闭 ASPM：在宿主机内核命令行里加上 pcie_aspm=off。消除 PCIe 链路电源状态切换带来的延迟抖动。\n贴近实际的队列深度：用 iodepth=32 或更高来测试，而不是 iodepth=1。在低队列深度下占主导的 IOMMU 开销，在实际深度下会被摊薄。\nposted interrupt：确认 APICv（Intel）或 AVIC（AMD）已激活。把每个中断的开销从微秒级降到纳秒级。\nMPS 优化：在宿主机内核命令行里加上 pci=pcie_bus_perf。把 MaxPayloadSize 设为拓扑所支持的最大值。\nvfio-pci 电源管理：如果你的 NVMe 控制器在直通下有电源状态问题，加上 disable_idle_d3=1。\n在 AMD EPYC 系统上做 NVMe 直通的 Proxmox 节点，合起来的宿主机内核命令行大致是这样：\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet amd_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf\u0026#34; Intel 的话：\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet intel_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf\u0026#34; 什么时候直通不值得 在走这条路之前，值得先问问自己，到底需不需要 NVMe 直通。\n用 NVMe 做后端的虚拟磁盘，配上 VirtIO-SCSI 或 VirtIO-BLK，本身就已经非常高效。和直通相比，延迟上的开销通常是 5–10%。对大多数工作负载来说，吞吐量差距可以忽略。\n当你需要客户机操作系统直接管理设备时，直通才有意义。这包括 SMART 监控、固件更新、TRIM/discard 控制，以及像预留（reservation）这样的特定 NVMe 功能。对于连几微秒都在乎的延迟敏感型工作负载，它也有意义。某些数据库引擎和实时数据采集就属于这一类。\n对其他所有情况，前面讲过的运维取舍，失去热迁移、失去快照和备份集成，通常都会压过那点小小的性能收益。\n简单的路能把活干好，偏要选难的那条，没啥聪明的。\n验证你的改动 应用这些调优步骤之后，确认一切都按预期工作：\n# Host side — confirm IOMMU is in passthrough mode dmesg | grep -i iommu # Confirm ASPM is disabled lspci -vv | grep -i \u0026#34;ASPM Disabled\u0026#34; # Check MPS on the NVMe controller lspci -vv -s XX:00.0 | grep MaxPayload # Inside the VM — run the fio comparison fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting 把虚拟机的结果和你之前的裸机基线对比。在 iodepth=32 下，吞吐量应该和裸机相差不到 5%。完成延迟的平均值应该和宿主机的数字相差在 10–15µs 以内。如果差距仍然很大，先查 NUMA 对齐。它是最常被忽视的因素。它也只需要改一下配置，什么成本都没有，这是你能剩下的最好的那种问题。\n参考资料 Linux kernel PCI documentation — MPS and MRRS tuning options — pcie_bus_perf、pcie_bus_safe 及相关参数的权威来源 Proxmox VE Administration Guide — PCI(e) Passthrough — Proxmox 关于 VFIO 设备直通配置的官方文档 Proxmox Forum — NVMe Passthrough Performance — 促使我写这篇文章的社区讨论 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/pcie-passthrough-performance-the-iommu-tax/","summary":"为什么 PCIe 设备通过 VFIO 直通给虚拟机后会损失吞吐量，以及能把大部分损失找回来的实用调优步骤。","title":"Proxmox VE 上的 PCIe 直通性能：IOMMU 税以及如何把它降到最低"},{"content":"NUMA 是什么 NUMA 是 Non-Uniform Memory Access（非一致性内存访问）的缩写。 在单路系统上，每个 CPU 核心都通过同一个内存控制器访问系统的全部内存。 不管是哪个核心发起请求，也不管数据在物理内存的哪个位置，访问时间都一样。\n在多路系统上，每个 CPU 插槽都有自己的内存控制器和自己的一组内存。 插槽 0 上的核心可以很快地访问插在插槽 0 上的内存，这就是本地内存。 它也能访问插在插槽 1 上的内存，但这个请求必须穿过插槽间互连（Intel UPI、AMD Infinity Fabric）。 那就是远程内存，它更慢。\n内核把每个插槽及其本地内存称为一个 NUMA 节点。 一台双路 AMD EPYC 系统至少有两个 NUMA 节点。 有些 EPYC 处理器每个插槽暴露四个 NUMA 节点（每个 CCD 一个），在双路主板上就是八个节点。\n本地和远程内存访问之间的性能差异可不细微。 本地访问大约 80–100ns。 远程访问大约 130–200ns。 每次内存操作要多付 50–100% 的代价。 单看这个数非常小。 但在虚拟机的整个生命周期里，每一次内存访问都要付一遍，它就不小了。\n为什么这对虚拟化很要紧 Proxmox 创建虚拟机时，会分配 vCPU 和内存。 默认情况下，这些 vCPU 可以被调度到任何插槽的任何物理核心上。 虚拟机的内存可以从任何一个 NUMA 节点的内存池里分配。\n如果调度器把一个 vCPU 放在插槽 0，而虚拟机的内存在插槽 1，那么这个 vCPU 的每一次内存访问都要穿过插槽间互连。 如果 vCPU 在插槽之间来回跳（没绑定的话它们就会这样），内存访问模式就会一团糟。 有些访问是本地的，有些是远程的，虚拟机的性能也就跟着抖。\n对于一般负载，比如 Web 服务器、文件服务器、桌面虚拟机，这通常还能忍。 开销是在的，但它分摊在许多操作上，不占主导。\n对于 IO 密集型负载，比如数据库、存储服务器，任何做大量磁盘或网络 IO 的东西，代价会层层累加。 每一次 DMA 完成、每一次中断投递、每一次缓冲区拷贝都涉及内存访问。 如果这些访问都在跨插槽，开销很快就会堆起来。\n为什么这对直通很要紧 PCIe 设备在物理上是连到某一个特定的 CPU 插槽的。 每个插槽都有自己的 PCIe 根复合体。 插槽 3 里的 NVMe 盘可能在插槽 0 的 PCIe 通道上。 插槽 5 里的 GPU 可能在插槽 1 的上面。\n设备做 DMA 时，数据会进入 IOMMU 把它映射到的那个 NUMA 节点所连的内存。 如果虚拟机的内存是从设备的本地节点分配的，DMA 写入就直接进本地内存。 如果内存在另一个节点上，每一次 DMA 操作都要穿过插槽间互连。\n对一块每秒做几十万次 IOPS 的 NVMe 盘来说，每次操作 50–100ns 的代价会累加起来。 在 iodepth=32、4KB 随机读的情况下，NUMA 对齐和不对齐之间的吞吐量差距可以达到 20–30%。 这还是在你去看 IOMMU 开销、ASPM、MPS 或者任何别的东西之前。\nNUMA 未对齐让每次 DMA 都穿过插槽间互连；对齐则让它留在本地 未对齐：虚拟机在节点 0，盘在节点 1 NUMA 节点 0 核心 0–15 内存 128 GB 虚拟机：vCPU 绑定 0–15，内存分配在这里 NUMA 节点 1 核心 16–31 内存 128 GB NVMe，根复合体 1 UPI / IF 每次 DMA 都穿过互连：130–200 ns 已对齐：vCPU、内存和盘都在节点 1 NUMA 节点 0 核心 0–15 内存 128 GB 留给其他虚拟机 NUMA 节点 1 核心 16–31 内存 128 GB NVMe，根复合体 1 虚拟机：affinity 16-31, numa0 hostnodes=1, policy=bind 空闲 80–100 ns 在 iodepth=32、4 KB 随机读下，两者的吞吐量差距是 20–30%， 这还没算上 IOMMU 开销、ASPM 或 MPS。 在单路系统上，没有第二个节点，也没有插槽间互连，所以 这些都不适用。 两种情况下硬件完全一样。唯一的区别是虚拟机被绑到了哪个节点，以及盘的 DMA 是否必须穿过互连才能到达虚拟机的内存。 网卡、GPU 以及任何其他直通设备也是一样。 设备的 DMA 流量应该落在本地内存里，处理这些流量的 vCPU 也应该在同一个节点上。\n怎么检查你的拓扑 找出设备在哪个 NUMA 节点上 # Replace 0000:XX:00.0 with your device\u0026#39;s PCI address from lspci cat /sys/bus/pci/devices/0000:XX:00.0/numa_node 它返回 NUMA 节点编号。 如果返回 -1，说明内核无法确定节点。这在某些 PCIe 交换芯片后面的设备上时有发生。 这种情况下，用 lspci -tv 手动追踪 PCIe 拓扑，把根端口对应到插槽上。\n查看完整的 NUMA 布局 numactl --hardware 它会显示每个 NUMA 节点、上面有多少个 CPU 核心、连了多少内存，以及节点之间的距离（相对代价）。\n一台双路 EPYC 系统的示例输出：\navailable: 2 nodes (0-1) node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 node 0 size: 131072 MB node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 node 1 size: 131072 MB node distances: node 0 1 0: 10 32 1: 32 10 读懂 numactl --hardware 给出的节点距离表 距离表，取自\u0026#160;numactl --hardware 双路，每插槽 2 个 NUMA 节点。相对代价，不是纳秒。 节点 0 节点 1 节点 2 节点 3 节点 0 节点 1 节点 2 节点 3 10 16 32 32 16 10 32 32 32 32 10 16 32 32 16 10 插槽 0 插槽 1 10：节点自身，本地内存 16：同一插槽，另一个节点 32：跨插槽间互连 把虚拟机和它的设备绑在同一个 10 里， 绝不要让它的内存落到 32 上。 双节点主板只显示 10 和 32； 一旦一个插槽暴露多个节点， 16 就会出现。 这些数字是相对代价，不是纳秒。把虚拟机和它的设备放在同一个 10 里面，绝不要让它的内存落到 32 上。 距离表告诉你相对代价。 10 是本地。 32 是远程。 数字越大意味着跳数越多。在每插槽四节点的 EPYC 配置上，有些节点对的距离是 32，另一些是 16，取决于它们在哪个 CCD 上。\n把设备对应到节点 # List all PCI devices and their NUMA nodes for dev in /sys/bus/pci/devices/*; do node=$(cat \u0026#34;$dev/numa_node\u0026#34; 2\u0026gt;/dev/null) echo \u0026#34;$(basename $dev) node=$node $(lspci -s $(basename $dev) 2\u0026gt;/dev/null | cut -d\u0026#39; \u0026#39; -f2-)\u0026#34; done 这样你就能完整地看到哪些设备在哪些节点上。 找出你的 NVMe 控制器、网卡，以及你要直通的任何 GPU。\n怎么在 Proxmox 里对齐一台虚拟机 把 vCPU 绑到正确的节点 在虚拟机的配置文件里（/etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf）：\nnuma: 1 affinity: 0-15 # Adjust to match cores on the correct NUMA node affinity 参数把虚拟机的 vCPU 绑定到特定的物理核心上。 把它设成与你的直通设备在同一个 NUMA 节点上的那段核心范围。\n如果你的 NVMe 在节点 1 上，而节点 1 有核心 16–31，就设 affinity: 16-31。 如果虚拟机只需要 8 个 vCPU，就绑到其中一部分：affinity: 16-23。\n从正确的节点分配内存 在虚拟机配置里启用 numa: 1，就是告诉 Proxmox 向虚拟机呈现 NUMA 拓扑。 QEMU 会尝试从 vCPU 被绑定的那个 NUMA 节点分配虚拟机的内存。\n如果要显式控制，可以在虚拟机配置里设置 NUMA 拓扑：\nnuma0: cpus=0-7,hostnodes=0,memory=16384,policy=bind 这告诉 QEMU 把虚拟机的第一个 NUMA 节点（从客户机角度看是节点 0）绑定到宿主机的 NUMA 节点 0，使用核心 0–7 和 16GB 内存。 policy=bind 确保内存严格从该节点分配，而不是在本地内存池紧张时回退到其他节点。\n验证绑定 启动虚拟机之后，检查 vCPU 是否真的在你预期的地方运行：\n# Find the QEMU process pgrep -a qemu | grep \u0026lt;vmid\u0026gt; # Check CPU affinity of the process taskset -cp \u0026lt;pid\u0026gt; # Or check per-vCPU thread affinity for tid in $(ls /proc/\u0026lt;pid\u0026gt;/task/); do echo \u0026#34;Thread $tid: $(taskset -cp $tid 2\u0026gt;/dev/null)\u0026#34; done 常见错误 根本不绑定 如果你不设 affinity，虚拟机的 vCPU 可以被调度到任何核心上。 内核调度器会根据负载均衡把它们在节点之间挪来挪去。 每当一个 vCPU 从一个节点迁移到另一个节点，它在旧节点缓存里正在处理的任何数据都会变成远程的。\n对一般虚拟机来说，这可以接受。 对做大量 IO 的直通虚拟机来说，不行。\n绑错了节点 绑定之前先查设备的 NUMA 节点。 别想当然。 在有些主板上，物理插槽编号和 NUMA 节点分配之间的对应关系并不直观。 永远用 cat /sys/bus/pci/devices/.../numa_node 来核实。\n让一个节点超额分配 如果你把太多虚拟机绑到同一个 NUMA 节点上，这个节点的核心就会超额分配，本地内存池也会耗尽。 当内存溢出到远程节点时，你就得到了两头最糟的结果：vCPU 绑定了，内存却是远程的。\n在节点之间平衡你的虚拟机放置。 如果你有两个 NUMA 节点和四台虚拟机，就把它们平均分开。\n忘了内存分配 只绑定 vCPU 而不同时控制内存分配，你只能得到一半的好处。 vCPU 在正确的节点上，但内存可能不在。 用 policy=bind，或者至少启用 numa: 1，让 QEMU 的分配跟着 CPU 绑定走。\n单路系统 在单路系统上，一切都在 NUMA 节点 0 上。 只有一个内存控制器和一组 PCIe 通道。 NUMA 对齐不是问题。\n你仍然可以在虚拟机配置里设 numa: 1，它不会有任何坏处，但也不会有任何帮助。 一个插槽，一个内存控制器，没有任何东西要对齐。 把这份力气留给有两个插槽的机器吧。 正因如此，这里说的性能收益只适用于存在插槽间互连的多路系统。\n参考资料 Proxmox VE Administration Guide — CPU and NUMA Configuration：关于 vCPU 绑定和 NUMA 选项的官方文档 Linux kernel NUMA documentation：内核内存策略参考 AMD EPYC 7003 Series — BIOS \u0026amp; Workload Tuning Guide (doc 58002)：AMD 关于每插槽 NUMA 和 CCD/CCX 拓扑的文档 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/numa-alignment-proxmox/","summary":"在多路系统上，一台 vCPU 在一个 NUMA 节点、直通设备在另一个节点上的虚拟机，还没等你看别的任何东西，就已经损失了 20–30% 的吞吐量。","title":"Proxmox VE 上的 NUMA 对齐：为什么要紧，以及怎么做对"},{"content":"ASPM 做了什么 PCIe 活动状态电源管理（Active State Power Management，ASPM）允许 PCIe 链路在空闲时进入低功耗状态。 PCIe 规范定义了几种链路状态：\nL0 是完全活动状态。 链路处于连接状态，两端都已上电，数据可以立即传输。\nL0s 是一种轻度空闲状态。 链路部分断电。 恢复到 L0 大约需要 1–4µs，取决于硬件。 链路两端可以各自独立进入 L0s。\nL1 是更深的空闲状态。 链路两端一起断电。 恢复到 L0 需要更长时间，通常是 2–32µs，有时更久。 确切的恢复时间取决于设备、PCIe 代际和平台。\nL1.1 和 L1.2 是 PCIe 3.0 引入的 L1 子状态。 它们通过关闭 PLL 时钟参考进一步降低功耗。 从 L1.2 恢复可能需要 32–100µs。 对存储设备来说，这可不是能四舍五入掉的误差。它差不多就是你原本想做的那次读操作本身的耗时。\n链路睡得越深，下一个 IO 等得越久 链路状态 恢复到 L0 的时间：此刻到达的 IO 要付出的延迟 L0 完全活动，数据立即传输 无 L0s 轻度空闲，两端各自进入 1–4 µs L1 深度空闲，两端一起进入 2–32 µs L1.1 / L1.2 PCIe 3.0 子状态，PLL 时钟关闭 32–100 µs 条形按 100 µs 最坏情况等比例绘制。睡得越深越省电，唤醒时的代价也越大。 条形表示恢复时间，按 100 µs 最坏情况等比例绘制。睡得越深，省电越多，流量恢复时付出的代价也越大。 思路很简单。 如果一条 PCIe 链路空闲了几微秒，就把它切换到更低的功耗状态。 流量恢复时，再把它唤醒。 在这段时间里省一点电。\n在大部分时间都闲着啥也不干的笔记本或台式机上，ASPM 确实能省电。每条链路几瓦，系统里所有 PCIe 设备加起来就不少了。 在跑 IO 密集型负载的服务器上，链路很少能空闲到让 ASPM 真正起作用。\n为什么它在直通下会出问题 在裸机上，操作系统和设备驱动一起协商电源管理。 NVMe 驱动知道链路什么时候将要空闲，什么时候将要提交新的 IO。 内核的 PCIe 子系统与驱动协调链路状态切换。 一切都是同步的。\n在 VFIO 直通下，这种协调就失效了。\n宿主机内核仍然控制着物理 PCIe 链路。 客户机虚拟机通过 VFIO 拥有设备，但它控制不了链路本身。 宿主机的 PCIe 子系统看到链路空闲了，因为从宿主机的角度看，没有任何宿主机侧的驱动在使用它。于是它把链路切换到低功耗状态。 当客户机提交 IO 时，设备需要链路回到 L0。 恢复时间就作为额外延迟，算到了这次 IO 操作头上。\n结果就是延迟不稳定。 大多数 IO 以正常速度完成。 有些则慢得多，因为它们碰上了处于 L1 或 L1.2 的链路，得先等链路醒过来。 这会表现为 clat（完成延迟）百分位分布拉得很开。 平均值可能看着没问题。 p99 却可能高出 5–10 倍。\n这很难发现，因为平均吞吐量数字可能看起来一切正常。 只有看尾部延迟时你才会看到问题。很多基准测试除非你要求输出百分位，否则根本不会把它突出出来。\nASPM 不动平均值，却毁了长尾 ASPM 开启 pcie_aspm=off 完成延迟（µs） 0 30 60 90 120 p99 处慢 3 倍，达自身平均值的 7 倍 ASPM 开启 pcie_aspm=off p50 p90 p99 p99.9 p99.99 两次运行的平均值和 p50 完全相同，只有长尾把它们拉开。 数字用于说明这种模式，并非某块具体硬盘的实测值。 同一块盘，开启和关闭 ASPM 的对比。p50 完全相同，所以只看平均值的基准测试会报告一切正常；损失全在 p90 之后，那里堆积着碰上休眠链路的 IO。 VFIO 特有的麻烦 这里还有一个麻烦，超出了“宿主机和客户机争夺链路状态”这个基本问题。\n当设备在宿主机上绑定到 vfio-pci 时，宿主机内核知道该设备处于直通模式。 但 PCIe ASPM 策略是在链路层面应用的，而不是设备层面。 宿主机的 ASPM 策略仍然作用于物理链路，因为宿主机仍然拥有 PCIe 拓扑。\nVFIO 不会拦截或覆盖 ASPM 切换。 它直通的是设备的 BAR 空间和中断，但链路电源管理仍由宿主机控制。 客户机没有任何机制能告诉宿主机“让这条链路保持在 L0”。\n客户机拥有设备，宿主机仍拥有链路，两者之间没有任何通道 客户机虚拟机 NVMe 驱动 拥有设备，提交 IO 宿主机内核 PCIe 子系统 ASPM 策略 vfio-pci D 状态策略 无法告诉宿主机 “让链路保持 L0” 物理 PCIe 链路：处于 L1，休眠中 由宿主机决定，而不是客户机 宿主机看不到驱动 在用，于是让链路 休眠 客户机提交 IO， 以为链路在 L0 这次 IO 要等链路醒来：2–32 µs，从 L1.2 醒来最多 100 µs VFIO 直通 BAR 空间和中断。链路电源管理不在其中。 大多数 IO 根本碰不上休眠的链路，所以变化的只有长尾。 问题就出在这道分界：客户机拥有设备并提交 IO，宿主机拥有链路并决定它何时休眠，两者之间没有任何连接。 有些较新的硬件和内核版本在这方面处理得比别的好。 正因如此，最稳妥的做法是把 ASPM 彻底排除在外。\n如何关闭它 在宿主机内核命令行中加入 pcie_aspm=off：\n# Edit /etc/default/grub GRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet pcie_aspm=off\u0026#34; # Update GRUB and reboot update-grub reboot 这会阻止宿主机把任何 PCIe 链路置入低功耗状态。 它是全局生效的。宿主机上的每一个 PCIe 设备都受影响，而不只是被直通的那个。\n重启后验证：\n# Should show \u0026#34;ASPM Disabled\u0026#34; for all devices lspci -vv | grep -i \u0026#34;ASPM\u0026#34; 电费代价 关闭 ASPM 确实会增加空闲功耗。 每条本该处于 L1 的 PCIe 链路都留在 L0，多消耗几百毫瓦。 在一个有十到十五个 PCIe 设备的系统上，空闲时加起来可能多出 2–5 瓦。\n对数据中心里的服务器来说，2–5 瓦在电费账单上就是个零头。 对家庭实验室来说，这只是 CPU 和内存耗电的一小部分。 对笔记本来说，这就有影响了。可你本来也不会在笔记本电池供电时做 VFIO 直通。\n这笔账很清楚。 几瓦的空闲功耗，对比直通设备上不可预测的延迟尖峰。 任何做直通的系统，都应该关掉 ASPM。\n设备级电源状态问题 ASPM 控制的是 PCIe 链路的电源状态。 设备本身也有自己的电源管理，也就是 PCIe D 状态（D0 到 D3）。\n当设备处于 D3（完全断电）时，睡着的不只是链路，设备本身也停了。 在 VFIO 直通下，当虚拟机没在运行，或者宿主机的电源管理策略判定设备空闲时，宿主机的 vfio-pci 驱动可能会把设备置入 D3。\n有些 NVMe 控制器处理不好从 D3 到 D0 的切换。 它们无法干净地恢复，客户机丢失设备，唯一的出路是重启虚拟机，有时甚至要重启宿主机。\nSamsung 990 EVO Plus 是出了名的问题盘。 解决办法是 vfio-pci 的模块选项 disable_idle_d3：\n# /etc/modprobe.d/vfio.conf options vfio-pci disable_idle_d3=1 这会阻止 vfio-pci 在空闲时把任何已绑定的设备置入 D3。 和 pcie_aspm=off 一样，这是一个全局设置。每个绑定到 vfio-pci 的设备都会保持在 D0。 这通常正是做直通时想要的：设备的电源状态应该只由客户机来控制。\ndisable_idle_d3 选项与 ASPM 是两回事。 ASPM 控制链路。 D3 控制设备。 两者都可能各自引发问题。 要得到干净的直通配置，两个都关掉。\n按设备控制 ASPM 如果你不想全局关闭 ASPM，比如宿主机上还有其他能从省电中受益的 PCIe 设备，你可以通过 sysfs 按链路控制 ASPM：\n# Find the link\u0026#39;s ASPM policy cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm # Disable ASPM for a specific link echo 0 \u0026gt; /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm 这样更有针对性，但在重启和内核更新之后不那么可靠。 对大多数直通配置来说，全局的 pcie_aspm=off 内核参数更简单，也更可预测。\n当问题不在 ASPM 时 不是每个延迟抖动问题都是 ASPM 造成的。\n如果你的 clat 百分位一直都高（不只是尾部），问题更可能是 IOMMU 地址转换开销、NUMA 错位，或者 MPS 不匹配。 ASPM 造成的是一种特定的双峰模式：大多数 IO 很快，少数很慢，因为它只影响那些恰好在链路处于低功耗状态时到达的 IO。\n当你看到以下情况时，先查 ASPM：\np99 延迟比平均值高 5 倍或更多 每次运行 fio 的结果不一致 延迟在持续负载下变好，在突发型负载下变差 如果不管负载模式如何，延迟一直都很差，那就去别处找原因。 ASPM 值得尽早排除，因为测试它的成本很低。 不过它并不是每条慢链路的答案。数字对不上这个模式时还死盯着它，就是白白搭进去一个下午，而且再也要不回来。\n参考资料 Linux kernel PCI documentation — ASPM parameters — 内核源码，涵盖 pcie_aspm=off 及相关选项 Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — 社区讨论帖，涵盖针对 Samsung NVMe 控制器的 disable_idle_d3 Proxmox VE Wiki — PCI(e) Passthrough — 关于直通配置的官方文档 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/pcie-aspm-passthrough/","summary":"Active State Power Management 能在空闲的 PCIe 链路上省下几瓦电。到了 VFIO 直通下，它会带来延迟抖动：难以诊断，却很容易修复。","title":"PCIe ASPM，以及为什么做直通时应该关掉它"},{"content":"MPS 是什么 PCIe 设备以数据包的形式传输数据，这种数据包叫事务层数据包（Transaction Layer Packet，TLP）。 每个 TLP 有一个头部和一段负载。 这段负载的最大长度就是 MaxPayloadSize（MPS）。\nMPS 在链路训练时由设备和它的上游桥协商得出。 协商结果取设备支持的值和桥允许的值中较小的那个。 从设备到根复合体的路径上，每一个桥和交换芯片都有自己的 MPS 能力。 任何设备最终的 MPS 都由这条链上最窄的那一环决定。\n常见的 MPS 值是 128、256 和 512 字节。 有些设备支持 1024 甚至 4096 字节，但实际上 NVMe 控制器和网卡通常是 256 或 512。 GPU 往往支持 256 字节。\n为什么重要 MPS 越大，同样的数据量需要的数据包就越少。 一次 4KB 的 IO 在 MPS 128 下需要 32 个 TLP。 同样的传输在 MPS 512 下只需要 8 个 TLP。\n每个 TLP 都带着协议开销：头部、CRC、帧定界。 TLP 越少，每传输一个字节摊到的协议开销就越少。 在高吞吐量下，这个差别是测得出来的。 不算惊人。但真实存在。而且是同样的开销，每个数据包都要付一次。\nMPS 也影响 PCIe 链路的利用率。 负载越小，链路花在头部上的时间相对数据就越多。 负载越大，比例就越偏向有用的数据。\n同样 4 KB 的负载，MPS 128 下要 32 个包头，MPS 512 下只要 8 个 MPS 128：一次 4 KB 传输变成 32 个 TLP 32 个头部 × ≈24 B：\u0026#160;线路上 ≈16% 的字节是协议开销 MPS 512：同样的 4 KB 变成 8 个 TLP 8 个头部 × ≈24 B：\u0026#160;线路上 ≈4% 的字节是协议开销 头部、序列号、CRC 和帧定界 负载 两条带子承载的都是同样的 4 KB。更大的负载并不会搬运更多数据， 只是少花链路去描述数据。实测的吞吐量提升很小。 两条带子承载的都是同样的 4 KB。实心条是每个数据包的头部：MPS 128 时有 32 个，MPS 512 时只有 8 个。 对延迟的影响比对吞吐量的小。 单次 4KB 读取在 MPS 128 和 512 下不会出现值得测量的延迟差别，因为 TLP 是流水线传输的。但当你用大量在途传输去推高 IOPS 时，大 MPS 省下的开销就积少成多了。\n直通下的问题 在裸机上，BIOS 在 POST 期间根据 PCIe 拓扑设置 MPS。 现代服务器 BIOS 通常把 MPS 设为拓扑支持的最大值，一般是 256 或 512 字节。\n在 QEMU 下，虚拟 Q35 芯片组的根复合体有它自己的 MPS 能力。 默认情况下，它给出的 MPS 很低。 Linux 内核的默认 MPS 策略（pcie_bus_default）把每个设备的 MPS 设成与其父桥一致，在虚拟拓扑里这就意味着 QEMU 根复合体的默认值。往往是 128 字节。\n就这样，一个能跑 512 字节负载的设备只能跑 128，因为虚拟根复合体定下了天花板。\nMPS 由路径上最窄的一环决定，在 QEMU 下就是虚拟根复合体 裸机：BIOS 按真实拓扑设置 MPS NVMe支持 512 PCIe 交换芯片允许 512 根复合体允许 512 MPS = 512 B 路径上的最小值 直通给虚拟机：虚拟根复合体成了最窄的一环 NVMe支持 512 QEMU Q35 虚拟根复合体 默认给出 128 MPS = 128 B 设备能力被浪费 宿主机内核加上\u0026#160;pci=pcie_bus_perf NVMe支持 512 每个设备设为其父总线的最大值 MRRS 相应提高 MPS = 512 B 设在宿主机上，不是虚拟机里 MPS 是路径上的最小值。直通一个设备，就把虚拟根复合体插进了这条路径，它保守的默认值于是成了所有设备的天花板。 怎么修复：宿主机端 让内核把 MPS 设为每个设备的父总线所支持的最大值：\n# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub pci=pcie_bus_perf 这会把每个设备的 MPS 设为其父总线允许的最大值。 它也会相应地设置 MRRS（Max Read Request Size，最大读请求大小）。 内核源码说明，它保证设备的 MPS 不大于其父设备的 MPS。这样既保持整条链一致，又拿到最好的传输大小。\n重启之后，验证新的 MPS：\n# Check MPS on a specific device lspci -vv -s XX:00.0 | grep -i \u0026#34;MaxPayload\u0026#34; 你应该看到 MaxPayload 256 bytes 或 MaxPayload 512 bytes，而不是默认的 128。\n其他内核选项 内核提供五种 MPS 策略，都通过 pci= 启动参数设置：\npcie_bus_tune_off：完全不碰 MPS。 BIOS 设成什么就用什么。 在裸机上配一个好的 BIOS，这通常没问题。 在 QEMU 下，BIOS 是 OVMF 或 SeaBIOS，它们未必会优化 MPS。\npcie_bus_default：内核默认值。 把每个设备的 MPS 设成与其上游桥一致。 保守、安全，但发挥不出最大性能。\npcie_bus_safe：把 MPS 设为系统中所有设备都支持的最大值。 适合封闭系统：你清楚所有设备，而且啥也不会热插拔。 比默认值稍微激进一点。\npcie_bus_perf：按设备逐个把 MPS 设为父总线允许的最大值。 每个设备都拿到它本地拓扑所支持的最佳 MPS。 这是直通的正确选择，因为它独立优化每一条路径。\npcie_bus_peer2peer：把所有设备的 MPS 都设为 128 字节。 每个设备都用最小的公共大小通信。 用于设备之间需要直接 DMA 的场景（GPU 到 GPU，或经由 RDMA 的 GPU 到网卡）。 对普通直通没有用。\n直通就用 pcie_bus_perf。\n怎么修复：虚拟机端 你也可以在虚拟机内核的启动配置里设置 pci=pcie_bus_perf。 它有没有实际效果，取决于 QEMU 怎样呈现虚拟 PCIe 拓扑。 虚拟根复合体限制了虚拟机能协商到的上限。\n测试下来，真正起作用的是宿主机端的修复。物理设备归宿主机所有，宿主机的 MPS 设置决定了线路上实际的 TLP 大小。虚拟机的设置只作用于虚拟机内部的虚拟拓扑，它能不能改变实际行为，取决于 QEMU 为该设备呈现的 PCIe 路径。\n在宿主机上设置。 在虚拟机里也设上不会有坏处，但别只靠它。\nMRRS 是什么 最大读请求大小（Max Read Request Size，MRRS）与 MPS 相关，但是两回事。 MPS 限制设备在一个 TLP 里能发送多少数据。 MRRS 限制设备在一个读请求里能请求多少数据。\nMRRS 为 4096 的设备可以发出单个 4KB 的读请求。 响应会分成多个 TLP 返回，每个最大为 MPS 大小。 MRRS 越高，设备每次事务能请求的数据越多，总线上的读请求 TLP 就越少。\nMRRS 决定请求的大小，MPS 决定回复中每个数据包的大小 NVMe 控制器 MRRS 4096 B 宿主机内存 经由根复合体 1 × 读请求：“给我发 4 KB” MRRS 限制一次请求能要多少 8 × 完成 TLP：每个 512 B MPS 限制回复的每个数据包能有多大 一个请求，多个数据包。\u0026#160;pci=pcie_bus_perf\u0026#160;会同时提高两者，不必分别调整。 两者很容易混淆：MRRS 限制设备一次请求能要多少，MPS 限制回复的每个数据包能有多大。 pci=pcie_bus_perf 会把 MPS 和 MRRS 都设成最优值。 你不需要分别调整它们。\n与其他调优相比的效果 MPS 在 128 和 512 字节之间的差别，对性能的影响小于 NUMA 对齐或 ASPM。 通常是吞吐量上个位数百分比的低端提升。 在低队列深度的延迟基准测试里你看不到它。\n但它是免费的优化。 一个内核参数，没有坏处，没有兼容性风险。 任何做直通的系统，都没有理由不设置它。\n它一分钱不花，而硬件你已经付过钱了。 买了什么，就该用上什么。\n参考资料 Linux kernel PCI Kconfig — MPS and MRRS tuning options — 全部五种 MPS 策略的权威来源 Linux Plumbers Conference 2017 — MPS vs MRRS (PDF) — Sinan Kaya 关于内核如何处理 MPS/MRRS 的演讲 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/pcie-maxpayloadsize/","summary":"QEMU 的虚拟根复合体默认使用 128 字节的 TLP 负载。大多数设备支持 256 或 512 字节。一个内核参数就能解决。","title":"PCIe MaxPayloadSize：直通性能白捡的提升"},{"content":"i440fx 和 Q35 是什么？ 每台 QEMU 虚拟机都有一个虚拟芯片组。 它定义了整块虚拟主板：PCI/PCIe 总线拓扑、南桥、中断控制器，以及客户机操作系统在启动枚举硬件时看到的一切。\nQEMU 提供两种选择：i440fx 和 Q35。\ni440fx 模拟的是 Intel 440FX，代号 Natoma，1996 年发布，是 Pentium Pro 以及后来 Pentium II 的芯片组。 它呈现的是一条扁平的 PCI 总线，没有原生 PCIe 支持。 它是 QEMU 最早的机器类型，也当了很长时间的默认值。对一块为 Pentium Pro 设计的芯片组来说，这一辈子已经够长了。\nQ35 模拟的是 Intel Q35 Express，2007 年 6 月为 Core 2 这一代发布，搭配 ICH9 南桥。 它给客户机一个真正的 PCIe 根复合体和一个现代的中断控制器。 直通进来的设备以原生 PCIe 设备的身份出现，拓扑也是对的。\n两者都是虚拟的，都不影响宿主机实际使用的硬件。 区别在于客户机操作系统看到了什么。\ni440fx 扁平 PCI 总线与 Q35 PCIe 根复合体对比 i440fx：一条扁平 PCI 总线 Intel 440FX “Natoma”，Pentium Pro / Pentium II，1996 年 vCPU PCI 总线 0 NVMe当作传统 PCI 网卡 只有 INTx IDE 传统 声卡假的 MSI-X 不可用：只有 INTx 中断 没有 AER：客户机看不到 PCIe 错误 没有 ACS：IOMMU 隔离更弱 一条共享总线：一个 IOMMU 分组 Q35：PCIe 根复合体 Intel Q35 Express + ICH9，Core 2 时代，2007 年 6 月 vCPU PCIe 根复合体 根端口 根端口 根端口 NVMeMSI-X 网卡 多队列 GPU AER + ACS MSI-X：每个队列一个中断向量 AER：客户机能看到并处理 PCIe 错误 ACS：点对点 DMA 受控 每个插槽可以有自己的 IOMMU 分组 后面所有的差别都来自这一点：i440fx 把每个设备都挂在同一条共享总线上，而 Q35 在 PCIe 根复合体下面给每个插槽一个自己的根端口。 为什么 Q35 对直通很重要 直通给 i440fx 虚拟机的设备，不管实际是什么，都会显示为传统 PCI 设备。 客户机把它们看成“非常快的 PCI 设备”，而不是 PCIe 设备。 有些驱动对此没意见。 另一些驱动期待的是 PCIe，找不到时就会行为异常，或者干脆拒绝加载。\nQ35 的 PCIe 根复合体从几个方面改变了局面。\nMSI-X MSI-X（扩展消息信号中断）需要 PCIe。 在 i440fx 下，MSI-X 要么退回到传统的 INTx 中断，要么根本不能用。\n这对 NVMe 影响很大。 NVMe 控制器靠 MSI-X 实现多队列架构。 每一对 IO 队列都有自己的中断向量。 没有 MSI-X，所有 IO 完成都挤在一个中断上，IOPS 一高就成了瓶颈。\n现代网卡和 GPU 也一样。 任何用多个中断向量把负载分摊到多个 CPU 核心上的设备，都需要 MSI-X。\nINTx 把所有 NVMe 完成挤进一个中断；MSI-X 给每个队列一个自己的向量 i440fx：INTx，所有队列共用一条线 队列 0 队列 1 队列 2 队列 3 1 × INTx vCPU 0 完成被串行化， 高 IOPS 时成了天花板 Q35：MSI-X，每个队列一个向量 队列 0 队列 1 队列 2 队列 3 4 × MSI-X 向量 vCPU 0 vCPU 1 vCPU 2 vCPU 3 每个队列在 自己的核心上完成 用 INTx 时，每个队列的完成都从同一条中断线进来，落在同一个 vCPU 上。用 MSI-X 时，每个队列有自己的向量，在自己的核心上完成。 AER（高级错误报告） PCIe AER 让客户机能够发现并正确处理设备错误，而不是悄无声息地失败。 在 i440fx 下，客户机看不到任何 PCIe 层面的错误。\n对于带直通设备的生产负载，错误被悄悄吞掉是个问题。 有了 AER，客户机驱动就能记录、上报硬件错误，有些情况下还能从中恢复，否则这些错误要等到数据损坏才会被人注意到。\nACS（访问控制服务） ACS 控制同一总线上设备之间的点对点 DMA。 它是 IOMMU 隔离模型的一部分。它阻止一个设备绕过 IOMMU，直接 DMA 到另一个设备的内存空间里。\n在 i440fx 下，虚拟总线拓扑完全不支持 ACS。 这不会让基本的直通失效，但会削弱 IOMMU 本应给你的隔离。\nIOMMU 分组的呈现 Q35 的 PCIe 层级意味着每个虚拟插槽在客户机里都可以有自己的 IOMMU 分组。 i440fx 把所有东西都堆在一条共享总线上，客户机侧的 IOMMU 配置就很麻烦。\n这对嵌套虚拟化很重要，因为那时客户机自己也需要干净的 IOMMU 分组。 对 vIOMMU 也很重要，而 vIOMMU 只有 Q35 才有。\nvIOMMU 如果你需要客户机自己具备 IOMMU 能力，比如嵌套直通、DPDK，或者某些安全配置，那就必须用 Q35 机器类型。\nvIOMMU 模拟让客户机运行自己的 IOMMU，用途包括：\n嵌套虚拟机直通（虚拟机里的虚拟机，并且能访问设备） DPDK 用户态网络，应用需要 IOMMU 保护 需要在客户机内部做 DMA 隔离的安全配置 不做直通，Q35 也更好 就算你不做直通，对现代负载来说 Q35 也是更好的选择。\nOVMF（UEFI）固件 Q35 加 OVMF，给客户机一个支持安全启动的现代 UEFI 启动环境。 i440fx 也能用 OVMF，但这个组合测试得少，有些功能工作不正常。\nWindows 11 要求 UEFI 和安全启动，这是 Microsoft 硬件要求里写死的。 Windows Server 2025 在 UEFI 下工作得最好。 Q35 加 OVMF 是这两者都受支持的路线。\n如果你在 i440fx 加 SeaBIOS 上跑 Windows 11 或 Server 2025 虚拟机，你就是在逆着上游走。 今天也许能用。 但整个生态不是往那个方向去的。\nAHCI Q35 通过 ICH9 南桥自带原生 AHCI（高级主机控制器接口）模拟。 i440fx 的启动盘用的是更老的 IDE 或 LSI SCSI 模拟。\n对 VirtIO 存储来说这没关系，VirtIO 完全绕开芯片组的存储控制器。 但如果客户机操作系统在安装时没有 VirtIO 驱动，你只能用 SATA 模拟，那么 Q35 上的 AHCI 比 i440fx 上的 IDE 快得多。\nIDE 每次寄存器访问都陷入；AHCI 在客户机内存里构建命令，只按一次门铃 宿主机 / hypervisor 边界：每次穿越都要一次 VM exit i440fx：IDE，每次寄存器访问都陷入 IDE 驱动 在客户机内 端口 I/O，一次一个访问 5 × VM exit 才发出一条命令 PIIX3 IDE 1 条命令在途 没有 NCQ：下一条命令要等上一条完成 IRQ 14/15，电平触发 INTx：屏蔽和确认还要更多 exit Q35：AHCI，在内存里构建，一次门铃 AHCI 驱动 在客户机内 命令列表 在客户机内存里，免费 1 × VM exit AHCI HBA (ICH9) 最多排队 32 条（NCQ） 排队的命令乱序完成：磁盘为减少寻道而重排 MSI-X：无需辨认共享线，没有 EOI 往返 IDE 要通过传统 I/O 端口一个寄存器一个寄存器地编程，每次访问都陷入宿主机。AHCI 让客户机在自己的内存里构建命令，然后只按一次门铃。 i440fx 背着、Q35 没有的开销 AHCI 的差距不只是一个控制器比另一个新。 而是 i440fx 让客户机几乎每次交互都要向 hypervisor 付费，而 Q35 大多不用。\n被陷入的寄存器访问。 IDE 通过传统的 x86 I/O 端口编程。 客户机先写扇区数，再写 LBA 寄存器，再写命令寄存器，每一次写都落在不同的端口上。 每一次访问都会被宿主机陷入并模拟，每次陷入就是一次 VM exit，代价是个位数微秒。 所以发出一条 IDE 命令，在数据开始移动之前就要好几次 exit。\nAHCI 正好反过来。 客户机在自己的内存里构建命令表，不陷入，因为只是写内存，然后对门铃寄存器做一次 MMIO 写，通知控制器去取。 一条命令大约一次 exit，而不是五六次。\n没有命令队列。 IDE 发出一条命令，然后等它完成。 AHCI 支持 NCQ，最多可以有 32 条命令同时在途，磁盘可以乱序完成它们以减少寻道。 因此，剩下的每条命令的开销是摊在整个队列上，而不是一条一条地付。\n传统中断路径。 PIIX3 IDE 控制器在固定的传统 IRQ 14 和 15 上报告完成，以电平触发的 INTx 方式送达。 电平触发的中断需要确认和解除屏蔽，而且因为 INTx 线是共享的，客户机还得弄清楚是哪个设备发起的。 每一步都是又一次陷入。 MSI-X 需要 Q35，它就是一次普通的内存写，没有要辨认的共享线，也没有确认的往返。在支持 posted interrupt 的硬件上，它甚至可以完全不经过 exit 就送到客户机。\n更大的传统设备面。 i440fx 总是呈现它的传统平台设备，包括 IDE 控制器，不管虚拟机用不用。 它们占着 PCI 插槽，每次启动都要被枚举、被探测，客户机驱动还可能去轮询它们。 Q35 呈现的是一套更小、更现代的设备。宿主机要撑着的东西少了，客户机要遍历的也少了。\n这些在 VirtIO 后端的虚拟机里都看不出来，所以这个差别很容易被忽略。 它在安装过程中、在没有 VirtIO 驱动的设备镜像上、在任何仍然用模拟 SATA 或 IDE 做启动盘的客户机上，都很重要。\n更少的虚拟设备，更干净的拓扑 i440fx 带着一些 Q35 已经丢掉的传统虚拟硬件。 一块假声卡。一个传统 IDE 控制器。两者都没干啥有用的事，却都占着虚拟 PCI 插槽，还可能把试图使用它们的客户机软件搞糊涂。\nQ35 呈现的虚拟硬件更干净，更接近一台现代物理服务器会暴露出来的样子。\nQ35 扔掉了 i440fx 留在虚拟 PCI 插槽里的传统平台设备 i440fx 传统设备占着插槽 传统 IDE 控制器 软驱控制器（FDC） PIIX3 传统功能 其他传统平台设备 空闲 空闲 被 AHCI 替换 被 Q35 扔掉 Q35 设备更少，插槽有富余 ICH9 AHCI (SATA) PCIe 根端口 留给直通的 NVMe 留给网卡 留给 GPU 空闲 传统 IDE 控制器是被替换而不是被删掉：其余的都进了垃圾箱，把插槽腾出来给你真正想直通的设备。 方向在哪里 RHEL 10 已经弃用 i440fx Red Hat 在 RHEL 10 里正式弃用了 i440fx 机器类型。 这表明了整个 KVM 生态的走向。 Red Hat 弃用某样东西，意味着他们已经不再把它当一等路径来测试，也不会修和它相关的 bug。\nQEMU 上游项目讨论弃用 i440fx 已经好几年了。 共识是同时维护两条芯片组路径是负担，而 Q35 才是对应现代硬件的那一条。\nProxmox 没有跟上 Proxmox VE 新建虚拟机时仍然用 i440fx。 创建向导里的机器类型写的是“Default (i440fx)”，除非你去改，它就一直是这样。 Q35 只隔一个下拉框，但这是你必须在每台新建的虚拟机上有意去做的选择。\n这就是这篇文章存在的全部原因。默认值是 1996 年的芯片组，而向导里没有任何东西告诉你这个选择很重要。\n切换现有虚拟机 如果你有一台现有的 i440fx 虚拟机，可以在硬件设置里切换到 Q35，或者直接改配置：\nmachine: q35 这实际上相当于换了一块虚拟主板。 下次启动就是不同的硬件。\nLinux 一般能顺利处理。 内核会重新枚举设备并加载合适的驱动。 网卡名称会变，因为虚拟网卡从 PCI 总线搬到了 PCIe 总线。 如果你的网络配置里写了接口名（比如 eth0、ens18），重启之前先改好，否则你会失去网络连接。\nWindows 就没那么宽容了。 换芯片组意味着存储控制器、网卡和其他平台设备的虚拟硬件 ID 都变了。 Windows 可能需要重装驱动。 有些情况下，全新安装才是最干净的路。通常出问题的是老版本 Windows。\nFreeBSD 及其衍生系统（OPNsense、pfSense）一般能处理这次切换，但先测试。\n无论哪种情况，在切换任何重要的东西之前，先在非生产虚拟机上测试。\n什么时候还需要 i440fx 还有少数几种情况需要 i440fx。\n早于 UEFI 的传统客户机操作系统，比如 Windows XP、Windows 2000 以及同年代的系统，可能无法在 Q35 下启动。 这些系统期待的是 i440fx 提供的传统 PCI 拓扑和 SeaBIOS。\n某些设备镜像是专门针对 i440fx 构建和测试的。 如果厂商只支持 i440fx，那在他们更新之前你就用它。\n其他所有情况，新的 Linux 虚拟机、现代 Windows、任何带直通的负载，都用 Q35。 出于习惯守着一块 1996 年的芯片组，啥好处都没有。\n参考资料 Proxmox VE Wiki — PCI(e) Passthrough — Proxmox 官方文档，指出 Q35 是直通推荐的机器类型 QEMU Q35 Chipset Specification (PDF) — QEMU 最初的 Q35 设计文档 Proxmox Forum — Q35 vs i440fx Discussion — 社区讨论，涵盖实际差别 ","permalink":"https://blogs.damiendye.uk/zh/proxmox/q35-not-i440fx/","summary":"QEMU 的两种虚拟芯片组不能互换。Q35 提供一个真正的 PCIe 拓扑，直通、现代 Windows 和整个 KVM 生态都依赖它。","title":"永远用 Q35，不用 i440fx：为什么这在 Proxmox VE 上很重要"},{"content":"我是 Damien Dye。\n在 croit GmbH 担任售前工程师，负责欧洲和亚太地区。croit 是 Ceph Foundation 的创始成员，也是官方 Proxmox Gold Partner。\n其中二十多年是拿工资的部分：Microsoft 平台、Linux、企业应用、虚拟化、网络、存储和安全。 拿工资的部分并不是全部。 我从九十年代中期就开始捣鼓东西、再把它们弄坏，从 1999 年起正经地用 Linux，那时离有人觉得值得为此付我钱还早好几年。这些年我也算在里面，因为在自己的设备上学到的东西，和在别人投了保的设备上学到的一样多。\n我是南约克郡人，所以你会听到直话。 有东西管用，我会告诉你为什么。 不管用，我也照样告诉你，而且我宁愿在你花钱之前说，而不是之后。\n早年 我八岁起就开始拆电脑。 我的第一台机器是一台 Atari STfm，512K 内存。\n十二岁有了第一台 PC，跑的是 Windows 3.11。从那以后我一个不落地用过来：95、95b、95c、98、98SE，然后是 Windows 2000。\n那不是在用软件。 那是在弄明白一个版本和下一个版本之间改了什么，升级路上弄坏了什么，以及当一个东西打定主意不想跑的时候，怎样让它跑起来。\nWINDOWS 桌面之路：3.11 \u0026#8594; 10 3.11 95 98 2000 XP XP64 位 Vista64 位 764 位 8.1 10 我的第一个互联网连接是 Freeserve 上的 56k 拨号调制解调器，Freeserve 是英国最早的免费 ISP 之一。 2001 年 ADSL 一能用，我就通过 Demon Internet 换了过去。 2008 年换成 VDSL，最后在 2017 年换成 Zen Internet 的 FTTP，原生 IPv6 就是那时来的。 就网络而言，一切都是从那里开始的，离我现在设计的 100GbE 网络还远得很。 但好奇心是一样的。\n本地网络开始得更早，也更粗糙。 我的第一个局域网是 10BASE2：细同轴电缆，BNC 接头，两端各一个 50 欧姆终端电阻，每台机器共享一条 10 Mbit 总线。 我先让两台 PC 在上面通了话，机器多起来以后又加了一个 5 口集线器。 那个集线器后来换成了交换机，这是实打实的进步：每个端口有了自己的冲突域，而不是所有东西挤在一根共享同轴线上抢。 接着是无线，一买得起就上了：11 Mbit 的 802.11b，笔记本里插着 Orinoco Gold PCMCIA 网卡。 从同轴总线到共享集线器，到交换式以太网，再到 Wi-Fi，每一步我都是亲手走过来的。\n我还做过全自动无人值守的 Windows XP 安装。 用的是老的 DriverPacks 注入驱动，再用自定义脚本自动安装应用。 从裸机到一台完全配置好的系统，全程不用碰键盘。 那是在我听说 Ansible 之前好多年的自动化思维，而且是在 Windows 上，不是 Linux。\n遇见 Linux 我十五岁开始用 Linux，从 SuSE 6 起步。 我直奔那些逼着你弄懂底层在发生什么的发行版。\n2001 年圣诞假期，我照着 Linux From Scratch 那本书搭了一整套系统。 每个软件包都是手工编译的。 每个依赖都弄明白了。 每个配置决定都是有意做出的。\n到 2002 年我转到了 Gentoo。 Gentoo 遵循同样的原则：整个系统从源码构建，你明白每个 USE 标志的作用，出了问题你确切知道该去哪里找。\nLINUX：发行版之路 SuSE6–7.2 Mandrake Gentoo Ubuntu RHEL Fedora 探索其他平台 我从来没有只守着一种架构。\n2001 年到 2007 年我有一台 DEC Alpha。 Alpha 是 Digital Equipment Corporation 的 64 位 RISC 处理器，1992 年推出。它是真正的 64 位机器，比 x86 在 2003 年靠 AMD64 追上来早了十多年。 它能跑 Tru64 UNIX、OpenVMS、Windows NT 和 Linux，有一段时间它差不多是你能放在桌上的最快的东西。 通过社区里的讨论，我让它用上了 USB 和 FireWire。 我甚至在它背后装了一块 PCMCIA 转 ISA 的转接卡，让我在笔记本里用的那些 PC 卡，包括 Orinoco Gold 无线网卡，也能在台式 Alpha 上跑。 在一个啥都不保证能用的平台上，这可不是小事。\n我也玩过 BeOS。 它在多线程和多媒体上的思路，和当时其他任何东西都完全不同。\n上大学时，我和一个哥们把一批要被扔掉的 Sun SPARC 工作站救了回来，在上面装了 Gentoo。 SPARC 是 Sun Microsystems 的 RISC 架构，1987 年推出。整个九十年代，Unix 世界的很大一部分都跑在 Sun 的工作站和服务器上，通常用的是 Solaris，背后就是 SPARC。 在那套硬件上跑起一个从源码构建的 Linux，就是全部的意义。 设备就在那儿，你又想看看它能不能跑，为什么不试？\n我还在 ARM 和 ARM64 上构建和使用过 Linux，用的是 Raspberry Pi 和 Odroid。 我也在 ARM64 上跑过 Windows。\n在 x86、Alpha、SPARC、ARM 和 ARM64 上跑同一个操作系统，你在一种架构上做的假设不会跟着你到下一种：字节序、对齐、页大小、驱动支持和工具链的怪癖，都会在你脚下变化。 如今 ARM64 和 x86 一起进了数据中心，这一点比以往任何时候都重要。正是这种思维，让一套混合架构的 Ceph 或 Proxmox 环境保持靠谱。\n我很早就开始试验 IPv6。 我接入过 6bone，那个实验性的 IPv6 测试网络。 6bone 是一个全球测试床，从 1996 年开始运行，目的是在正式的互联网准备好之前，帮助开发和部署 IPv6。 它主要通过 IPv4 隧道承载 IPv6，用自己的 3ffe::/16 地址段，并在原生 IPv6 成熟到可以自立之后，于 2006年6月6日被有意关闭。 我同时跑过 Linux 的 IPv6 协议栈，和 Microsoft Research 为 Windows XP 做的 IPv6 协议栈。 这些我全都经历过。 从 IPv6-in-IPv4 隧道开始。 然后换成 6to4（RFC 3056）自动隧道。 等我换到一家像样的 ISP，也就是 Zen Internet，就用上了完整的原生 IPv6。 大多数人直到雇主逼着才碰 IPv6。 到那时我已经在 Linux 和 Windows 上把每一种过渡机制都走了一遍，因为我想弄明白网络往哪里去。 所以 IPv6 现在对我来说很自然，而不是事后硬拧上去的东西。 现在，我九成的流量走原生 IPv6。 我装了一个叫 IPvFoo 的浏览器扩展，它告诉我每个连接用的是什么协议，以及网站是混合提供，还是只有 IPv4。 老习惯了：我喜欢看到真实发生的事，而不是光靠猜。\nIPv6：二十年，从实验到关键基础设施 从家里的测试床协议栈，到国家级的生产基础设施 6bone：实验性的 IPv6 测试床 Linux 和 Microsoft Research 的 IPv6 协议栈并排运行 IPv6-in-IPv4 隧道 在 IPv4 互联网上承载 IPv6，全靠手工配置 6to4（RFC 3056） 自动隧道，不用维护手工的隧道代理 原生 IPv6 家里通过 FTTP 端到端 · Zen Internet · 2017 Nominet：关键国家基础设施 .uk 注册局生产环境中的 IPv6 · F5 负载均衡器横跨 IPv4 和 IPv6 如今，我大约 90% 的流量走原生 IPv6。 动手中学习 我在技术上懂的一切，都是靠上手试学来的。 搭起来，弄坏，搞清楚为什么坏，再搭一遍。\n我的学位是 Sheffield Hallam 大学的商科与计算机网络工程。它给了我自学给不了的一样东西：一家企业实际上是怎样运转的，一个技术决定怎样变成商业结果，以及怎样从“它为付钱的人解决了什么问题”的角度去看一个系统。 从那以后的每一份工作都受它影响。\n不过技术能力来自动手，不是来自读书。 生产环境的问题不会附带一份书单。 能从第一性原理把一件事弄明白，比墙上挂一张证书更值钱，而且它不会过期。\n开源从哪里来 二十一世纪初，Microsoft 的领导层把开源说成“癌症”的时候，我早已深陷 Linux。 从零搭建系统。 跑 Gentoo。 给社区做贡献。\n对分享知识、一起做东西的人抱有这种敌意，并没有把我吓跑。 反而把我推得更深。 如果一家公司对协作开发的回应是把它叫做一种病，那它告诉你的，更多是这家公司，而不是这个软件。 我更深地钻进开源，把它当成首选，而不是去支持那种心态。\n这些年里，实际的理由追上了原则的理由。 专有平台用起来还行，直到厂商改了许可，被收购了，或者决定你的用例不值得保留。 然后你就被困住了。 你的数据、你的工作流程和你团队的经验，全都绑在一个你已经控制不了的平台上。 Broadcom 收购 VMware 是最近、最显眼的例子，但远不是唯一的一个。\n云也是同样的道理。 问问你实际上租的是什么，答案是：本来可以直接买下的容量，挂在一个永远不停的计费表上。 承诺的好处，敏捷、弹性、要管的东西更少，很少以推销时描述的样子落地，而成本年复一年地累积，自己的设备则不会这样。 正因如此，每次有人问我，我都能证明：在设计良好的硬件上跑开源，性价比更高，控制权更多，意外更少。 这不是个时髦的立场。 但它是我能拿数字说话的立场。\n建立职业生涯 我的职业生涯 2005 年始于 Worksop 的一家精密铸件制造商。 IT 工程师，小团队中的一员，支持大约五十个用户。\n那第一份工作覆盖面相当广。 维护 Manusoft ERP 系统和文档归档。 Linux 和 Windows 2003 服务器管理。 为生产和维护决策开发 Crystal Reports 报表。 PBX 电话交换机管理。 CAD/CAM 系统集成，以及计算机辅助机器人制造的管理。 硬件和软件采购。 培训最终用户，在他们的工位上处理支持问题。\n我从第一天起就在写自动化。 我升级了公司的 Active Directory，写了 VB 脚本，根据组成员身份自动映射驱动器、分配打印机和部署软件。 那是 2006 年：在我第一份正式工作里，就是正经的基础设施自动化。\n这就是制造业的 IT。 当生产线因为你负责的东西停下来，你很快就会明白，可靠性不是一种偏好，站在机器旁边的人会亲口告诉你。 那也是我第一次靠在同一栋楼里同时跑 Linux 和 Windows 吃饭，从那以后一直是这个模式。\n之后我转去做一线技术支持。 一线和二线，在为一家大型跨国客户专设的服务台工作。 Windows 桌面、Active Directory、Exchange 2007、Cisco VPN、Cisco Call Manager，在 Remedy 上做基于 ITIL 的工单管理。 那套 ITIL 纪律，变更管理、问题管理、结构化流程，从此跟着我进了每一份工作。 我也很早就在打通 Linux 和 Windows 两个世界：配置 Services for Unix，解决 Citrix 访问 Unix NFS 共享的问题。\n即使在那个服务台，我做的也超出了岗位描述。 我写了一个接口，直接根据 Agresso 里的人事数据开通和停用用户账户，处理 Active Directory 账户、组成员身份、Office Communicator 配置、Exchange 邮箱和别名。 那是坐在一线位置上做的系统集成，和岗位名称说的不是一回事。\n我在那个服务台支持过的一位客户，后来在下一家公司雇了我。\n下一家是一家全球通信公司，做 ICT 和安全。 正经的应用开发就是从那里开始的。 两年半里，我搭建或参与了六个不同的内部系统。 一个定制的网页报价工具。 Salesforce 和 Agresso 之间的订单处理接口。 一个由 Salesforce 和 Agresso 供数的 SharePoint 主数据目录。 一个定制的网页项目管理系统，带有通往 MSPE 和 Agresso 的财务处理接口。 以及从一个定制的 Salesforce Service Cloud 应用迁移到 ServiceNow，并完整实施 ITIL 流程。 我还为公司业务应用编写 SQL 接口架构，调优 MS SQL 性能。 我管理 IIS 和 Windows Server 2008 Terminal Services，并负责公司的数据模型。 目录服务，Active Directory 和 LDAP，在这里成了核心技能，之后跟着我进了每一份工作。\n我还负责了一个全英国范围的 Windows 7 换机项目，三周内把整个英国的用户迁到新的 HP 设备上，95% 的人报告工作完全没受影响。 三周这种数字，只有准备工作做到位才拿得下来，而准备工作是那不起眼的一半，事后没人会问。\n然后是管理岗。 一家半导体设计公司，一支分布在几个国家的小工程师团队。 这一下把好几条线拧到了一起。 我在 Force.com 平台上做开发，trigger、Visualforce 页面、自定义 controller，在全球范围集成 Financial Force 的财务和 PSA 系统。 同时我在搭建两套独立的 PXE 启动 HPC 集群。 一套给英国的欧洲工程团队，一套给中国的工程团队。 两套都用 Red Hat 加 NFS 根文件系统，做成一致的、100% 可重复的无盘计算集群。 我在 Linux 上部署了 ZFS，配合 Dell PowerVault 设备做统一存储。 我用一套 Windows Server Active Directory 取代了老旧、彼此隔离的安全环境，用原生 Kerberos 和 LDAP 在 Linux 和 Windows 之间实现单点登录。 在通往中国的困难网络条件下，我用 OpenVPN 隧道搭了一张统一的网络，让国际连接稳定下来。\n那份工作有相当长一段时间，所有这些都只有我一个人在扛：Linux 计算集群、Windows 支持、Salesforce 开发，还有跨几个时区的用户支持，同时承受着先进工艺节点上的 SoC 设计负载。 向我汇报的一位工程师后来成了 Salesforce 开发者，我把这算作那几年更好的收获。\n接下来是一头扎进 Linux。 在云和托管服务商 Pulsant 做三线支持，覆盖整个技术栈。 RHEL、CentOS、Ubuntu。 用 Galera 做 MySQL 集群，MongoDB 分片，带 SNI 和 SSL 卸载的 HAProxy，Apache，PostgreSQL，为高性能电商调优 PHP-FPM，Postfix 邮件，用 BIND 和 PowerDNS 做 DNS 托管，用 Varnish 做网页缓存，用 Squid 做代理缓存。 用 IPTables、IPset 和 Cisco ASA 做防火墙和 DoS 防护。 Linux 服务器在网络和存储方面的性能调优。 CPanel 排障，SolarWinds 监控模板开发，以及 New Relic 管理。 底下全都跑在 VMware 5.5 和 vCloud Director 上。\n也不只是支持。 我在那里设计了一个 Galera 数据库复制产品，从概念到原型，一直做成客户付费的服务。 那不是实验室练习。 它是在真正付费客户的真实负载上搭起来、证明过的，托管服务商可不会随便把这种事交出去。\n三线会教你，做最后一道升级关口意味着什么。 事情到了你这里，你身后没人会去修它。\n然后是 Nominet，每一个 .uk 域名背后的注册局。 国家规模的 DNS。 基础设施必须一天二十四小时、天天稳如磐石，零停机，下班后还要值班待命。 VMware 5.5 和 6，HP 3par 存储加 Brocade 上的光纤通道分区，用 Puppet 管理的 RHEL 6 和 7，横跨 IPv4 和 IPv6 的 F5 负载均衡器，Postfix 邮件，还有我搭建的 Zabbix 部署，用来替换老化的 VMware Hyperic 监控。 我还引入并定制了 ServiceNow，实现了工作流、应用部署，以及用于配置管理和资产清单的 Linux 节点发现。 我参与设计和搭建了下班后服务台外包的流程，减轻值班负担。\n在 Nominet，不管是 Linux、Unix、ServiceNow，还是谁也说不清归谁的东西，最后都是先来问我，而我坚持拿回来的是能用的东西，而不是听起来好听的东西。 在那种地方你会学到：对基础设施采取枯燥、守纪律的做法，才是能扛过一个周二早上的做法。\n离开 Nominet 后，我在基础设施和托管领域辗转。 VMware 6.7，用 Zerto 做灾备，Dell Compellent 和 Nexsan 存储加 Brocade 光纤通道分区，Citrix Cloud 配合 FSLogix 配置文件管理，再加 Azure。 我在那里也引入了 Zabbix 监控，模板和脚本从零设计。\n然后是零售。 直接管理一个小团队，把 VMware 6.7 的管理从第三方收回内部，部署 Zabbix 监控（又一次，替换别人失败的尝试），围绕 PXE 和 Chocolatey 重建操作系统部署，用 Fortinet 设备升级网络，理顺硬件采购。\n然后是改变一切的那份工作。 在 UK Centre for Ecology \u0026amp; Hydrology，我管理科学计算团队，四名直接下属，并从头重建了基础设施。 一个 7 节点的 Proxmox VE 私有云，超融合 Ceph 存储，跑在双 100Gb 交换上。 一个 8 节点的 HPC 集群，HDR InfiniBand，跑 Slurm，用 SR-IOV 让虚拟机接入网络结构，用 EasyBuild 构建软件。 从 GPFS 迁移到全 NVMe 的 Ceph 存储。 Ansible 配合 Netbox 作为一切的唯一可信数据源：补丁管理、配置漂移控制，以及与 Cloudflare、PowerDNS 和 Active Directory 的集成。 云网络用 OSPF 动态路由。 本地软件仓库镜像，让部署又快又一致。 HPC 环境从 CentOS 7 重新部署到 Rocky 9。 用 Cloudflare 做 DNS（包括 DNSSEC）、DDoS 防护和 Zero Trust 远程访问。 其中包括在两个工作日内，把 25 个权威 DNS 区域从自托管的 BIND 9 迁到 Cloudflare。 更新了多个注册局，整件事都和 Ansible 以及 Let\u0026rsquo;s Encrypt 集成在一起。\n全部用开源工具，预算很紧，而且是有意这样搭的，要在 Broadcom 和 VMware 的许可陷阱合上之前躲开它。 这就把争论定了。 那种规模的开源基础设施，不只是能用，而是更好，我有集群和发票可以证明。\n那份工作的另一半，是团队里的四个人。 科学家不在乎存储叫什么。 他们在乎的是作业今晚能不能跑，以及他们去问的那个人，能不能把答案讲清楚，又不让他们觉得自己问了个蠢问题。\n这一切怎样汇到一起 转到 croit 做售前，并不是换了方向。 而是所有东西落到了同一个地方。\n制造业 IT 生产靠你的时候，可靠性不是可选项 一线支持 学会倾听、沟通和保持耐心 应用开发 搭建解决真实业务问题的系统 全球 IT 管理 扛起技术重担，同时培养人 深度 Linux 工程 最后一道升级关口，没有别人可以找 Nominet 的关键 DNS 国家规模的基础设施与纪律 基础设施与托管 大规模的 VMware、存储和灾备 科学计算（UKCEH） 用 Proxmox VE + Ceph + HPC 重建，全程开源 croit 售前 设计系统，捍卫设计，对它说实话 制造业 IT 教会我：生产一旦靠它，可靠性就不再是一种偏好。 一线支持教会我：做任何事之前先听。 应用开发教会我：搭的系统要解决业务问题，而不是解决一个有趣的问题。 管理一个全球团队教会我：既扛起技术重担，又培养身边的人，这比单做其中任何一半都难。 三线 Linux 教会我：做最后一道升级关口是什么滋味。 二十年来并排运行 Windows 和 Linux，教会我平台在负载下实际上怎样表现，而不是数据手册上说它会怎样。 VMware 我从 2008 年起几乎每份工作都在用，它教会我企业级虚拟化在规模上是什么样子，然后又教会我，当整个环境都坐在一个平台上，而这个平台底下的商业地基移动时，会发生什么。 存储和网络教会我：难题住在哪里。 安全贯穿了所有这些，早年是防火墙和 VPN，现在是 DNSSEC、Zero Trust 和加固。 Nominet 教会了我纪律。\n把这些放在一起，你就得到了售前。 你设计系统，然后捍卫这个设计，并对它做不到的事保持诚实，因为有人马上要凭你一句话花真金白银。\n在 croit，这意味着和欧洲及亚太地区正在重新考虑虚拟化和存储的机构合作。 谈的通常是离开 VMware，转向 Proxmox VE 加 Ceph。 迁过来的负载大多是 Windows，所以跨平台的经验不是陈年旧事。 它就是我现在做的事。\n我在乎的部分是诚实。 我摆在别人面前的，必须是在他们的楼里、在他们的规模下、在他们实际有的约束下能用的东西。如果他们现有的设备已经能干大部分的活，那我就会这样告诉他们。\n我今天设计和搭建的技术栈 自动化与唯一可信数据源 Ansible · NetBox · Let's Encrypt 计算 Proxmox VE：KVM 虚拟机 + LXC 容器 存储 Ceph：RBD 块存储 · CephFS · 全 NVMe 网络 25/100GbE 网络结构 · BGP / OSPF · 原生 IPv6 基础 开源，跑在你自己拥有的硬件上 存储 最难的问题，总是待在存储那里。 这不是有意的职业规划，只是恰好走成了这样。\n这份着迷开始得很早。 九十年代我做梦都想要 Iomega 的 Zip 和 Jaz 磁盘：一张可移动盒片上 100MB，后来干脆是整整 1GB，而别人互相传来传去的软盘只能装 1.44MB。 那是很贵的设备，所以好多年里它们只是想要，而不是拥有。 等我终于弄到一台 USB Zip 驱动器，USB 闪存盘刚刚开始出现，我想了那么久的格式已经在退场的路上了。 这是早早上的一课：存储变得有多快，今天的必备品又多快变成明天抽屉里的杂物。\n光存储也是同一个故事的一部分。 1998 年我有一台四倍速的 HP CD-RW 刻录机，那可是个好东西。 后来更快的驱动器干脆拒读的光盘，它都能读、能重写，所以在本该退休之后很久，它还作为救援驱动器发挥着作用。\n一切从接口开始。 存储硬件我几乎全都碰过。 直连这边有 IDE、好几代 SCSI、SATA、SAS 和 NVMe。 网络存储这边有 ATA over Ethernet 和 iSCSI。 HP 3par、Dell Compellent、Dell PowerVault、Nexsan，每一个都有自己的怪癖和故障模式。\n从那里一路往上走过整个技术栈。 集群 LVM 教会我，多个节点需要并发访问时共享存储怎样表现，以及锁和隔离（fencing）没做对时会发生什么。 ZFS 教会我，当你真正在文件系统层面考虑数据完整性时会发生什么。 GPFS 让我见识了大规模的并行文件系统。 Ceph 教会我，分布式系统在故障下的表现有多么不同。\n这些年里，一开始的“顺便也管存储的那个人”，变成了“存储需要好好设计时你去找的那个人”。\n网络 网络从一开始就在那里。 它不是辅助技能，而是核心技能。 从 McKenna 起，我做过的每一份工作都离不开 TCP/IP、DHCP 和 DNS。\n在 Nominet 工作，意味着在英国域名注册局背后的基础设施上工作。 那是国家规模的 DNS。 命名、解析、委派，以及每一次都必须能用的预期。\n我在 BIND 9 上运行权威区域，配置 DNSSEC，为 IPv4 和 IPv6 配置 F5 负载均衡器，后来又把 DNS 环境迁到 Cloudflare，用 API 自动化并集成 Let\u0026rsquo;s Encrypt。 我在英国和中国都为集群部署搭建过 PXE 启动的 DNS 基础设施。 DNS 的两面我都懂。 自托管，每一次故障都是你自己的。 托管，你在信任一家服务商，并且需要通过监控来验证这份信任。\nDNS 之外，网络贯穿了我做过的每一份工作。 VLAN、bonding、LACP，Brocade 上的光纤通道分区，Fortinet 和 Cisco ASA 防火墙，IPTables 和 IPset。 25GbE 和 100GbE 网络结构设计、BGP、OSPF 动态路由、MTU 管理、IPv6 架构。 VPN 隧道：从跨越困难国际链路的 OpenVPN，到用于现代安全访问的 WireGuard 和 cloudflared。 Samba 也在好几份工作里是我的专业技能，早在我在 alpha 阶段测试它的 AD 实现之前，就一直在打通 Linux 文件共享和 Windows 域集成。\nCeph 集群是一个网络应用。 存储性能的天花板，由它底下的网络决定。 它的故障模式就是网络的故障模式。 这不是你从课本上学来的东西。 这是你凌晨两点排障时学来的东西。\nLinux 二十多年来，我在 RHEL、Debian、SUSE 和 Fedora 几个家族之间工作。 在工作中，这意味着用 RHEL 和 CentOS 跑线上服务，用 Ubuntu 托管应用，用 Rocky 跑 HPC，个人则用 Gentoo 和 Fedora。 我通过了 LinkedIn 的 Linux 技能评估。\n深度来自那些在 Stack Overflow 上找不到答案的问题。正是在那里，你才会真正学懂 PCI 子系统，而不是道听途说：IOMMU 组、ACS、VFIO、SR-IOV、Resizable BAR，以及 DMA 地址转换在悄悄让你付出什么代价；还有内核启动参数，它们是改变机器行为的控制项，而不是因为某人的博客说它修好了他的问题，就从 wiki 上照抄的一串列表。\n存储和虚拟化的性能问题，几乎总能追溯到一个没人看过的层。 我的 Linux 知识就住在那里。\nWindows 我现在的时间都花在 Linux 上，但 Windows 这一面同样真实，我做过的每一份工作里都有它。 Windows Server、Active Directory、LDAP、Exchange、IIS、Microsoft SQL Server。 这些都不是我已经放下的过时技能。\n它在客户机层面很重要，而大多数人恰恰就在那里停止了查看。 当一个 Windows 负载跑在 KVM 上，能告诉你这台客户机在某种 CPU 拓扑下怎样表现、能把一次性能投诉追溯到某个 Microsoft 补丁而不是怪罪虚拟化层的人，是那个在篱笆两边都待了好些年的人。 我见过的大多数虚拟机性能争论，赢的人靠的是懂客户机，而不是懂宿主机。\n我支持过的人，从教授和董事会成员，到负责大楼的后勤团队都有。 每种情况下工作都是一样的。 弄清楚他们实际需要什么，让它跑起来，再用一种不让他们觉得自己问了蠢问题的方式解释清楚。\nVMware VMware 是我在职业上一路成长起来的平台，从 2008 年起跨了七份工作，而且我跑过它的完整技术栈：ESXi、vCenter、vSAN、vSphere 集群、vMotion。 我知道它擅长什么。 也知道它不擅长什么。 我还亲眼看着 Broadcom 的收购改写了那些把整个环境建在它上面的机构脚下的商业现实，这和读新闻是两回事。\n一个你从没正经用过的平台，你没法帮别人离开它。 正因如此，我能告诉他们放弃的是什么，得到的是什么，以及迁移的哪一部分会比别人让他们预期的更难。\n自动化 自动化思维始于 2006 年我的第一份正式工作。 在 McKenna 用 VB 脚本自动化 AD 驱动器映射、打印机分配和软件部署。 然后在 BT Engage IT 做从人事系统到 AD 的账户开通工具。 然后在 Sondrel 为无盘计算集群做 PXE 启动系统。 然后在 Nominet 用 Puppet。 然后在一家零售公司做 Chocolatey 打包和 PXE 重建。 然后在好几份工作里定制 ServiceNow 工作流。\n现在是 Ansible 配合 Netbox 作为唯一可信数据源。 不是因为它们时髦，而是因为不能从代码重建的基础设施，不是你能信任的基础设施。\n文档是同一个道理。 只存在于某个人脑子里的知识，是一个单点故障，五点钟一到，它就跟着其他人一起走出大楼。 这和一块背后没有冗余的硬盘一样，应该同样严肃地对待。\n监控 我的监控经历始于 Pulsant 的 SolarWinds，在整个托管环境上做大规模监控。 Zabbix 来得晚一些，它值得单独一提，因为从那以后我几乎在每个地方都部署了它。 它始于 Nominet：我在那里负责了招标和测试，然后把我们迁到 Zabbix，替换老化的 VMware Hyperic。它赢在真正直观，而不是又一个底下套着 Nagios 的东西。 之后我在一个托管和基础设施平台上从零部署了它，在零售业替换了别人失败的尝试，又在 UKCEH 用它监控一个 8 节点的 HPC 集群。\n每一次，监控模板都是我设计的，脚本都是我写的。 到 2018 年我参加 Zabbix Specialist 和 Professional 考试的时候，我已经部署它好几年了。\n沟通 在关键基础设施领域工作，教会你精确。 在售前工作，教会你清楚。 这两者相关，但不是一回事。\n如果听的人跟不上推理，精确就一文不值，所以我不得不学会把同一个解释讲两遍：一遍给想看 CRUSH map 的工程师，一遍给要签字确认预算为什么是这个数的人。 我什么都不往简单里糊弄。 我只是把推理的每一步都摆出来，让他们想在哪儿打断我就在哪儿打断。\n多年和最终用户打交道，教会了我另一种耐心。 自认为是屋里最聪明的人，往往表现得最无助。 一开口就说“我不太懂技术”的人，往往会认真听、照着步骤做，十分钟就搞定了。 而那些告诉你他们完全知道自己在干什么的人，通常在拿起电话之前就已经把事情弄得更糟了。\n业务系统的背景在这里帮的忙比人们想象的大，因为我一直得在两个方向上翻译。 给运营经理讲 SQL 架构，给 CTO 讲存储设计，或者坐在某人自己的工位旁，给他看那个从来没人给他看过的东西。 每次都是同一种技能。\n社区 分享知识贯穿了我的整个职业生涯。\n我从源码构建系统、需要弄懂为什么某个 USE 标志组合会让编译失败的时候，在 Gentoo 论坛上很活跃。 我在 Linux 和 Windows 之间处理文件共享和域集成问题的时候，在 Samba 论坛上做过贡献。 那不只是提问。 在 AD 支持还处于 alpha 阶段时，我就搭了一个基于 Samba 的 Active Directory 域控制器。 我用 Windows 2000、XP 和 Vista 客户端测试它，并把结果反馈给社区。\n现在我以 DamienDye 的名字在 Proxmox 社区论坛 上积极贡献。 我帮人解决 NVMe 直通性能、Windows 虚拟机调优、Ceph 排障和集群网络的问题。\n技术在变。 原则不变。 一个问题我弄明白了，捂着它没有任何好处，而六个月后某个凌晨两点的人会庆幸它被写了下来。\n我还有个习惯：对问题的深挖往往超出任务严格需要的程度。 我设计过一块 DIY 的 NVMe 掉电保护板，因为我想确切弄懂 FTL 损坏在硬件层面为什么会发生。 我研究过自托管的邮件协议，因为我想从 RFC 起弄懂 JMAP，而不是只信任一家服务商。 我建这个博客，是因为把事情好好写下来，正是你发现自己理解中空白的方法。\n键盘之外的社区 并不全是论坛。\n2018 年，我是 Banbury 的 Longford Park Community Association 的创始人之一，就在我住的那个小区。 四期新建住宅，规划里写进了一个社区中心，却根本没有任何组织来运营它。 于是几个住户自己搭了个班子。\n我先做的是 IT 这一头，因为那是我能拿出来的。 lpca.org.uk 这个域名在 2018年1月上线，在它背后，我搭了网站、邮件系统和委员会邮件列表，还写了隐私政策。\n我从一开始就在委员会里，并在 2018年12月到 2020年2月担任主席。 十四个月，真正要紧的事都落在了这段时间里。 我们在 2019年2月11日让它注册成为慈善机构，编号 1181953。 我搞定了这栋楼的商业租约。 然后我们把中心开了起来。\n主席就是为这个而设的。 不是议程和会议纪要。 而是让一栋几百户人家都能走进去的楼开门。 住户志愿者至今仍在为这个开发项目的第 1 到第 4 期运营它：三个房间、一个厨房和一个停车场，按小时出租给小区里任何想用的人。\n志愿者委员会靠善意运转，而善意不是一种治理模式。 所以我让大家遵守章程，包括我自己。 章程说要动员住户，我就问为什么要从外面招人；有一封要发出去的通知会落进小区里每个人的垃圾邮件文件夹，我就把它拦了下来。 不是为了找茬。 一个联系不上住户的住户协会，已经在它唯一的工作上失败了，所以我在提意见的同时，把修复的链接也一起发了过去。\n中心至今还开着，而我已经不在委员会里了，这才是对的顺序。 任何只有你站在那里撑着才能运转的东西，从来就没有被好好建起来。\n这个网站 这个博客是一个 Hugo 静态网站，使用 PaperMod 主题。 它托管在 Cloudflare Workers 上，把构建好的网站作为静态资源提供。\n我在这里写我日常打交道的基础设施：Proxmox VE、Ceph、Ansible、Netbox、证书，以及那一周我正在深挖的任何东西。 它是写来用的，里面有命令，有数字，因为一篇你没法坐在键盘前照着做的文章，只是装饰。 没有营销废话。 如果有东西还有毛边，文章会直说。\n联系我 你可以在 LinkedIn 或 Proxmox 论坛 上找到我。\n如果你正在为你那里考虑 Ceph 或 Proxmox，想要一次正经的交流而不是一场推销，给我留个言。 带上你实际有的负载、约束和预算。 我会告诉你它能做什么，不能做什么；如果诚实的答案是你应该保留现有的东西、把它好好配置起来，你也会得到这个答案。\n","permalink":"https://blogs.damiendye.uk/zh/about/","summary":"Damien Dye：售前工程师、基础设施专家、开源倡导者。","title":"关于我"}]