Webex 在窗口顶部挂出一条黄色横幅:Offline - No internet connection。 电话服务显示为已断开,什么都不同步,九十秒前开始的会议你也进不去。
当这东西就是你的工作电话时,这可不是什么小麻烦。我的来电从 Webex 进来,我的 VoIP 线路也走它,所以一个无法认证的客户端,就是一部不会响的座机、一场我不在场的会议、一位只能听到语音信箱的同事。它让我没法干活。不是变慢,不是降级。是停了。
而这一切既不是我造成的,也不是我能阻止的。一个工作日就这么乱了套,原因是一家收了钱的供应商没有做质量控制,产品卖的时候带着支持合同,平台是它自己的系统要求页面上写明支持的。我什么都没配错。我从厂商的仓库安装了厂商的软件包,装在厂商列出的平台上,它却连一个 TLS 连接都建立不起来。然后我花了自己一个晚上去查原因,而这段时间,给软件包签名的那些人并没有花。
这台机器并没有离线。旁边的浏览器正在加载网页。你的邮件照常到达,终端照常从远端拉取,去问操作系统能不能上网,它说能。Webex 自己也同意,就写在它自己的日志里,比它告诉你相反结论早了十一秒。
真正发生的事情是:Cisco 装在 Webex 里的那份 OpenSSL 一个证书颁发机构都找不到,因为它编译时被设定去 /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl 里找。那是 Cisco 某个构建容器上的目录。它从来没在你的电脑上存在过,以后也不会。这个应用发起的每一个 TLS 连接都在证书校验这一步失败,登录令牌刷新不了,一个十五秒的计时器到期,界面只好抓起它唯一有现成字符串的那个解释。
所以这条横幅错得很具体,也毫无帮助。它点名的是你的网络。故障却是他们构建里的一条路径。
版本是 46.8.0.35631,系统是 Fedora 44,内核 7.2.4。这是受支持的平台。Cisco 公布了 Linux 系统要求,并提供一个签过名的 .rpm,webex-46.8.0.35631-1.x86_641。下面要讲的是怎样在大约十分钟内证明这一点,为什么所有显而易见的修复都不管用,哪一个管用,然后是比这些都更要紧的部分:这不是什么隐蔽的 bug。这是一个从来没人在“不是构建它的那台机器”上运行过的构建。
横幅到底在告诉你什么
Webex 的连接状态显示由一个复合状态机驱动,七个子状态机,各有各的计时器。启动时它们这样初始化:
ConnectivityStateMachine::ConnectivityBanner - Initializing with state: Connected
ConnectivityStateMachine::Network - Initializing with state: NoNetwork
ConnectivityStateMachine::Services - Initializing with state: Connected
ConnectivityStateMachine::Mercury - Initializing with state: Disconnected
ConnectivityStateMachine::Authentication - Initializing with state: UserNotAuthenticated
ConnectivityStateMachine::Syncing - Initializing with state: Synced
ConnectivityStateMachine::Survivability - Initializing with state: SurvivabilityHide
四十毫秒之后,操作系统给出回应,应用把它记了下来:
NetworkManagerPowerNetworkWatcher.cpp:93 onConnectivityCheckSuccess::
The host is connected to a network, that appears to be able to reach the full Internet.
这一行和那条声称没有网络连接的横幅,在同一个文件里,同一个会话里。应用是知道的。它在 08:25:12.131 就拿到了答案,却在 08:25:27.132 显示了相反的结论。
在这两个时刻之间,发生了这些:
| 时间 | 发生了什么 |
|---|---|
| 08:25:12.131 | 操作系统确认完全可以访问互联网 |
| 08:25:12.218 | 代理检测:未配置,直连 |
| 08:25:12.241 | 第一个 HTTPS 请求失败,errorCode: 167772294 Error in SSL handshake |
| 08:25:12.569 | CloudApps 访问令牌刷新失败,同一个错误码 |
| 08:25:12.571 | Kms 访问令牌刷新失败,同一个错误码 |
| 08:25:15.684 | 重试,两个都失败 |
| 08:25:21.745 | 重试,两个都失败 |
| 08:25:27.132 | 十五秒计时器到期,横幅切换为 NoInternet |
| 08:26:12.091 | 六十秒计时器到期,服务降级为 DisconnectedShortTerm |
Authentication 子状态机始终没离开 UserNotAuthenticated,于是 Services 推导出自己处于断开状态,于是横幅弹了出来。就输入而言,这里每一步都是正确的行为。错的是输入,而输入是一个数字:167772294,从第一个失败请求到最后一个,每一个都是它。
这个数字就是整篇文章。记住它。
三条路径,没有一条存在
Webex 不用系统的 OpenSSL。它自带一份,还自带一份 libcurl,而这个 libcurl 链接的是捆绑的那份,不是你的:
$ ldd /opt/Webex/bin/libcurl.so | grep -E 'ssl|crypto'
libssl.so.3 => /opt/Webex/bin/../lib/libssl.so.3
libcrypto.so.3 => /opt/Webex/bin/../lib/libcrypto.so.3
到这里还没问题。捆绑一个 TLS 库是说得过去的选择,很多厂商都这么做。要紧的是里面被烤进去了什么,而 OpenSSL 会在你问它的时候告诉你:
$ strings /opt/Webex/lib/libcrypto.so.3 | grep -E 'OPENSSLDIR|ENGINESDIR|MODULESDIR'
OPENSSLDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl"
ENGINESDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/engines-3"
MODULESDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/ossl-modules"
三条。不是某一个设置不小心漏了。整个安装前缀,从编译它的那台机器原样带了过来,放在一个以签名软件包形式、在受支持平台上交到客户手里的库里。
OPENSSLDIR 只设定一次,在配置阶段,用 --openssldir,而 OpenSSL 自己的构建文档对它的用途说得毫不含糊:“Directory for OpenSSL configuration files, and also the default certificate and key store.”2 信任链条下游的一切都挂在它上面。默认 CA 文件是它里面的 cert.pem,默认 CA 目录是它里面的 certs3。/workspace 是一个 Conan 构建缓存。Conan 是 Cisco 用来构建的 C++ 包管理器,它把每个包存放在以构建输入的哈希命名的位置下4。哈希 cisco8ee8b59cf93de 描述的是一个容器,而这个容器很可能在构建结束几分钟后就被删掉了。
问问这个库它是什么,它甚至都不是原版 OpenSSL:
VERSION CiscoSSL 3.5.5.8.5.4 27 Jan 2026
BUILT_ON built on: Wed Feb 25 06:29:18 2026 UTC
PLATFORM platform: conan-Release-Linux-x86_64-gcc-13
DIR OPENSSLDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl"
一个内部维护的分叉,有自己的一套版本号,二月构建,八月发布,身上还带着它被制造出来的那个工作目录。
别把 strings 当答案,去问库本身
strings 能在文件里找到文本。它证明不了库会用这段文本。所以把随包附带的库加载起来,直接问它,大约十二行 Python,不需要 root:
import ctypes
c = ctypes.CDLL("/opt/Webex/lib/libcrypto.so.3")
for f in ("X509_get_default_cert_file", "X509_get_default_cert_dir",
"X509_get_default_cert_file_env", "X509_get_default_cert_dir_env"):
getattr(c, f).restype = ctypes.c_char_p
print(f"{f:34} {getattr(c, f)().decode()}")
X509_get_default_cert_file /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/cert.pem
X509_get_default_cert_dir /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/certs
X509_get_default_cert_file_env SSL_CERT_FILE
X509_get_default_cert_dir_env SSL_CERT_DIR
库亲口说出来了。Webex 里任何东西向这份 OpenSSL 要默认信任库时,拿到的都是一个不存在的文件和一个不存在的目录。SSL_CTX_set_default_verify_paths 做的就是这件事,而除非被另行告知,几乎所有客户端都是这么做的。
最后两行值得留意,因为它们就是逃生口:这个库允许 SSL_CERT_FILE 和 SSL_CERT_DIR 覆盖这两个值5。这一点也记住。它后面会变得很重要,只是方式出乎你的意料。
复现出完全相同的错误码
靠看来证明,不算证明。拿随包附带的 libssl.so.3 和 libcrypto.so.3,只用库自己的默认值,向一台真实主机做一次真实的握手,看看返回什么。
有意思的是默认值什么都没指向的那一次。SSL_CERT_FILE 和 SSL_CERT_DIR 覆盖的正好是 OPENSSLDIR 缺失时悬空的那两个值,所以把它们指向一条不存在的路径,就能精确复现出货时的状态:
$ SSL_CERT_FILE=/nonexistent/cert.pem SSL_CERT_DIR=/nonexistent/certs python3 tls.py
set_default_verify_paths -> 1
set_fd -> 1
SNI -> 1
SSL_connect -> -1 SSL_get_error -> 1
verify result 20: unable to get local issuer certificate
err: 0xa000086 error:0A000086:SSL routines::certificate verify failed
0x0A000086 换成十进制就是 167772294。
这正是 Webex 日志里每一行失败记录中的那个数字,而它不是来自 Webex。它来自 Cisco 自己的 TLS 库,在他们的应用之外运行,失败的原因只有一个:没有信任锚可以用来校验证书链。同一个库,同一个错误,中间没有应用。
把同样两个变量指向 Fedora 真正的证书包,同一条代码路径就能走完:
$ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem python3 tls.py
SSL_connect -> 1 SSL_get_error -> 0
verify result 0: ok
这两次运行之间,网络方面什么都没变。变的只是一条文件路径。
为什么没有任何东西提醒你
有两件事凑在一起,让它悄无声息,而只有其中一件是 Cisco 的错。
| 什么从不吭声 | 谁的设计 | 为什么保持沉默 |
|---|---|---|
| 加载一个不存在的信任库 | OpenSSL 的,有意为之 | 不管路径是否真实,SSL_CTX_set_default_verify_paths 都返回 1。“A missing default location is still treated as a success”3 |
| 没有任何可以退而求其次的东西 | Cisco 的,而且是对的 | 证书要校验,自签名一律拒绝,SSL 重试关闭,所以不存在一个能掩盖故障的降级模式 |
第一件是合理的。一个另行携带自己信任锚的程序,不该被强迫去关心这个,所以调用成功,信任库是空的,整个栈里没有任何地方说一句 我加载了零个证书颁发机构。第一个察觉到的,是半秒钟之后的一次校验失败。我把路径指向 /nonexistent,对随包附带的库调用了它,返回值是 1。就在上面的输出里。
第二件是从服务端下发的策略,日志里记着:
Wdm.cpp:1162 parseDeviceJson: Adding policy << allowSelfSignedCertificate with value: false
NetworkManager.cpp:1738 onConfigReady: ...httpRequestSSLRetryEnabled: 0
HttpRequestManager.cpp:1883 rawHttpRequest: {"validateCertificates":"true","useClientCertificate":"false"}
这三个标志,是这个故障成了一次停机、而不是严重得多的东西的唯一原因,这一点值得停下来想一想,而不是匆匆略过。
推一遍。捆绑的库加载了零个信任锚,策略层之下的任何东西都不可能察觉,因为这个失败从上到下都是按设计静默的。把它变成一条横幅的,是三个标志。照着很多客户端出货时的样子把其中任何一个翻过来,同一个构建就根本不会失败。它会连上去,连到任何拿着任何证书的东西上,因为它没有任何东西可以拿来校验证书。
它以什么面目呈现,才是问题所在。用户得到的是“Offline - No internet connection”。日志得到的是“Error in SSL handshake”和一个十进制整数。证书 这个词,在用户或一线支持工程师会去看的任何地方都不出现,唯一的诊断线索是一个你得先换算成十六进制才有意义的数字。
不管用的修复
两个最显而易见的修复都失败了,原因各不相同,两个都值得了解。
编辑随包附带的 openssl.cnf
Webex 在 /opt/Webex/lib/openssl.cnf 放了一个配置文件,出货时它只激活了一个 provider:
[provider_sect]
fips = fips_sect
只有 FIPS。没有 default provider,而普通的 TLS 算法都在那里面6。把它加回去只需改一行,可它什么都改变不了,因为捆绑的 OpenSSL 从来不读这个文件。它到 OPENSSLDIR 里面去找 openssl.cnf7,而 OPENSSLDIR 就是那条不存在的路径。这个文件躺在安装目录里,看上去很权威。没有任何东西读它。
这是藏在第一个缺陷背后的第二个缺陷。哪怕明天就把 OPENSSLDIR 指向 /opt/Webex/lib,修好了路径问题,这份配置随后就会被加载,而它只会激活 FIPS。而 FIPS 模块本身是从 MODULESDIR 加载的,也就是同一棵树里的第三条死路径,所以放在 /opt/Webex/lib 里的 fips.so 也找不到。三条路径,一个错误的前缀,每一条都以一种掩盖下一条的方式坏掉了。
设置环境变量
这个库认 SSL_CERT_FILE 和 SSL_CERT_DIR。我在上面证明过了。成功的那次运行就摆在那里。所以显而易见的做法,是在桌面入口文件里设置它们,试过的也正是这个:
Exec=env OPENSSL_CONF=/opt/Webex/lib/openssl.cnf \
SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \
SSL_CERT_DIR=/etc/pki/tls/certs/ /opt/Webex/bin/CiscoCollabHost %U
没有变化。原因并不是 Webex 忽略了这些变量。原因是进程根本没收到它们:
$ tr '\0' '\n' < /proc/20293/environ | grep -E 'SSL|OPENSSL|CURL'
$ tr '\0' '\n' < /proc/20293/environ | wc -l
99
运行中的 Webex 进程有九十九个变量,设置的那三个一个都不在。因为这台机器上有两个同名的桌面入口文件:
| 文件 | 它的 Exec 行运行什么 | 由谁写入 |
|---|---|---|
/usr/share/applications/webex.desktop | 上面那条带三个变量的完整 env 行 | .rpm,之后被手工编辑 |
~/.local/share/applications/webex.desktop | /opt/Webex/bin/CiscoCollabHost %U,完全没有环境变量 | Webex 自己的启动器 |
而规范对哪个胜出说得毫不含糊:“The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.”8 $XDG_DATA_HOME 就是 ~/.local/share。用户那份会遮蔽软件包那份,每一次都是,在每一个遵循规范的桌面上都是9。
所以 Webex 往你的家目录里装了第二份它自己的启动器,而你的桌面运行的就是这一份。软件包里的文件你爱怎么改就怎么改。你在编辑一份没人读的文档。
管用的修复
既然这个库非要一条路径,那就给它那条路径。创建它编译时想要的目录,在里面放上指向真东西的符号链接:
#!/bin/bash
# Point the bundled CiscoSSL at the system trust store by building the
# directory it was compiled to look for. Tested: Fedora 44, Webex 46.8.0.35631.
set -euo pipefail
OPENSSLDIR=$(strings /opt/Webex/lib/libcrypto.so.3 \
| grep -oP '(?<=OPENSSLDIR: ")[^"]+')
[ -n "$OPENSSLDIR" ] || { echo "no OPENSSLDIR found in the shipped library"; exit 1; }
for p in /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \
/etc/ssl/certs/ca-certificates.crt \
/etc/pki/tls/certs/ca-bundle.crt \
/etc/ssl/cert.pem; do
[ -f "$p" ] && { CA_BUNDLE="$p"; break; }
done
[ -n "${CA_BUNDLE:-}" ] || { echo "no system CA bundle found"; exit 1; }
echo "OPENSSLDIR: $OPENSSLDIR"
echo "CA bundle: $CA_BUNDLE"
sudo mkdir -p "$OPENSSLDIR"
sudo ln -sf "$CA_BUNDLE" "$OPENSSLDIR/cert.pem"
sudo ln -sf "$(dirname "$CA_BUNDLE")" "$OPENSSLDIR/certs"
sudo tee "$OPENSSLDIR/openssl.cnf" > /dev/null <<'CONF'
openssl_conf = openssl_init
[openssl_init]
providers = provider_sect
[provider_sect]
default = default_sect
fips = fips_sect
[default_sect]
activate = 1
CONF
echo "done. now restart Webex"
重启它,同样的启动序列产生了相反的结果。同一个二进制文件。同样的日志行。令牌刷新以前六十毫秒内就失败,现在三百三十毫秒完成:
AuthTokenRequester.cpp:579 Managed to fetch a new Kms access token.
AuthTokenRequester.cpp:579 Managed to fetch a new CloudApps access token.
AuthTokenSupervisor.cpp:310 Auth tokens refreshed. Expires in [64799 secs].
AuthenticationManager.cpp:1860 onUserAuthenticated: User authenticated.
ConnectivityStateMachine::Authentication - UserNotAuthenticated -> UserAuthenticated
大约 750 ms 完成认证,所以十五秒计时器从来不会触发,横幅也从来不会出现。电话服务从 Disconnected 变成 Connecting,坏掉的那个会话试了一分钟都没到过这个状态。
| 之前 | 之后 | |
|---|---|---|
| 网络检查 | 通过 | 通过 |
| 第一个 HTTPS 请求 | 167772294 Error in SSL handshake | HTTP 200 |
| CloudApps 令牌 | 失败 | 已获取 |
| Kms 令牌 | 失败 | 已获取 |
| 认证 | 卡在 UserNotAuthenticated | UserAuthenticated |
| 15 秒时的横幅 | “Offline - No internet connection” | 无 |
| 电话服务 | 从未尝试 | 正在连接 |
| 认证耗时 | 永远完不成 | 约 750 ms |
留意一下这个修复对你的文件系统做了什么,因为它理应让你不舒服。它在你的机器上创建了一个叫 /workspace 的顶层目录,这个名字在 Filesystem Hierarchy Standard 里没有位置10,里面装着一条 Conan 缓存路径和一个构建哈希,属于一家你从它那里买了软件的公司。这就是 Cisco 留给你的补救方式的样子:把别人的构建环境挂载到你自己的根目录上。
它还会坏。三种坏法:
| 什么时候坏 | 为什么 | 你怎么办 |
|---|---|---|
| Webex 更新 | cisco8ee8b59cf93de 由构建输入推导而来,所以依赖一重新构建,目录就换了 | 重跑脚本;它从新的二进制里读出路径,而不是假定还是旧的那条 |
| 换发行版 | 符号链接的目标是发行版自己的决定,不是标准11 | 重新指向;脚本会探测四个已知位置 |
| 重装系统 | /workspace 不被备份、不属于任何软件包,也不归任何东西所有 | 再跑一遍,每一次都要,永远如此 |
这些都算不上维护。这是你无限期地、无偿地替别人的构建流水线顶上一个步骤。在你拥有的每一台机器上于运行时修补一个缺陷,只因为厂商不肯在构建时修补一次。
他们懂这条规矩,却只用在了半个构建上
正是这一点,把这件事从一份 bug 报告变成了一个论点。
读一读随包附带的二进制文件的动态段:
$ readelf -d /opt/Webex/bin/libcurl.so | grep RUNPATH
0x1d (RUNPATH) Library runpath: [$ORIGIN:$ORIGIN/../lib]
$ readelf -d /opt/Webex/bin/CiscoCollabHost | grep RUNPATH
0x1d (RUNPATH) Library runpath: [$ORIGIN/../lib]
$ORIGIN 在加载时展开为存放该对象本身的目录12。它是做可重定位打包的正确工具,他们也用对了。他们不得不用:Webex 把同一棵树装了两遍,一遍装到 /opt/Webex,一遍装到 ~/.local/share/WebexLauncher/46.8.0.35631_9e6196c9-…/,启动时由一个启动器在两者之间挑选。两个前缀,一个构建,链接器在两边都能找到它的库。
所以做这个软件包的人完全理解这个问题。绝对路径在发布出去之后活不下来。他们为代码解决了它。
然后他们把数据路径留成了绝对字符串,指名道姓地写着编译它们的那个容器。同一个构建。同一个下午。
所以这件事不能归到 他们不知道 名下。$ORIGIN 不是你会无意间撞上的东西。你会去用它,是因为你已经明白,烤进发布产物里的绝对路径是一个缺陷,而且明白到足以去链接器里把它修好。然后同一个构建往同样那些库里写进了三条绝对路径,并把它们发布了出去。
懂这条规矩却只用在半个构建上,比根本不懂更糟。不懂是培训问题,培训有办法解决。这是一个本身就带着正确思路的软件包,白纸黑字写在 ELF 头里,谁都能读到,可它还是坏着出了门。这说明编译器下游没有任何东西在看结果。一样都没有。
容器早就在那里了
/workspace 从哪里来,并不是个谜,你也不用去猜。它就在软件包头里:
$ rpm -qi webex | grep -E 'Build Host|Build Date|Vendor'
Build Date : Sat 08 Aug 2026 20:47:43 BST
Build Host : c964ea9239ae
Vendor : Cisco
c964ea9239ae 不是谁敲进去的主机名。它是十二个十六进制字符,容器在没人设定主机名时报告的就是这个。所以这个软件包是在一个容器里构建的,出自一家显然拥有镜像、镜像仓库和编排能力的公司,而这台机器上有三样独立的产物各自都这么说:
| 证据,读自已安装的软件包 | 值 | 证明了什么 |
|---|---|---|
RPM 头里的 Build Host | c964ea9239ae | 一个容器 ID,不是一台构建机器 |
libcrypto.so.3 里的 OPENSSLDIR | /workspace/.conan2/… | 一条只存在于那个容器里的路径 |
同一个库里的 PLATFORM | conan-Release-Linux-x86_64-gcc-13 | 一套容器化的 Conan 工具链 |
RPM 里的 Requires | glibc >= 2.28 | 一个刻意选定的、非常老的 ABI 下限 |
然后他们给它签了名。构建在 20:47:43 完成,签名日期是同一晚的 21:02:07,密钥 ID 9995e5bbb5ccde3c。十五分钟。所以存在一道发布关卡,有人或者有东西在操作它,而它证明的是 软件包是谁做的,不是软件包能不能用。签名是一份关于来源的声明。它从来不是一份关于是否合用的声明,而一个只有前者没有后者的流程,把轻重缓急弄反了。
因为缺掉的那一步,恰恰是便宜的那一步。容器已经在流水线里了。拿刚从里面出来的产物,为你声称支持的每一个发行版启动一个干净的镜像,安装,启动,读日志的前一百行:
docker run --rm fedora:44 sh -c '
dnf -y install ./webex-46.8.0.35631-1.x86_64.rpm &&
timeout 25 /opt/Webex/bin/CiscoCollabHost &
sleep 20
grep -c "Error in SSL handshake" ~/.local/share/Webex/current_log.txt'
在这个构建上,每一次都是非零。安装体积 1.1 GB,所以在热缓存上每个目标大约一分钟。六个发行版,就是一台本来就在运转的机器花六分钟,用的是 Cisco 本来就有的硬件,在一条本来就存在的流水线里。它没有跑。一次都没有。
这也回答了人们至今还在说的那句关于 Linux 的话:支持多个发行版很难。从这套工具出现的那天起,它就不再难了,而这套工具就是他们用来编译的同一套工具。每个目标一个基础镜像。同一个产物装进每一个。这个矩阵就是一个循环。
一条在容器里构建、却从不在容器里运行成品的流水线,算不上流水线。它是一台编译器,前面挡着一个定时任务,后面跟着一把签名密钥,它产出的任何东西都只是猜测。
为什么 2026 年的发布版本要针对 2018 年的 libc 构建?
软件包声明了它需要什么,有意思的是第一行:
$ rpm -q --requires webex | grep glibc
glibc >= 2.28
glibc 2.28 发布于 2018年8月1日13。它是 Red Hat Enterprise Linux 8 里的版本14,这个发行版的完整支持在 2024 年就结束了。这是一个 2026 年的产品,2026 年编译,瞄准的却是 2018 年的 C 库。然后还往用户的家目录里塞了一份它自己的、2.5 MB 的 libstdc++.so.6,因为配套这么老的基础的 C++ 运行时承载不了这些代码。
为什么还会有人这么干?因为他们不肯静态链接。
原因就这么多。一旦你动态链接宿主的 C 库,你愿意支持的最老的发行版,就成了你编译所用机器的一道约束。你不能用一个最老的目标闻所未闻的符号,所以你把构建钉在一个古老的基础镜像上,然后一直待在那里。差距一年比一年大。每一个新的语言或库特性到来时,都伴随着一场下限能不能挪动的争论。再自带一份 libstdc++ 去糊住最糟的部分,你现在还得维护一套私有运行时。
当构建主机还是机柜里一台得有人去重装的实体机器时,这种取舍说得通。十年来它已经说不通了。如果你非得链接宿主的 libc,每个目标一个容器,就能在每个平台的真实版本上做出真实的构建,而且它们互不牵制。
但看看这套“瞄准老目标”的纪律在这里到底换来了什么。这是以可观代价换来的 ABI 保守:一个八年前的下限,一份捆绑的 C++ 运行时,一张围绕它冻结的支持矩阵。而客户端照样启动不了。因为坏掉的是 一条文件路径,再怎么小心符号版本也保护不了一条文件路径。兼容性的税交了,捆绑的税也交了,偏偏跳过了那个分文不花的检查。两张账单都付了。产品没拿到。
他们为一个自包含的捆绑包付了钱,却没得到它
在 Linux 上发布商业软件,由来已久的做法是尽量少依赖宿主。能静态的就静态,不能的就做一棵自包含的树,对底下的发行版不做任何假设。这不优雅,也没人假装它优雅。它之所以存在,是因为另一种选择。一个需要某个特定库的特定版本放在特定位置的二进制文件,会把每个客户的机器都变成一个支持工单。
Cisco 走了第二条路,选择了捆绑。账单如下:
| 捆绑包里装了什么 | 大小或数量 |
|---|---|
/opt/Webex/lib 里的共享对象 | 150 |
| 他们自己的 libcurl、CiscoSSL、zlib-ng、ICU、Kerberos、CUPS 客户端、hunspell 和推理引擎 | 全都有 |
安装在 /opt/Webex 下 | 1.1 GB |
~/.local/share/WebexLauncher 下的第二份,每个用户一份 | 1.1 GB |
| 一个聊天和通话客户端占用的磁盘 | 2.2 GB |
两个 G 的依赖。这就是捆绑的全部代价:下载、磁盘、重复,以及作为唯一能给其中任何东西打补丁的一方所背负的安全负担,统统都在。付了这个代价,你买到的是一个不在乎宿主装了什么的程序,在 Fedora、Debian、Arch 以及客户今年统一采用的任何东西上表现都一样,也不会被一次它从没听说过的发行版升级弄坏。
可它偏偏在乎。它非常在乎一个目录,而那是构建服务器上的一个目录。
他们自带了 Kerberos,自带了 ICU,自带了拼写检查器,却没能带上一条通往证书的可用路径。捆绑包存在的全部意义就是自包含,可它恰恰在那个让它无法工作的方面不是自包含的。 那 1.1 GB 里的每一样都通过 $ORIGIN 被正确找到了。最要紧的那四十来个字节没有。
而这正是让我恼火的地方。捆绑是 昂贵 的那个选项。他们承担了这笔开销,做了困难的工程,在两个安装前缀之间为一百五十个库把重定位做对了。然后却把那个决定这一切能否工作的部分,指向了一台从来没有任何客户拥有过的机器。
也没人写文档
和第一个失败并排躺着的,还有第二个失败,而它本来能抓住第一个。
问问这个软件包它附带了什么文档:
$ rpm -qd webex | wc -l
0
$ rpm -qc webex | wc -l
0
没有文档文件。也 没有配置文件。一个附带了 openssl.cnf 的软件包里,被标记为 %config 的条目是零个。这可不是表面功夫。RPM 把一个文件标记为 %config,是为了让包管理器保留管理员改过的内容,另存一个 .rpmsave,而不是把它覆盖掉1516。/opt/Webex/lib/openssl.cnf 是作为普通文件发布的,所以下一次更新会覆盖你对它做的任何修改,而且一声不吭。客户唯一可能确实需要调整的那个文件,恰恰被打包当成了一次性的东西。
没有任何公开资料说明这个客户端用哪个信任库、认哪些环境变量、从哪里读取 TLS 配置。没有页面可查。根本没人写。我弄清这些的唯一办法,是对随包附带的二进制文件用 strings、readelf、ldd 和 ctypes。为了回答一个它的文档本该一句话就答完的问题,去逆向一个受支持的产品。
而这件事比听上去更要紧,原因在这里。写这份文档本身就是一次测试。 让厂商里随便哪个人对着一张标题为 Webex for Linux 从哪里读取 CA 证书 的白纸,他首先要做的就是去看一眼。他一看,就会发现 /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl,接下来他嘴里冒出来的就会是一个问题。写明配置路径不是为了客户方便而走的文书流程。它是厂商能对自己的构建做的最便宜的审计,跳过它,就是这样一条路径能一路活到发布版本的原因。
这些都不是什么过分的要求。说清楚你的配置放在哪里。说清楚你认哪些环境变量。把你的配置文件标记成配置文件,别让一次更新把它们吃掉。这样遇到故障的客户就有个地方可查,而不是去开十六进制编辑器。
没人运行过它
缺失的那一步,上面已经点过足够多次了。值得问的是,为什么它偏偏在这个平台上缺失,而在别的平台上没有。
反正在 Fedora 上就是缺了。在 macOS 和 Fisher-Price OS (Windows) 上,这类故障不会以同样的方式出现,因为这些平台有系统级的 TLS 栈,信任库由操作系统管理。Linux 没有这种东西。OpenSSL 就是 信任库,所以谁发布它,谁就决定它去哪里找。于是,捆绑库真正承重的唯一一个平台,恰恰就是那个未经测试就发布了的平台,这说明的是一个决定:哪些客户值得做一次冒烟测试。
整个排查花了一个晚上:读日志,发现网络检测在横幅声称相反结论之前就已经通过,从二进制里把编译进去的路径拽出来,用随包附带的库复现出完全相同的错误码。整个过程由一个 AI 代理做日志关联和 ctypes 测试脚手架,我负责想清楚该问它什么。我提这个只有一个原因:一家厂商在给这个软件包签名、把它放进自己的仓库之前从未做过的诊断,如今只要客户有耐心去看,一个晚上就够得着。Cisco 的工程师和其他任何人一样能用上 Claude,而它本可以把这个正确地构建出来。你没法让它把 /workspace/.conan2 烤进一个要发布的产物里,而它不告诉你这个产物离开工作区后会发生什么。抓住这种问题的工具已经不再稀缺,知识也不再稀缺。缺的是厂商里一个以检查此事为本职的人。
与此同时,碰上这个问题的人能走的支持路径,是一条告诉他网络断了的横幅。他会重启路由器。他会打电话给运营商。他会提一个毫无下文的工单,因为 Cisco 选择显示的症状,指向的是远离 Cisco 的方向。
出错的东西就是这么一张完整的清单。值得说一说“对的”本该是什么样子,因为清单上的每一项都有一个早于这个产品就已定论的答案。
它本该怎样构建
出错的说够了。下面是标准,没有一样是新鲜的。二十年来,把二进制文件发到别人的电脑上,要求的就是这些。
从 Cisco 原则上做对、执行上做错的那个决定说起:你愿意在多大程度上依赖宿主。静态链接是最强的答案,值得说得具体些,因为“静态链接一下不就行了”这句话,常被从没真正做过的人挥来挥去,又被从没尝试过的人一口否定。
| 它去掉了什么 | 它要付出什么 |
|---|---|
RUNPATH,以及把它弄错的每一种方式,因为加载时根本不搜索 | glibc 无法干净地静态链接:名称和用户查找要经过 dlopen,所以二进制文件仍会去找宿主的 NSS 模块17 |
| glibc 下限,于是最老的发行版不再决定你能在什么上编译 | LGPL 部分带有重新链接的义务,所以它们要么保持动态,要么你得附带重新链接所需的东西 |
发行版升级、库改名或陈旧的 ldconfig 缓存造成的破坏 | 每一个补丁都归你管:发行版的安全更新到不了你的客户那里 |
从一个可能并不存在的目录 dlopen 一个带版本号的 .so | 下载更大,进程之间也不能共享内存页 |
左栏里还有一条,其余几条都只是在给它作陪:你的流水线产出的产物,就是客户运行的产物,一个字节都不差。 测试了它,你就测试了你发布的东西。这整篇文章讲的,正是这个属性的缺失。
右栏值得老实面对。都是真实的代价,也是人们转向 musl 或者接受混合方案的原因。但看看第三行。每一个补丁都归你管,这一点和 Cisco 已经在做的事 完全一样:一棵捆绑了 150 个库的树,是同样的承诺,却没有任何加载时的保证。他们横竖都签下了包揽每一个补丁的承诺,却什么回报都没得到。
所以规则很简单,也正是他们破坏的那条规则:凡是你没法链接进去的,都必须通过相对于二进制文件的路径找到。 代码用 $ORIGIN,库会去找的每一条数据路径也要刻意遵守同样的纪律。在这个例子里,这样的路径有四条,每一条都有文档记载的控制手段:
| 库会去找什么 | 发布出去的是什么 | 本该是什么 |
|---|---|---|
| 信任锚 | OPENSSLDIR/cert.pem,构建时固定 | 放进发布的树里,或者启动时设置 SSL_CERT_FILE5 |
| 配置 | OPENSSLDIR/openssl.cnf,同一条路径,永远找不到 | OPENSSL_CONF,指向软件包里的那一份5 |
| Provider,包括 FIPS | MODULESDIR,绝对路径,所以 fips.so 够不着 | OPENSSL_MODULES,“the directory from which cryptographic providers are loaded”5 |
| Engine | ENGINESDIR,绝对路径 | OPENSSL_ENGINES,或者什么都不用,因为 OpenSSL 4.0 已经彻底移除了 engine 支持5 |
四条路径,四个环境变量,全都在他们自己的库附带的同一份手册页里。如果你的产物里有任何以 / 开头、在构建时决定的字符串,它就是一个等着客户去发现的缺陷。不存在第三种“绝对构建路径也没关系”的选项。
这个问题的修复,以及能抓住它的检查
从原则落到这个具体的缺陷上。六处改动,没有一处需要研究:
| 修复 | 工作量 | 为什么它是对的 |
|---|---|---|
设置 --openssldir=/opt/Webex/lib/ssl 并随包发布这棵树 | 一个 configure 参数 | 这样路径就存在于软件包里,这正是这个参数的用途2 |
在 CiscoSSLUtils 里于启动时设置 SSL_CERT_FILE/SSL_CERT_DIR,探测已知的发行版路径 | 十几行 | 标准做法,有文档,他们自己的库本来就支持5 |
| 自己把 CA 证书包放进软件包里发布 | 只涉及打包 | 完全掌控信任,代价是要负责让它保持新鲜 |
修正 openssl.cnf,激活 default provider | 一行 | 无论如何都需要,目前被路径故障掩盖着6 |
把 openssl.cnf 标记为 %config | spec 文件里一行 | 防止一次更新悄悄吃掉管理员的修改15 |
| 公布路径和所认的环境变量 | 一页 | 最便宜的审计,而且在写的过程中就会发现这个故障 |
第一条是那个一个参数的修复,有了它,产品发布出去就是能用的。它只是构建脚本里的一个值,设一次就行,他们弄错了,因为下游从来没有任何东西检查过它。
检查比修复还小:
# in CI, on the packaged artefact, in a clean container
test -d "$(strings lib/libcrypto.so.3 | grep -oP '(?<=OPENSSLDIR: ")[^"]+')" \
|| { echo "shipping a trust store path that does not exist"; exit 1; }
一行。它本会让这个版本在二月份就大声失败,就在制造它的那台机器上,在制造它的那个容器里,在软件包签名之前。它之所以不在那里,不是因为难,也不是因为贵。而是因为没人被要求去写它,于是打包出来的产物表现得像不像软件,不是任何人的职责。
草率的构建流程让其他所有人付出什么
上面的一切,都是从内部看到的一个产品的构建流程,我不会再带你走一遍。值得问的是,这种程度的用心,是否可能只停留在一个团队里。
那就把外部的记录摆在旁边。CISA 维护着一份 已知在野被利用 的漏洞目录。不是理论上的,不是打分打出来的。是被观察到真正用来对付人的。截至 2026年9月14日,它收录了 1,710 条18:
| 厂商 | KEV 目录中的条目数 |
|---|---|
| Microsoft | 388 |
| Cisco | 98 |
| Apple | 94 |
| Adobe | 81 |
| 74 | |
| Oracle | 46 |
| Fortinet | 30 |
| VMware | 26 |
第二名,排在一个操作系统垄断者之后,领先其他所有人。Cisco 最近一次新增条目是在 2026年9月14日,也就是写这篇文章的前一天。
三周前,我为 /zh/random/is-your-msp-lying-to-you-part2/ 数过同一个文件:版本 2026.08.27,1,685 条,Cisco 占 96 条。二十一天里又多了两条。
公平地说一说,单凭那张表能证明什么、不能证明什么。在高价值场所里拥有庞大的装机量会招来关注,关注会找出 bug,所以任何这个规模的厂商都会背着一长串清单。这个数字是先验,不是判决。
比总数更难搪塞过去的是构成。Cisco 的九十八条里,有二十五条落在安全产品线上:防火墙、安全设备、VPN 集中器、邮件和 Web 网关、身份服务。而针对它们最近连续新增的四条,是两次 Secure Firewall Management Center、一次 Secure Firewall ASA、一次 Secure Email Gateway,最后那条在 2026年9月14日18。不是交换机。不是协作设备。是那些专门作为“保护其他所有人安全的东西”来卖的产品。
这正是整篇文章一路走向的那句话,所以我直说。这是一家以销售安全设备为业的公司,却没法让一个桌面客户端去校验一张证书。 不是什么疑难案例。不是什么新型攻击。是计算领域里最例行公事的一项安全操作,每个浏览器每次加载页面都在做,在一个他们自己分叉出来的库里,而他们发布出去时把它指向了一个从来没在任何客户机器上存在过的目录。然后还签了名。
这篇文章补充的,是它背后那套流程的一个样本。不是一个漏洞。是一个平平无奇的打包缺陷,最不隐蔽的那一类故障,出在受支持的平台上,任何一个有人愿意跑一下的冒烟测试都能抓住,可它照样发布了。如果一条构建流水线会把 这种东西 摆到付费客户面前,那很难说它还能拦住什么。它什么也没拦住。
我能问一下这个为什么会被签名吗?
我能问一下,一个连 TLS 握手都完成不了的软件包,为什么会被签名,并且针对一个你们自己的系统要求页面列为受支持的平台发布出去吗?我问的不是谁签的。我对名字毫无兴趣,这件事也不关乎某个人。我问的是什么允许了它,因为确实有东西允许了它,就在构建完成十五分钟之后,而不管那是什么,它今天还在运转。
再说直白的版本。这不是我从某个代码托管平台上随手拉下来、自担风险的项目。它是付了钱的。背后有一份合同,一条支持热线,一个对 Linux 作出承诺的系统要求页面,还有一把签名密钥,声明这个软件包来自 Cisco 并且适合安装。这每一样都是对客户的一份声明,而在这个版本上,每一样都一文不值,因为成品从来没被打开过。
而这里被错过的标准不是我的。是他们自己的。本可以承载那些路径的四个环境变量,就写在你们随捆绑包一起发布的手册页里。他们自己的打包格式有一个他们没用的 %config 标记,有一个他们留空的文档段落。他们自己的构建跑在一个他们从没用来运行成品的容器里。我不是在要求一家网络和协作公司去发明什么。我是在问它为什么不读自己的手册。
所以我不会接受的借口,就是“这很难”。这对谁都不难,对一家天天做这件事、做到这个规模、收这么多钱的公司就更不难。每天干这一行的专业人士没有借口,体量大也不是借口。
我还能再问一个吗,因为真正要紧的是这一个。你们卖防火墙。你们卖邮件网关、VPN 集中器、身份服务、管理这一切的管理中心,而所有这些产品的卖点都是你们比客户更懂这件事。那么,一家把自己定位为网络安全权威的公司,怎么会发布一个无法验证证书的客户端?不是验证得不够聪明。是根本查不到证书,因为那个目录从来就不在那里。
这个问题的答案里,凡是以“桌面团队和设备团队是分开的”开头的版本,我都不想听。它们是同一个签名,同一条流水线,对受支持平台的同一份公开承诺,以及结尾缺失的同一个步骤,也就是打开盒子看一看。如果在一个坏了会很响、却无害的产品里,证书校验都没在发布前检查过,那我就没有理由相信,在一个坏了悄无声息、代价高昂的产品里它被检查过。
还有老实话,我直说。这一切都没让我意外。我已经习惯了这家厂商的这种水准,这就是为什么只要选择权在我手里,我就不买他们的设备,也不在上面搭建任何东西。这不是对品牌标签的偏好。这和我对任何供应商会做的判断一样:我衡量过他们的工作,不止一次,结果一再如出一辙。上面那份目录是一次衡量。写出这篇文章前半部分所花的功夫,是另一次。
我之所以会用上 Webex,是因为选择权不在我手里,这一点值得点明,因为读这篇文章的大多数人都处在这个位置上。对一个你早已掂量过其质量的厂商,你很少有机会避开。别人签了合同,设备到了,而第一个发现构建里跳过了什么的人,就是你,在你自己的桌前,会议正要开始。
发布一个你从没运行过的东西
内部总会有个解释。冲刺太忙,流水线换了人管,某个平台没有负责人。这些都不值一听,因为每一个描述的都是同一件事:活没干,而流程里也没有任何东西要求它被干。
手艺行当里有一条老标准,从来没能进入软件业:东西没运行过,你就不离开现场。你给系统注满水,检查每一个接头。你给配电盘通电,测试每一条回路。不是因为你怀疑自己的手艺。是因为客户要用它,而当着客户的面才发现问题,不是一个专业的结果。没人看着你做这件事。你照样做。这个词的全部含义就在这里。
软件业花了三十年争辩自己与众不同,说构建就是交付物,安装是别人的事,说一条绿色的流水线就等于一个能用的产品,可它不等于。一个从没在生产它的容器之外执行过的构建,并没有完成,它是在“收尾变得无聊”的那个节点被丢下了。它下游的一切,都是对一项没做过的工作的声明。
修复是一个 configure 参数。检查是一行 shell。有意思的不是这两者的成本;有意思的数字是,有多少人在 Webex 窗口里输入了自己的凭据,看着它说网络断了,然后信了,因为是 Cisco 这么告诉他们的,而 Cisco 是一家网络公司。这就是那个缺失的测试真正换来的东西:不是一个 bug,而是一个产品每次启动都自信满满地对那些无从知晓真相的人说的谎。
而在你关掉这个页面之前,值得划清的就是这条线,因为这篇文章的前后两半并不是两个主题。一条指向构建容器的信任路径,和一台边缘设备上的认证绕过,是同一种失败,只是代价不同。两者都是一个没人检查的值,在一个没人运行过的产物里,由一个只证明来源、不证明合用的流程签了名。摆在我面前的这个是无害的那一种。它在我自己的桌上大声地坏掉,我是第一个知道的。另一种可不会这样照顾你。
Cisco 没有人决定要发布一台可被利用的防火墙,正如没有人决定要发布一个上不了网的客户端。这不是辩护。这恰恰就是指控。两者都不需要谁去决定,而这正是问题所在:当一条流水线编译、签名、发布,却没有任何人被要求为打开成品负责时,从另一头出来的就是这两样东西。一个连不存在的目录都抓不住的流程,从来就不可能抓住一个没被检查的长度,而一家卖给你守卫边界的设备的厂商,没有资格拥有这样的流程。
所以,当某个厂商的名字一再出现在那份清单上时,别去接受那个让人舒服的解释,说他们只是块头大、被盯得紧。规模解释得了数量。解释不了种类。转而去看看他们的构建流程怎么对待那些无聊的事情,因为无聊的事情是可以从外部衡量的,由你来衡量,今天就能做,用你已经拥有的设备。
检查你自己的捆绑包。strings、readelf 再加二十分钟,就能告诉你哪些厂商发布的东西里带着一条通往你永远见不到的机器的路径。你真正衡量的不是那条路径。是那边有没有人在看,而如果在一件抓起来这么便宜的事情上答案是没有,那么在那些不便宜的事情上答案是什么,你已经知道了。
Cisco — Webex App system requirements — 受支持平台列表,包括 Linux。 ↩︎
OpenSSL — INSTALL.md,
--openssldir— “Directory for OpenSSL configuration files, and also the default certificate and key store.” ↩︎ ↩︎OpenSSL — SSL_CTX_load_verify_locations(3) — 默认 CA 文件是
cert.pem,默认 CA 目录是certs,两者都在默认的 OpenSSL 目录里;关于返回值:“A missing default location is still treated as a success.” ↩︎ ↩︎Conan 2 —
conan cache— 包的二进制文件存放在本地缓存中一条带哈希的路径下,/workspace/.conan2/p/b/<hash>/p就是这么来的。 ↩︎OpenSSL — openssl-env(7) —
SSL_CERT_DIR和SSL_CERT_FILE“specify the default directory or file containing CA certificates”。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎OpenSSL — provider(7) — default provider,以及省略它的配置会让哪些东西不可用。 ↩︎ ↩︎
OpenSSL — config(5) — OpenSSL 在初始化时加载的配置文件,以及去哪里找它。 ↩︎
freedesktop.org — XDG Base Directory Specification — “The base directory defined by
$XDG_DATA_HOMEis considered more important than any of the base directories defined by$XDG_DATA_DIRS.” ↩︎freedesktop.org — Desktop Entry Specification —
.desktop文件在哪里被搜索,以及一个文件如何遮蔽另一个同名文件。 ↩︎Filesystem Hierarchy Standard 3.0 — 根文件系统预期包含的目录,其中没有
/workspace。 ↩︎update-ca-trust(8) — Fedora 及其近亲上
/etc/pki/ca-trust/extracted下的合并证书包是如何生成的。 ↩︎glibc timeline — “2018-08-01 GLIBC 2.28 — The GNU C Library version 2.28 is now available”。 ↩︎
glibc — Release wiki — 版本与发行版对照表;Red Hat Enterprise Linux 8 用的是 glibc 2.28。 ↩︎
RPM — spec file reference —
%config,以及包管理器如何处理被标记为配置文件的文件。 ↩︎ ↩︎Fedora packaging guidelines — configuration files — 随包发布的文件何时必须标记为
%config。 ↩︎CISA — Known Exploited Vulnerabilities Catalog — 根据公布的 JSON feed 计数,目录版本 2026.09.14,1,710 条。 ↩︎ ↩︎