更新,2026年10月11日 16:30: 我后来刷了 BIOS 1.30。它修不好这个偏移。tscsync 仍然能把核心对齐,但在两次同步开机里,内核还是丢掉了 TSC,这次是通过它的时钟源看门狗,而不是回跳检查:BIOS 1.30:同步保住了,TSC 还是丢了。加上 tsc=nowatchdog 之后,TSC 保住了,对照实时时钟测了五分钟,没有回跳,也没有漂移:tsc=nowatchdog:五分钟,零回跳。一次开机不等于一连串开机,所以我只说它撑住了,不说修好了。

每次开机,同一条警告

我的 ThinkPad E595 每一次开机,内核日志里都躺着这几行:

TSC synchronization [CPU#0 -> CPU#2]:
Measured 6601281288 cycles TSC warp between CPUs, turning off TSC clock.
tsc: Marking TSC unstable due to check_tsc_sync_source failed
clocksource: Switched to clocksource hpet

什么都没崩。桌面上什么都没弹出来。这台机器从开机那一刻起,就悄悄地把整套时钟跑在一块更慢的定时器芯片上;要不是我为了别的事去翻 journal,它会一直这样跑下去。

时间戳计数器(Time Stamp Counter,TSC)是每个 CPU 核心里以固定频率递增的计数器。读一次只要一条指令。Linux 把它当作主时钟,但前提是每个核心的计数都一致1。只要有一个核心落后,内核就不能信任它,只好退回到高精度事件定时器(High Precision Event Timer,HPET),一个独立的定时器设备。tscsync 的作者测过:在 HPET 上读一次时钟约 1.2 µs,在 TSC 上只要几十纳秒,而内核和桌面每秒要读几万次时钟1。这就是每次开机都要付出的延迟和电量,换来的是一场空。

那这个核心到底落后多少?三秒多。在一台 2.1 GHz 的笔记本上,那是 66 亿个周期。

固件交过来的是什么

消息里点了 CPU 0 和 CPU 2 的名,但毛病不在 CPU 2。无论是 tscsync 在引导加载程序里测,还是内核启动后测,每次看到的都是同一幅图:

核心相对 CPU 0 的偏移含义
CPU 0,引导处理器(BSP)0基准,也是唯一的异类
CPU 1 到 7,其他核心(AP)约 +62 亿到 +68 亿个周期彼此相差不超过 32 个周期
按 2,096 MHz 换算的差距2.9 到 3.3 秒引导处理器落后,每次开机都是

七个核心一致,一个晚了三秒。固件先把引导处理器拉起来,在它上面干完自己的活,然后交给引导加载程序,却从来没有把这一个计数器拉回到和其余核心一致。

tscsync 前后引导处理器的 TSC之前:固件交接时之后:tscsync 同步模式CPU 0(BSP)CPU 1CPU 2CPU 3CPU 4CPU 5CPU 6CPU 7CPU 0(BSP)CPU 1CPU 2CPU 3CPU 4CPU 5CPU 6CPU 7CPU 0 落后约 68 亿个周期(3.25 s)CPU 1 到 7 相差在 32 个周期以内BSP 已前拨,每个核心都在 45 个周期以内Linux 保住 TSC 时钟源
左:固件交过来的状态。七个应用处理器彼此相差不超过 32 个周期;引导处理器比它们落后约 68 亿个周期。右:tscsync 在 UEFI 里把引导处理器往前拨之后,每个核心都在 45 个周期以内,内核的回跳检查通过。

为什么 Linux 不能自己修好它?Intel CPU 上有个寄存器 IA32_TSC_ADJUST,内核可以用它微调某个核心的计数器,只要有这个寄存器,内核的同步代码就会用上它2。AMD Zen CPU 没有。没有它,Linux 里没有任何东西能修复这个偏移;而内核里那个直接写计数器的尝试(tsc=directsync)已经被上游以不可靠为由拒掉了3。

于是内核只能做剩下唯一诚实的事。它测量,发现两个核心之间时间在倒退,打出警告,然后停用 TSC2。

四十次开机,四十次回跳

一次开机只是个例。这台机器的 journal 一直保留到 2026年5月30日,所以我去问了它。

开机次数回跳(周期)按 2,096 MHz 换算
2026年5月30日至10月11日40 次中 40 次61.6 亿到 98.8 亿2.94 到 4.72 s
中位数65.7 亿3.14 s
完全断电约 27 s 之后166.0 亿3.15 s
tscsync 同步模式,BIOS 1.281无记录保住 TSC
BIOS 1.30,关闭 tscsync161.3 亿2.92 s
BIOS 1.30,tscsync 同步模式2无记录TSC 被看门狗丢掉,见下文
BIOS 1.30,同步模式加 tsc=nowatchdog1无记录保住 TSC

每一次开机。冷启动、重启、断电时间长到你会以为任何残留都该清掉了,全都一样。回跳的量会变,这与 tscsync 作者在一台 Lenovo Legion 上的发现吻合:那台机器上,回跳几乎完全和机器在引导加载程序启动前待在固件里的时长成正比3。开机画面停得越久,落后得越多。

诱人的修法是在内核命令行加 tsc=reliable,让 Linux 别再检查。别这么干。这些核心真的差了三秒,关掉检查改变不了这一点;它只是让内核去用一个任务在核心间迁移时会往回跳的时钟。tscsync 的 README 也是这么说的,还点名了随之而来的音频和视频卡顿1。

能问一句,这东西为什么还在出货吗?

我不是在问是谁。我是在问 Lenovo 的流程里是什么让一个每次开机都让一个核心落后三秒的 BIOS 发了出去。

答案就在 tscsync 的设计笔记里,而且不怎么体面。Fisher-Price OS (Windows) 在开机时自己去写 TSC3。一台只在它上面验证过的笔记本自然能过关,因为操作系统悄悄替固件收拾了烂摊子。Linux 保留着安全检查,如实报告它拿到的东西,这正是这个毛病只在 Linux 上露面的原因。

尴尬的是,据说这个问题以前修过。有用户报告,Lenovo 曾经通过 BIOS 更新在 ThinkPad A485、T14s Gen 1 AMD 和 E495 上修好过同一类 bug4。E495 是这台机器的 14 英寸兄弟型号,两者共用一个 BIOS:Lenovo 自己的软件包说明里把两个型号都列上了5。

我的 E595 当时是 1.28,每次开机都回跳。Lenovo 之后发布了 1.29 和 1.30,两份变更列表对 TSC 只字未提;1.30 修的是“system randomly freeze since BIOS V1.27”和一些安全问题5。于是我刷上 1.30 再测一遍。在它上面的第一次开机,关掉 tscsync,记录到 6,126,446,316 个周期的回跳:2.92 秒,CPU#0 -> CPU#2,跟以前一模一样。1.30 修不好它。两个型号共用一个 BIOS,所以如果 E495 的那份报告是对的,这台机器也该修好了。那份报告没写 BIOS 版本,也没附日志4。

Lenovo 会回头去管一台 2019 年的笔记本,为一个它们测试用的操作系统替它们藏起来的毛病?不会。

tscsync,先测量

tscsync 是一个小小的 UEFI 程序,在 Linux 之前由 GRUB 或 systemd-boot 运行。它通过固件自己的多处理器服务向每个核心要 TSC,算出每个核心相对引导处理器的偏移,把落后的计数器往前拨到一致,然后用一个仿照内核回跳检查的测试来核对结果1。它从不写闪存、NVRAM 或固件设置;它改动的计数器在断电后就复位1。

要把这么多事交给引导加载程序,所以我先读了代码,在 commit 230eaa9 上,然后才编译。安装则完全按项目要求的方式来做:

步骤命令返回了什么
编译makeGRUB 和 systemd-boot 两个二进制
安装,只读sudo scripts/install.sh测量模式,不往计数器里写任何东西
断电、开机、查看tscsync-statusCPU 0 比全部 7 个 AP 落后 2,964 ms,AP 之间相差在微秒以内
打开同步sudo scripts/set-mode.sh sync下次开机生效

测量模式是这类工具都值得照抄的一点。它先在你自己的硬件上把毛病给你看,然后才允许改动任何东西;如果某次开机始终没进到 Linux,还有一个防挂死机制会把它关掉1。

同步模式下的第一次开机,直接取自 tscsync-status:

survey (read-only):
  cpu  1 apic   1: offset 6815086011  rtt 126  BAD
  ...
  cpu  7 apic   7: offset 6815086010  rtt 378  BAD
  0 ok, 7 not ok
moving BSP forward by ~6815086010 cycles to match cpu 7:
  bsp vs cpu  7 apic   0: before 6815086001  after 3  rtt 357  iter 3  warps bsp/ap 0/0  OK
AP pass (corrects any AP still off):
  7 ok, 0 not ok
total 121 ms

一秒之后,内核:

clocksource: Switched to clocksource tsc-early
tsc: Refined TSC clocksource calibration: 2096.066 MHz
clocksource: Switched to clocksource tsc

没有回跳那一行。没有“unstable”。/sys/devices/system/clocksource/clocksource0/current_clocksource 读出来是 tsc。花 121 ms 开机时间,换回硬件本来就该有的时钟。那是在 BIOS 1.28 上。1.30 就没这么利索了。

Linux 否决掉的那 21 纳秒

那份报告里有一行看上去比实际情况糟,值得解释清楚而不是藏起来。tscsync 最后的核验环节标出了一个核心:

cpu  7 apic   7: offset 45  rtt 357  warps bsp/ap 0/0  BAD
6 ok, 1 not ok
RESULT: some APs out of sync (Linux will fall back to HPET)

45 个周期约等于 21 纳秒。tscsync 的目标是相差大约 10 个周期以内1,所以按它自己的标准 CPU 7 没达标,它也照实说了。然后 Linux 启动,根本没有退回 HPET。

这两道检查问的不是同一个问题:

tscsync 的偏移判定内核的回跳测试
问题计数器相差多远?核心之间时间有没有倒退过?
方法从一次计时往返中估算核心轮流读数,与上一次读数比较2
及格线约 10 个周期没有任何读数比前一次低
这次开机的 CPU 745 个周期,BAD没有回跳,保住 TSC

同一行里的 warps bsp/ap 0/0 就是 tscsync 在跑内核式的测试。它一次都没看到。内核也没看到。

项目本身就知道它的判定可能比内核更严。它的硬件列表里有一台 IdeaPad,四个核心在 28 到 42 个周期处被标出来,内核却都接受了;从 2.1 版起,往返慢的情况会报 UNSURE 而不是 BAD4。README 对这种情况的规则是对的:由内核自己的检查说了算,只要时钟源是 tsc,就算通过1。在这台机器上 357 个周期的往返并不算慢,所以它报的是 BAD。一个把演算过程摆出来、再让内核说最后一句话的工具,顺序就是对的。

BIOS 1.30:同步保住了,TSC 还是丢了

在 1.30 上,我把 tscsync 切回同步模式,重启了两次。两次它都完成了任务。它把引导处理器往前拨了约 61.7 亿个周期,每个核心都在几十个周期以内,内核没有记录任何回跳。可两次 Linux 都在几秒后落到了 HPET 上:

tsc: Detected 2095.890 MHz processor
tsc: Refined TSC clocksource calibration: 2096.053 MHz
clocksource: Watchdog remote CPU 5 read timed out
clocksource: Marking clocksource tsc unstable due to frequency skew
clocksource: Watchdog                    hpet interval:        495136113ns
clocksource: Clocksource                  tsc interval:        496026671ns
tsc: Marking TSC unstable due to clocksource watchdog

这是另一道检查。回跳测试在每个核心上线时运行,问的是核心之间时间有没有倒退。时钟源看门狗则在开机后一直运行。大约每半秒,它比较一次 TSC 走了多远和 HPET 走了多远,只要两者相差超过一个小余量,就把 TSC 标为不稳定6。一旦标上,直到下次开机都不会撤销。

两道内核检查,以及哪个启动选项跳过哪一道固件CPU 0 落后约 3 stscsync,在 UEFI 中把 CPU 0 往前拨Linux 启动核心上线回跳检查开机时一次看门狗每 0.5 s 对照 HPET默认两道都开:1.30 上 TSC 被丢掉✓ 检查✓ 检查tsc=nowatchdog这次开机:保住 TSC✓ 检查✗ 跳过tsc=reliable不建议:会藏起真实回跳✗ 跳过✗ 跳过
有两道独立的检查都能丢掉 TSC。回跳检查只在每个核心上线时跑一次;让这台机器过关的是 tscsync。看门狗则每半秒对照 HPET 比较一次。tsc=nowatchdog 只跳过第二道,而 tsc=reliable 两道都跳过,会把真实的回跳藏起来。
1.30 上的开机回跳检查HPET 间隔TSC 间隔TSC 相对 HPET
第一次同步开机通过495,426,793 ns495,006,210 ns约慢 850 ppm
第二次同步开机通过495,136,113 ns496,026,671 ns约快 1,800 ppm

那么 TSC 是不是频率不对?不是。机器开着的时候,我用内核基于 HPET 的原始时钟给 TSC 计时 30 秒,分成 5 秒一个窗口。每个窗口都是 2,096.062 MHz,和内核自己的校准值只差约 4 ppm。真正的频率故障不会在两次开机之间从慢摆到快,然后又消失。是有什么东西在开机早期干扰了某一个半秒窗口,而它前面那行 remote CPU 5 read timed out 指向某个核心短暂没有应答。固件从 CPU 那里偷时间就说得通。我没有证明这一点。

证据就这两次开机。我还说不准这是 1.30 的问题、是碰巧,还是 tscsync 的写入触发了什么。1.28 上唯一一次同步开机保住了 TSC,1.30 上两次都丢了,这不足以把账算到 BIOS 头上。

针对这种情况,有一个比 tsc=reliable 窄得多的内核选项。tsc=nowatchdog 只为 TSC 关掉时钟源看门狗,开机时的回跳检查原封不动7。如果 tscsync 哪次没同步好,内核仍会抓到回跳并退回 HPET。这就是下一个测试。具体数字,以及对 tscsync 自身报告方式的一些修改建议,都在项目的 issue 里8。

tsc=nowatchdog:五分钟,零回跳

我加上 tsc=nowatchdog 后重启。tscsync 把引导处理器往前拨了 6,207,104,421 个周期,内核没有记录回跳,也没有记录频率偏差,current_clocksource 读出来是 tsc。这是 1.30 上第一次保住它。

这只能证明丢掉 TSC 的是看门狗。它证明不了 TSC 可以放心用;而且看门狗关了,内核里就再也没有东西在盯着它。所以我自己盯。

我先前的频率检查在这里派不上用场。它拿 TSC 对照 CLOCK_MONOTONIC_RAW 计时,内核跑在 HPET 上时这没问题。可一旦跑在 TSC 上,那个时钟本身就是从 TSC 算出来的,测试就成了拿计数器跟自己比。HPET 也没法从用户空间读,因为 Fedora 的内核编译时没开 CONFIG_HPET_MMAP。实时时钟(RTC)可以。它靠自己的晶振走时,而且它的秒计数器每跳一下,内核都可以唤醒一个程序9。

于是我写了个小检查程序 tsccheck。它把自己钉在 CPU 0 上,每 15 秒跑四项测试:

检查怎么做出故障是什么样
频率数 RTC 两次秒跳之间的 TSC 周期MHz 朝一个方向漂
偏移从 CPU 0 到每个核心各往返 3,000 次,取最快那次算偏移偏移越来越大
回跳每次往返中,有没有核心读到比已见过的值更低的数任何大于零的数
时钟源读 current_clocksource除 tsc 以外的任何东西

往返是整件事的核心。CPU 0 读自己的计数器并传过去,另一个核心读自己的并传回来,CPU 0 再读一次。如果两个核心一致,中间那个读数必然落在另外两个之间:

CPU 0 与另一个核心之间的一次往返CPU 0CPU 1 到 7,逐个测时间t0t1t2中点偏移偏移 = t1 − (t0 + t2) / 2取 3,000 次往返中最快的一次若 t1 < t0 或 t2 < t1 即为回跳时间倒退:出现一次就是故障
一次往返。另一个核心的读数 t1 与 CPU 0 两次读数的中点比较,3,000 次往返中最快的那次给出偏移。任何比已见过的值更低的读数都算回跳,不管偏移是多少。

干这件事的循环:

for (int i = 0; i < ITERS; i++) {
	uint64_t t0 = rdtsc_o();                 /* CPU 0 */
	atomic_store(&pp.t0, t0);
	atomic_store(&pp.seq, 2 * i + 1);        /* the other core reads t1 now */
	while (atomic_load(&pp.seq) != 2 * i + 2)
		;
	uint64_t t2 = rdtsc_o();                 /* CPU 0 again */
	uint64_t t1 = atomic_load(&pp.t1);
	if (t1 < t0 || t2 < t1)
		r.warps++;                           /* time went backwards */
	if (i > 100 && t2 - t0 < r.rtt) {
		r.rtt = t2 - t0;
		r.offset = (int64_t)(t1 - (t0 + (t2 - t0) / 2));
	}
}

整个程序是面向 x86-64 Linux 的普通 C,不和 tscsync 或这台笔记本绑在一起。它需要 root 才能读 /dev/rtc0,第三个参数是你自己内核给出的数字,来自 journalctl -k -b | grep 'Refined TSC':

gcc -O2 -Wall -pthread -o tsccheck tsccheck.c
sudo ./tsccheck 15 20 2096.073
tsccheck.c,完整的检查,共 161 行 tsccheck.c · 4 kB

SHA-256 02eba1966a0097196acd5dfdcad9c4b315cafc1854c60f34c5b56080e6c38408。

开机后立即采样,五分钟 20 个样本:

指标结果
时钟源20 个样本全是 tsc,没有内核消息
回跳约 420,000 次往返中 0 次
相对 CPU 0 的最大偏移85 个周期,约 41 ns,没有趋势
全程频率2,096.027 MHz,从第一分钟起都在 2,096.022 到 2,096.031 之间
每个 15 秒窗口的频率2,095.943 到 2,096.104 MHz
每个 15 秒窗口及全程的 TSC 频率+20 ppm0 ppm-20 ppm-40 ppm-60 ppm0 s60 s120 s180 s240 s300 s内核数值,2,096.073 MHz15 s:窗口 -11.3 ppm,全程 -11.3 ppm30 s:窗口 -61.1 ppm,全程 -36.2 ppm45 s:窗口 -23.5 ppm,全程 -32.0 ppm60 s:窗口 +15.0 ppm,全程 -20.2 ppm75 s:窗口 -21.6 ppm,全程 -20.5 ppm90 s:窗口 -21.8 ppm,全程 -20.7 ppm105 s:窗口 -19.6 ppm,全程 -20.6 ppm120 s:窗口 -50.5 ppm,全程 -24.3 ppm135 s:窗口 +5.8 ppm,全程 -20.9 ppm150 s:窗口 -20.3 ppm,全程 -20.9 ppm165 s:窗口 -23.6 ppm,全程 -21.1 ppm180 s:窗口 -13.7 ppm,全程 -20.5 ppm195 s:窗口 -29.5 ppm,全程 -21.2 ppm210 s:窗口 -22.3 ppm,全程 -21.3 ppm225 s:窗口 -20.0 ppm,全程 -21.2 ppm240 s:窗口 -24.7 ppm,全程 -21.4 ppm255 s:窗口 -19.1 ppm,全程 -21.3 ppm270 s:窗口 -22.2 ppm,全程 -21.3 ppm285 s:窗口 -62.0 ppm,全程 -23.5 ppm300 s:窗口 +9.2 ppm,全程 -21.9 ppm单个 15 s 窗口,慢 61 ppm截至此时的全程15 秒窗口截至此时的全程
对照 RTC 的频率,以相对内核数值的 ppm 表示。单个窗口成对地跳来跳去;全程数值在第一分钟内就稳定在慢 21 到 22 ppm,之后一直不变。

这些窗口看上去比实际糟。一次迟到的 RTC 跳变会让一个窗口变长、下一个变短,所以误差成对出现、互相抵消:30 秒时慢 61 ppm(百万分之一),60 秒时快 15 ppm。漂移是不会自己抵消的。全程数值几乎没动。

整整五分钟,全程数值都比内核的 2,096.073 MHz 低 22 ppm。那是两块晶振之间的差距,而且纹丝不动。chrony 对照互联网时间服务器调校时钟,给出的是慢 16 到 19 ppm10。方向相同,大小相当。

偏移在几个相同的值之间来回跳,正负 10、21 和 33 个周期,没有哪个核心越跑越远。那是约 550 个周期往返带来的噪声。tscsync 的核验仍会把其中一些判为 BAD。内核不会。

TSC 撑住了吗?撑住了,我手头的每项指标都是。可一次开机后的五分钟,依然不等于一连串开机。下一步是在长时间运行之后再跑同样的检查,再重启几次各跑一遍。

该修的是固件

tscsync 本不该需要存在。它自己的 README 就这么说:欢迎固件厂商拿走这个方法和代码,“which is where this should be fixed”1。Lenovo 手里有源码。tscsync 的作者只有自己笔记本肯告诉他的那点东西,外加 80 次开机的日志1。

这才是让人咽不下去的地方。修这个毛病,要靠公司外的一个陌生人去测量、诊断、绕过去,而卖硬件的公司却只在那个会把毛病藏起来的操作系统上做验证。一台因为固件封闭而没法修的机器,算不上真是你的,它是附带条件借给你的。带签名更新的开放固件,本可以让任何一个肯花心思去看的人一次把它修好,修得妥妥当当。

在那之前,tscsync 的作者干得漂亮。先有测量模式,有防挂死机制,数字公开,判定诚实,哪怕和内核意见相左。底层工具就该这么做。

每一台用同样固件的 KVM 宿主机

在笔记本上,这只是损失些延迟和电量。在虚拟化宿主机上,每一台客户机也得跟着付,而下面说的这些都和 Proxmox 无关。它们全都在 Linux 内核的 KVM 代码里,所以任何基于 KVM 的宿主机都一样,不管上面跑的是什么:Proxmox VE、oVirt、OpenStack,还是裸的 QEMU 和 libvirt11。

宿主机丢掉 TSC 时 KVM 会怎样

只有宿主机自己跑在 TSC 上,KVM 才会给客户机一个稳定的时钟。在内核源码里,主时钟(一台虚拟机里所有 vCPU 共享的同一个时间基准)只有在 host_tsc_clocksource 为真时才会打开12。一落到 HPET 它就关掉,好几件事同时变了:

宿主机在 TSC 上宿主机在 HPET 上,TSC 被标为不稳定
KVM 主时钟12开关
vCPU 迁移到另一个核心12无需更新该虚拟机的每个 vCPU 都被强制更新时钟,最多每秒 10 次
客户机的 TSC 偏移12不动每次迁移都重写,并进入追赶模式
发给客户机的 PVCLOCK_TSC_STABLE_BIT12置位不置位
客户机 clock_gettime()13在用户空间读变成系统调用,在客户机启动时就定下来
跨 vCPU 的客户机时钟读取14各自独立每次读取都要对照一个共享的全局值

最后一行就是扩展性很差的那一项。没有这个稳定位,客户机内核就不能相信每个 vCPU 的时钟彼此一致,所以每次读取都要和“last_value, a global accumulator”比较,如果更新,就用原子比较并交换写进去14。客户机里每个 vCPU 都要写这同一个值。读时钟的 vCPU 越多,在它上面排的队就越长。

这些都不会表现为错误。客户机的时钟源仍然显示 kvm-clock,客户机里没有任何东西会告诉你它为什么变慢了。

宿主机时钟源如何传到 KVM 客户机宿主机在 TSC 上宿主机时钟源:tsc读一次只要一条指令KVM 主时钟开启为客户机置位稳定位客户机在用户空间读取vDSO,约 28 ns宿主机在 HPET 上宿主机时钟源:hpet要跑一趟定时器设备KVM 主时钟关闭无稳定位,每次 vCPU 迁移都要更新客户机发起系统调用一个共享值,约 190 nsProxmox VE、oVirt、OpenStack 或裸 QEMU 加 libvirt,都是同一套内核代码
宿主机的时钟源决定每台客户机拿到什么。在 TSC 上,客户机在用户空间读时钟。在 HPET 上,KVM 丢掉主时钟,每次 vCPU 迁移都强制更新时钟,客户机每次读时钟都变成系统调用,还要对照一个所有 vCPU 共享的值。

实测代价

我没把它停留在理论上,而是在这台笔记本上测了。宿主机的时钟源可以在运行时切换,这样关掉 KVM 主时钟的效果就和开机时的回退一样。一台一次性客户机用宿主机自己的内核启动,配 4 个 vCPU 和一个极小的 initramfs,里面唯一的程序就是给 clock_gettime() 计时。每种情况跑两遍,先宿主机,后客户机:

每次读时钟的纳秒数,宿主机在 TSC 上对比在 HPET 上宿主机刻度 0 到 2,400 ns宿主机,1 个线程,宿主机在 TSC 上:24 ns24 ns宿主机,1 个线程,宿主机在 HPET 上:1,542 ns1,542 ns1 个线程宿主机,全部 8 个核心,宿主机在 TSC 上:29 ns29 ns宿主机,全部 8 个核心,宿主机在 HPET 上:1,922 ns1,922 ns全部 8 个核心客户机,4 个 vCPU刻度 0 到 300 ns客户机,4 个 vCPU,用 1 个 vCPU,宿主机在 TSC 上:28 ns28 ns客户机,4 个 vCPU,用 1 个 vCPU,宿主机在 HPET 上:187 ns187 ns1 个 vCPU客户机,4 个 vCPU,4 个全用,宿主机在 TSC 上:31 ns31 ns客户机,4 个 vCPU,4 个全用,宿主机在 HPET 上:244 ns244 ns4 个 vCPU 全用宿主机时钟源 tsc宿主机时钟源 hpet
每次 clock_gettime() 调用的纳秒数,每种情况两次运行的平均值。宿主机在 HPET 上慢了 61 到 73 倍;客户机单 vCPU 时约慢 7 倍,四个 vCPU 时约慢 8 倍。两个面板刻度不同,因为宿主机的 HPET 柱子会把客户机的压扁。

客户机并不直接付 HPET 的代价,因为 kvm-clock 底下读的仍是 TSC。它失去的是用户空间读取和 vCPU 之间的独立性,光这一点就慢了七倍。四个 vCPU 同时读时,代价又涨了一截,那就是那个共享全局值在起作用。一台 32 或 64 个 vCPU 的客户机会在它上面排更长的队。这个我没测。

给它算个数。一台客户机在一个 vCPU 上每秒读一百万次时钟,在健康的宿主机上要花掉那个 vCPU 的 2.8%,在这台机器上是 19%。数据库、Java 虚拟机(JVM)以及其他任何给自己的工作打时间戳的东西,都会大量读时钟。

而且这次测量还低估了。手动切换时钟源会关掉主时钟,但不会把 TSC 标为不稳定,所以上表里的那些偏移重写根本没发生。这台 E595 开机时的回退会把它标为不稳定,处在那种状态的宿主机两样都得付。

clockbench.c,基准测试程序,可在宿主机上运行,也可作为客户机的 init clockbench.c · 2 kB

检查宿主机,以及局限

客户机时钟为什么本来就脆弱,我在 ptp_kvm 那篇文章里讲过;这是同一个问题从底下冒出来。要查的是宿主机,不是客户机:

journalctl -k -b | grep -iE 'TSC warp|TSC unstable'
cat /sys/devices/system/clocksource/clocksource0/current_clocksource

tscsync 从 GRUB 或 systemd-boot 运行1,大多数 KVM 宿主机都覆盖到了。Proxmox VE 用 GRUB;在 UEFI 安装、以 ZFS 为根且关闭 Secure Boot 的情况下用 systemd-boot15。不过在它靠近任何生产节点之前,先老老实实把局限摆出来。

局限怎么应对
只支持 AMD Zen 和 Hygon1有 TSC_ADJUST 的 Intel 宿主机内核已经会修
硬件列表里每台机器都是笔记本4把服务器当作未经测试,并上报结果
同步模式拒绝列表外的硬件,除非你主动选择1覆盖之前先读明白原因
第一次同步开机可能挂死先用测量模式,开着带外控制台,一次一个节点
BIOS 更新可能修好这个毛病更新后切回测量模式检查1
同步干净了,TSC 仍可能被看门狗丢掉每次开机后检查 current_clocksource;如果原因是看门狗就用 tsc=nowatchdog,然后自己测一遍

一个让笔记本损失些电量的固件毛病,会让虚拟化宿主机在运行的每一秒都从它跑的每台客户机身上削走一块,而客户机的主人根本看不到。这就是为什么你跑的每一台宿主机都该查一下 current_clocksource,不管是谁造的。


  1. tscsync README — 它做什么、HPET 读时钟的代价、为什么 tsc=reliable 不是修复、安全模型,以及 UNSURE 规则。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. Linux kernel — arch/x86/kernel/tsc_sync.c — TSC_ADJUST 的处理、回跳测试,以及 “Measured %Ld cycles TSC warp between CPUs, turning off TSC clock.” 这条消息。 ↩︎ ↩︎ ↩︎

  3. tscsync — docs/DESIGN.md — AMD Zen 没有 IA32_TSC_ADJUST,tsc=directsync 被上游拒绝,Fisher-Price OS (Windows) 开机时自己写 TSC,以及 Legion Pro 5 上回跳随固件耗时增长。 ↩︎ ↩︎ ↩︎

  4. tscsync — docs/HARDWARE.md — 测试过的机器、IdeaPad 5 上 -28 到 -42 个周期仍被接受的核心,以及 A485、E495 和 T14s Gen 1 上报告的 BIOS 修复。 ↩︎ ↩︎ ↩︎ ↩︎

  5. Lenovo — BIOS Update Utility readme, ThinkPad E495/E595, version 1.30 — 两个型号共用一个软件包、截至 1.30(2024年5月14日)的版本历史,以及它的变更列表。 ↩︎ ↩︎

  6. Linux kernel — kernel/time/clocksource.c — 时钟源看门狗、它的间隔比较,以及 “Marking clocksource %s unstable due to frequency skew” 这条消息。 ↩︎

  7. Linux kernel — kernel-parameters — tsc=reliable 关闭运行时校验和开机时的稳定性检查;tsc=nowatchdog 只关闭时钟源看门狗。 ↩︎

  8. tscsync issue #1 — Lenovo ThinkPad E595 — 1.28 和 1.30 的报告、看门狗分析以及修改建议。 ↩︎

  9. Linux kernel — Real Time Clock (RTC) Drivers for Linux — “The clock can also be set to generate an interrupt upon every clock update, thus generating a 1Hz signal”,通过 /dev/rtc 读取。 ↩︎

  10. chrony — chronyc manual — tracking:“The ‘frequency’ is the rate by which the system’s clock would be wrong if chronyd was not correcting it.” ↩︎

  11. KVM — Management Tools — Proxmox VE、oVirt、OpenStack 以及基于 libvirt 的工具,都在管理 KVM。 ↩︎

  12. Linux kernel — arch/x86/kvm/x86.c — pvclock_update_vm_gtod_copy():“If the host uses TSC clock, then passthrough TSC as stable to the guest”,以及只有主时钟开启时才置位 PVCLOCK_TSC_STABLE_BIT。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  13. Linux kernel — arch/x86/kernel/kvmclock.c — 只有置位 PVCLOCK_TSC_STABLE_BIT 时,客户机才启用 VDSO_CLOCKMODE_PVCLOCK 用户空间时钟。 ↩︎

  14. Linux kernel — arch/x86/kernel/pvclock.c — 没有 PVCLOCK_TSC_STABLE_BIT 时,每次读取都要用原子比较并交换对照 “last_value, a global accumulator”。 ↩︎ ↩︎

  15. Proxmox VE — Host Bootloader — 默认 GRUB;UEFI 安装、ZFS 为根且关闭 Secure Boot 时用 systemd-boot。 ↩︎