每个时钟都做的那个假设

计算机的时钟靠的是数一个有规律的东西,并且相信它会一直数下去。 晶体振荡,计数器递增,软件再把经过了多少时间换算出来。

虚拟化打破的正是“相信”这一部分。

内核自己的 KVM 计时文档用一句话就把问题说清楚了:“the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.” 下面的一切都由此而来。

你的 vCPU 并不总在运行

vCPU 是宿主机上的一个线程。宿主机调度器让它跑,它才跑。

它不运行的时候,客户机不只是空闲,而是不在场。它没法计数,没法处理定时器中断,也没有办法知道自己离开了多久。 宿主机把这段时间记作 steal time(被窃取的时间),这个名字很老实:“发生在你身上,而不是为你发生的时间”。

定时器中断是最疼的地方。 客户机请求周期性的 tick,就是在要求宿主机按固定频率投递中断,而宿主机并不总能做到。 还是内核文档的话:“the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.”

为什么客户机的定时器滴答不再均匀裸金属:CPU 始终归你运行中定时器滴答间隔均匀,数一数就知道时间虚拟机里:vCPU 只是别人调度器上的一个线程运行中被调度出去被调度出去空档期间该来的滴答要么迟到,要么扎堆,要么根本不来客户机看不到虚线标出的时段。从内部看,时钟只是产生的滴答比应有的少。所以内核文档说,当主机无法送达它请求的中断时,客户机的时间“may fall behind”。主机把虚线区域叫作 steal time(被窃取时间)。客户机对它们毫无称呼,因为那时它根本不在场。
客户机自己看到的是最下面一行:迟到的 tick、扎堆到来的 tick,以及它无法解释的空白。它测量的既是时间的流逝,也是宿主机的调度器。

tick 频率越高情况越糟,宿主机超分配又会让它更糟。 这也是为什么一台繁忙的宿主机会拖累安静客户机的计时。它们都在排队等同一批物理核心。

计数器也不是你的

如果周期性 tick 不可靠,显而易见的办法就是改读计数器。可计数器有它自己的问题。

TSC 是快的那个,内核文档对它说得很直白:“The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.” 它的频率会随处理器电源状态变化,在较老的处理器上,核心空闲时它干脆停住。 所以一个在物理核心之间迁移的 vCPU,读到的计数器可能和它一微秒前读到的那个对不上。

其他选择则以另一种方式更糟。 HPET、PIT 和 ACPI PM 定时器全是模拟设备,所以每次读取都要陷入 hypervisor。结果是对的,但代价高到一个在热循环里读时钟的客户机能感觉出来。

这就是半虚拟化时钟存在的原因。在 KVM 上,kvm-clock 让宿主机把自己的计时信息发布到一个共享结构里,客户机直接读取:不陷入,不计数,也不假设客户机一直醒着。 这也是为什么你应该让客户机的 clocksource 保持原样,而不是因为某个论坛帖子说更快就强制改成 tsc 或 hpet。

迁移、快照与挂起

热迁移、快照恢复和挂起/恢复,对客户机时钟做的是同一件事:先让它停下,再在别处重新启动。

客户机看到的不是漂移,而是一次跳变。时钟原来是一个值,现在是另一个值,中间啥也没有。 迁移到一台 TSC 频率不同的宿主机,问题还会叠加。

跳变之所以要紧,是因为校正时钟的软件是为校正漂移而设计的,不是为瞬间移动设计的。

这不是 KVM 的问题

很容易把上面这些都读成 KVM 的短板。其实不是。

每种 hypervisor 都自带一个半虚拟化时钟,因为每种 hypervisor 都有同样的结构性问题:KVM 有 kvm-clock,Hyper-V 有它的 reference TSC page,VMware 有伪性能计数器加上基于 Tools 的同步,Xen 有它的 pvclock。这是同一个变通办法的四套独立实现。

内核文档自己的结论是,这里不存在完美方案。只有准确性、性能和复杂度之间的取舍。

如果你更想听厂商而不是内核开发者怎么说,微软关于高精度时间的支持边界坦率得出奇。 要在虚拟化的 Windows 系统上声称 50 ms 精度,列明的要求之一是“the one-day average CPU utilization of the host must not exceed 90%.” 要达到 1 ms,宿主机必须保持在 80% 以下。

再读一遍:客户机时钟的精度,被白纸黑字写成取决于宿主机有多忙。这不是 Windows 的怪癖,而是内核文档描述的同一套物理规律,被写成了一条支持边界。

客户机计时的三层,以及客户机真正掌控哪几层实际时间同步现在到底几点经网络的 NTP抖动、不对称、层级ptp_kvm hypercall直接问主机半虚拟化时钟主机公布自己的计时每个 hypervisor 都带一个,因为它们都有这个问题:kvm-clockHyper-V TSC pageVMware pseudo-perfXen pvclock同一个变通方案的四种独立实现硬件计数器在虚拟机里不归你TSCHPETPITACPI PM 定时器要么绑定 CPU 且频率可变,要么是模拟的,所以每次读取都陷入 hypervisor客户机只掌控最上层的选择。中间那层是 hypervisor 借给它的时钟,而那个时钟从头到尾一直在走。
三层结构,客户机真正拥有的只有最上面一层。每种 hypervisor 的半虚拟化时钟,都是为了绕开下面那一层缺失的同一个保证。

为什么在客户机里跑 NTP 是用错了工具

NTP 擅长它被设计来做的事:一台有真实振荡器的机器,走得稍快或稍慢,通过测量到远程服务器的往返时间来校正,并平缓地调整(slew)本地时钟。

这些假设在虚拟机里每一条都站不稳。

本地振荡器不是稍有偏差,而是时有时无。 往返测量由一个进程完成,而它可能在读取时钟和发送数据包之间被调度出去,这会把测量本身弄坏。 迁移之后需要的校正是跳变,而 slew 算法要么处理得很差,要么干脆拒绝。

在这方面 chrony 比 ntpd 强得多。它 slew 得更快,能容忍跳变,也老实承认自己的不确定性。但它解决的仍然是错误的问题:从 20 ms 之外的二级(stratum 2)服务器跨网络拉取时间,而正确的时间就在 hypervisor 里,隔着一道内存边界而已。

实际得到的是一台大多数时候是对的客户机,偶尔偏差几十甚至几百毫秒,而且从来说不清是哪种情况。

时钟偏差到底会弄坏什么

没人为了时钟本身而关心时钟。他们关心的是某个东西不工作了。

Kerberos 和 Active Directory

Kerberos 天生依赖时间,因为票据的有效期就是用一个时间窗口表示的。

MIT 的 krb5.conf 文档把 clockskew 定义为“the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid”,默认值是 300 秒,也就是五分钟。

超过它,认证不是变差,而是直接失败。 由于 Active Directory 认证就是 Kerberos,这意味着域登录、net use、SQL Server 连接、Exchange、文件共享,统统完蛋。 五分钟听起来很宽裕,直到某台客户机在快照恢复后往回跳了一下。

TLS

证书带有一个有效期窗口:notBefore 和 notAfter。 时钟落后的客户机会拒绝一张今天早上才签发的证书,因为在它看来,这张证书还没生效。 时钟超前的客户机会拒绝一张其实还没过期的证书。

同样的算术也管着 OCSP 和 CRL 的新鲜度、JWT 的 nbf/exp 声明,以及活在 30 秒窗口里的 TOTP 多因素验证码。 时钟偏差 45 秒,就是一次带着极其费解的错误信息的认证故障。

Ceph

Ceph 的 monitor 比整个栈里几乎任何东西都更在乎这个,因为它们的共识依赖于此。

MON_CLOCK_SKEW 健康检查会在“the clocks on hosts running Ceph Monitor daemons are not well-synchronized”时触发。具体说,是偏差超过 mon_clock_drift_allowed 时。 文档的建议是用 ntpd 或 chrony 对多个时间源同步,并指出 monitor 之间的同步尤其重要。

你可以调高 mon_clock_drift_allowed,但文档说得很清楚,它必须保持“significantly below the mon_lease interval”。因此这个预算很小,拿它去掩盖 hypervisor 的计时问题,不是一笔划算的买卖。

其他一切

跨主机的日志对不上了,事故时间线就成了瞎猜。 数据库复制和分布式共识,比如 etcd、Galera,以及任何使用 leader 租约的东西,都会闹脾气。 备份和监控窗口会慢慢错开它们本该观察的对象。

Windows 客户机的偏差方式不同

Windows 值得单独说一句,因为它的时间服务是按不同目标构建的,而且看得出来。

微软明说,Windows 10 1607 / Server 2016 之前的版本“can’t guarantee highly accurate time”。 在那些版本上,Windows Time 服务提供的是“the necessary time accuracy to satisfy Kerberos version 5 authentication requirements”,以及给同一 AD 林内机器的“loosely accurate time”。 比这更精确的要求属于“outside of the design specification… and weren’t supported.”

换句话说,老版本 Windows 的目标是待在 Kerberos 的五分钟窗口之内,而不是准确。 这没问题,直到你环境里有东西需要更好的精度。一台偏差 90 秒的虚拟化 Windows 机器会高高兴兴地通过认证,同时写出没法和任何东西对上的日志。

Windows 10 和 Server 2016 及以后的版本可以做到 1 s、50 ms 甚至 1 ms,但只有在前面引用的条件下才行,包括宿主机 CPU 利用率的限制。 微软还指出:“anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy”。一个被争抢的 vCPU,换个说法就是目标系统上的高 CPU 负载。

Windows 没有 ptp_kvm。你能用的是:

  • Hyper-V 时钟 enlightenment。 Proxmox 已经把这些暴露给 Windows 客户机。PVE::QemuServer::CPUConfig 会在 hv_vapic、hv_spinlocks、hv_relaxed 和 hv_synic 之外一并设置 hv_time。hv_time 就是半虚拟化时钟,是 Windows 这边对应 kvm-clock 的东西。Windows 类型的虚拟机默认就开着,没有什么需要启用的。
  • QEMU guest agent。 装了 agent,宿主机就能在恢复或快照还原后把自己的时间推给客户机,这正好处理了 NTP 最不擅长的跳变情况。
  • 只选一个权威来源。 虚拟机里 Windows 的经典故障是两个时间源打架:宿主机到客户机的同步和域层级同步,两者朝相反方向校正同一个时钟。加入域的客户机,让域层级说了算,别让宿主机再往它身上推时间。独立的客户机,用宿主机同步就行。绝不两个都用。

如果你想确切知道 hypervisor 对某台虚拟机说了哪些关于时间的东西,直接问它,别猜:

# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags
qm showcmd <vmid> --pretty

QEMU/KVM 上的修复:ptp_kvm

KVM 上的 Linux 客户机有一个正经答案,而且不是“再多加几台 NTP 服务器”。

ptp_kvm 让客户机通过一次 hypercall 直接问宿主机现在几点:x86 上是 KVM_HC_CLOCK_PAIRING,arm64 上是等效的固件调用。 内核把它呈现为一个 PTP 硬件时钟设备,所以在用户态看来它和其他精密时钟源没什么两样,chrony 可以把它当作参考时钟使用。

要紧的特性:

  • 没有网络。 没有抖动,没有不对称,没有 stratum,没有数据包。路径就是一道内存边界。
  • 亚微秒级。 精度受限于 hypercall,而不是跨数据中心的一次往返。
  • 它绕过了坏掉的那部分。 客户机既不计数,也不估算往返时间。它读的是宿主机用一个一直在走的时钟算出来的值。
跨网络的 NTP 对比跨内存边界的 ptp_kvmchrony 对网络服务器池客户机时钟总在停网络抖动、不对称stratum 2 服务器相隔几十毫秒往返时间由正在被校正的那个时钟来测量而且做测量的进程可能在测量途中被调度出去chrony 对 ptp_kvm客户机读取 /dev/ptp_kvm主机时钟从未停过hypercallKVM_HC_CLOCK_PAIRING一道内存边界,而不是网络亚微秒没有数据包,没有层级,没有不对称,也没有任何估算。客户机不是在推算现在几点,而是被告知:告诉它的,是整段时间里唯一醒着的参与者。
两条路径最后都是客户机设置自己的时钟。一条用一个老是停摆的时钟去测网络往返;另一条直接问 hypervisor。

实施

在每台有这个驱动的 Linux 虚拟机上都这样做。宿主机 hypervisor 自己需要有正常工作的 NTP 或 PTP。ptp_kvm 交给客户机的是宿主机的时间,所以它也继承了宿主机的误差。

1. 开机时加载内核模块。

# /etc/modules-load.d/ptp_kvm.conf
ptp_kvm

2. 给它一个稳定的名字,并让 chrony 能读它。

# /etc/udev/rules.d/90-ptp-kvm.rules
ACTION=="add", SUBSYSTEM=="ptp", ATTR{clock_name}=="kvm", SYMLINK+="ptp_kvm", GROUP="chrony", MODE="0660"

符号链接很重要,因为 PTP 设备编号并不稳定。/dev/ptp0 这次开机可能是某块网卡的时钟,下次开机就成了 KVM 时钟。按 clock_name 匹配,每次都能拿到对的那个。

3. 让 chrony 指向它,并删掉 pool。

在 Debian 和 Ubuntu 上编辑 /etc/chrony/chrony.conf,在 RHEL 系上编辑 /etc/chrony.conf。删除 pool 行,改用:

refclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004

删掉 pool 不是可有可无的整理。 留着它们,就是要求 chrony 把一个亚微秒级的本地参考,和几十毫秒外的互联网服务器调和在一起,而互联网时间源只会让结果变差。

4. 重启并检查。

systemctl restart chronyd    # or chrony, on Debian/Ubuntu

验证

# The symlink exists and points at the KVM clock
ls -l /dev/ptp_kvm
cat /sys/class/ptp/ptp*/clock_name

# chrony should be using PHC0 as its selected source
chronyc sources -v

# and the offset should be microseconds, not milliseconds
chronyc tracking

在 chronyc sources 里,PHC 参考时钟被选中后显示为 #* PHC0。# 表示这是本地硬件参考而不是网络对端,* 表示它就是当前在用的那个。 如果你看到它列出来了却没被选中,说明 chrony 没接受它:检查设备权限,以及 udev 规则里的 chrony 组是否和你的发行版上 chrony 实际运行所用的用户相符。

注意事项

  • 宿主机必须是对的。 这只是让客户机和宿主机一致,而只有宿主机和现实一致时这才有用。给 hypervisor 配上真正的 NTP 或 PTP。
  • 每台客户机都要配。 一半虚拟机用 ptp_kvm、一半用互联网 pool 的集群,就是一个有两个时间权威的集群。
  • 热迁移没问题,而且这正是重点。 迁移之后,客户机读的是新宿主机的时钟。只要各宿主机彼此一致,客户机就永远不会看到跳变。
  • 仅限 KVM。 这是一个 KVM hypercall。嵌套的或其他厂商的 hypervisor 不会提供这个设备,udev 规则也就根本不会触发。这是一种干净的失败,而不是悄无声息的错误答案。

不要做的事

  • 别强制指定 clocksource。 让 kvm-clock 保持原样。在客户机内核命令行上强制 tsc 或 hpet,等于拿一个专为这种情况设计的半虚拟化时钟,去换一个从来就不属于你的计数器。
  • 别在 cron 里跑 ntpdate 或 hwclock。 那是按计划表制造跳变,而这恰恰是数据库和 Kerberos 最讨厌的。
  • 别把 pool 留着“当后备”。 有了能用的参考时钟,它们不是后备,而是一个更差的来源给出的第二意见。
  • 别调高 mon_clock_drift_allowed 就说修好了。 你花掉了本该留给真实网络状况的一部分预算,只为了容忍一个已有现成解法的问题。

最后一条值得直说:放宽阈值不是修好时钟。那是把警报挪个地方,让它别再响。

参考资料