Aktualizacja, 11 października 2026, 16:30: w międzyczasie wgrałem BIOS 1.30. Nie usuwa przesunięcia. tscsync dalej wyrównuje rdzenie, ale przy dwóch rozruchach z synchronizacją jądro i tak porzuciło TSC, tym razem przez watchdog źródła zegara, a nie przez test warpów: BIOS 1.30: synchronizacja trzyma, TSC i tak odpada. Po dodaniu tsc=nowatchdog TSC wytrzymał, a pięć minut pomiarów względem zegara czasu rzeczywistego nie wykazało ani warpów, ani dryfu: tsc=nowatchdog: pięć minut, zero warpów. Jeden rozruch to nie seria rozruchów, dlatego nazywam to stanem trzyma się, a nie naprawione.

Każdy rozruch, to samo ostrzeżenie

To siedziało w logu jądra mojego ThinkPada E595 przy każdym, ale to każdym rozruchu:

TSC synchronization [CPU#0 -> CPU#2]:
Measured 6601281288 cycles TSC warp between CPUs, turning off TSC clock.
tsc: Marking TSC unstable due to check_tsc_sync_source failed
clocksource: Switched to clocksource hpet

Nic się nie wysypało. Nic nie wyskoczyło na pulpicie. Maszyna po cichu prowadziła cały swój zegar na wolniejszym układzie czasowym od chwili rozruchu i robiłaby to w nieskończoność, gdybym nie czytał journala w zupełnie innej sprawie.

Time Stamp Counter (TSC) to licznik w każdym rdzeniu procesora, który tyka ze stałą częstotliwością. Odczyt to jedna instrukcja. Linux używa go jako głównego zegara, ale tylko wtedy, gdy wszystkie rdzenie zgadzają się co do stanu licznika1. Jeśli jeden rdzeń zostaje w tyle, jądro nie może mu ufać i przechodzi na High Precision Event Timer (HPET), osobne urządzenie czasowe. Autor tscsync zmierzył odczyt zegara na HPET na około 1,2 µs, wobec dziesiątek nanosekund na TSC, a jądro i pulpit czytają zegar dziesiątki tysięcy razy na sekundę1. To opóźnienie i bateria, płacone przy każdym rozruchu, za nic.

Ile więc ten rdzeń był w tyle? Ponad trzy sekundy. W laptopie z zegarem 2,1 GHz to 6,6 miliarda cykli.

Co oddaje firmware

Komunikat wymienia CPU 0 i CPU 2, ale winny nie jest CPU 2. W pomiarach tscsync z poziomu bootloadera i w pomiarach jądra po starcie obraz jest za każdym razem ten sam:

RdzeńPrzesunięcie względem CPU 0Co to znaczy
CPU 0, procesor rozruchowy (BSP)0punkt odniesienia, i ten, który odstaje
CPU od 1 do 7, pozostałe rdzenie (AP)około +6,2 do +6,8 mld cyklizgadzają się między sobą co do 32 cykli
Różnica przy 2096 MHzod 2,9 do 3,3 sekundyprocesor rozruchowy jest w tyle, przy każdym rozruchu

Siedem rdzeni się zgadza. Jeden spóźnia się o trzy sekundy. Firmware uruchamia procesor rozruchowy, wykonuje na nim swoją pracę i oddaje sterowanie bootloaderowi, ani razu nie wyrównując tego jednego licznika z resztą.

TSC procesora rozruchowego przed tscsync i po nimPrzed: tak, jak oddaje firmwarePo: tscsync w trybie syncCPU 0 (BSP)CPU 1CPU 2CPU 3CPU 4CPU 5CPU 6CPU 7CPU 0 (BSP)CPU 1CPU 2CPU 3CPU 4CPU 5CPU 6CPU 7CPU 0 w tyle o ok. 6,8 mld cykli (3,25 s)CPU od 1 do 7 zgodne co do 32 cykliBSP przesunięty, każdy rdzeń w 45 cyklachLinux zachowuje TSC jako źródło zegara
Po lewej: co oddaje firmware. Siedem procesorów aplikacyjnych zgadza się co do 32 cykli; procesor rozruchowy jest za nimi o około 6,8 mld cykli. Po prawej: gdy tscsync przesunie procesor rozruchowy do przodu w UEFI, każdy rdzeń mieści się w 45 cyklach i test warpów w jądrze przechodzi.

Czemu Linux nie może po prostu tego naprawić? W procesorach Intela jest rejestr IA32_TSC_ADJUST, który pozwala jądru podkręcić licznik rdzenia, i kod synchronizacji w jądrze z niego korzysta, gdy jest dostępny2. Procesory AMD Zen go nie mają. Bez niego nic w Linuksie nie naprawi przesunięcia, a próbę bezpośredniego zapisu liczników z poziomu jądra (tsc=directsync) odrzucono upstream jako zawodną3.

Jądro robi więc jedyną uczciwą rzecz, jaka mu została. Mierzy, stwierdza, że między dwoma rdzeniami czas cofa się do tyłu, wypisuje ostrzeżenie i przestaje używać TSC2.

Czterdzieści rozruchów, czterdzieści warpów

Jeden rozruch to anegdota. Journal na tej maszynie sięga 30 maja 2026, więc go zapytałem.

RozruchyWarp, cykleWarp przy 2096 MHz
Od 30 maja do 11 października 202640 z 40od 6,16 do 9,88 mldod 2,94 do 4,72 s
Mediana6,57 mld3,14 s
Po pełnym wyłączeniu na około 27 s16,60 mld3,15 s
Z tscsync w trybie sync, BIOS 1.281brak w loguTSC zachowany
BIOS 1.30, tscsync wyłączony16,13 mld2,92 s
BIOS 1.30, tscsync w trybie sync2brak w loguTSC porzucony przez watchdog, patrz niżej
BIOS 1.30, tryb sync i tsc=nowatchdog1brak w loguTSC zachowany

Każdy rozruch. Zimny start, restart, po wyłączeniu na tyle długim, że wszystko, co nieaktualne, powinno zniknąć. Wartość trochę się waha, co pasuje do ustaleń autora tscsync na Lenovo Legion: tam warp rośnie niemal idealnie proporcjonalnie do czasu, jaki maszyna spędza w firmware przed startem bootloadera3. Rozruch, który dłużej wisi na logo, wychodzi bardziej w tyle.

Kusząca poprawka to tsc=reliable w wierszu poleceń jądra, które każe Linuksowi przestać sprawdzać. Nie rób tego. Rdzenie naprawdę dzielą trzy sekundy, a wyłączenie testu niczego tu nie zmienia; pozwala tylko jądru używać zegara, który skacze do tyłu, gdy zadanie przeniesie się na inny rdzeń. README tscsync mówi to samo i wymienia zacinanie się dźwięku i obrazu, które z tego wynika1.

Mogę zapytać, czemu to dalej wychodzi na rynek?

Nie pytam kto. Pytam, co w procesie Lenovo pozwoliło wypuścić BIOS, który przy każdym rozruchu zostawia jeden rdzeń trzy sekundy w tyle.

Odpowiedź jest w notatkach projektowych tscsync i nie jest pochlebna. Fisher-Price OS (Windows) sam zapisuje liczniki TSC przy rozruchu3. Laptop testowany tylko na nim przechodzi, bo system operacyjny po cichu sprząta po firmware. Linux trzyma swój test bezpieczeństwa włączony i zgłasza to, co dostał, i właśnie dlatego usterka wychodzi tam, a nigdzie indziej.

Niezręczne jest to, że podobno już to raz naprawiono. Użytkownicy zgłaszają, że Lenovo usunęło ten sam rodzaj błędu aktualizacją BIOS-u w ThinkPadach A485, T14s Gen 1 AMD i E4954. E495 to 14-calowy brat tej maszyny i oba mają jeden BIOS: plik readme Lenovo do tej paczki wymienia oba modele5.

Mój E595 miał wersję 1.28 i miał warp przy każdym rozruchu. Lenovo wydało od tamtej pory 1.29 i 1.30 i żadna lista zmian nie wspomina słowem o TSC; 1.30 naprawia „system randomly freeze since BIOS V1.27” i kilka problemów bezpieczeństwa5. Wgrałem więc 1.30 i zmierzyłem jeszcze raz. Pierwszy rozruch na nim, z wyłączonym tscsync, zapisał warp na 6 126 446 316 cykli: 2,92 sekundy, CPU#0 -> CPU#2, jak zawsze. 1.30 tego nie naprawia. Oba modele mają jeden BIOS, więc gdyby zgłoszenie o E495 było prawdziwe, ta maszyna też byłaby naprawiona. Zgłoszenie nie podaje wersji BIOS-u i nie linkuje żadnych logów4.

Czy Lenovo wróci do laptopa z 2019 roku z usterką, którą system, na którym testują, przed nimi ukrywa? Nie.

tscsync, najpierw pomiar

tscsync to mały program UEFI, uruchamiany z GRUB-a albo systemd-boot tuż przed Linuksem. Prosi każdy rdzeń o jego TSC przez własne usługi wieloprocesorowe firmware, wylicza przesunięcie każdego rdzenia względem procesora rozruchowego, przesuwa opóźnione liczniki do przodu, aż się zgodzą, a potem sprawdza wynik testem wzorowanym na teście warpów z jądra1. Nigdy nie zapisuje flasha, NVRAM ani ustawień firmware; liczniki, które zmienia, zerują się po wyłączeniu zasilania1.

To sporo, by oddać to bootloaderowi, dlatego najpierw przeczytałem kod, w commicie 230eaa9, zanim go zbudowałem. Instalację zrobiłem potem tak, jak prosi projekt:

KrokPolecenieCo wróciło
Budowaniemakepliki binarne dla GRUB-a i systemd-boot
Instalacja, tylko odczytsudo scripts/install.shtryb pomiaru, nic nie zapisane do liczników
Wyłączenie, rozruch, sprawdzenietscsync-statusCPU 0 2964 ms za wszystkimi 7 AP, AP zgodne co do mikrosekund
Włączeniesudo scripts/set-mode.sh syncdziała od następnego rozruchu

Tryb pomiaru to ta część, którą warto skopiować do każdego takiego narzędzia. Pokazuje usterkę na twoim własnym sprzęcie, zanim dostanie zgodę na zmianę czegokolwiek, a zabezpieczenie przed zawieszeniem wyłącza go, jeśli rozruch nigdy nie dojdzie do Linuksa1.

Pierwszy rozruch w trybie sync, prosto z tscsync-status:

survey (read-only):
  cpu  1 apic   1: offset 6815086011  rtt 126  BAD
  ...
  cpu  7 apic   7: offset 6815086010  rtt 378  BAD
  0 ok, 7 not ok
moving BSP forward by ~6815086010 cycles to match cpu 7:
  bsp vs cpu  7 apic   0: before 6815086001  after 3  rtt 357  iter 3  warps bsp/ap 0/0  OK
AP pass (corrects any AP still off):
  7 ok, 0 not ok
total 121 ms

I jądro, sekundę później:

clocksource: Switched to clocksource tsc-early
tsc: Refined TSC clocksource calibration: 2096.066 MHz
clocksource: Switched to clocksource tsc

Żadnej linii o warpie. Żadnego „unstable”. /sys/devices/system/clocksource/clocksource0/current_clocksource pokazuje tsc. 121 ms czasu rozruchu za zegar, który sprzęt miał mieć od początku. To było na BIOS-ie 1.28. Z 1.30 nie poszło już tak gładko.

21 nanosekund, które Linux przegłosował

W tym raporcie jest jedna linia, która wygląda gorzej, niż jest, i warto ją wyjaśnić, zamiast chować. Końcowa weryfikacja tscsync oznaczyła jeden rdzeń:

cpu  7 apic   7: offset 45  rtt 357  warps bsp/ap 0/0  BAD
6 ok, 1 not ok
RESULT: some APs out of sync (Linux will fall back to HPET)

45 cykli to około 21 nanosekund. tscsync celuje w zgodność w granicach mniej więcej 10 cykli1, więc według jego własnego celu CPU 7 nie trafił i program to powiedział. Potem Linux wystartował i wcale nie przeszedł na HPET.

Oba testy zadają różne pytania:

Werdykt tscsync o przesunięciuTest warpów w jądrze
Pytaniejak daleko od siebie są liczniki?czy czas kiedykolwiek cofa się między rdzeniami?
Metodaszacunek z mierzonej podróży w obie stronyrdzenie czytają na zmianę i porównują z ostatnim odczytem2
Prógokoło 10 cykliżaden odczyt niższy niż poprzedni
CPU 7 przy tym rozruchu45 cykli, BADbrak warpu, TSC zachowany

warps bsp/ap 0/0 w tej samej linii to tscsync wykonujący test w stylu jądra. Nie zobaczył żadnego. Jądro też nie.

Projekt wie już, że jego werdykt bywa surowszy niż werdykt jądra. IdeaPad z jego listy sprzętu miał cztery rdzenie oznaczone przy 28 do 42 cyklach, które jądro przyjęło, a od wersji 2.1 wolna podróż w obie strony jest zgłaszana jako UNSURE, a nie BAD4. Reguła z README na taki przypadek jest słuszna: decyduje test jądra, a jeśli źródłem zegara jest tsc, test przeszedł1. Podróż w obie strony na 357 cykli nie jest na tej maszynie wolna, więc wyszło BAD. Narzędzie, które pokazuje swoje obliczenia, a potem oddaje ostatnie słowo jądru, działa we właściwej kolejności.

BIOS 1.30: synchronizacja trzyma, TSC i tak odpada

Na 1.30 przełączyłem tscsync z powrotem w tryb sync i zrestartowałem dwa razy. Za każdym razem zrobił swoje. Przesunął procesor rozruchowy do przodu o około 6,17 mld cykli, każdy rdzeń wyszedł w granicach kilkudziesięciu cykli, a jądro nie zapisało żadnego warpu. Za każdym razem Linux i tak kilka sekund później wylądował na HPET:

tsc: Detected 2095.890 MHz processor
tsc: Refined TSC clocksource calibration: 2096.053 MHz
clocksource: Watchdog remote CPU 5 read timed out
clocksource: Marking clocksource tsc unstable due to frequency skew
clocksource: Watchdog                    hpet interval:        495136113ns
clocksource: Clocksource                  tsc interval:        496026671ns
tsc: Marking TSC unstable due to clocksource watchdog

To inny test. Test warpów działa, gdy każdy rdzeń się uruchamia, i pyta, czy czas kiedykolwiek cofa się między rdzeniami. Watchdog źródła zegara działa dalej po rozruchu. Mniej więcej co pół sekundy porównuje, o ile przesunął się TSC, a o ile HPET, i jeśli różnią się bardziej niż o mały margines, oznacza TSC jako niestabilny6. Raz oznaczony, zostaje taki do następnego rozruchu.

Dwa testy jądra i która opcja rozruchu pomija któryFirmwareCPU 0 ~3 s w tyletscsync, w UEFIprzesuwa CPU 0Linux startujerdzenie wstająTest warpówraz, przy rozruchuWatchdogco 0,5 s wobec HPETDomyślnieoba: TSC porzucony na 1.30✓ sprawdza✓ sprawdzatsc=nowatchdogten rozruch: TSC zachowany✓ sprawdza✗ pomijatsc=reliableodradzane: ukrywa prawdziwy warp✗ pomija✗ pomija
TSC mogą odrzucić dwa osobne testy. Test warpów działa raz, gdy każdy rdzeń się uruchamia; to tscsync przeprowadza tę maszynę przez niego. Watchdog porównuje z HPET co pół sekundy. tsc=nowatchdog pomija tylko drugi, a tsc=reliable pomija oba i ukryłby prawdziwy warp.
Rozruch na 1.30Test warpówInterwał HPETInterwał TSCTSC względem HPET
Pierwszy rozruch z synczaliczony495 426 793 ns495 006 210 nsokoło 850 ppm za wolno
Drugi rozruch z synczaliczony495 136 113 ns496 026 671 nsokoło 1800 ppm za szybko

Czy więc TSC chodzi ze złą częstotliwością? Nie. Na działającej maszynie mierzyłem TSC względem opartego na HPET surowego zegara jądra przez 30 sekund w oknach po 5 sekund. Każde okno dało 2096,062 MHz, około 4 części na milion od własnej kalibracji jądra. Prawdziwy błąd częstotliwości nie przeskakuje z za wolnego na za szybki między dwoma rozruchami, by potem zniknąć. Coś zaburza jedno półsekundowe okno na początku rozruchu, a linia remote CPU 5 read timed out tuż przed tym wskazuje na rdzeń, który na chwilę nie odpowiada. Pasowałoby to do firmware, które podkrada procesorom czas. Nie udowodniłem tego.

Dwa rozruchy to cały materiał dowodowy. Nie umiem jeszcze powiedzieć, czy to 1.30, przypadek, czy coś, co wyzwala zapis tscsync. Jedyny rozruch z sync na 1.28 zachował TSC, a dwa na 1.30 go straciły, i to za mało, żeby winić BIOS.

Na ten przypadek jądro ma węższą opcję niż tsc=reliable. tsc=nowatchdog wyłącza watchdog źródła zegara dla TSC, a test warpów przy rozruchu zostawia w spokoju7. Gdyby tscsync kiedyś nie zdołał zsynchronizować rdzeni, jądro i tak złapie warp i przejdzie na HPET. To był następny test. Liczby i kilka proponowanych zmian w raportowaniu samego tscsync są w systemie zgłoszeń projektu8.

tsc=nowatchdog: pięć minut, zero warpów

Dodałem tsc=nowatchdog i zrestartowałem. tscsync przesunął procesor rozruchowy do przodu o 6 207 104 421 cykli, jądro nie zapisało ani warpu, ani rozjazdu częstotliwości, a current_clocksource pokazywał tsc. Pierwszy rozruch na 1.30, który go zachował.

To dowodzi tylko, że TSC porzucał watchdog. Nie dowodzi, że na TSC można bezpiecznie pracować, a z wyłączonym watchdogiem nic w jądrze już tego nie pilnuje. Pilnowałem więc sam.

Mój wcześniejszy test częstotliwości był tu bezużyteczny. Mierzył TSC względem CLOCK_MONOTONIC_RAW, co było w porządku, póki jądro chodziło na HPET. Na TSC ten zegar jest zbudowany z TSC, więc test porównywałby licznik z nim samym. HPET-u nie da się też czytać z przestrzeni użytkownika, bo jądro Fedory jest zbudowane bez CONFIG_HPET_MMAP. Zegar czasu rzeczywistego (RTC) da się. Chodzi na własnym krysztale, a jądro budzi program przy każdym tyknięciu jego licznika sekund9.

Napisałem więc mały test, tsccheck. Przypina się do CPU 0 i co 15 sekund wykonuje cztery sprawdzenia:

SprawdzenieJakJak wygląda usterka
Częstotliwośćcykle TSC liczone między tyknięciami sekund RTCMHz dryfujące w jedną stronę
Przesunięcie3000 podróży w obie strony z CPU 0 do każdego rdzenia, przesunięcie z najszybszejprzesunięcie, które rośnie
Warpyczy w którejś podróży rdzeń odczytał mniej niż wartość już widzianacokolwiek powyżej zera
Źródło zegaraodczyt current_clocksourcecokolwiek innego niż tsc

Sednem jest podróż w obie strony. CPU 0 czyta swój licznik i przekazuje go dalej, drugi rdzeń czyta swój i odsyła, a CPU 0 czyta jeszcze raz. Jeśli rdzenie się zgadzają, środkowy odczyt musi wypaść między dwoma pozostałymi:

Jedna podróż w obie strony między CPU 0 a innym rdzeniemCPU 0CPU od 1 do 7, po koleiczast0t1t2środekprzesunięcieprzesunięcie = t1 − (t0 + t2) / 2z najszybszej z 3000 podróżywarp, gdy t1 < t0 lub t2 < t1czas cofnął się: każdy to usterka
Jedna podróż w obie strony. Odczyt drugiego rdzenia, t1, porównuje się ze środkiem dwóch odczytów CPU 0, a najszybsza z 3000 podróży daje przesunięcie. Każdy odczyt niższy niż już widziany to warp, niezależnie od przesunięcia.

Pętla, która to robi:

for (int i = 0; i < ITERS; i++) {
	uint64_t t0 = rdtsc_o();                 /* CPU 0 */
	atomic_store(&pp.t0, t0);
	atomic_store(&pp.seq, 2 * i + 1);        /* the other core reads t1 now */
	while (atomic_load(&pp.seq) != 2 * i + 2)
		;
	uint64_t t2 = rdtsc_o();                 /* CPU 0 again */
	uint64_t t1 = atomic_load(&pp.t1);
	if (t1 < t0 || t2 < t1)
		r.warps++;                           /* time went backwards */
	if (i > 100 && t2 - t0 < r.rtt) {
		r.rtt = t2 - t0;
		r.offset = (int64_t)(t1 - (t0 + (t2 - t0) / 2));
	}
}

Cały program to zwykłe C dla Linuksa na x86-64, bez niczego związanego z tscsync czy tym laptopem. Potrzebuje roota do /dev/rtc0, a trzeci argument to wartość z twojego własnego jądra, z journalctl -k -b | grep 'Refined TSC':

gcc -O2 -Wall -pthread -o tsccheck tsccheck.c
sudo ./tsccheck 15 20 2096.073
tsccheck.c, cały test w 161 liniach tsccheck.c · 4 kB

SHA-256 02eba1966a0097196acd5dfdcad9c4b315cafc1854c60f34c5b56080e6c38408.

Dwadzieścia próbek w ciągu pięciu minut, zaraz po rozruchu:

MiaraWynik
Źródło zegaratsc we wszystkich 20 próbkach, brak komunikatów jądra
Warpy0 na około 420 000 podróży w obie strony
Największe przesunięcie względem CPU 085 cykli, około 41 ns, bez trendu
Częstotliwość dla całego przebiegu2096,027 MHz, w przedziale od 2096,022 do 2096,031 od pierwszej minuty
Częstotliwość w 15-sekundowym oknieod 2095,943 do 2096,104 MHz
Częstotliwość TSC w 15-sekundowym oknie i dla całego przebiegu+20 ppm0 ppm-20 ppm-40 ppm-60 ppm0 s60 s120 s180 s240 s300 swartość jądra, 2096,073 MHz15 s: okno -11,3 ppm, cały przebieg -11,3 ppm30 s: okno -61,1 ppm, cały przebieg -36,2 ppm45 s: okno -23,5 ppm, cały przebieg -32,0 ppm60 s: okno +15,0 ppm, cały przebieg -20,2 ppm75 s: okno -21,6 ppm, cały przebieg -20,5 ppm90 s: okno -21,8 ppm, cały przebieg -20,7 ppm105 s: okno -19,6 ppm, cały przebieg -20,6 ppm120 s: okno -50,5 ppm, cały przebieg -24,3 ppm135 s: okno +5,8 ppm, cały przebieg -20,9 ppm150 s: okno -20,3 ppm, cały przebieg -20,9 ppm165 s: okno -23,6 ppm, cały przebieg -21,1 ppm180 s: okno -13,7 ppm, cały przebieg -20,5 ppm195 s: okno -29,5 ppm, cały przebieg -21,2 ppm210 s: okno -22,3 ppm, cały przebieg -21,3 ppm225 s: okno -20,0 ppm, cały przebieg -21,2 ppm240 s: okno -24,7 ppm, cały przebieg -21,4 ppm255 s: okno -19,1 ppm, cały przebieg -21,3 ppm270 s: okno -22,2 ppm, cały przebieg -21,3 ppm285 s: okno -62,0 ppm, cały przebieg -23,5 ppm300 s: okno +9,2 ppm, cały przebieg -21,9 ppmjedno okno 15 s, 61 ppm za wolnocały przebieg do tej poryokno 15-sekundowecały przebieg do tej pory
Częstotliwość względem RTC, w częściach na milion od wartości jądra. Pojedyncze okna skaczą parami; wartość dla całego przebiegu wypłaszcza się na 21 do 22 ppm za wolno w ciągu pierwszej minuty i tak zostaje.

Okna wyglądają gorzej, niż jest. Spóźnione tyknięcie RTC robi jedno okno dłuższym, a następne krótszym, więc błędy przychodzą parami, które się znoszą: 61 części na milion (ppm) za wolno po 30 sekundach, 15 ppm za szybko po 60. Dryf sam się nie znosi. Wartość dla całego przebiegu prawie się nie ruszyła.

Wartość dla całego przebiegu przez pełne pięć minut leży 22 ppm poniżej 2096,073 MHz podanych przez jądro. To różnica między dwoma kryształami i stała w miejscu. chrony, sterujący zegarem według internetowych serwerów czasu, miał go 16 do 19 ppm za wolno10. Ten sam kierunek, ta sama skala.

Przesunięcia skaczą między tymi samymi kilkoma wartościami, 10, 21 i 33 cykle w jedną i drugą stronę, i żaden rdzeń nie odjeżdża. To szum z podróży w obie strony trwającej około 550 cykli. Weryfikacja tscsync nazwałaby część z nich BAD. Jądro nie.

Czy TSC wytrzymał? Tak, według każdej miary, jaką miałem. Pięć minut po jednym rozruchu to wciąż nie seria rozruchów. Następny będzie ten sam test po długim czasie pracy i znowu po kilku kolejnych restartach.

Poprawka należy do firmware

tscsync nie powinien musieć istnieć. Jego własne README tak mówi: producenci firmware mogą wziąć to podejście i kod, „which is where this should be fixed”1. Lenovo ma kod źródłowy. Autor tscsync miał tylko to, co powiedział mu jego laptop, i 80 rozruchów logów1.

To właśnie zostaje w głowie. Poprawka wymagała obcej osoby spoza firmy, która to zmierzyła, zdiagnozowała i obeszła, podczas gdy firma, która sprzedała sprzęt, testowała go na jedynym systemie, który usterkę ukrywa. Maszyna, której nie możesz naprawić, bo jej firmware jest zamknięte, nie jest tak naprawdę twoja, jest wypożyczona na warunkach. Otwarte firmware z podpisanymi aktualizacjami pozwoliłoby naprawić to raz, porządnie, każdemu, komu chciałoby się zajrzeć.

A tymczasem dobra robota autora tscsync. Najpierw tryb pomiaru, zabezpieczenie przed zawieszeniem, liczby na widoku i uczciwy werdykt, nawet gdy nie zgadza się z jądrem. Tak powinno się budować niskopoziomowe narzędzia.

Każdy host KVM z tym samym firmware

Na laptopie kosztuje to trochę opóźnienia i trochę baterii. Na hiperwizorze płaci też każdy gość, a nic z poniższego nie wynika z Proxmoxa. Wszystko siedzi w kodzie KVM w jądrze Linuksa, więc jest tak samo na każdym hoście zbudowanym na KVM, cokolwiek na nim stoi: Proxmox VE, oVirt, OpenStack albo zwykłe QEMU z libvirt11.

Co robi KVM, gdy host traci TSC

KVM daje gościom stabilny zegar tylko wtedy, gdy sam host chodzi na TSC. W kodzie jądra master clock, jedno wspólne odniesienie czasu dla wszystkich vCPU w maszynie wirtualnej, jest włączany tylko wtedy, gdy host_tsc_clocksource ma wartość true12. Spadnij na HPET, a się wyłącza, i naraz zmienia się kilka rzeczy:

Host na TSCHost na HPET, TSC oznaczony jako niestabilny
Master clock KVM12włączonywyłączony
vCPU przenosi się na inny rdzeń12nic do aktualizacjiwymuszona aktualizacja zegara na każdym vCPU tej VM, do 10 na sekundę
Przesunięcie TSC gościa12nieruszaneprzepisywane przy każdym przeniesieniu i wprowadzane w tryb nadrabiania
PVCLOCK_TSC_STABLE_BIT dla gości12ustawionynieustawiony
clock_gettime() w gościu13odczyt w przestrzeni użytkownikawywołanie systemowe, rozstrzygane raz, przy rozruchu gościa
Odczyty zegara w gościu między vCPU14niezależnekażdy odczyt sprawdzany względem jednej wspólnej wartości globalnej

Ostatni wiersz to ten, który źle się skaluje. Bez bitu stabilności jądro gościa nie może ufać, że zegary poszczególnych vCPU zgadzają się ze sobą, więc każdy odczyt porównuje się z „last_value, a global accumulator” i podmienia atomowym compare-and-exchange, jeśli jest nowszy14. Każdy vCPU gościa pisze do tej jednej wartości. Im więcej vCPU czyta zegar, tym dłużej stoją do niej w kolejce.

Nic z tego nie wychodzi jako błąd. Źródłem zegara w gościu nadal jest kvm-clock i nic w gościu nie powie ci, czemu zwolnił.

Jak źródło zegara hosta dociera do gościa KVMHost na TSCŹródło zegara hosta: tscodczyt to jedna instrukcjamaster clock KVM włączonybit stabilności dla gościGość czyta w przestrzeni użytk.vDSO, około 28 nsHost na HPETŹródło zegara hosta: hpetpodróż do urządzenia czasowegomaster clock KVM wyłączonybrak bitu, aktualizacje przy każdym ruchu vCPUGość robi wywołanie systemowejedna wspólna wartość, ok. 190 nsTen sam kod jądra w Proxmox VE, oVirt, OpenStack i w zwykłym QEMU z libvirt
Źródło zegara hosta decyduje, co dostaje każdy gość. Na TSC goście czytają zegar w przestrzeni użytkownika. Na HPET KVM porzuca master clock, każde przeniesienie vCPU wymusza aktualizacje zegara, a każdy odczyt zegara w gościu staje się wywołaniem systemowym sprawdzanym względem jednej wartości wspólnej dla wszystkich vCPU.

Ile to kosztuje, zmierzone

Zmierzyłem to na tym laptopie, zamiast zostawić jako teorię. Źródło zegara hosta da się przełączyć w locie, co wyłącza master clock KVM tak samo jak awaryjny powrót przy rozruchu. Jednorazowy gość wystartował na jądrze hosta z 4 vCPU i malutkim initramfs, którego jedyny program mierzy czas clock_gettime(). Po dwa przebiegi w każdym wariancie, najpierw host, potem gość:

Nanosekundy na odczyt zegara, host na TSC kontra host na HPETHostskala od 0 do 2400 nsHost, 1 wątek, host na TSC: 24 ns24 nsHost, 1 wątek, host na HPET: 1542 ns1542 ns1 wątekHost, wszystkie 8 rdzeni, host na TSC: 29 ns29 nsHost, wszystkie 8 rdzeni, host na HPET: 1922 ns1922 nswszystkie 8 rdzeniGość, 4 vCPUskala od 0 do 300 nsGość, 4 vCPU, 1 vCPU, host na TSC: 28 ns28 nsGość, 4 vCPU, 1 vCPU, host na HPET: 187 ns187 ns1 vCPUGość, 4 vCPU, wszystkie 4 vCPU, host na TSC: 31 ns31 nsGość, 4 vCPU, wszystkie 4 vCPU, host na HPET: 244 ns244 nswszystkie 4 vCPUźródło zegara hosta tscźródło zegara hosta hpet
Nanosekundy na wywołanie clock_gettime(), średnia z dwóch przebiegów w każdym wariancie. Host na HPET zwalnia od 61 do 73 razy; gość około 7 razy z jednym vCPU i 8 razy ze wszystkimi czterema. Panele mają różne skale, bo słupki HPET hosta spłaszczyłyby słupki gościa.

Gość nie płaci bezpośrednio ceny HPET, bo kvm-clock dalej czyta pod spodem TSC. Traci odczyt w przestrzeni użytkownika i niezależność między vCPU, i już samo to daje siedem razy wolniej. Gdy wszystkie cztery vCPU czytają naraz, koszt znowu rośnie, i to jest właśnie ta wspólna wartość globalna w akcji. Gość z 32 albo 64 vCPU stoi w tej kolejce mocniej. Tego nie mierzyłem.

Podam liczbę. Gość, który czyta zegar milion razy na sekundę na jednym vCPU, zużywa na to 2,8% tego vCPU na zdrowym hoście, a 19% na tym. Bazy danych, maszyna wirtualna Javy (JVM) i wszystko inne, co oznacza swoją pracę znacznikami czasu, czytają zegar bardzo często.

Ten przebieg do tego zaniża wynik. Ręczne przełączenie źródła zegara wyłącza master clock, ale nie oznacza TSC jako niestabilnego, więc przepisywanie przesunięć z powyższej tabeli w ogóle się nie wykonało. Awaryjny powrót przy rozruchu na tym E595 oznacza go jako niestabilny, a host w takim stanie płaci za oba.

clockbench.c, benchmark, do uruchomienia na hoście albo jako init gościa clockbench.c · 2 kB

Sprawdzanie hosta i ograniczenia

Dlaczego zegary gości są w ogóle kruche, opisałem w artykule o ptp_kvm; tu ten sam problem przychodzi od spodu. Sprawdzaj hosta, nie gościa:

journalctl -k -b | grep -iE 'TSC warp|TSC unstable'
cat /sys/devices/system/clocksource/clocksource0/current_clocksource

tscsync działa z GRUB-a albo systemd-boot1, co obejmuje większość hostów KVM. Proxmox VE używa GRUB-a, albo systemd-boot przy instalacji UEFI z ZFS jako systemem głównym i wyłączonym Secure Boot15. Zanim jednak to trafi w pobliże węzła produkcyjnego, uczciwie przyjrzyj się ograniczeniom.

OgraniczenieCo z tym zrobić
Tylko AMD Zen i Hygon1hosty Intela z TSC_ADJUST jądro naprawia już samo
Każda maszyna z jego listy sprzętu to laptop4traktuj serwer jako nieprzetestowany i zgłoś wynik
Tryb sync odmawia pracy na sprzęcie spoza listy, chyba że to świadomie włączysz1przeczytaj dlaczego, zanim to obejdziesz
Pierwszy rozruch z sync może się zawiesićnajpierw tryb pomiaru, otwarta konsola out-of-band, jeden węzeł naraz
Aktualizacja BIOS-u może usterkę usunąćprzełącz potem z powrotem na pomiar i sprawdź1
Czysta synchronizacja wciąż może stracić TSC przez watchdogsprawdzaj current_clocksource po każdym rozruchu; tsc=nowatchdog, jeśli winny jest watchdog, a potem zmierz to sam

Usterka firmware, która laptopa kosztuje trochę baterii, hiperwizor kosztuje kawałek każdego gościa, którego uruchamia, w każdej sekundzie pracy, a właściciele gości nie mają jak tego zobaczyć. To argument za sprawdzaniem current_clocksource na każdym hoście, jaki prowadzisz, kto by go nie zrobił.


  1. tscsync README — co robi, koszt odczytu zegara na HPET, dlaczego tsc=reliable nie jest poprawką, model bezpieczeństwa i reguła UNSURE. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. Linux kernel — arch/x86/kernel/tsc_sync.c — obsługa TSC_ADJUST, test warpów i komunikat „Measured %Ld cycles TSC warp between CPUs, turning off TSC clock.” ↩︎ ↩︎ ↩︎

  3. tscsync — docs/DESIGN.md — AMD Zen nie ma IA32_TSC_ADJUST, tsc=directsync odrzucone upstream, Windows sam zapisuje TSC przy rozruchu, a warp rośnie z czasem spędzonym w firmware na Legion Pro 5. ↩︎ ↩︎ ↩︎

  4. tscsync — docs/HARDWARE.md — przetestowane maszyny, rdzenie IdeaPada 5 przyjęte przy -28 do -42 cyklach i zgłoszone poprawki BIOS-u dla A485, E495 i T14s Gen 1. ↩︎ ↩︎ ↩︎ ↩︎

  5. Lenovo — BIOS Update Utility readme, ThinkPad E495/E595, version 1.30 — oba modele w jednej paczce, historia wersji do 1.30 (14 maja 2024) i jej lista zmian. ↩︎ ↩︎

  6. Linux kernel — kernel/time/clocksource.c — watchdog źródła zegara, jego porównanie interwałów i komunikat „Marking clocksource %s unstable due to frequency skew”. ↩︎

  7. Linux kernel — kernel-parameters — tsc=reliable wyłącza weryfikację w czasie pracy i testy stabilności przy rozruchu; tsc=nowatchdog wyłącza tylko watchdog źródła zegara. ↩︎

  8. tscsync issue #1 — Lenovo ThinkPad E595 — zgłoszenia dla 1.28 i 1.30, analiza watchdoga i proponowane zmiany. ↩︎

  9. Linux kernel — Real Time Clock (RTC) Drivers for Linux — „The clock can also be set to generate an interrupt upon every clock update, thus generating a 1Hz signal”, odczytywane przez /dev/rtc. ↩︎

  10. chrony — chronyc manual — tracking: „The ‘frequency’ is the rate by which the system’s clock would be wrong if chronyd was not correcting it.” ↩︎

  11. KVM — Management Tools — Proxmox VE, oVirt, OpenStack i narzędzia oparte na libvirt, wszystkie zarządzające KVM. ↩︎

  12. Linux kernel — arch/x86/kvm/x86.c — pvclock_update_vm_gtod_copy(): „If the host uses TSC clock, then passthrough TSC as stable to the guest”, a PVCLOCK_TSC_STABLE_BIT ustawiany tylko przy włączonym master clock. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  13. Linux kernel — arch/x86/kernel/kvmclock.c — gość włącza zegar w przestrzeni użytkownika VDSO_CLOCKMODE_PVCLOCK tylko wtedy, gdy ustawiony jest PVCLOCK_TSC_STABLE_BIT. ↩︎

  14. Linux kernel — arch/x86/kernel/pvclock.c — bez PVCLOCK_TSC_STABLE_BIT każdy odczyt jest sprawdzany względem „last_value, a global accumulator” atomowym compare-and-exchange. ↩︎ ↩︎

  15. Proxmox VE — Host Bootloader — domyślnie GRUB, systemd-boot przy instalacjach UEFI z ZFS jako systemem głównym i wyłączonym Secure Boot. ↩︎