Aktualizacja, 11 października 2026, 16:30: w międzyczasie wgrałem BIOS 1.30. Nie usuwa przesunięcia. tscsync dalej wyrównuje rdzenie, ale przy dwóch rozruchach z synchronizacją jądro i tak porzuciło TSC, tym razem przez watchdog źródła zegara, a nie przez test warpów: BIOS 1.30: synchronizacja trzyma, TSC i tak odpada. Po dodaniu
tsc=nowatchdogTSC wytrzymał, a pięć minut pomiarów względem zegara czasu rzeczywistego nie wykazało ani warpów, ani dryfu: tsc=nowatchdog: pięć minut, zero warpów. Jeden rozruch to nie seria rozruchów, dlatego nazywam to stanem trzyma się, a nie naprawione.
Każdy rozruch, to samo ostrzeżenie
To siedziało w logu jądra mojego ThinkPada E595 przy każdym, ale to każdym rozruchu:
TSC synchronization [CPU#0 -> CPU#2]:
Measured 6601281288 cycles TSC warp between CPUs, turning off TSC clock.
tsc: Marking TSC unstable due to check_tsc_sync_source failed
clocksource: Switched to clocksource hpet
Nic się nie wysypało. Nic nie wyskoczyło na pulpicie. Maszyna po cichu prowadziła cały swój zegar na wolniejszym układzie czasowym od chwili rozruchu i robiłaby to w nieskończoność, gdybym nie czytał journala w zupełnie innej sprawie.
Time Stamp Counter (TSC) to licznik w każdym rdzeniu procesora, który tyka ze stałą częstotliwością. Odczyt to jedna instrukcja. Linux używa go jako głównego zegara, ale tylko wtedy, gdy wszystkie rdzenie zgadzają się co do stanu licznika1. Jeśli jeden rdzeń zostaje w tyle, jądro nie może mu ufać i przechodzi na High Precision Event Timer (HPET), osobne urządzenie czasowe. Autor tscsync zmierzył odczyt zegara na HPET na około 1,2 µs, wobec dziesiątek nanosekund na TSC, a jądro i pulpit czytają zegar dziesiątki tysięcy razy na sekundę1. To opóźnienie i bateria, płacone przy każdym rozruchu, za nic.
Ile więc ten rdzeń był w tyle? Ponad trzy sekundy. W laptopie z zegarem 2,1 GHz to 6,6 miliarda cykli.
Co oddaje firmware
Komunikat wymienia CPU 0 i CPU 2, ale winny nie jest CPU 2. W pomiarach tscsync z poziomu bootloadera i w pomiarach jądra po starcie obraz jest za każdym razem ten sam:
| Rdzeń | Przesunięcie względem CPU 0 | Co to znaczy |
|---|---|---|
| CPU 0, procesor rozruchowy (BSP) | 0 | punkt odniesienia, i ten, który odstaje |
| CPU od 1 do 7, pozostałe rdzenie (AP) | około +6,2 do +6,8 mld cykli | zgadzają się między sobą co do 32 cykli |
| Różnica przy 2096 MHz | od 2,9 do 3,3 sekundy | procesor rozruchowy jest w tyle, przy każdym rozruchu |
Siedem rdzeni się zgadza. Jeden spóźnia się o trzy sekundy. Firmware uruchamia procesor rozruchowy, wykonuje na nim swoją pracę i oddaje sterowanie bootloaderowi, ani razu nie wyrównując tego jednego licznika z resztą.
Czemu Linux nie może po prostu tego naprawić? W procesorach Intela jest rejestr IA32_TSC_ADJUST, który pozwala jądru podkręcić licznik rdzenia, i kod synchronizacji w jądrze z niego korzysta, gdy jest dostępny2. Procesory AMD Zen go nie mają. Bez niego nic w Linuksie nie naprawi przesunięcia, a próbę bezpośredniego zapisu liczników z poziomu jądra (tsc=directsync) odrzucono upstream jako zawodną3.
Jądro robi więc jedyną uczciwą rzecz, jaka mu została. Mierzy, stwierdza, że między dwoma rdzeniami czas cofa się do tyłu, wypisuje ostrzeżenie i przestaje używać TSC2.
Czterdzieści rozruchów, czterdzieści warpów
Jeden rozruch to anegdota. Journal na tej maszynie sięga 30 maja 2026, więc go zapytałem.
| Rozruchy | Warp, cykle | Warp przy 2096 MHz | |
|---|---|---|---|
| Od 30 maja do 11 października 2026 | 40 z 40 | od 6,16 do 9,88 mld | od 2,94 do 4,72 s |
| Mediana | 6,57 mld | 3,14 s | |
| Po pełnym wyłączeniu na około 27 s | 1 | 6,60 mld | 3,15 s |
| Z tscsync w trybie sync, BIOS 1.28 | 1 | brak w logu | TSC zachowany |
| BIOS 1.30, tscsync wyłączony | 1 | 6,13 mld | 2,92 s |
| BIOS 1.30, tscsync w trybie sync | 2 | brak w logu | TSC porzucony przez watchdog, patrz niżej |
BIOS 1.30, tryb sync i tsc=nowatchdog | 1 | brak w logu | TSC zachowany |
Każdy rozruch. Zimny start, restart, po wyłączeniu na tyle długim, że wszystko, co nieaktualne, powinno zniknąć. Wartość trochę się waha, co pasuje do ustaleń autora tscsync na Lenovo Legion: tam warp rośnie niemal idealnie proporcjonalnie do czasu, jaki maszyna spędza w firmware przed startem bootloadera3. Rozruch, który dłużej wisi na logo, wychodzi bardziej w tyle.
Kusząca poprawka to tsc=reliable w wierszu poleceń jądra, które każe Linuksowi przestać sprawdzać. Nie rób tego. Rdzenie naprawdę dzielą trzy sekundy, a wyłączenie testu niczego tu nie zmienia; pozwala tylko jądru używać zegara, który skacze do tyłu, gdy zadanie przeniesie się na inny rdzeń. README tscsync mówi to samo i wymienia zacinanie się dźwięku i obrazu, które z tego wynika1.
Mogę zapytać, czemu to dalej wychodzi na rynek?
Nie pytam kto. Pytam, co w procesie Lenovo pozwoliło wypuścić BIOS, który przy każdym rozruchu zostawia jeden rdzeń trzy sekundy w tyle.
Odpowiedź jest w notatkach projektowych tscsync i nie jest pochlebna. Fisher-Price OS (Windows) sam zapisuje liczniki TSC przy rozruchu3. Laptop testowany tylko na nim przechodzi, bo system operacyjny po cichu sprząta po firmware. Linux trzyma swój test bezpieczeństwa włączony i zgłasza to, co dostał, i właśnie dlatego usterka wychodzi tam, a nigdzie indziej.
Niezręczne jest to, że podobno już to raz naprawiono. Użytkownicy zgłaszają, że Lenovo usunęło ten sam rodzaj błędu aktualizacją BIOS-u w ThinkPadach A485, T14s Gen 1 AMD i E4954. E495 to 14-calowy brat tej maszyny i oba mają jeden BIOS: plik readme Lenovo do tej paczki wymienia oba modele5.
Mój E595 miał wersję 1.28 i miał warp przy każdym rozruchu. Lenovo wydało od tamtej pory 1.29 i 1.30 i żadna lista zmian nie wspomina słowem o TSC; 1.30 naprawia „system randomly freeze since BIOS V1.27” i kilka problemów bezpieczeństwa5. Wgrałem więc 1.30 i zmierzyłem jeszcze raz. Pierwszy rozruch na nim, z wyłączonym tscsync, zapisał warp na 6 126 446 316 cykli: 2,92 sekundy, CPU#0 -> CPU#2, jak zawsze. 1.30 tego nie naprawia. Oba modele mają jeden BIOS, więc gdyby zgłoszenie o E495 było prawdziwe, ta maszyna też byłaby naprawiona. Zgłoszenie nie podaje wersji BIOS-u i nie linkuje żadnych logów4.
Czy Lenovo wróci do laptopa z 2019 roku z usterką, którą system, na którym testują, przed nimi ukrywa? Nie.
tscsync, najpierw pomiar
tscsync to mały program UEFI, uruchamiany z GRUB-a albo systemd-boot tuż przed Linuksem. Prosi każdy rdzeń o jego TSC przez własne usługi wieloprocesorowe firmware, wylicza przesunięcie każdego rdzenia względem procesora rozruchowego, przesuwa opóźnione liczniki do przodu, aż się zgodzą, a potem sprawdza wynik testem wzorowanym na teście warpów z jądra1. Nigdy nie zapisuje flasha, NVRAM ani ustawień firmware; liczniki, które zmienia, zerują się po wyłączeniu zasilania1.
To sporo, by oddać to bootloaderowi, dlatego najpierw przeczytałem kod, w commicie 230eaa9, zanim go zbudowałem. Instalację zrobiłem potem tak, jak prosi projekt:
| Krok | Polecenie | Co wróciło |
|---|---|---|
| Budowanie | make | pliki binarne dla GRUB-a i systemd-boot |
| Instalacja, tylko odczyt | sudo scripts/install.sh | tryb pomiaru, nic nie zapisane do liczników |
| Wyłączenie, rozruch, sprawdzenie | tscsync-status | CPU 0 2964 ms za wszystkimi 7 AP, AP zgodne co do mikrosekund |
| Włączenie | sudo scripts/set-mode.sh sync | działa od następnego rozruchu |
Tryb pomiaru to ta część, którą warto skopiować do każdego takiego narzędzia. Pokazuje usterkę na twoim własnym sprzęcie, zanim dostanie zgodę na zmianę czegokolwiek, a zabezpieczenie przed zawieszeniem wyłącza go, jeśli rozruch nigdy nie dojdzie do Linuksa1.
Pierwszy rozruch w trybie sync, prosto z tscsync-status:
survey (read-only):
cpu 1 apic 1: offset 6815086011 rtt 126 BAD
...
cpu 7 apic 7: offset 6815086010 rtt 378 BAD
0 ok, 7 not ok
moving BSP forward by ~6815086010 cycles to match cpu 7:
bsp vs cpu 7 apic 0: before 6815086001 after 3 rtt 357 iter 3 warps bsp/ap 0/0 OK
AP pass (corrects any AP still off):
7 ok, 0 not ok
total 121 ms
I jądro, sekundę później:
clocksource: Switched to clocksource tsc-early
tsc: Refined TSC clocksource calibration: 2096.066 MHz
clocksource: Switched to clocksource tsc
Żadnej linii o warpie. Żadnego „unstable”. /sys/devices/system/clocksource/clocksource0/current_clocksource pokazuje tsc. 121 ms czasu rozruchu za zegar, który sprzęt miał mieć od początku. To było na BIOS-ie 1.28. Z 1.30 nie poszło już tak gładko.
21 nanosekund, które Linux przegłosował
W tym raporcie jest jedna linia, która wygląda gorzej, niż jest, i warto ją wyjaśnić, zamiast chować. Końcowa weryfikacja tscsync oznaczyła jeden rdzeń:
cpu 7 apic 7: offset 45 rtt 357 warps bsp/ap 0/0 BAD
6 ok, 1 not ok
RESULT: some APs out of sync (Linux will fall back to HPET)
45 cykli to około 21 nanosekund. tscsync celuje w zgodność w granicach mniej więcej 10 cykli1, więc według jego własnego celu CPU 7 nie trafił i program to powiedział. Potem Linux wystartował i wcale nie przeszedł na HPET.
Oba testy zadają różne pytania:
| Werdykt tscsync o przesunięciu | Test warpów w jądrze | |
|---|---|---|
| Pytanie | jak daleko od siebie są liczniki? | czy czas kiedykolwiek cofa się między rdzeniami? |
| Metoda | szacunek z mierzonej podróży w obie strony | rdzenie czytają na zmianę i porównują z ostatnim odczytem2 |
| Próg | około 10 cykli | żaden odczyt niższy niż poprzedni |
| CPU 7 przy tym rozruchu | 45 cykli, BAD | brak warpu, TSC zachowany |
warps bsp/ap 0/0 w tej samej linii to tscsync wykonujący test w stylu jądra. Nie zobaczył żadnego. Jądro też nie.
Projekt wie już, że jego werdykt bywa surowszy niż werdykt jądra. IdeaPad z jego listy sprzętu miał cztery rdzenie oznaczone przy 28 do 42 cyklach, które jądro przyjęło, a od wersji 2.1 wolna podróż w obie strony jest zgłaszana jako UNSURE, a nie BAD4. Reguła z README na taki przypadek jest słuszna: decyduje test jądra, a jeśli źródłem zegara jest tsc, test przeszedł1. Podróż w obie strony na 357 cykli nie jest na tej maszynie wolna, więc wyszło BAD. Narzędzie, które pokazuje swoje obliczenia, a potem oddaje ostatnie słowo jądru, działa we właściwej kolejności.
BIOS 1.30: synchronizacja trzyma, TSC i tak odpada
Na 1.30 przełączyłem tscsync z powrotem w tryb sync i zrestartowałem dwa razy. Za każdym razem zrobił swoje. Przesunął procesor rozruchowy do przodu o około 6,17 mld cykli, każdy rdzeń wyszedł w granicach kilkudziesięciu cykli, a jądro nie zapisało żadnego warpu. Za każdym razem Linux i tak kilka sekund później wylądował na HPET:
tsc: Detected 2095.890 MHz processor
tsc: Refined TSC clocksource calibration: 2096.053 MHz
clocksource: Watchdog remote CPU 5 read timed out
clocksource: Marking clocksource tsc unstable due to frequency skew
clocksource: Watchdog hpet interval: 495136113ns
clocksource: Clocksource tsc interval: 496026671ns
tsc: Marking TSC unstable due to clocksource watchdog
To inny test. Test warpów działa, gdy każdy rdzeń się uruchamia, i pyta, czy czas kiedykolwiek cofa się między rdzeniami. Watchdog źródła zegara działa dalej po rozruchu. Mniej więcej co pół sekundy porównuje, o ile przesunął się TSC, a o ile HPET, i jeśli różnią się bardziej niż o mały margines, oznacza TSC jako niestabilny6. Raz oznaczony, zostaje taki do następnego rozruchu.
tsc=nowatchdog pomija tylko drugi, a tsc=reliable pomija oba i ukryłby prawdziwy warp.| Rozruch na 1.30 | Test warpów | Interwał HPET | Interwał TSC | TSC względem HPET |
|---|---|---|---|---|
| Pierwszy rozruch z sync | zaliczony | 495 426 793 ns | 495 006 210 ns | około 850 ppm za wolno |
| Drugi rozruch z sync | zaliczony | 495 136 113 ns | 496 026 671 ns | około 1800 ppm za szybko |
Czy więc TSC chodzi ze złą częstotliwością? Nie. Na działającej maszynie mierzyłem TSC względem opartego na HPET surowego zegara jądra przez 30 sekund w oknach po 5 sekund. Każde okno dało 2096,062 MHz, około 4 części na milion od własnej kalibracji jądra. Prawdziwy błąd częstotliwości nie przeskakuje z za wolnego na za szybki między dwoma rozruchami, by potem zniknąć. Coś zaburza jedno półsekundowe okno na początku rozruchu, a linia remote CPU 5 read timed out tuż przed tym wskazuje na rdzeń, który na chwilę nie odpowiada. Pasowałoby to do firmware, które podkrada procesorom czas. Nie udowodniłem tego.
Dwa rozruchy to cały materiał dowodowy. Nie umiem jeszcze powiedzieć, czy to 1.30, przypadek, czy coś, co wyzwala zapis tscsync. Jedyny rozruch z sync na 1.28 zachował TSC, a dwa na 1.30 go straciły, i to za mało, żeby winić BIOS.
Na ten przypadek jądro ma węższą opcję niż tsc=reliable. tsc=nowatchdog wyłącza watchdog źródła zegara dla TSC, a test warpów przy rozruchu zostawia w spokoju7. Gdyby tscsync kiedyś nie zdołał zsynchronizować rdzeni, jądro i tak złapie warp i przejdzie na HPET. To był następny test. Liczby i kilka proponowanych zmian w raportowaniu samego tscsync są w systemie zgłoszeń projektu8.
tsc=nowatchdog: pięć minut, zero warpów
Dodałem tsc=nowatchdog i zrestartowałem. tscsync przesunął procesor rozruchowy do przodu o 6 207 104 421 cykli, jądro nie zapisało ani warpu, ani rozjazdu częstotliwości, a current_clocksource pokazywał tsc. Pierwszy rozruch na 1.30, który go zachował.
To dowodzi tylko, że TSC porzucał watchdog. Nie dowodzi, że na TSC można bezpiecznie pracować, a z wyłączonym watchdogiem nic w jądrze już tego nie pilnuje. Pilnowałem więc sam.
Mój wcześniejszy test częstotliwości był tu bezużyteczny. Mierzył TSC względem CLOCK_MONOTONIC_RAW, co było w porządku, póki jądro chodziło na HPET. Na TSC ten zegar jest zbudowany z TSC, więc test porównywałby licznik z nim samym. HPET-u nie da się też czytać z przestrzeni użytkownika, bo jądro Fedory jest zbudowane bez CONFIG_HPET_MMAP. Zegar czasu rzeczywistego (RTC) da się. Chodzi na własnym krysztale, a jądro budzi program przy każdym tyknięciu jego licznika sekund9.
Napisałem więc mały test, tsccheck. Przypina się do CPU 0 i co 15 sekund wykonuje cztery sprawdzenia:
| Sprawdzenie | Jak | Jak wygląda usterka |
|---|---|---|
| Częstotliwość | cykle TSC liczone między tyknięciami sekund RTC | MHz dryfujące w jedną stronę |
| Przesunięcie | 3000 podróży w obie strony z CPU 0 do każdego rdzenia, przesunięcie z najszybszej | przesunięcie, które rośnie |
| Warpy | czy w którejś podróży rdzeń odczytał mniej niż wartość już widziana | cokolwiek powyżej zera |
| Źródło zegara | odczyt current_clocksource | cokolwiek innego niż tsc |
Sednem jest podróż w obie strony. CPU 0 czyta swój licznik i przekazuje go dalej, drugi rdzeń czyta swój i odsyła, a CPU 0 czyta jeszcze raz. Jeśli rdzenie się zgadzają, środkowy odczyt musi wypaść między dwoma pozostałymi:
Pętla, która to robi:
for (int i = 0; i < ITERS; i++) {
uint64_t t0 = rdtsc_o(); /* CPU 0 */
atomic_store(&pp.t0, t0);
atomic_store(&pp.seq, 2 * i + 1); /* the other core reads t1 now */
while (atomic_load(&pp.seq) != 2 * i + 2)
;
uint64_t t2 = rdtsc_o(); /* CPU 0 again */
uint64_t t1 = atomic_load(&pp.t1);
if (t1 < t0 || t2 < t1)
r.warps++; /* time went backwards */
if (i > 100 && t2 - t0 < r.rtt) {
r.rtt = t2 - t0;
r.offset = (int64_t)(t1 - (t0 + (t2 - t0) / 2));
}
}
Cały program to zwykłe C dla Linuksa na x86-64, bez niczego związanego z tscsync czy tym laptopem. Potrzebuje roota do /dev/rtc0, a trzeci argument to wartość z twojego własnego jądra, z journalctl -k -b | grep 'Refined TSC':
gcc -O2 -Wall -pthread -o tsccheck tsccheck.c
sudo ./tsccheck 15 20 2096.073
SHA-256 02eba1966a0097196acd5dfdcad9c4b315cafc1854c60f34c5b56080e6c38408.
Dwadzieścia próbek w ciągu pięciu minut, zaraz po rozruchu:
| Miara | Wynik |
|---|---|
| Źródło zegara | tsc we wszystkich 20 próbkach, brak komunikatów jądra |
| Warpy | 0 na około 420 000 podróży w obie strony |
| Największe przesunięcie względem CPU 0 | 85 cykli, około 41 ns, bez trendu |
| Częstotliwość dla całego przebiegu | 2096,027 MHz, w przedziale od 2096,022 do 2096,031 od pierwszej minuty |
| Częstotliwość w 15-sekundowym oknie | od 2095,943 do 2096,104 MHz |
Okna wyglądają gorzej, niż jest. Spóźnione tyknięcie RTC robi jedno okno dłuższym, a następne krótszym, więc błędy przychodzą parami, które się znoszą: 61 części na milion (ppm) za wolno po 30 sekundach, 15 ppm za szybko po 60. Dryf sam się nie znosi. Wartość dla całego przebiegu prawie się nie ruszyła.
Wartość dla całego przebiegu przez pełne pięć minut leży 22 ppm poniżej 2096,073 MHz podanych przez jądro. To różnica między dwoma kryształami i stała w miejscu. chrony, sterujący zegarem według internetowych serwerów czasu, miał go 16 do 19 ppm za wolno10. Ten sam kierunek, ta sama skala.
Przesunięcia skaczą między tymi samymi kilkoma wartościami, 10, 21 i 33 cykle w jedną i drugą stronę, i żaden rdzeń nie odjeżdża. To szum z podróży w obie strony trwającej około 550 cykli. Weryfikacja tscsync nazwałaby część z nich BAD. Jądro nie.
Czy TSC wytrzymał? Tak, według każdej miary, jaką miałem. Pięć minut po jednym rozruchu to wciąż nie seria rozruchów. Następny będzie ten sam test po długim czasie pracy i znowu po kilku kolejnych restartach.
Poprawka należy do firmware
tscsync nie powinien musieć istnieć. Jego własne README tak mówi: producenci firmware mogą wziąć to podejście i kod, „which is where this should be fixed”1. Lenovo ma kod źródłowy. Autor tscsync miał tylko to, co powiedział mu jego laptop, i 80 rozruchów logów1.
To właśnie zostaje w głowie. Poprawka wymagała obcej osoby spoza firmy, która to zmierzyła, zdiagnozowała i obeszła, podczas gdy firma, która sprzedała sprzęt, testowała go na jedynym systemie, który usterkę ukrywa. Maszyna, której nie możesz naprawić, bo jej firmware jest zamknięte, nie jest tak naprawdę twoja, jest wypożyczona na warunkach. Otwarte firmware z podpisanymi aktualizacjami pozwoliłoby naprawić to raz, porządnie, każdemu, komu chciałoby się zajrzeć.
A tymczasem dobra robota autora tscsync. Najpierw tryb pomiaru, zabezpieczenie przed zawieszeniem, liczby na widoku i uczciwy werdykt, nawet gdy nie zgadza się z jądrem. Tak powinno się budować niskopoziomowe narzędzia.
Każdy host KVM z tym samym firmware
Na laptopie kosztuje to trochę opóźnienia i trochę baterii. Na hiperwizorze płaci też każdy gość, a nic z poniższego nie wynika z Proxmoxa. Wszystko siedzi w kodzie KVM w jądrze Linuksa, więc jest tak samo na każdym hoście zbudowanym na KVM, cokolwiek na nim stoi: Proxmox VE, oVirt, OpenStack albo zwykłe QEMU z libvirt11.
Co robi KVM, gdy host traci TSC
KVM daje gościom stabilny zegar tylko wtedy, gdy sam host chodzi na TSC. W kodzie jądra master clock, jedno wspólne odniesienie czasu dla wszystkich vCPU w maszynie wirtualnej, jest włączany tylko wtedy, gdy host_tsc_clocksource ma wartość true12. Spadnij na HPET, a się wyłącza, i naraz zmienia się kilka rzeczy:
| Host na TSC | Host na HPET, TSC oznaczony jako niestabilny | |
|---|---|---|
| Master clock KVM12 | włączony | wyłączony |
| vCPU przenosi się na inny rdzeń12 | nic do aktualizacji | wymuszona aktualizacja zegara na każdym vCPU tej VM, do 10 na sekundę |
| Przesunięcie TSC gościa12 | nieruszane | przepisywane przy każdym przeniesieniu i wprowadzane w tryb nadrabiania |
PVCLOCK_TSC_STABLE_BIT dla gości12 | ustawiony | nieustawiony |
clock_gettime() w gościu13 | odczyt w przestrzeni użytkownika | wywołanie systemowe, rozstrzygane raz, przy rozruchu gościa |
| Odczyty zegara w gościu między vCPU14 | niezależne | każdy odczyt sprawdzany względem jednej wspólnej wartości globalnej |
Ostatni wiersz to ten, który źle się skaluje. Bez bitu stabilności jądro gościa nie może ufać, że zegary poszczególnych vCPU zgadzają się ze sobą, więc każdy odczyt porównuje się z „last_value, a global accumulator” i podmienia atomowym compare-and-exchange, jeśli jest nowszy14. Każdy vCPU gościa pisze do tej jednej wartości. Im więcej vCPU czyta zegar, tym dłużej stoją do niej w kolejce.
Nic z tego nie wychodzi jako błąd. Źródłem zegara w gościu nadal jest kvm-clock i nic w gościu nie powie ci, czemu zwolnił.
Ile to kosztuje, zmierzone
Zmierzyłem to na tym laptopie, zamiast zostawić jako teorię. Źródło zegara hosta da się przełączyć w locie, co wyłącza master clock KVM tak samo jak awaryjny powrót przy rozruchu. Jednorazowy gość wystartował na jądrze hosta z 4 vCPU i malutkim initramfs, którego jedyny program mierzy czas clock_gettime(). Po dwa przebiegi w każdym wariancie, najpierw host, potem gość:
clock_gettime(), średnia z dwóch przebiegów w każdym wariancie. Host na HPET zwalnia od 61 do 73 razy; gość około 7 razy z jednym vCPU i 8 razy ze wszystkimi czterema. Panele mają różne skale, bo słupki HPET hosta spłaszczyłyby słupki gościa.Gość nie płaci bezpośrednio ceny HPET, bo kvm-clock dalej czyta pod spodem TSC. Traci odczyt w przestrzeni użytkownika i niezależność między vCPU, i już samo to daje siedem razy wolniej. Gdy wszystkie cztery vCPU czytają naraz, koszt znowu rośnie, i to jest właśnie ta wspólna wartość globalna w akcji. Gość z 32 albo 64 vCPU stoi w tej kolejce mocniej. Tego nie mierzyłem.
Podam liczbę. Gość, który czyta zegar milion razy na sekundę na jednym vCPU, zużywa na to 2,8% tego vCPU na zdrowym hoście, a 19% na tym. Bazy danych, maszyna wirtualna Javy (JVM) i wszystko inne, co oznacza swoją pracę znacznikami czasu, czytają zegar bardzo często.
Ten przebieg do tego zaniża wynik. Ręczne przełączenie źródła zegara wyłącza master clock, ale nie oznacza TSC jako niestabilnego, więc przepisywanie przesunięć z powyższej tabeli w ogóle się nie wykonało. Awaryjny powrót przy rozruchu na tym E595 oznacza go jako niestabilny, a host w takim stanie płaci za oba.
clockbench.c, benchmark, do uruchomienia na hoście albo jako init gościaSprawdzanie hosta i ograniczenia
Dlaczego zegary gości są w ogóle kruche, opisałem w artykule o ptp_kvm; tu ten sam problem przychodzi od spodu. Sprawdzaj hosta, nie gościa:
journalctl -k -b | grep -iE 'TSC warp|TSC unstable'
cat /sys/devices/system/clocksource/clocksource0/current_clocksource
tscsync działa z GRUB-a albo systemd-boot1, co obejmuje większość hostów KVM. Proxmox VE używa GRUB-a, albo systemd-boot przy instalacji UEFI z ZFS jako systemem głównym i wyłączonym Secure Boot15. Zanim jednak to trafi w pobliże węzła produkcyjnego, uczciwie przyjrzyj się ograniczeniom.
| Ograniczenie | Co z tym zrobić |
|---|---|
| Tylko AMD Zen i Hygon1 | hosty Intela z TSC_ADJUST jądro naprawia już samo |
| Każda maszyna z jego listy sprzętu to laptop4 | traktuj serwer jako nieprzetestowany i zgłoś wynik |
| Tryb sync odmawia pracy na sprzęcie spoza listy, chyba że to świadomie włączysz1 | przeczytaj dlaczego, zanim to obejdziesz |
| Pierwszy rozruch z sync może się zawiesić | najpierw tryb pomiaru, otwarta konsola out-of-band, jeden węzeł naraz |
| Aktualizacja BIOS-u może usterkę usunąć | przełącz potem z powrotem na pomiar i sprawdź1 |
| Czysta synchronizacja wciąż może stracić TSC przez watchdog | sprawdzaj current_clocksource po każdym rozruchu; tsc=nowatchdog, jeśli winny jest watchdog, a potem zmierz to sam |
Usterka firmware, która laptopa kosztuje trochę baterii, hiperwizor kosztuje kawałek każdego gościa, którego uruchamia, w każdej sekundzie pracy, a właściciele gości nie mają jak tego zobaczyć. To argument za sprawdzaniem current_clocksource na każdym hoście, jaki prowadzisz, kto by go nie zrobił.
tscsync README — co robi, koszt odczytu zegara na HPET, dlaczego
tsc=reliablenie jest poprawką, model bezpieczeństwa i regułaUNSURE. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Linux kernel — arch/x86/kernel/tsc_sync.c — obsługa
TSC_ADJUST, test warpów i komunikat „Measured %Ld cycles TSC warp between CPUs, turning off TSC clock.” ↩︎ ↩︎ ↩︎tscsync — docs/DESIGN.md — AMD Zen nie ma
IA32_TSC_ADJUST,tsc=directsyncodrzucone upstream, Windows sam zapisuje TSC przy rozruchu, a warp rośnie z czasem spędzonym w firmware na Legion Pro 5. ↩︎ ↩︎ ↩︎tscsync — docs/HARDWARE.md — przetestowane maszyny, rdzenie IdeaPada 5 przyjęte przy -28 do -42 cyklach i zgłoszone poprawki BIOS-u dla A485, E495 i T14s Gen 1. ↩︎ ↩︎ ↩︎ ↩︎
Lenovo — BIOS Update Utility readme, ThinkPad E495/E595, version 1.30 — oba modele w jednej paczce, historia wersji do 1.30 (14 maja 2024) i jej lista zmian. ↩︎ ↩︎
Linux kernel — kernel/time/clocksource.c — watchdog źródła zegara, jego porównanie interwałów i komunikat „Marking clocksource %s unstable due to frequency skew”. ↩︎
Linux kernel — kernel-parameters —
tsc=reliablewyłącza weryfikację w czasie pracy i testy stabilności przy rozruchu;tsc=nowatchdogwyłącza tylko watchdog źródła zegara. ↩︎tscsync issue #1 — Lenovo ThinkPad E595 — zgłoszenia dla 1.28 i 1.30, analiza watchdoga i proponowane zmiany. ↩︎
Linux kernel — Real Time Clock (RTC) Drivers for Linux — „The clock can also be set to generate an interrupt upon every clock update, thus generating a 1Hz signal”, odczytywane przez
/dev/rtc. ↩︎chrony — chronyc manual —
tracking: „The ‘frequency’ is the rate by which the system’s clock would be wrong if chronyd was not correcting it.” ↩︎KVM — Management Tools — Proxmox VE, oVirt, OpenStack i narzędzia oparte na libvirt, wszystkie zarządzające KVM. ↩︎
Linux kernel — arch/x86/kvm/x86.c —
pvclock_update_vm_gtod_copy(): „If the host uses TSC clock, then passthrough TSC as stable to the guest”, aPVCLOCK_TSC_STABLE_BITustawiany tylko przy włączonym master clock. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Linux kernel — arch/x86/kernel/kvmclock.c — gość włącza zegar w przestrzeni użytkownika
VDSO_CLOCKMODE_PVCLOCKtylko wtedy, gdy ustawiony jestPVCLOCK_TSC_STABLE_BIT. ↩︎Linux kernel — arch/x86/kernel/pvclock.c — bez
PVCLOCK_TSC_STABLE_BITkażdy odczyt jest sprawdzany względem „last_value, a global accumulator” atomowym compare-and-exchange. ↩︎ ↩︎Proxmox VE — Host Bootloader — domyślnie GRUB, systemd-boot przy instalacjach UEFI z ZFS jako systemem głównym i wyłączonym Secure Boot. ↩︎