Оновлення, 11 жовтня 2026, 16:30: відтоді я прошив BIOS 1.30. Зсуву він не виправляє. tscsync і далі вирівнює ядра, але на двох завантаженнях із синхронізацією ядро однаково скинуло TSC, цього разу через сторожовий механізм джерела годинника, а не через перевірку перекосу: BIOS 1.30: синхронізація тримається, TSC однаково зникає. З доданим tsc=nowatchdog TSC утримався, і п’ять хвилин вимірювань проти годинника реального часу не знайшли ні перекосів, ні дрейфу: tsc=nowatchdog: п’ять хвилин, жодного перекосу. Одне завантаження це не серія завантажень, тож я називаю це тримається, а не виправлено.

Кожне завантаження, те саме попередження

Ось що лежало в журналі ядра мого ThinkPad E595 на кожному завантаженні без винятку:

TSC synchronization [CPU#0 -> CPU#2]:
Measured 6601281288 cycles TSC warp between CPUs, turning off TSC clock.
tsc: Marking TSC unstable due to check_tsc_sync_source failed
clocksource: Switched to clocksource hpet

Нічого не впало. На робочому столі нічого не вискочило. Машина тихо гнала весь свій годинник на повільнішому чипі таймера від самого завантаження, і робила б так вічно, якби я не читав журнал заради чогось іншого.

Time Stamp Counter (TSC) це лічильник усередині кожного ядра процесора, що цокає з фіксованою частотою. Прочитати його можна однією інструкцією. Linux використовує його як основний годинник, але лише якщо всі ядра згодні щодо значення1. Якщо одне ядро відстає, ядро ОС не може йому довіряти і відкочується на High Precision Event Timer (HPET), окремий пристрій-таймер. Автор tscsync виміряв читання годинника приблизно в 1,2 мкс на HPET проти десятків наносекунд на TSC, а ядро і робочий стіл читають годинник десятки тисяч разів на секунду1. Це затримка і батарея, сплачені на кожному завантаженні, ні за що.

То наскільки ядро відставало? Більш ніж на три секунди. На ноутбуці з 2,1 ГГц це 6,6 мільярда тактів.

Що віддає прошивка

У повідомленні названо CPU 0 і CPU 2, але винен не CPU 2. Якщо міряти tscsync із завантажувача, а потім ядром, коли воно стартує, картина щоразу та сама:

ЯдроЗсув від CPU 0Що це означає
CPU 0, процесор завантаження (BSP)0точка відліку і біла ворона
CPU 1–7, інші ядра (AP)приблизно від +6,2 до +6,8 мільярда тактівусі згодні між собою з точністю до 32 тактів
Розрив на 2096 МГцвід 2,9 до 3,3 секундипроцесор завантаження відстає, на кожному завантаженні

Сім ядер згодні. Одне запізнюється на три секунди. Прошивка піднімає процесор завантаження, робить на ньому свою роботу і передає керування завантажувачу, так і не вирівнявши той один лічильник з рештою.

TSC процесора завантаження до і після tscsyncДо: як віддає прошивкаПісля: tscsync у режимі синхронізаціїCPU 0 (BSP)CPU 1CPU 2CPU 3CPU 4CPU 5CPU 6CPU 7CPU 0 (BSP)CPU 1CPU 2CPU 3CPU 4CPU 5CPU 6CPU 7CPU 0 відстає приблизно на 6,8 млрд тактів (3,25 с)CPU 1–7 згодні в межах 32 тактівBSP зсунуто вперед, усі ядра в межах 45 тактівLinux зберігає джерело годинника TSC
Ліворуч: що віддає прошивка. Сім прикладних процесорів згодні з точністю до 32 тактів; процесор завантаження відстає від них приблизно на 6,8 мільярда тактів. Праворуч: після того як tscsync зсуває процесор завантаження вперед в UEFI, усі ядра в межах 45 тактів, і перевірка перекосу в ядрі проходить.

Чому Linux не може просто це виправити? На процесорах Intel є регістр IA32_TSC_ADJUST, який дозволяє ядру підправити лічильник ядра, і код синхронізації ядра використовує його, коли він є2. У процесорах AMD Zen його немає. Без нього ніщо в Linux не може виправити зсув, а спробу всередині ядра записувати лічильники напряму (tsc=directsync) апстрім відхилив як ненадійну3.

Тож ядро робить єдине чесне, що йому лишається. Воно вимірює, бачить, що між двома ядрами час іде назад, друкує попередження і перестає використовувати TSC2.

Сорок завантажень, сорок перекосів

Одне завантаження це анекдот. Журнал на цій машині сягає 30 травня 2026, тож я його спитав.

ЗавантаженняПерекіс, тактівПерекіс на 2096 МГц
З 30 травня по 11 жовтня 202640 із 40від 6,16 до 9,88 мільярдавід 2,94 до 4,72 с
Медіана6,57 мільярда3,14 с
Після повного вимкнення приблизно на 27 с16,60 мільярда3,15 с
З tscsync у режимі синхронізації, BIOS 1.281у журналі немаєTSC збережено
BIOS 1.30, tscsync вимкнено16,13 мільярда2,92 с
BIOS 1.30, tscsync у режимі синхронізації2у журналі немаєTSC скинуто сторожем, див. нижче
BIOS 1.30, режим синхронізації і tsc=nowatchdog1у журналі немаєTSC збережено

Кожне завантаження. Холодний старт, перезавантаження, після вимкнення настільки довгого, що все застаріле мало б зникнути. Величина гуляє, і це збігається з власним висновком автора tscsync на Lenovo Legion: там перекіс майже ідеально масштабується з тим, скільки машина проводить у прошивці до старту завантажувача3. Завантаження, яке довше стоїть на логотипі, виходить з більшим відставанням.

Спокусливе виправлення це tsc=reliable у командному рядку ядра, що каже Linux припинити перевіряти. Не роби цього. Ядра справді розходяться на три секунди, і вимкнення перевірки цього не змінює; воно лише дозволяє ядру використовувати годинник, що стрибає назад, коли задача переходить між ядрами. README tscsync каже те саме і називає заїкання аудіо та відео, що за цим іде1.

Можна спитати, чому це досі постачається?

Я не питаю, хто. Я питаю, що в процесі Lenovo дозволило випустити BIOS, який на кожному завантаженні залишає ядро на три секунди позаду.

Відповідь є в нотатках про дизайн tscsync, і вона не лестить. Fisher-Price OS (Windows) сама записує TSC під час завантаження3. Ноутбук, перевірений лише на ній, проходить, бо операційна система тихо прибирає за прошивкою. Linux тримає свою перевірку безпеки увімкненою і повідомляє, що йому дали, і саме тому несправність видно там і більше ніде.

Незручно те, що це, кажуть, уже виправляли. Користувачі повідомляють, що Lenovo виправила той самий клас помилок оновленням BIOS на ThinkPad A485, T14s Gen 1 AMD і E4954. E495 це 14-дюймовий брат цієї машини, і BIOS у них один: власний readme Lenovo до пакета перелічує обидві моделі5.

Мій E595 був на 1.28 і давав перекіс на кожному завантаженні. Відтоді Lenovo випустила 1.29 і 1.30, і в жодному списку змін немає ні слова про TSC; 1.30 виправляє «system randomly freeze since BIOS V1.27» і кілька проблем безпеки5. Тож я поставив 1.30 і виміряв знову. Перше завантаження на ньому, з вимкненим tscsync, записало перекіс у 6 126 446 316 тактів: 2,92 секунди, CPU#0 -> CPU#2, як завжди. 1.30 цього не виправляє. BIOS у двох моделей один, тож якби звіт про E495 був правдивий, ця машина теж була б виправлена. Звіт не називає версії BIOS і не дає посилань на логи4.

Чи повернеться Lenovo до ноутбука 2019 року через несправність, яку операційна система, на якій вони тестують, від них ховає? Ні.

tscsync: спершу вимірювання

tscsync це невелика програма UEFI, що запускається з GRUB або systemd-boot перед самим Linux. Вона питає в кожного ядра його TSC через власні багатопроцесорні сервіси прошивки, обчислює зсув кожного ядра від процесора завантаження, зсуває відсталі лічильники вперед, поки вони не зійдуться, а потім перевіряє результат тестом за зразком перевірки перекосу в самому ядрі1. Вона ніколи не пише у флеш, NVRAM чи налаштування прошивки; лічильники, які вона змінює, скидаються при вимкненні1.

Це чимало, щоб довірити завантажувачу, тож спершу я прочитав код, на коміті 230eaa9, і лише потім зібрав. Встановлення зробив так, як просить проєкт:

КрокКомандаЩо повернулося
Збиранняmakeбінарники для GRUB і systemd-boot
Встановлення, лише читанняsudo scripts/install.shрежим вимірювання, у лічильники нічого не записано
Вимкнути, завантажити, подивитисяtscsync-statusCPU 0 на 2964 мс позаду всіх 7 AP, AP згодні з точністю до мікросекунд
Увімкнутиsudo scripts/set-mode.sh syncдіє з наступного завантаження

Режим вимірювання варто скопіювати в будь-який подібний інструмент. Він показує тобі несправність на твоєму власному залізі, перш ніж йому дозволять щось змінити, а захист від зависання вимикає його, якщо завантаження так і не дійде до Linux1.

Перше завантаження в режимі синхронізації, просто з tscsync-status:

survey (read-only):
  cpu  1 apic   1: offset 6815086011  rtt 126  BAD
  ...
  cpu  7 apic   7: offset 6815086010  rtt 378  BAD
  0 ok, 7 not ok
moving BSP forward by ~6815086010 cycles to match cpu 7:
  bsp vs cpu  7 apic   0: before 6815086001  after 3  rtt 357  iter 3  warps bsp/ap 0/0  OK
AP pass (corrects any AP still off):
  7 ok, 0 not ok
total 121 ms

І ядро, секундою пізніше:

clocksource: Switched to clocksource tsc-early
tsc: Refined TSC clocksource calibration: 2096.066 MHz
clocksource: Switched to clocksource tsc

Жодного рядка про перекіс. Жодного «unstable». /sys/devices/system/clocksource/clocksource0/current_clocksource показує tsc. 121 мс часу завантаження, щоб отримати годинник, який залізо мало мати від самого початку. Це було на BIOS 1.28. З 1.30 вийшло не так охайно.

21 наносекунда, яку Linux переголосував

У тому звіті є рядок, що виглядає гірше, ніж є, і його варто пояснити, а не ховати. Фінальна перевірка tscsync позначила одне ядро:

cpu  7 apic   7: offset 45  rtt 357  warps bsp/ap 0/0  BAD
6 ok, 1 not ok
RESULT: some APs out of sync (Linux will fall back to HPET)

45 тактів це приблизно 21 наносекунда. tscsync прагне згоди в межах приблизно 10 тактів1, тож за його власною ціллю CPU 7 промахнувся, і він це сказав. Потім завантажився Linux і на HPET не відкотився взагалі.

Дві перевірки ставлять різні питання:

Вердикт tscsync щодо зсувуТест перекосу в ядрі
Питаннянаскільки розходяться лічильники?чи йде час колись назад між ядрами?
Методоцінка з виміряного кругового обмінуядра по черзі читають і порівнюють з останнім читанням2
Порігприблизно 10 тактівжодного читання, меншого за попереднє
CPU 7 на цьому завантаженні45 тактів, BADперекосу немає, TSC збережено

warps bsp/ap 0/0 у тому самому рядку це tscsync, що запускає тест у стилі ядра. Він нічого не побачив. Ядро теж.

Проєкт уже знає, що його вердикт буває суворішим за ядерний. В IdeaPad з його списку заліза чотири ядра були позначені на 28–42 тактах, а ядро їх прийняло, і починаючи з 2.1 повільний круговий обмін показується як UNSURE, а не BAD4. Правило README для цього випадку правильне: вирішує власна перевірка ядра, і якщо джерело годинника tsc, вона пройдена1. Круговий обмін у 357 тактів на цій машині не повільний, тож вийшло BAD. Інструмент, що показує свої розрахунки, а останнє слово віддає ядру, зроблений правильно.

BIOS 1.30: синхронізація тримається, TSC однаково зникає

На 1.30 я повернув tscsync у режим синхронізації і двічі перезавантажився. Обидва рази він зробив свою роботу. Він зсунув процесор завантаження вперед приблизно на 6,17 мільярда тактів, усі ядра вийшли в межах кількох десятків тактів, і ядро не записало жодного перекосу. Обидва рази Linux однаково через кілька секунд опинився на HPET:

tsc: Detected 2095.890 MHz processor
tsc: Refined TSC clocksource calibration: 2096.053 MHz
clocksource: Watchdog remote CPU 5 read timed out
clocksource: Marking clocksource tsc unstable due to frequency skew
clocksource: Watchdog                    hpet interval:        495136113ns
clocksource: Clocksource                  tsc interval:        496026671ns
tsc: Marking TSC unstable due to clocksource watchdog

Це інша перевірка. Тест перекосу виконується, коли піднімається кожне ядро, і питає, чи йде час колись назад між ядрами. Сторожовий механізм джерела годинника працює і після завантаження. Приблизно кожні пів секунди він порівнює, наскільки просунувся TSC і наскільки HPET, і якщо вони розходяться більше ніж на невеликий запас, позначає TSC нестабільним6. Позначка лишається до наступного завантаження.

Дві перевірки ядра і який параметр завантаження яку пропускаєПрошивкаCPU 0 позаду на ~3 сtscsync в UEFIзсуває CPU 0 впередСтарт Linuxядра піднімаютьсяПеревірка перекосураз, при завантаженніСторожкожні 0,5 с проти HPETТиповообидві ввімкнені: на 1.30 TSC скинуто✓ перевіряється✓ перевіряєтьсяtsc=nowatchdogце завантаження: TSC збережено✓ перевіряється✗ пропущеноtsc=reliableне радимо: ховає справжній перекіс✗ пропущено✗ пропущено
TSC можуть скинути дві окремі перевірки. Перевірка перекосу виконується один раз, коли піднімається кожне ядро; саме її ця машина проходить завдяки tscsync. Сторож порівнює з HPET кожні пів секунди. tsc=nowatchdog пропускає лише другу, а tsc=reliable пропускає обидві і сховав би справжній перекіс.
Завантаження на 1.30Перевірка перекосуІнтервал HPETІнтервал TSCTSC проти HPET
Перше завантаження з синхронізацієюпройдено495 426 793 нс495 006 210 нсприблизно на 850 ppm повільніше
Друге завантаження з синхронізацієюпройдено495 136 113 нс496 026 671 нсприблизно на 1800 ppm швидше

То TSC іде з неправильною частотою? Ні. На запущеній машині я засік TSC проти сирого годинника ядра на основі HPET протягом 30 секунд у вікнах по 5 секунд. Кожне вікно дало 2096,062 МГц, приблизно 4 мільйонні частки від власного калібрування ядра. Справжня несправність частоти не перескакує з повільного на швидке між двома завантаженнями, щоб потім зникнути. Щось збурює одне пів-секундне вікно на ранньому етапі завантаження, і рядок remote CPU 5 read timed out якраз перед цим вказує на ядро, що на мить не відповідає. Прошивка, що краде час у процесорів, підійшла б. Я цього не довів.

Два завантаження це всі докази, що є. Я поки не можу сказати, чи це 1.30, випадок чи щось, що запускає запис tscsync. Одне завантаження з синхронізацією на 1.28 зберегло TSC, а два на 1.30 його втратили, і цього замало, щоб звинуватити BIOS.

Для цього випадку є вужчий параметр ядра, ніж tsc=reliable. tsc=nowatchdog вимикає сторожовий механізм джерела годинника для TSC і не чіпає перевірку перекосу під час завантаження7. Якби tscsync колись не зміг синхронізувати, ядро все одно впіймало б перекіс і відкотилося на HPET. Це й був наступний тест. Цифри і кілька пропозицій щодо власних звітів tscsync лежать у трекері задач проєкту8.

tsc=nowatchdog: п’ять хвилин, жодного перекосу

Я додав tsc=nowatchdog і перезавантажився. tscsync зсунув процесор завантаження вперед на 6 207 104 421 такт, ядро не записало ні перекосу, ні розбіжності частоти, і current_clocksource показав tsc. Перше завантаження на 1.30, що його зберегло.

Це доводить лише те, що TSC скидав саме сторож. Воно не доводить, що на TSC безпечно працювати, а з вимкненим сторожем у ядрі вже ніхто не стежить. Тож я стежив сам.

Моя попередня перевірка частоти тут не годилася. Вона засікала TSC проти CLOCK_MONOTONIC_RAW, що було нормально, поки ядро працювало на HPET. На TSC цей годинник будується з TSC, тож тест порівнював би лічильник сам із собою. HPET теж не прочитати з простору користувача, бо ядро Fedora зібране без CONFIG_HPET_MMAP. А годинник реального часу (RTC) можна. Він працює від власного кварцу, і ядро розбудить програму на кожен тік його лічильника секунд9.

Тож я написав невелику перевірку, tsccheck. Вона прив’язує себе до CPU 0 і кожні 15 секунд виконує чотири тести:

ПеревіркаЯкЯк виглядає несправність
Частотатакти TSC між тіками секунд RTCМГц, що дрейфують в один бік
Зсув3000 кругових обмінів від CPU 0 до кожного ядра, зсув береться з найшвидшогозсув, що росте
Перекосичи прочитало ядро в будь-якому круговому обміні менше значення, ніж уже баченебудь-що понад нуль
Джерело годинникачитання current_clocksourceбудь-що, крім tsc

Круговий обмін це серце перевірки. CPU 0 читає свій лічильник і передає його, інше ядро читає свій і передає назад, і CPU 0 читає знову. Якщо ядра згодні, середнє читання має лягти між двома іншими:

Один круговий обмін між CPU 0 та іншим ядромCPU 0CPU 1–7, по одномучасt0t1t2серединазсувзсув = t1 − (t0 + t2) / 2з найшвидшого з 3000 обмінівперекіс, якщо t1 < t0 або t2 < t1час пішов назад: будь-який це несправність
Один круговий обмін. Читання іншого ядра, t1, порівнюється із серединою двох читань CPU 0, а найшвидший із 3000 обмінів дає зсув. Будь-яке читання, менше за вже бачене, це перекіс, незалежно від зсуву.

Цикл, що це робить:

for (int i = 0; i < ITERS; i++) {
	uint64_t t0 = rdtsc_o();                 /* CPU 0 */
	atomic_store(&pp.t0, t0);
	atomic_store(&pp.seq, 2 * i + 1);        /* the other core reads t1 now */
	while (atomic_load(&pp.seq) != 2 * i + 2)
		;
	uint64_t t2 = rdtsc_o();                 /* CPU 0 again */
	uint64_t t1 = atomic_load(&pp.t1);
	if (t1 < t0 || t2 < t1)
		r.warps++;                           /* time went backwards */
	if (i > 100 && t2 - t0 < r.rtt) {
		r.rtt = t2 - t0;
		r.offset = (int64_t)(t1 - (t0 + (t2 - t0) / 2));
	}
}

Уся програма це звичайний C для x86-64 Linux, без жодної прив’язки до tscsync чи цього ноутбука. Їй потрібен root для /dev/rtc0, а третій аргумент це цифра твого власного ядра з journalctl -k -b | grep 'Refined TSC':

gcc -O2 -Wall -pthread -o tsccheck tsccheck.c
sudo ./tsccheck 15 20 2096.073
tsccheck.c, уся перевірка в 161 рядку tsccheck.c · 4 kB

SHA-256 02eba1966a0097196acd5dfdcad9c4b315cafc1854c60f34c5b56080e6c38408.

Двадцять вибірок за п’ять хвилин, одразу після завантаження:

ПоказникРезультат
Джерело годинникаtsc в усіх 20 вибірках, жодних повідомлень ядра
Перекоси0 приблизно в 420 000 кругових обмінів
Найбільший зсув від CPU 085 тактів, приблизно 41 нс, без тренду
Частота за весь прогін2096,027 МГц, у межах від 2096,022 до 2096,031 починаючи з першої хвилини
Частота в кожному 15-секундному вікнівід 2095,943 до 2096,104 МГц
Частота TSC у кожному 15-секундному вікні і за весь прогін+20 ppm0 ppm-20 ppm-40 ppm-60 ppm0 s60 s120 s180 s240 s300 sцифра ядра, 2096,073 МГц15 с: вікно -11,3 ppm, увесь прогін -11,3 ppm30 с: вікно -61,1 ppm, увесь прогін -36,2 ppm45 с: вікно -23,5 ppm, увесь прогін -32,0 ppm60 с: вікно +15,0 ppm, увесь прогін -20,2 ppm75 с: вікно -21,6 ppm, увесь прогін -20,5 ppm90 с: вікно -21,8 ppm, увесь прогін -20,7 ppm105 с: вікно -19,6 ppm, увесь прогін -20,6 ppm120 с: вікно -50,5 ppm, увесь прогін -24,3 ppm135 с: вікно +5,8 ppm, увесь прогін -20,9 ppm150 с: вікно -20,3 ppm, увесь прогін -20,9 ppm165 с: вікно -23,6 ppm, увесь прогін -21,1 ppm180 с: вікно -13,7 ppm, увесь прогін -20,5 ppm195 с: вікно -29,5 ppm, увесь прогін -21,2 ppm210 с: вікно -22,3 ppm, увесь прогін -21,3 ppm225 с: вікно -20,0 ppm, увесь прогін -21,2 ppm240 с: вікно -24,7 ppm, увесь прогін -21,4 ppm255 с: вікно -19,1 ppm, увесь прогін -21,3 ppm270 с: вікно -22,2 ppm, увесь прогін -21,3 ppm285 с: вікно -62,0 ppm, увесь прогін -23,5 ppm300 с: вікно +9,2 ppm, увесь прогін -21,9 ppmодне вікно 15 с, на 61 ppm повільнішеувесь прогін досі15-секундне вікноувесь прогін досі
Частота проти RTC, у мільйонних частках (ppm) від цифри ядра. Окремі вікна стрибають парами; цифра за весь прогін вирівнюється на 21–22 ppm повільніше вже за першу хвилину і там і лишається.

Вікна виглядають гірше, ніж є. Запізнілий тік RTC робить одне вікно довгим, а наступне коротким, тож похибки йдуть парами, які взаємно гасяться: на 61 мільйонну частку (ppm) повільніше на 30 секунді, на 15 ppm швидше на 60. Дрейф сам себе не гасить. Цифра за весь прогін ледь зрушила.

Цифра за весь прогін усі п’ять хвилин стоїть на 22 ppm нижче за 2096,073 МГц ядра. Це різниця між двома кварцами, і вона не рухалася. chrony, що підрулював годинник за інтернет-серверами часу, мав його на 16–19 ppm повільнішим10. Той самий напрямок, та сама величина.

Зсуви перескакують між тими самими кількома значеннями, 10, 21 і 33 такти в обидва боки, і жодне ядро не відходить убік. Це шум від кругового обміну приблизно в 550 тактів. Перевірка tscsync деякі з них усе ще назвала б BAD. Ядро не назвало б.

Чи втримався TSC? Так, за кожним показником, який у мене був. П’ять хвилин після одного завантаження це досі не серія завантажень. Далі та сама перевірка після довгого аптайму і ще раз після кількох перезапусків.

Виправлення має бути в прошивці

tscsync не мав би існувати. Його власний README так і каже: виробникам прошивок раді запропонувати підхід і код, «which is where this should be fixed»1. У Lenovo є вихідний код. В автора tscsync було лише те, що міг сказати його ноутбук, і логи 80 завантажень1.

Ось що не відпускає. Щоб виміряти, діагностувати й обійти несправність, знадобився сторонній чоловік поза компанією, тоді як фірма, що продала залізо, перевіряла його на єдиній операційній системі, яка ховає несправність. Машина, яку ти не можеш полагодити, бо її прошивка закрита, насправді не твоя, вона в тебе в оренді з умовами. Відкрита прошивка з підписаними оновленнями дозволила б виправити це один раз, як слід, будь-кому, кому не байдуже.

А поки що, добра робота від автора tscsync. Спершу режим вимірювання, захист від зависання, цифри на виду і чесний вердикт навіть тоді, коли він розходиться з ядром. Саме так і треба будувати низькорівневі інструменти.

Кожен хост KVM з тією самою прошивкою

На ноутбуці це коштує трохи затримки і трохи батареї. На гіпервізорі за це платить ще й кожен гість, і ніщо з подальшого не залежить від Proxmox. Усе це живе в коді KVM ядра Linux, тож воно однакове на будь-якому хості на KVM, хоч що там зверху: Proxmox VE, oVirt, OpenStack чи звичайні QEMU і libvirt11.

Що робить KVM, коли хост втрачає TSC

KVM дає гостям стабільний годинник лише тоді, коли сам хост працює на TSC. У вихідному коді ядра головний годинник, одне спільне джерело часу для всіх vCPU у ВМ, вмикається лише якщо host_tsc_clocksource істинне12. Перейди на HPET, і він вимикається, а кілька речей змінюються одночасно:

Хост на TSCХост на HPET, TSC позначено нестабільним
Головний годинник KVM12увімкненовимкнено
vCPU переходить на інше ядро12нічого оновлюватипримусове оновлення годинника на кожному vCPU цієї ВМ, до 10 разів на секунду
Зсув TSC гостя12не чіпаєтьсяпереписується при кожному переході і переводиться в режим наздоганяння
PVCLOCK_TSC_STABLE_BIT для гостей12встановленоне встановлено
clock_gettime() у гості13читається в просторі користувачасистемний виклик, вирішується один раз при завантаженні гостя
Читання годинника гостем між vCPU14незалежнікожне читання звіряється з одним спільним глобальним значенням

Останній рядок погано масштабується. Без стабільного біта ядро гостя не може довіряти, що годинник кожного vCPU збігається з іншими, тож кожне читання порівнюється з «last_value, a global accumulator» і підставляється атомарним compare-and-exchange, якщо воно новіше14. Кожен vCPU гостя пише в це одне значення. Що більше vCPU читають годинник, то довша черга до нього.

Ніщо з цього не з’являється як помилка. Джерело годинника гостя й далі показує kvm-clock, і ніщо в гості не скаже тобі, чому він став повільнішим.

Як джерело годинника хоста доходить до гостя KVMХост на TSCДжерело годинника хоста: tscодна інструкція для читанняГоловний годинник KVM увімкненостабільний біт для гостейГість читає в просторі користувачаvDSO, близько 28 нсХост на HPETДжерело годинника хоста: hpetпохід до пристрою-таймераГоловний годинник KVM вимкненобез стабільного біта, оновлення на кожен перехід vCPUГість робить системний викликодне спільне значення, близько 190 нсТой самий код ядра на Proxmox VE, oVirt, OpenStack чи звичайних QEMU і libvirt
Джерело годинника хоста вирішує, що отримає кожен гість. На TSC гості читають годинник у просторі користувача. На HPET KVM вимикає головний годинник, кожен перехід vCPU примушує оновлювати годинник, а кожне читання годинника гостем стає системним викликом, що звіряється з одним значенням, спільним для всіх vCPU.

Скільки це коштує, виміряно

Я виміряв це на цьому ноутбуці, а не лишив теорією. Джерело годинника хоста можна перемкнути на ходу, і це вимикає головний годинник KVM так само, як відкат під час завантаження. Одноразовий гість завантажив власне ядро хоста з 4 vCPU і крихітним initramfs, єдина програма якого вимірює clock_gettime(). Два прогони кожним способом, спершу хост, потім гість:

Наносекунди на читання годинника, хост на TSC проти хоста на HPETХостшкала від 0 до 2400 нсХост, 1 потік, хост на TSC: 24 нс24 нсХост, 1 потік, хост на HPET: 1542 нс1542 нс1 потікХост, усі 8 ядер, хост на TSC: 29 нс29 нсХост, усі 8 ядер, хост на HPET: 1922 нс1922 нсусі 8 ядерГість, 4 vCPUшкала від 0 до 300 нсГість, 4 vCPU, 1 vCPU, хост на TSC: 28 нс28 нсГість, 4 vCPU, 1 vCPU, хост на HPET: 187 нс187 нс1 vCPUГість, 4 vCPU, усі 4 vCPU, хост на TSC: 31 нс31 нсГість, 4 vCPU, усі 4 vCPU, хост на HPET: 244 нс244 нсусі 4 vCPUджерело годинника хоста tscджерело годинника хоста hpet
Наносекунди на виклик clock_gettime(), середнє двох прогонів кожним способом. Хост на HPET стає в 61–73 рази повільнішим; гість приблизно в 7 разів з одним vCPU і у 8 з усіма чотирма. Панелі мають різні шкали, бо стовпці HPET хоста сплющили б стовпці гостя.

Гість не платить ціну HPET напряму, бо kvm-clock під капотом усе ще читає TSC. Він втрачає читання в просторі користувача і незалежність між vCPU, і вже одне це в сім разів повільніше. Коли всі чотири vCPU читають одночасно, ціна росте ще, і це працює те спільне глобальне значення. Гість із 32 чи 64 vCPU стоятиме в цій черзі довше. Цього я не міряв.

Покладімо на це цифру. Гість, що читає годинник мільйон разів на секунду на одному vCPU, витрачає на це 2,8 % цього vCPU на здоровому хості і 19 % на цьому. Бази даних, Java Virtual Machine (JVM) і все інше, що ставить мітки часу на свою роботу, читають годинник багато.

Цей прогін ще й занижує ціну. Ручне перемикання джерела годинника вимикає головний годинник, але не позначає TSC нестабільним, тож переписування зсуву з таблиці вище так і не відбулися. Відкат під час завантаження на цьому E595 позначає його нестабільним, і хост у такому стані платить за обидва.

clockbench.c, бенчмарк, запускається на хості або як init гостя clockbench.c · 2 kB

Як перевірити хост, і межі

Чому годинники гостей крихкі взагалі, я пояснював у дописі про ptp_kvm; тут та сама проблема приходить знизу. Перевіряй хост, а не гостя:

journalctl -k -b | grep -iE 'TSC warp|TSC unstable'
cat /sys/devices/system/clocksource/clocksource0/current_clocksource

tscsync запускається з GRUB або systemd-boot1, і це покриває більшість хостів KVM. Proxmox VE використовує GRUB, або systemd-boot на встановленні UEFI з ZFS як коренем і вимкненим Secure Boot15. Але будь чесним щодо меж, перш ніж підпускати це до робочого вузла.

МежаЩо з цим робити
Лише AMD Zen і Hygon1хости Intel з TSC_ADJUST ядро вже виправляє
Кожна машина в його списку заліза це ноутбук4вважай сервер неперевіреним і повідом про результат
Режим синхронізації відмовляється працювати на залізі поза списком, якщо ти явно не погодишся1прочитай чому, перш ніж це обходити
Перше завантаження з синхронізацією може зависнутиспершу режим вимірювання, відкрита позасмугова консоль, один вузол за раз
Оновлення BIOS може виправити несправністьпісля нього поверни режим вимірювання і перевір1
Чиста синхронізація все одно може втратити TSC через сторожаперевіряй current_clocksource після кожного завантаження; tsc=nowatchdog, якщо причина в стороже, а потім вимірюй сам

Несправність прошивки, що коштує ноутбуку трохи батареї, коштує гіпервізору шматок кожного гостя, якого він запускає, кожну секунду роботи, і власники гостей ніяк цього не побачать. Ось чому варто перевіряти current_clocksource на кожному хості, який ти тримаєш, хоч би хто його зробив.


  1. tscsync README — що він робить, ціна читання годинника на HPET, чому tsc=reliable не виправлення, модель безпеки і правило UNSURE. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. Linux kernel — arch/x86/kernel/tsc_sync.c — обробка TSC_ADJUST, тест перекосу і повідомлення «Measured %Ld cycles TSC warp between CPUs, turning off TSC clock.». ↩︎ ↩︎ ↩︎

  3. tscsync — docs/DESIGN.md — в AMD Zen немає IA32_TSC_ADJUST, tsc=directsync відхилено апстрімом, Windows сама записує TSC під час завантаження, і перекіс масштабується з часом у прошивці на Legion Pro 5. ↩︎ ↩︎ ↩︎

  4. tscsync — docs/HARDWARE.md — перевірені машини, ядра IdeaPad 5, прийняті на рівні від -28 до -42 тактів, і повідомлені виправлення BIOS на A485, E495 і T14s Gen 1. ↩︎ ↩︎ ↩︎ ↩︎

  5. Lenovo — BIOS Update Utility readme, ThinkPad E495/E595, version 1.30 — обидві моделі в одному пакеті, історія версій до 1.30 (14 травня 2024) і її список змін. ↩︎ ↩︎

  6. Linux kernel — kernel/time/clocksource.c — сторожовий механізм джерела годинника, його порівняння інтервалів і повідомлення «Marking clocksource %s unstable due to frequency skew». ↩︎

  7. Linux kernel — kernel-parameters — tsc=reliable вимикає перевірку під час роботи і перевірки стабільності під час завантаження; tsc=nowatchdog вимикає лише сторожовий механізм джерела годинника. ↩︎

  8. tscsync issue #1 — Lenovo ThinkPad E595 — звіти для 1.28 і 1.30, аналіз сторожа і запропоновані зміни. ↩︎

  9. Linux kernel — Real Time Clock (RTC) Drivers for Linux — «The clock can also be set to generate an interrupt upon every clock update, thus generating a 1Hz signal», читається через /dev/rtc. ↩︎

  10. chrony — chronyc manual — tracking: «The ‘frequency’ is the rate by which the system’s clock would be wrong if chronyd was not correcting it.» ↩︎

  11. KVM — Management Tools — Proxmox VE, oVirt, OpenStack та інструменти на основі libvirt, усі керують KVM. ↩︎

  12. Linux kernel — arch/x86/kvm/x86.c — pvclock_update_vm_gtod_copy(): «If the host uses TSC clock, then passthrough TSC as stable to the guest», і PVCLOCK_TSC_STABLE_BIT встановлюється лише з головним годинником. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  13. Linux kernel — arch/x86/kernel/kvmclock.c — гість вмикає годинник простору користувача VDSO_CLOCKMODE_PVCLOCK лише тоді, коли встановлено PVCLOCK_TSC_STABLE_BIT. ↩︎

  14. Linux kernel — arch/x86/kernel/pvclock.c — без PVCLOCK_TSC_STABLE_BIT кожне читання звіряється з «last_value, a global accumulator» атомарним compare-and-exchange. ↩︎ ↩︎

  15. Proxmox VE — Host Bootloader — типово GRUB, systemd-boot для встановлень UEFI з коренем на ZFS і вимкненим Secure Boot. ↩︎