Припущення, яке робить кожен годинник
Годинник комп’ютера працює так: він рахує щось регулярне і вірить, що це рахування не зупиняється. Кристал коливається, лічильник збільшується, а програма вираховує, скільки часу минуло.
Віртуалізація ламає саме частину з вірою.
Власна документація ядра про облік часу в KVM описує проблему одним реченням: «the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.» Усе, що нижче, випливає з цього.
Твій vCPU працює не завжди
vCPU це потік на хості. Він працює тоді, коли так вирішить планувальник хоста.
Коли він не працює, гість не просто простоює, його немає. Він не може рахувати, не може обробити переривання таймера і не має жодного способу дізнатися, як довго його не було. Хост обліковує це як steal time, і це чесна назва для «часу, який стався з тобою, а не для тебе».
Найбільше це болить на перериваннях таймера. Гість, який просить періодичний тік, просить хост доставляти переривання з фіксованою частотою, а хост не завжди може це зробити. Знову з документації ядра: «the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.»
Що вища частота тіків, то гірше, а перевантажений хост робить ще гірше. Тому ж зайнятий хост погіршує облік часу і в тихих гостей. Усі вони стоять у черзі до тих самих фізичних ядер.
Лічильники теж не твої
Якщо періодичні тіки ненадійні, очевидна відповідь: читати лічильник. У цього свої проблеми.
TSC швидкий, і документація ядра каже про нього прямо: «The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.» Його частота може змінюватися зі станами живлення процесора, а на старіших чіпах він узагалі зупиняється, коли ядро простоює. Тож vCPU, що переходить між фізичними ядрами, може прочитати лічильник, який не збігається з тим, що він прочитав мікросекунду тому.
Альтернативи погані по-іншому. HPET, PIT і таймер ACPI PM усі емульовані пристрої, тож кожне читання це пастка в гіпервізор. Правильно, і досить дорого, щоб гість, який читає годинник у гарячому циклі, це помітив.
Ось чому існують паравіртуальні годинники. На KVM kvm-clock дає хосту публікувати власний облік часу в спільну структуру, яку гість читає напряму: без пастки, без рахування, без припущення, що гість не спав.
І ось чому джерело годинника гостя краще не чіпати, а не примушувати tsc чи hpet, бо на форумі хтось написав, що так швидше.
Міграція, знімки і призупинення
Жива міграція, відновлення зі знімка і призупинення з відновленням роблять із годинником гостя одне й те саме: зупиняють його, а потім запускають знову деінде.
Гість бачить не дрейф, а стрибок. Годинник мав одне значення, а тепер має інше, і нічого між ними. Міграція на хост, чий TSC працює з іншою частотою, це ще й посилює.
Стрибки мають значення, бо програми, що коригують годинник, створені виправляти дрейф, а не телепортацію.
Це не проблема KVM
Усе вищесказане кортить прочитати як недолік KVM. Це не так.
Кожен гіпервізор має паравіртуальний годинник, бо в кожного гіпервізора та сама структурна проблема: у KVM є kvm-clock, у Hyper-V його reference TSC page, у VMware псевдолічильник продуктивності плюс синхронізація через Tools, у Xen його pvclock. Це чотири незалежні реалізації одного обхідного шляху.
Власний висновок документації ядра такий: ідеального рішення тут немає. Лише компроміси між точністю, продуктивністю і складністю.
Якщо хочеш почути це від виробника, а не від розробників ядра, межа підтримки Microsoft для високоточного часу напрочуд відверта. Щоб заявити точність 50 мс на віртуалізованій системі Windows, одна з названих вимог: «the one-day average CPU utilization of the host must not exceed 90%.» Для 1 мс хост має триматися нижче 80 %.
Прочитай це ще раз: точність годинника гостя задокументована як умовна, залежна від того, наскільки зайнятий хост. Це не примха Windows, це та сама фізика, яку описує документація ядра, записана як межа підтримки.
Чому NTP усередині гостя це не той інструмент
NTP добре робить те, для чого його створили: машина зі справжнім осцилятором, який трохи поспішає чи відстає, виправляється вимірюванням часу проходження до віддаленого сервера і м’яким підтягуванням місцевого годинника.
У VM кожне з цих припущень хитке.
Місцевий осцилятор не трохи неправильний, його часом просто немає. Час проходження вимірює процес, який можуть зняти з виконання між читанням годинника і відправленням пакета, і це псує саме вимірювання. А виправлення після міграції це стрибки, які алгоритм плавного підтягування обробляє погано або відмовляється обробляти взагалі.
chrony справляється тут куди краще, ніж ntpd. Він підтягує швидше, терпить стрибки і чесно каже про власну невизначеність. Але він усе одно розв’язує не ту задачу: тягне час мережею з сервера stratum 2 за 20 мс, коли правильний час лежить у гіпервізорі по той бік однієї межі пам’яті.
На практиці виходить гість, який здебільшого правий, час від часу збивається на десятки чи сотні мілісекунд і ніколи не може сказати, коли саме.
Що насправді ламає розбіжність
Годинник сам по собі нікого не цікавить. Він цікавить, коли щось перестає працювати.
Kerberos і Active Directory
Kerberos залежить від часу за задумом, бо дійсність квитка виражено як часове вікно.
Документація MIT до krb5.conf визначає clockskew як «the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid», і типове значення 300 секунд, тобто п’ять хвилин.
Перейди цю межу, і автентифікація не погіршується, вона ламається.
Оскільки автентифікація Active Directory це Kerberos, це означає входи в домен, net use, підключення до SQL Server, Exchange, файлові ресурси, усе разом.
П’ять хвилин звучать щедро, поки гість не стрибне назад після відновлення зі знімка.
TLS
Сертифікат має вікно дійсності: notBefore і notAfter.
Гість, чий годинник відстає, відкине сертифікат, виданий сьогодні вранці, бо, наскільки він знає, сертифікат ще не дійсний.
Гість, чий годинник поспішає, відкине той, що насправді ще не сплив.
Та сама арифметика керує свіжістю OCSP і CRL, полями nbf/exp у JWT і кодами багатофакторної автентифікації TOTP, які живуть у 30-секундних вікнах.
Годинник, що збився на 45 секунд, це збій автентифікації з дуже заплутаним повідомленням про помилку.
Ceph
Монітори Ceph переймаються цим більше, ніж майже будь-що інше в стеку, бо від цього залежить їхній консенсус.
Перевірка стану MON_CLOCK_SKEW спрацьовує, коли «the clocks on hosts running Ceph Monitor daemons are not well-synchronized». Конкретно, коли розбіжність перевищує mon_clock_drift_allowed.
Документація радить синхронізуватися через ntpd чи chrony з кількома джерелами і зауважує, що синхронізація між моніторами особливо важлива.
Ти можеш підняти mon_clock_drift_allowed, але документація чітко каже, що значення має лишатися «significantly below the mon_lease interval». Тож це малий бюджет, і витрачати його, щоб замазати проблему обліку часу в гіпервізорі, невигідний обмін.
Усе інше
Журнали з різних хостів перестають зіставлятися, і хронологія інциденту перетворюється на здогадки. Реплікація баз даних і розподілений консенсус, etcd, Galera, усе, що тримає оренду лідера, починають нервувати. Вікна резервного копіювання і моніторингу з’їжджають відносно того, за чим мали стежити.
Гості Windows розходяться інакше
Windows заслуговує окремої примітки, бо її службу часу будували з іншими цілями, і це видно.
Microsoft прямо каже, що версії до Windows 10 1607 / Server 2016 «can’t guarantee highly accurate time». Служба часу Windows на цих випусках давала «the necessary time accuracy to satisfy Kerberos version 5 authentication requirements» і «loosely accurate time» для машин у спільному лісі AD. Точніше за це було «outside of the design specification… and weren’t supported.»
Іншими словами, старіша Windows прагне триматися в п’ятихвилинному вікні Kerberos, а не бути правою. Це нормально, поки щось у твоєму господарстві не потребує кращого. Віртуалізована машина Windows, що збилася на 90 секунд, радо проходитиме автентифікацію і водночас писатиме журнали, які ні з чим не зіставити.
Windows 10 і Server 2016 та новіші можуть дати 1 с, 50 мс чи навіть 1 мс, але лише за умов, наведених вище, включно з обмеженнями на завантаження CPU хоста. Microsoft також зауважує, що «anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy». Перевантажений vCPU це і є високе навантаження CPU на цільовій системі, тільки під іншою назвою.
Для Windows немає ptp_kvm. Натомість у тебе є:
- Годинникові enlightenments Hyper-V. Proxmox уже надає їх гостям Windows.
PVE::QemuServer::CPUConfigвмикаєhv_timeразом ізhv_vapic,hv_spinlocks,hv_relaxedіhv_synic.hv_timeце паравіртуальний годинник, відповідникkvm-clockз боку Windows. Для VM з типом Windows він увімкнений типово, вмикати нічого не треба. - Гостьовий агент QEMU. Зі встановленим агентом хост може передати свій час у гостя після виходу з призупинення чи відновлення зі знімка, і це закриває випадок стрибка, з яким NTP справляється найгірше.
- Обери одне джерело істини. Класичний збій Windows у VM це два джерела часу, що борються між собою: синхронізація з хоста і синхронізація з ієрархії домену, обидві виправляють той самий годинник у протилежні боки. Для гостя в домені нехай перемагає ієрархія домену, а хост хай перестане штовхати йому час. Для окремого гостя синхронізація з хоста годиться. Ніколи обидві разом.
Якщо хочеш точно знати, що твій гіпервізор каже певній VM про час, спитай його, а не вгадуй:
# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags
qm showcmd <vmid> --pretty
Виправлення на QEMU/KVM: ptp_kvm
Для гостей Linux на KVM є правильна відповідь, і це не «більше серверів NTP».
ptp_kvm дає гостю спитати в хоста, котра година, напряму, через гіпервиклик: KVM_HC_CLOCK_PAIRING на x86 і рівноцінний виклик прошивки на arm64.
Ядро подає це як апаратний годинник PTP, тож із простору користувача він виглядає як будь-яке інше точне джерело часу, і chrony може використовувати його як опорний годинник.
Властивості, що мають значення:
- Без мережі. Ні тремтіння, ні асиметрії, ні stratum, ні пакетів. Шлях це межа пам’яті.
- Менше мікросекунди. Точність обмежує гіпервиклик, а не час проходження через дата-центр.
- Він обходить зламану частину. Гість нічого не рахує і не оцінює час проходження. Він читає значення, яке хост обчислив годинником, що працював увесь час.
Впровадження
Застосуй це до кожної VM з Linux, у якої є драйвер. Гіпервізору на хості потрібен власний робочий NTP чи PTP. ptp_kvm передає гостю час хоста, тож успадковує й похибку хоста.
1. Завантажуй модуль ядра під час старту.
# /etc/modules-load.d/ptp_kvm.conf
ptp_kvm
2. Дай йому стабільне ім’я і дозволь chrony його читати.
# /etc/udev/rules.d/90-ptp-kvm.rules
ACTION=="add", SUBSYSTEM=="ptp", ATTR{clock_name}=="kvm", SYMLINK+="ptp_kvm", GROUP="chrony", MODE="0660"
Символьне посилання важливе, бо нумерація пристроїв PTP не стабільна. /dev/ptp0 може бути годинником мережевої карти при одному завантаженні і годинником KVM при наступному. Збіг за clock_name щоразу знаходить правильний.
3. Направ на нього chrony і прибери пули.
Відредагуй /etc/chrony/chrony.conf у Debian і Ubuntu або /etc/chrony.conf у родині RHEL. Видали рядки pool і пропиши:
refclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004
Прибрати пули це не охайність за бажанням. Якщо їх залишити, chrony мусить узгоджувати місцеве джерело з точністю до долі мікросекунди з інтернет-серверами за десятки мілісекунд, і інтернет-джерела можуть лише погіршити відповідь.
4. Перезапусти й перевір.
systemctl restart chronyd # or chrony, on Debian/Ubuntu
Перевірка
# The symlink exists and points at the KVM clock
ls -l /dev/ptp_kvm
cat /sys/class/ptp/ptp*/clock_name
# chrony should be using PHC0 as its selected source
chronyc sources -v
# and the offset should be microseconds, not milliseconds
chronyc tracking
У chronyc sources опорний годинник PHC після вибору показується як #* PHC0. # позначає місцеве апаратне джерело, а не мережевого вузла, а * позначає те, що використовується.
Якщо він у списку, але не вибраний, chrony його не прийняв: перевір права доступу до пристрою і те, що група chrony в правилі udev збігається з користувачем, від якого chrony насправді працює у твоєму дистрибутиві.
Застереження
- Хост має бути правий. Це змушує гостя погоджуватися з хостом, і це корисно лише тоді, коли хост погоджується з реальністю. Дай гіпервізорам справжній NTP чи PTP.
- Він потрібен кожному гостю. Парк, де половина VM використовує
ptp_kvm, а половина інтернет-пули, це парк із двома джерелами часу. - Жива міграція не проблема, у цьому й сенс. Після міграції гість читає годинник свого нового хоста. Якщо хости узгоджені між собою, гість ніколи не бачить стрибка.
- Лише KVM. Це гіпервиклик KVM. Вкладені чи чужі гіпервізори не покажуть пристрій, і правило udev просто не спрацює. Це чиста відмова, а не тиха неправильна відповідь.
Чого не робити
- Не примушуй джерело годинника. Не чіпай
kvm-clock. Примусовіtscчиhpetу командному рядку ядра гостя міняють паравіртуальний годинник, створений саме для цієї ситуації, на лічильник, який ніколи не був твоїм. - Не запускай
ntpdateчиhwclockз cron. Це стрибок за розкладом, саме те, що ненавидять бази даних і Kerberos. - Не лишай пули «про запас». З робочим опорним годинником вони не запас, а друга думка від гіршого джерела.
- Не піднімай
mon_clock_drift_allowedі не вважай, що все виправлено. Ти витратив частину бюджету, що існує для мережевої реальності, щоб терпіти проблему з відомим розв’язком.
Останнє варто сказати прямо: розширити поріг не означає виправити годинник. Це переставити сигналізацію, щоб вона перестала дзвонити.
Джерела
- Linux kernel — KVM timekeeping — чому час гостя відстає, проблема TSC як місцевого годинника процесора і висновок, що існують лише компроміси
- Linux kernel — PTP_KVM — інтерфейс гіпервиклику за пристроєм годинника PTP
- Linux kernel — KVM x86 hypercalls —
KVM_HC_CLOCK_PAIRING, його бік на x86 - chrony — chrony.conf — директива
refclockі параметри драйвера PHC - MIT Kerberos — krb5.conf —
clockskewі його типові 300 секунд - Microsoft — support boundary for high accuracy time — цілі точності та умови щодо завантаження CPU хоста для віртуалізованих систем
- Ceph — health checks —
MON_CLOCK_SKEW,mon_clock_drift_allowedі його зв’язок ізmon_lease