Założenie, które robi każdy zegar

Zegar komputera działa tak, że liczy coś regularnego i ufa, że to liczenie trwa. Kryształ oscyluje, licznik się zwiększa, a oprogramowanie przelicza, ile czasu minęło.

Wirtualizacja łamie część z zaufaniem.

Dokumentacja jądra o mierzeniu czasu w KVM ujmuje problem w jednym zdaniu: „the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.” Wszystko poniżej z tego wynika.

Twój vCPU nie zawsze działa

vCPU to wątek na hoście. Działa wtedy, gdy pozwoli mu planista hosta.

Gdy nie działa, gość nie jest po prostu bezczynny: jest nieobecny. Nie może liczyć, nie może obsłużyć przerwania zegarowego i nie ma jak się dowiedzieć, jak długo go nie było. Host śledzi to jako steal time, co jest uczciwą nazwą na „czas, który ci się przydarzył, a nie był dla ciebie”.

Najbardziej boli to przy przerwaniach zegarowych. Gość, który prosi o okresowy tick, prosi hosta o dostarczanie przerwań ze stałą częstotliwością, a host nie zawsze może to zapewnić. Znowu z dokumentacji jądra: „the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.”

Dlaczego ticki zegara gościa przestają być równo rozłożoneGoły sprzęt: procesor jest zawsze twójdziałaticki zegara, równo rozłożone: ich liczenie daje ci czasW VM: vCPU to wątek u cudzego planistydziaławywłaszczonywywłaszczonyticki należne w przerwach przychodzą późno, stłoczone albo wcaleGość nie widzi przerywanych okresów. Od środka zegar po prostu wytworzył mniej ticków, niżpowinien, dlatego dokumentacja jądra mówi, że czas gościa „may fall behind”, gdyhost nie może dostarczyć przerwań, o które prosił.Host nazywa przerywane obszary steal time. Gość nie nazywa ich wcale, bo gotam nie było.
Własny obraz gościa to dolny wiersz: ticki, które przychodzą spóźnione, ticki, które przychodzą seriami, i przerwy, których nie umie wyjaśnić. Mierzy planistę hosta w takim samym stopniu jak upływ czasu.

Im wyższa częstotliwość ticków, tym gorzej, a przeciążony host pogarsza to jeszcze bardziej. To też powód, dla którego zajęty host psuje mierzenie czasu spokojnym gościom. Wszyscy stoją w kolejce do tych samych fizycznych rdzeni.

Liczniki też nie są twoje

Jeśli okresowe ticki są niewiarygodne, oczywista odpowiedź to czytać licznik. To ma własne problemy.

TSC jest tym szybkim, a dokumentacja jądra mówi o nim bez ogródek: „The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.” Jego tempo może się zmieniać ze stanami zasilania procesora, a na starszych układach staje całkiem, gdy rdzeń jest bezczynny. vCPU, który migruje między fizycznymi rdzeniami, może więc odczytać licznik, który nie zgadza się z tym, który odczytał mikrosekundę temu.

Alternatywy są gorsze w inny sposób. HPET, PIT i zegar ACPI PM to urządzenia emulowane, więc każdy odczyt to pułapka do hiperwizora. Poprawne i na tyle drogie, że gość czytający zegar w gorącej pętli to zauważy.

Dlatego istnieją zegary parawirtualne. Na KVM kvm-clock pozwala hostowi publikować własny pomiar czasu we współdzielonej strukturze, którą gość czyta bezpośrednio: bez pułapki, bez liczenia, bez założenia, że gość był przytomny. To też powód, by zostawić źródło zegara gościa w spokoju, zamiast wymuszać tsc albo hpet, bo post na forum mówił, że jest szybszy.

Migracja, snapshoty i uśpienie

Migracja na żywo, przywrócenie snapshotu i uśpienie z wybudzeniem robią z zegarem gościa to samo: zatrzymują go, a potem uruchamiają znowu gdzie indziej.

To, co widzi gość, to nie dryf, tylko skok. Zegar miał jedną wartość, a teraz ma inną, a pomiędzy nie ma nic. Migracja na host, którego TSC chodzi z inną częstotliwością, jeszcze to pogarsza.

Skoki mają znaczenie, bo oprogramowanie korygujące zegary zbudowano do korygowania dryfu, a nie teleportacji.

To nie jest problem KVM

Kusi, żeby czytać to wszystko jako słabość KVM. To nie to.

Każdy hiperwizor ma zegar parawirtualny, bo każdy hiperwizor ma ten sam problem konstrukcyjny: KVM ma kvm-clock, Hyper-V ma swoją stronę referencyjnego TSC, VMware ma pseudolicznik wydajności plus synchronizację przez Tools, Xen ma swój pvclock. To cztery niezależne implementacje jednego obejścia.

Wniosek samej dokumentacji jądra jest taki, że nie ma tu idealnego rozwiązania. Są tylko kompromisy między dokładnością, wydajnością i złożonością.

Jeśli wolisz to usłyszeć od producenta, a nie od programistów jądra, granica wsparcia Microsoftu dla czasu wysokiej dokładności jest zaskakująco szczera. Żeby deklarować dokładność 50 ms na zwirtualizowanym systemie Windows, jednym z podanych wymagań jest to, że „the one-day average CPU utilization of the host must not exceed 90%.” Dla 1 ms host musi zostać poniżej 80%.

Przeczytaj to jeszcze raz: dokładność zegara gościa jest udokumentowana jako zależna od tego, jak zajęty jest host. To nie dziwactwo Windowsa, to ta sama fizyka, którą opisuje dokumentacja jądra, zapisana jako granica wsparcia.

Trzy warstwy mierzenia czasu w gościu i które z nich naprawdę do niego należąSynchronizacja czasu rzeczywistegoktóra jest naprawdę godzinaNTP przez siećjitter, asymetria, stratumhiperwywołanie ptp_kvmpyta hosta bezpośrednioZegar parawirtualnyhost publikuje własny pomiar czasuKażdy hiperwizor go ma,bo każdy ma ten problem:kvm-clockstrona TSC Hyper-VVMware pseudo-perfXen pvclockcztery niezależne implementacje jednego obejściaLiczniki sprzętowew VM nie twojeTSCHPETPITzegar ACPI PMlokalne dla CPU, o zmiennym tempie lub emulowane: każdy odczyt to pułapkaGość posiada swój wybór na górze. Środkowa warstwa to hiperwizor pożyczający mu zegar, którychodził przez cały czas.
Trzy warstwy, a gość naprawdę posiada tylko najwyższą. Zegar parawirtualny każdego hiperwizora istnieje po to, by obejść tę samą brakującą gwarancję w warstwie niżej.

Dlaczego NTP w gościu to złe narzędzie

NTP jest dobry w tym, do czego go zaprojektowano: maszyna z prawdziwym oscylatorem, który chodzi trochę za szybko albo za wolno, korygowana przez pomiar czasu w obie strony do zdalnego serwera i łagodne przyspieszanie lub spowalnianie lokalnego zegara.

Każde z tych założeń w VM się chwieje.

Lokalny oscylator nie jest trochę nie tak, tylko co jakiś czas go nie ma. Pomiar w obie strony robi proces, który może zostać wywłaszczony między odczytem zegara a wysłaniem pakietu, co psuje sam pomiar. A korekty potrzebne po migracji to skoki, z którymi algorytm łagodnej korekty radzi sobie źle albo wprost odmawia.

chrony radzi sobie tu dużo lepiej niż ntpd. Szybciej koryguje, toleruje skoki i jest uczciwy co do własnej niepewności. Ale dalej rozwiązuje zły problem: ciągnie czas przez sieć z serwera stratum 2 oddalonego o 20 ms, podczas gdy poprawny czas leży w hiperwizorze po drugiej stronie jednej granicy pamięci.

W praktyce dostajesz gościa, który przeważnie ma rację, czasem myli się o dziesiątki albo setki milisekund i nigdy nie jest w stanie ci powiedzieć, kiedy jest które.

Co naprawdę psuje rozjazd

Nikogo nie obchodzą zegary same w sobie. Obchodzą wtedy, gdy coś przestaje działać.

Kerberos i Active Directory

Kerberos z założenia zależy od czasu, bo ważność biletu wyraża się jako okno czasowe.

Dokumentacja krb5.conf od MIT definiuje clockskew jako „the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid”, a wartość domyślna to 300 sekund, czyli pięć minut.

Przekrocz to, a uwierzytelnianie nie słabnie, tylko pada. Ponieważ uwierzytelnianie w Active Directory to Kerberos, chodzi o logowania do domeny, net use, połączenia z SQL Serverem, Exchange, udziały plików: o wszystko. Pięć minut brzmi hojnie, dopóki gość nie cofnie się w czasie po przywróceniu snapshotu.

TLS

Certyfikat ma okno ważności: notBefore i notAfter. Gość, którego zegar się spóźnia, odrzuci certyfikat wystawiony dziś rano, bo z jego punktu widzenia certyfikat jeszcze nie jest ważny. Gość, którego zegar się spieszy, odrzuci taki, który wcale nie wygasł.

Ta sama arytmetyka rządzi świeżością OCSP i CRL, polami nbf/exp w JWT i kodami TOTP do uwierzytelniania wieloskładnikowego, które żyją w 30-sekundowych oknach. Zegar przesunięty o 45 sekund to awaria uwierzytelniania z bardzo mylącym komunikatem błędu.

Ceph

Monitorom Ceph zależy na tym bardziej niż na prawie czymkolwiek innym w stosie, bo od tego zależy ich konsensus.

Kontrola zdrowia MON_CLOCK_SKEW odpala, gdy „the clocks on hosts running Ceph Monitor daemons are not well-synchronized”. Konkretnie, gdy rozjazd przekracza mon_clock_drift_allowed. Rada z dokumentacji to synchronizacja przez ntpd albo chrony z wieloma źródłami, z zaznaczeniem, że szczególnie liczy się synchronizacja monitor z monitorem.

Możesz podnieść mon_clock_drift_allowed, ale dokumentacja jasno mówi, że musi zostać „significantly below the mon_lease interval”. W związku z tym to mały budżet, a wydawanie go na zaklejanie problemu z mierzeniem czasu w hiperwizorze to kiepska wymiana.

Cała reszta

Logi z różnych hostów przestają się ze sobą zgadzać, co zmienia oś czasu incydentu w zgadywanie. Replikacja baz danych i rozproszony konsensus (etcd, Galera, wszystko, co używa dzierżaw lidera) zaczynają się krzywić. Okna kopii zapasowych i monitoringu rozjeżdżają się z tym, co miały obserwować.

Goście Windows rozjeżdżają się inaczej

Windows zasługuje na osobną uwagę, bo jego usługę czasu zbudowano z innymi celami i to widać.

Microsoft mówi wprost, że wersje przed Windows 10 1607 / Server 2016 „can’t guarantee highly accurate time”. Usługa Windows Time zapewniała w tych wydaniach „the necessary time accuracy to satisfy Kerberos version 5 authentication requirements” oraz „loosely accurate time” dla maszyn we wspólnym lesie AD. Cokolwiek dokładniejszego było „outside of the design specification… and weren’t supported.”

Innymi słowy, starszy Windows stara się zmieścić w pięciominutowym oknie Kerberosa, a nie mieć rację. Co jest w porządku, dopóki coś w twoim środowisku nie potrzebuje więcej. Zwirtualizowany Windows przesunięty o 90 sekund będzie wesoło się uwierzytelniał, pisząc logi, których nie da się z niczym zestawić.

Windows 10 i Server 2016 wzwyż potrafią 1 s, 50 ms, a nawet 1 ms, ale tylko w warunkach zacytowanych wcześniej, łącznie z limitami obciążenia procesora hosta. Microsoft zaznacza też, że „anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy”. Przeciążony vCPU to wysokie obciążenie procesora na systemie docelowym pod inną nazwą.

Dla Windowsa nie ma ptp_kvm. Co masz zamiast tego:

  • Usprawnienia zegara Hyper-V. Proxmox już je udostępnia gościom Windows. PVE::QemuServer::CPUConfig ustawia hv_time obok hv_vapic, hv_spinlocks, hv_relaxed i hv_synic. hv_time to zegar parawirtualny i odpowiednik kvm-clock po stronie Windowsa. Jest domyślnie włączony dla VM typu Windows; nie ma czego włączać.
  • Agent gościa QEMU. Z zainstalowanym agentem host może wepchnąć swój czas do gościa po wybudzeniu albo przywróceniu snapshotu, co załatwia przypadek skoku, z którym NTP radzi sobie najgorzej.
  • Wybierz jeden autorytet. Klasyczna awaria Windowsa w VM to dwa źródła czasu, które się biją: synchronizacja host-gość i synchronizacja z hierarchii domeny, obie korygujące ten sam zegar w przeciwnych kierunkach. Dla gościa w domenie niech wygra hierarchia domeny, a host przestanie mu wpychać czas. Dla gościa samodzielnego synchronizacja z hosta jest w porządku. Nigdy obie naraz.

Jeśli chcesz wiedzieć dokładnie, co twój hiperwizor mówi danej VM o czasie, zapytaj go, zamiast zgadywać:

# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags
qm showcmd <vmid> --pretty

Poprawka na QEMU/KVM: ptp_kvm

Dla gości z Linuksem na KVM jest porządna odpowiedź i nie brzmi ona „więcej serwerów NTP”.

ptp_kvm pozwala gościowi zapytać hosta, która jest godzina, bezpośrednio, przez hiperwywołanie: KVM_HC_CLOCK_PAIRING na x86 i równoważne wywołanie firmware na arm64. Jądro przedstawia to jako urządzenie zegara sprzętowego PTP, więc z przestrzeni użytkownika wygląda jak każde inne precyzyjne źródło zegara, a chrony może go używać jako zegara referencyjnego.

Właściwości, które się liczą:

  • Bez sieci. Bez jittera, bez asymetrii, bez stratum, bez pakietów. Ścieżka to granica pamięci.
  • Poniżej mikrosekundy. Dokładność ogranicza hiperwywołanie, a nie podróż w obie strony przez centrum danych.
  • Omija zepsutą część. Gość niczego nie liczy i nie szacuje podróży w obie strony. Czyta wartość, którą host obliczył zegarem, który chodził przez cały czas.
NTP przez sieć kontra ptp_kvm przez granicę pamięcichrony z pulami sieciowymigośćzegar ciągle stajesiećjitter, asymetriaserwer stratum 2dziesiątki ms dalejpodróż w obie strony mierzy zegar, który jest korygowanya proces, który mierzy, może zostać wywłaszczony w trakcie pomiaruchrony z ptp_kvmgośćczyta /dev/ptp_kvmzegar hostanigdy nie stanąłhiperwywołanieKVM_HC_CLOCK_PAIRINGgranica pamięci, nie siećponiżej µsBez pakietów, bez stratum, bez asymetrii i bez szacowania. Gość nie wylicza, która jestgodzina: słyszy ją od jedynego uczestnika, który przez cały ten czas był przytomny.
Obie ścieżki kończą się tym, że gość ustawia swój zegar. Jedna mierzy podróż przez sieć w obie strony zegarem, który ciągle staje; druga pyta hiperwizora.

Wdrożenie

Zastosuj to na każdej VM z Linuksem, która ma sterownik. Hiperwizor hosta potrzebuje własnego działającego NTP albo PTP. ptp_kvm daje gościowi czas hosta, więc dziedziczy błąd hosta.

1. Ładuj moduł jądra przy starcie.

# /etc/modules-load.d/ptp_kvm.conf
ptp_kvm

2. Nadaj mu stałą nazwę i pozwól chrony go czytać.

# /etc/udev/rules.d/90-ptp-kvm.rules
ACTION=="add", SUBSYSTEM=="ptp", ATTR{clock_name}=="kvm", SYMLINK+="ptp_kvm", GROUP="chrony", MODE="0660"

Dowiązanie ma znaczenie, bo numeracja urządzeń PTP nie jest stała. /dev/ptp0 może być przy jednym starcie zegarem karty sieciowej, a przy następnym zegarem KVM. Dopasowanie po clock_name za każdym razem trafia we właściwy.

3. Wskaż go chrony i usuń pule.

Edytuj /etc/chrony/chrony.conf na Debianie i Ubuntu albo /etc/chrony.conf w rodzinie RHEL. Usuń linie pool i użyj:

refclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004

Usunięcie pul to nie opcjonalne sprzątanie. Zostawienie ich każe chrony godzić lokalne źródło o dokładności poniżej mikrosekundy z serwerami w internecie oddalonymi o dziesiątki milisekund, a źródła internetowe mogą odpowiedź tylko pogorszyć.

4. Zrestartuj i sprawdź.

systemctl restart chronyd    # or chrony, on Debian/Ubuntu

Weryfikacja

# The symlink exists and points at the KVM clock
ls -l /dev/ptp_kvm
cat /sys/class/ptp/ptp*/clock_name

# chrony should be using PHC0 as its selected source
chronyc sources -v

# and the offset should be microseconds, not milliseconds
chronyc tracking

W chronyc sources zegar referencyjny PHC pojawia się jako #* PHC0, gdy zostanie wybrany. # oznacza lokalne źródło sprzętowe, a nie sieciowego partnera, a * oznacza, że jest tym używanym. Jeśli widzisz go na liście, ale niewybranego, chrony go nie przyjął: sprawdź uprawnienia do urządzenia i to, czy grupa chrony w regule udev zgadza się z użytkownikiem, jako który chrony naprawdę działa w twojej dystrybucji.

Zastrzeżenia

  • Host musi mieć rację. To sprawia, że gość zgadza się z hostem, co przydaje się tylko wtedy, gdy host zgadza się z rzeczywistością. Daj hiperwizorom prawdziwe NTP albo PTP.
  • Każdy gość tego potrzebuje. Flota, w której połowa VM używa ptp_kvm, a połowa pul internetowych, to flota z dwoma autorytetami czasu.
  • Migracja na żywo jest w porządku i właśnie o to chodzi. Po migracji gość czyta zegar nowego hosta. O ile hosty zgadzają się między sobą, gość nigdy nie widzi skoku.
  • Tylko KVM. To hiperwywołanie KVM. Zagnieżdżone albo obce hiperwizory nie pokażą urządzenia, a reguła udev po prostu nie zadziała. To czysta porażka, a nie cicha zła odpowiedź.

Czego nie robić

  • Nie wymuszaj źródła zegara. Zostaw kvm-clock w spokoju. Wymuszenie tsc albo hpet w wierszu poleceń jądra gościa wymienia zegar parawirtualny, zaprojektowany na tę sytuację, na licznik, który nigdy nie był twój.
  • Nie uruchamiaj ntpdate ani hwclock z crona. To skok według harmonogramu, czyli dokładnie to, czego nienawidzą bazy danych i Kerberos.
  • Nie trzymaj pul „na zapas”. Przy działającym zegarze referencyjnym to nie zapas, tylko druga opinia z gorszego źródła.
  • Nie podnoś mon_clock_drift_allowed i nie nazywaj tego naprawą. Wydałeś część budżetu, który istnieje na realia sieci, żeby tolerować problem ze znanym rozwiązaniem.

To ostatnie warto powiedzieć wprost: poszerzenie progu to nie naprawa zegara. To przesunięcie alarmu, żeby przestał dzwonić.

Źródła