Y Dybiaeth Mae Pob Cloc yn ei Gwneud
Mae cloc cyfrifiadur yn gweithio drwy gyfrif rhywbeth rheolaidd ac ymddiried ei fod yn dal i gyfrif. Mae crisial yn osgiliadu, mae cownter yn cynyddu, ac mae meddalwedd yn lluosi faint o amser sydd wedi mynd heibio.
Mae rhithwiroli’n torri’r rhan ymddiried.
Mae dogfennaeth amseru KVM y cnewyllyn ei hun yn rhoi’r broblem mewn un frawddeg: ‘the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.’ Mae popeth isod yn dilyn o hynny.
Dyw Dy vCPU Ddim yn Rhedeg Drwy’r Amser
Edefyn ar y gwesteiwr yw vCPU. Mae’n rhedeg pan fydd trefnydd y gwesteiwr yn dweud.
Pan nad yw’n rhedeg, dyw’r gwestai ddim yn segur yn unig: mae yn absennol. All e ddim cyfrif, all e ddim gwasanaethu ymyriad amserydd, a does ganddo ddim ffordd o wybod am ba hyd y bu i ffwrdd. Mae’r gwesteiwr yn olrhain hynny fel steal time, sef yr enw gonest am ‘amser a ddigwyddodd i ti yn hytrach nag ar dy gyfer di’.
Ymyriadau amserydd yw lle mae hyn yn brifo fwyaf. Mae gwestai sy’n gofyn am dic cyfnodol yn gofyn i’r gwesteiwr ddanfon ymyriadau ar gyfradd sefydlog, a dyw’r gwesteiwr ddim bob amser yn gallu. Eto o ddogfennaeth y cnewyllyn: ‘the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.’
Po uchaf y gyfradd dicio, gwaethaf yn y byd, ac mae gwesteiwr wedi’i orymrwymo’n ei wneud yn waeth eto. Dyma hefyd pam mae gwesteiwr prysur yn diraddio amseru gwesteion tawel. Maen nhw i gyd yn ciwio am yr un creiddiau ffisegol.
Dyw’r Cownteri Ddim yn Eiddo i Ti Chwaith
Os yw ticiau cyfnodol yn annibynadwy, yr ateb amlwg yw darllen cownter yn lle. Mae gan hynny ei broblemau ei hun.
Y TSC yw’r un cyflym, ac mae dogfennaeth y cnewyllyn yn blaen amdano: ‘The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.’ Gall ei gyfradd amrywio gyda chyflyrau pŵer y prosesydd, ac ar rannau hŷn mae’n stopio’n llwyr pan fydd y craidd yn segur. Felly gall vCPU sy’n mudo rhwng creiddiau ffisegol ddarllen cownter sy’n anghytuno â’r un a ddarllenodd ficroeiliad yn ôl.
Mae’r dewisiadau eraill yn waeth mewn ffordd wahanol. Mae’r HPET, y PIT ac amserydd ACPI PM i gyd yn ddyfeisiau wedi’u hefelychu, felly mae pob darlleniad yn fagl i mewn i’r hypervisor. Cywir, ac yn ddigon drud y bydd gwestai sy’n darllen y cloc mewn dolen boeth yn sylwi.
Dyma pam mae clociau paraffurfiol yn bodoli. Ar KVM, mae kvm-clock yn gadael i’r gwesteiwr gyhoeddi ei amseru ei hun i strwythur a rennir y mae’r gwestai’n ei ddarllen yn uniongyrchol: dim magl, dim cyfrif, dim tybiaeth bod y gwestai’n effro.
Dyma hefyd pam y dylet ti adael ffynhonnell gloc y gwestai fel y mae yn hytrach na gorfodi tsc neu hpet am fod post fforwm wedi dweud ei fod yn gyflymach.
Mudo, Cipluniau ac Atal
Mae mudo byw, adfer ciplun ac atal/ailddechrau i gyd yn gwneud yr un peth i gloc gwestai: maen nhw’n ei stopio, ac yna’n ei gychwyn eto yn rhywle arall.
Nid drifft yw’r hyn mae’r gwestai’n ei weld, ond cam. Roedd y cloc yn un gwerth, a nawr mae’n werth gwahanol, heb ddim byd o gwbl yn y canol. Mae mudo i westeiwr y mae ei TSC yn rhedeg ar amledd gwahanol yn ei waethygu.
Mae newidiadau cam yn bwysig am fod y feddalwedd sy’n cywiro clociau wedi’i hadeiladu i gywiro drifft, nid teleportio.
Nid Problem KVM yw Hon
Mae’n demtasiwn darllen yr uchod i gyd fel diffyg yn KVM. Dyw e ddim.
Mae pob hypervisor yn dod gyda chloc paraffurfiol, am fod gan bob hypervisor yr un broblem strwythurol: mae gan KVM kvm-clock, mae gan Hyper-V ei dudalen reference TSC, mae gan VMware gownter ffug-berfformiad ynghyd â chydamseru drwy Tools, mae gan Xen ei pvclock. Dyna bedwar gweithrediad annibynnol o un ffordd o osgoi’r broblem.
Casgliad dogfennaeth y cnewyllyn ei hun yw nad oes ateb perffaith yma. Dim ond cyfaddawdau rhwng cywirdeb, perfformiad a chymhlethdod.
Os wyt ti eisiau ei glywed gan werthwr yn hytrach na chan ddatblygwyr y cnewyllyn, mae ffin gymorth Microsoft ar gyfer amser manwl gywir yn rhyfeddol o onest. I hawlio cywirdeb 50 ms ar system Windows wedi’i rhithwiroli, un o’r gofynion a nodir yw bod ‘the one-day average CPU utilization of the host must not exceed 90%.’ Ar gyfer 1 ms, rhaid i’r gwesteiwr aros o dan 80%.
Darllena hynny eto: mae cywirdeb cloc y gwestai wedi’i ddogfennu fel rhywbeth sy’n dibynnu ar ba mor brysur yw’r gwesteiwr. Nid rhyw hynodrwydd Windows yw hynny, ond yr un ffiseg ag y mae dogfen y cnewyllyn yn ei disgrifio, wedi’i hysgrifennu fel ffin gymorth.
Pam Mai NTP y Tu Mewn i’r Gwestai yw’r Offeryn Anghywir
Mae NTP yn dda am yr hyn y cafodd ei gynllunio ar ei gyfer: peiriant gydag osgiliadur go iawn sy’n rhedeg ychydig yn gyflym neu’n araf, wedi’i gywiro drwy fesur y daith gron i weinydd pell a llithro’r cloc lleol yn ysgafn.
Mae pob un o’r tybiaethau hynny’n sigledig mewn VM.
Dyw’r osgiliadur lleol ddim ychydig yn anghywir, mae’n absennol o bryd i’w gilydd. Mae’r mesuriad taith gron yn cael ei gymryd gan broses a allai gael ei dad-drefnu rhwng darllen y cloc ac anfon y pecyn, sy’n llygru’r mesuriad ei hun. Ac mae’r cywiriadau sydd eu hangen ar ôl mudo’n gamau, y mae algorithm llithro’n eu trin yn wael neu’n eu gwrthod yn llwyr.
Mae chrony yn ymdopi’n llawer gwell na ntpd yma. Mae’n llithro’n gyflymach, yn goddef camau, ac yn onest am ei ansicrwydd ei hun. Ond mae’n dal i ddatrys y broblem anghywir: tynnu amser ar draws rhwydwaith o weinydd stratum-2 20 ms i ffwrdd, pan fo’r amser cywir yn eistedd yn yr hypervisor yr ochr arall i un ffin cof.
Yr hyn rwyt ti’n ei gael yn ymarferol yw gwestai sy’n gywir gan amlaf, weithiau ddegau neu gannoedd o filieiliadau allan, a byth yn gallu dweud wrthot ti pa un.
Beth Mae Gwyriad yn ei Dorri Go Iawn
Does neb yn poeni am glociau er eu mwyn eu hunain. Maen nhw’n poeni pan fydd rhywbeth yn stopio gweithio.
Kerberos ac Active Directory
Mae Kerberos yn dibynnu ar amser o’i gynllun, am fod dilysrwydd tocyn yn cael ei fynegi fel ffenestr amser.
Mae dogfennaeth krb5.conf MIT yn diffinio clockskew fel ‘the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid’, a’r rhagosodiad yw 300 eiliad: pum munud.
Croesa hynny a dyw dilysu ddim yn dirywio, mae’n methu.
Gan mai Kerberos yw dilysu Active Directory, mae hynny’n golygu mewngofnodi i’r parth, net use, cysylltiadau SQL Server, Exchange, rhanfeydd ffeiliau: y cyfan lot.
Mae pum munud yn swnio’n hael nes bod gwestai’n camu’n ôl ar ôl adfer ciplun.
TLS
Mae tystysgrif yn cario ffenestr ddilysrwydd: notBefore a notAfter.
Bydd gwestai y mae ei gloc ar ei hôl hi’n gwrthod tystysgrif a gyhoeddwyd y bore ’ma oherwydd, hyd y gŵyr, dyw’r dystysgrif ddim yn ddilys eto.
Bydd gwestai y mae ei gloc ar y blaen yn gwrthod un sydd heb ddod i ben mewn gwirionedd.
Mae’r un rhifyddeg yn rheoli ffresni OCSP a CRL, hawliadau JWT nbf/exp, a chodau aml-ffactor TOTP, sy’n byw mewn ffenestri 30 eiliad.
Mae cloc 45 eiliad allan yn doriad dilysu gyda neges wall ddryslyd iawn.
Ceph
Mae monitorau Ceph yn poeni am hyn yn fwy na bron dim byd arall yn y pentwr, am fod eu consensws yn dibynnu arno.
Mae’r gwiriad iechyd MON_CLOCK_SKEW yn tanio pan fo ‘the clocks on hosts running Ceph Monitor daemons are not well-synchronized’. Yn benodol, pan fo’r gwyriad yn fwy na mon_clock_drift_allowed.
Cyngor y ddogfennaeth yw cydamseru gyda ntpd neu chrony yn erbyn sawl ffynhonnell, ac mae’n nodi bod cydamseru rhwng monitorau’n arbennig o bwysig.
Gelli di godi mon_clock_drift_allowed, ond mae’r dogfennau’n glir bod rhaid iddo aros ‘significantly below the mon_lease interval’. Fel y cyfryw, cyllideb fach yw hi, a dyw ei gwario i guddio problem amseru’r hypervisor ddim yn fargen dda.
Popeth Arall
Mae logiau ar draws gwesteiwyr yn peidio â chyfateb, sy’n troi llinell amser digwyddiad yn ddyfalu. Mae dyblygu cronfeydd data a chonsensws dosbarthedig, etcd, Galera, unrhyw beth sy’n defnyddio prydlesi arweinydd, yn mynd yn anhapus. Mae ffenestri gwneud copïau wrth gefn a monitro’n drifftio allan o linell â’r peth roedden nhw i fod i’w arsylwi.
Mae Gwesteion Windows yn Gwyro’n Wahanol
Mae Windows yn haeddu ei nodyn ei hun, am fod ei wasanaeth amser wedi’i adeiladu gyda nodau gwahanol ac mae’n dangos.
Mae Microsoft yn datgan yn blaen am fersiynau cyn Windows 10 1607 / Server 2016 eu bod yn ‘can’t guarantee highly accurate time’. Yr hyn roedd gwasanaeth Windows Time yn ei ddarparu ar y rhyddhadau hynny oedd ‘the necessary time accuracy to satisfy Kerberos version 5 authentication requirements’ a ‘loosely accurate time’ ar gyfer peiriannau mewn coedwig AD gyffredin. Roedd unrhyw beth tynnach na hynny ‘outside of the design specification… and weren’t supported.’
Mewn geiriau eraill, nod Windows hŷn yw aros y tu mewn i ffenestr pum munud Kerberos, nid bod yn gywir. Sy’n iawn nes bod rhywbeth yn dy ystad angen gwell. Bydd blwch Windows wedi’i rithwiroli sydd 90 eiliad allan yn dilysu’n hapus wrth ysgrifennu logiau na ellir eu cyfateb â dim byd.
Gall Windows 10 a Server 2016 ymlaen wneud 1 s, 50 ms neu hyd yn oed 1 ms, ond dim ond o dan yr amodau a ddyfynnwyd yn gynharach, gan gynnwys terfynau defnydd CPU y gwesteiwr. Mae Microsoft hefyd yn nodi bod ‘anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy’. Llwyth CPU uchel ar y system darged wrth enw arall yw vCPU dan gystadleuaeth.
Does dim ptp_kvm ar gyfer Windows. Dyma beth sydd gen ti yn lle:
- Goleuedigaethau cloc Hyper-V. Mae Proxmox eisoes yn dangos y rhain i westeion Windows. Mae
PVE::QemuServer::CPUConfigyn gosodhv_timeochr yn ochr âhv_vapic,hv_spinlocks,hv_relaxedahv_synic.hv_timeyw’r cloc paraffurfiol, a dyma’r hyn sy’n cyfateb ikvm-clockar ochr Windows. Mae ymlaen yn ddiofyn ar gyfer VMs o fath Windows; does dim i’w alluogi. - Asiant gwestai QEMU. Gyda’r asiant wedi’i osod, gall y gwesteiwr wthio ei amser i mewn i’r gwestai ar ôl ailddechrau neu adfer ciplun, sy’n trin yr achos newid cam y mae NTP yn ei drin waethaf.
- Dewis un awdurdod. Y methiant Windows-mewn-VM clasurol yw dwy ffynhonnell amser yn ymladd: cydamseru o’r gwesteiwr i’r gwestai a chydamseru hierarchaeth y parth, y ddau’n cywiro’r un cloc i gyfeiriadau croes. Ar gyfer gwestai sydd wedi ymuno â pharth, gad i hierarchaeth y parth ennill a stopia’r gwesteiwr rhag gwthio amser ato. Ar gyfer gwestai annibynnol, mae cydamseru o’r gwesteiwr yn iawn. Byth y ddau.
Os wyt ti eisiau gwybod yn union beth mae dy hypervisor yn ei ddweud wrth VM penodol am amser, gofynna iddo yn hytrach na dyfalu:
# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags
qm showcmd <vmid> --pretty
Y Trwsiad ar QEMU/KVM: ptp_kvm
Ar gyfer gwesteion Linux ar KVM mae ateb iawn, ac nid ‘mwy o weinyddion NTP’ yw e.
Mae ptp_kvm yn gadael i’r gwestai ofyn i’r gwesteiwr faint o’r gloch yw hi, yn uniongyrchol, drwy hypercall: KVM_HC_CLOCK_PAIRING ar x86, a galwad cadarnwedd gyfatebol ar arm64.
Mae’r cnewyllyn yn cyflwyno hynny fel dyfais cloc caledwedd PTP, felly o ofod defnyddiwr mae’n edrych fel unrhyw ffynhonnell cloc fanwl arall, a gall chrony ei ddefnyddio fel cloc cyfeirio.
Y nodweddion sy’n bwysig:
- Dim rhwydwaith. Dim jitter, dim anghymesuredd, dim stratum, dim pecynnau. Ffin cof yw’r llwybr.
- Is-ficroeiliad. Mae’r cywirdeb wedi’i ffinio gan yr hypercall, nid gan daith gron ar draws canolfan ddata.
- Mae’n osgoi’r rhan sydd wedi torri. Dyw’r gwestai ddim yn cyfrif dim nac yn amcangyfrif taith gron. Mae’n darllen gwerth a gyfrifodd y gwesteiwr gyda chloc oedd yn rhedeg drwy’r amser.
Gweithredu
Rho hyn ar waith ar bob VM Linux sydd â’r gyrrwr. Mae angen NTP neu PTP sy’n gweithio ar yr hypervisor gwesteiwr ei hun. Mae ptp_kvm yn rhoi amser y gwesteiwr i’r gwestai, felly mae’n etifeddu gwall y gwesteiwr.
1. Llwytha fodiwl y cnewyllyn wrth gychwyn.
# /etc/modules-load.d/ptp_kvm.conf
ptp_kvm
2. Rho enw sefydlog iddo a gad i chrony ei ddarllen.
# /etc/udev/rules.d/90-ptp-kvm.rules
ACTION=="add", SUBSYSTEM=="ptp", ATTR{clock_name}=="kvm", SYMLINK+="ptp_kvm", GROUP="chrony", MODE="0660"
Mae’r symlink yn bwysig am nad yw rhifo dyfeisiau PTP yn sefydlog. Gall /dev/ptp0 fod yn gloc cerdyn rhwydwaith ar un cychwyn ac yn gloc KVM ar y nesaf. Mae cyfateb ar clock_name yn cael yr un iawn bob tro.
3. Pwyntia chrony ato, a thynna’r pyllau allan.
Golygu /etc/chrony/chrony.conf ar Debian ac Ubuntu, neu /etc/chrony.conf ar deulu RHEL. Dilea’r llinellau pool a defnyddia:
refclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004
Dyw tynnu’r pyllau allan ddim yn dacluso dewisol. Mae eu gadael i mewn yn gofyn i chrony gysoni cyfeirnod lleol is-ficroeiliad yn erbyn gweinyddion rhyngrwyd ddegau o filieiliadau i ffwrdd, a dim ond gwneud yr ateb yn waeth all ffynonellau’r rhyngrwyd.
4. Ailgychwyn a gwirio.
systemctl restart chronyd # or chrony, on Debian/Ubuntu
Gwirio
# The symlink exists and points at the KVM clock
ls -l /dev/ptp_kvm
cat /sys/class/ptp/ptp*/clock_name
# chrony should be using PHC0 as its selected source
chronyc sources -v
# and the offset should be microseconds, not milliseconds
chronyc tracking
Yn chronyc sources, mae’r refclock PHC yn ymddangos fel #* PHC0 unwaith y caiff ei ddewis. Mae’r # yn nodi cyfeirnod caledwedd lleol yn hytrach na chymar rhwydwaith, ac mae’r * yn ei nodi fel yr un sy’n cael ei ddefnyddio.
Os wyt ti’n ei weld wedi’i restru ond heb ei ddewis, dyw chrony ddim wedi’i dderbyn: gwiria’r caniatâd ar y ddyfais a bod y grŵp chrony yn y rheol udev yn cyfateb i’r defnyddiwr mae chrony’n rhedeg fel go iawn ar dy ddosbarthiad.
Rhybuddion
- Rhaid i’r gwesteiwr fod yn gywir. Mae hyn yn gwneud i’r gwestai gytuno â’r gwesteiwr, sydd ond yn ddefnyddiol os yw’r gwesteiwr yn cytuno â realiti. Rho NTP neu PTP go iawn i’r hypervisors.
- Mae ei angen ar bob gwestai. Mae fflyd lle mae hanner y VMs yn defnyddio
ptp_kvma hanner yn defnyddio pyllau rhyngrwyd yn fflyd gyda dau awdurdod amser. - Mae mudo byw’n iawn, a dyna’r pwynt. Ar ôl mudo, mae’r gwestai’n darllen cloc ei westeiwr newydd. Cyn belled â bod y gwesteiwyr yn cytuno â’i gilydd, dyw’r gwestai byth yn gweld cam.
- KVM yn unig. Hypercall KVM yw e. Fydd hypervisors nythog neu estron ddim yn cyflwyno’r ddyfais, a fydd y rheol udev ddim yn tanio. Methiant glân yw hynny yn hytrach nag ateb anghywir distaw.
Beth i Beidio â’i Wneud
- Paid â gorfodi’r ffynhonnell gloc. Gad
kvm-clockfel y mae. Mae gorfoditscneuhpetar linell orchymyn cnewyllyn y gwestai’n cyfnewid cloc paraffurfiol a gynlluniwyd ar gyfer y sefyllfa hon am gownter na fu erioed yn eiddo i ti. - Paid â rhedeg
ntpdateneuhwclocko cron. Newid cam ar amserlen yw hynny, sef yn union beth mae cronfeydd data a Kerberos yn ei gasáu. - Paid â chadw’r pyllau ‘wrth gefn’. Gyda refclock sy’n gweithio, nid wrth gefn ydyn nhw, ond ail farn o ffynhonnell waeth.
- Paid â chodi
mon_clock_drift_alloweda’i alw’n drwsiad. Rwyt ti wedi gwario rhan o gyllideb sy’n bodoli ar gyfer realiti’r rhwydwaith, er mwyn goddef problem sydd ag ateb hysbys.
Mae’r un olaf yn werth ei ddweud yn blaen: dyw lledu’r trothwy ddim yn trwsio’r cloc. Symud y larwm fel ei fod yn stopio canu yw e.
Cyfeiriadau
- Linux kernel — KVM timekeeping — pam mae amser gwestai’n mynd ar ei hôl hi, problem cloc lleol y TSC, a’r casgliad mai dim ond cyfaddawdau sy’n bodoli
- Linux kernel — PTP_KVM — y rhyngwyneb hypercall y tu ôl i ddyfais cloc PTP
- Linux kernel — KVM x86 hypercalls —
KVM_HC_CLOCK_PAIRING, ochr x86 y peth - chrony — chrony.conf — y gyfarwyddeb
refclockac opsiynau’r gyrrwr PHC - MIT Kerberos — krb5.conf —
clockskewa’i ragosodiad 300 eiliad - Microsoft — support boundary for high accuracy time — y targedau cywirdeb, ac amodau defnydd CPU y gwesteiwr ar gyfer systemau wedi’u rhithwiroli
- Ceph — health checks —
MON_CLOCK_SKEW,mon_clock_drift_alloweda’i berthynas âmon_lease