Diweddariad, 11 Hydref 2026, 16:30: Rydw i wedi fflachio BIOS 1.30 ers hynny. Nid yw’n trwsio’r gwrthbwyso. Mae tscsync yn dal i alinio’r creiddiau, ond ar ddau gychwyn cysoni fe ollyngodd y cnewyllyn y TSC beth bynnag, drwy ei watchdog clocksource yn hytrach na’r prawf warp: BIOS 1.30: Y Cysoni yn Dal, Y TSC yn Mynd Beth Bynnag. Gyda tsc=nowatchdog wedi’i ychwanegu, daliodd y TSC, ac ni chanfu pum munud o fesur yn erbyn y cloc amser real unrhyw warps na drifft: tsc=nowatchdog: Pum Munud, Dim Warps. Nid yw un cychwyn yn gyfres o gychwyniadau, ac felly rydw i’n ei alw’n dal, nid wedi’i drwsio.

Bob Cychwyn, Yr Un Rhybudd

Roedd hwn yn eistedd yn log cnewyllyn fy ThinkPad E595 ar bob un cychwyn:

TSC synchronization [CPU#0 -> CPU#2]:
Measured 6601281288 cycles TSC warp between CPUs, turning off TSC clock.
tsc: Marking TSC unstable due to check_tsc_sync_source failed
clocksource: Switched to clocksource hpet

Ni chwalodd dim byd. Ni ymddangosodd dim byd ar y bwrdd gwaith. Rhedodd y peiriant ei gloc cyfan yn dawel ar sglodyn amserydd arafach o’r eiliad y cychwynnodd, a byddai wedi dal ati i wneud hynny am byth oni bai fy mod i’n darllen y journal am rywbeth arall.

Rhifydd y tu mewn i bob craidd CPU sy’n tician ar gyfradd sefydlog yw’r Time Stamp Counter (TSC). Un cyfarwyddyd yw ei ddarllen. Mae Linux yn ei ddefnyddio fel ei brif gloc, ond dim ond os yw pob craidd yn cytuno ar y cyfrif1. Os yw un craidd ar ei hôl hi, ni all y cnewyllyn ymddiried ynddo ac mae’n cwympo’n ôl i’r High Precision Event Timer (HPET), dyfais amserydd ar wahân. Mesurodd awdur tscsync ddarlleniad cloc ar tua 1.2 µs ar HPET o’i gymharu â degau o nanoeiliadau ar y TSC, ac mae’r cnewyllyn a’r bwrdd gwaith yn darllen y cloc ddegau o filoedd o weithiau’r eiliad1. Dyna hwyrni a batri, wedi’u talu ar bob cychwyn, am ddim byd.

Felly pa mor bell ar ei hôl hi oedd y craidd? Dros dair eiliad. Ar liniadur 2.1 GHz mae hynny’n 6.6 biliwn o gylchoedd.

Beth Mae’r Gadarnwedd yn ei Drosglwyddo

Mae’r neges yn enwi CPU 0 a CPU 2, ond nid CPU 2 yw’r nam. Wedi’i fesur gan tscsync o’r llwythwr cychwyn, a chan y cnewyllyn unwaith y mae’n dechrau, mae’r darlun yr un fath bob tro:

CraiddGwrthbwyso o CPU 0Beth mae’n ei olygu
CPU 0, y prosesydd cychwyn (BSP)0y cyfeirnod, a’r un od allan
CPUs 1 i 7, y creiddiau eraill (APs)tua +6.2 i +6.8 biliwn o gylchoeddpob un yn cytuno â’i gilydd o fewn 32 cylch
Bwlch ar 2,096 MHz2.9 i 3.3 eiliadmae’r prosesydd cychwyn ar ei hôl hi, bob cychwyn

Mae saith craidd yn cytuno. Mae un dair eiliad yn hwyr. Mae’r gadarnwedd yn codi’r prosesydd cychwyn, yn gwneud ei gwaith arno, ac yn trosglwyddo i’r llwythwr cychwyn heb byth ddod â’r un rhifydd hwnnw’n ôl i’r un llinell â’r gweddill.

TSC y prosesydd cychwyn cyn ac ar ôl tscsyncCyn: fel mae’r gadarnwedd yn ei drosglwyddoAr ôl: tscsync yn y modd cysoniCPU 0 (BSP)CPU 1CPU 2CPU 3CPU 4CPU 5CPU 6CPU 7CPU 0 (BSP)CPU 1CPU 2CPU 3CPU 4CPU 5CPU 6CPU 7CPU 0 tua 6.8 biliwn cylch (3.25 s) ar ei hôl hiCPUs 1 i 7 yn cytuno o fewn 32 cylchBSP wedi symud ymlaen, pob craidd o fewn 45 cylchLinux yn cadw clocksource y TSC
Chwith: beth mae’r gadarnwedd yn ei drosglwyddo. Mae’r saith prosesydd cymhwysiad yn cytuno o fewn 32 cylch; mae’r prosesydd cychwyn tua 6.8 biliwn o gylchoedd y tu ôl iddynt. De: ar ôl i tscsync symud y prosesydd cychwyn ymlaen yn UEFI, mae pob craidd o fewn 45 cylch ac mae prawf warp y cnewyllyn yn pasio.

Pam na all Linux ei drwsio, felly? Ar CPUs Intel mae cofrestr, IA32_TSC_ADJUST, sy’n gadael i’r cnewyllyn wthio rhifydd craidd, ac mae cod cysoni’r cnewyllyn yn ei defnyddio pan fydd hi yno2. Nid oes gan CPUs AMD Zen hi. Hebddi, ni all dim byd yn Linux drwsio’r gwrthbwyso, a gwrthodwyd ymgais y cnewyllyn i ysgrifennu’r rhifyddion yn uniongyrchol (tsc=directsync) i fyny’r afon fel un annibynadwy3.

Felly mae’r cnewyllyn yn gwneud yr unig beth gonest sydd ar ôl. Mae’n mesur, mae’n canfod amser yn mynd tuag yn ôl rhwng dau graidd, mae’n argraffu’r rhybudd ac mae’n rhoi’r gorau i ddefnyddio’r TSC2.

Deugain Cychwyn, Deugain Warp

Hanesyn yw un cychwyn. Mae’r journal ar y peiriant hwn yn mynd yn ôl i 30 Mai 2026, felly gofynnais iddo.

CychwyniadauWarp, cylchoeddWarp ar 2,096 MHz
30 Mai i 11 Hydref 202640 o 406.16 i 9.88 biliwn2.94 i 4.72 s
Canolrif6.57 biliwn3.14 s
Ar ôl diffodd yn llwyr am tua 27 s16.60 biliwn3.15 s
Gyda tscsync yn y modd cysoni, BIOS 1.281dim wedi’i logioTSC wedi’i gadw
BIOS 1.30, tscsync i ffwrdd16.13 biliwn2.92 s
BIOS 1.30, tscsync yn y modd cysoni2dim wedi’i logioTSC wedi’i ollwng gan y watchdog, gweler isod
BIOS 1.30, modd cysoni a tsc=nowatchdog1dim wedi’i logioTSC wedi’i gadw

Bob cychwyn. Cychwyn oer, ailgychwyn, ar ôl diffodd am ddigon hir i ti ddisgwyl i unrhyw beth hen fod wedi mynd. Mae’r swm yn symud o gwmpas, sy’n cyd-fynd â chanfyddiad awdur tscsync ei hun ar Lenovo Legion: yno, mae’r warp yn cynyddu bron yn berffaith gyda faint o amser mae’r peiriant yn ei dreulio yn y gadarnwedd cyn i’r llwythwr cychwyn ddechrau3. Mae cychwyn sy’n eistedd ar y logo yn hirach yn dod allan ymhellach ar ei hôl hi.

Y trwsiad temtiol yw tsc=reliable ar linell orchymyn y cnewyllyn, sy’n dweud wrth Linux am roi’r gorau i wirio. Paid â’i wneud. Mae’r creiddiau wir dair eiliad ar wahân, ac nid yw diffodd y gwiriad yn newid hynny; y cyfan mae’n ei wneud yw gadael i’r cnewyllyn ddefnyddio cloc sy’n neidio tuag yn ôl pan fydd tasg yn symud rhwng creiddiau. Mae README tscsync yn dweud yr un peth, ac yn enwi’r atal sain a fideo sy’n dilyn1.

Ga I Ofyn Pam Mae Hwn yn Dal i Gael ei Gludo?

Nid wyf yn gofyn pwy. Rydw i’n gofyn beth ym mhroses Lenovo a adawodd i BIOS fynd allan sy’n gadael craidd dair eiliad ar ei hôl hi ar bob cychwyn.

Mae’r ateb yn nodiadau dylunio tscsync, ac nid yw’n ganmoliaethus. Mae Fisher-Price OS (Windows) yn ysgrifennu’r TSCs ei hun wrth gychwyn3. Mae gliniadur sydd wedi’i ddilysu ar hwnnw’n unig yn pasio, oherwydd mae’r system weithredu’n tacluso’n dawel ar ôl y gadarnwedd. Mae Linux yn cadw ei wiriad diogelwch ymlaen ac yn adrodd yr hyn a roddwyd iddo, a dyna’n union pam mae’r nam yn ymddangos yno a nunlle arall.

Y rhan letchwith yw bod hyn, yn ôl y sôn, wedi’i drwsio o’r blaen. Mae defnyddwyr yn adrodd bod Lenovo wedi trwsio’r un math o nam drwy ddiweddariad BIOS ar y ThinkPad A485, y T14s Gen 1 AMD a’r E4954. Yr E495 yw chwaer 14 modfedd y peiriant hwn, ac maen nhw’n rhannu un BIOS: mae readme Lenovo ei hun ar gyfer y pecyn yn rhestru’r ddau5.

Roedd fy E595 ar 1.28 ac yn warpio ar bob cychwyn. Mae Lenovo wedi cyhoeddi 1.29 a 1.30 ers hynny, ac nid yw’r naill restr newidiadau na’r llall yn dweud gair am y TSC; mae 1.30 yn trwsio ‘system randomly freeze since BIOS V1.27’ a rhai problemau diogelwch5. Felly rhoddais 1.30 arno a mesur eto. Logiodd y cychwyn cyntaf arno, gyda tscsync wedi’i ddiffodd, warp o 6,126,446,316 cylch: 2.92 eiliad, CPU#0 -> CPU#2, yr un fath ag erioed. Nid yw 1.30 yn ei drwsio. Mae’r ddau fodel yn rhannu un BIOS, felly pe bai adroddiad yr E495 yn gywir, byddai’r peiriant hwn wedi’i drwsio hefyd. Nid yw’r adroddiad yn enwi fersiwn BIOS ac nid yw’n cysylltu ag unrhyw logiau4.

A fydd Lenovo yn mynd yn ôl at liniadur o 2019 am nam y mae’r system weithredu maen nhw’n profi arni yn ei guddio rhagddyn nhw? Na fydd.

tscsync, Wedi’i Fesur yn Gyntaf

Rhaglen UEFI fach yw tscsync sy’n rhedeg o GRUB neu systemd-boot ychydig cyn Linux. Mae’n gofyn i bob craidd am ei TSC drwy wasanaethau amlbrosesydd y gadarnwedd ei hun, yn cyfrifo gwrthbwyso pob craidd o’r prosesydd cychwyn, yn symud y rhifyddion sydd ar ei hôl hi ymlaen nes eu bod yn cytuno, ac yna’n gwirio’r canlyniad gyda phrawf wedi’i fodelu ar brawf warp y cnewyllyn ei hun1. Nid yw byth yn ysgrifennu i’r fflach, NVRAM na gosodiadau’r gadarnwedd; mae’r rhifyddion mae’n eu newid yn ailosod wrth ddiffodd1.

Mae hynny’n llawer i’w roi i lwythwr cychwyn, ac felly darllenais y cod yn gyntaf, yn commit 230eaa9, cyn ei adeiladu. Yna gwnaed y gosod yn y ffordd mae’r prosiect yn gofyn:

CamGorchymynBeth ddaeth yn ôl
Adeiladumakedeuaidd GRUB a systemd-boot
Gosod, darllen yn unigsudo scripts/install.shmodd mesur, dim wedi’i ysgrifennu i’r rhifyddion
Diffodd, cychwyn, edrychtscsync-statusCPU 0 2,964 ms y tu ôl i bob un o’r 7 AP, yr APs yn cytuno o fewn microeiliadau
Troi ymlaensudo scripts/set-mode.sh syncyn dod i rym y cychwyn nesaf

Modd mesur yw’r darn sy’n werth ei gopïo i unrhyw offeryn fel hwn. Mae’n dangos y nam i ti ar dy galedwedd dy hun cyn iddo gael caniatâd i newid dim, ac mae gwarchodwr crogi yn ei ddiffodd os nad yw cychwyn byth yn cyrraedd Linux1.

Y cychwyn cyntaf yn y modd cysoni, yn syth o tscsync-status:

survey (read-only):
  cpu  1 apic   1: offset 6815086011  rtt 126  BAD
  ...
  cpu  7 apic   7: offset 6815086010  rtt 378  BAD
  0 ok, 7 not ok
moving BSP forward by ~6815086010 cycles to match cpu 7:
  bsp vs cpu  7 apic   0: before 6815086001  after 3  rtt 357  iter 3  warps bsp/ap 0/0  OK
AP pass (corrects any AP still off):
  7 ok, 0 not ok
total 121 ms

A’r cnewyllyn, eiliad yn ddiweddarach:

clocksource: Switched to clocksource tsc-early
tsc: Refined TSC clocksource calibration: 2096.066 MHz
clocksource: Switched to clocksource tsc

Dim llinell warp. Dim ‘unstable’. Mae /sys/devices/system/clocksource/clocksource0/current_clocksource yn darllen tsc. 121 ms o amser cychwyn i gael y cloc yr oedd y caledwedd i fod i’w gael o’r dechrau. Roedd hynny ar BIOS 1.28. Nid yw 1.30 wedi bod mor daclus.

Yr 21 Nanoeiliad a Wrthododd Linux

Mae un llinell yn yr adroddiad hwnnw sy’n edrych yn waeth nag ydyw, ac mae’n werth ei hesbonio yn hytrach na’i chuddio. Fflagiodd pas dilysu terfynol tscsync un craidd:

cpu  7 apic   7: offset 45  rtt 357  warps bsp/ap 0/0  BAD
6 ok, 1 not ok
RESULT: some APs out of sync (Linux will fall back to HPET)

Mae 45 cylch tua 21 nanoeiliad. Mae tscsync yn anelu at gytundeb o fewn tua 10 cylch1, felly yn ôl ei darged ei hun fe fethodd CPU 7, a dywedodd hynny. Yna cychwynnodd Linux ac ni chwympodd yn ôl i HPET o gwbl.

Mae’r ddau wiriad yn gofyn cwestiynau gwahanol:

Dyfarniad gwrthbwyso tscsyncPrawf warp y cnewyllyn
Cwestiwnpa mor bell oddi wrth ei gilydd yw’r rhifyddion?a yw amser byth yn mynd tuag yn ôl rhwng creiddiau?
Dullamcangyfrif o daith gron wedi’i hamserucreiddiau’n cymryd eu tro i ddarllen, cymharu â’r darlleniad olaf2
Marc pasiotua 10 cylchdim darlleniad yn is na’r un o’i flaen
CPU 7 ar y cychwyn hwn45 cylch, BADdim warp, TSC wedi’i gadw

Y warps bsp/ap 0/0 ar yr un llinell honno yw tscsync yn rhedeg y prawf yn arddull y cnewyllyn. Ni welodd unrhyw rai. Na’r cnewyllyn chwaith.

Mae’r prosiect eisoes yn gwybod y gall ei ddyfarniad fod yn llymach na’r cnewyllyn. Roedd gan IdeaPad yn ei restr caledwedd bedwar craidd wedi’u fflagio ar 28 i 42 cylch a dderbyniodd y cnewyllyn, ac ers 2.1 mae taith gron araf yn cael ei hadrodd fel UNSURE yn hytrach na BAD4. Rheol y README ar gyfer yr achos hwnnw yw’r un iawn: gwiriad y cnewyllyn ei hun sy’n penderfynu, ac os tsc yw’r clocksource, fe basiodd1. Nid yw taith gron o 357 cylch yn araf ar y peiriant hwn, felly daeth allan yn BAD yn lle hynny. Mae offeryn sy’n dangos ei waith ac yna’n gadael i’r cnewyllyn gael y gair olaf y ffordd iawn o gwmpas.

BIOS 1.30: Y Cysoni yn Dal, Y TSC yn Mynd Beth Bynnag

Ar 1.30 rhoddais tscsync yn ôl yn y modd cysoni ac ailgychwyn ddwywaith. Y ddau dro fe wnaeth ei waith. Symudodd y prosesydd cychwyn ymlaen tua 6.17 biliwn o gylchoedd, daeth pob craidd allan o fewn ychydig ddwsinau o gylchoedd, ac ni logiodd y cnewyllyn unrhyw warp. Y ddau dro roedd Linux yn dal i orffen ar HPET ychydig eiliadau’n ddiweddarach:

tsc: Detected 2095.890 MHz processor
tsc: Refined TSC clocksource calibration: 2096.053 MHz
clocksource: Watchdog remote CPU 5 read timed out
clocksource: Marking clocksource tsc unstable due to frequency skew
clocksource: Watchdog                    hpet interval:        495136113ns
clocksource: Clocksource                  tsc interval:        496026671ns
tsc: Marking TSC unstable due to clocksource watchdog

Mae hwn yn wiriad gwahanol. Mae’r prawf warp yn rhedeg wrth i bob craidd ddod i fyny ac yn gofyn a yw amser byth yn mynd tuag yn ôl rhwng creiddiau. Mae’r watchdog clocksource yn dal i redeg ar ôl cychwyn. Tua phob hanner eiliad mae’n cymharu pa mor bell symudodd y TSC â pha mor bell symudodd HPET, ac os ydyn nhw’n anghytuno o fwy na maint bach mae’n marcio’r TSC yn ansefydlog6. Unwaith y mae wedi’i farcio, mae’n aros felly tan y cychwyn nesaf.

Dau wiriad cnewyllyn, a pha opsiwn cychwyn sy’n hepgor pa unCadarnweddCPU 0 ~3 s ar ôltscsync, yn UEFIsymud CPU 0 ymlaenLinux yn dechraucreiddiau’n codiGwiriad warpunwaith, wrth gychwynWatchdogbob 0.5 s v. HPETDiofyny ddau ymlaen: TSC wedi’i ollwng ar 1.30✓ gwirio✓ gwiriotsc=nowatchdogy cychwyn hwn: TSC wedi’i gadw✓ gwirio✗ hepgortsc=reliableheb ei argymell: cuddio warp go iawn✗ hepgor✗ hepgor
Gall dau wiriad ar wahân ollwng y TSC. Mae’r gwiriad warp yn rhedeg unwaith, wrth i bob craidd ddod i fyny; tscsync sy’n cael y peiriant hwn heibio iddo. Mae’r watchdog yn dal i gymharu yn erbyn HPET bob hanner eiliad. Mae tsc=nowatchdog yn hepgor yr ail yn unig, tra bo tsc=reliable yn hepgor y ddau a byddai’n cuddio warp go iawn.
Cychwyn ar 1.30Gwiriad warpCyfwng HPETCyfwng TSCTSC yn erbyn HPET
Cychwyn cysoni cyntafwedi pasio495,426,793 ns495,006,210 nstua 850 ppm yn araf
Ail gychwyn cysoniwedi pasio495,136,113 ns496,026,671 nstua 1,800 ppm yn gyflym

Felly a yw’r TSC yn rhedeg ar y gyfradd anghywir? Nac ydy. Gyda’r peiriant i fyny, amserais y TSC yn erbyn cloc crai’r cnewyllyn sy’n seiliedig ar HPET am 30 eiliad mewn ffenestri 5 eiliad. Daeth pob ffenestr allan ar 2,096.062 MHz, tua 4 rhan y filiwn o raddnodi’r cnewyllyn ei hun. Nid yw nam cyfradd go iawn yn siglo o araf i gyflym rhwng dau gychwyn ac yna’n diflannu. Mae rhywbeth yn tarfu ar un ffenestr hanner eiliad yn gynnar yn y cychwyn, ac mae’r llinell remote CPU 5 read timed out yn union cyn hynny’n pwyntio at graidd sydd am ennyd ddim yn ateb. Byddai’r gadarnwedd yn dwyn amser oddi ar y CPUs yn cyd-fynd. Nid wyf wedi’i brofi.

Dau gychwyn yw’r holl dystiolaeth sydd. Ni allaf ddweud eto ai 1.30 ydyw, siawns, neu rywbeth mae ysgrifennu tscsync yn ei sbarduno. Cadwodd yr un cychwyn cysoni ar 1.28 y TSC a’i gollodd y ddau ar 1.30, ac nid yw hynny’n ddigon i feio’r BIOS.

Mae opsiwn cnewyllyn culach na tsc=reliable ar gyfer yr achos hwn. Mae tsc=nowatchdog yn diffodd y watchdog clocksource ar gyfer y TSC ac yn gadael llonydd i’r gwiriad warp adeg cychwyn7. Pe bai tscsync byth yn methu cysoni, byddai’r cnewyllyn yn dal i ddal y warp ac yn cwympo’n ôl i HPET. Dyna oedd y prawf nesaf. Mae’r rhifau, a rhai newidiadau a awgrymwyd i adrodd tscsync ei hun, ar draciwr materion y prosiect8.

tsc=nowatchdog: Pum Munud, Dim Warps

Ychwanegais tsc=nowatchdog ac ailgychwyn. Symudodd tscsync y prosesydd cychwyn ymlaen 6,207,104,421 cylch, ni logiodd y cnewyllyn unrhyw warp nac unrhyw sgiw, ac roedd current_clocksource yn darllen tsc. Y cychwyn cyntaf ar 1.30 i’w gadw.

Nid yw hynny ond yn profi mai’r watchdog oedd wedi gollwng y TSC. Nid yw’n profi bod y TSC yn ddiogel i redeg arno, a gyda’r watchdog i ffwrdd, does dim byd yn y cnewyllyn yn gwylio mwyach. Felly gwyliais i ef fy hun.

Doedd fy ngwiriad cyfradd cynharach yn dda i ddim yma. Amserodd y TSC yn erbyn CLOCK_MONOTONIC_RAW, a oedd yn iawn tra oedd y cnewyllyn yn rhedeg ar HPET. Ar y TSC, mae’r cloc hwnnw wedi’i adeiladu o’r TSC, felly byddai’r prawf yn cymharu’r rhifydd ag ef ei hun. Ni ellir darllen HPET o ofod defnyddiwr chwaith, oherwydd mae cnewyllyn Fedora wedi’i adeiladu heb CONFIG_HPET_MMAP. Gellir darllen y cloc amser real (RTC). Mae’n rhedeg oddi ar ei grisial ei hun, a bydd y cnewyllyn yn deffro rhaglen ar bob tic o’i rifydd eiliadau9.

Felly ysgrifennais wiriad bach, tsccheck. Mae’n pinio ei hun i CPU 0 ac yn rhedeg pedwar prawf bob 15 eiliad:

GwiriadSutSut olwg sydd ar nam
Cyfraddcylchoedd TSC wedi’u cyfrif rhwng ticiau eiliad yr RTCy MHz yn drifftio i un cyfeiriad
Gwrthbwyso3,000 taith gron o CPU 0 i bob craidd, gwrthbwyso o’r gyflymafgwrthbwyso sy’n tyfu
Warpsym mhob taith gron, a ddarllenodd craidd yn is na gwerth a welwyd eisoesunrhyw beth uwchlaw sero
Clocksourcedarllen current_clocksourceunrhyw beth heblaw tsc

Y daith gron yw calon y peth. Mae CPU 0 yn darllen ei rifydd ac yn ei basio drosodd, mae’r craidd arall yn darllen ei un ei hun ac yn pasio hwnnw’n ôl, ac mae CPU 0 yn darllen eto. Os yw’r creiddiau’n cytuno, rhaid i’r darlleniad canol lanio rhwng y ddau arall:

Un daith gron rhwng CPU 0 a chraidd arallCPU 0CPU 1 i 7, un ar y troamsert0t1t2canolbwyntgwrthbwysogwrthbwyso = t1 − (t0 + t2) / 2o’r gyflymaf o 3,000 taithwarp os t1 < t0 neu t2 < t1amser yn mynd yn ôl: mae unrhyw un yn nam
Un daith gron. Mae darlleniad y craidd arall, t1, yn cael ei gymharu â chanolbwynt dau ddarlleniad CPU 0, ac mae’r gyflymaf o 3,000 taith yn rhoi’r gwrthbwyso. Mae unrhyw ddarlleniad sy’n is nag un a welwyd eisoes yn warp, beth bynnag yw’r gwrthbwyso.

Y ddolen sy’n ei wneud:

for (int i = 0; i < ITERS; i++) {
	uint64_t t0 = rdtsc_o();                 /* CPU 0 */
	atomic_store(&pp.t0, t0);
	atomic_store(&pp.seq, 2 * i + 1);        /* the other core reads t1 now */
	while (atomic_load(&pp.seq) != 2 * i + 2)
		;
	uint64_t t2 = rdtsc_o();                 /* CPU 0 again */
	uint64_t t1 = atomic_load(&pp.t1);
	if (t1 < t0 || t2 < t1)
		r.warps++;                           /* time went backwards */
	if (i > 100 && t2 - t0 < r.rtt) {
		r.rtt = t2 - t0;
		r.offset = (int64_t)(t1 - (t0 + (t2 - t0) / 2));
	}
}

C plaen ar gyfer Linux x86-64 yw’r rhaglen gyfan, heb ddim byd wedi’i glymu wrth tscsync na’r gliniadur hwn. Mae angen root arni ar gyfer /dev/rtc0, a’r drydedd ddadl yw ffigur dy gnewyllyn dy hun o journalctl -k -b | grep 'Refined TSC':

gcc -O2 -Wall -pthread -o tsccheck tsccheck.c
sudo ./tsccheck 15 20 2096.073
tsccheck.c, y gwiriad cyfan mewn 161 llinell tsccheck.c · 4 kB

SHA-256 02eba1966a0097196acd5dfdcad9c4b315cafc1854c60f34c5b56080e6c38408.

Ugain sampl dros bum munud, yn syth ar ôl cychwyn:

MesurCanlyniad
Clocksourcetsc ym mhob un o’r 20 sampl, dim negeseuon cnewyllyn
Warps0 mewn tua 420,000 taith gron
Gwrthbwyso gwaethaf o CPU 085 cylch, tua 41 ns, dim tuedd
Cyfradd dros y rhediad cyfan2,096.027 MHz, o fewn 2,096.022 i 2,096.031 o’r munud cyntaf ymlaen
Cyfradd fesul ffenestr 15 eiliad2,095.943 i 2,096.104 MHz
Cyfradd y TSC fesul ffenestr 15 eiliad, a dros y rhediad cyfan+20 ppm0 ppm-20 ppm-40 ppm-60 ppm0 s60 s120 s180 s240 s300 sffigur y cnewyllyn, 2,096.073 MHz15 s: ffenestr -11.3 ppm, rhediad cyfan -11.3 ppm30 s: ffenestr -61.1 ppm, rhediad cyfan -36.2 ppm45 s: ffenestr -23.5 ppm, rhediad cyfan -32.0 ppm60 s: ffenestr +15.0 ppm, rhediad cyfan -20.2 ppm75 s: ffenestr -21.6 ppm, rhediad cyfan -20.5 ppm90 s: ffenestr -21.8 ppm, rhediad cyfan -20.7 ppm105 s: ffenestr -19.6 ppm, rhediad cyfan -20.6 ppm120 s: ffenestr -50.5 ppm, rhediad cyfan -24.3 ppm135 s: ffenestr +5.8 ppm, rhediad cyfan -20.9 ppm150 s: ffenestr -20.3 ppm, rhediad cyfan -20.9 ppm165 s: ffenestr -23.6 ppm, rhediad cyfan -21.1 ppm180 s: ffenestr -13.7 ppm, rhediad cyfan -20.5 ppm195 s: ffenestr -29.5 ppm, rhediad cyfan -21.2 ppm210 s: ffenestr -22.3 ppm, rhediad cyfan -21.3 ppm225 s: ffenestr -20.0 ppm, rhediad cyfan -21.2 ppm240 s: ffenestr -24.7 ppm, rhediad cyfan -21.4 ppm255 s: ffenestr -19.1 ppm, rhediad cyfan -21.3 ppm270 s: ffenestr -22.2 ppm, rhediad cyfan -21.3 ppm285 s: ffenestr -62.0 ppm, rhediad cyfan -23.5 ppm300 s: ffenestr +9.2 ppm, rhediad cyfan -21.9 ppmun ffenestr 15 s, 61 ppm yn arafrhediad cyfan hyd ymaffenestr 15 eiliadrhediad cyfan hyd yma
Cyfradd yn erbyn yr RTC, mewn rhannau y filiwn o ffigur y cnewyllyn. Mae’r ffenestri unigol yn neidio o gwmpas mewn parau; mae’r ffigur dros y rhediad cyfan yn gwastatáu ar 21 i 22 ppm yn araf o fewn y munud cyntaf ac yn aros yno.

Mae’r ffenestri’n edrych yn waeth nag ydyn nhw. Mae tic RTC hwyr yn gwneud un ffenestr yn hir a’r nesaf yn fyr, felly mae’r gwallau’n dod mewn parau sy’n canslo: 61 rhan y filiwn (ppm) yn araf ar 30 eiliad, 15 ppm yn gyflym ar 60. Nid yw drifft yn canslo ei hun. Prin y symudodd y ffigur dros y rhediad cyfan.

Mae’r ffigur dros y rhediad cyfan yn eistedd 22 ppm o dan 2,096.073 MHz y cnewyllyn am y pum munud llawn. Dyna’r bwlch rhwng dau grisial, ac fe ddaliodd yn llonydd. Roedd gan chrony, sy’n llywio’r cloc yn erbyn gweinyddion amser ar y rhyngrwyd, 16 i 19 ppm yn araf10. Yr un cyfeiriad, yr un maint.

Mae’r gwrthbwysiadau’n neidio rhwng yr un ychydig werthoedd, 10, 21 a 33 cylch y naill ochr, heb i unrhyw graidd grwydro i ffwrdd. Sŵn yw hynny o daith gron o tua 550 cylch. Byddai dilysu tscsync yn dal i alw rhai ohonyn nhw’n BAD. Ni fyddai’r cnewyllyn.

A ddaliodd y TSC? Do, ar bob mesur oedd gen i. Nid yw pum munud ar ôl un cychwyn yn gyfres o gychwyniadau o hyd. Nesaf mae’r un gwiriad ar ôl amser rhedeg hir, ac eto dros ychydig mwy o ailgychwyniadau.

Mae’r Trwsiad yn Perthyn yn y Gadarnwedd

Ni ddylai fod angen i tscsync fodoli. Mae ei README ei hun yn dweud hynny: mae croeso i werthwyr cadarnwedd gymryd y dull a’r cod, ‘which is where this should be fixed’1. Mae gan Lenovo y cod ffynhonnell. Dim ond yr hyn y byddai eu gliniadur yn ei ddweud wrthynt oedd gan awdur tscsync, ac 80 cychwyn o logiau1.

Dyna’r darn sy’n glynu. Roedd angen dieithryn y tu allan i’r cwmni i fesur, diagnosio a gweithio o gwmpas y trwsiad, tra bo’r cwmni a werthodd y caledwedd wedi’i ddilysu yn erbyn yr un system weithredu sy’n cuddio’r nam. Nid yw peiriant na elli di ei drwsio am fod ei gadarnwedd ar gau yn eiddo i ti mewn gwirionedd; mae ar fenthyg gydag amodau. Byddai cadarnwedd agored gyda diweddariadau wedi’u llofnodi wedi gadael i hyn gael ei drwsio unwaith, yn iawn, gan unrhyw un a oedd yn malio digon i edrych.

Yn y cyfamser, gwaith da gan awdur tscsync. Modd mesur yn gyntaf, gwarchodwr crogi, y rhifau yn yr agored a dyfarniad gonest hyd yn oed pan fo’n anghytuno â’r cnewyllyn. Dyna sut y dylid adeiladu offer lefel isel.

Pob Gwesteiwr KVM Gyda’r Un Gadarnwedd

Ar liniadur mae hyn yn costio rhywfaint o hwyrni a rhywfaint o fatri. Ar hypervisor mae pob gwestai yn ei dalu hefyd, ac nid oes dim o’r hyn sy’n dilyn yn deillio o Proxmox. Mae’r cyfan yn byw yng nghod KVM cnewyllyn Linux, felly mae’r un fath ar unrhyw westeiwr sydd wedi’i adeiladu ar KVM, beth bynnag sy’n eistedd ar ei ben: Proxmox VE, oVirt, OpenStack, neu QEMU a libvirt plaen11.

Beth Mae KVM yn ei Wneud Pan Fo’r Gwesteiwr yn Colli ei TSC

Dim ond pan fo’r gwesteiwr ei hun yn rhedeg ar y TSC y mae KVM yn rhoi cloc sefydlog i’w westeion. Yng nghod ffynhonnell y cnewyllyn, mae’r prif gloc, un cyfeirnod amser a rennir ar gyfer pob vCPU mewn VM, yn cael ei droi ymlaen dim ond os yw host_tsc_clocksource yn wir12. Cwympa i HPET ac mae’n diffodd, ac mae sawl peth yn newid ar unwaith:

Gwesteiwr ar TSCGwesteiwr ar HPET, TSC wedi’i farcio’n ansefydlog
Prif gloc KVM12ymlaeni ffwrdd
vCPU yn symud i graidd arall12dim i’w ddiweddarudiweddariad cloc wedi’i orfodi ar bob vCPU yn y VM honno, hyd at 10 yr eiliad
Gwrthbwyso TSC y gwestai12yn cael llonyddyn cael ei ailysgrifennu ar bob symudiad, a’i roi yn y modd dal i fyny
PVCLOCK_TSC_STABLE_BIT i westeion12wedi’i osodheb ei osod
clock_gettime() y gwestai13wedi’i ddarllen yn y gofod defnyddiwrgalwad system, wedi’i benderfynu unwaith pan fo’r gwestai’n cychwyn
Darlleniadau cloc y gwestai ar draws vCPUs14annibynnolpob darlleniad wedi’i wirio yn erbyn un gwerth byd-eang a rennir

Y rhes olaf yw’r un sy’n graddio’n wael. Heb y did sefydlog, ni all cnewyllyn y gwestai ymddiried bod cloc pob vCPU yn cytuno â’r lleill, felly mae pob darlleniad yn cael ei gymharu â ‘last_value, a global accumulator’ a’i gyfnewid i mewn gyda compare-and-exchange atomig os yw’n fwy newydd14. Mae pob vCPU yn y gwestai yn ysgrifennu i’r un gwerth hwnnw. Po fwyaf o vCPUs sy’n darllen y cloc, mwyaf y maen nhw’n ciwio arno.

Nid oes dim ohono’n ymddangos fel gwall. Mae clocksource y gwestai yn dal i ddarllen kvm-clock, ac ni fydd dim byd yn y gwestai’n dweud wrthyt pam yr arafodd.

Sut mae clocksource y gwesteiwr yn cyrraedd gwestai KVMGwesteiwr ar TSCClocksource y gwesteiwr: tscun cyfarwyddyd i’w ddarllenPrif gloc KVM ymlaendid sefydlog i westeionGwestai’n darllen yn y gofod defnyddiwrvDSO, tua 28 nsGwesteiwr ar HPETClocksource y gwesteiwr: hpettaith i’r ddyfais amseryddPrif gloc KVM i ffwrdddim did sefydlog, diweddaru ar bob symudiad vCPUGwestai’n gwneud galwad systemun gwerth a rennir, tua 190 nsYr un cod cnewyllyn ar Proxmox VE, oVirt, OpenStack neu QEMU a libvirt plaen
Clocksource y gwesteiwr sy’n penderfynu beth mae pob gwestai’n ei gael. Ar y TSC, mae gwesteion yn darllen y cloc yn y gofod defnyddiwr. Ar HPET, mae KVM yn gollwng ei brif gloc, mae pob symudiad vCPU yn gorfodi diweddariadau cloc, ac mae pob darlleniad cloc yn y gwestai’n troi’n alwad system wedi’i gwirio yn erbyn un gwerth y mae pob vCPU yn ei rannu.

Beth Mae’n ei Gostio, Wedi’i Fesur

Fe’i mesurais ar y gliniadur hwn yn hytrach na’i adael fel damcaniaeth. Gellir newid clocksource y gwesteiwr tra mae’n rhedeg, sy’n diffodd prif gloc KVM yn union fel mae’r cwymp yn ôl adeg cychwyn yn ei wneud. Cychwynnodd gwestai taflu-i-ffwrdd gnewyllyn y gwesteiwr ei hun gyda 4 vCPU ac initramfs bach iawn a’i unig raglen yn amseru clock_gettime(). Dau rediad bob ffordd, y gwesteiwr yn gyntaf, yna’r gwestai:

Nanoeiliadau fesul darlleniad cloc, gwesteiwr ar TSC yn erbyn gwesteiwr ar HPETGwesteiwrgraddfa 0 i 2,400 nsGwesteiwr, 1 edefyn, gwesteiwr ar TSC: 24 ns24 nsGwesteiwr, 1 edefyn, gwesteiwr ar HPET: 1,542 ns1,542 ns1 edefynGwesteiwr, yr 8 craidd, gwesteiwr ar TSC: 29 ns29 nsGwesteiwr, yr 8 craidd, gwesteiwr ar HPET: 1,922 ns1,922 nsyr 8 craiddGwestai, 4 vCPUgraddfa 0 i 300 nsGwestai, 4 vCPU, 1 vCPU, gwesteiwr ar TSC: 28 ns28 nsGwestai, 4 vCPU, 1 vCPU, gwesteiwr ar HPET: 187 ns187 ns1 vCPUGwestai, 4 vCPU, y 4 vCPU, gwesteiwr ar TSC: 31 ns31 nsGwestai, 4 vCPU, y 4 vCPU, gwesteiwr ar HPET: 244 ns244 nsy 4 vCPUgwesteiwr ar tscgwesteiwr ar hpet
Nanoeiliadau fesul galwad clock_gettime(), cymedr dau rediad bob ffordd. Mae’r gwesteiwr 61 i 73 gwaith yn arafach ar HPET; y gwestai tua 7 gwaith gydag un vCPU ac 8 gyda’r pedwar. Mae’r paneli’n defnyddio graddfeydd gwahanol, oherwydd byddai bariau HPET y gwesteiwr yn gwastatáu rhai’r gwestai.

Nid yw’r gwestai’n talu pris HPET yn uniongyrchol, oherwydd mae kvm-clock yn dal i ddarllen y TSC oddi tano. Yr hyn mae’n ei golli yw’r darlleniad yn y gofod defnyddiwr a’r annibyniaeth rhwng vCPUs, ac mae hynny ar ei ben ei hun saith gwaith yn arafach. Gyda’r pedwar vCPU yn darllen ar unwaith mae’r gost yn codi eto, sef y gwerth byd-eang a rennir hwnnw wrth ei waith. Mae gwestai gyda 32 neu 64 vCPU yn ciwio’n galetach arno. Nid wyf wedi mesur hynny.

Rho rif arno. Mae gwestai sy’n darllen y cloc filiwn o weithiau’r eiliad ar un vCPU yn treulio 2.8% o’r vCPU hwnnw’n gwneud hynny ar westeiwr iach, a 19% ar hwn. Mae cronfeydd data, y Java Virtual Machine (JVM) ac unrhyw beth arall sy’n stampio amser ar ei waith yn darllen y cloc yn aml.

Mae’r rhediad hwn hefyd yn tanddatgan y peth. Mae newid clocksource â llaw yn diffodd y prif gloc ond nid yw’n marcio’r TSC yn ansefydlog, felly ni redodd yr ailysgrifennu gwrthbwyso yn y tabl uchod erioed. Mae’r cwymp yn ôl adeg cychwyn ar yr E595 hwn yn ei farcio’n ansefydlog, ac mae gwesteiwr yn y cyflwr hwnnw’n talu’r ddau.

clockbench.c, y meincnod, wedi’i redeg ar y gwesteiwr neu fel init gwestai clockbench.c · 2 kB

Gwirio Gwesteiwr, a’r Terfynau

Esboniais pam mae clociau gwesteion yn fregus yn y lle cyntaf yn y post ptp_kvm; dyma’r un broblem yn cyrraedd oddi tano. Gwiria’r gwesteiwr, nid y gwestai:

journalctl -k -b | grep -iE 'TSC warp|TSC unstable'
cat /sys/devices/system/clocksource/clocksource0/current_clocksource

Mae tscsync yn rhedeg o GRUB neu systemd-boot1, sy’n cwmpasu’r rhan fwyaf o westeiwyr KVM. Mae Proxmox VE yn defnyddio GRUB, neu systemd-boot ar osodiad UEFI gyda ZFS fel gwraidd a Secure Boot i ffwrdd15. Bydd yn onest am y terfynau cyn iddo fynd yn agos at nod cynhyrchu, serch hynny.

TerfynBeth i’w wneud amdano
AMD Zen a Hygon yn unig1mae gwesteiwyr Intel gyda TSC_ADJUST yn cael eu trwsio gan y cnewyllyn yn barod
Gliniadur yw pob peiriant yn ei restr caledwedd4trin gweinydd fel un heb ei brofi ac adrodd amdano
Mae’r modd cysoni’n gwrthod caledwedd y tu allan i’w restr oni bai dy fod yn dewis i mewn1darllen pam cyn ei ddiystyru
Gall cychwyn cysoni cyntaf grogimodd mesur yn gyntaf, consol y tu allan i’r band ar agor, un nod ar y tro
Gall diweddariad BIOS drwsio’r namei osod yn ôl i fesur wedyn a gwirio1
Gall cysoni glân golli’r TSC i’r watchdog o hydgwirio current_clocksource ar ôl pob cychwyn; tsc=nowatchdog os y watchdog yw’r achos, yna ei fesur dy hun

Mae nam cadarnwedd sy’n costio rhywfaint o fatri i liniadur yn costio sleisen o bob gwestai y mae’n ei redeg i hypervisor, bob eiliad y mae i fyny, ac nid oes gan berchnogion y gwesteion unrhyw ffordd o’i weld. Dyna’r achos dros wirio current_clocksource ar bob gwesteiwr rwyt ti’n ei redeg, pwy bynnag a’i gwnaeth.


  1. tscsync README — beth mae’n ei wneud, cost darllen y cloc ar HPET, pam nad yw tsc=reliable yn drwsiad, y model diogelwch, a rheol UNSURE. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. Linux kernel — arch/x86/kernel/tsc_sync.c — trin TSC_ADJUST, y prawf warp a’r neges ‘Measured %Ld cycles TSC warp between CPUs, turning off TSC clock.’ ↩︎ ↩︎ ↩︎

  3. tscsync — docs/DESIGN.md — nid oes gan AMD Zen IA32_TSC_ADJUST, gwrthodwyd tsc=directsync i fyny’r afon, mae Windows yn ysgrifennu’r TSCs ei hun wrth gychwyn, a’r warp yn graddio gydag amser y gadarnwedd ar y Legion Pro 5. ↩︎ ↩︎ ↩︎

  4. tscsync — docs/HARDWARE.md — peiriannau wedi’u profi, creiddiau’r IdeaPad 5 a dderbyniwyd ar -28 i -42 cylch, a’r trwsiadau BIOS a adroddwyd ar yr A485, yr E495 a’r T14s Gen 1. ↩︎ ↩︎ ↩︎ ↩︎

  5. Lenovo — BIOS Update Utility readme, ThinkPad E495/E595, version 1.30 — y ddau fodel ar un pecyn, hanes y fersiynau hyd at 1.30 (14 Mai 2024), a’i restr newidiadau. ↩︎ ↩︎

  6. Linux kernel — kernel/time/clocksource.c — y watchdog clocksource, ei gymhariaeth cyfyngau a’r neges ‘Marking clocksource %s unstable due to frequency skew’. ↩︎

  7. Linux kernel — kernel-parameters — mae tsc=reliable yn analluogi’r dilysu wrth redeg a’r gwiriadau sefydlogrwydd adeg cychwyn; mae tsc=nowatchdog yn analluogi’r watchdog clocksource yn unig. ↩︎

  8. tscsync issue #1 — Lenovo ThinkPad E595 — adroddiadau 1.28 a 1.30, dadansoddiad y watchdog a’r newidiadau a awgrymwyd. ↩︎

  9. Linux kernel — Real Time Clock (RTC) Drivers for Linux — ‘The clock can also be set to generate an interrupt upon every clock update, thus generating a 1Hz signal’, wedi’i ddarllen drwy /dev/rtc. ↩︎

  10. chrony — chronyc manual — tracking: ‘The “frequency” is the rate by which the system’s clock would be wrong if chronyd was not correcting it.’ ↩︎

  11. KVM — Management Tools — Proxmox VE, oVirt, OpenStack a’r offer sy’n seiliedig ar libvirt, i gyd yn rheoli KVM. ↩︎

  12. Linux kernel — arch/x86/kvm/x86.c — pvclock_update_vm_gtod_copy(): ‘If the host uses TSC clock, then passthrough TSC as stable to the guest’, a PVCLOCK_TSC_STABLE_BIT wedi’i osod dim ond gyda’r prif gloc. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  13. Linux kernel — arch/x86/kernel/kvmclock.c — mae’r gwestai’n galluogi cloc gofod defnyddiwr VDSO_CLOCKMODE_PVCLOCK dim ond pan fo PVCLOCK_TSC_STABLE_BIT wedi’i osod. ↩︎

  14. Linux kernel — arch/x86/kernel/pvclock.c — heb PVCLOCK_TSC_STABLE_BIT, mae pob darlleniad yn cael ei wirio yn erbyn ‘last_value, a global accumulator’ gyda compare-and-exchange atomig. ↩︎ ↩︎

  15. Proxmox VE — Host Bootloader — GRUB yn ddiofyn, systemd-boot ar gyfer gosodiadau UEFI gyda gwraidd ZFS a Secure Boot i ffwrdd. ↩︎