Y Dybiaeth Mae Pob Cloc yn ei Gwneud

Mae cloc cyfrifiadur yn gweithio drwy gyfrif rhywbeth rheolaidd ac ymddiried ei fod yn dal i gyfrif. Mae crisial yn osgiliadu, mae cownter yn cynyddu, ac mae meddalwedd yn lluosi faint o amser sydd wedi mynd heibio.

Mae rhithwiroli’n torri’r rhan ymddiried.

Mae dogfennaeth amseru KVM y cnewyllyn ei hun yn rhoi’r broblem mewn un frawddeg: ‘the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.’ Mae popeth isod yn dilyn o hynny.

Dyw Dy vCPU Ddim yn Rhedeg Drwy’r Amser

Edefyn ar y gwesteiwr yw vCPU. Mae’n rhedeg pan fydd trefnydd y gwesteiwr yn dweud.

Pan nad yw’n rhedeg, dyw’r gwestai ddim yn segur yn unig: mae yn absennol. All e ddim cyfrif, all e ddim gwasanaethu ymyriad amserydd, a does ganddo ddim ffordd o wybod am ba hyd y bu i ffwrdd. Mae’r gwesteiwr yn olrhain hynny fel steal time, sef yr enw gonest am ‘amser a ddigwyddodd i ti yn hytrach nag ar dy gyfer di’.

Ymyriadau amserydd yw lle mae hyn yn brifo fwyaf. Mae gwestai sy’n gofyn am dic cyfnodol yn gofyn i’r gwesteiwr ddanfon ymyriadau ar gyfradd sefydlog, a dyw’r gwesteiwr ddim bob amser yn gallu. Eto o ddogfennaeth y cnewyllyn: ‘the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.’

Pam mae ticiau amserydd gwestai’n peidio â bod yn wastadMetel noeth: ti biau’r CPU bob amseryn rhedegticiau amserydd, yn wastad: mae eu cyfrif yn rhoi’r amser i tiMewn VM: edefyn ar drefnydd rhywun arall yw’r vCPUyn rhedegdad-drefnwyddad-drefnwydmae ticiau oedd yn ddyledus yn y bylchau’n cyrraedd yn hwyr, yn glwstwr, neu ddim o gwblAll y gwestai ddim gweld y cyfnodau toredig. O’r tu mewn, fe gynhyrchodd y cloc lai o diciau nagy dylai, a dyna pam mae dogfennaeth y cnewyllyn yn dweud y gall amser gwestai ‘fall behind’ panna all y gwesteiwr ddanfon yr ymyriadau y gofynnodd amdanyn nhw.Mae’r gwesteiwr yn galw’r rhannau toredig yn steal time. Dyw’r gwestai ddim yn eu galw’n ddim, achosdoedd e ddim yno.
Golwg y gwestai ei hun yw’r rhes waelod: ticiau sy’n cyrraedd yn hwyr, ticiau sy’n cyrraedd mewn pyliau, a bylchau na all roi cyfrif amdanyn nhw. Mae’n mesur trefnydd y gwesteiwr gymaint â threigl amser.

Po uchaf y gyfradd dicio, gwaethaf yn y byd, ac mae gwesteiwr wedi’i orymrwymo’n ei wneud yn waeth eto. Dyma hefyd pam mae gwesteiwr prysur yn diraddio amseru gwesteion tawel. Maen nhw i gyd yn ciwio am yr un creiddiau ffisegol.

Dyw’r Cownteri Ddim yn Eiddo i Ti Chwaith

Os yw ticiau cyfnodol yn annibynadwy, yr ateb amlwg yw darllen cownter yn lle. Mae gan hynny ei broblemau ei hun.

Y TSC yw’r un cyflym, ac mae dogfennaeth y cnewyllyn yn blaen amdano: ‘The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.’ Gall ei gyfradd amrywio gyda chyflyrau pŵer y prosesydd, ac ar rannau hŷn mae’n stopio’n llwyr pan fydd y craidd yn segur. Felly gall vCPU sy’n mudo rhwng creiddiau ffisegol ddarllen cownter sy’n anghytuno â’r un a ddarllenodd ficroeiliad yn ôl.

Mae’r dewisiadau eraill yn waeth mewn ffordd wahanol. Mae’r HPET, y PIT ac amserydd ACPI PM i gyd yn ddyfeisiau wedi’u hefelychu, felly mae pob darlleniad yn fagl i mewn i’r hypervisor. Cywir, ac yn ddigon drud y bydd gwestai sy’n darllen y cloc mewn dolen boeth yn sylwi.

Dyma pam mae clociau paraffurfiol yn bodoli. Ar KVM, mae kvm-clock yn gadael i’r gwesteiwr gyhoeddi ei amseru ei hun i strwythur a rennir y mae’r gwestai’n ei ddarllen yn uniongyrchol: dim magl, dim cyfrif, dim tybiaeth bod y gwestai’n effro. Dyma hefyd pam y dylet ti adael ffynhonnell gloc y gwestai fel y mae yn hytrach na gorfodi tsc neu hpet am fod post fforwm wedi dweud ei fod yn gyflymach.

Mudo, Cipluniau ac Atal

Mae mudo byw, adfer ciplun ac atal/ailddechrau i gyd yn gwneud yr un peth i gloc gwestai: maen nhw’n ei stopio, ac yna’n ei gychwyn eto yn rhywle arall.

Nid drifft yw’r hyn mae’r gwestai’n ei weld, ond cam. Roedd y cloc yn un gwerth, a nawr mae’n werth gwahanol, heb ddim byd o gwbl yn y canol. Mae mudo i westeiwr y mae ei TSC yn rhedeg ar amledd gwahanol yn ei waethygu.

Mae newidiadau cam yn bwysig am fod y feddalwedd sy’n cywiro clociau wedi’i hadeiladu i gywiro drifft, nid teleportio.

Nid Problem KVM yw Hon

Mae’n demtasiwn darllen yr uchod i gyd fel diffyg yn KVM. Dyw e ddim.

Mae pob hypervisor yn dod gyda chloc paraffurfiol, am fod gan bob hypervisor yr un broblem strwythurol: mae gan KVM kvm-clock, mae gan Hyper-V ei dudalen reference TSC, mae gan VMware gownter ffug-berfformiad ynghyd â chydamseru drwy Tools, mae gan Xen ei pvclock. Dyna bedwar gweithrediad annibynnol o un ffordd o osgoi’r broblem.

Casgliad dogfennaeth y cnewyllyn ei hun yw nad oes ateb perffaith yma. Dim ond cyfaddawdau rhwng cywirdeb, perfformiad a chymhlethdod.

Os wyt ti eisiau ei glywed gan werthwr yn hytrach na chan ddatblygwyr y cnewyllyn, mae ffin gymorth Microsoft ar gyfer amser manwl gywir yn rhyfeddol o onest. I hawlio cywirdeb 50 ms ar system Windows wedi’i rhithwiroli, un o’r gofynion a nodir yw bod ‘the one-day average CPU utilization of the host must not exceed 90%.’ Ar gyfer 1 ms, rhaid i’r gwesteiwr aros o dan 80%.

Darllena hynny eto: mae cywirdeb cloc y gwestai wedi’i ddogfennu fel rhywbeth sy’n dibynnu ar ba mor brysur yw’r gwesteiwr. Nid rhyw hynodrwydd Windows yw hynny, ond yr un ffiseg ag y mae dogfen y cnewyllyn yn ei disgrifio, wedi’i hysgrifennu fel ffin gymorth.

Tair haen amseru gwestai, a pha rai mae’r gwestai’n berchen arnyn nhw go iawnCydamseru amser go iawnfaint o’r gloch yw hi go iawnNTP dros y rhwydwaithjitter, anghymesuredd, stratumhypercall ptp_kvmyn gofyn i’r gwesteiwr yn sythCloc paraffurfiolmae’r gwesteiwr yn cyhoeddi ei amseru ei hunMae gan bob hypervisor un,am fod gan bob un y broblem hon:kvm-clocktudalen TSC Hyper-VVMware pseudo-perfXen pvclockpedwar gweithrediad annibynnol o un ffordd osgoiCownteri caledweddnid eiddo i ti mewn VMTSCHPETPITamserydd ACPI PMlleol i’r CPU ac yn amrywio, neu wedi’u hefelychu: pob darlleniad yn fagl i’r hypervisorMae’r gwestai’n berchen ar ei ddewis ar y brig. Yr haen ganol yw’r hypervisor yn rhoi benthyg cloc iddooedd yn rhedeg drwy’r amser.
Tair haen, a dim ond yr un uchaf mae’r gwestai’n berchen arni go iawn. Mae cloc paraffurfiol pob hypervisor yn bodoli i weithio o gwmpas yr un warant goll yn yr haen oddi tani.

Pam Mai NTP y Tu Mewn i’r Gwestai yw’r Offeryn Anghywir

Mae NTP yn dda am yr hyn y cafodd ei gynllunio ar ei gyfer: peiriant gydag osgiliadur go iawn sy’n rhedeg ychydig yn gyflym neu’n araf, wedi’i gywiro drwy fesur y daith gron i weinydd pell a llithro’r cloc lleol yn ysgafn.

Mae pob un o’r tybiaethau hynny’n sigledig mewn VM.

Dyw’r osgiliadur lleol ddim ychydig yn anghywir, mae’n absennol o bryd i’w gilydd. Mae’r mesuriad taith gron yn cael ei gymryd gan broses a allai gael ei dad-drefnu rhwng darllen y cloc ac anfon y pecyn, sy’n llygru’r mesuriad ei hun. Ac mae’r cywiriadau sydd eu hangen ar ôl mudo’n gamau, y mae algorithm llithro’n eu trin yn wael neu’n eu gwrthod yn llwyr.

Mae chrony yn ymdopi’n llawer gwell na ntpd yma. Mae’n llithro’n gyflymach, yn goddef camau, ac yn onest am ei ansicrwydd ei hun. Ond mae’n dal i ddatrys y broblem anghywir: tynnu amser ar draws rhwydwaith o weinydd stratum-2 20 ms i ffwrdd, pan fo’r amser cywir yn eistedd yn yr hypervisor yr ochr arall i un ffin cof.

Yr hyn rwyt ti’n ei gael yn ymarferol yw gwestai sy’n gywir gan amlaf, weithiau ddegau neu gannoedd o filieiliadau allan, a byth yn gallu dweud wrthot ti pa un.

Beth Mae Gwyriad yn ei Dorri Go Iawn

Does neb yn poeni am glociau er eu mwyn eu hunain. Maen nhw’n poeni pan fydd rhywbeth yn stopio gweithio.

Kerberos ac Active Directory

Mae Kerberos yn dibynnu ar amser o’i gynllun, am fod dilysrwydd tocyn yn cael ei fynegi fel ffenestr amser.

Mae dogfennaeth krb5.conf MIT yn diffinio clockskew fel ‘the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid’, a’r rhagosodiad yw 300 eiliad: pum munud.

Croesa hynny a dyw dilysu ddim yn dirywio, mae’n methu. Gan mai Kerberos yw dilysu Active Directory, mae hynny’n golygu mewngofnodi i’r parth, net use, cysylltiadau SQL Server, Exchange, rhanfeydd ffeiliau: y cyfan lot. Mae pum munud yn swnio’n hael nes bod gwestai’n camu’n ôl ar ôl adfer ciplun.

TLS

Mae tystysgrif yn cario ffenestr ddilysrwydd: notBefore a notAfter. Bydd gwestai y mae ei gloc ar ei hôl hi’n gwrthod tystysgrif a gyhoeddwyd y bore ’ma oherwydd, hyd y gŵyr, dyw’r dystysgrif ddim yn ddilys eto. Bydd gwestai y mae ei gloc ar y blaen yn gwrthod un sydd heb ddod i ben mewn gwirionedd.

Mae’r un rhifyddeg yn rheoli ffresni OCSP a CRL, hawliadau JWT nbf/exp, a chodau aml-ffactor TOTP, sy’n byw mewn ffenestri 30 eiliad. Mae cloc 45 eiliad allan yn doriad dilysu gyda neges wall ddryslyd iawn.

Ceph

Mae monitorau Ceph yn poeni am hyn yn fwy na bron dim byd arall yn y pentwr, am fod eu consensws yn dibynnu arno.

Mae’r gwiriad iechyd MON_CLOCK_SKEW yn tanio pan fo ‘the clocks on hosts running Ceph Monitor daemons are not well-synchronized’. Yn benodol, pan fo’r gwyriad yn fwy na mon_clock_drift_allowed. Cyngor y ddogfennaeth yw cydamseru gyda ntpd neu chrony yn erbyn sawl ffynhonnell, ac mae’n nodi bod cydamseru rhwng monitorau’n arbennig o bwysig.

Gelli di godi mon_clock_drift_allowed, ond mae’r dogfennau’n glir bod rhaid iddo aros ‘significantly below the mon_lease interval’. Fel y cyfryw, cyllideb fach yw hi, a dyw ei gwario i guddio problem amseru’r hypervisor ddim yn fargen dda.

Popeth Arall

Mae logiau ar draws gwesteiwyr yn peidio â chyfateb, sy’n troi llinell amser digwyddiad yn ddyfalu. Mae dyblygu cronfeydd data a chonsensws dosbarthedig, etcd, Galera, unrhyw beth sy’n defnyddio prydlesi arweinydd, yn mynd yn anhapus. Mae ffenestri gwneud copïau wrth gefn a monitro’n drifftio allan o linell â’r peth roedden nhw i fod i’w arsylwi.

Mae Gwesteion Windows yn Gwyro’n Wahanol

Mae Windows yn haeddu ei nodyn ei hun, am fod ei wasanaeth amser wedi’i adeiladu gyda nodau gwahanol ac mae’n dangos.

Mae Microsoft yn datgan yn blaen am fersiynau cyn Windows 10 1607 / Server 2016 eu bod yn ‘can’t guarantee highly accurate time’. Yr hyn roedd gwasanaeth Windows Time yn ei ddarparu ar y rhyddhadau hynny oedd ‘the necessary time accuracy to satisfy Kerberos version 5 authentication requirements’ a ‘loosely accurate time’ ar gyfer peiriannau mewn coedwig AD gyffredin. Roedd unrhyw beth tynnach na hynny ‘outside of the design specification… and weren’t supported.’

Mewn geiriau eraill, nod Windows hŷn yw aros y tu mewn i ffenestr pum munud Kerberos, nid bod yn gywir. Sy’n iawn nes bod rhywbeth yn dy ystad angen gwell. Bydd blwch Windows wedi’i rithwiroli sydd 90 eiliad allan yn dilysu’n hapus wrth ysgrifennu logiau na ellir eu cyfateb â dim byd.

Gall Windows 10 a Server 2016 ymlaen wneud 1 s, 50 ms neu hyd yn oed 1 ms, ond dim ond o dan yr amodau a ddyfynnwyd yn gynharach, gan gynnwys terfynau defnydd CPU y gwesteiwr. Mae Microsoft hefyd yn nodi bod ‘anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy’. Llwyth CPU uchel ar y system darged wrth enw arall yw vCPU dan gystadleuaeth.

Does dim ptp_kvm ar gyfer Windows. Dyma beth sydd gen ti yn lle:

  • Goleuedigaethau cloc Hyper-V. Mae Proxmox eisoes yn dangos y rhain i westeion Windows. Mae PVE::QemuServer::CPUConfig yn gosod hv_time ochr yn ochr â hv_vapic, hv_spinlocks, hv_relaxed a hv_synic. hv_time yw’r cloc paraffurfiol, a dyma’r hyn sy’n cyfateb i kvm-clock ar ochr Windows. Mae ymlaen yn ddiofyn ar gyfer VMs o fath Windows; does dim i’w alluogi.
  • Asiant gwestai QEMU. Gyda’r asiant wedi’i osod, gall y gwesteiwr wthio ei amser i mewn i’r gwestai ar ôl ailddechrau neu adfer ciplun, sy’n trin yr achos newid cam y mae NTP yn ei drin waethaf.
  • Dewis un awdurdod. Y methiant Windows-mewn-VM clasurol yw dwy ffynhonnell amser yn ymladd: cydamseru o’r gwesteiwr i’r gwestai a chydamseru hierarchaeth y parth, y ddau’n cywiro’r un cloc i gyfeiriadau croes. Ar gyfer gwestai sydd wedi ymuno â pharth, gad i hierarchaeth y parth ennill a stopia’r gwesteiwr rhag gwthio amser ato. Ar gyfer gwestai annibynnol, mae cydamseru o’r gwesteiwr yn iawn. Byth y ddau.

Os wyt ti eisiau gwybod yn union beth mae dy hypervisor yn ei ddweud wrth VM penodol am amser, gofynna iddo yn hytrach na dyfalu:

# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags
qm showcmd <vmid> --pretty

Y Trwsiad ar QEMU/KVM: ptp_kvm

Ar gyfer gwesteion Linux ar KVM mae ateb iawn, ac nid ‘mwy o weinyddion NTP’ yw e.

Mae ptp_kvm yn gadael i’r gwestai ofyn i’r gwesteiwr faint o’r gloch yw hi, yn uniongyrchol, drwy hypercall: KVM_HC_CLOCK_PAIRING ar x86, a galwad cadarnwedd gyfatebol ar arm64. Mae’r cnewyllyn yn cyflwyno hynny fel dyfais cloc caledwedd PTP, felly o ofod defnyddiwr mae’n edrych fel unrhyw ffynhonnell cloc fanwl arall, a gall chrony ei ddefnyddio fel cloc cyfeirio.

Y nodweddion sy’n bwysig:

  • Dim rhwydwaith. Dim jitter, dim anghymesuredd, dim stratum, dim pecynnau. Ffin cof yw’r llwybr.
  • Is-ficroeiliad. Mae’r cywirdeb wedi’i ffinio gan yr hypercall, nid gan daith gron ar draws canolfan ddata.
  • Mae’n osgoi’r rhan sydd wedi torri. Dyw’r gwestai ddim yn cyfrif dim nac yn amcangyfrif taith gron. Mae’n darllen gwerth a gyfrifodd y gwesteiwr gyda chloc oedd yn rhedeg drwy’r amser.
NTP ar draws y rhwydwaith yn erbyn ptp_kvm ar draws ffin cofchrony yn erbyn pyllau rhwydwaithgwestaicloc yn dal i stopiorhwydwaithjitter, anghymesureddgweinydd stratum 2degau o ms i ffwrddmae’r daith gron yn cael ei mesur gan y cloc sy’n cael ei gywiroa gall y broses sy’n mesur gael ei dad-drefnu ar ganol mesurchrony yn erbyn ptp_kvmgwestaiyn darllen /dev/ptp_kvmcloc y gwesteiwrheb stopio rhedeg erioedhypercallKVM_HC_CLOCK_PAIRINGffin cof, nid rhwydwaithis-µsDim pecynnau, dim stratum, dim anghymesuredd, a dim byd yn cael ei amcangyfrif. Dyw’r gwestai ddim yn cyfrifofaint o’r gloch yw hi: mae’n cael gwybod, gan yr unig gyfranogwr oedd yn effro drwy’r cyfnod cyfan.
Mae’r ddau lwybr yn gorffen gyda’r gwestai’n gosod ei gloc. Mae un ohonyn nhw’n mesur taith gron rhwydwaith gan ddefnyddio cloc sy’n dal i stopio; mae’r llall yn gofyn i’r hypervisor.

Gweithredu

Rho hyn ar waith ar bob VM Linux sydd â’r gyrrwr. Mae angen NTP neu PTP sy’n gweithio ar yr hypervisor gwesteiwr ei hun. Mae ptp_kvm yn rhoi amser y gwesteiwr i’r gwestai, felly mae’n etifeddu gwall y gwesteiwr.

1. Llwytha fodiwl y cnewyllyn wrth gychwyn.

# /etc/modules-load.d/ptp_kvm.conf
ptp_kvm

2. Rho enw sefydlog iddo a gad i chrony ei ddarllen.

# /etc/udev/rules.d/90-ptp-kvm.rules
ACTION=="add", SUBSYSTEM=="ptp", ATTR{clock_name}=="kvm", SYMLINK+="ptp_kvm", GROUP="chrony", MODE="0660"

Mae’r symlink yn bwysig am nad yw rhifo dyfeisiau PTP yn sefydlog. Gall /dev/ptp0 fod yn gloc cerdyn rhwydwaith ar un cychwyn ac yn gloc KVM ar y nesaf. Mae cyfateb ar clock_name yn cael yr un iawn bob tro.

3. Pwyntia chrony ato, a thynna’r pyllau allan.

Golygu /etc/chrony/chrony.conf ar Debian ac Ubuntu, neu /etc/chrony.conf ar deulu RHEL. Dilea’r llinellau pool a defnyddia:

refclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004

Dyw tynnu’r pyllau allan ddim yn dacluso dewisol. Mae eu gadael i mewn yn gofyn i chrony gysoni cyfeirnod lleol is-ficroeiliad yn erbyn gweinyddion rhyngrwyd ddegau o filieiliadau i ffwrdd, a dim ond gwneud yr ateb yn waeth all ffynonellau’r rhyngrwyd.

4. Ailgychwyn a gwirio.

systemctl restart chronyd    # or chrony, on Debian/Ubuntu

Gwirio

# The symlink exists and points at the KVM clock
ls -l /dev/ptp_kvm
cat /sys/class/ptp/ptp*/clock_name

# chrony should be using PHC0 as its selected source
chronyc sources -v

# and the offset should be microseconds, not milliseconds
chronyc tracking

Yn chronyc sources, mae’r refclock PHC yn ymddangos fel #* PHC0 unwaith y caiff ei ddewis. Mae’r # yn nodi cyfeirnod caledwedd lleol yn hytrach na chymar rhwydwaith, ac mae’r * yn ei nodi fel yr un sy’n cael ei ddefnyddio. Os wyt ti’n ei weld wedi’i restru ond heb ei ddewis, dyw chrony ddim wedi’i dderbyn: gwiria’r caniatâd ar y ddyfais a bod y grŵp chrony yn y rheol udev yn cyfateb i’r defnyddiwr mae chrony’n rhedeg fel go iawn ar dy ddosbarthiad.

Rhybuddion

  • Rhaid i’r gwesteiwr fod yn gywir. Mae hyn yn gwneud i’r gwestai gytuno â’r gwesteiwr, sydd ond yn ddefnyddiol os yw’r gwesteiwr yn cytuno â realiti. Rho NTP neu PTP go iawn i’r hypervisors.
  • Mae ei angen ar bob gwestai. Mae fflyd lle mae hanner y VMs yn defnyddio ptp_kvm a hanner yn defnyddio pyllau rhyngrwyd yn fflyd gyda dau awdurdod amser.
  • Mae mudo byw’n iawn, a dyna’r pwynt. Ar ôl mudo, mae’r gwestai’n darllen cloc ei westeiwr newydd. Cyn belled â bod y gwesteiwyr yn cytuno â’i gilydd, dyw’r gwestai byth yn gweld cam.
  • KVM yn unig. Hypercall KVM yw e. Fydd hypervisors nythog neu estron ddim yn cyflwyno’r ddyfais, a fydd y rheol udev ddim yn tanio. Methiant glân yw hynny yn hytrach nag ateb anghywir distaw.

Beth i Beidio â’i Wneud

  • Paid â gorfodi’r ffynhonnell gloc. Gad kvm-clock fel y mae. Mae gorfodi tsc neu hpet ar linell orchymyn cnewyllyn y gwestai’n cyfnewid cloc paraffurfiol a gynlluniwyd ar gyfer y sefyllfa hon am gownter na fu erioed yn eiddo i ti.
  • Paid â rhedeg ntpdate neu hwclock o cron. Newid cam ar amserlen yw hynny, sef yn union beth mae cronfeydd data a Kerberos yn ei gasáu.
  • Paid â chadw’r pyllau ‘wrth gefn’. Gyda refclock sy’n gweithio, nid wrth gefn ydyn nhw, ond ail farn o ffynhonnell waeth.
  • Paid â chodi mon_clock_drift_allowed a’i alw’n drwsiad. Rwyt ti wedi gwario rhan o gyllideb sy’n bodoli ar gyfer realiti’r rhwydwaith, er mwyn goddef problem sydd ag ateb hysbys.

Mae’r un olaf yn werth ei ddweud yn blaen: dyw lledu’r trothwy ddim yn trwsio’r cloc. Symud y larwm fel ei fod yn stopio canu yw e.

Cyfeiriadau