हर घड़ी जो धारणा मानकर चलती है
कंप्यूटर की घड़ी किसी नियमित चीज़ को गिनकर चलती है, और इस भरोसे पर कि वह गिनती चलती रहेगी। एक क्रिस्टल कंपन करता है, एक काउंटर बढ़ता है, और सॉफ़्टवेयर हिसाब लगाता है कि कितना समय बीता।
वर्चुअलाइज़ेशन भरोसे वाला हिस्सा तोड़ देता है।
kernel का अपना KVM timekeeping दस्तावेज़ समस्या को एक वाक्य में कह देता है: “the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.” नीचे जो कुछ है, वह सब इसी से निकलता है।
आपका vCPU हमेशा नहीं चल रहा होता
vCPU होस्ट पर एक thread है। वह तब चलता है जब होस्ट का scheduler कहता है।
जब वह नहीं चल रहा, तब गेस्ट सिर्फ़ खाली नहीं बैठा, वह गायब है। वह गिन नहीं सकता, timer interrupt संभाल नहीं सकता, और उसके पास यह जानने का कोई तरीका नहीं कि वह कितनी देर गायब रहा। होस्ट इसे steal time के रूप में दर्ज करता है, जो “वह समय जो आपके साथ हुआ, आपके लिए नहीं” का ईमानदार नाम है।
सबसे ज़्यादा चोट timer interrupts पर लगती है। जो गेस्ट periodic tick माँगता है, वह होस्ट से तय दर पर interrupts पहुँचाने को कह रहा है, और होस्ट हमेशा ऐसा नहीं कर पाता। फिर से kernel दस्तावेज़ से: “the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.”
tick की दर जितनी ऊँची, हालत उतनी बुरी, और overcommit किया हुआ होस्ट इसे और बिगाड़ देता है। यही वजह है कि व्यस्त होस्ट शांत गेस्ट्स की timekeeping भी खराब कर देता है। सब एक ही physical cores के लिए कतार में हैं।
काउंटर भी आपके नहीं हैं
अगर periodic tick भरोसेमंद नहीं, तो सीधा जवाब है कि कोई काउंटर पढ़ लिया जाए। उसकी अपनी समस्याएँ हैं।
TSC तेज़ वाला है, और kernel दस्तावेज़ उसके बारे में साफ़ बोलता है: “The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.” उसकी दर processor के power states के साथ बदल सकती है, और पुराने हिस्सों पर core के idle होने पर वह पूरी तरह रुक जाता है। इसलिए physical cores के बीच migrate होने वाला vCPU ऐसा काउंटर पढ़ सकता है जो एक microsecond पहले पढ़े काउंटर से मेल नहीं खाता।
बाकी विकल्प दूसरी तरह से बुरे हैं। HPET, PIT और ACPI PM timer सब emulated डिवाइस हैं, इसलिए हर बार पढ़ना hypervisor में एक trap है। सही, पर इतना महँगा कि hot loop में घड़ी पढ़ने वाला गेस्ट इसे महसूस करेगा।
इसीलिए paravirtual घड़ियाँ बनीं। KVM पर kvm-clock होस्ट को अपनी timekeeping एक साझा structure में डालने देता है जिसे गेस्ट सीधे पढ़ता है: न trap, न गिनती, न यह धारणा कि गेस्ट जागता रहा।
यही वजह है कि गेस्ट के clocksource को छेड़ना नहीं चाहिए, सिर्फ़ इसलिए tsc या hpet ज़बरदस्ती मत लगाइए कि किसी forum पोस्ट ने कहा वह तेज़ है।
Migration, snapshots और suspend
Live migration, snapshot restore और suspend/resume, तीनों गेस्ट की घड़ी के साथ एक ही काम करते हैं: उसे रोकते हैं, फिर कहीं और दोबारा चालू करते हैं।
गेस्ट को जो दिखता है वह भटकाव नहीं, एक छलाँग है। घड़ी एक मान पर थी, अब दूसरे मान पर है, और बीच में कुछ नहीं। ऐसे होस्ट पर migrate करना जिसका TSC दूसरी frequency पर चलता है, इसे और बढ़ा देता है।
छलाँगें मायने रखती हैं क्योंकि घड़ी सुधारने वाला सॉफ़्टवेयर भटकाव सुधारने के लिए बना है, teleport के लिए नहीं।
यह KVM की समस्या नहीं है
ऊपर लिखी सब बातों को KVM की कमी मान लेना आसान है। ऐसा नहीं है।
हर hypervisor एक paravirtual घड़ी देता है, क्योंकि हर hypervisor की बनावट में यही समस्या है: KVM के पास kvm-clock है, Hyper-V के पास reference TSC page, VMware के पास pseudo-performance counter और Tools वाला sync, Xen के पास pvclock। ये एक ही जुगाड़ के चार अलग-अलग implementation हैं।
kernel दस्तावेज़ का अपना निष्कर्ष यह है कि यहाँ कोई परफ़ेक्ट हल नहीं है। सिर्फ़ accuracy, performance और complexity के बीच सौदे हैं।
अगर आप यह kernel developers के बजाय किसी vendor से सुनना चाहते हैं, तो high-accuracy time के लिए Microsoft की support boundary हैरान करने वाली हद तक साफ़ है। वर्चुअलाइज़्ड Windows सिस्टम पर 50 ms accuracy का दावा करने के लिए एक लिखी हुई शर्त यह है कि “the one-day average CPU utilization of the host must not exceed 90%.” 1 ms के लिए होस्ट को 80% से नीचे रहना होगा।
इसे फिर से पढ़िए: गेस्ट की घड़ी की accuracy लिखित रूप में इस पर निर्भर है कि होस्ट कितना व्यस्त है। यह Windows की कोई सनक नहीं, यह वही भौतिकी है जो kernel दस्तावेज़ बताता है, बस support boundary के रूप में लिखी हुई।
गेस्ट के अंदर NTP गलत औज़ार क्यों है
NTP उस काम में अच्छा है जिसके लिए वह बना था: असली oscillator वाली मशीन जो थोड़ी तेज़ या धीमी चलती है, जिसे किसी दूर के सर्वर तक round trip नापकर और लोकल घड़ी को धीरे-धीरे खिसकाकर सुधारा जाता है।
VM में इनमें से हर धारणा कमज़ोर है।
लोकल oscillator थोड़ा गलत नहीं, बल्कि बीच-बीच में गायब है। Round-trip नापने वाला process घड़ी पढ़ने और पैकेट भेजने के बीच deschedule हो सकता है, जो खुद नाप को बिगाड़ देता है। और migration के बाद जो सुधार चाहिए वे छलाँगें हैं, जिन्हें धीरे-धीरे खिसकाने वाला algorithm बुरी तरह संभालता है या सीधे मना कर देता है।
यहाँ chrony, ntpd से कहीं बेहतर निभाता है। वह तेज़ी से खिसकाता है, छलाँगें सह लेता है, और अपनी अनिश्चितता के बारे में ईमानदार है। पर वह फिर भी गलत समस्या हल कर रहा है: 20 ms दूर के stratum-2 सर्वर से नेटवर्क के पार समय खींचना, जबकि सही समय hypervisor में बस एक memory boundary के उस पार रखा है।
असल में आपको जो मिलता है वह ऐसा गेस्ट है जो ज़्यादातर सही है, कभी-कभी दसियों या सैकड़ों milliseconds दूर, और कभी ठीक से बता नहीं पाता कि कब कौन सा।
गड़बड़ी असल में क्या तोड़ती है
किसी को घड़ियों से अपने आप में मतलब नहीं। मतलब तब होता है जब कुछ काम करना बंद कर देता है।
Kerberos और Active Directory
Kerberos बनावट से ही समय पर निर्भर है, क्योंकि ticket की वैधता एक समय-खिड़की के रूप में लिखी होती है।
MIT का krb5.conf दस्तावेज़ clockskew को परिभाषित करता है “the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid”, और default 300 seconds है, यानी पाँच मिनट।
इसे पार कीजिए और authentication धीमा नहीं पड़ता, सीधा fail होता है।
चूँकि Active Directory authentication Kerberos ही है, इसका मतलब है domain logon, net use, SQL Server connections, Exchange, file shares, सब कुछ।
पाँच मिनट तब तक काफ़ी लगते हैं जब तक snapshot restore के बाद कोई गेस्ट पीछे की ओर छलाँग नहीं लगा देता।
TLS
सर्टिफ़िकेट में एक वैधता-खिड़की होती है: notBefore और notAfter।
जिस गेस्ट की घड़ी पीछे है, वह आज सुबह जारी हुए सर्टिफ़िकेट को ठुकरा देगा, क्योंकि उसकी जानकारी में वह अभी वैध ही नहीं हुआ।
जिसकी घड़ी आगे है, वह ऐसा सर्टिफ़िकेट ठुकरा देगा जिसकी असल में मियाद ख़त्म नहीं हुई।
यही हिसाब OCSP और CRL की ताज़गी, JWT के nbf/exp claims, और TOTP multi-factor codes पर लागू होता है, जो 30 सेकंड की खिड़कियों में जीते हैं।
45 सेकंड दूर की घड़ी एक authentication outage है, बहुत उलझाने वाले error message के साथ।
Ceph
Ceph monitors को इसकी परवाह stack की लगभग हर चीज़ से ज़्यादा है, क्योंकि उनकी सहमति इसी पर टिकी है।
MON_CLOCK_SKEW health check तब चलता है जब “the clocks on hosts running Ceph Monitor daemons are not well-synchronized”। ख़ास तौर पर, जब गड़बड़ी mon_clock_drift_allowed से ज़्यादा हो।
दस्तावेज़ की सलाह है कि कई स्रोतों के साथ ntpd या chrony से sync कीजिए, और वह बताता है कि monitor-से-monitor sync ख़ास तौर पर मायने रखता है।
आप mon_clock_drift_allowed बढ़ा सकते हैं, पर docs साफ़ हैं कि इसे “significantly below the mon_lease interval” रहना चाहिए। इसलिए यह छोटा बजट है, और इसे hypervisor की timekeeping समस्या ढकने पर खर्च करना अच्छा सौदा नहीं।
बाकी सब कुछ
अलग-अलग होस्ट्स के logs आपस में मेल खाना बंद कर देते हैं, जिससे किसी incident की timeline अंदाज़ा बन जाती है। Database replication और distributed consensus, यानी etcd, Galera, leader lease चलाने वाली कोई भी चीज़, परेशान हो जाती है। Backup और monitoring की खिड़कियाँ उस चीज़ से हट जाती हैं जिसे उन्हें देखना था।
Windows गेस्ट अलग तरह से भटकते हैं
Windows पर अलग से बात ज़रूरी है, क्योंकि उसकी time service अलग लक्ष्यों के लिए बनी थी और यह दिखता है।
Microsoft साफ़ कहता है कि Windows 10 1607 / Server 2016 से पहले के versions “can’t guarantee highly accurate time”। उन releases पर Windows Time service जो देती थी वह था “the necessary time accuracy to satisfy Kerberos version 5 authentication requirements” और एक साझा AD forest की मशीनों के लिए “loosely accurate time”। इससे ज़्यादा सटीक कुछ भी “outside of the design specification… and weren’t supported.” था।
यानी पुराना Windows पाँच मिनट की Kerberos खिड़की के अंदर रहने का लक्ष्य रखता है, सही होने का नहीं। जो तब तक ठीक है जब तक आपके estate में किसी चीज़ को इससे बेहतर नहीं चाहिए। 90 सेकंड दूर वर्चुअलाइज़्ड Windows मशीन मज़े से authenticate करती रहेगी और ऐसे logs लिखती रहेगी जो किसी से मेल नहीं खाते।
Windows 10 और Server 2016 से आगे 1 s, 50 ms, यहाँ तक कि 1 ms भी कर सकते हैं, पर सिर्फ़ ऊपर बताई शर्तों में, होस्ट CPU utilisation की सीमाओं समेत। Microsoft यह भी लिखता है कि “anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy”। भीड़ वाला vCPU, target system पर high CPU load का ही दूसरा नाम है।
Windows के लिए कोई ptp_kvm नहीं है। उसकी जगह आपके पास यह है:
- Hyper-V clock enlightenments. Proxmox ये पहले से Windows गेस्ट्स को देता है।
PVE::QemuServer::CPUConfig,hv_vapic,hv_spinlocks,hv_relaxedऔरhv_synicके साथhv_timeसेट करता है।hv_timeparavirtual घड़ी है, और यहkvm-clockका Windows वाला रूप है। Windows-type VMs के लिए यह default रूप से चालू है; कुछ चालू करने की ज़रूरत नहीं। - QEMU guest agent. Agent इंस्टॉल हो तो resume या snapshot restore के बाद होस्ट अपना समय गेस्ट में डाल सकता है, जो उस छलाँग वाले मामले को संभालता है जिसे NTP सबसे बुरी तरह संभालता है।
- एक ही अधिकारी चुनिए. VM में Windows की क्लासिक गड़बड़ी है दो time sources का आपस में लड़ना: host-to-guest sync और domain hierarchy sync, दोनों एक ही घड़ी को उलटी दिशाओं में सुधारते हुए। Domain से जुड़े गेस्ट के लिए domain hierarchy को जीतने दीजिए और होस्ट को समय भेजने से रोकिए। अकेले गेस्ट के लिए host sync ठीक है। दोनों कभी नहीं।
अगर आप जानना चाहते हैं कि आपका hypervisor किसी VM को समय के बारे में ठीक-ठीक क्या बता रहा है, तो अंदाज़ा लगाने के बजाय उससे पूछिए:
# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags
qm showcmd <vmid> --pretty
QEMU/KVM पर इलाज: ptp_kvm
KVM पर Linux गेस्ट्स के लिए एक सही जवाब है, और वह “और NTP सर्वर” नहीं है।
ptp_kvm गेस्ट को सीधे होस्ट से पूछने देता है कि कितना बजा है, एक hypercall के ज़रिए: x86 पर KVM_HC_CLOCK_PAIRING, और arm64 पर उसके बराबर का firmware call।
kernel इसे PTP hardware clock डिवाइस के रूप में दिखाता है, इसलिए userspace से यह किसी भी और precision clock source जैसा दिखता है, और chrony इसे reference clock की तरह इस्तेमाल कर सकता है।
जो गुण मायने रखते हैं:
- कोई नेटवर्क नहीं. न jitter, न asymmetry, न stratum, न पैकेट। रास्ता एक memory boundary है।
- Microsecond से कम. Accuracy की सीमा hypercall तय करता है, datacentre के पार round trip नहीं।
- यह टूटे हिस्से को बायपास करता है. गेस्ट न कुछ गिन रहा है, न round trip का अंदाज़ा लगा रहा है। वह ऐसा मान पढ़ रहा है जिसे होस्ट ने ऐसी घड़ी से निकाला जो पूरे समय चल रही थी।
Implementation
इसे हर उस Linux VM पर लागू कीजिए जिसमें driver है। होस्ट hypervisor के पास अपना चालू NTP या PTP होना चाहिए। ptp_kvm गेस्ट को होस्ट का समय देता है, इसलिए होस्ट की गलती भी उसी के साथ आती है।
1. Boot पर kernel module लोड कीजिए.
# /etc/modules-load.d/ptp_kvm.conf
ptp_kvm
2. उसे एक स्थिर नाम दीजिए और chrony को उसे पढ़ने दीजिए.
# /etc/udev/rules.d/90-ptp-kvm.rules
ACTION=="add", SUBSYSTEM=="ptp", ATTR{clock_name}=="kvm", SYMLINK+="ptp_kvm", GROUP="chrony", MODE="0660"
Symlink मायने रखता है क्योंकि PTP डिवाइस की numbering स्थिर नहीं होती। /dev/ptp0 एक boot पर किसी NIC की घड़ी हो सकता है और अगले पर KVM की। clock_name पर match करने से हर बार सही वाला मिलता है।
3. chrony को उसकी ओर मोड़िए, और pools हटा दीजिए.
Debian और Ubuntu पर /etc/chrony/chrony.conf बदलिए, या RHEL परिवार पर /etc/chrony.conf। pool वाली लाइनें मिटाइए और यह लिखिए:
refclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004
Pools हटाना वैकल्पिक सफ़ाई नहीं है। उन्हें छोड़ देना chrony से कहता है कि वह microsecond से कम वाले लोकल reference का मिलान दसियों milliseconds दूर के इंटरनेट सर्वरों से करे, और इंटरनेट वाले स्रोत जवाब को सिर्फ़ बिगाड़ सकते हैं।
4. Restart कीजिए और जाँचिए.
systemctl restart chronyd # or chrony, on Debian/Ubuntu
जाँच
# The symlink exists and points at the KVM clock
ls -l /dev/ptp_kvm
cat /sys/class/ptp/ptp*/clock_name
# chrony should be using PHC0 as its selected source
chronyc sources -v
# and the offset should be microseconds, not milliseconds
chronyc tracking
chronyc sources में चुने जाने के बाद PHC refclock #* PHC0 के रूप में दिखता है। # बताता है कि यह नेटवर्क peer नहीं, लोकल hardware reference है, और * बताता है कि यही इस्तेमाल में है।
अगर यह सूची में दिखे पर चुना न गया हो, तो chrony ने इसे स्वीकार नहीं किया: डिवाइस की permissions जाँचिए, और यह कि udev rule का chrony group उस user से मेल खाता है जिससे आपके distribution पर chrony असल में चलता है।
सावधानियाँ
- होस्ट सही होना चाहिए. यह गेस्ट को होस्ट से सहमत कराता है, जो तभी काम का है जब होस्ट हकीकत से सहमत हो। Hypervisors को असली NTP या PTP दीजिए।
- हर गेस्ट को चाहिए. ऐसा fleet जिसमें आधे VMs
ptp_kvmइस्तेमाल करें और आधे इंटरनेट pools, दो time authorities वाला fleet है। - Live migration ठीक है, और यही असली मकसद है. Migrate होने के बाद गेस्ट अपने नए होस्ट की घड़ी पढ़ता है। अगर होस्ट्स आपस में सहमत हैं, तो गेस्ट को कभी छलाँग नहीं दिखती।
- सिर्फ़ KVM. यह KVM hypercall है। Nested या दूसरे hypervisors यह डिवाइस नहीं दिखाएँगे, और udev rule बस चलेगा ही नहीं। यह साफ़ विफलता है, चुपचाप गलत जवाब नहीं।
क्या नहीं करना है
- Clocksource ज़बरदस्ती मत बदलिए.
kvm-clockको छोड़ दीजिए। गेस्ट kernel की command line परtscयाhpetज़बरदस्ती लगाना, इसी हालत के लिए बनी paravirtual घड़ी को ऐसे काउंटर से बदलना है जो कभी आपका था ही नहीं। - cron से
ntpdateयाhwclockमत चलाइए. यह schedule पर छलाँग है, ठीक वही जिससे databases और Kerberos नफ़रत करते हैं। - Pools को “fallback के तौर पर” मत रखिए. चालू refclock के साथ वे fallback नहीं हैं, वे एक बदतर स्रोत की दूसरी राय हैं।
mon_clock_drift_allowedबढ़ाकर इसे ठीक हुआ मत कहिए. आपने उस बजट का हिस्सा खर्च कर दिया जो नेटवर्क की असलियत के लिए है, ताकि ऐसी समस्या सहन कर सकें जिसका हल पता है।
आख़िरी वाली बात सीधे कहने लायक है: सीमा चौड़ी करना घड़ी ठीक करना नहीं है। यह alarm को खिसकाना है ताकि वह बजना बंद कर दे।
References
- Linux kernel — KVM timekeeping — गेस्ट का समय पीछे क्यों रह जाता है, TSC की local-clock समस्या, और यह निष्कर्ष कि सिर्फ़ सौदे ही मौजूद हैं
- Linux kernel — PTP_KVM — PTP clock डिवाइस के पीछे का hypercall interface
- Linux kernel — KVM x86 hypercalls —
KVM_HC_CLOCK_PAIRING, इसका x86 वाला हिस्सा - chrony — chrony.conf —
refclockdirective और PHC driver के विकल्प - MIT Kerberos — krb5.conf —
clockskewऔर उसका 300 सेकंड वाला default - Microsoft — support boundary for high accuracy time — accuracy के लक्ष्य, और वर्चुअलाइज़्ड सिस्टम के लिए होस्ट CPU utilisation की शर्तें
- Ceph — health checks —
MON_CLOCK_SKEW,mon_clock_drift_allowedऔरmon_leaseसे उसका संबंध