HDD फिर से मेन्यू में क्यों हैं

सालों तक सलाह इतनी सीधी थी कि एक स्टिकी नोट पर लिखी जा सके: सब कुछ SSD पर रखिए।

वह सलाह सही थी, और सस्ती भी थी। अब दोनों बातें पूरी तरह सच नहीं हैं। NAND की सप्लाई तंग हुई है, AI की माँग ने फ़्लैश की कीमतें ऊपर धकेल दी हैं, और बड़ी क्षमता वाले NVMe को किसी किफ़ायती Proxmox डिप्लॉयमेंट के लिए सही ठहराना मुश्किल हो गया है। उस तरह का डिप्लॉयमेंट जिसे चालू रहना है, भरोसेमंद रहना है, और जितना ईमानदारी से हो सके उतना सस्ता रहना है।

एंटरप्राइज़ HDD फिर से दिलचस्प हैं, उसी वजह से जिससे वे हमेशा थे: प्रति पाउंड क्षमता, और इसमें कोई और उनके आसपास भी नहीं आता।

दिक्कत यह है कि जिसने भी घूमती डिस्क पर VM चलाए हैं, वह जानता है कि यह कितना बुरा हो सकता है। वह अनुभव असली है, और आम तौर पर गलती आर्किटेक्चर की होती है, डिस्क की नहीं।

डिस्क पर दोष डालना आसान है, यह मानना पड़ेगा। यह गलत भी है, और महँगा भी, क्योंकि इसी के चलते लोग वह फ़्लैश खरीद लेते हैं जिसकी उन्हें ज़रूरत नहीं थी।

नीचे सब कुछ मानकर चलता है कि आपके पास हाइपर-कन्वर्ज्ड Ceph OSD वाला Proxmox है, क्योंकि लेआउट के फ़ैसले असल में वहीं चुभते हैं।

समस्या latency की है, throughput की नहीं

एक आधुनिक एंटरप्राइज़ HDD बड़ा sequential डेटा बिल्कुल ठीक से चलाता है। वह कभी bottleneck था ही नहीं।

एक 7.2k RPM एंटरप्राइज़ ड्राइव random काम में लगभग 80 से 100 IOPS देती है, क्योंकि हर random ऑपरेशन को head seek और प्लैटर के घूमने का इंतज़ार करना पड़ता है। यह आँकड़ा बीस साल में मुश्किल से हिला है। यह मैकेनिक्स है, इलेक्ट्रॉनिक्स नहीं। एक एंट्री-लेवल एंटरप्राइज़ SSD इससे तीन या चार ऑर्डर ऑफ़ मैग्निट्यूड दूर है।

उसी ड्राइव को sequential काम दीजिए और यह एक काम का डिवाइस है। ऑपरेशन की दर लगभग दोगुनी होकर करीब 200 IOPS हो जाती है, पर अब हर ऑपरेशन एक बड़ा block ले जाता है, क्योंकि head पहले से सही जगह पर है और लगातार stream कर सकता है। तो आपको असली throughput मिलता है, 150 से 250 MB/s, ऐसी प्रति टेराबाइट कीमत पर जिसे कोई और छू भी नहीं पाता।

यही अहम विषमता है, और यह “HDD धीमे हैं” वाली बात नहीं है। घूमती डिस्क sequential काम में अच्छी है और random काम में निकम्मी, और दोनों आँकड़े पास-पास सिर्फ़ इसलिए हैं क्योंकि सीमा ऑपरेशन की गिनती पर है, बाइट्स पर नहीं।

इसी से पूरे डिज़ाइन का brief तय होता है। आप डिस्क को तेज़ बनाने की कोशिश नहीं कर रहे। वह आप कर नहीं सकते। आप यह इंतज़ाम कर रहे हैं कि वह अपना समय उस मोड में बिताए जिसमें वह पहले से सक्षम है, और छोटा random ट्रैफ़िक उससे दूर रहे। इसलिए आगे जो कुछ है वह इसी एक विचार को दो बार लागू करना है।

समस्या यह है कि वर्चुअल मशीनें वह workload पैदा ही नहीं करतीं जिसमें HDD अच्छे हैं। वे पैदा करती हैं मेटाडेटा अपडेट, जर्नल writes, छोटे synchronous flush, logging, फ़ाइलसिस्टम की साफ़-सफ़ाई, और एक साथ दर्जन भर guest से random गतिविधि के झोंके, जो डिस्क पर आपस में गुँथे हुए पहुँचते हैं।

Random काम में निकम्मी, sequential में सच में अच्छी: डिस्क किस मोड में चलती है, यही पूरा डिज़ाइन हैप्रति सेकंड ऑपरेशन, एक डिवाइस: बार स्केल पर नहीं, क्योंकि तीन ऑर्डर ऑफ़ मैग्निट्यूड नहीं समाते7.2k HDD: random80–100हर ऑपरेशन seek और घुमाव का इंतज़ार करता है: निकम्मा7.2k HDD: sequential~200और हर एक बड़ा block ले जाता है: 150–250 MB/s असली throughputएंटरप्राइज़ NVMe100k+कोई चलता पुर्ज़ा नहीं, तो seek की कोई कीमत नहींहाइपर-कन्वर्ज्ड क्लस्टर असल में डिस्क को क्या भेजता हैguest मेटाडेटाअपडेटजर्नल writesऔर fsynclogging औरसाफ़-सफ़ाईRocksDBमेटाडेटाrandom झोंके,कई guestबड़े sequentialट्रांसफ़रइन छह में से पाँच छोटे और random हैं। सिर्फ़ एक वह है जिसमें स्पिंडल अच्छा है।यह “HDD धीमे हैं” वाली बात नहीं है। घूमती डिस्क sequential काम में सच में अच्छी है औरrandom काम में निकम्मी, और दोनों आँकड़े पास-पास सिर्फ़ इसलिए हैं क्योंकि सीमाऑपरेशन की गिनती पर है, हर एक के बाइट्स पर नहीं। तो काम डिस्क को तेज़ बनाना नहीं है।काम है उसे उसी मोड में रखना जिसमें वह पहले से सक्षम है।
Random और sequential ऑपरेशन की दरें हैरानी की हद तक पास-पास हैं, क्योंकि सीमा ऑपरेशन की संख्या पर है, हर ऑपरेशन में जाने वाले बाइट्स पर नहीं। Sequential वह जगह है जहाँ डिस्क अपनी कीमत वसूलती है; एक हाइपर-कन्वर्ज्ड क्लस्टर स्वाभाविक रूप से उसे दूसरी तरह का काम भेजता है।

Ceph इसमें अपनी एक परत और जोड़ता है। हर write डेटा के साथ RocksDB मेटाडेटा अपडेट भी ले जाता है। अगर यह सब कच्चे स्पिंडल पर उतरे, तो डिस्क सेवा देने के बजाय seek करने में समय बिताती हैं, और आपको वह लक्षण मिलता है जिसे हर एडमिनिस्ट्रेटर पहचानता है: ऊँचा I/O wait, सुस्त guest, बेढंगी responsiveness, और एक क्लस्टर जो अपनी क्षमता शीट के हिसाब से कहीं ज़्यादा धीमा लगता है।

Ceph का अपना हार्डवेयर मार्गदर्शन इस बारे में साफ़-साफ़ बोलता है कि यह कहाँ ले जाता है। वह चेतावनी देता है कि “consider carefully the ostensible cost-per-gigabyte advantage of larger HDDs, and the concomitant limitations of IOPS per TB”, और कहता है कि 8 TB से बड़ी ड्राइव “may be best suited for storage of large files / objects that are not at all performance-sensitive.”

यह हिसाब लगाना फ़ायदेमंद है, क्योंकि जो ड्राइव इसे किफ़ायती बनाती हैं वे बड़ी ही होती हैं। 20 TB और ऊपर। एक 20 TB ड्राइव भी अपने वही 80 से 100 random IOPS देती है, क्योंकि क्षमता से आपको एक भी ऑपरेशन ज़्यादा नहीं मिलता। तो यह लगभग 4 से 5 random IOPS प्रति टेराबाइट देती है, जबकि 8 TB ड्राइव लगभग ग्यारह देती है, और 2 TB ड्राइव चालीस।

तो Ceph के अपने पैमाने से, 20 TB स्पिंडल पूरी तरह उस इलाके में है जहाँ वह आपसे performance-sensitive workload न रखने को कहता है।

यह इन्हें खरीदने के खिलाफ़ तर्क नहीं है। यही वजह है कि इस पोस्ट का बाकी हिस्सा मौजूद है। नीचे का डिज़ाइन ठीक वही है जो 20 TB स्पिंडल को VM स्टोरेज के लिए व्यवहार्य बनाता है, इस इंतज़ाम से कि छोटा random काम उस तक कभी पहुँचे ही नहीं।

मेटाडेटा को स्पिंडल से हटाइए

HDD वाले क्लस्टर में सबसे ज़्यादा फ़ायदे वाला बदलाव है स्पिंडल से Ceph का हिसाब-किताब रखवाना बंद करना।

BlueStore हर OSD के लिए तीन चीज़ें रखता है: डेटा खुद block पर, RocksDB मेटाडेटा डेटाबेस block.db पर, और write-ahead log block.wal पर। डिफ़ॉल्ट रूप से तीनों एक ही डिवाइस पर रहते हैं। block.db को NVMe पर रख दीजिए और बहुत सारा छोटा random I/O डिस्क को पूरी तरह छोड़ देता है।

Ceph का हार्डवेयर डॉक्यूमेंटेशन इसे सीधे कहता है: “HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD.”

BlueStore OSD लेआउट: सब कुछ स्पिंडल पर, बनाम मेटाडेटा NVMe परडिफ़ॉल्ट: एक डिवाइस तीनों रखता हैobject डेटा writesRocksDB मेटाडेटाएक 7.2k HDDblockblock.db.walदोनों धाराएँ एक ही 80-IOPS बजट बाँटती हैं।हर write पर डिस्क डेटा और मेटाडेटा के बीच seek करती है।block.db NVMe पर: मेटाडेटा चला जाता हैobject डेटा writesRocksDB मेटाडेटा7.2k HDDblock: सिर्फ़ डेटाएंटरप्राइज़ NVMeblock.db.walस्पिंडल अब एक ही काम करता है।DB डिवाइस बताइए और WAL साथ चला जाता है।RBD workloads के लिए block.db का साइज़ block का 1–2% रखिए, या आराम के लिए 2.5%।इसे छोटा रखिए तो RocksDB फ़ेल नहीं होता: वह वापस स्पिंडल पर spill होता है, जो वह इकलौतानतीजा है जो अभी खरीदा फ़्लैश बर्बाद करता है। उपयोगी साइज़ लगभग 3 GB, 30 GB और300 GB पर steps में हैं, क्योंकि DB पार्टीशन सिर्फ़ RocksDB levels के योग वाले साइज़ पूरे इस्तेमाल करता है।अगले step तक ऊपर जाना आम तौर पर सस्ता है; नीचे जाने से कुछ नहीं मिलता।
बाएँ, सब कुछ एक स्पिंडल पर: डेटा writes और RocksDB अपडेट उन्हीं 80-के-आसपास IOPS के लिए लड़ते हैं। दाएँ, block.db NVMe पर: मेटाडेटा ट्रैफ़िक डिस्क छोड़ देता है, और स्पिंडल वही एक काम करता रह जाता है जिसमें वह अच्छा है।

यहाँ ढंग का एंटरप्राइज़ NVMe इस्तेमाल कीजिए, कंज़्यूमर फ़्लैश नहीं। वजह हेडलाइन बेंचमार्क आँकड़े नहीं हैं। वजह है लगातार लोड में स्थिर latency, और power-loss protection। Ceph का डॉक्यूमेंटेशन सीधा है: “Enterprise-class SSDs are best for Ceph: they feature power loss protection (PLP)”, और “bargain client-class or off-brand SSDs are a false economy.”

Samsung PM9A3 और Micron 7450 Pro श्रेणी की ड्राइव यहाँ की चीज़ हैं। write के दबाव में Ceph को peak आँकड़ों से कहीं ज़्यादा consistency की परवाह होती है, और ठीक यही चीज़ एक एंटरप्राइज़ ड्राइव को एक तेज़ कंज़्यूमर ड्राइव से अलग करती है।

block.db का साइज़, और spillover की कीमत

साइज़ गलत हुआ और फ़ायदा चुपचाप उड़ जाता है, क्योंकि जब block.db भर जाता है, तो RocksDB फ़ेल नहीं होता: वह धीमे डिवाइस पर वापस spill हो जाता है, ठीक वहीं जहाँ वह NVMe के बिना होता।

यह दोनों दुनिया का सबसे बुरा हाल है: आपने फ़्लैश खरीद लिया है और आप अब भी स्पिंडल पर seek कर रहे हैं।

Ceph का मौजूदा मार्गदर्शन:

Workloadblock के हिस्से के रूप में block.db
RBD / block: VM डिस्क1% से 2%
RGW / objectकम से कम 4%
WAL+DB को offload करते समय सामान्य सिफ़ारिशकम से कम 2.5%

Proxmox VM स्टोरेज RBD वाली पंक्ति है, तो 1–2% ईमानदार प्लानिंग आँकड़ा है, और 2.5% आराम से बैठने की जगह है।

इसे 20 TB ड्राइव पर लगाइए और आँकड़े ध्यान खींचते हैं:

एक 20 TB OSD के लिए block.db
1% पर200 GB
2% पर400 GB
2.5% पर500 GB

इसे नीचे बताए RocksDB level steps के साथ मिलाइए और प्रति OSD 300 GB समझदारी वाली जगह है। रेंज के बीच के सबसे पास वाला उपयोगी step।

इससे यह बदल जाता है कि साझा मेटाडेटा डिवाइस असल में क्या है। आठ 20 TB OSD को मिलाकर 2.4 TB NVMe चाहिए; पंद्रह, जो एक NVMe के पीछे Ceph की बताई अधिकतम संख्या है, को 4.5 TB चाहिए। इतनी बड़ी ड्राइव पर यह DB की क्षमता तय करती है कि एक डिवाइस के पीछे कितने OSD बैठेंगे, अनुपात नहीं। Ceph की मंज़ूरी खत्म होने से बहुत पहले आपके गीगाबाइट खत्म हो जाएँगे।

एक और पेच जानने लायक है, क्योंकि यह अंदाज़े वाली साइज़िंग को गलत बना देता है। RocksDB के level ढाँचे का मतलब है कि एक DB पार्टीशन सिर्फ़ उन्हीं साइज़ का पूरा इस्तेमाल कर सकता है जो उसके levels के योग से मेल खाते हैं। ऐतिहासिक रूप से इससे लगभग 3 GB, 30 GB और 300 GB पर उपयोगी steps बनते थे, और बीच के साइज़ नीचे वाले step से कुछ ज़्यादा नहीं देते थे। व्यवहार में 18 GB को ऊपर 30 GB करना अक्सर मुफ़्त होता है; उसे नीचे 20 GB करना सबसे बुरी हालत में आपको 3 GB से ज़्यादा कुछ नहीं देता।

spillover की जाँच क्लस्टर कुछ समय चल लेने के बाद कीजिए, पहले दिन नहीं। यह धीरे-धीरे उभरने वाली समस्या है।

अलग WAL डिवाइस की ज़रूरत नहीं

इससे एक पार्टीशन और बहुत सारी माथापच्ची बचती है।

अगर आप DB डिवाइस बताते हैं और कोई अलग WAL डिवाइस नहीं, तो Ceph WAL को अपने आप DB के साथ तेज़ डिवाइस पर रख देता है। डॉक्यूमेंटेशन कहता है कि “whenever a DB device is specified but an explicit WAL device is not, the WAL will be implicitly colocated with the DB on the faster device.”

तो “DB और WAL को NVMe पर रखो” सही लक्ष्य है, पर यह एक argument है, दो नहीं। अलग block.wal तभी समझ में आता है जब आपके पास उसे रखने के लिए एक तीसरा, और तेज़ टियर हो।

HDD का write cache बंद कीजिए

छोटा, बेरौनक, और छूट जाने में आसान।

Ceph का डॉक्यूमेंटेशन बताता है कि HDD पर OSD performance “may be dramatically increased … by disabling this write cache”। ड्राइव के अंदर का volatile cache writes का क्रम बदलता है और उन्हें ऐसे रोकता है जो Ceph के flush semantics से टकराता है, और इसे बंद करने से आम तौर पर चीज़ें धीमी नहीं, तेज़ होती हैं।

bcache आने के बाद यह सलाह नहीं, अनिवार्यता बन जाता है, जो अगला सेक्शन है।

जब आप वहाँ हैं ही: आपको RAID-capable HBA की ज़रूरत नहीं है। Ceph यह सीधे कहता है: “You do not need an RoC (RAID-capable) HBA.” OSD को डिस्क दे दीजिए।

हर स्पिंडल के लिए एक Optane

मेटाडेटा को डिस्क से हटाना steady state को ठीक करता है। यह झोंकों को ठीक नहीं करता, क्योंकि छोटे synchronous writes के एक झोंके को फिर भी acknowledge होना है, और स्पिंडल फिर भी स्पिंडल की रफ़्तार से acknowledge करता है।

bcache इसी के लिए है, और यहाँ इसे जो चीज़ काम का बनाती है वह है Optane।

मायने क्षमता के नहीं हैं। मायने write लोड में व्यवहार के हैं। NAND के मुकाबले Optane बहुत कम latency, बहुत ऊँची endurance देता है, और garbage collection की वे खाइयाँ बिल्कुल नहीं जो किसी SSD के write-cache performance को कुछ समय सेवा में रहने के बाद अनिश्चित बना देती हैं। छोटा, झोंकेदार, write-भारी ट्रैफ़िक सोखना वह काम है जिसमें यह दुनिया में सबसे अच्छा है।

जो लेआउट मायने रखता है: हर HDD के लिए एक Optane, हर जोड़ी अपना अलग bcache डिवाइस। डिस्क की पूरी शेल्फ़ में बँटा एक Optane नहीं।

तीन टियर, साझा करने के दो मॉडल: जोड़ी वाला write cache, साझा मेटाडेटा डिवाइसएक Proxmox नोड, तीन OSDGuest VM writes: छोटे, synchronous, झोंकेदारCeph RocksDB मेटाडेटाbcache0Optanewrite cacheHDDosd.0 blockbcache1Optanewrite cacheHDDosd.1 blockbcache2Optanewrite cacheHDDosd.2 blockहर स्पिंडल पर एक Optane: जोड़ी में, कभी साझा नहींcache फ़ेल होने की कीमत ठीक एक OSD है, जिसे Ceph रोज़ की तरह rebuild करता है।यहाँ ज़रूरी endurance: 30–100 DWPD। सिर्फ़ Optane।साझा एंटरप्राइज़ NVMeblock.db + अपने आप WAL, तीनों OSDpower-loss protectedसाझा, क्योंकि मेटाडेटा छोटा हैCeph: प्रति SATA SSD 4–5 HDD, प्रति NVMe 15 से ज़्यादा नहीं।इसे खोइए और इसके पीछे का हर OSD साथ जाता है।एंटरप्राइज़ NAND ठीक है, पर तेज़ NVMe, सस्ता नहीं।दोनों टियर ज़रूरी हैं, और ये एक जैसी खरीद नहीं हैं। Optane write का acknowledgementछोटा करता है; Ceph के लगातार मेटाडेटा reads के लिए कुछ नहीं करता, और मेटाडेटा writesको सिर्फ़ टालता है। NVMe छोड़िए और RocksDB फिर प्लैटर पर है।OSD का हर write उसके cache डिवाइस से गुज़रता है, इसीलिए वह Optane होना चाहिए। मेटाडेटाडिवाइस का होना ज़रूरी नहीं, पर उसे फिर भी तेज़ NVMe होना है: write वॉल्यूम छोटा, फिर भी वहअपने पीछे के हर OSD की मेटाडेटा latency ढोता है।
तीन टियर, साझा करने के दो अलग मॉडल। DB/WAL डिवाइस कई OSD में साझा है क्योंकि RocksDB का write वॉल्यूम छोटा है, फिर भी उसे तेज़ NVMe होना ही है क्योंकि वह उन सबकी मेटाडेटा latency ढोता है। Optane write cache अपने स्पिंडल के साथ एक-से-एक जोड़ा गया है, तो cache के फ़ेल होने पर कभी एक ही OSD जा सकता है।

यह जोड़ी सोच-समझकर चुनी गई है, और इससे दो चीज़ें मिलती हैं।

कोई होड़ नहीं। हर स्पिंडल को एक पूरे Optane की latency और queue depth अकेले मिलती है, बजाय इसके कि वह सात दूसरे OSD के झोंकों के पीछे कतार में लगे।

एक failure domain जिसे झेलना Ceph पहले से जानता है। एक साझा write cache अपने पीछे के हर OSD का dirty डेटा रखता है, तो उसे खोने का मतलब सबको एक साथ खोना है; एक-से-एक जोड़ी में, एक Optane खोने की कीमत ठीक एक OSD है। यह फ़र्क इस डिज़ाइन का सबसे अहम नतीजा है, और इस पर अलग से बात आप क्या गँवा रहे हैं में है।

यह Optane ही होना चाहिए, NAND नहीं

“Optane” शब्द यहाँ ब्रांड की पसंद या शौक की चीज़ नहीं है। NAND NVMe लगाना, चाहे वह कितना भी महँगा हो, कुछ ऐसा बनाता है जो घिस जाता है, और वजह endurance है।

देखिए cache डिवाइस कहाँ बैठता है। क्योंकि यह डिज़ाइन bcache का sequential bypass बंद कर देता है, यानी नीचे वाले नियम में sequential_cutoff=0, इसलिए उस OSD पर हर एक write इसी से होकर जाता है: सिर्फ़ झोंके नहीं, सब कुछ। इससे cache नोड का सबसे ऊँचे duty cycle वाला डिवाइस बन जाता है, जिससे मशीन की पूरी उम्र तक एक पूरी घूमती डिस्क का write वॉल्यूम सोखने को कहा जाता है।

Endurance को drive writes per day में बताया जाता है, और फ़र्क थोड़ा-बहुत नहीं है:

डिवाइसरेटेड endurance
Optane P5800X100 DWPD
Optane P4800X30 DWPD
Write-intensive एंटरप्राइज़ NAND, रेंज में सबसे ऊपरलगभग 10 DWPD
Mixed-use एंटरप्राइज़ NAND3 DWPD या कम
आम एंटरप्राइज़ NAND: PM9A3, 7450 Pro श्रेणीलगभग 1 DWPD

Optane की endurance उस NAND से दस से सौ गुना है जो आप वरना वहाँ लगाते। 1 DWPD वाली ड्राइव को उस एक जगह लगाइए जहाँ क्लस्टर का हर write आता है, और आपने cache नहीं बनाया, आपने एक खपने वाली चीज़ बना दी है।

टेबल जितना बताती है हालत उससे बुरी है, क्योंकि NAND अंदरूनी तौर पर write amplification झेलता है और Optane नहीं। एक NAND ड्राइव का रेटेड DWPD वह है जो वह interface पर लेती है; उसकी cells असल में जितना सोखती हैं वह ज़्यादा है। Optane के आँकड़े को ऐसे किसी फ़ुटनोट की ज़रूरत नहीं।

Rebuild में इसकी परीक्षा होती है। Backfill बचे हुए नोड्स से एक सिकुड़ी हुई अवधि में टेराबाइट्स writes धकेलता है, उसका हर बाइट उनके cache डिवाइस से होकर: यह endurance की घटना है, सिर्फ़ latency की नहीं, और ठीक तब आती है जब आप सबसे कम चाहते हैं कि कोई दूसरा डिवाइस फ़ेल हो।

तो दोनों फ़्लैश टियर को अलग-अलग वजहों से अलग-अलग ड्राइव चाहिए:

टियरWrite वॉल्यूमडिवाइस को क्या चाहिए
DB/WALछोटा, सिर्फ़ RocksDBएक तेज़ एंटरप्राइज़ NVMe। कम latency, ऊँचे random IOPS, PLP। एंटरप्राइज़ NAND सही तकनीक है; PM9A3 या 7450 Pro सही खरीद है
Write cacheसब कुछPLP और दसियों DWPD वाली endurance। NAND किसी भी कीमत पर गलत तकनीक है

दोनों कामों के लिए एक ही तरह की ड्राइव खरीदना वही गलती है जिसे रोकने के लिए यह सेक्शन है। पर पहली पंक्ति को बचत की इजाज़त मत समझिए, क्योंकि कम write वॉल्यूम का मतलब कम माँग नहीं है।

DB/WAL डिवाइस को फिर भी सच में तेज़ NVMe होना है, तीन वजहों से जिनका इससे कोई लेना-देना नहीं कि उससे कितने बाइट्स गुज़रते हैं।

यह अपने पीछे के हर OSD की एक साथ सेवा करता है, तो जो queue इसे दिखती है वह चार या पंद्रह सेट मेटाडेटा ट्रैफ़िक है, एक डिस्क जितना नहीं।

इसकी latency सीधे आपके clients पर पड़ती है। RocksDB lookups objects खोजने, peering और scrub के critical path पर बैठते हैं, और वे छोटे random reads हैं। यही वह workload है जहाँ एक तेज़ NVMe और एक औसत NVMe का फ़र्क सबसे चौड़ा है। हर microsecond उस पर निर्भर हर OSD से गुणा होता है।

और compaction झोंकेदार है। RocksDB समय-समय पर अपने levels दोबारा लिखता है, जिससे लगातार की हलचल reads और writes के एक घने उछाल में बदल जाती है। जो डिवाइस औसत झेल लेता है और उछाल पर अटकता है, वह अपने पीछे के हर OSD को एक ही पल में अटका देता है।

Ceph के अपने अनुपात इसका इशारा हैं। यह SATA SSD के मुकाबले एक NVMe के पीछे तीन गुना OSD की इजाज़त देता है, और यह interface और डिवाइस क्लास बोल रहे हैं, क्षमता नहीं। NVMe इस्तेमाल कीजिए।

तो: cache डिवाइस Optane होना ही चाहिए, DB/WAL डिवाइस NAND हो सकता है, और इनमें से कोई भी जगह पैसे बचाने की नहीं है।

कौन सा Optane: 32 GB का M10 अक्सर काफ़ी होगा

इसका मतलब यह नहीं कि सबसे बड़ा Optane ही सही है। आपको कौन सा डिवाइस चाहिए यह आपका write workload तय करता है, हालाँकि जैसा आगे दिखेगा, सेकंड-हैंड बाज़ार शायद यह फ़ैसला आपके लिए वैसे भी कर दे। हिसाब फिर भी मायने रखता है, क्योंकि यह बताता है कि आप ज़्यादा खरीद रहे हैं या कम।

शुरुआत इससे कीजिए कि cache है किसलिए। यह एक झोंका रखता है, डिस्क नहीं। writeback_percent=40 पर एक 32 GB डिवाइस लगभग 13 GB का dirty buffer देता है, जो छोटे synchronous writes की बहुत बड़ी संख्या है।

तो अनुपात से घबराइए मत। 20 TB डिस्क के आगे 32 GB मॉड्यूल उसका 0.16% है, जो बेतुका लगता है जब तक आपको याद न आए कि यह झोंका सोखने वाला है, hot डेटा रखने की कोशिश करता working-set cache नहीं। उसी डिस्क के आगे 375 GB डिवाइस 1.9% है, जो बस उससे ज़्यादा गुंजाइश है जितनी आप इस्तेमाल करेंगे।

इससे रेंज का सस्ता छोर खेल में आ जाता है। यह रहा छोटा कंज़्यूमर मॉड्यूल डेटासेंटर वाले पुर्ज़े के मुकाबले, क्योंकि फ़र्क वहाँ नहीं है जहाँ लोग उम्मीद करते हैं:

Optane Memory M10 32 GBOptane DC P4800X 375 GB
Random read, 4K240,000 IOPS550,000 IOPS
Random write, 4K65,000 IOPSread के बराबर
Sequential read1,200 MB/s2,400 MB/s
Sequential write290 MB/s2,000 MB/s
आम latencyनहीं बताया गया10 µs से कम
Endurance365 TBW12.3 PBW: 30 DWPD
InterfacePCIe 3.0 x2, M.2 2280PCIe 3.0 x4, U.2 या AIC

पहले write IOPS वाली पंक्ति देखिए। छोटा M10 एक सेकंड में 65,000 random writes करता है; उसके पीछे का स्पिंडल 80। सबसे सस्ता Optane भी जिस डिस्क को cache कर रहा है उससे लगभग 650 गुना है, तो performance के पैमाने पर बहस शुरू होने से पहले खत्म है। DC पुर्ज़े के अतिरिक्त IOPS के पास जाने की कोई जगह नहीं जब नीचे एक 7.2k डिस्क है।

जो पंक्ति खरीद तय करती है वह endurance है, जहाँ फ़र्क 34× है। पाँच साल की उम्र पर इसे रोज़ के बजट में बदलिए:

डिवाइसपाँच साल में रोज़ झेले जा सकने वाले writes
M10 32 GB: 365 TBWलगभग 200 GB/दिन
P4800X 375 GB: 12.3 PBWलगभग 6.7 TB/दिन

रोज़ 200 GB से कम writes और एक 32 GB M10 पूरी बिल्ड की उम्र निकाल देता है। उसके दोगुने पर आपको ढाई साल मिलते हैं। सच में write-भारी हों तो DC पुर्ज़ा अपनी कीमत वसूलता है: IOPS के लिए नहीं, जिन्हें आप इस्तेमाल नहीं कर सकते, बल्कि उस तीस-गुना-के-आसपास ज़्यादा लिखाई के लिए जो वह झेलता है।

तो अंदाज़ा मत लगाइए, नापिए। किसी मौजूदा cache डिवाइस पर nvme smart-log आपको data_units_written देता है; एक हफ़्ते के अंतर पर दो बार लीजिए, भाग दीजिए, और जिस चीज़ पर आप विचार कर रहे हैं उसके रेटेड TBW से तुलना कीजिए। अगर आप वहाँ पढ़ना पसंद करें तो bcache अपने खुद के कुल आँकड़े /sys/block/bcacheN/bcache/stats_total/ के नीचे रखता है।

M10 पर दो सावधानियाँ। इसके random आँकड़े पूरे डिवाइस पर नहीं, 8 GB के दायरे पर बताए गए हैं, तो जिस cache को आप काफ़ी भरा चलाने वाले हैं, उस पर इन्हें आशावादी छोर मानिए। और यह एक कंज़्यूमर पुर्ज़ा है जिस पर एंटरप्राइज़ PLP का कोई दावा नहीं। Optane का मीडिया जगह पर ही लिखा जाता है और write path में कोई DRAM buffer नहीं होता, इसीलिए ये मॉड्यूल अचानक बिजली जाने पर कंज़्यूमर NAND से कहीं बेहतर बर्ताव करते हैं, पर “व्यवहार में ठीक रहता है” कोई specification नहीं है। अगर आपको गारंटी लिखित में चाहिए, तो DC-series पुर्ज़ा खरीदिए।

निचली सीमा bandwidth है, क्षमता नहीं: 16 GB मॉड्यूल छोड़िए

एक दूसरी शर्त भी है, ऊपर की हर बात से अलग, और यह रेंज के सबसे सस्ते पुर्ज़े को बाहर कर देती है।

Cache को sequential में डिस्क से तेज़ होना ही चाहिए, वरना वह एक throttle है। 16 GB M10 नहीं है, और यही वह मॉड्यूल है जिसका लालच आपको सबसे ज़्यादा होगा क्योंकि यह लगभग मुफ़्त है:

Sequential write
Optane Memory M10 16 GB150 MB/s
Optane Memory M10 32 GB290 MB/s
Optane DC P4800X 375 GB2,000 MB/s
एक 7.2k एंटरप्राइज़ HDD150–250 MB/s

पहली और आखिरी पंक्ति साथ पढ़िए। एक 16 GB मॉड्यूल sequential में लगभग उसी रफ़्तार से लिखता है जिस घूमती डिस्क को उसे तेज़ करना है, और किसी अच्छी डिस्क से धीमा। Random काम के लिए यह अब भी ज़बरदस्त तेज़ है, डिस्क के 80 के मुकाबले 35,000 random write IOPS, पर sequential stream पर यह सबसे अच्छी हालत में बराबरी है और सबसे बुरी में उस रफ़्तार से नीचे की छत जो अकेली डिस्क बिना मदद के दे लेती थी।

और यह डिज़ाइन पक्का करता है कि आप उस छत से टकराएँगे, क्योंकि sequential bypass बंद करने से सब कुछ cache से होकर जाता है, जिससे cache की अपनी sequential write bandwidth पूरे OSD की पक्की छत बन जाती है। Recovery में यह सबसे ज़्यादा चुभता है: 20 TB OSD को backfill करना इस workload में लगभग सबसे sequential चीज़ है, और उसे 150 MB/s पर बाँध देना पहले से धीमे rebuild को और धीमा कर देता है।

तो M10 लाइन की निचली सीमा 32 GB है, और यह क्षमता की नहीं, bandwidth की सीमा है। क्षमता के हिसाब ने कहा था कि 32 GB काफ़ी से ज़्यादा है; bandwidth का हिसाब 16 GB को बाहर करता है, चाहे आपको स्टोर करना कितना भी कम हो। दोनों जाँचें पास होनी चाहिए, और सस्ता पुर्ज़ा उस जाँच में फ़ेल होता है जिसे लोग देखते नहीं।

आप जिस भी चीज़ पर विचार करें, खरीदने से पहले उसका sequential write आँकड़ा 250 MB/s के बगल में रखिए।

एक ऐसा प्रोडक्ट खरीदना जिसे अब कोई नहीं बनाता

Optane बंद हो चुका है। Intel ने 2022 में यह कारोबार समेट लिया, $559 million का inventory write off किया और development खत्म कर दिया। कोई नया उत्पादन नहीं, कोई restock नहीं; कुल सप्लाई अब सिर्फ़ घटेगी।

इससे एक साफ़ सवाल उठता है, क्योंकि बिक्री के लिए हैरानी की हद तक काफ़ी माल है। यह कहाँ से आता है, यह समझना बताता है कि आप क्या खरीद रहे हैं।

यह OEM सर्विस-स्पेयर्स का inventory है जो निकाला जा रहा है। तीन बड़े सर्वर निर्माताओं ने Optane को उन प्लैटफ़ॉर्म के सपोर्ट के लिए spare parts के रूप में स्टॉक किया था जिनमें वे इसे बेचते थे। वे प्लैटफ़ॉर्म end-of-life हो गए और सपोर्ट से बाहर हो गए, तो उनके पीछे के spares रातोंरात मरा हुआ स्टॉक बन गए: उन मशीनों के पुर्ज़ों के गोदाम जिन्हें ठीक करने की अब किसी की कॉन्ट्रैक्ट वाली ज़िम्मेदारी नहीं। यही inventory AliExpress और refurbishers की तरफ़ बह रहा है।

दो नतीजे, और दोनों अच्छी खबर हैं।

इसका बड़ा हिस्सा निकाला हुआ नहीं, बिना इस्तेमाल का है। सर्विस spares एक शेल्फ़ पर उस failure के इंतज़ार में पड़े रहे जो कभी आया ही नहीं, तो आने पर wear का आँकड़ा अक्सर लगभग शून्य होता है: “कुछ साल का हल्का काम” नहीं, बल्कि कभी लिखा ही नहीं गया। भरोसा मत कीजिए, जाँचिए: nvme smart-log आपको percentage_used और data_units_written देता है, और असली spares स्टॉक पर ये चौंकाने वाले कम होने चाहिए। असली wear दिखाने वाला कुछ भी किसी और चीज़ के नाम पर बेचा जा रहा निकाला हुआ पुर्ज़ा है, हालाँकि तब भी endurance की गुंजाइश का मतलब है कि एक इस्तेमाल किया Optane उसी क्षमता की एकदम नई NAND ड्राइव से ज़्यादा उम्र बचाए रख सकता है।

इससे समझ आता है कि आपको कौन सी क्षमताएँ मिलेंगी। OEM spares सर्वरों के लिए स्टॉक किए गए थे, यानी डेटासेंटर पुर्ज़े। यह रही पूरी रेंज, और देखिए फ़्लैगशिप कहाँ से शुरू होता है:

पुर्ज़ाक्षमताएँफ़ॉर्म
Optane Memory M1016, 32, 64 GBM.2 2280, कंज़्यूमर
Optane SSD 800P58, 118 GBM.2 2280, कंज़्यूमर
Optane SSD P1600X58, 118 GBM.2 2280, डेटासेंटर boot और cache पुर्ज़ा
Optane SSD DC P4801X100, 200, 375 GBM.2 110 mm या U.2
Optane SSD DC P4800Xसबसे छोटा 375 GB, 750 GB, 1.5 TBU.2 या add-in card
Optane SSD P5800X400 GB, 800 GB, 1.6 TBU.2 या add-in card

सिद्धांत में छोटे M.2 पुर्ज़े सबसे सलीकेदार जवाब हैं: M10, 800P, P1600X और 100 GB वाला P4801X सब यह काम करते हैं, और सस्ते में। व्यवहार में बाज़ार में ये हैं ही नहीं, क्योंकि किसी ने डेस्कटॉप accelerator मॉड्यूल को सर्वर spares के रूप में गोदाम में नहीं रखा। जो लिस्टेड है वह 375 GB और ऊपर है, P4800X श्रेणी का हार्डवेयर।

तो इस भूमिका की ज़रूरत से ज़्यादा क्षमता खरीदने की योजना बनाइए, क्योंकि बिक्री पर वही है। यह बुरा नतीजा नहीं है। cache डिवाइस ज़्यादा खरीदने से आप 30 DWPD और 10 µs से कम latency पर पहुँचते हैं जबकि आपके workload को दोनों का एक हिस्सा चाहिए था, और 20 TB के जिस स्पिंडल को आप सालों रखने वाले हैं, उसके लिए गलती करने का यही सही तरीका है। इसका मतलब यह ज़रूर है कि शुरुआती कीमत हिसाब से ऊँची है, और ऊपर की साइज़िंग खरीदारी की सूची के बजाय कम खरीदने के खिलाफ़ एक जाँच बन जाती है।

तीन चीज़ों की योजना बनाइए, क्योंकि यह सप्लाई चेन नहीं, निकासी है:

Spares बिल्ड के साथ ही खरीदिए। एक सीमित भंडार खाली किया जा रहा है। जब तीन साल बाद कोई डिवाइस फ़ेल होगा, तो आप replacement ऑर्डर नहीं करेंगे, आप उसे ढूँढ रहे होंगे, तो spares की लागत अभी जोड़िए, जब तक स्टॉक मौजूद है।

OEM firmware की उम्मीद रखिए और namespace जाँचिए। किसी vendor के spares प्रोग्राम से आए पुर्ज़ों पर अक्सर उसी vendor का firmware होता है, और वे किसी ऐसे LBA साइज़ या metadata settings के साथ फ़ॉर्मैट होकर आ सकते हैं जो उस चीज़ के हिसाब से था जिसके लिए उन्हें स्टॉक किया गया था। उस पर कुछ बनाने से पहले nvme id-ns से पक्का कीजिए, और सादे 4096-byte फ़ॉर्मैट पर nvme format के लिए तैयार रहिए।

कोई warranty नहीं, कोई सपोर्ट नहीं, और कोई नया firmware अपडेट नहीं। Intel का अपना सपोर्ट नोटिस बताता है कि सेवा में पहले से लगे डिवाइसों के लिए इस समेटने का क्या मतलब है, और आप जो भी खरीदते हैं वह पहले से उसी हालत में है। जो पुर्ज़ा आया वह वही है जो लिस्टिंग में था, यह जाँचना आपकी ज़िम्मेदारी है।

bcache, DB/WAL offload की जगह नहीं लेता

इसे साफ़ कहना ज़रूरी है, क्योंकि पैसे बचाने की कोशिश के लिए यह सबसे ज़ाहिर जगह है और यह काम नहीं करता: आपको फिर भी NVMe पर block.db चाहिए। दोनों परतें, एक या दूसरी नहीं।

Optane एक write cache है। बस इतना ही। यह डिस्क की तरफ़ जा रहे writes का acknowledgement रास्ता छोटा करता है, और कुछ नहीं करता।

RocksDB सिर्फ़ लिखता नहीं। Ceph अपना मेटाडेटा लगातार पढ़ता है: objects खोजने के लिए, peering के लिए, scrubs का जवाब देने के लिए। और एक write cache, डेटा उससे flush हो जाने के बाद, किसी read को ठीक कुछ नहीं देता। न ही cache मेटाडेटा ट्रैफ़िक को हटाता है; वह उसे टालता और बैच करता है, तो हर RocksDB अपडेट आखिरकार स्पिंडल पर पहुँचता ही है, उन्हीं seeks के लिए लड़ता हुआ। और compaction मामूली हलचल को उससे कहीं ज़्यादा डिवाइस ट्रैफ़िक में बदल देता है जितने writes ने उसे पैदा किया था।

तो दोनों बदलाव अलग समस्याएँ ठीक करते हैं और कोई दूसरे की जगह नहीं लेता:

यह क्या ठीक करता हैयह क्या नहीं करता
NVMe पर block.dbमेटाडेटा फ़्लैश पर रहता है: reads और writes दोनों, हमेशा के लिए स्पिंडल से दूरguest writes के झोंके के लिए कुछ नहीं
bcache के ज़रिए Optaneडेटा writes के लिए झोंके की acknowledgement latencyमेटाडेटा reads के लिए कुछ नहीं; मेटाडेटा writes को सिर्फ़ टालता है

DB offload छोड़िए और Optane रखिए, तो RocksDB फिर प्लैटर पर है और उसके reads 80 IOPS पर चलते हैं। Optane छोड़िए और DB offload रखिए, तो steady state ठीक है पर झोंके फिर भी स्पिंडल की रफ़्तार पर अटकते हैं।

udev नियम, एक-एक लाइन

bcache के tunables sysfs में रहते हैं, और sysfs हर बार डिवाइस register होने पर उन्हें reset कर देता है, यानी हर boot पर। तो उनकी जगह एक udev नियम में है, किसी ऐसी स्क्रिप्ट में नहीं जिसे चलाना किसी को याद रखना पड़े:

# /etc/udev/rules.d/99-bcache.rules
ACTION=="add|change", SUBSYSTEM=="block", KERNEL=="bcache*", \
  ATTR{bcache/cache_mode}="writeback", \
  ATTR{bcache/sequential_cutoff}="0", \
  ATTR{bcache/congested_read_threshold_us}="0", \
  ATTR{bcache/writeback_rate}="81920", \
  ATTR{bcache/writeback_rate_minimum}="20480", \
  ATTR{bcache/writeback_percent}="40"

KERNEL=="bcache*" नोड के हर bcache डिवाइस से मेल खाता है, तो एक नियम सारी जोड़ियों को कवर करता है। ACTION=="add|change" का मतलब है कि यह तब भी दोबारा लागू होता है जब कोई डिवाइस दिखता है या फिर से जुड़ता है, सिर्फ़ boot पर नहीं।

हर setting क्या कर रही है, और क्यों:

cache_mode=writeback: पूरा मकसद यही है। डिफ़ॉल्ट writethrough में कोई write तब तक acknowledge नहीं होता जब तक वह HDD तक न पहुँचे, तो cache write latency के लिए कुछ नहीं करता। writeback में Optane acknowledge करता है और स्पिंडल बाद में पकड़ लेता है।

sequential_cutoff=0: डिफ़ॉल्ट रूप से bcache sequential I/O पहचानता है और 4 MB पार होते ही उसे सीधे cache के पार भेज देता है, इस सोच पर कि backing डिस्क sequential ठीक संभाल लेती है। शून्य वह bypass बंद कर देता है ताकि सब कुछ cache हो। हाइपर-कन्वर्ज्ड नोड पर यही सही फ़ैसला है: जो एक bcache डिवाइस को sequential दिखता है, वह कई OSD के आपस में गुँथने पर प्लैटर पर sequential नहीं रहता, और आप चाहते हैं कि हर write हर हाल में Optane की रफ़्तार पर acknowledge हो। इसके साथ एक ज़िम्मेदारी भी आती है: कोई bypass न होने पर cache डिवाइस की अपनी sequential write bandwidth पूरे OSD की छत बन जाती है, और यही 16 GB मॉड्यूल के बाहर होने की वजह है।

congested_read_threshold_us=0: bcache अपने cache डिवाइस की latency पर नज़र रखता है और जब उसे लगता है कि वह भीड़ में है तो cache को bypass करना शुरू कर देता है, reads के लिए डिफ़ॉल्ट 2000 µs पर। Optane उस तरह भीड़ में नहीं आता जैसे NAND आता है, तो यह bcache उस डिवाइस पर शक कर रहा है जिसे उसने गलत नापा है। शून्य यह tracking बंद कर देता है।

writeback_rate=81920 और writeback_rate_minimum=20480: बैकग्राउंड flush की दर, sectors per second में, यानी लगभग 40 MB/s का लक्ष्य और 10 MB/s की निचली सीमा। एक PD controller असली दर को इन दोनों के बीच चलाता है। लक्ष्य उसके पास रखा गया है जितना एक स्पिंडल sequential में सोख सकता है, और निचली सीमा controller को flush को शून्य की ओर दबाने और dirty डेटा को अनिश्चित काल तक जमा होने देने से रोकती है। दोनों शुरुआती बिंदु हैं, स्थिरांक नहीं: इन्हें कैसे बदलें नीचे है।

writeback_percent=40: bcache cache का कितना हिस्सा dirty रहने देगा इससे पहले कि वह ज़ोर से पीछे धकेले, डिफ़ॉल्ट 10 के मुकाबले। चालीस आपको कहीं गहरा burst buffer देता है। इसका यह भी मतलब है कि उस Optane के 40% तक हिस्से में सिस्टम के डेटा की इकलौती कॉपी होती है, यही सौदा है, और यही वजह है कि हर-स्पिंडल-एक वाला लेआउट मायने रखता है। असली workload देख लेने के बाद यही वह value है जिस पर दोबारा सोचना सबसे ज़्यादा फ़ायदेमंद है।

भरने और flush की values बाद में बदलना

ऊपर का 40% और दोनों दरें वे values हैं जो यहाँ चल रही हैं, सार्वभौमिक स्थिरांक नहीं। असली workload देखने के बाद यही पहली चीज़ें हैं जिन्हें आप हिलाना चाहेंगे, तो यह जानना फ़ायदेमंद है कि इन्हें बदलने की दो जगहें हैं, जो दो अलग काम करती हैं।

sysfs इसे अभी बदलता है। udev नियम इसे अगले boot पर बदलता है। आपको दोनों चाहिए, और इसी क्रम में।

इसे live बदलिए, एक डिवाइस पर:

echo 30 > /sys/block/bcache0/bcache/writeback_percent

या नोड की हर जोड़ी पर:

for d in /sys/block/bcache*/bcache; do
  echo 30 > "$d/writeback_percent"
done

Flush दर भी इसी तरह काम करती है। दोनों values sectors per second में हैं, तो ये लक्ष्य और निचली सीमा दोनों को आधा कर देते हैं:

for d in /sys/block/bcache*/bcache; do
  echo 40960 > "$d/writeback_rate"
  echo 10240 > "$d/writeback_rate_minimum"
done

यह तुरंत लागू होता है और ठीक तब तक टिकता है जब तक डिवाइस दोबारा register नहीं होता। Kernel डॉक्यूमेंटेशन साफ़ कहता है कि ये settings “do not persist across reboot”, और udev नियम के होने की पूरी वजह यही है।

जब आप किसी value से संतुष्ट हों, नियम एडिट कीजिए और बिना reboot के reload कीजिए:

udevadm control --reload
udevadm trigger --subsystem-match=block --action=change

यहीं ACTION=="add|change" अपनी कीमत वसूलता है। Trigger पहले से मौजूद डिवाइसों पर change event भेजता है, तो नियम अगले boot का इंतज़ार करने के बजाय चलते नोड पर दोबारा लागू हो जाता है। अगर नियम सिर्फ़ add से मेल खाता, तो वह कमांड कुछ नहीं करती।

फिर values वापस पढ़िए, क्योंकि udev नियम में टाइपो चुपचाप फ़ेल होता है:

grep . /sys/block/bcache*/bcache/writeback_percent

किस दिशा में हिलाना है, यह कैसे जानें

इसे पहले सिद्धांतों से tune मत कीजिए: bcache आपकी ज़रूरत की चीज़ें उसी sysfs डायरेक्टरी के नीचे दिखाता है।

देखने लायक dirty_data है: इस समय कितना डेटा cache में बैठा है और कहीं और नहीं। डॉक्यूमेंटेशन इसे “continuously updated unlike the cache set’s version, but may be slightly off” बताता है, जो इस मकसद के लिए ठीक है। इसे एक सामान्य कामकाजी दिन और एक backup विंडो के दौरान sample कीजिए।

cache_hits, cache_misses और cache_hit_ratio बताते हैं कि cache इस्तेमाल हो रहा है या नहीं, इस शर्त के साथ कि “a partial hit is counted as a miss”। bypassed वह IO गिनता है जो cache के पूरी तरह पार चला गया: sequential_cutoff=0 के साथ यह लगभग सपाट होना चाहिए, तो बढ़ती संख्या का मतलब है कि कुछ अब भी इसके चारों ओर से रास्ता बना रहा है।

ये सब चलते कुल आँकड़ों के रूप में आते हैं, साथ में ऐसे versions जो पिछले दिन, घंटे और पाँच मिनट में घटते जाते हैं, जिससे कम अवधि वाले आँकड़े किसी समस्या को पकड़ने के लिए पूरी उम्र वाले आँकड़े से कहीं ज़्यादा काम के हैं।

वहाँ से:

लक्षणKnobदिशा
झोंके अटकते हैं: writes झोंके के बीच स्पिंडल latency से टकराते हैंwriteback_percentऊपर, गहरे buffer के लिए
cache पर उससे ज़्यादा डेटा खुला है जितने से आप सहज हैंwriteback_percentनीचे
सामान्य काम के दौरान dirty_data छत पर अटका हैwriteback_rateऊपर: समस्या buffer नहीं, निकासी है
बैकग्राउंड flush स्पिंडल पर guest reads से टकरा रहा हैwriteback_rateनीचे
dirty_data घंटों के बजाय दिनों में धीरे-धीरे बढ़ रहा हैwriteback_rate_minimumऊपर, ताकि controller रेंगने तक न दबा सके

अगर dirty_data आप कुछ भी करें, छत पर ही अटका रहे, तो कोई knob जवाब नहीं है: क्लस्टर उससे तेज़ लिख रहा है जितना स्पिंडल सोख सकते हैं, और ईमानदार इलाज हैं ज़्यादा स्पिंडल या कम writes।

एक फ़ाइल को छेड़िए मत: writeback_running। इसे बंद करने से writeback पूरी तरह रुक जाता है, और डॉक्यूमेंटेशन कहता है कि यह “only meant for benchmarking” है। एक production OSD पर इसका मतलब है कि dirty डेटा तब तक जमा होता रहता है जब तक cache भर न जाए, और कभी खाली नहीं होता।

आप क्या गँवा रहे हैं

इस डिज़ाइन के ज़्यादातर लेख अच्छी खबर पर रुक जाते हैं। ये वे हिस्से हैं जो सच में आपको चोट पहुँचाएँगे, और इनमें से हर एक को बनाने के बाद नहीं, पहले जानना फ़ायदेमंद है।

दोनों जोड़े गए डिवाइस बहुत अलग तरह से फ़ेल होते हैंसाझा DB/WAL NVMe मर जाता हैosd.0–2 का block.dbगयाosd.0खोयाosd.1खोयाosd.2खोयातीन OSD, एक घटना।पूरे नोड में एक correlated failure, जिससेreplication आपको ठीक-ठीक नहीं बचाता।अनुपात उस rebuild के हिसाब से चुनिए जिसे झेलने कोआप तैयार हैं, प्रति OSD कीमत से नहीं।जोड़ी वाला एक Optane मर जाता हैOptane:osd.0 गयाOptane:osd.1 ठीकOptane:osd.2 ठीकosd.0खोयाosd.1चालूosd.2चालूएक OSD, और Ceph यह रोज़ करता है।Blast radius एक डिस्क जितना डेटा है,जो वही failure है जिसे सोखने के लिएreplicated pool बना है। एक बड़े डिवाइस केबजाय कई छोटे डिवाइस खरीदने का पूरातर्क यही है।दोनों तरफ़ एक ही वर्ग का नुकसान: हर डिवाइस ऐसी state रखता है जो कहीं और नहीं, तो OSD रुकता नहीं,नष्ट होता है, और उसे दोबारा बनाकर backfill करना पड़ता है। फ़र्क सिर्फ़ गिनती का है,और हर-स्पिंडल-एक वाली जोड़ी यही खरीदती है।
दोनों जोड़े गए डिवाइस ऐसी state रखते हैं जो कहीं और मौजूद नहीं, तो किसी को भी खोने से उस पर निर्भर OSD नष्ट हो जाते हैं। फ़र्क सिर्फ़ इतना है कि कितने: साझा DB/WAL NVMe अपने पीछे के हर OSD को गिरा देता है, जबकि एक-से-एक जोड़ा गया Optane ठीक एक को। अतिरिक्त डिवाइस यही खरीदते हैं।

किसी भी फ़्लैश डिवाइस को खोना OSD को नष्ट कर देता है। रोकता नहीं, नष्ट करता है। दोनों डिवाइस ऐसी state रखते हैं जो कहीं और मौजूद नहीं: block.db वह RocksDB रखता है जो block को समझ में आने लायक बनाता है, और एक writeback cache हर वह write रखता है जो अभी flush नहीं हुआ। Kernel डॉक्यूमेंटेशन दूसरे वाले पर कोई नरमी नहीं बरतता: “In writeback mode you’ll lose data if something happens to your SSD.” दोनों ही तरह OSD वापस नहीं आता, उसे दोबारा बनाया और backfill किया जाता है।

तो ये एक ही वर्ग का जोखिम हैं, और cache को डरावना मानने के बजाय इस बारे में साफ़ रहना फ़ायदेमंद है। Optane, NVMe से ज़्यादा खतरनाक डिवाइस नहीं है। दो चीज़ें इन्हें अलग करती हैं, और उनमें से कोई भी प्रति OSD गंभीरता नहीं है।

पहली है blast radius, और जोड़ी बनाने का पूरा औचित्य यही है। हर स्पिंडल पर एक Optane का मतलब है कि cache के फ़ेल होने की कीमत एक OSD है: एक डिस्क का नुकसान, जो ठीक वही घटना है जिसे सोखने के लिए replicated pool बना है, और जिसे Ceph किसी को page किए बिना संभाल लेता है। DB/WAL डिवाइस साझा है, तो उसे खोने की कीमत उसके पीछे के हर OSD की एक साथ है, जो एक correlated failure है जिससे replication आपको नहीं बचाता। वही failure, एक डिवाइस बनाम पाँच।

दूसरी है failure कैसे सामने आता है, और यह एक ऑपरेशनल जाल है। जब writeback में cache मरता है तो backing डिवाइस रुक जाता है और I/O errors लौटाता है, जो ठीक है: Ceph OSD को down मार्क करता है और आगे बढ़ जाता है। बुरा मामला वह reboot है जिसमें backing डिवाइस अपने cache के जुड़े बिना ऊपर आता है। तब वह एक mount करने लायक फ़ाइलसिस्टम जैसा दिखता है जिसमें बस हर dirty write गायब है, जो पुराना नहीं, बल्कि corrupt है। गायब block.db ज़ोर से फ़ेल होता है और OSD शुरू होने से इनकार करता है; गायब cache चुपचाप फ़ेल हो सकता है और आपको मलबा mount करने दे सकता है। bcache backing डिवाइस को उसके cache के बिना unmountable मानिए, और कभी भी किसी चीज़ को मदद के नाम पर उसे आपके लिए mount मत करने दीजिए।

bcache अपने आप power-safe writeback की गारंटी नहीं देता। यहीं HDD write cache एक optimisation से ज़रूरत बन जाता है: उसे बंद कीजिए, और इतना नया kernel चलाइए जिसमें FUA handling हो, ताकि synchronous writes पूरे stack में सम्मानित हों, बीच में कहीं जल्दी acknowledge न हो जाएँ। Power-loss protection के बिना cache डिवाइस समस्या को और बढ़ाता है, क्योंकि वह वह डेटा खो सकता है जिसे वह पहले ही सुरक्षित बता चुका है।

इससे DB/WAL अनुपात वह आँकड़ा बन जाता है जो मायने रखता है। Ceph प्रति SATA SSD 4–5 HDD OSD की इजाज़त देता है और प्रति NVMe 15 से ज़्यादा नहीं, और “balancing the risk of reducing costs by placing too many responsibilities into too few failure domains” के बारे में चेतावनी देता है। cache टियर के उलट, इसे सीमित रखने के लिए कोई जोड़ी उपलब्ध नहीं है: साझा करना ही इस डिवाइस का मकसद है।

20 TB ड्राइव पर पूरी बातचीत यही है, क्योंकि rebuild बहुत बड़ा है। एक फ़ेल OSD का मतलब 20 TB का backfill; एक स्पिंडल जो 150–250 MB/s टिकाए रखता है उस पर, और इतना धीमा किया हुआ कि recovery guests को भूखा न रखे, आप एक अकेली डिस्क के लिए एक दिन से काफ़ी ज़्यादा degraded ऑपरेशन देख रहे हैं। उनमें से पाँच ढोने वाला एक साझा DB डिवाइस खोइए और 100 TB हिलाना है।

तो अनुपात असल में लागत का फ़ैसला नहीं है। यह इसका फ़ैसला है कि आप कितनी देर degraded चलने को तैयार हैं, और क्लस्टर VM की सेवा करते हुए कितना rebuild ट्रैफ़िक उठा सकता है।

यह डिज़ाइन एक ऐसे डिवाइस पर निर्भर है जिसे अब कोई नहीं बनाता। यह वह है जिसका कोई तकनीकी जवाब नहीं। Optane, cache की जगह के लिए सही पुर्ज़ा है और आज की कोई चीज़ उसकी जगह नहीं लेती: NAND वह write वॉल्यूम नहीं झेल सकता, और Intel जिस CXL-आधारित memory की ओर मुड़ा वह block cache के लिए सीधा विकल्प नहीं है। तो बचाव तकनीकी चतुराई नहीं, व्यापारिक है, यह ऊपर कवर हो चुका है, और ईमानदार सार यह है कि इस आर्किटेक्चर की भविष्य में कहीं एक आखिरी तारीख है।

इनमें से कुछ भी HDD क्लस्टर को all-flash क्लस्टर नहीं बनाता। लगातार random write ट्रैफ़िक जो flush दर से आगे निकल जाए, cache को भर देगा, और भर जाने के बाद आप रास्ते में अतिरिक्त परतों के साथ स्पिंडल की रफ़्तार पर लिख रहे हैं। यह डिज़ाइन झोंके सोखता है और मेटाडेटा का बोझ हटाता है। यह IOPS पैदा नहीं करता।

कुल मिलाकर इसका क्या मतलब है

तीन टियर, हर एक वही एक काम करता हुआ जिसमें वह सबसे अच्छा है, और तीनों ज़रूरी हैं:

  • Optane random write के झोंके सोखता है, हर स्पिंडल पर एक डिवाइस। यह Optane ही होना चाहिए, क्योंकि हर write इससे गुज़रता है और NAND की endurance उस जगह के लिए गलत है
  • एक तेज़ एंटरप्राइज़ NVMe RocksDB और WAL रखता है, कुछ OSD में साझा, एक ऐसे अनुपात पर जो आपने सोच-समझकर चुना, न कि बस मान लिया
  • HDD थोक क्षमता देते हैं, मेटाडेटा और झोंकों दोनों से आज़ाद

मकसद यह दिखावा करना नहीं कि घूमती डिस्क फ़्लैश हैं। मकसद है उन्हें वह काम भेजना बंद करना जिसमें वे सबसे बुरी हैं, ताकि जिस क्षमता के लिए आपने असल में पैसे दिए वह इस्तेमाल हो सके।

पूरी तरकीब यही है, और इसमें कुछ भी चालाकी वाला नहीं है। हर काम उस डिवाइस पर रखिए जो उसमें अच्छा है, और जो अच्छे नहीं हैं उनके लिए दो बार पैसे देना बंद कीजिए।

एक हाइपर-कन्वर्ज्ड Proxmox क्लस्टर के लिए जिसे all-flash की कीमत के बिना कई टेराबाइट क्षमता चाहिए, यह एक बचाव करने लायक डिज़ाइन है। ठीक से बना हो तो यह कच्चे HDD से कहीं तेज़ लगता है, यह उन तरीकों से फ़ेल होता है जिन्हें संभालने के लिए Ceph बना है, और पैसा वहाँ जाता है जहाँ वह नतीजा बदलता है।

इसके साथ पढ़ने लायक दो जुड़ी चीज़ें: 4Kn, 512e और 512n में sector-size का काम इसके लिए बहुत मायने रखता है कि स्पिंडल उन writes के साथ क्या करते हैं जो उन तक पहुँचते हैं, और अगर आप इसे direct-attached नोड्स पर बना रहे हैं, तो switchless mesh एक छोटे Ceph क्लस्टर का नेटवर्क वाला हिस्सा कवर करता है।

संदर्भ

  • Ceph — Hardware Recommendations — बड़े HDD पर IOPS-प्रति-TB की चेतावनी, “HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD”, प्रति SATA SSD 4–5 HDD और प्रति NVMe ≤15 के अनुपात, एंटरप्राइज़ SSD पर power-loss protection, HDD write cache बंद करना, और RoC HBA की ज़रूरत न होना
  • Ceph — BlueStore Configuration Reference — RBD के लिए block का 1–2% और RGW के लिए कम से कम 4% block.db, 2.5% की सामान्य सिफ़ारिश, primary डिवाइस पर वापस spillover, 3/30/300 GB steps के पीछे के RocksDB level साइज़, और WAL का अपने आप DB के साथ colocated होना
  • Linux kernel — bcache admin guide — cache modes, sequential_cutoff और उसका 4 MB डिफ़ॉल्ट, 2000 µs read congestion डिफ़ॉल्ट, sectors per second में writeback_rate, writeback_percent PD controller, dirty_data / cache_hit_ratio / bypassed counters और उनके घटते दिन, घंटे और पाँच-मिनट वाले versions, यह चेतावनी कि writeback_running “only meant for benchmarking” है, यह कथन कि ये settings “do not persist across reboot”, और “in writeback mode you’ll lose data if something happens to your SSD”
  • Intel — Optane Memory M10 32 GB specifications — 365 TBW, 8 GB के दायरे पर 4K में 240,000 random read और 65,000 random write IOPS, 1200/290 MB/s sequential, PCIe 3.0 x2
  • Intel — Optane Memory M10 16 GB specifications — 150 MB/s sequential write और 35,000 random write IOPS जो इस पुर्ज़े को sequential throughput में घूमती डिस्क से नीचे रखते हैं
  • PC Perspective — Optane SSD DC P4800X performance — 375 GB पुर्ज़े के 550K random 4K read IOPS, 2400/2000 MB/s sequential, 10 µs से कम आम latency, और 30 DWPD पर 12.3 PBW
  • ServeTheHome — Optane DC P4801X 100GB M.2 review — छोटी क्षमता वाले डेटासेंटर M.2 पुर्ज़े, क्षमता की सीढ़ी के लिए
  • StorageReview — Intel Optane SSD P5800X — 100 DWPD रेटिंग, P4800X के 30 DWPD, और NAND एंटरप्राइज़ ड्राइव से तुलना जो write-intensive पुर्ज़ों के लिए लगभग 10 DWPD और mixed-use के लिए 3 या कम पर रुकती हैं
  • Bcache — ArchWiki — व्यावहारिक failure modes, जिनमें reboot के बाद backing डिवाइस का अपने cache के बिना ऊपर आना शामिल है, और HDD write cache और FUA के आसपास power-safety की ज़रूरतें
  • Intel — Optane business update — कारोबार समेटना, और सेवा में पहले से लगे डिवाइसों की warranty और सपोर्ट के लिए इसका मतलब, जो वही हालत है जिसमें recycler बाज़ार से खरीदी गई कोई भी चीज़ पहले से है