पहले ही बता दूँ: मैं croit में काम करता हूँ, जिसने इसे लिखा है। नीचे सब कुछ दोनों प्रोजेक्ट के प्रकाशित source और documentation से पढ़ा गया है, जिनके लिंक पेज के नीचे हैं, और जहाँ croit के अपने docs croit के अपने कोड से मेल नहीं खाते, वहाँ मैं यह कहता हूँ।
Ceph का OSD, शून्य से दोबारा लिखा गया
croit ने ceph-rust प्रकाशित किया है, Rust में शून्य से लिखा गया Ceph OSD, जिसमें BlueStore की जगह FlashStore नाम का अपना object store है1।
यह 9 नवंबर 2026 को public preview में आया, और general availability 2027 की पहली तिमाही के लिए तय है1।
यह fork नहीं है।
प्रोजेक्ट का अपना नियम है कि Ceph का C++ reference के तौर पर पढ़ा जाता है, croit के अपने शब्दों में specification के रूप में लिखा जाता है, और फिर specification से implement किया जाता है2।
Ceph चलाने वाले किसी भी व्यक्ति के लिए मायने रखने वाला दावा drop-in वाला है।
आपके monitors, managers, ceph CLI और clients जैसे हैं वैसे ही रहते हैं।
FlashStore OSD उन्हीं pools और उन्हीं placement groups में जुड़ता है जिनमें classic OSDs पहले से हैं, और आप एक बार में एक ड्राइव बदलते हैं1।
तो operator के लिए सवाल व्यावहारिक है। अगर आप BlueStore OSD को FlashStore वाले से बदलें, तो नीचे क्या अलग है? सैद्धांतिक रूप से नहीं, और सालों पुराने किसी conference talk वाले BlueStore के सामने नहीं। उस BlueStore के सामने जो आप आज सच में चलाते हैं अगर आप Umbrella, Ceph 21.2.0 पर हैं, वही release जिसके सामने FlashStore बनाया और टेस्ट किया गया है1।
तो यहाँ तुलना यही है, और सिर्फ़ यही। Umbrella का BlueStore जैसा उसका अपना source और documentation बताते हैं, बनाम FlashStore जैसा उसका source और decision records बताते हैं।
यह हर उस व्यक्ति को छूता है जिसके पास NVMe Ceph क्लस्टर हैं, और हर उसे जिसने देखा है कि एक OSD उसे कितने cores में पड़ता है। HDD क्लस्टर को यह बिल्कुल नहीं छूता, और उसकी वजह नीचे आती है।
Repository में क्या है
Repository croit के निजी development tree का read-only snapshot है। कोई issue tracker नहीं, कोई pull requests नहीं; updates नए snapshot commits के रूप में आते हैं1। यह preview का चरण है, और यह community की राय के लिए है जबकि croit इसे इस्तेमाल के लिए सुरक्षित घोषित करने से पहले अंदर अपने production test cases चलाता है। Open development पहली production release के बाद आता है, जैसा ज़्यादातर corporate-sponsored open-source प्रोजेक्ट्स में होता है। यह snapshot 10 नवंबर 2026 का है और इसमें लगभग 7,00,000 लाइनें Rust और 450 से ज़्यादा architecture decision records हैं, ADRs, यानी वे छोटे दस्तावेज़ जो दर्ज करते हैं कि हर design फ़ैसला क्यों लिया गया।
इस तरह की तुलना के लिए ADRs ही काम का हिस्सा हैं। वे सीधे बात करते हैं, उनमें माप होते हैं, और वे यह भी दर्ज करते हैं कि क्या आज़माया गया और फेंक दिया गया, सिर्फ़ यह नहीं कि क्या रहा।
| Component | किसकी जगह लेता है | Preview | GA (योजना) |
|---|---|---|---|
| FlashStore OSD | ceph-osd + BlueStore | नवंबर 2026 | Q1 2027 |
| librustyrados | librados | नवंबर 2026 | Q1 2027 |
| librustyrbd | librbd | नवंबर 2026 | Q1 2027 |
| RDMA (RoCEv2) transport | Umbrella में कुछ नहीं | नवंबर 2026 | Q1 2027 |
| CephFS2, Rust RGW | MDS, RGW | Q1 2027 | Q2 2027 |
| ceph-mon, ceph-mgr | नहीं बदले गए | लागू नहीं | लागू नहीं |
इस पर कुछ भी बनाने से पहले licences जान लेने चाहिए। Daemon और tools LGPL-3.0-only हैं, client libraries MPL-2.0 हैं, और documentation CC-BY-SA-4.0 है3। Client libraries MPL इसलिए गईं ताकि कोई Rust प्रोग्राम उन्हें LGPL वाली relinking ज़िम्मेदारियों के बिना statically link कर सके; यह सोचा-समझा फ़ैसला है और ऐसे ही लिखा भी गया है3।
Preview का मतलब वही है जो वह कहता है। croit का अपना README कहता है कि यह testing और evaluation के लिए है और “not yet recommended for production data”1। मैं भी अभी इस पर ग्राहकों का डेटा नहीं रखूँगा, और इस पोस्ट का बाकी कुछ भी इसे नहीं बदलता।
दो stores, साथ-साथ
OSD के दो हिस्से होते हैं। ऊपरी हिस्सा Ceph protocol बोलता है, placement groups का मालिक होता है, peering, recovery और scrub करता है। निचला हिस्सा, object store, “इन bytes को इस object में लिखो” को ड्राइव पर blocks में बदलता है और वादा करता है कि वे बिजली कटने पर भी बचेंगे।
BlueStore, Umbrella का निचला हिस्सा है। इसका documentation कहता है कि यह “reads and writes to the devices directly in a ‘raw’ fashion”4, और यह “raw block devices or partitions” इस्तेमाल करता है5। Object का डेटा सीधे block device पर जाता है। बाकी सब, object metadata, OMAP, और इसका अपना हिसाब-किताब, एक embedded RocksDB key/value database में जाता है, और RocksDB, BlueFS पर बैठता है, एक छोटा file system जो BlueStore उसके लिए साथ रखता है56।
FlashStore यह सब हटा देता है। हर store shard का एक copy-on-write B+tree सब कुछ रखता है: collections, object metadata, extended attributes, extent maps, OMAP, PG log, reference counts और allocator का अपना bitmap भी7। उसके बगल में एक redo write-ahead log ring और data region है। न RocksDB, न BlueFS, और tune करने के लिए कोई दूसरा database नहीं।
दूसरा बड़ा फ़र्क ड्राइव का ही है। BlueStore kernel की block layer से होकर उस चीज़ तक जाता है जो आप उसे दें। FlashStore NVMe से या तो SPDK के साथ बात करता है, एक userspace driver जो vfio के ज़रिए device को kernel से ले लेता है, या kernel से होकर io_uring के साथ89। SPDK default backend है। io_uring वाला स्तर वहाँ काम करता है जहाँ vfio नहीं करता, और इसीलिए Proxmox build में मैं आख़िर में उसी पर पहुँचा।
Metadata कहाँ रहता है
यहीं से शुरू कीजिए। बाकी ज़्यादातर इसी से निकलता है।
| Umbrella BlueStore | FlashStore | |
|---|---|---|
| Object metadata | RocksDB keys | हर shard का COW B+tree |
| OMAP | RocksDB keys | default में वही B+tree; prepare के समय LSM या RocksDB का विकल्प |
| PG log | RocksDB keys | वही B+tree |
| Allocator की स्थिति | hybrid allocator, freelist RocksDB में | हर shard का bitmap, tree के अंदर |
| Metadata device | वैकल्पिक block.db और block.wal | कोई नहीं, वही NVMe |
| Data checksums | default में हर 4 KiB पर crc32c | हर 4 KiB पर crc32c, extent map में |
| हर OSD में stores की संख्या | एक | हर core पर एक |
BlueStore की तरफ़ के defaults सीधे Umbrella की options file से हैं: key/value backend के रूप में RocksDB, hybrid allocator, crc32c checksums61011। BlueStore की metadata checksumming “is handled by RocksDB and uses the crc32c algorithm”, और डेटा के लिए इसकी लागत है “a checksum value (usually 4 bytes) for every 4 KB block of data”4। Checksums पर दोनों stores सहमत हैं। FlashStore हर 4 KiB block के लिए extent map में एक crc32c रखता है और read पर उसे जाँचता है7।
बनावट पर दोनों अलग होते हैं। BlueStore का RocksDB एक log-structured merge tree है, तो वह लिखता है, फिर पीछे compaction करता है, यानी पहले से लिखा डेटा दोबारा लिखता है। FlashStore का tree copy-on-write से अपडेट होता है और checkpoints पर डिस्क पर उतारा जाता है: जब तक कुछ unpersisted है तब तक हर पाँच सेकंड, या जब WAL ring आधी भर जाए7।
एक और नतीजा यह है कि FlashStore में metadata के लिए कोई तेज़ device नहीं, क्योंकि उसे इसकी ज़रूरत नहीं।
Umbrella पर आप block.db को तेज़ ड्राइव पर रख सकते हैं, और BlueStore “as much metadata as it can on the DB device” रखेगा4।
FlashStore मानता है कि हर ड्राइव पहले से तेज़ NVMe है, और अपना metadata डेटा के बगल में रखता है।
जिस hardware को यह निशाना बनाता है उसके लिए यह उचित मान्यता है। HDD की कोई कहानी न होने की ठीक यही वजह भी है।
OMAP अकेली जगह है जहाँ FlashStore दाँव बचाता है। Tree default है, पर store को उसी interface के पीछे croit के अपने LSM engine के साथ, या RocksDB के साथ prepare किया जा सकता है12। OMAP engine store बनाते समय चुना जाता है। चलते OSD पर आप उसे नहीं बदलते।
एक 4 KiB write, दो तरीके
यह वह फ़र्क है जो आप महसूस करेंगे, अगर कुछ महसूस करेंगे।
Flash पर default settings के साथ Umbrella पर किसी object में 4 KiB write लीजिए।
bluestore_min_alloc_size_ssd 4 KiB है और bluestore_prefer_deferred_size_ssd 0 है, तो पूरा 4 KiB write एक नए allocate किए गए 4 KiB में जाता है1314।
BlueStore वह data write भेजता है, और transaction STATE_AIO_WAIT में तब तक रहता है जब तक ड्राइव न कहे कि हो गया15।
तभी metadata RocksDB के लिए queue होता है, और RocksDB का sync thread commit से पहले block device को flush करता है16।
फिर client को acknowledgement मिलता है।
Device तक दो चक्कर, एक के बाद एक।
FlashStore दोनों एक साथ भेजता है। डेटा एक नए 4 KiB extent में जाता है और WAL unit उसी समय log ring में। WAL record में हर नए data block का crc32c होता है, ताकि crash के बाद replay बता सके कि डेटा पहुँचा या नहीं7। Acknowledgement, log के क्रम में, तब जाता है जब डेटा, WAL unit और हर पिछला transaction durable हो जाए7। ADR का इस design के लिए अपना तर्क है “parallel commit gives one device latency per ack”7।
दो बातें इसे ईमानदार रखती हैं। व्यस्त OSD पर दोनों stores commits को batch करते हैं, तो load में फ़र्क हर write पर एक device latency से कम है। और NVMe पर device का एक चक्कर कुछ दसियों microseconds का होता है। आप इसे महसूस करेंगे या नहीं, यह इस पर निर्भर है कि आपके clients कम queue depth पर latency का इंतज़ार कर रहे हैं, जैसा RBD पर databases अक्सर करते हैं, या throughput धकेल रहे हैं, जहाँ यह घुल जाता है।
croit ने और आगे जाने की कोशिश की, ZFS की तरह हर transaction पर एक device write। उन्होंने इसे बनाया, मापा, और फेंक दिया: फ़ायदा सिर्फ़ queue depth 1 पर दिखा और जटिलता उसके लायक नहीं थी17। मैं इसे किसी भी benchmark chart से ज़्यादा महत्व देता हूँ। यह एक decision record है जो खुले में कहता है “हमने यह बनाया और यह इसके लायक नहीं था”।
4 KiB से छोटा write
छोटे write पर दोनों सच में अलग राह लेते हैं।
मान लीजिए कोई client ऐसे block के बीच में 512 bytes overwrite करता है जिसमें पहले से डेटा है।
Umbrella default में अब भी अपना मूल write path चलाता है; bluestore_write_v2, यानी नया काम, बंद शिप होता है18।
उस path पर min_alloc_size से छोटा write, पहले से allocate किए गए block में, deferred write बन जाता है19।
डेटा RocksDB transaction के अंदर L prefix वाली key के रूप में सफ़र करता है, और अपनी असली जगह तभी जाता है जब client को बताया जा चुका हो कि वह सुरक्षित है2021।
तो डेटा ड्राइव तक दो बार पहुँचता है। Umbrella का documentation इसे छिपाता नहीं: “writes smaller than min_alloc_size must first pass through the BlueStore WAL”4।
FlashStore कभी भी live डेटा को उसी जगह overwrite नहीं करता, बस7। 2 KiB तक के objects और आगे जाते हैं और पूरी तरह tree में रहते हैं, तो एक WAL write ही पूरा commit है7।
इसका मतलब यह भी है कि FlashStore के पास खाली करने को कोई deferred-write queue नहीं, mount पर कोई deferred replay नहीं, और साफ़ करने को कोई L keys नहीं।
यह कीमत कहीं और चुकाता है: खाली हुए blocks अगले checkpoint तक रोके जाते हैं, तो खाली जगह एक checkpoint interval तक पीछे रहती है7।
Threads बनाम cores
OSD का ऊपरी हिस्सा भी उतना ही अलग है।
Umbrella का ceph-osd एक classic threaded server है, और नीचे diagram के बाएँ हिस्से की हर संख्या flash पर इसका एक default है22।
एक op रास्ते में उनमें से कई pools से गुज़रता है। वे locks के पीछे state साझा करते हैं।
FlashStore पूरा सफ़र एक pinned, polling core पर रखता है, network card से ड्राइव तक और वापस23। हर placement group ठीक एक core का होता है, और PG जिस चीज़ को छूता है वह भी: “no locks, no atomics, no shared mutable state”24। Cores के बीच का traffic single-producer rings से जाता है, और message का मालिकाना उसके साथ जाता है।
Store भी इसी बँटवारे पर चलता है।
flashstore_store_shards default में हर core पर एक shard है, हर एक की अपनी WAL ring, tree और allocator, और एक PG ठीक एक shard में रहता है257।
BlueStore हर OSD पर एक store है, एक RocksDB के साथ।
इसकी कीमत है, और ADR उसे बताता है: “idle cores burn CPU (accepted; optional adaptive sleep later)”23।
बाद के काम में adaptive idle और device-timed waits जोड़े गए ताकि कम queue depth पर कोई core पूरी device latency तक न घूमता रहे8, पर सिद्धांत वही है, और जब आप कोई range pin नहीं करते तो flashstore_cores का default 8 है25।
आप FlashStore को पूरे cores देते हैं।
Dedicated storage node पर यह ठीक है। Hyperconverged box पर, जहाँ वही cores VMs भी चलाते हैं, यह पहला हिसाब है जो लगाना चाहिए।
ड्राइव को अपना वादा निभाना होगा
BlueStore ऐसी ड्राइव से निपटने के लिए लिखा गया है जो इस बारे में झूठ बोलती है कि डेटा कब सुरक्षित है। FlashStore ऐसी ड्राइव से निपटने से ही मना कर देता है।
| Umbrella BlueStore | FlashStore | |
|---|---|---|
| Write को durable क्या बनाता है | RocksDB commit से पहले block device flush | PLP ड्राइव पर write का पूरा होना |
| Hot path पर flush | हाँ | नहीं |
| Volatile write cache वाली ड्राइव | इस्तेमाल होती है, और flush होती है | mkfs मना करता है; host check FAIL |
| Override | ज़रूरत नहीं | सिर्फ़ lab: हर durable write पर FUA bit |
BlueStore की तरफ़ पहले बताया गया kv sync thread है16। FlashStore की तरफ़ durability ADR और host check है: PLP का मतलब है कि ड्राइव कोई volatile write cache रिपोर्ट नहीं करती, तो completion का मतलब है कि डेटा स्थिर media पर है2426।
निशाने के लिए यह सही फ़ैसला है, पर साफ़ समझिए कि यह क्या बाहर करता है, क्योंकि लगभग हर consumer NVMe में volatile cache होता है और PLP नहीं, और कीमत पर बिकने वाले काफ़ी “datacentre” सामान में भी यही है। PLP नहीं, तो FlashStore नहीं। आप इसके बारे में और कुछ भी सोचें।
FlashStore किस पर नहीं चलेगा
ज़रूरतें साथ रखिए और target market साफ़ दिखता है।
| Umbrella BlueStore | FlashStore | |
|---|---|---|
| Media | HDD, SSD, NVMe | सिर्फ़ NVMe |
| Power-loss protection | ज़रूरी नहीं | ज़रूरी, इसके बिना mkfs मना करता है |
| Sector format | 512 B या 4 KiB | 4 KiB अपेक्षित, वरना चेतावनी |
| Layout | partitions, ceph-volume से LVM | पूरे namespaces, कोई partition नहीं |
| अलग DB/WAL device | समर्थित | ऐसी कोई चीज़ नहीं |
| Encryption at rest | ceph-volume से --dmcrypt | दायरे से बाहर |
| msgr1 clients | default में bound | मना, सिर्फ़ msgr2 |
| Cache tiering | deprecated, अब भी मौजूद | मना, pool passive हो जाता है |
| Kernel की ज़रूरत | कोई भी समर्थित | io_uring: Linux 5.19+, या backports वाला RHEL 9 का 5.14; SPDK के लिए hugepages |
BlueStore वाला कॉलम Umbrella का अपना है: ceph-volume logical volumes को “using dmcrypt by specifying the --dmcrypt flag” encrypt करता है27, और ms_bind_msgr1 का default अब भी true है28।
FlashStore वाला कॉलम उसके hardware reference और उसके scope फ़ैसले से है2629।
उनमें से दो एक तालिका की पंक्ति से ज़्यादा के हक़दार हैं।
Encryption at rest बाहर है, वजह के साथ: SPDK dm-crypt को bypass करता है, और store के अंदर encryption की योजना नहीं है। ADR का जवाब है self-encrypting NVMe ड्राइव, या store के ऊपर client या RGW पर encryption29। अगर आपकी किसी compliance ज़रूरत में OSD पर dm-crypt का नाम है, तो आज यह रुकावट है।
msgr1 एक स्वीकार किए गए जोखिम के रूप में बाहर है। 5.11 से पुराने kernel clients और Nautilus से पहले के librados किसी FlashStore OSD से बात ही नहीं कर सकते29। ज़्यादातर इंतज़ाम इससे बहुत आगे निकल चुके हैं। कुछ नहीं निकले, और कोने में पड़ा भूला हुआ पुराना box ही इसका पता लगाता है।
यह monitor को बताता है कि यह BlueStore है
यही वह बात है जो लोगों को पकड़ेगी।
Default में, FlashStore OSD boot होकर monitors को osd_objectstore=bluestore बताता है30।
यह छिप नहीं रहा। यह उसके बगल में अपनी flashstore_version और flashstore_build keys जोड़ता है30।
वजह compatibility है: Umbrella monitor किसी pool पर EC overwrites जैसी features तभी देता है जब उसका हर OSD BlueStore रिपोर्ट करे, और Prometheus और telemetry जैसे manager modules उसी value पर branch करते हैं30।
ADR साफ़ कहता है कि यहाँ bluestore “is a compat value for mon/mgr feature gates, not a product name”30।
एक switch है, flashstore_report_objectstore=flashstore, जो सब कुछ का नाम बदल देता है: metadata, bluestore_bdev_* keys, perf logger, tell commands और BLUESTORE_* health codes। इसके लिए patched monitors चाहिए, और default bluestore ही रहता है2530।
croit के अपने Ceph builds में वे patches हैं, तो उन पर FlashStore खुद को flashstore बताता है और आगे का कुछ भी लागू नहीं होता।
bluestore नाम उन stock monitors और managers के लिए है जो लोग आज production में चलाते हैं।
मैं समझता हूँ क्यों।
String पर टिका monitor gate Ceph का design है, croit का नहीं, और bluestore कहने से मना करना unpatched क्लस्टर पर features बंद कर देगा।
Stock क्लस्टर पर यही जाल है।
हर dashboard, हर inventory script और आपका चलाया हर ceph osd count-metadata osd_objectstore FlashStore OSDs को BlueStore गिनेगा।
Migration के दौरान, जब आपको सबसे ज़्यादा जानना होता है कि कौन सा OSD कौन सा है, वह सीधा-सादा field आपको कुछ नहीं बताता।
तो osd_objectstore नहीं, ceph osd metadata में flashstore_version जाँचिए।
पहला FlashStore OSD लगने से पहले इसे अपनी runbook में डालिए।
वही knobs, अलग व्यवहार
FlashStore Ceph के बहुत से मौजूदा options पढ़ता है, और यह ज़्यादातर अच्छी ख़बर है। हर option का मतलब वही नहीं जो Umbrella पर था, और जिनका नहीं है, वहीं tune किया गया क्लस्टर चौंकता है।
| Option | Umbrella BlueStore | FlashStore |
|---|---|---|
compression_mode, हर pool | none, passive, aggressive, force | वही चार, वही मतलब |
compression_algorithm | default में snappy | snappy, zlib, zstd, lz4; zstd level 1 पर तय |
bluestore_compression_max_blob_size_ssd | 64 KiB | 64 KiB chunks |
osd_memory_target | 4 GiB, caches चलते हुए autotune | शुरू में एक बार पढ़ा जाता है, store caches का आकार तय करता है, कोई autotune नहीं |
osd_op_queue | mclock_scheduler | स्वीकार और अनदेखा |
osd_mclock_* | सक्रिय | स्वीकार और अनदेखा |
csum_type | default crc32c, xxhash विकल्प उपलब्ध | crc32c तय; कोई और value चेतावनी log करती है31 |
Compression मेल खाता है।
BlueStore का default mode none है और default algorithm snappy3233; FlashStore वही चार modes, वही pool options और वही 64 KiB chunking implement करता है, और ADR लिखता है कि 50% compressible 64 KiB chunk दोनों पर उतनी ही जगह लेता है34।
यह हमेशा से होना तय नहीं था। ADR की file का नाम अब भी no-store-compression है, मूल फ़ैसले से, जो तब पलटा जब croit ने classic Ceph के साथ पूरी functional बराबरी का निर्देश तय किया34।
Memory में बराबरी नहीं है।
Umbrella चलते हुए BlueStore के caches को osd_memory_target के हिसाब से autotune करता है3536।
FlashStore target को शुरू में एक बार पढ़ता है, उसे अपने shards में बाँटता है, और ceph config set से किया बदलाव अगले restart पर लागू होता है37।
यह process को target पर रोकता भी नहीं: hugepages, network buffers और PG state उसके बाहर हैं37।
तो osd_memory_target FlashStore के caches का आकार तय करता है। यह OSD की memory को उस तरह नहीं बाँधता जिसके आप शायद आदी हैं।
और mClock को सीधे अनदेखा किया जाता है37।
कम नहीं किया जाता। अनदेखा किया जाता है।
Configure करने को कोई op scheduler नहीं, क्योंकि हर core अपने PGs का मालिक है।
Recovery और backfill को इसकी जगह osd_max_backfills, osd_recovery_max_active और sleep options रोकते हैं37।
अगर आपने Umbrella पर rebuild के लिए mClock profiles tune किए थे, तो वे settings FlashStore OSD पर कुछ नहीं करतीं, और कुछ भी आपको चेतावनी नहीं देगा।
कोई conversion नहीं, किसी भी दिशा में
आप BlueStore OSD को FlashStore वाले में convert नहीं कर सकते। croit की migration guide इस बारे में साफ़ है: “There is no in-place conversion of a BlueStore device”38। इसकी जगह यह दो क्रम देती है, और दोनों backfill हैं38:
| पहले जोड़ें, फिर हटाएँ | पहले खाली करें, फिर जोड़ें | |
|---|---|---|
| ज़रूरत | एक ख़ाली NVMe slot | कुछ भी ख़ाली नहीं |
| कदम 1 | नई ड्राइव पर FlashStore prepare करें | ceph osd out, clean होने तक रुकें |
| कदम 2 | active+clean का इंतज़ार करें | classic OSD रोकें और purge करें |
| कदम 3 | classic OSD हटाएँ | खाली हुई ड्राइव पर FlashStore prepare करें |
| चलते समय जोखिम | सामान्य backfill से ज़्यादा कुछ नहीं | backfill ख़त्म होने तक एक copy कम |
और बाद में भी यह आसान नहीं होता। FlashStore के on-disk format में feature bits हैं, और mount किसी अनजान bit को मना करता है: “Every format change means mkfs; unknown bits refuse mount (no downgrade)”7। तो बाद की FlashStore release में format बदलाव वही खाली-करो-और-भरो है जो पहला migration था।
Documentation एक बात गलत कहता है।
Migration guide की checklist कहती है पक्का करें कि “the pools do not use erasure coding on croit-flashstore-osd OSDs”38।
उसी snapshot की erasure-coding guide कहती है कि FlashStore default में legacy EC pools देता है, और optimised EC के लिए कोड का अपना default all है3940।
दोनों में से एक पुराना है, और कोड के हिसाब से वह migration guide है।
फिर भी, दोनों तरह के OSD में EC pools मिलाने से पहले मैं EC guide पूरी पढ़ूँगा, क्योंकि जिस विफलता का वह वर्णन करती है वह एक PG है जो degrade होता है और एक backfill जो अटक जाता है39।
उन ड्राइव के लिए बना store जो हम सच में ख़रीदते हैं
BlueStore हर चीज़ पर चलने के लिए बना था। घूमती डिस्क, सस्ते SSDs, NVMe, partitions, LVM, encrypted volumes, धीमे data device के आगे तेज़ DB device। यही चौड़ाई इसके default बनने की वजह है, और इसी वजह से इसमें deferred write path, हर commit से पहले flush, अपने file system पर key/value database, और यह सब चलाए रखने के लिए threads का pool है। इनमें से हर एक इसलिए है क्योंकि कहीं किसी ड्राइव को इसकी ज़रूरत थी।
FlashStore उल्टे छोर से शुरू करता है। यह मानता है कि ड्राइव NVMe है, उसमें power-loss protection है, और वह इतनी तेज़ है कि अब software ही रुकावट है। फिर यह वह सब फेंक देता है जो सिर्फ़ दूसरी ड्राइवों के लिए था।
क्या यह सही दाँव है? नए all-flash क्लस्टर के लिए, सही enterprise NVMe पर बने, हाँ। Ceph क्लस्टर उसी तरफ़ जा रहे हैं, और जो OSD अपने cores locks, सौंपने और पीछे compaction करते database पर खर्च करता है, वह हर दिन हर सेकंड ऐसे लचीलेपन की कीमत चुका रहा है जो ऐसा क्लस्टर कभी इस्तेमाल नहीं करेगा।
पर दाँव की कीमत है, और मैं चाहूँगा कि आप उसे दाँव लगाने से पहले देखें। आप HDD, dm-crypt, msgr1, live memory tuning और mClock छोड़ते हैं। Stock क्लस्टर पर आपको ऐसा OSD मिलता है जो आपके monitors को बताता है कि वह BlueStore है, क्योंकि आज के monitors और managers उसके पास और कोई रास्ता नहीं छोड़ते; croit के अपने builds को इसकी ज़रूरत नहीं होगी। आपको ऐसा format मिलता है जिसमें आप convert नहीं कर सकते, और जिसके versions के बीच भी नहीं। और यह आपको preview में मिलता है, एक ही वेंडर से, जो संयोग से मुझे नौकरी देता है।
तो सबूत source को मानिए, इस पोस्ट को नहीं और croit की benchmark report को नहीं। Decision records सार्वजनिक हैं और वे बताते हैं कि क्या मापा गया और क्या फेंका गया। उन्हें पढ़िए, उस सामान पर test क्लस्टर बनाइए जो आप सच में लगाएँगे, और अपना workload मापिए। अगर आपकी ड्राइवों पर यह वही करता है जो ADRs कहते हैं, तो आपको पता चल जाएगा। अगर नहीं करता, तो वह भी पता चल जाएगा, और आपने यह test क्लस्टर पर जाना होगा।
croit ceph-rust, README at snapshot 48f9014 — components, स्थिति और roadmap, “not yet recommended for production data”, v21.2.0 और v20.2.4 के साथ wire-compatible। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ADR 0003, green-field, no Crimson fork — “No fork, no linking of Ceph code”; Ceph source reference के रूप में पढ़ा गया, specs अपने शब्दों में। ↩︎
ADR 0164, licences — LGPL-3.0-only daemon और tools, MPL-2.0 client libraries, CC-BY-SA-4.0 docs, और MPL की वजह। ↩︎ ↩︎
Ceph Umbrella, BlueStore configuration reference — raw device access, DB device, “writes smaller than min_alloc_size must first pass through the BlueStore WAL”, checksums। ↩︎ ↩︎ ↩︎ ↩︎
Ceph Umbrella, storage devices — BlueStore “consumes raw block devices or partitions”; अंदरूनी metadata के लिए embedded RocksDB। ↩︎ ↩︎
Ceph v21.2.0,
bluestore_kvbackend— defaultrocksdb। ↩︎ ↩︎ADR 0021, storage engine — हर shard का COW B+tree, WAL ring, parallel commit, checkpoints, inline data, रोके गए frees, “Every format change means mkfs”। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ADR 0004, storage I/O — vfio पर SPDK, बाद में io_uring के साथ दो स्तरों में संशोधित, device-timed idle। ↩︎ ↩︎
ceph-rust docs, prepare and activate —
spdkdefault backend है,kernelऔरkernel-cmdNVMe को kernel driver पर रखते हैं। ↩︎Ceph v21.2.0,
bluestore_allocator— defaulthybrid। ↩︎Ceph v21.2.0,
bluestore_csum_type— defaultcrc32c। ↩︎ceph-rust, croit-flashstore-tool usage — “fresh prepare/mkfs –omap-engine btree|lsm|rocksdb”। ↩︎
Ceph v21.2.0,
bluestore_min_alloc_size_ssd— default 4 KiB। ↩︎Ceph v21.2.0,
bluestore_prefer_deferred_size_ssd— default 0। ↩︎Ceph v21.2.0,
BlueStore.cc, transaction state machine — लंबित aios transaction को key/value commit के लिए queue होने से पहलेSTATE_AIO_WAITमें ले जाते हैं। ↩︎Ceph v21.2.0,
BlueStore.cc, kv sync thread — RocksDB submit से पहले “flush/barrier on block device”। ↩︎ ↩︎ADR 0027, single-IO atomic commit, rejected — “gain only at QD1”, बनाया गया और हटाया गया। ↩︎
Ceph v21.2.0,
bluestore_write_v2— “Use faster write path”, default false। ↩︎Ceph v21.2.0,
BlueStore.cc,_do_write_small— head और tail read, फिर “chunk-aligned deferred overwrite”। ↩︎Ceph v21.2.0,
BlueStore.cc, “journal deferred items” — deferred transaction उसी RocksDB transaction में एक key के रूप में रखा जाता है। ↩︎Ceph v21.2.0,
BlueStore.cc, key prefixes —PREFIX_DEFERRED = "L"। ↩︎Ceph v21.2.0 thread defaults —
osd_op_num_shards_ssd8;osd_op_num_threads_per_shard_ssd2;osd_op_queuemclock_scheduler;ms_async_op_threads3;BlueStore.ccthread creation,bstore_kv_syncऔरbstore_kv_final। ↩︎ADR 0006, thread-per-core runtime — हर core पर एक pinned busy-polling thread, PGs एक core के, “idle cores burn CPU (accepted …)”। ↩︎ ↩︎
ADR 0008, concurrency and durability — “no locks, no atomics, no shared mutable state”; PLP ज़रूरी,
mkfsnon-PLP को मना करता है, lab के लिए FUA override। ↩︎ ↩︎ceph-rust docs, configuration reference —
flashstore_coresdefault 8,flashstore_store_shardsauto,flashstore_report_objectstore। ↩︎ ↩︎ ↩︎ceph-rust docs, hardware and host requirements — volatile write cache FAIL, 4 KiB LBA, कोई partition नहीं, kernel और io_uring की ज़रूरतें। ↩︎ ↩︎
Ceph Umbrella, ceph-volume encryption — “Logical volumes can be encrypted using dmcrypt by specifying the
--dmcryptflag”। ↩︎Ceph v21.2.0,
ms_bind_msgr1— default true। ↩︎ADR 0168, encryption at rest, msgr1, cache tiering out of scope — “SPDK bypasses dm-crypt”; सिर्फ़ v1 वाले clients “cannot reach croit-flashstore-osd”। ↩︎ ↩︎ ↩︎
ADR 0019, report
osd_objectstore=bluestore— monitor feature gates, अतिरिक्तflashstore_*keys, औरflashstoreरिपोर्टिंग विकल्प। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ceph-rust,
pgs.rs— “csum_type {v} unsupported; using fixed crc32c per 4096-byte block”। ↩︎Ceph v21.2.0,
bluestore_compression_mode— defaultnone। ↩︎Ceph v21.2.0,
bluestore_compression_algorithm— defaultsnappy। ↩︎ADR 0059, per-pool store compression — BlueStore जैसे ही modes और options, zstd level 1 तय, 50% compressible पर जगह “identical to BlueStore”। ↩︎ ↩︎
Ceph v21.2.0,
osd_memory_target— default 4 GiB। ↩︎Ceph v21.2.0,
bluestore_cache_autotune— default true। ↩︎ADR 0062, memory target and mClock — target एक बार पढ़ा जाता है, कोई autotune नहीं, RSS लागू नहीं; mClock options “ACCEPTED and IGNORED”। ↩︎ ↩︎ ↩︎ ↩︎
ceph-rust docs, migrate from classic — “There is no in-place conversion of a BlueStore device”; दो क्रम; EC checklist वाली पंक्ति। ↩︎ ↩︎ ↩︎
ceph-rust docs, erasure-coded pools —
ec_enable_poolsdefaultall,ec_enable_optimizeddefaultall, और मना किया गया pool कैसा दिखता है। ↩︎ ↩︎ceph-rust, OSD config defaults —
("ec_enable_optimized", "all")। ↩︎