पहले ही बता दूँ: मैं croit के लिए काम करता हूँ, जिसने FlashStore लिखा है। नीचे जो कुछ भी है वह v21.2.0 पर Ceph के सोर्स और डॉक्यूमेंटेशन से और croit के प्रकाशित ceph-rust स्नैपशॉट से पढ़ा गया है, और सबके लिंक पेज के नीचे हैं। जहाँ किसी तर्क के एक पक्ष में croit का अपना तर्क है, वहाँ मैं बताता हूँ कि वह तर्क किसका है।

एक ही डेमन के दो रीराइट

क्लासिक Ceph OSD एक थ्रेडेड C++ सर्वर है जो घूमती डिस्कों के ज़माने में बड़ा हुआ। तेज़ NVMe और तेज़ नेटवर्क पर यह अपने CPU का बड़ा हिस्सा ऐसे कामों पर खर्च करता है जो आपका डेटा स्टोर करना नहीं हैं: थ्रेड पूल के बीच ops को आगे-पीछे करना, लॉक लेना, दूसरे थ्रेड का इंतज़ार करना। दो प्रोजेक्ट OSD को पूरी तरह नए सिरे से लिखकर इसे ठीक करने निकले हैं।

एक है Crimson, Ceph का अपना। Umbrella का डॉक्यूमेंटेशन इसे “the next generation ceph-osd” कहता है, जो “to deliver enhanced performance on fast network and storage devices” बनाया गया है1। दूसरा है croit का FlashStore OSD, ceph-rust प्रोजेक्ट से, जो 9 नवंबर 2026 से पब्लिक प्रीव्यू में है2।

दोनों कहते हैं कि वे ड्रॉप-इन रिप्लेसमेंट हैं। दोनों कहते हैं कि वे NVMe के लिए हैं। दोनों प्रीव्यू में हैं, और आज किसी पर भी प्रोडक्शन डेटा नहीं रखना चाहिए। तो अगर आप NVMe Ceph चलाते हैं और सोच रहे हैं कि किस पर नज़र रखें, तो यह जानना फ़ायदेमंद है कि असल में दोनों कहाँ अलग हैं, क्योंकि वह जगह वह नहीं है जो सुर्खियाँ बताती हैं।

यह तुलना दोनों को वैसे देखती है जैसे वे Ceph 21.2.0, Umbrella पर मिलते हैं: Crimson जैसा वह रिलीज़ उसे डॉक्यूमेंट और शिप करता है, बनाम FlashStore, जो उसी रिलीज़ के खिलाफ़ बनाया और टेस्ट किया गया है2। यह FlashStore बनाम Umbrella BlueStore के आगे की कड़ी है, और FlashStore के बारे में जो कुछ वहाँ पहले ही कहा जा चुका है उसे यहाँ मान लिया गया है।

एक daemon के दो रीराइटक्लासिक ceph-osdC++, थ्रेडCrimsonCeph upstream, Seastar पर C++croit-flashstore-osdcroit, Rust, अपना runtimeBlueStoreडिफ़ॉल्टSeaStoreनेटिवCyanStoreकोई डेटा नहींFlashStoreअकेला स्टोर
क्लासिक OSD के दो रीराइट। Crimson चुनने के लिए तीन स्टोर रखता है, जिनमें BlueStore डिफ़ॉल्ट है; FlashStore का एक ही है।

हर एक कहाँ से आता है

पहला फ़र्क यह है कि इसे कौन बनाता है और कैसे।

CrimsonFlashStore
किसने बनायाCeph अपस्ट्रीम, मुख्य ट्री मेंcroit
भाषाC++Rust
फ़्रेमवर्कSeastarcroit का अपना सिंगल-थ्रेड एग्ज़ीक्यूटर
कोडceph/ceph मेंक्लीन-रूम रीराइट, कोई Ceph कोड लिंक नहीं
डेवलपमेंटअपस्ट्रीम, खुलाप्रीव्यू में रीड-ओनली स्नैपशॉट; पहली प्रोडक्शन रिलीज़ के बाद खुला
लाइसेंसCeph काडेमन LGPL-3.0, क्लाइंट MPL-2.0
अपने ही शब्दों में स्थिति“not suitable for production use”“not yet recommended for production data”
नियोजित GAकुछ नहीं बतायाQ1 2027

Crimson, Ceph की अपनी रिपॉज़िटरी में रहता है और Ceph के अपने डेवलपर उसे बनाते हैं। यह Seastar पर लिखा गया है, जो थ्रेड-पर-कोर सर्वरों के लिए एक C++ फ़्रेमवर्क है और ScyllaDB से निकला है3। Umbrella के डॉक्यूमेंट साफ़ कहते हैं कि यह “is in a tech-preview stage and is not suitable for production use”1।

FlashStore शून्य से Rust में लिखा गया है और इसमें कोई भी Ceph कोड लिंक नहीं है; Ceph का C++ एक रेफ़रेंस की तरह पढ़ा जाता है और croit के अपने स्पेसिफ़िकेशन से दोबारा लागू किया जाता है4। इसका README कहता है कि यह टेस्टिंग और मूल्यांकन के लिए है और “not yet recommended for production data”, और जनरल अवेलेबिलिटी 2027 की पहली तिमाही के लिए नियोजित है2। पब्लिक रिपॉज़िटरी एक रीड-ओनली स्नैपशॉट है: “no issue tracker, no contribution workflow”2।

वह पंक्ति ध्यान से पढ़ने लायक है। Crimson खुले में डेवलप होता है, और कोई भी पुल रिक्वेस्ट पढ़ सकता है और उन पर बहस कर सकता है। FlashStore फ़िलहाल एक कंपनी से तैयार स्नैपशॉट के रूप में आता है: आप हर लाइन पढ़ सकते हैं, लेकिन अभी उसे पैच नहीं भेज सकते। यह प्रीव्यू का दौर है, योजना नहीं। प्रीव्यू इसलिए है कि कम्युनिटी का फ़ीडबैक इकट्ठा हो, जबकि croit अंदर अपने प्रोडक्शन टेस्ट केस चलाता है, उससे पहले कि वह OSD को इस्तेमाल के लिए सुरक्षित घोषित करे। खुला डेवलपमेंट उस पहली प्रोडक्शन रिलीज़ के बाद आता है, वही रास्ता जो कंपनी-प्रायोजित ज़्यादातर ओपन-सोर्स प्रोजेक्ट अपनाते हैं। यह बात किसी प्रकाशित रोडमैप से नहीं, croit के अंदर से आई है, इसलिए उन्हें इस पर कायम रखिए।

croit ने Crimson को फ़ोर्क करने पर विचार किया था और लिखकर रखा कि क्यों नहीं किया। उसका ADR कहता है कि Crimson “tries to support everything (HDD, alienstore/BlueStore, all pool types)”, और जोड़ता है “Complex code is never fast”4। यह Crimson के बारे में croit की राय है, कोई माप नहीं, और मैं इसे उसी तरह लूँगा। उसी ADR ने फ़ोर्क को आंशिक रूप से LGPL की वजह से भी खारिज किया4, और फिर croit ने आठ दिन बाद अपना ही डेमन LGPL-3.0 में लाइसेंस किया5। तो लाइसेंस असल में कभी वजह था ही नहीं।

मेमोरी सेफ़्टी: Rust बनाम C++

OSD वह कोड है जो आपका डेटा रखता है। उसमें use-after-free या बफ़र ओवररन कोई ऐसा क्रैश नहीं है जिससे आप रीस्टार्ट करके निकल जाएँ; वह डिस्क पर करप्ट डेटा है, जो हर रेप्लिका पर कॉपी हो जाता है। यह ठीक वही किस्म का बग है जिसे डिज़ाइन से ही बाहर करने के लिए पश्चिमी साइबर एजेंसियाँ पिछले तीन साल से इंडस्ट्री से कह रही हैं।

गाइडेंसकिसने उस पर अपना नाम रखावह क्या कहती है
The Case for Memory Safe Roadmaps, दिसंबर 2023CISA, NSA और FBI (अमेरिका), ASD का ACSC (ऑस्ट्रेलिया), CCCS (कनाडा), NCSC-UK, NCSC-NZ, CERT-NZC और C++ मेमोरी अनसेफ़ हैं; उनसे दूर जाने का रोडमैप प्रकाशित करें
Product Security Bad Practices v2.0, जनवरी 2025CISA और FBIजहाँ मेमोरी-सेफ़ भाषाएँ उपलब्ध हैं, वहाँ C या C++ में नई क्रिटिकल-इंफ्रास्ट्रक्चर प्रोडक्ट लाइनें “dangerous” हैं

संयुक्त गाइडेंस साफ़ कहती है: “Programming languages such as C and C++ are examples of memory unsafe programming languages”6। CISA और FBI इससे आगे जाते हैं, और “the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)” को खतरनाक बताते हैं जब कोई मेमोरी-सेफ़ विकल्प इस्तेमाल हो सकता हो7। यह गाइडेंस है, कानून नहीं। लेकिन क्रिटिकल सेवाओं के नीचे का स्टोरेज ठीक वही कोड है जिसके लिए यह है, और ये दोनों नेक्स्ट-जनरेशन OSD हैं जिन्हें इसी पर परखा जाएगा।

FlashStore इस पर खरा उतरता है। यह Rust में लिखा गया है, और croit का ADR वजह एक लाइन में देता है: “Storage = correctness-critical; memory-safety bugs = data loss”8। कंपाइलर unsafe चिह्नित कोड को छोड़कर हर जगह मेमोरी सेफ़्टी जाँचता है, और वही ADR उसे FFI, DMA, NVMe और नेटवर्क-ड्राइवर मॉड्यूल तक सीमित रखता है, हर एक के साथ एक SAFETY कमेंट8। मैंने स्नैपशॉट में इसे गिना: Rust की 696,125 लाइनों में से 1,216 लाइनें unsafe का ज़िक्र करती हैं, लगभग 0.17%, और वे RDMA, रनटाइम, NVMe और स्टोर crates में हैं जहाँ कोड हार्डवेयर से बात करता है। संयुक्त गाइडेंस खुद इस रास्ते का नाम लेती है, यह कहते हुए कि Rust “can contain the ‘unsafe’ keyword”6, तो ईमानदार माप यही है: शून्य नहीं, लेकिन छोटा, बाड़ से घिरा, और वहीं जहाँ आप उम्मीद करेंगे। जो C यह कॉल करता है, SPDK और DPDK, वह भी इन्हीं सीमाओं के पीछे है8।

Crimson इस पर खरा नहीं उतरता। यह C++ फ़्रेमवर्क पर C++ में लिखा गया नया OSD है13, और यही वह भाषा है जिसे ऊपर की एजेंसियाँ मेमोरी अनसेफ़ बताती हैं। इसकी हर लाइन उस दायरे से बाहर है जहाँ कंपाइलर मेमोरी सेफ़्टी जाँच सके, और अपने डिफ़ॉल्ट कॉन्फ़िगरेशन में यह स्टोर BlueStore को सौंप देता है, जो भी C++ है।

CrimsonFlashStore
भाषाC++Rust
कंपाइलर मेमोरी सेफ़्टी जाँचता हैनहींहाँ, unsafe के बाहर
बिना जाँचा कोडपूरालगभग 0.17% लाइनें, ड्राइवर और FFI कोड
डिफ़ॉल्ट स्टोरBlueStore, C++FlashStore, Rust
Five Eyes की मेमोरी-सेफ़्टी गाइडेंस पर खरानहींहाँ

Ceph के डेवलपरों ने C++ लापरवाही से नहीं चुना; Crimson एक C++ कोड बेस से निकला, और जगह पर ही रीराइट करने का मतलब था उसी में रहना। यह एक उचित इंजीनियरिंग रास्ता है। फिर भी इससे नेक्स्ट-जनरेशन Ceph OSD उसी किस्म की भाषा में लिखा रह जाता है जिसे पाँच देशों की एजेंसियों ने नए क्रिटिकल कोड से छोड़ने को कहा है।

हर एक क्लस्टर में कैसे जुड़ता है

यह दोनों के बीच सबसे बड़ा व्यावहारिक फ़र्क है, और इसका परफ़ॉर्मेंस से कोई लेना-देना नहीं है।

FlashStore OSD उन पूल में जुड़ता है जो आपके पास पहले से हैं। यह क्लासिक BlueStore OSD के बगल में उन्हीं प्लेसमेंट ग्रुप में बैठता है, और आप एक बार में एक ड्राइव बदलते हैं2।

Crimson OSD ऐसा नहीं करता। पास तक नहीं। Umbrella के डॉक्यूमेंट कहते हैं: “Crimson OSD won’t instantiate PGs from non-Crimson pools”1। कोड ठीक यही करता है। जब मॉनिटर किसी Crimson OSD से बिना crimson फ़्लैग वाले पूल में PG बनाने को कहता है, तो वह “pool lacks crimson flag” लॉग करता है और बनाना रद्द कर देता है9।

कौन किन पूल को सर्व करेगाआपका मौजूदा पूलcrimson फ़्लैग नहींक्लासिक OSDBlueStoreFlashStore OSDवही PGCrimson OSDसिर्फ़ crimson पूलPG अनदेखेनया पूल, --crimsonautoscale बंद
FlashStore आपके मौजूदा पूल में PG लेता है। Crimson सिर्फ़ crimson फ़्लैग के साथ बने पूल को सर्व करता है, इसलिए उसे नए पूल चाहिए और डेटा उनमें कॉपी करना पड़ता है।

तो Crimson ट्रायल का मतलब है नए पूल, crimson फ़्लैग के साथ बने हुए, और आपका डेटा उनमें ले जाया गया। और उन पूल के साथ शर्तें आती हैं जिन्हें मॉनिटर लागू करता है:

Crimson पूल का नियम (Umbrella)कहाँ
पूल बनाते समय PG ऑटोस्केलिंग बंद होनी चाहिएOSDMonitor, पूल क्रिएट10
PG मर्जिंग (pg_num घटाना) मनाOSDMonitor, pg_num बदलाव11
PG स्प्लिटिंग सिर्फ़ तब जब crimson_allow_pg_split true होवही, और वह ऑप्शन12
EC पूल ऑप्टिमाइज़्ड EC टाइप के ही होने चाहिए, कोई अपवाद नहींOSDMonitor, पूल क्रिएट13
EC पूल पर कोई OMAP नहींवही13

FlashStore क्लासिक पूल सर्व करता है, रेप्लिकेटेड और इरेज़र-कोडेड दोनों, और जिन EC कॉन्फ़िगरेशन को वह सपोर्ट नहीं करता उन्हें मॉनिटर पर रोकने के बजाय खुद छोड़ देता है14। दोनों में से कोई तरीका गलत नहीं है। लेकिन एक आपको अपने असली पूल लेआउट की कॉपी पर टेस्ट करने देता है, और दूसरा आपसे पहले एक अलग लेआउट बनवाता है।

आपके मौजूदा पूल के लिए पार जाने का कोई रास्ता नहीं

तो क्या आप किसी मौजूदा पूल को Crimson पूल में बदलकर, एक-एक ड्राइव करके उसे ले जा सकते हैं? नहीं।

Umbrella के डॉक्यूमेंट कहते हैं कि Crimson “aiming to allow seamless migration from existing ceph-osd deployments”1। Aiming, यानी इरादा। रिलीज़ यह नहीं करता, और सोर्स दिखाता है कि क्यों नहीं कर सकता। crimson फ़्लैग ceph osd pool create का एक ऑप्शन है और कहीं नहीं15। ceph osd pool set में पहले से मौजूद पूल पर सेट करने के लिए कोई crimson वेरिएबल नहीं है16। और Crimson OSD बिना फ़्लैग वाले पूल के हर PG को नज़रअंदाज़ करता है, जैसा ऊपर बताया9। मुझे सोर्स या डॉक्यूमेंट में कोई कन्वर्ज़न टूल नहीं मिला।

मौजूदा पूल को ले जानाCrimson (Umbrella)FlashStore, आज
वही पूल रखेंनहीं, नया पूल ज़रूरीहाँ
क्या पूल पर बाद में फ़्लैग लग सकता हैनहीं, सिर्फ़ बनाते समयज़रूरत नहीं
डेटा कैसे जाता हैआप कॉपी करते हैं, पूल से पूलक्लस्टर बैकफ़िल करता है
क्लाइंट को नई जगह दिखानाहाँ, नए पूल परनहीं
एक बार में एक ड्राइवनहींहाँ

इससे Crimson पर जाना एक ऐसी डेटा कॉपी बन जाता है जो आप खुद चलाते हैं: RBD इमेज “between different pools” लाइव-माइग्रेट हो सकती हैं17, और ऑब्जेक्ट या फ़ाइल डेटा को कॉपी करने के लिए वह चाहिए जो आपकी एप्लिकेशन इस्तेमाल करती हैं। फिर हर क्लाइंट को नए पूल की ओर मोड़ना पड़ता है।

FlashStore उन पूल के साथ कम्पैटिबल है जो आप आज चलाते हैं। आप इसे एक ड्राइव पर तैयार करते हैं, क्लस्टर उसे दिए गए प्लेसमेंट ग्रुप बैकफ़िल करता है, और आपके क्लाइंट को कभी पता नहीं चलता कि उनके नीचे पूल बदला, क्योंकि वह बदला ही नहीं18। किसी रीराइट के आपके क्लस्टर में जुड़ने और उसके बगल में बैठने के बीच पूरा फ़र्क यही है।

हर एक मॉनिटर को क्या बताता है

Crimson अपना परिचय खुद देता है। बूट पर यह osd_type=crimson भेजता है19, और मॉनिटर इसे तब तक अंदर नहीं आने देता जब तक allow_crimson OSDMap फ़्लैग सेट न हो, और एक लॉग लाइन लिखता है कि crimson-osd “is considered unstable and may result in crashes or data loss”20। वहाँ तक पहुँचने में डॉक्यूमेंट के चार कमांड लगते हैं, जिनमें पहला enable_experimental_unrecoverable_data_corrupting_features नाम का ऑप्शन सेट करता है1।

FlashStore इसका उल्टा करता है। यह कोई osd_type नहीं भेजता और osd_objectstore=bluestore रिपोर्ट करता है, तो मॉनिटर को एक क्लासिक OSD दिखता है और वह कोई सवाल नहीं पूछता21। पिछली पोस्ट इसकी वजह बताती है: Umbrella का मॉनिटर EC ओवरराइट जैसे फ़ीचर इस शर्त पर खोलता है कि पूल का हर OSD BlueStore रिपोर्ट करे21। यह आज प्रोडक्शन में चल रहे स्टॉक मॉनिटर और मैनेजर के लिए है। croit के अपने Ceph बिल्ड पर, जहाँ उन्हें इसे पहचानने के लिए पैच किया गया है, FlashStore खुद को flashstore रिपोर्ट करता है21।

बूट पर मॉनिटर क्या जाँचता हैCrimson OSDosd_type=crimsonmon: allow_crimson सेट है?set-allow-crimsonनहीं: बूट मना"crashes or data loss"FlashStore OSDकोई osd_type नहींmon: क्लासिक OSDobjectstore=bluestoreबूट, फ़्लैग की ज़रूरत नहींमौजूदा पूल सर्व करता है
Crimson को नाम से, एक ऐसे फ़्लैग के पीछे अंदर आने देना पड़ता है जिसके बारे में मॉनिटर चेतावनी देता है। FlashStore क्लासिक OSD बनकर सीधे अंदर आ जाता है।

मैं चाहूँगा कि सॉफ़्टवेयर मुझे बताए कि वह क्या है। Crimson बताता है। उसका तरीका ईमानदार है, और फ़्लैग का नाम इसमें कोई शक नहीं छोड़ता कि आप किस बात पर हामी भर रहे हैं। FlashStore का तरीका वह है जिससे ड्रॉप-इन उन स्टॉक मॉनिटर और मैनेजर पर काम करता है जो लोग आज चलाते हैं, और यह एक कम्पैटिबिलिटी उपाय है, अंतिम स्थिति नहीं। दोनों जानबूझकर हैं, और दोनों लिखकर रखे गए हैं। बस जब आप अपने OSD गिनें तो जान लीजिए कि आप किससे निपट रहे हैं।

कोर: रिएक्टर बनाम पिन किए हुए पोलिंग थ्रेड

दोनों प्रोजेक्ट ने थ्रेड पूल बाहर फेंक दिए। अच्छा किया। दोनों हर कोर पर एक थ्रेड चलाते हैं और अपना काम कोर के हिसाब से शार्ड करते हैं। फ़र्क इसमें है कि वे ऑपरेटर से कितना माँगते हैं और कोर को कितनी कसकर पकड़ते हैं।

CrimsonFlashStore
काम की इकाईहर कोर पर Seastar रिएक्टरहर कोर पर पिन किया थ्रेड
कोर की संख्याcrimson_cpu_num, कोई डिफ़ॉल्ट नहीं, सेट करना ज़रूरीflashstore_cores, डिफ़ॉल्ट 8
कोर पर पिनसिर्फ़ crimson_cpu_set के साथहाँ, flashstore_lcores
खाली होने पर200 µs पोल, फिर सो जाता हैपोल, अडैप्टिव आइडल
पूरा बिज़ी-पोलवैकल्पिक, crimson_poll_modeयही डिज़ाइन है, आइडल बैकऑफ़ के साथ
डिप्लॉय के बाद बदलावनहींस्टोर शार्ड prepare पर तय

Crimson पर crimson_cpu_num “does not have a default value”, इसे OSD डिप्लॉय होने से पहले सेट करना ज़रूरी है, और यह “cannot be changed after deployment”1। यह थ्रेड पिन नहीं करता जब तक आप crimson_cpu_set भी सेट न करें, जिसे डॉक्यूमेंट “generally less recommended due to its complexity” बताते हैं1। खाली होने पर रिएक्टर वापस सोने से पहले 200 µs पोल करता है, और एक पूरा पोल मोड “at the expense of 100% cpu usage” मौजूद है, जो डिफ़ॉल्ट रूप से बंद है22। SeaStore भी mkfs के बाद रिएक्टर की संख्या में बदलाव मना कर देता है23।

FlashStore डिज़ाइन से पिन करता है, डिज़ाइन से पोल करता है, और खाली होने पर पीछे हट जाता है2425। इसके स्टोर शार्ड की संख्या स्टोर तैयार करते समय तय हो जाती है, वही पाबंदी, बस एक अलग जगह पर26।

व्यवहार में दोनों पूरे कोर चाहते हैं और दोनों चाहते हैं कि आप डिप्लॉय करने से पहले उनका आकार तय करें। Crimson पोलिंग को एक विकल्प बनाता है जिसे आप चुनते हैं। FlashStore इसे डिफ़ॉल्ट बनाता है और आइडल लॉजिक को कुछ CPU वापस खींचने देता है।

Crimson का डिफ़ॉल्ट स्टोर BlueStore है

यही वह हिस्सा है जिसने मुझे चौंकाया। चौंकाना नहीं चाहिए था।

Crimson में दो तरह के ऑब्जेक्ट स्टोर हैं। नेटिव स्टोर Seastar रिएक्टर के अंदर चलते हैं; नॉन-नेटिव स्टोर “a thread pool proxy” के ज़रिए “alien threads: worker threads not managed by Seastar” पर चलते हैं1। SeaStore नेटिव है। BlueStore नॉन-नेटिव है। और डिफ़ॉल्ट BlueStore है।

डॉक्यूमेंट इस बारे में साफ़ बोलते हैं। SeaStore “is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages”1। Cephadm, जब तक अलग से न कहा जाए, Crimson को --objectstore bluestore के साथ डिप्लॉय करता है, और तब भी SeaStore को --method raw से डिप्लॉय नहीं किया जा सकता; आपसे LVM इस्तेमाल करने को कहा जाता है1।

Crimson का डिफ़ॉल्ट स्टोर, FlashStore के सामनेCrimson, डिफ़ॉल्ट स्टोरSeastar रिएक्टरcrimson_cpu_numthread pool proxyरिएक्टर से बाहर सौंपनाalien threadscrimson_bluestore_num_threadsBlueStoreBlueFS पर RocksDBFlashStorePG का मालिक कोरपिन, पोलिंगस्टोर शार्ड, वही कोरकोई सौंपना नहींNVMe queue, वही कोरSPDK या io_uring
डिफ़ॉल्ट Crimson OSD हर स्टोर ऑपरेशन अपने रिएक्टर से निकालकर BlueStore चलाने वाले साधारण थ्रेड के एक पूल को सौंप देता है। FlashStore पूरा रास्ता उसी कोर पर रखता है जिसके पास वह PG है।

तो आज डिफ़ॉल्ट सेटिंग के साथ डिप्लॉय किया गया Crimson OSD उसी BlueStore, RocksDB और BlueFS के ऊपर एक Seastar फ़्रंट एंड चलाता है जो क्लासिक OSD इस्तेमाल करता है, और इसके लिए crimson_bluestore_num_threads थ्रेड अलग रखे जाते हैं22। स्टोर की तरफ़, क्लासिक OSD से कुछ भी नहीं बदला। माइग्रेशन का रास्ता बनाने का यह समझदारी भरा तरीका है। यही वजह भी है कि परफ़ॉर्मेंस पर “Crimson” की तुलना FlashStore से करने का बहुत कम मतलब है, जब तक आप यह न बताएँ कि Crimson कौन सा स्टोर चला रहा था।

स्टोर की सही तुलना SeaStore बनाम FlashStore है। इस पोस्ट का बाकी हिस्सा वही है।

SeaStore और FlashStore: मेटाडेटा कहाँ रहता है

दोनों स्टोर शुरू से NVMe के लिए लिखे गए, दोनों कोर के हिसाब से शार्ड होते हैं, और दोनों अपना मेटाडेटा RocksDB की बजाय अपने खुद के B-tree में रखते हैं। फिर भी उनकी बनावट बहुत अलग है।

SeaStore हर रिएक्टर को उसका अपना root देता है27। उसके नीचे एक onode tree, एक LBA tree और एक backref tree होते हैं। फिर हर ऑब्जेक्ट का onode अपने OMAP B-tree और अपने XATTR B-tree की ओर, और लॉजिकल पते वाले डेटा extent की ओर इशारा करता है27। LBA tree उन लॉजिकल पतों को फ़िज़िकल पतों से जोड़ता है, ताकि ऑब्जेक्ट के अपने tree बदले बिना कोई ब्लॉक डिस्क पर खिसक सके; डॉक्यूमेंट इसी indirection को वजह बताते हैं कि ज़्यादातर extent “can be relocated freely”27।

FlashStore सब कुछ हर शार्ड पर एक copy-on-write B+tree में रखता है: onodes, xattrs, OMAP, हर 4 KiB ब्लॉक पर एक crc32c के साथ extent map, PG log, और allocator का bitmap28। Extent map सीधे फ़िज़िकल ब्लॉक की ओर इशारा करते हैं। बीच में कोई लॉजिकल परत नहीं है।

मेटाडेटा कहाँ रहता हैSeaStorerootonode treeLBA treebackref treeonodeOMAPअपना B-treeXATTRअपना B-treeडेटालॉजिकल पतालॉजिकल पता, फिर LBA tree, फिर डिस्कFlashStoreहर शार्ड पर एक COW B+treeonodes, xattrsOMAPextent maps + crc32cPG log, PG infoallocator bitmapextent map, फिर डिस्क
SeaStore: हर तरह की चीज़ के लिए एक tree, OMAP और xattrs के लिए हर ऑब्जेक्ट पर एक B-tree, और डेटा ढूँढने के लिए एक LBA tree। FlashStore: हर शार्ड पर एक tree, सीधे डिस्क की ओर इशारा करता हुआ।

दोनों फ़ैसलों के पीछे वजह है। SeaStore का indirection ही उसके cleaner को सस्ता बनाता है: वह हर उस tree को दोबारा लिखे बिना जीवित डेटा खिसका सकता है जो उसकी ओर इशारा करता है। FlashStore को इसकी ज़रूरत नहीं, क्योंकि उसके पास cleaner है ही नहीं, जैसा नीचे बताया गया है। उसका ADR “Per-object omap subtree/root” को उन विकल्पों में गिनाता है जिन पर विचार करके उन्हें खारिज किया गया28।

चेकसम पर एक फ़र्क जानने लायक है: SeaStore अपना crc32c पूरे cached extent पर गिनता है29, जबकि FlashStore हर 4 KiB ब्लॉक पर एक रखता है28।

एक write किस क्रम में commit होता है

SeaStore का डिफ़ॉल्ट डिवाइस टाइप SSD है, जो segmented backend इस्तेमाल करता है30। उस backend पर एक transaction एक journal record होता है जिसमें deltas होते हैं, और डेटा के साथ दो में से एक बात हो सकती है।

छोटे, कम समय तक रहने वाले extent journal record के अंदर ही जा सकते हैं, और तब वही record पूरा commit होता है27। बड़े या लंबे समय तक रहने वाले extent अलग out-of-line segment में जाते हैं, और तब डॉक्यूमेंट क्रम तय करते हैं: “final record with the deltas should be written only once the other blocks are persisted”27। यह एक के बाद एक दो write हैं, वही आकार जो BlueStore के पहले-डेटा-फिर-RocksDB वाले commit का है।

FlashStore डेटा extent और WAL यूनिट एक साथ लिखता है, नए डेटा का crc32c WAL record में रखता है ताकि replay उसे जाँच सके, और दोनों के durable होते ही acknowledge करता है28। डिवाइस तक एक ही चक्कर, आकार चाहे जो हो।

commit कब जा सकता हैSeaStoreछोटा extentjournal recordextent inline + deltasack1 चक्करSeaStoreout of lineextent OOL segment मेंpersist होने तक रुकोjournal recorddeltasack2 चक्करFlashStoreडेटा, नया 4 KiBWAL यूनिट, डेटा crcack1 चक्करसमय
अपने डिफ़ॉल्ट segmented डिवाइस पर SeaStore: extent journal record में समा जाए तो एक चक्कर, out-of-line जाए तो एक के बाद एक दो। FlashStore: डेटा और log record साथ-साथ।

इसका कितना असर होता है यह आपके वर्कलोड पर निर्भर है, ठीक वैसे ही जैसे BlueStore वाली तुलना में। कम queue depth पर, जहाँ क्लाइंट हर write का इंतज़ार करते हैं, दूसरा चक्कर असली latency है। लोड में, batching इसका ज़्यादातर हिस्सा छिपा देती है।

जगह वापस पाना

log-structured डिज़ाइन का दूसरा आधा हिस्सा सफ़ाई है।

segmented backend पर SeaStore हमेशा सिर्फ़ खुले segment में ही लिखता है। किसी segment को दोबारा इस्तेमाल करने से पहले उसके जीवित ब्लॉक कहीं और दोबारा लिखने पड़ते हैं, और डिज़ाइन डॉक्यूमेंट बताता है कि इसकी कीमत क्या है: “we must ‘clean’ one byte of an existing segment for every byte written at steady state”27। spike से बचने के लिए यह इस सफ़ाई का कुछ हिस्सा चल रहे write में मिला देता है, और बाकी तब बैकग्राउंड में करता है जब ड्राइव शांत हो27। segment का डिफ़ॉल्ट आकार 64 MiB है31।

SeaStore के पास NVMe के लिए एक दूसरा backend भी है, random block manager, जिसके बारे में डॉक्यूमेंट कहते हैं कि यह “Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren’t worth the overhead”27। यह डिफ़ॉल्ट नहीं है। आप इसे seastore_main_device_type से चुनते हैं30।

FlashStore में कोई segment cleaner नहीं है। बिल्कुल नहीं। बदला गया ब्लॉक एक checkpoint के उसके पार जाते ही शार्ड के allocator को वापस मिल जाता है, जो हर पाँच सेकंड पर होता है जब तक बिना persist हुआ काम बाकी हो, या उससे पहले जब WAL ring आधी भर जाए28। इसके डिज़ाइन डॉक्यूमेंट ने log-structured लेआउट को सीधे खारिज कर दिया28। इसका मतलब यह नहीं कि इसमें कोई बैकग्राउंड काम नहीं है: यह अब भी tree पेजों को merge और compact करता है और खाली जगह को defragment करता है, क्लाइंट I/O के हिसाब से रफ़्तार रखते हुए28। लेकिन जगह बनाने के लिए यह आपका जीवित डेटा कभी कॉपी नहीं करता।

जगह वापस पानाSeaStore, segmented (डिफ़ॉल्ट)बंद segmentजीवित + मृत ब्लॉकcleaner जीवित ब्लॉकखुले segment में दोबारा लिखता हैsegment खालीdiscard, दोबारा इस्तेमालस्थिर अवस्था: लिखे हर byte पर लगभग एक byte साफ़FlashStoreब्लॉक बदला गयानए extent सेcheckpoint तक रोकाहर 5 s या WAL आधा भरने परbitmap में वापसकोई जीवित डेटा नहीं खिसका
SeaStore का डिफ़ॉल्ट backend sequential write की कीमत एक ऐसे cleaner से चुकाता है जो जीवित डेटा खिसकाता है। FlashStore checkpoint के बाद बदले गए ब्लॉक उसी जगह मुक्त करता है और कुछ भी नहीं खिसकाता।

flash पर, जो ड्राइव के अंदर पहले से अपना garbage collection चलाता है, मैं चाहूँगा कि OSD उसके ऊपर दूसरा न चलाए। RBM backend के बारे में SeaStore के अपने डॉक्यूमेंट जो कहते हैं, उससे लगता है वे भी सहमत हैं। फ़र्क यह है कि FlashStore ने इसे एकमात्र विकल्प बनाया और SeaStore ने इसे नॉन-डिफ़ॉल्ट।

कौन किस पर चलेगा

Crimson (Umbrella)FlashStore
HDDहाँ, BlueStore के साथ; SeaStore में HDD segment type हैनहीं
NVMeहाँहाँ, एकमात्र लक्ष्य
बिजली जाने पर सुरक्षाकोई घोषित ज़रूरत नहींज़रूरी, इसके बिना mkfs मना करता है
डिवाइस लेआउटcephadm से SeaStore के लिए LVMपूरे namespace, कोई partition नहीं
वायर प्रोटोकॉलसिर्फ़ msgr2सिर्फ़ msgr2
I/O backendio_uring डिफ़ॉल्ट; linux-aio, epollSPDK डिफ़ॉल्ट, io_uring tier
पूलcrimson फ़्लैग वाले नए पूलमौजूदा क्लासिक पूल
मौजूदा डेटा ले जानानए पूल में कॉपी करेंउसी पूल में backfill
डिप्लॉय का तरीकाcephadm, --osd-type crimsonपैकेज, croit-flashstore-tool
सुझाया गया buildmain का नवीनतम CI buildरिलीज़ स्नैपशॉट

Crimson अपना दायरा बनाए रखता है। डॉक्यूमेंट कहते हैं कि SeaStore “may not be suitable for traditional HDDs”, लेकिन “Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs”1, और SeaStore का डिज़ाइन डॉक्यूमेंट अब भी HDD में दिलचस्पी दर्ज करता है27। इसका messenger v1 को सीधे मना कर देता है, “ProtocolV1 is no longer supported”32, वही फ़ैसला जो FlashStore ने लिया33। इसके डॉक्यूमेंट “one of the latest available builds, as Crimson evolves rapidly” की सलाह देते हैं, जिसका व्यवहार में मतलब main की CI इमेज है1।

FlashStore सब कुछ बिजली-सुरक्षा वाले NVMe तक सीमित कर देता है, और इसकी सादगी वहीं से आती है34। यह ठीक वही सौदा है जिसे croit का ADR दूसरी तरफ़ से बताता है।

एक ही सवाल के दो जवाब

दोनों प्रोजेक्ट एक ही बात से शुरू हुए: क्लासिक OSD तेज़ हार्डवेयर बर्बाद करता है। दोनों ने बहुत अलग जवाब दिए।

Crimson का जवाब कम्युनिटी वाला है। OSD को उसी जगह, Ceph के अंदर, दोबारा लिखो, नया स्टोर परिपक्व होने तक हर पुराना स्टोर और हर पुरानी ड्राइव चालू रखो, और सबको काम होते हुए देखने दो। यह धीमा है, और दिखता भी है। Umbrella में डिफ़ॉल्ट Crimson OSD अब भी BlueStore को एक थ्रेड पूल के ज़रिए चलाता है, उसके अपने पूल आपके पूल से अलग बाड़ में हैं, और इसे चालू करने के लिए आपको “unrecoverable data corrupting” शब्द टाइप करने पड़ते हैं। लेकिन यह Ceph चलाने वाले हर किसी का है, और इसे कोई आपसे छीन नहीं सकता।

FlashStore का जवाब vendor वाला है। एक सँकरा लक्ष्य चुनो, बिजली-सुरक्षा वाला NVMe, जो कुछ सिर्फ़ दूसरे हार्डवेयर के लिए था उसे बाहर फेंको, और एक ऐसा स्टोर शिप करो जो आपके मौजूदा पूल में सीधे बैठ जाए। यह तेज़ है, और यह भी दिखता है। लेकिन यह एक कंपनी से आता है, पहली production रिलीज़ तक read-only स्नैपशॉट के रूप में, और stock क्लस्टर में यह मॉनिटर को खुद को BlueStore बताकर अंदर आता है।

मैं उसी कंपनी के लिए काम करता हूँ, इसलिए आगे जो लिखा है उसे उसी हिसाब से तौलिए। all-flash क्लस्टर के लिए croit ने सही तकनीकी दाँव लगाया। Ceph को एक प्रोजेक्ट के रूप में देखें तो Crimson ने सही दाँव लगाया। ये दोनों एक ही बात नहीं हैं। जो प्रोजेक्ट सबकी सेवा करता है वह HDD नहीं छोड़ सकता। एक vendor छोड़ सकता है, और उसे छोड़ना भी चाहिए, अगर उसके ग्राहक यही खरीदते हैं।

जो मैं नहीं करूँगा, वह है किसी भी तरफ़ के benchmark चार्ट पर इन दोनों में से चुनना। Crimson के आँकड़े इस पर निर्भर हैं कि उसके तीन स्टोर में से कौन सा चल रहा था; FlashStore के आँकड़े croit की अपनी लैब से आते हैं। दोनों प्रोजेक्ट अपने डिज़ाइन डॉक्यूमेंट प्रकाशित करते हैं। उन्हें पढ़िए, फिर दोनों को उन ड्राइव पर रखिए जिन्हें आप सच में डिप्लॉय करेंगे, और अपना खुद का वर्कलोड चलाइए। जो तब भी वही करे जो उसके डॉक्यूमेंट कहते हैं, जब दाँव पर आपका डेटा हो, वही इंतज़ार के लायक है।


  1. Ceph Umbrella, Crimson (Tech Preview) — “the next generation ceph-osd”, “not suitable for production use”, ज़रूरी फ़्लैग, crimson_cpu_num, नेटिव और नॉन-नेटिव backend, SeaStore “not the default”, --method raw समर्थित नहीं। स्रोत: doc/crimson/crimson.rst at v21.2.0। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. croit ceph-rust, README at snapshot 48f9014 — सीधे बैठ जाने (drop-in) का दावा, 9 नवंबर 2026 से प्रीव्यू, GA 2027 की पहली तिमाही, “not yet recommended for production data”, “no issue tracker, no contribution workflow”। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  3. Seastar — वह C++ फ़्रेमवर्क जिस पर Crimson बना है। ↩︎ ↩︎

  4. ceph-rust ADR 0003, green-field, no Crimson fork — “Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -> complexity. Complex code is never fast.”; fork “C++, complexity, LGPL” के कारण खारिज। ↩︎ ↩︎ ↩︎

  5. ceph-rust ADR 0164, licences — तारीख 2026-10-17; daemon LGPL-3.0-only। ↩︎

  6. CISA, NSA, FBI, ASD’s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (December 2023) — “Programming languages such as C and C++ are examples of memory unsafe programming languages”; Rust “can contain the ‘unsafe’ keyword”। ↩︎ ↩︎

  7. CISA and FBI: Product Security Bad Practices, v2.0 (January 2025) — critical infrastructure के लिए नई product line “in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous”। ↩︎

  8. ceph-rust ADR 0002, language: Rust — “Storage = correctness-critical; memory-safety bugs = data loss”; unsafe “confined to ffi/dma/nvme/net-driver modules with SAFETY comments”; SPDK और DPDK, FFI के ज़रिए। ↩︎ ↩︎ ↩︎

  9. Ceph v21.2.0, crimson/osd/shard_services.cc — “ignoring pgid {}, pool lacks crimson flag”। ↩︎ ↩︎

  10. Ceph v21.2.0, OSDMonitor.cc, crimson pool creation — “crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to ‘off’”। ↩︎

  11. Ceph v21.2.0, OSDMonitor.cc, crimson pg_num changes — “pg merging is not yet supported in Crimson”। ↩︎

  12. Ceph v21.2.0, crimson_allow_pg_split — “Allow Crimson pools to increase their PG count (split)”, डिफ़ॉल्ट true। ↩︎

  13. Ceph v21.2.0, OSDMonitor.cc, EC pools for Crimson — “For Crimson - only EC-optimized pools are supported”, “Omap is not supported by EC pools in crimson”। ↩︎ ↩︎

  14. ceph-rust docs, erasure-coded pools — legacy और optimised EC डिफ़ॉल्ट रूप से सर्व होते हैं; असमर्थित पूल OSD मना कर देता है। ↩︎

  15. Ceph v21.2.0, MonCommands.h, osd pool create — name=crimson,type=CephBool,req=false, अकेली जगह जहाँ यह फ़्लैग स्वीकार होता है। ↩︎

  16. Ceph v21.2.0, MonCommands.h, osd pool set — सेट किए जा सकने वाले variable; crimson उनमें नहीं है। ↩︎

  17. Ceph Umbrella, RBD image live-migration — “RBD images can be live-migrated between different pools”। ↩︎

  18. ceph-rust docs, migrate from classic — एक ड्राइव जोड़ें या खाली करें, FlashStore तैयार करें, और backfill को डेटा ले जाने दें। ↩︎

  19. Ceph v21.2.0, crimson/osd/osd.cc — m->metadata["osd_type"] = "crimson"। ↩︎

  20. Ceph v21.2.0, OSDMonitor.cc, boot check — “Disallowing boot of crimson-osd without allow_crimson OSDMap flag”, “considered unstable and may result in crashes or data loss”। ↩︎

  21. ceph-rust ADR 0019, report osd_objectstore=bluestore — कोई osd_type key नहीं, मॉनिटर के BlueStore feature gate। ↩︎ ↩︎ ↩︎

  22. Ceph v21.2.0, crimson.yaml.in — crimson_reactor_idle_poll_time_us 200, crimson_poll_mode “at the expense of 100% cpu usage” डिफ़ॉल्ट false, crimson_bluestore_num_threads। ↩︎ ↩︎

  23. Ceph v21.2.0, seastore_require_partition_count_match_reactor_count — “disable osd shards changes upon restart”, डिफ़ॉल्ट true। ↩︎

  24. ceph-rust ADR 0006, thread-per-core runtime — हर कोर पर एक पिन किया busy-polling थ्रेड, हर PG एक कोर का। ↩︎

  25. ceph-rust ADR 0004, storage I/O — SPDK और io_uring tier, डिवाइस के हिसाब से समयबद्ध idle। ↩︎

  26. ceph-rust docs, configuration reference — flashstore_cores डिफ़ॉल्ट 8, flashstore_lcores, flashstore_store_shards prepare के समय तय। ↩︎

  27. Ceph Umbrella, SeaStore developer documentation — हर रिएक्टर का root, onode, OMAP, LBA और backref tree, लिखे गए हर byte पर एक byte “clean”, journal record का क्रम, RBM backend। स्रोत: doc/dev/crimson/seastore.rst at v21.2.0। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  28. ceph-rust ADR 0021, storage engine — हर शार्ड पर एक COW B+tree, समानांतर commit, checkpoint, बैकग्राउंड रखरखाव, खारिज किए गए विकल्प जिनमें log-structured और “Per-object omap subtree/root” शामिल हैं। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  29. Ceph v21.2.0, crimson/os/seastore/cached_extent.h — “Returns crc32c of buffer”। ↩︎

  30. Ceph v21.2.0, seastore_main_device_type — “The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)”, डिफ़ॉल्ट SSD। ↩︎ ↩︎

  31. Ceph v21.2.0, seastore_segment_size — डिफ़ॉल्ट 64 MiB। ↩︎

  32. Ceph v21.2.0, crimson/net/SocketMessenger.cc — “ProtocolV1 is no longer supported”। ↩︎

  33. ceph-rust ADR 0168, out of scope — msgr1 बाहर, सिर्फ़ v2। ↩︎

  34. ceph-rust docs, hardware and host requirements — PLP ज़रूरी, पूरे namespace। ↩︎