Ujawniam na wstępie: pracuję dla croit, firmy, która napisała FlashStore. Wszystko poniżej jest wyczytane z kodu i dokumentacji Cepha w wersji v21.2.0 oraz z opublikowanej przez croit migawki ceph-rust, wszystko podlinkowane na dole strony. Tam, gdzie po jednej stronie sporu stoi rozumowanie samego croit, mówię, czyje to rozumowanie.

Dwie przeróbki tego samego demona

Klasyczny OSD w Cephie to wielowątkowy serwer w C++, który wyrósł na dyskach talerzowych. Na szybkim NVMe i szybkich sieciach dużą część procesora wydaje na rzeczy, które nie są przechowywaniem twoich danych: przekazywanie operacji między pulami wątków, zakładanie blokad, czekanie na inne wątki. Dwa projekty postanowiły to naprawić, przepisując OSD od podstaw.

Jeden to Crimson, własny projekt Cepha. Dokumentacja Umbrelli nazywa go „the next generation ceph-osd”, zbudowanym „to deliver enhanced performance on fast network and storage devices”1. Drugi to FlashStore OSD od croit, z projektu ceph-rust, w publicznej wersji zapoznawczej od 9 listopada 20262.

Oba mówią, że są zamiennikami typu drop-in. Oba mówią, że są dla NVMe. Oba są w wersji zapoznawczej i żaden nie powinien dziś trzymać danych produkcyjnych. Jeśli więc prowadzisz Cepha na NVMe i zastanawiasz się, któremu się przyglądać, warto wiedzieć, gdzie naprawdę się różnią, bo nie tam, gdzie sugerowałyby nagłówki.

To porównanie pokazuje je takimi, jakie zastaniesz w Cephie 21.2.0, Umbrella: Crimsona w wersji, którą to wydanie dokumentuje i dostarcza, kontra FlashStore, budowany i testowany na tym samym wydaniu2. Jest kontynuacją FlashStore kontra BlueStore z Umbrelli i wszystko, co tam już powiedziano o FlashStore, przyjmuję za znane.

Dwie przeróbki jednego demonaklasyczny ceph-osdC++, wątkiCrimsonupstream Cepha, C++ na Seastarcroit-flashstore-osdcroit, Rust, własny runtimeBlueStoredomyślnySeaStorenatywnyCyanStorebez danychFlashStorejedyny magazyn
Dwie przeróbki klasycznego OSD. Crimson trzyma do wyboru trzy magazyny, z BlueStore jako domyślnym; FlashStore ma jeden.

Skąd każdy z nich pochodzi

Pierwsza różnica to kto go buduje i jak.

CrimsonFlashStore
Budujeupstream Cepha, w głównym drzewiecroit
JęzykC++Rust
FrameworkSeastarwłasny jednowątkowy executor croit
Kodw ceph/cephprzeróbka clean-room, bez linkowania kodu Cepha
Rozwójupstream, otwartymigawki tylko do odczytu w wersji zapoznawczej; otwarty po pierwszym wydaniu produkcyjnym
Licencjalicencja Cephademon LGPL-3.0, klienci MPL-2.0
Status własnymi słowami„not suitable for production use”„not yet recommended for production data”
Planowane GAnie podanoI kwartał 2027

Crimson żyje we własnym repozytorium Cepha i budują go deweloperzy Cepha. Jest napisany na Seastar, frameworku C++ dla serwerów z wątkiem na rdzeń, który wyszedł z ScyllaDB3. Dokumentacja Umbrelli mówi wprost, że „is in a tech-preview stage and is not suitable for production use”1.

FlashStore jest napisany od zera w Rust i nie linkuje żadnego kodu Cepha; kod C++ Cepha jest czytany jako punkt odniesienia i implementowany na nowo według własnych specyfikacji croit4. Jego README mówi, że służy do testów i oceny i jest „not yet recommended for production data”, a ogólna dostępność planowana jest na pierwszy kwartał 20272. Publiczne repozytorium to migawka tylko do odczytu: „no issue tracker, no contribution workflow”2.

Ten wiersz warto przeczytać uważnie. Crimson rozwijany jest otwarcie i każdy może czytać pull requesty i się o nie spierać. FlashStore na razie przychodzi jako gotowe migawki od jednej firmy: możesz przeczytać każdą linię, ale nie możesz jeszcze wysłać łatki. To etap wersji zapoznawczej, nie plan. Wersja zapoznawcza ma zebrać opinie społeczności, podczas gdy croit przeprowadza wewnętrznie swoje produkcyjne przypadki testowe, zanim uzna OSD za bezpieczny w użyciu. Otwarty rozwój przyjdzie po tym pierwszym wydaniu produkcyjnym, tą samą drogą, którą idzie większość projektów open source sponsorowanych przez firmy. To informacja z wnętrza croit, a nie z opublikowanej mapy drogowej, więc trzymaj ich za słowo.

croit przyglądał się forkowi Crimsona i zapisał, czemu go nie zrobił. Jego ADR mówi, że Crimson „tries to support everything (HDD, alienstore/BlueStore, all pool types)”, i dodaje „Complex code is never fast”4. To opinia croit o Crimsonie, a nie pomiar, i tak bym to traktował. Ten sam ADR odrzucił fork częściowo z powodu LGPL4, a croit osiem dni później wydał własnego demona na licencji LGPL-3.05. Licencja nigdy więc tak naprawdę nie była powodem.

Bezpieczeństwo pamięci: Rust kontra C++

OSD to kod, który trzyma twoje dane. Use-after-free albo przepełnienie bufora w nim to nie awaria, po której się restartuje; to uszkodzone dane na dysku, skopiowane do każdej repliki. To dokładnie ta klasa błędów, którą zachodnie agencje cyberbezpieczeństwa od trzech lat każą branży eliminować już na etapie projektu.

WytyczneKto się pod nimi podpisałCo mówią
The Case for Memory Safe Roadmaps, grudzień 2023CISA, NSA i FBI (USA), ACSC przy ASD (Australia), CCCS (Kanada), NCSC-UK, NCSC-NZ, CERT-NZC i C++ nie są bezpieczne pamięciowo; opublikuj plan odejścia od nich
Product Security Bad Practices v2.0, styczeń 2025CISA i FBInowe linie produktów dla infrastruktury krytycznej w C lub C++ są „dangerous”, gdy dostępne są języki bezpieczne pamięciowo

Wspólne wytyczne mówią to wprost: „Programming languages such as C and C++ are examples of memory unsafe programming languages”6. CISA i FBI idą dalej i nazywają niebezpiecznym „the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)”, gdy można by użyć alternatywy bezpiecznej pamięciowo7. To wytyczne, nie prawo. Ale magazyn danych pod usługami krytycznymi to dokładnie ten kod, w który celują, a oba te projekty to OSD nowej generacji, które będą według nich oceniane.

FlashStore je spełnia. Jest napisany w Rust, a ADR croit podaje powód w jednej linii: „Storage = correctness-critical; memory-safety bugs = data loss”8. Kompilator sprawdza bezpieczeństwo pamięci wszędzie poza kodem oznaczonym unsafe, a ten sam ADR ogranicza go do modułów FFI, DMA, NVMe i sterowników sieciowych, każdy z komentarzem SAFETY8. Policzyłem to w migawce: 1216 linii, w których pada unsafe, na 696 125 linii Rusta, około 0,17%, i siedzą one w crate’ach RDMA, runtime, NVMe i magazynu, gdzie kod rozmawia ze sprzętem. Wspólne wytyczne same wymieniają tę furtkę, zauważając, że Rust „can contain the ‘unsafe’ keyword”6, więc to jest uczciwa miara: nie zero, ale mało, odgrodzone i tam, gdzie można się tego spodziewać. Kod C, który wywołuje, czyli SPDK i DPDK, siedzi za tymi samymi granicami8.

Crimson ich nie spełnia. To nowy OSD napisany w C++ na frameworku C++13, czyli w języku, który wymienione wyżej agencje nazywają niebezpiecznym pamięciowo. Każda jego linia leży poza tym, co kompilator może sprawdzić pod kątem bezpieczeństwa pamięci, a w konfiguracji domyślnej oddaje magazyn BlueStore, który też jest w C++.

CrimsonFlashStore
JęzykC++Rust
Bezpieczeństwo pamięci sprawdzane przez kompilatornietak, poza unsafe
Kod niesprawdzanycałyokoło 0,17% linii, kod sterowników i FFI
Magazyn domyślnyBlueStore, C++FlashStore, Rust
Zgodny z wytycznymi Five Eyes o bezpieczeństwie pamięcinietak

Deweloperzy Cepha nie wybrali C++ beztrosko; Crimson wyrósł z bazy kodu w C++, a przepisywanie w miejscu oznaczało zostanie przy nim. To rozsądna ścieżka inżynierska. Mimo to OSD nowej generacji w Cephie zostaje napisany w jedynym rodzaju języka, od którego agencje pięciu krajów poprosiły nowy kod krytyczny odejść.

Jak każdy dołącza do klastra

To największa praktyczna różnica między nimi i w ogóle nie dotyczy wydajności.

OSD FlashStore dołącza do pul, które już masz. Siedzi w tych samych placement groups obok klasycznych OSD z BlueStore, a dyski wymieniasz po jednym2.

OSD Crimson nie. Nawet w przybliżeniu. Dokumentacja Umbrelli mówi: „Crimson OSD won’t instantiate PGs from non-Crimson pools”1. Kod robi dokładnie to. Gdy monitor prosi OSD Crimson o utworzenie PG w puli bez flagi crimson, ten zapisuje w logu „pool lacks crimson flag” i anuluje tworzenie9.

Które pule każdy obsłużytwoja istniejąca pulabez flagi crimsonklasyczny OSDBlueStoreOSD FlashStorete same PGOSD Crimsontylko pule crimsonPG ignorowanenowa pula, --crimsonautoskalowanie wył.
FlashStore przejmuje PG w twoich istniejących pulach. Crimson obsługuje tylko pule utworzone z flagą crimson, więc potrzebuje nowych pul i skopiowania do nich danych.

Próba z Crimsonem oznacza więc nowe pule, utworzone z flagą crimson, i przeniesienie do nich danych. A te pule przychodzą z warunkami, których pilnuje monitor:

Reguła puli Crimson (Umbrella)Gdzie
Autoskalowanie PG musi być wyłączone przy tworzeniu puliOSDMonitor, tworzenie puli10
Łączenie PG (zmniejszanie pg_num) odrzucaneOSDMonitor, zmiana pg_num11
Dzielenie PG dozwolone tylko, gdy crimson_allow_pg_split ma wartość trueto samo, plus ta opcja12
Pule EC muszą być typu zoptymalizowanego EC, bez wyjątkówOSDMonitor, tworzenie puli13
Brak OMAP na pulach ECto samo13

FlashStore obsługuje klasyczne pule, zarówno replikowane, jak i z erasure coding, a konfiguracji EC, których nie obsługuje, odmawia sam, zamiast odrzucać je na monitorze14. Żadne z tych podejść nie jest złe. Ale jedno pozwala testować na kopii twojego prawdziwego układu pul, a drugie każe ci najpierw zbudować osobny.

Nie ma przejścia dla pul, które już masz

Czy możesz więc zamienić istniejącą pulę w pulę Crimsona i przenosić ją dysk po dysku? Nie.

Dokumentacja Umbrelli mówi, że Crimson jest „aiming to allow seamless migration from existing ceph-osd deployments”1. Aiming, czyli dopiero celuje. Wydanie tego nie robi, a kod pokazuje, czemu nie może. Flaga crimson to opcja ceph osd pool create i nigdzie indziej15. ceph osd pool set nie ma zmiennej crimson, którą dałoby się ustawić na puli, która już istnieje16. A OSD Crimson ignoruje każdy PG w puli bez flagi, jak wyżej9. Nie znalazłem w kodzie ani w dokumentacji żadnego narzędzia do konwersji.

Przeniesienie istniejącej puliCrimson (Umbrella)FlashStore, dziś
Zachowanie tej samej pulinie, potrzebna nowa pulatak
Czy pulę da się oflagować późniejnie, tylko przy tworzeniuniepotrzebne
Jak przenoszą się danekopiujesz je sam, z puli do puliklaster robi backfill
Przekierowanie klientówtak, na nową pulęnie
Po jednym dyskunietak

To robi z przejścia na Crimsona kopiowanie danych, które prowadzisz sam: obrazy RBD da się migrować na żywo „between different pools”17, a dane obiektowe i plikowe wymagają tego, czym twoje aplikacje je kopiują. Potem każdego klienta trzeba skierować na nową pulę.

FlashStore jest zgodny z pulami, które prowadzisz dziś. Przygotowujesz go na dysku, klaster robi backfill przydzielonych mu placement groups, a twoi klienci nigdy nie zauważą, że pula zmieniła się pod nimi, bo się nie zmieniła18. Na tym polega cała różnica między przeróbką, która dołącza do twojego klastra, a taką, która stoi obok niego.

Co każdy mówi monitorowi

Crimson się przedstawia. Przy starcie wysyła osd_type=crimson19, a monitor nie wpuszcza go, dopóki nie jest ustawiona flaga OSDMap allow_crimson, z linią w logu, że crimson-osd „is considered unstable and may result in crashes or data loss”20. Dojście do tego miejsca wymaga czterech poleceń z dokumentacji, z których pierwsze ustawia opcję o nazwie enable_experimental_unrecoverable_data_corrupting_features1.

FlashStore robi odwrotnie. Nie wysyła żadnego osd_type i zgłasza osd_objectstore=bluestore, więc monitor widzi klasyczny OSD i nie zadaje pytań21. Poprzedni artykuł wyjaśnia dlaczego: monitor Umbrelli warunkuje funkcje takie jak nadpisywanie w EC tym, że każdy OSD w puli zgłasza BlueStore21. To dotyczy standardowych monitorów i managerów, które dziś działają na produkcji. We własnych buildach Cepha od croit, gdzie są załatane tak, by go znały, FlashStore zgłasza się jako flashstore21.

Co monitor sprawdza przy starcieOSD Crimsonosd_type=crimsonmon: jest allow_crimson?set-allow-crimsonnie: start odrzucony„crashes or data loss”OSD FlashStorebrak osd_typemon: klasyczny OSDobjectstore=bluestorestartuje, bez flagiobsługuje istniejące pule
Crimsona trzeba wpuścić, z nazwy, za flagą, przed którą ostrzega monitor. FlashStore wchodzi jako klasyczny OSD.

Wolę, kiedy oprogramowanie mówi mi, czym jest. Crimson mówi. Jego sposób jest uczciwy, a nazwa flagi nie zostawia wątpliwości, na co się zgadzasz. Sposób FlashStore to to, co sprawia, że drop-in działa na standardowych monitorach i managerach, jakie ludzie dziś prowadzą, i jest to środek zgodności, a nie stan docelowy. Oba są zamierzone i oba są opisane. Po prostu wiedz, z którym masz do czynienia, kiedy liczysz swoje OSD.

Rdzenie: reaktory kontra przypięte wątki odpytujące

Oba projekty wyrzuciły pule wątków. Dobrze. Oba uruchamiają jeden wątek na rdzeń i dzielą pracę według rdzeni. Różnica tkwi w tym, ile wymagają od operatora i jak mocno trzymają się rdzenia.

CrimsonFlashStore
Jednostka pracyreaktor Seastar na rdzeńprzypięty wątek na rdzeń
Liczba rdzenicrimson_cpu_num, bez domyślnej, trzeba ustawićflashstore_cores, domyślnie 8
Przypięcie do rdzenitylko z crimson_cpu_settak, flashstore_lcores
Zachowanie w bezczynnościodpytuje 200 µs, potem śpiodpytuje, adaptacyjna bezczynność
Pełne busy-pollopcjonalnie, crimson_poll_modetak jest zaprojektowany, z wycofaniem w bezczynności
Zmiana po wdrożeniunieshardy magazynu ustalone przy przygotowaniu

W Crimsonie crimson_cpu_num „does not have a default value”, musi być ustawione przed wdrożeniem OSD i „cannot be changed after deployment”1. Nie przypina wątków, chyba że ustawisz też crimson_cpu_set, co dokumentacja opisuje jako „generally less recommended due to its complexity”1. Reaktor w bezczynności odpytuje przez 200 µs, zanim wróci do snu, a pełny tryb odpytywania istnieje „at the expense of 100% cpu usage”, domyślnie wyłączony22. SeaStore też odrzuca zmianę liczby reaktorów po mkfs23.

FlashStore przypina z założenia, odpytuje z założenia i odpuszcza w bezczynności2425. Liczba shardów jego magazynu jest ustalana przy przygotowaniu magazynu, to samo ograniczenie w innym miejscu26.

W praktyce oba chcą całych rdzeni i oba chcą, żebyś dobrał ich liczbę przed wdrożeniem. Crimson robi z odpytywania wybór, na który się decydujesz. FlashStore robi z niego ustawienie domyślne i pozwala logice bezczynności odzyskać część procesora.

Domyślny magazyn Crimsona to BlueStore

To część, która mnie zaskoczyła. Nie powinna była.

Crimson ma dwa rodzaje magazynów obiektów. Natywne działają wewnątrz reaktora Seastar; nienatywne działają przez „a thread pool proxy” na „alien threads: worker threads not managed by Seastar”1. SeaStore jest tym natywnym. BlueStore jest nienatywny. I to BlueStore jest domyślny.

Dokumentacja mówi o tym bez ogródek. SeaStore „is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages”1. Cephadm wdraża Crimsona z --objectstore bluestore, chyba że powiesz inaczej, a nawet wtedy SeaStore nie da się wdrożyć z --method raw; dostajesz polecenie, by użyć LVM1.

Domyślny magazyn Crimsona kontra FlashStoreCrimson, magazyn domyślnyreaktory Seastarcrimson_cpu_numproxy puli wątkówprzekazanie poza reaktorobce wątki (alien)crimson_bluestore_num_threadsBlueStoreRocksDB na BlueFSFlashStorerdzeń, do którego należy PGprzypięty, odpytujeshard magazynu, ten sam rdzeńbez przekazaniakolejka NVMe, ten sam rdzeńSPDK albo io_uring
Domyślny OSD Crimson wypycha każdą operację magazynu ze swojego reaktora do puli zwykłych wątków z BlueStore. FlashStore trzyma całą ścieżkę na rdzeniu, który jest właścicielem PG.

OSD Crimson wdrożony dziś z ustawieniami domyślnymi to więc front-end Seastar na tym samym BlueStore, RocksDB i BlueFS, których używa klasyczny OSD, z odłożonymi dla nich crimson_bluestore_num_threads wątkami22. Po stronie magazynu nic się nie zmieniło względem klasycznego OSD, nic a nic. To rozsądny sposób na zbudowanie ścieżki migracji. To też powód, dla którego porównywanie wydajności „Crimsona” z FlashStore niewiele znaczy, jeśli nie powiesz, na jakim magazynie chodził Crimson.

Uczciwe porównanie magazynów to SeaStore kontra FlashStore. Temu poświęcona jest reszta tego artykułu.

SeaStore i FlashStore: gdzie żyją metadane

Oba magazyny pisano od początku pod NVMe, oba są podzielone według rdzeni i oba trzymają metadane we własnych B-drzewach zamiast w RocksDB. Ich układy i tak bardzo się różnią.

SeaStore daje każdemu reaktorowi własny korzeń27. Pod nim siedzą drzewo onode, drzewo LBA i drzewo backref. Onode każdego obiektu wskazuje następnie na jego własne B-drzewo OMAP i własne B-drzewo XATTR oraz na ekstenty danych z adresami logicznymi27. Drzewo LBA mapuje te adresy logiczne na fizyczne, więc blok może przenieść się na dysku bez zmiany drzew samego obiektu; dokumentacja nazywa tę pośredniość powodem, dla którego większość ekstentów „can be relocated freely”27.

FlashStore wkłada wszystko do jednego B+drzewa copy-on-write na shard: onode, xattr, OMAP, mapy ekstentów z crc32c na każdy blok 4 KiB, log PG i bitmapę alokatora28. Mapy ekstentów wskazują wprost na bloki fizyczne. Pomiędzy nie ma warstwy logicznej.

Gdzie żyją metadaneSeaStorekorzeńdrzewo onodedrzewo LBAdrzewo backrefonodeOMAPwłasne drzewoXATTRwłasne drzewodaneadres logicznyadres logiczny, potem drzewo LBA, potem dyskFlashStorejedno B+drzewo COW na shardonode, xattrOMAPmapy ekstentów + crc32clog PG, info PGbitmapa alokatoramapa ekstentów, potem dysk
SeaStore: drzewo na każdy rodzaj rzeczy, B-drzewo na obiekt dla OMAP i xattr oraz drzewo LBA, by znaleźć dane. FlashStore: jedno drzewo na shard, wskazujące prosto na dysk.

Oba wybory mają swój powód. Pośredniość SeaStore to właśnie to, co czyni jego czyszczenie tanim: może przenosić żywe dane bez przepisywania każdego drzewa, które na nie wskazuje. FlashStore tego nie potrzebuje, bo nie ma mechanizmu czyszczenia, o czym niżej. Jego ADR wymienia „Per-object omap subtree/root” wśród rozważonych i odrzuconych alternatyw28.

Jedna różnica w sumach kontrolnych, którą warto znać: SeaStore liczy crc32c dla całego ekstentu w pamięci podręcznej29, a FlashStore trzyma jedną na każdy blok 4 KiB28.

Kolejność, w jakiej zatwierdzany jest zapis

Domyślny typ urządzenia SeaStore to SSD, który używa backendu segmentowego30. Na tym backendzie transakcja to rekord dziennika niosący delty, a z danymi mogą stać się dwie rzeczy.

Małe, krótko żyjące ekstenty mogą jechać inline w rekordzie dziennika, i wtedy rekord jest całym zatwierdzeniem27. Większe albo dłużej żyjące ekstenty trafiają do osobnych segmentów poza linią, i wtedy dokumentacja ustala kolejność: „final record with the deltas should be written only once the other blocks are persisted”27. To dwa zapisy po kolei, ten sam kształt co w BlueStore: najpierw dane, potem zatwierdzenie w RocksDB.

FlashStore zapisuje ekstent danych i jednostkę WAL jednocześnie, wkłada crc32c nowych danych do rekordu WAL, żeby odtwarzanie mogło je sprawdzić, i potwierdza zapis, gdy oba są trwałe28. Jedna podróż do urządzenia, niezależnie od rozmiaru.

Kiedy może wyjść zatwierdzenieSeaStoremały ekstentrekord dziennikaekstent inline + deltyack1 podróżSeaStorepoza liniąekstent do segmentu OOLczeka na utrwalenierekord dziennikadeltyack2 podróżeFlashStoredane, świeże 4 KiBjednostka WAL, crc danychack1 podróżczas
SeaStore na domyślnym urządzeniu segmentowym: jedna podróż, gdy ekstent mieści się w rekordzie dziennika, dwie po kolei, gdy idzie poza linię. FlashStore: dane i rekord logu razem.

Ile to znaczy, zależy od obciążenia, dokładnie jak w porównaniu z BlueStore. Przy małej głębokości kolejki, gdy klienci czekają na każdy zapis, druga podróż to realne opóźnienie. Pod obciążeniem grupowanie ukrywa większość tego.

Odzyskiwanie miejsca

Druga połowa projektu opartego na logu to sprzątanie.

SeaStore na backendzie segmentowym pisze zawsze tylko do otwartych segmentów. Zanim segment da się użyć ponownie, jego żywe bloki trzeba przepisać gdzie indziej, a dokument projektowy mówi, ile to kosztuje: „we must ‘clean’ one byte of an existing segment for every byte written at steady state”27. Część tego czyszczenia miesza z bieżącymi zapisami, żeby uniknąć skoków, a resztę robi w tle, gdy dysk jest mniej zajęty27. Rozmiar segmentu to domyślnie 64 MiB31.

SeaStore ma drugi backend dla NVMe, random block manager, o którym dokumentacja mówi, że jest „Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren’t worth the overhead”27. Nie jest domyślny. Wybierasz go przez seastore_main_device_type30.

FlashStore nie ma segment cleanera. Żadnego. Zastąpiony blok wraca do alokatora shardu, gdy minie go checkpoint, a ten następuje co pięć sekund, póki jest nieutrwalona praca, albo wcześniej, gdy pierścień WAL jest w połowie pełny28. Jego dokument projektowy wprost odrzucił układ oparty na logu28. Nie znaczy to, że nie ma pracy w tle: dalej scala i kompaktuje strony drzewa i defragmentuje wolne miejsce, dawkowane pod I/O klientów28. Ale nigdy nie kopiuje twoich żywych danych, żeby zrobić miejsce.

Odzyskiwanie miejscaSeaStore, segmentowy (domyślny)zamknięty segmentbloki żywe + martwecleaner przepisuje żywedo otwartego segmentusegment pustydiscard, ponowne użyciestan ustalony: czyszczenie ok. jednego bajtu na każdy zapisanyFlashStoreblok zastąpionyświeżym ekstentemwstrzymany do checkpointuco 5 s lub WAL w połowie pełnywraca do bitmapyżywe dane nieruszane
Domyślny backend SeaStore płaci za zapisy sekwencyjne mechanizmem czyszczenia, który przenosi żywe dane. FlashStore zwalnia zastąpione bloki w miejscu po checkpoincie i niczego nie przenosi.

Na flashu, który i tak prowadzi własne odśmiecanie wewnątrz dysku, wolałbym, żeby OSD nie uruchamiał drugiego na wierzchu. Własna dokumentacja SeaStore zdaje się zgadzać, sądząc po tym, co mówi o backendzie RBM. Różnica jest taka, że FlashStore uczynił to jedyną opcją, a SeaStore opcją niedomyślną.

Na czym każdy będzie działał

Crimson (Umbrella)FlashStore
HDDtak, z BlueStore; SeaStore ma typ segmentu dla HDDnie
NVMetaktak, jedyny cel
Ochrona przed utratą zasilaniabrak podanego wymoguwymagana, mkfs bez niej odmawia
Układ urządzeniaLVM dla SeaStore przez cephadmcałe przestrzenie nazw, bez partycji
Protokół sieciowytylko msgr2tylko msgr2
Backend I/Odomyślnie io_uring; linux-aio, epolldomyślnie SPDK, warstwa io_uring
Pulenowe pule z flagą crimsonistniejące klasyczne pule
Przenoszenie istniejących danychskopiuj je do nowej pulibackfill do tej samej puli
Wdrażany przezcephadm, --osd-type crimsonpakiety, croit-flashstore-tool
Zalecany buildnajnowszy build CI z mainmigawki wydań

Crimson zachowuje szerokość. Dokumentacja mówi, że SeaStore „may not be suitable for traditional HDDs”, ale że „Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs”1, a dokument projektowy SeaStore nadal wymienia zainteresowanie dyskami HDD27. Jego messenger wprost odrzuca v1, „ProtocolV1 is no longer supported”32, ten sam wybór, którego dokonał FlashStore33. Jego dokumentacja zaleca „one of the latest available builds, as Crimson evolves rapidly”, co w praktyce oznacza obrazy CI z main1.

FlashStore zawęża wszystko do NVMe z ochroną przed utratą zasilania i z tego bierze swoją prostotę34. To dokładnie ten kompromis, który opisuje ADR croit, tylko z drugiej strony.

Dwie odpowiedzi na to samo pytanie

Oba projekty wyszły od tej samej obserwacji: klasyczny OSD marnuje szybki sprzęt. Dały bardzo różne odpowiedzi.

Odpowiedź Crimsona to odpowiedź społeczności. Przepisać OSD w miejscu, wewnątrz Cepha, utrzymać działanie każdego starego magazynu i każdego starego dysku, póki nowy magazyn dojrzewa, i pozwolić wszystkim oglądać pracę na bieżąco. To jest wolne i to widać. W Umbrelli domyślny OSD Crimson dalej chodzi na BlueStore przez pulę wątków, jego własne pule są odgrodzone od twoich, a włączenie go oznacza wpisanie słów „unrecoverable data corrupting”. Ale należy do każdego, kto prowadzi Cepha, i nikt ci go nie odbierze.

Odpowiedź FlashStore to odpowiedź dostawcy. Wybrać węższy cel, NVMe z ochroną przed utratą zasilania, wyrzucić wszystko, co istniało tylko dla innego sprzętu, i wydać magazyn, który wchodzi do pul, które już masz. To jest szybsze i to też widać. Ale pochodzi od jednej firmy, jako migawki tylko do odczytu do pierwszego wydania produkcyjnego, a na standardowym klastrze wchodzi, mówiąc monitorowi, że jest BlueStore.

Pracuję dla tej firmy, więc to, co dalej, oceniaj z tą świadomością. croit postawił na właściwą kartę technicznie dla klastrów all-flash. Crimson postawił na właściwą kartę dla Cepha jako projektu. To nie jest to samo. Projekt, który służy wszystkim, nie może porzucić HDD. Dostawca może, i powinien, jeśli to właśnie kupują jego klienci.

Czego bym nie robił, to wybierać między nimi na podstawie wykresu benchmarków od którejkolwiek strony. Liczby Crimsona zależą od tego, który z jego trzech magazynów działał; liczby FlashStore pochodzą z własnego laboratorium croit. Oba projekty publikują swoje dokumenty projektowe. Przeczytaj je, a potem postaw oba na dyskach, które naprawdę byś wdrożył, i puść na nich własne obciążenie. Ten, który dalej robi to, co mówią jego dokumenty, kiedy na szali są twoje dane, jest tym, na który warto czekać.


  1. Ceph Umbrella, Crimson (Tech Preview) — „the next generation ceph-osd”, „not suitable for production use”, wymagane flagi, crimson_cpu_num, backendy natywne i nienatywne, SeaStore „not the default”, brak obsługi --method raw. Źródło: doc/crimson/crimson.rst w v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. croit ceph-rust, README w migawce 48f9014 — deklaracja drop-in, wersja zapoznawcza od 9 listopada 2026, GA w I kwartale 2027, „not yet recommended for production data”, „no issue tracker, no contribution workflow”. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  3. Seastar — framework C++, na którym zbudowany jest Crimson. ↩︎ ↩︎

  4. ceph-rust ADR 0003, green-field, bez forka Crimsona — „Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -> complexity. Complex code is never fast.”; fork odrzucony z powodu „C++, complexity, LGPL”. ↩︎ ↩︎ ↩︎

  5. ceph-rust ADR 0164, licencje — z datą 2026-10-17; demon LGPL-3.0-only. ↩︎

  6. CISA, NSA, FBI, ASD’s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (grudzień 2023) — „Programming languages such as C and C++ are examples of memory unsafe programming languages”; Rust „can contain the ‘unsafe’ keyword”. ↩︎ ↩︎

  7. CISA i FBI: Product Security Bad Practices, v2.0 (styczeń 2025) — nowe linie produktów dla infrastruktury krytycznej „in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous”. ↩︎

  8. ceph-rust ADR 0002, język: Rust — „Storage = correctness-critical; memory-safety bugs = data loss”; unsafe „confined to ffi/dma/nvme/net-driver modules with SAFETY comments”; SPDK i DPDK przez FFI. ↩︎ ↩︎ ↩︎

  9. Ceph v21.2.0, crimson/osd/shard_services.cc — „ignoring pgid {}, pool lacks crimson flag”. ↩︎ ↩︎

  10. Ceph v21.2.0, OSDMonitor.cc, tworzenie puli crimson — „crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to ‘off’”. ↩︎

  11. Ceph v21.2.0, OSDMonitor.cc, zmiany pg_num w crimson — „pg merging is not yet supported in Crimson”. ↩︎

  12. Ceph v21.2.0, crimson_allow_pg_split — „Allow Crimson pools to increase their PG count (split)”, domyślnie true. ↩︎

  13. Ceph v21.2.0, OSDMonitor.cc, pule EC dla Crimsona — „For Crimson - only EC-optimized pools are supported”, „Omap is not supported by EC pools in crimson”. ↩︎ ↩︎

  14. ceph-rust docs, pule z erasure coding — dawne i zoptymalizowane EC obsługiwane domyślnie; nieobsługiwanym pulom OSD odmawia. ↩︎

  15. Ceph v21.2.0, MonCommands.h, osd pool create — name=crimson,type=CephBool,req=false, jedyne miejsce, gdzie flaga jest przyjmowana. ↩︎

  16. Ceph v21.2.0, MonCommands.h, osd pool set — zmienne do ustawienia; crimson nie ma wśród nich. ↩︎

  17. Ceph Umbrella, RBD image live-migration — „RBD images can be live-migrated between different pools”. ↩︎

  18. ceph-rust docs, migracja z klasycznego — dodaj albo zwolnij dysk, przygotuj FlashStore, pozwól backfillowi przenieść dane. ↩︎

  19. Ceph v21.2.0, crimson/osd/osd.cc — m->metadata["osd_type"] = "crimson". ↩︎

  20. Ceph v21.2.0, OSDMonitor.cc, kontrola przy starcie — „Disallowing boot of crimson-osd without allow_crimson OSDMap flag”, „considered unstable and may result in crashes or data loss”. ↩︎

  21. ceph-rust ADR 0019, zgłaszanie osd_objectstore=bluestore — brak klucza osd_type, bramki funkcji BlueStore w monitorze. ↩︎ ↩︎ ↩︎

  22. Ceph v21.2.0, crimson.yaml.in — crimson_reactor_idle_poll_time_us 200, crimson_poll_mode „at the expense of 100% cpu usage” domyślnie false, crimson_bluestore_num_threads. ↩︎ ↩︎

  23. Ceph v21.2.0, seastore_require_partition_count_match_reactor_count — „disable osd shards changes upon restart”, domyślnie true. ↩︎

  24. ceph-rust ADR 0006, runtime z wątkiem na rdzeń — jeden przypięty, aktywnie odpytujący wątek na rdzeń, PG należące do jednego rdzenia. ↩︎

  25. ceph-rust ADR 0004, I/O magazynu — SPDK i warstwa io_uring, bezczynność taktowana przez urządzenie. ↩︎

  26. ceph-rust docs, opis konfiguracji — flashstore_cores domyślnie 8, flashstore_lcores, flashstore_store_shards ustalane przy przygotowaniu. ↩︎

  27. Ceph Umbrella, dokumentacja deweloperska SeaStore — korzeń na reaktor, drzewa onode, OMAP, LBA i backref, „clean” jeden bajt na każdy zapisany, kolejność rekordu dziennika, backend RBM. Źródło: doc/dev/crimson/seastore.rst w v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  28. ceph-rust ADR 0021, silnik magazynu — jedno B+drzewo COW na shard, równoległe zatwierdzanie, checkpointy, utrzymanie w tle, odrzucone alternatywy, w tym układ oparty na logu i „Per-object omap subtree/root”. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  29. Ceph v21.2.0, crimson/os/seastore/cached_extent.h — „Returns crc32c of buffer”. ↩︎

  30. Ceph v21.2.0, seastore_main_device_type — „The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)”, domyślnie SSD. ↩︎ ↩︎

  31. Ceph v21.2.0, seastore_segment_size — domyślnie 64 MiB. ↩︎

  32. Ceph v21.2.0, crimson/net/SocketMessenger.cc — „ProtocolV1 is no longer supported”. ↩︎

  33. ceph-rust ADR 0168, poza zakresem — msgr1 wypada, tylko v2. ↩︎

  34. ceph-rust docs, wymagania sprzętowe i hosta — PLP wymagane, całe przestrzenie nazw. ↩︎