Ujawniam na wstępie: pracuję dla croit, firmy, która to napisała. Wszystko poniżej jest wyczytane z opublikowanego kodu i dokumentacji obu projektów, podlinkowanych na dole strony, a tam, gdzie dokumentacja croit nie zgadza się z kodem croit, mówię o tym.

OSD Cepha przepisany od zera

croit opublikował ceph-rust, OSD Cepha napisany od zera w Rust, z własnym magazynem obiektów o nazwie FlashStore w miejsce BlueStore1. Wszedł w publiczną wersję zapoznawczą 9 listopada 2026, a ogólna dostępność planowana jest na pierwszy kwartał 20271. To nie jest fork. Zasada projektu jest taka, że kod C++ Cepha czyta się jako punkt odniesienia, opisuje jako specyfikację własnymi słowami croit, a potem implementuje ze specyfikacji2.

Deklaracja, która liczy się dla każdego, kto prowadzi Cepha, to ta o drop-in. Twoje monitory, twoje managery, CLI ceph i twoi klienci zostają, jak są. OSD FlashStore dołącza do tych samych pul i tych samych placement groups co klasyczne OSD, które już tam są, a dyski wymieniasz po jednym1.

Co się wymieniaceph-mon, ceph-mgrklasyczne 21.2.0kliencilibrados, librbd, krbdjedna pula, te same placement groupsceph-osdBlueStoreRocksDB na BlueFSC++, od Cephacroit-flashstore-osdFlashStoreB+drzewo COW + WALRust, od croit
Zmienia się tylko OSD. Monitory, managery i klienci zostają klasycznym Cephem, a jedna placement group może trzymać kopię na każdym z rodzajów.

Pytanie dla operatora jest więc praktyczne. Jeśli zamienisz OSD z BlueStore na OSD z FlashStore, co jest pod spodem inaczej? Nie w abstrakcji i nie względem jakiegoś BlueStore z prezentacji konferencyjnej sprzed lat. Względem BlueStore, który naprawdę dziś prowadzisz, jeśli jesteś na Umbrelli, Ceph 21.2.0, czyli wydaniu, na którym FlashStore jest budowany i testowany1.

To jest więc porównanie tutaj, i tylko to. BlueStore z Umbrelli tak, jak opisują go jego kod i dokumentacja, kontra FlashStore tak, jak opisują go jego kod i zapisy decyzji.

Dotyczy każdego, kto ma klastry Cepha na NVMe, i każdego, kto przyjrzał się, ile kosztuje go OSD w rdzeniach. Klastrów HDD nie dotyczy wcale, a powód wyjdzie niżej.

Co jest w repozytorium

Repozytorium to migawka tylko do odczytu prywatnego drzewa rozwojowego croit. Bez systemu zgłoszeń, bez pull requestów; aktualizacje przychodzą jako nowe commity z migawką1. To etap wersji zapoznawczej, który służy zebraniu opinii społeczności, podczas gdy croit wewnętrznie przeprowadza swoje produkcyjne przypadki testowe, zanim uzna go za bezpieczny w użyciu. Otwarty rozwój przyjdzie po pierwszym wydaniu produkcyjnym, jak w większości projektów open source sponsorowanych przez firmy. Ta migawka ma datę 10 listopada 2026 i zawiera około 700 000 linii Rusta i ponad 450 zapisów decyzji architektonicznych, ADR, czyli krótkich dokumentów zapisujących, dlaczego podjęto każdą decyzję projektową.

ADR to najprzydatniejsza część do takiego porównania. Są bezpośrednie, zawierają pomiary i zapisują, co wypróbowano i wyrzucono, a nie tylko to, co zostało.

KomponentCo zastępujeWersja zapoznawczaGA (planowane)
FlashStore OSDceph-osd + BlueStorelis 2026I kw. 2027
librustyradoslibradoslis 2026I kw. 2027
librustyrbdlibrbdlis 2026I kw. 2027
Transport RDMA (RoCEv2)nic w Umbrellilis 2026I kw. 2027
CephFS2, RGW w RustMDS, RGWI kw. 2027II kw. 2027
ceph-mon, ceph-mgrniezastępowanend.nd.

Licencje warto znać, zanim cokolwiek na tym zbudujesz. Demon i narzędzia są na LGPL-3.0-only, biblioteki klienckie na MPL-2.0, a dokumentacja na CC-BY-SA-4.03. Biblioteki klienckie poszły na MPL, żeby program w Rust mógł linkować je statycznie bez obowiązku ponownego linkowania, który niesie LGPL, i to wybór przemyślany i jako taki zapisany3.

Wersja zapoznawcza znaczy to, co mówi. Własne README croit mówi, że służy do testów i oceny i jest „not yet recommended for production data”1. Ja też nie wkładałbym na nią jeszcze danych klientów i nic w dalszej części tego artykułu tego nie zmienia.

Dwa magazyny obok siebie

OSD ma dwie połowy. Górna mówi protokołem Cepha, jest właścicielem placement groups, prowadzi peering, odtwarzanie i scrubbing. Dolna, magazyn obiektów, zamienia „zapisz te bajty do tego obiektu” na bloki na dysku i obiecuje, że przetrwają zanik zasilania.

BlueStore to dolna połowa Umbrelli. Jego dokumentacja mówi, że „reads and writes to the devices directly in a ‘raw’ fashion”4 i że używa „raw block devices or partitions”5. Dane obiektów idą prosto na urządzenie blokowe. Wszystko inne, metadane obiektów, OMAP i jego własna księgowość, trafia do wbudowanej bazy klucz/wartość RocksDB, a RocksDB stoi na BlueFS, małym systemie plików, który BlueStore nosi specjalnie dla niej56.

FlashStore wyrzuca to wszystko. Jedno B+drzewo copy-on-write na shard magazynu trzyma całość: kolekcje, metadane obiektów, rozszerzone atrybuty, mapy ekstentów, OMAP, log PG, liczniki referencji, a nawet własną bitmapę alokatora7. Obok leżą pierścień dziennika redo write-ahead i obszar danych. Nie ma RocksDB, nie ma BlueFS i nie ma drugiej bazy danych do strojenia.

Dwa stosy pod jednym OSDBlueStore z UmbrelliFlashStoreceph-osd8 shardów op × 2 wątkiwarstwa obiektów BlueStorealokator hybriddane obiektówsurowy blok, aioRocksDBonode, omap, odroczoneBlueFSblock albo block.dbwarstwa blokowa jądraflush przed zatwierdzeniemHDD, SSD albo NVMe, dowolna partycjacroit-flashstore-osd1 przypięty wątek na rdzeńshard magazynu na rdzeńwłasny alokator, bez wspólnych blokaddane obiektówświeże ekstenty 4 KiBB+drzewo COWmeta, omap, log PGpierścień WALlog redo, na shardSPDK (vfio) albo io_uringbez flush na gorącej ścieżceNVMe z PLP, 4 KiB, cała przestrzeń nazw
BlueStore z Umbrelli rozdziela dane i metadane na górze, a metadane przepuszcza przez RocksDB i BlueFS. FlashStore dzieli zamiast tego według rdzeni, a wewnątrz każdego shardu jedno drzewo trzyma wszystko, co nie jest danymi obiektów.

Drugi duży podział to sam dysk. BlueStore idzie przez warstwę blokową jądra do tego, co mu dasz. FlashStore rozmawia z NVMe albo przez SPDK, sterownik w przestrzeni użytkownika, który zabiera urządzenie jądru przez vfio, albo przez jądro z io_uring89. SPDK to domyślny backend. Warstwa io_uring działa tam, gdzie vfio nie działa, i dlatego na niej skończyłem w buildzie na Proxmoxie.

Gdzie żyją metadane

Zacznij tutaj. Większość reszty z tego wynika.

BlueStore z UmbrelliFlashStore
Metadane obiektówklucze RocksDBB+drzewo COW na shard
OMAPklucze RocksDBdomyślnie to samo B+drzewo; LSM albo RocksDB opcjonalnie przy przygotowaniu
Log PGklucze RocksDBto samo B+drzewo
Stan alokatoraalokator hybrid, freelist w RocksDBbitmapa na shard, w drzewie
Urządzenie na metadaneopcjonalne block.db i block.walbrak, to samo NVMe
Sumy kontrolne danychdomyślnie crc32c na 4 KiBcrc32c na 4 KiB, w mapie ekstentów
Liczba magazynów na OSDjedenjeden na rdzeń

Ustawienia domyślne po stronie BlueStore pochodzą wprost z pliku opcji Umbrelli: RocksDB jako backend klucz/wartość, alokator hybrid, sumy crc32c61011. Sumowanie kontrolne metadanych w BlueStore „is handled by RocksDB and uses the crc32c algorithm”, a dane kosztują go „a checksum value (usually 4 bytes) for every 4 KB block of data”4. W sumach kontrolnych oba magazyny się zgadzają. FlashStore trzyma crc32c na każdy blok 4 KiB w mapie ekstentów i sprawdza ją przy odczycie7.

Rozchodzą się w strukturze. RocksDB w BlueStore to drzewo LSM, czyli zapisuje, a potem kompaktuje w tle, przepisując dane, które już raz zapisało. Drzewo FlashStore aktualizowane jest metodą copy-on-write i zrzucane na dysk w checkpointach: co pięć sekund, póki coś jest nieutrwalone, albo gdy pierścień WAL zapełni się do połowy7.

Kolejna konsekwencja: FlashStore nie ma szybkiego urządzenia na metadane, bo go nie potrzebuje. Na Umbrelli możesz położyć block.db na szybszym dysku, a BlueStore umieści „as much metadata as it can on the DB device”4. FlashStore zakłada, że każdy dysk to już szybkie NVMe, i trzyma metadane obok danych. To uczciwe założenie dla sprzętu, w który celuje. To też dokładnie powód, dla którego nie ma tu żadnej historii z HDD.

OMAP to jedyne miejsce, gdzie FlashStore się asekuruje. Domyślne jest drzewo, ale magazyn można przygotować z własnym silnikiem LSM croit albo z RocksDB, za tym samym interfejsem12. Silnik OMAP wybiera się przy tworzeniu magazynu. Nie przełączasz go na działającym OSD.

Jeden zapis 4 KiB, na dwa sposoby

Oto różnica, którą byś poczuł, jeśli w ogóle jakąś poczujesz.

Weź zapis 4 KiB do obiektu na Umbrelli z ustawieniami domyślnymi na flashu. bluestore_min_alloc_size_ssd to 4 KiB, a bluestore_prefer_deferred_size_ssd to 0, więc cały zapis 4 KiB idzie do nowo przydzielonych 4 KiB1314. BlueStore wysyła ten zapis danych, a transakcja czeka w STATE_AIO_WAIT, aż dysk powie, że skończył15. Dopiero wtedy metadane trafiają do kolejki RocksDB, a wątek synchronizacji RocksDB opróżnia urządzenie blokowe, zanim zatwierdzi16. Potem klient dostaje potwierdzenie.

Dwie podróże do urządzenia, jedna po drugiej.

FlashStore wysyła obie naraz. Dane idą do świeżego ekstentu 4 KiB, a jednostka WAL do pierścienia logu, równolegle. Rekord WAL niesie crc32c każdego nowego bloku danych, więc odtwarzanie po awarii potrafi stwierdzić, czy dane dotarły7. Potwierdzenie wychodzi, w kolejności logu, gdy dane, jednostka WAL i każda wcześniejsza transakcja są trwałe7. Własne uzasadnienie tego projektu w ADR brzmi „parallel commit gives one device latency per ack”7.

Jeden zapis 4 KiB, na tle zegaraBlueStorezapis danychnowe 4 KiB, aio, czekaniezatwierdzenie RocksDBlog BlueFS + flushack2 podróżeFlashStoredane, świeże 4 KiBjednostka WAL, crc danychack1 podróżczas
Ten sam zapis 4 KiB. BlueStore czeka na dane, zanim zatwierdzi RocksDB; FlashStore zapisuje dane i ich rekord logu razem.

Dwie rzeczy trzymają to w uczciwych granicach. Na zajętym OSD oba magazyny grupują zatwierdzenia, więc różnica pod obciążeniem jest mniejsza niż jedno opóźnienie urządzenia na zapis. A pojedyncza podróż do NVMe to kilkadziesiąt mikrosekund. Czy to zauważysz, zależy od tego, czy twoi klienci czekają na opóźnienie przy małej głębokości kolejki, jak często bazy danych na RBD, czy pchają przepustowość, gdzie to się rozmywa.

croit próbował pójść dalej, do jednego zapisu na urządzenie na transakcję, w stylu ZFS. Zbudowali to, zmierzyli i wyrzucili: zysk pojawiał się tylko przy głębokości kolejki 1, a złożoność nie była tego warta17. Cenię to bardziej niż jakikolwiek wykres benchmarków. To zapis decyzji, który publicznie mówi „zbudowaliśmy to i nie było warto”.

Zapis poniżej 4 KiB

Mniejszy zapis to miejsce, gdzie oba naprawdę się rozchodzą.

Powiedzmy, że klient nadpisuje 512 bajtów w środku bloku, który już zawiera dane. Umbrella domyślnie wciąż używa swojej pierwotnej ścieżki zapisu; bluestore_write_v2, przeróbka, jest dostarczany wyłączony18. Na tej ścieżce zapis mniejszy niż min_alloc_size do bloku, który jest już przydzielony, staje się zapisem odroczonym19. Dane jadą w transakcji RocksDB jako klucz z prefiksem L i trafiają na swoje właściwe miejsce dopiero wtedy, gdy klient usłyszał już, że są bezpieczne2021.

Zapis poniżej 4 KiBBlueStore, odroczony1 odczyt resztydopełnienie do 4 KiB2 dane do klucza Llog RocksDB3 zatwierdzenie, flushklient potwierdzony4 zapis w miejscute same 4 KiB znowu5 usunięcie klucza Lkolejne zatwierdzenieFlashStorecałe świeże 4 KiB + jednostka WALrównolegle, nigdy w miejscuklient potwierdzonystary zwalniany potem
Odroczona ścieżka Umbrelli dla zapisu poniżej 4 KiB do zajętego bloku, kontra świeży ekstent we FlashStore. Różowy oznacza każdy zapis samych danych.

Dane trafiają więc na dysk dwa razy. Dokumentacja Umbrelli tego nie ukrywa: „writes smaller than min_alloc_size must first pass through the BlueStore WAL”4.

FlashStore nigdy nie nadpisuje żywych danych w miejscu, i kropka7. Obiekty do 2 KiB idą dalej i żyją w całości w drzewie, więc jeden zapis WAL to całe zatwierdzenie7.

To oznacza też, że FlashStore nie ma kolejki zapisów odroczonych do opróżniania, odtwarzania odroczonych zapisów przy montowaniu ani kluczy L do sprzątania. Płaci za to gdzie indziej: zwolnione bloki są wstrzymywane do następnego checkpointu, więc zwalnianie miejsca opóźnia się o maksymalnie jeden interwał checkpointu7.

Wątki kontra rdzenie

Górna połowa OSD różni się tak samo mocno.

ceph-osd z Umbrelli to klasyczny serwer wielowątkowy, a każda liczba w lewej połowie diagramu poniżej to jedno z jego ustawień domyślnych na flashu22. Operacja po drodze przechodzi przez kilka tych pul. Dzielą one stan za blokadami.

FlashStore trzyma całą podróż na jednym przypiętym, odpytującym rdzeniu, od karty sieciowej do dysku i z powrotem23. Każda placement group należy do dokładnie jednego rdzenia, tak samo jak wszystko, czego PG dotyka: „no locks, no atomics, no shared mutable state”24. Ruch między rdzeniami idzie przez pierścienie z jednym producentem, a wraz z nim przechodzi własność wiadomości.

Wątki kontra rdzenieceph-osd z Umbrelli3 wątki messengerakolejka operacji mClock8 shardów × 2 wątkibstore_kv_sync, bstore_kv_finalRocksDB, BlueFScroit-flashstore-osdrdzeń 0rdzeń 1rdzeń nkolejka NICmsgr2, PGshard magazynukolejka NVMekolejka NICmsgr2, PGshard magazynukolejka NVMekolejka NICmsgr2, PGshard magazynukolejka NVMepierścienie SPSC między rdzeniami, bez blokad
Umbrella przekazuje operację między pulami wątków. FlashStore trzyma ją na jednym rdzeniu od sieci do dysku i przechodzi między rdzeniami tylko przez pierścienie.

Magazyn idzie za tym samym podziałem. flashstore_store_shards domyślnie daje jeden shard na rdzeń, każdy z własnym pierścieniem WAL, drzewem i alokatorem, a PG żyje w dokładnie jednym shardzie257. BlueStore to jeden magazyn na OSD z jedną RocksDB.

Jest cena i ADR ją podaje: „idle cores burn CPU (accepted; optional adaptive sleep later)”23. Późniejsze prace dodały adaptacyjną bezczynność i oczekiwanie taktowane urządzeniem, żeby rdzeń nie kręcił się przez całe opóźnienie urządzenia przy małej głębokości kolejki8, ale zasada zostaje, a flashstore_cores domyślnie wynosi 8, gdy nie przypniesz zakresu25. FlashStore dajesz całe rdzenie.

Na dedykowanym węźle storage to w porządku. Na maszynie hiperkonwergentnej, gdzie te same rdzenie uruchamiają też VM, to pierwszy rachunek do zrobienia.

Dysk musi dotrzymać obietnicy

BlueStore jest napisany tak, by radzić sobie z dyskiem, który kłamie, kiedy dane są bezpieczne. FlashStore w ogóle odmawia pracy z takim dyskiem.

BlueStore z UmbrelliFlashStore
Co czyni zapis trwałymopróżnienie urządzenia blokowego przed zatwierdzeniem RocksDBzakończenie zapisu na dysku z PLP
Opróżnianie na gorącej ścieżcetaknie
Dysk z ulotną pamięcią podręczną zapisuużywany i opróżnianymkfs go odrzuca; kontrola hosta FAIL
Obejścieniepotrzebnetylko do labu: bit FUA na każdym trwałym zapisie

Strona BlueStore to cytowany już wątek synchronizacji kv16. Strona FlashStore to ADR o trwałości i kontrola hosta: PLP oznacza, że dysk zgłasza brak ulotnej pamięci podręcznej zapisu, więc zakończenie oznacza, że dane są na stabilnym nośniku2426.

To właściwa decyzja dla tego celu, ale miej jasność, co wyklucza, bo prawie każde konsumenckie NVMe ma ulotną pamięć podręczną i nie ma PLP, podobnie jak spora część sprzętu „do centrów danych” sprzedawanego na cenę. Bez PLP nie ma FlashStore. Cokolwiek innego o nim sądzisz.

Na czym FlashStore nie ruszy

Postaw wymagania obok siebie, a rynek docelowy staje się oczywisty.

BlueStore z UmbrelliFlashStore
NośnikiHDD, SSD, NVMetylko NVMe
Ochrona przed utratą zasilanianiewymaganawymagana, mkfs bez niej odmawia
Format sektora512 B albo 4 KiBoczekiwane 4 KiB, w przeciwnym razie ostrzeżenie
Układpartycje, LVM przez ceph-volumecałe przestrzenie nazw, bez partycji
Osobne urządzenie DB/WALobsługiwanenie istnieje
Szyfrowanie danych w spoczynku--dmcrypt przez ceph-volumepoza zakresem
Klienci msgr1domyślnie nasłuchujeodrzuceni, tylko msgr2
Cache tieringprzestarzały, wciąż obecnyodrzucony, pula przechodzi w tryb pasywny
Wymagania co do jądradowolne obsługiwaneio_uring: Linux 5.19+, albo 5.14 z RHEL 9 z backportami; hugepages dla SPDK

Kolumna BlueStore pochodzi od samej Umbrelli: ceph-volume szyfruje woluminy logiczne „using dmcrypt by specifying the --dmcrypt flag”27, a ms_bind_msgr1 domyślnie wciąż ma wartość true28. Kolumna FlashStore pochodzi z jego opisu sprzętu i decyzji o zakresie2629.

Dwie z nich zasługują na więcej niż wiersz w tabeli.

Szyfrowanie w spoczynku wypada, z podanym powodem: SPDK omija dm-crypt, a szyfrowania wewnątrz magazynu nie planuje się. Odpowiedź ADR to samoszyfrujące dyski NVMe albo szyfrowanie powyżej magazynu, u klienta albo w RGW29. Jeśli masz wymóg zgodności, który wymienia dm-crypt na OSD, dziś to przeszkoda nie do przejścia.

msgr1 wypada jako zaakceptowane ryzyko. Klienci jądra starsi niż 5.11 i librados sprzed Nautilusa w ogóle nie dogadają się z OSD FlashStore29. Większość środowisk ma to dawno za sobą. Niektóre nie, i dowiaduje się o tym stara, zapomniana skrzynka w kącie.

Mówi monitorowi, że jest BlueStore

To jest to, na czym ludzie się złapią.

Domyślnie OSD FlashStore startuje i mówi monitorom osd_objectstore=bluestore30. Nie ukrywa się. Dodaje obok własne klucze flashstore_version i flashstore_build30. Powodem jest zgodność: monitor Umbrelli pozwala na funkcje takie jak nadpisywanie w EC na puli tylko wtedy, gdy każdy OSD w niej zgłasza BlueStore, a moduły managera, jak Prometheus i telemetria, rozgałęziają się na tej samej wartości30. ADR mówi jasno, że bluestore jest tu „a compat value for mon/mgr feature gates, not a product name”30.

Jest przełącznik, flashstore_report_objectstore=flashstore, który zmienia nazwę wszędzie: w metadanych, kluczach bluestore_bdev_*, loggerze wydajności, poleceniach tell i kodach zdrowia BLUESTORE_*. Wymaga załatanych monitorów, a domyślnie zostaje bluestore2530. Własne buildy Cepha od croit mają te łatki, więc na nich FlashStore zgłasza się jako flashstore i nic z tego, co dalej, nie ma zastosowania. Nazwa bluestore jest tam dla standardowych monitorów i managerów, które ludzie dziś prowadzą na produkcji.

Co słyszy monitorOSD FlashStoreustawienie domyślneosd_objectstore=bluestoreflashstore_version=…mon, mgr: BlueStorenadpisywanie EC dozwoloneOSD FlashStorereport=flashstoreosd_objectstore=flashstoreflashstore_bdev_*klasyczny mon: nie BlueStorewymaga załatanego monW obu wierszach magazyn jest ten sam. Zmienia się tylko nazwa, którą podaje.
Ten sam magazyn, dwie nazwy. Ustawienie domyślne zadowala monitory i managery Umbrelli, kosztem tego, że OSD FlashStore liczą się jako BlueStore, gdziekolwiek spojrzysz.

Rozumiem dlaczego. Bramka w monitorze oparta na napisie to projekt Cepha, nie croit, a odmowa powiedzenia bluestore wyłączyłaby funkcje na niezałatanym klastrze. To jest pułapka na standardowym klastrze. Każdy dashboard, każdy skrypt inwentaryzacyjny i każde ceph osd count-metadata osd_objectstore, które uruchomisz, policzy OSD FlashStore jako BlueStore. W trakcie migracji, kiedy najbardziej potrzebujesz wiedzieć, który OSD jest który, oczywiste pole nie powie ci nic.

Sprawdzaj więc flashstore_version w ceph osd metadata, a nie osd_objectstore. Wpisz to do runbooka, zanim wejdzie pierwszy OSD FlashStore.

Te same pokrętła, inne zachowanie

FlashStore czyta wiele istniejących opcji Cepha i to w większości dobra wiadomość. Nie każda opcja znaczy to, co znaczyła na Umbrelli, a te, które nie znaczą, to miejsca, gdzie dostrojony klaster dostaje niespodziankę.

OpcjaBlueStore z UmbrelliFlashStore
compression_mode, na pulęnone, passive, aggressive, forcete same cztery, to samo znaczenie
compression_algorithmdomyślnie snappysnappy, zlib, zstd, lz4; poziom zstd ustalony na 1
bluestore_compression_max_blob_size_ssd64 KiBkawałki 64 KiB
osd_memory_target4 GiB, cache autostrojone na żywoczytane raz przy starcie, wymiaruje cache magazynu, bez autostrojenia
osd_op_queuemclock_schedulerprzyjmowane i ignorowane
osd_mclock_*aktywneprzyjmowane i ignorowane
csum_typedomyślnie crc32c, dostępne warianty xxhashstałe crc32c; każda inna wartość zapisuje ostrzeżenie31

Kompresja się zgadza. Domyślny tryb BlueStore to none, a domyślny algorytm to snappy3233; FlashStore implementuje te same cztery tryby, te same opcje pul i ten sam podział na kawałki 64 KiB, a ADR zauważa, że kawałek 64 KiB ściśliwy w 50% zajmuje na obu tyle samo miejsca34. Nie zawsze miała tu być. Plik ADR nadal nazywa się no-store-compression, od pierwotnej decyzji, odwróconej, gdy croit ustalił wymóg pełnej zgodności funkcjonalnej z klasycznym Cephem34.

Pamięć zgodna nie jest. Umbrella w trakcie pracy autostroi cache BlueStore względem osd_memory_target3536. FlashStore czyta tę wartość raz przy starcie, dzieli ją między shardy, a zmiana zrobiona przez ceph config set działa od następnego restartu37. Nie trzyma też procesu w tych granicach: hugepages, bufory sieciowe i stan PG leżą poza nimi37. osd_memory_target wymiaruje więc cache FlashStore. Nie ogranicza pamięci OSD tak, jak możesz być przyzwyczajony.

A mClock jest ignorowany całkowicie37. Nie przytłumiony. Zignorowany. Nie ma harmonogramu operacji do skonfigurowania, bo każdy rdzeń jest właścicielem swoich PG. Odtwarzanie i backfill hamują zamiast tego osd_max_backfills, osd_recovery_max_active i opcje uśpienia37. Jeśli na Umbrelli stroiłeś profile mClock pod przebudowę, te ustawienia nic nie robią na OSD FlashStore i nic cię nie ostrzeże.

Nie ma konwersji, w żadną stronę

Nie da się przekonwertować OSD z BlueStore na OSD z FlashStore. Przewodnik migracji croit mówi to wprost: „There is no in-place conversion of a BlueStore device”38. Proponuje zamiast tego dwie kolejności, i obie to backfill38:

Dodaj, potem usuńZwolnij, potem dodaj
Potrzebujewolnego gniazda NVMeniczego zapasowego
Krok 1przygotuj FlashStore na nowym dyskuceph osd out, poczekaj na stan clean
Krok 2poczekaj na active+cleanzatrzymaj i usuń (purge) klasyczny OSD
Krok 3usuń klasyczny OSDprzygotuj FlashStore na zwolnionym dysku
Ryzyko w trakcienic ponad zwykły backfillo jedną kopię mniej do końca backfillu

Później też nie będzie łatwiej. Format dyskowy FlashStore ma bity funkcji, a montowanie odrzuca nieznany bit: „Every format change means mkfs; unknown bits refuse mount (no downgrade)”7. Zmiana formatu w późniejszym wydaniu FlashStore to więc to samo opróżnianie i ponowne zapełnianie co przy pierwszej migracji.

Jedyna droga na drugą stronęOSD BlueStoreosd.N na nvme0OSD FlashStoreświeży mkfsbez konwersji, w żadną stronęklasterbackfill z kopiiout, purgebackfill do środka
Backfill to jedyny most między tymi dwoma magazynami, i to także most między dwoma formatami FlashStore.

Jedno dokumentacja podaje źle. Lista kontrolna w przewodniku migracji każe upewnić się, że „the pools do not use erasure coding on croit-flashstore-osd OSDs”38. Przewodnik po erasure coding w tej samej migawce mówi, że FlashStore domyślnie obsługuje dawne pule EC, a własna wartość domyślna kodu dla zoptymalizowanego EC to all3940. Jedno z nich jest nieaktualne, i sądząc po kodzie, jest to przewodnik migracji. Mimo to przeczytałbym przewodnik po EC w całości, zanim wymieszam pule EC między oboma rodzajami OSD, bo awaria, którą opisuje, to PG, który przechodzi w stan zdegradowany, i backfill, który staje39.

Magazyn zbudowany dla dysków, które naprawdę kupujemy

BlueStore zbudowano, żeby działał na wszystkim. Dyski talerzowe, tanie SSD, NVMe, partycje, LVM, zaszyfrowane woluminy, szybkie urządzenie DB przed wolnym urządzeniem danych. Ta szerokość to powód, dla którego stał się domyślny, i powód, dla którego niesie odroczoną ścieżkę zapisu, opróżnianie przed każdym zatwierdzeniem, bazę klucz/wartość na własnym systemie plików i pulę wątków, żeby to wszystko kręciło się dalej. Każda z tych rzeczy istnieje, bo jakiś dysk gdzieś jej potrzebował.

FlashStore zaczyna od przeciwnego końca. Zakłada, że dysk to NVMe, że ma ochronę przed utratą zasilania i że jest na tyle szybki, że wąskim gardłem jest teraz oprogramowanie. Potem wyrzuca wszystko, co istniało tylko dla innych dysków.

Czy to dobry zakład? Dla nowych klastrów all-flash, zbudowanych na porządnym, korporacyjnym NVMe, tak. W tę stronę idą klastry Cepha, a OSD, który wydaje swoje rdzenie na blokady, przekazania i bazę danych kompaktującą się za jego plecami, płaci, w każdej sekundzie każdego dnia, za elastyczność, której taki klaster nigdy nie użyje.

Ale zakład ma swój koszt i wolę, żebyś go zobaczył, zanim w niego wejdziesz. Rezygnujesz z HDD, dm-crypt, msgr1, strojenia pamięci na żywo i mClock. Na standardowym klastrze dostajesz OSD, który mówi twoim monitorom, że jest BlueStore, bo dzisiejsze monitory i managery nie zostawiają mu innej drogi; własne buildy croit tego nie będą potrzebować. Dostajesz format, do którego nie da się przekonwertować, ani przekonwertować między jego wersjami. I dostajesz to w wersji zapoznawczej, od jednego dostawcy, który akurat mnie zatrudnia.

Traktuj więc kod jako dowód, a nie ten artykuł i nie raport benchmarków croit. Zapisy decyzji są publiczne i mówią, co zmierzono i co wyrzucono. Przeczytaj je, zbuduj testowy klaster na sprzęcie, który naprawdę byś wdrożył, i zmierz własne obciążenie. Jeśli na twoich dyskach robi to, co mówią ADR, będziesz wiedział. Jeśli nie, też będziesz wiedział, i dowiesz się tego na klastrze testowym.


  1. croit ceph-rust, README w migawce 48f9014 — komponenty, status i mapa drogowa, „not yet recommended for production data”, zgodność protokołu z v21.2.0 i v20.2.4. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. ADR 0003, green-field, bez forka Crimsona — „No fork, no linking of Ceph code”; kod Cepha czytany jako punkt odniesienia, specyfikacje własnymi słowami. ↩︎

  3. ADR 0164, licencje — demon i narzędzia LGPL-3.0-only, biblioteki klienckie MPL-2.0, dokumentacja CC-BY-SA-4.0 i powód wyboru MPL. ↩︎ ↩︎

  4. Ceph Umbrella, BlueStore configuration reference — bezpośredni dostęp do urządzenia, urządzenie DB, „writes smaller than min_alloc_size must first pass through the BlueStore WAL”, sumy kontrolne. ↩︎ ↩︎ ↩︎ ↩︎

  5. Ceph Umbrella, storage devices — BlueStore „consumes raw block devices or partitions”; RocksDB wbudowana na wewnętrzne metadane. ↩︎ ↩︎

  6. Ceph v21.2.0, bluestore_kvbackend — domyślnie rocksdb. ↩︎ ↩︎

  7. ADR 0021, silnik magazynu — B+drzewo COW na shard, pierścień WAL, równoległe zatwierdzanie, checkpointy, dane inline, wstrzymane zwolnienia, „Every format change means mkfs”. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  8. ADR 0004, I/O magazynu — SPDK przez vfio, poprawione do dwóch warstw z io_uring, bezczynność taktowana przez urządzenie. ↩︎ ↩︎

  9. ceph-rust docs, prepare and activate — spdk to domyślny backend, kernel i kernel-cmd zostawiają NVMe na sterowniku jądra. ↩︎

  10. Ceph v21.2.0, bluestore_allocator — domyślnie hybrid. ↩︎

  11. Ceph v21.2.0, bluestore_csum_type — domyślnie crc32c. ↩︎

  12. ceph-rust, użycie croit-flashstore-tool — „fresh prepare/mkfs –omap-engine btree|lsm|rocksdb”. ↩︎

  13. Ceph v21.2.0, bluestore_min_alloc_size_ssd — domyślnie 4 KiB. ↩︎

  14. Ceph v21.2.0, bluestore_prefer_deferred_size_ssd — domyślnie 0. ↩︎

  15. Ceph v21.2.0, BlueStore.cc, maszyna stanów transakcji — oczekujące aio przenoszą transakcję do STATE_AIO_WAIT, zanim trafi do kolejki zatwierdzania klucz/wartość. ↩︎

  16. Ceph v21.2.0, BlueStore.cc, wątek synchronizacji kv — „flush/barrier on block device” przed wysłaniem do RocksDB. ↩︎ ↩︎

  17. ADR 0027, atomowe zatwierdzanie jednym I/O, odrzucone — „gain only at QD1”, zbudowane i usunięte. ↩︎

  18. Ceph v21.2.0, bluestore_write_v2 — „Use faster write path”, domyślnie false. ↩︎

  19. Ceph v21.2.0, BlueStore.cc, _do_write_small — odczyt początku i końca, potem „chunk-aligned deferred overwrite”. ↩︎

  20. Ceph v21.2.0, BlueStore.cc, “journal deferred items” — odroczona transakcja jest ustawiana jako klucz w tej samej transakcji RocksDB. ↩︎

  21. Ceph v21.2.0, BlueStore.cc, prefiksy kluczy — PREFIX_DEFERRED = "L". ↩︎

  22. Domyślne ustawienia wątków w Ceph v21.2.0 — osd_op_num_shards_ssd 8; osd_op_num_threads_per_shard_ssd 2; osd_op_queue mclock_scheduler; ms_async_op_threads 3; tworzenie wątków w BlueStore.cc, bstore_kv_sync i bstore_kv_final. ↩︎

  23. ADR 0006, runtime z wątkiem na rdzeń — jeden przypięty, aktywnie odpytujący wątek na rdzeń, PG należące do jednego rdzenia, „idle cores burn CPU (accepted …)”. ↩︎ ↩︎

  24. ADR 0008, współbieżność i trwałość — „no locks, no atomics, no shared mutable state”; PLP wymagane, mkfs odrzuca dyski bez PLP, obejście FUA do labu. ↩︎ ↩︎

  25. ceph-rust docs, opis konfiguracji — flashstore_cores domyślnie 8, flashstore_store_shards auto, flashstore_report_objectstore. ↩︎ ↩︎ ↩︎

  26. ceph-rust docs, wymagania sprzętowe i hosta — ulotna pamięć podręczna zapisu daje FAIL, LBA 4 KiB, bez partycji, wymagania co do jądra i io_uring. ↩︎ ↩︎

  27. Ceph Umbrella, ceph-volume encryption — „Logical volumes can be encrypted using dmcrypt by specifying the --dmcrypt flag”. ↩︎

  28. Ceph v21.2.0, ms_bind_msgr1 — domyślnie true. ↩︎

  29. ADR 0168, szyfrowanie w spoczynku, msgr1 i cache tiering poza zakresem — „SPDK bypasses dm-crypt”; klienci tylko z v1 „cannot reach croit-flashstore-osd”. ↩︎ ↩︎ ↩︎

  30. ADR 0019, zgłaszanie osd_objectstore=bluestore — bramki funkcji w monitorze, dodatkowe klucze flashstore_* i opcja zgłaszania flashstore. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  31. ceph-rust, pgs.rs — „csum_type {v} unsupported; using fixed crc32c per 4096-byte block”. ↩︎

  32. Ceph v21.2.0, bluestore_compression_mode — domyślnie none. ↩︎

  33. Ceph v21.2.0, bluestore_compression_algorithm — domyślnie snappy. ↩︎

  34. ADR 0059, kompresja magazynu na pulę — te same tryby i opcje co BlueStore, stały poziom zstd 1, miejsce przy ściśliwości 50% „identical to BlueStore”. ↩︎ ↩︎

  35. Ceph v21.2.0, osd_memory_target — domyślnie 4 GiB. ↩︎

  36. Ceph v21.2.0, bluestore_cache_autotune — domyślnie true. ↩︎

  37. ADR 0062, cel pamięci i mClock — cel czytany raz, bez autostrojenia, RSS nieegzekwowane; opcje mClock „ACCEPTED and IGNORED”. ↩︎ ↩︎ ↩︎ ↩︎

  38. ceph-rust docs, migracja z klasycznego — „There is no in-place conversion of a BlueStore device”; dwie kolejności; linia o EC na liście kontrolnej. ↩︎ ↩︎ ↩︎

  39. ceph-rust docs, pule z erasure coding — ec_enable_pools domyślnie all, ec_enable_optimized domyślnie all i jak wygląda odrzucona pula. ↩︎ ↩︎

  40. ceph-rust, domyślne ustawienia OSD — ("ec_enable_optimized", "all"). ↩︎