Lo dico subito: lavoro per croit, che ha scritto FlashStore. Tutto quello che segue è letto dal codice sorgente e dalla documentazione di Ceph alla v21.2.0 e dallo snapshot pubblico di ceph-rust di croit, tutto linkato in fondo alla pagina. Dove il ragionamento di croit sta da una parte di una discussione, dico di chi è il ragionamento.

Due riscritture dello stesso demone

L’OSD classico di Ceph è un server C++ multithread cresciuto sui dischi rotanti. Su NVMe veloci e reti veloci spende buona parte della sua CPU in cose che non sono salvare i tuoi dati: passare operazioni tra pool di thread, prendere lock, aspettare altri thread. Due progetti si sono messi a risolverlo riscrivendo l’OSD da capo.

Uno è Crimson, quello di Ceph. La documentazione di Umbrella lo chiama «the next generation ceph-osd», costruito «to deliver enhanced performance on fast network and storage devices»1. L’altro è l’OSD FlashStore di croit, dal progetto ceph-rust, in anteprima pubblica dal 9 novembre 20262.

Entrambi dicono di essere sostituti diretti. Entrambi dicono di essere per NVMe. Entrambi sono in anteprima, e nessuno dei due dovrebbe tenere dati di produzione oggi. Quindi se usi Ceph su NVMe e ti chiedi quale dei due seguire, vale la pena sapere dove differiscono davvero, perché non è dove farebbero pensare i titoli.

Qui li confronto come li troveresti su Ceph 21.2.0, Umbrella: Crimson come quella release lo documenta e lo distribuisce, contro FlashStore, che è costruito e testato contro la stessa release2. È il seguito di FlashStore contro BlueStore di Umbrella, e tutto quello che lì è già spiegato su FlashStore lo do per letto.

Due riscritture di un demoneceph-osd classicoC++, threadCrimsonCeph upstream, C++ su Seastarcroit-flashstore-osdcroit, Rust, runtime proprioBlueStorepredefinitoSeaStorenativoCyanStoreniente datiFlashStorel'unico store
Due riscritture dell’OSD classico. Crimson tiene tre store tra cui scegliere, con BlueStore come predefinito; FlashStore ne ha uno.

Da dove viene ciascuno

La prima differenza è chi lo costruisce e come.

CrimsonFlashStore
Costruito daCeph upstream, nell’albero principalecroit
LinguaggioC++Rust
FrameworkSeastarexecutor single-thread di croit
Codicein ceph/cephriscrittura clean-room, nessun codice Ceph linkato
Sviluppoupstream, apertosnapshot in sola lettura durante l’anteprima; aperto dopo la prima release di produzione
Licenzaquella di Cephdemone LGPL-3.0, client MPL-2.0
Stato, con parole sue«not suitable for production use»«not yet recommended for production data»
GA previstanon indicataQ1 2027

Crimson vive nel repository di Ceph ed è costruito dagli sviluppatori di Ceph. È scritto su Seastar, un framework C++ per server thread-per-core nato da ScyllaDB3. La documentazione di Umbrella dice chiaro e tondo che «is in a tech-preview stage and is not suitable for production use»1.

FlashStore è scritto da zero in Rust e non linka nessun codice Ceph; il C++ di Ceph viene letto come riferimento e reimplementato a partire dalle specifiche di croit4. Il suo README dice che serve per test e valutazione e che è «not yet recommended for production data», con la disponibilità generale prevista per il primo trimestre del 20272. Il repository pubblico è uno snapshot in sola lettura: «no issue tracker, no contribution workflow»2.

Quella riga merita una lettura attenta. Crimson è sviluppato all’aperto, e chiunque può leggere le pull request e discuterne. FlashStore, per ora, arriva come snapshot finiti da una sola azienda: puoi leggere ogni riga, ma non puoi ancora mandargli una patch. È la fase di anteprima, non il piano. L’anteprima serve a raccogliere il feedback della community mentre croit fa girare internamente i suoi casi di test di produzione, prima di dichiarare l’OSD sicuro da usare. Lo sviluppo aperto arriva dopo quella prima release di produzione, la stessa strada che prende la maggior parte dei progetti open source sponsorizzati da un’azienda. Questo viene dall’interno di croit e non da una roadmap pubblicata, quindi tienili a quella parola.

croit ha valutato di fare un fork di Crimson e ha messo per iscritto perché non l’ha fatto. Il suo ADR dice che Crimson «tries to support everything (HDD, alienstore/BlueStore, all pool types)», e aggiunge «Complex code is never fast»4. Questa è l’opinione di croit su Crimson, non una misura, e la tratterei come tale. Lo stesso ADR ha scartato il fork anche per via della LGPL4, e otto giorni dopo croit ha rilasciato il proprio demone sotto LGPL-3.05. Quindi la licenza non è mai stata davvero il motivo.

Sicurezza della memoria: Rust contro C++

Un OSD è il codice che tiene i tuoi dati. Un use-after-free o un buffer overrun lì dentro non è un crash da cui riparti; sono dati corrotti su disco, copiati su ogni replica. È esattamente la classe di bug che le agenzie di cybersicurezza occidentali hanno passato gli ultimi tre anni a chiedere all’industria di eliminare in fase di progetto.

Linea guidaChi l’ha firmataCosa dice
The Case for Memory Safe Roadmaps, dicembre 2023CISA, NSA e FBI (USA), ACSC dell’ASD (Australia), CCCS (Canada), NCSC-UK, NCSC-NZ, CERT-NZC e C++ non sono sicuri per la memoria; pubblicate una roadmap per abbandonarli
Product Security Bad Practices v2.0, gennaio 2025CISA e FBInuove linee di prodotto per infrastrutture critiche in C o C++ sono «dangerous» dove esistono linguaggi sicuri per la memoria

La linea guida congiunta lo dice in modo esplicito: «Programming languages such as C and C++ are examples of memory unsafe programming languages»6. CISA e FBI vanno oltre, e definiscono pericoloso «the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)» quando si potrebbe usare un’alternativa sicura per la memoria7. È una linea guida, non una legge. Ma lo storage sotto i servizi critici è proprio il codice a cui mira, ed entrambi questi OSD di nuova generazione verranno giudicati su quella base.

FlashStore la rispetta. È scritto in Rust, e l’ADR di croit dà il motivo in una riga: «Storage = correctness-critical; memory-safety bugs = data loss»8. Il compilatore controlla la sicurezza della memoria ovunque tranne nel codice marcato unsafe, e lo stesso ADR lo confina ai moduli FFI, DMA, NVMe e network-driver, ognuno con un commento SAFETY8. L’ho contato nello snapshot: 1.216 righe che contengono unsafe su 696.125 righe di Rust, circa lo 0,17%, e stanno nei crate RDMA, runtime, NVMe e store, dove il codice parla con l’hardware. La linea guida congiunta nomina proprio questa via di fuga, notando che Rust «can contain the ‘unsafe’ keyword»6, quindi la misura onesta è questa: non zero, ma piccola, recintata, e nei posti dove te la aspetti. Il C che chiama, SPDK e DPDK, sta dietro quegli stessi confini8.

Crimson no. È un nuovo OSD scritto in C++ su un framework C++13, cioè il linguaggio che le agenzie qui sopra indicano come non sicuro per la memoria. Ogni sua riga è fuori da ciò che un compilatore può controllare per la sicurezza della memoria, e nella configurazione predefinita affida lo store a BlueStore, che è anch’esso C++.

CrimsonFlashStore
LinguaggioC++Rust
Sicurezza della memoria controllata dal compilatorenosì, fuori da unsafe
Codice non controllatotuttocirca lo 0,17% delle righe, driver e FFI
Store predefinitoBlueStore, C++FlashStore, Rust
Conforme alle linee guida Five Eyes sulla memorianosì

Gli sviluppatori di Ceph non hanno scelto il C++ alla leggera; Crimson è cresciuto da una base di codice C++, e riscrivere sul posto voleva dire restarci dentro. È un percorso ingegneristico ragionevole. Resta il fatto che l’OSD di nuova generazione di Ceph è scritto proprio nel tipo di linguaggio che le agenzie di cinque paesi hanno chiesto al nuovo codice critico di lasciarsi alle spalle.

Come entra ciascuno in un cluster

Questa è la differenza pratica più grande tra i due, e non riguarda per niente le prestazioni.

Un OSD FlashStore entra nei pool che hai già. Sta negli stessi placement group accanto agli OSD BlueStore classici, e sostituisci un disco alla volta2.

Un OSD Crimson no. Neanche lontanamente. La documentazione di Umbrella dice: «Crimson OSD won’t instantiate PGs from non-Crimson pools»1. Il codice fa esattamente questo. Quando il monitor chiede a un OSD Crimson di creare un PG in un pool senza il flag crimson, scrive nel log «pool lacks crimson flag» e annulla la creazione9.

Quali pool serve ciascunoil tuo pool esistentesenza flag crimsonOSD classicoBlueStoreOSD FlashStorestessi PGOSD Crimsonsolo pool crimsonPG ignoratipool nuovo, --crimsonautoscale spento
FlashStore prende PG nei tuoi pool esistenti. Crimson serve solo pool creati con il flag crimson, quindi servono pool nuovi e i dati copiati dentro.

Quindi una prova di Crimson vuol dire pool nuovi, creati con il flag crimson, e i tuoi dati spostati dentro. E quei pool arrivano con condizioni che il monitor fa rispettare:

Regola dei pool Crimson (Umbrella)Dove
L’autoscaling dei PG deve essere spento quando si crea il poolOSDMonitor, creazione del pool10
Il merge dei PG (ridurre pg_num) è rifiutatoOSDMonitor, modifica di pg_num11
Lo split dei PG è ammesso solo finché crimson_allow_pg_split è truestesso punto, e l’opzione12
I pool EC devono essere del tipo EC ottimizzato, senza eccezioniOSDMonitor, creazione del pool13
Niente OMAP sui pool ECstesso punto13

FlashStore serve i pool classici, sia replicati sia erasure-coded, e declina le configurazioni EC che non supporta invece di rifiutarle al monitor14. Nessuno dei due approcci è sbagliato. Ma uno ti permette di provare su una copia della disposizione reale dei tuoi pool, e l’altro ti obbliga prima a costruirne una separata.

Nessun passaggio per i pool che hai già

Allora, puoi trasformare un pool esistente in un pool Crimson e spostarlo un disco alla volta? No.

La documentazione di Umbrella dice che Crimson sta «aiming to allow seamless migration from existing ceph-osd deployments»1. Aiming, cioè ci punta. La release non lo fa, e il codice mostra perché non può. Il flag crimson è un’opzione di ceph osd pool create e di nient’altro15. ceph osd pool set non ha nessuna variabile crimson da impostare su un pool che esiste già16. E un OSD Crimson ignora ogni PG di un pool senza il flag, come visto sopra9. Non ho trovato nessuno strumento di conversione, né nel codice né nella documentazione.

Spostare un pool esistenteCrimson (Umbrella)FlashStore, oggi
Tenere lo stesso poolno, serve un pool nuovosì
Si può aggiungere il flag dopono, solo alla creazionenon serve
Come si spostano i datili copi tu, da pool a poolli riporta il cluster con il backfill
Client da ripuntaresì, sul pool nuovono
Un disco alla voltanosì

Questo fa del passaggio a Crimson una copia di dati che gestisci tu: le immagini RBD si possono migrare a caldo «between different pools»17, e i dati a oggetti o a file hanno bisogno di qualunque strumento le tue applicazioni usino per copiarli. Poi ogni client va puntato sul pool nuovo.

FlashStore è compatibile con i pool che usi oggi. Lo prepari su un disco, il cluster fa il backfill dei placement group che gli vengono assegnati, e i tuoi client non si accorgono che il pool è cambiato sotto di loro, perché non è cambiato18. Tutta la differenza tra una riscrittura che entra nel tuo cluster e una che gli sta accanto è qui.

Cosa dice ciascuno al monitor

Crimson si presenta. All’avvio manda osd_type=crimson19, e il monitor si rifiuta di farlo entrare se il flag allow_crimson dell’OSDMap non è impostato, con una riga di log che dice che crimson-osd «is considered unstable and may result in crashes or data loss»20. Per arrivare fin lì servono quattro comandi presi dalla documentazione, e il primo imposta un’opzione che si chiama enable_experimental_unrecoverable_data_corrupting_features1.

FlashStore fa l’opposto. Non manda nessun osd_type e dichiara osd_objectstore=bluestore, quindi il monitor vede un OSD classico e non fa domande21. L’articolo precedente spiega perché: il monitor di Umbrella abilita funzioni come le sovrascritture EC solo se ogni OSD del pool dichiara BlueStore21. Questo vale per i monitor e i manager standard in produzione oggi. Sulle build di Ceph di croit, dove sono modificati per riconoscerlo, FlashStore si dichiara flashstore21.

Cosa controlla il monitor all'avvioOSD Crimsonosd_type=crimsonmon: allow_crimson impostato?set-allow-crimsonno: avvio rifiutato«crashes or data loss»OSD FlashStorenessun osd_typemon: un OSD classicoobjectstore=bluestoresi avvia, nessun flagserve i pool esistenti
Crimson va fatto entrare, per nome, dietro un flag su cui il monitor avverte. FlashStore entra come un OSD classico.

Preferisco che un software mi dica cos’è. Crimson lo fa. Il suo è il modo onesto, e il nome del flag non ti lascia dubbi su cosa stai accettando. Il modo di FlashStore è quello che fa funzionare la sostituzione diretta sui monitor e i manager standard che la gente usa adesso, ed è una misura di compatibilità, non lo stato finale. Sono scelte deliberate entrambe, ed entrambe messe per iscritto. Sappi solo con quale delle due hai a che fare quando conti i tuoi OSD.

Core: reactor contro thread fissati in polling

Entrambi i progetti hanno buttato via i pool di thread. Bene. Entrambi usano un thread per core e dividono il lavoro per core. La differenza sta in quanto chiedono all’operatore e in quanto stretto tengono il core.

CrimsonFlashStore
Unità di lavoroun reactor Seastar per coreun thread fissato per core
Numero di corecrimson_cpu_num, nessun default, va impostatoflashstore_cores, default 8
Fissato ai coresolo con crimson_cpu_setsì, flashstore_lcores
Comportamento a riposopolling per 200 µs, poi dormepolling, idle adattivo
Busy-poll completoopzionale, crimson_poll_modeè il progetto, con backoff a riposo
Modificabile dopo il deploynoshard dello store fissati alla preparazione

Su Crimson, crimson_cpu_num «does not have a default value», va impostato prima del deploy degli OSD, e «cannot be changed after deployment»1. Non fissa i thread a meno che tu non imposti anche crimson_cpu_set, che la documentazione descrive come «generally less recommended due to its complexity»1. A riposo il reactor fa polling per 200 µs prima di tornare a dormire, e c’è una modalità di polling completo «at the expense of 100% cpu usage», spenta di default22. Anche SeaStore rifiuta un cambio nel numero di reactor dopo mkfs23.

FlashStore fissa i thread per progetto, fa polling per progetto, e rallenta a riposo2425. Il numero di shard dello store è fissato quando lo store viene preparato, lo stesso vincolo in un posto diverso26.

In pratica, entrambi vogliono core interi ed entrambi vogliono che tu li dimensioni prima del deploy. Crimson rende il polling una scelta da attivare. FlashStore ne fa il comportamento predefinito e lascia alla logica di idle il compito di recuperare un po’ di CPU.

Lo store predefinito di Crimson è BlueStore

Questa è la parte che mi ha sorpreso. Non avrebbe dovuto.

Crimson ha due tipi di object store. Quelli nativi girano dentro il reactor Seastar; quelli non nativi passano attraverso «a thread pool proxy» verso «alien threads: worker threads not managed by Seastar»1. SeaStore è quello nativo. BlueStore è non nativo. E BlueStore è il predefinito.

La documentazione è schietta. SeaStore «is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages»1. Cephadm fa il deploy di Crimson con --objectstore bluestore se non gli dici altrimenti, e anche allora SeaStore non si può installare con --method raw; ti dicono di usare LVM1.

Lo store predefinito di Crimson, contro FlashStoreCrimson, store predefinitoreactor Seastarcrimson_cpu_numthread pool proxypassaggio fuori dal reactoralien threadscrimson_bluestore_num_threadsBlueStoreRocksDB su BlueFSFlashStorecore che possiede il PGfissato, in pollingshard dello store, stesso corenessun passaggiocoda NVMe, stesso coreSPDK o io_uring
Un OSD Crimson predefinito passa ogni operazione sullo store dal suo reactor a un pool di thread normali che eseguono BlueStore. FlashStore tiene l’intero percorso sul core che possiede il PG.

Quindi un OSD Crimson installato oggi con i default esegue un front end Seastar sopra lo stesso BlueStore, RocksDB e BlueFS che usa l’OSD classico, con crimson_bluestore_num_threads thread riservati a lui22. Sul lato dello store non è cambiato niente rispetto all’OSD classico. È un modo sensato di costruire un percorso di migrazione. È anche il motivo per cui confrontare «Crimson» con FlashStore sulle prestazioni significa ben poco se non dici quale store stava usando Crimson.

Il confronto corretto per lo store è SeaStore contro FlashStore. È il resto di questo articolo.

SeaStore e FlashStore: dove stanno i metadati

Entrambi gli store sono stati scritti per NVMe fin dall’inizio, entrambi sono divisi per core, ed entrambi tengono i metadati in B-tree propri invece che in RocksDB. Ma la loro struttura è molto diversa.

SeaStore dà a ogni reactor la propria radice27. Sotto stanno un albero degli onode, un albero LBA e un albero backref. L’onode di ogni oggetto punta poi al proprio B-tree OMAP e al proprio B-tree XATTR, e a extent di dati con indirizzi logici27. L’albero LBA mappa quegli indirizzi logici su quelli fisici, così un blocco può spostarsi sul disco senza che cambino gli alberi dell’oggetto; la documentazione indica questa indirezione come il motivo per cui la maggior parte degli extent «can be relocated freely»27.

FlashStore mette tutto in un solo B+tree copy-on-write per shard: onode, xattr, OMAP, mappe degli extent con un crc32c per ogni blocco da 4 KiB, il log dei PG e la bitmap dell’allocatore28. Le mappe degli extent puntano direttamente ai blocchi fisici. Non c’è nessuno strato logico in mezzo.

Dove stanno i metadatiSeaStoreradicealbero onodealbero LBAalbero backrefonodeOMAPB-tree proprioXATTRB-tree propriodatiindir. logicoindirizzo logico, poi albero LBA, poi discoFlashStoreun B+tree COW per shardonode, xattrOMAPmappe extent + crc32clog PG, info PGbitmap allocatoremappa extent, poi disco
SeaStore: un albero per ogni tipo di cosa, un B-tree per oggetto per OMAP e xattr, e un albero LBA per trovare i dati. FlashStore: un albero per shard, che punta direttamente al disco.

Entrambe le scelte hanno un motivo. L’indirezione di SeaStore è ciò che rende economico il suo cleaner: può spostare dati vivi senza riscrivere ogni albero che li punta. FlashStore non ne ha bisogno, perché non ha un cleaner, come si vede più avanti. Il suo ADR elenca «Per-object omap subtree/root» tra le alternative considerate e scartate28.

Una differenza da conoscere sui checksum: SeaStore calcola il suo crc32c su un intero extent in cache29, mentre FlashStore ne tiene uno per ogni blocco da 4 KiB28.

L’ordine in cui si fa il commit di una scrittura

Il tipo di device predefinito di SeaStore è SSD, che usa il backend segmentato30. Su quel backend una transazione è un record di journal che contiene delta, e ai dati possono succedere due cose.

Gli extent piccoli e di breve vita possono viaggiare inline nel record di journal, e allora il record è tutto il commit27. Gli extent più grandi o più longevi vanno in segmenti separati out-of-line, e allora la documentazione fissa l’ordine: il «final record with the deltas should be written only once the other blocks are persisted»27. Sono due scritture in serie, la stessa forma del commit dati-poi-RocksDB di BlueStore.

FlashStore scrive l’extent di dati e l’unità di WAL nello stesso momento, mette il crc32c dei nuovi dati nel record del WAL così il replay può verificarlo, e dà conferma quando entrambi sono durevoli28. Un solo viaggio al device, qualunque sia la dimensione.

Quando può partire il commitSeaStoreextent piccolorecord di journalextent inline + deltaack1 viaggioSeaStoreout-of-lineextent nel segmento OOLattesa persistenzarecord di journaldeltaack2 viaggiFlashStoredati, 4 KiB nuoviunità WAL, crc dei datiack1 viaggiotempo
SeaStore sul suo device segmentato predefinito: un viaggio quando l’extent entra nel record di journal, due in serie quando va out-of-line. FlashStore: dati e record di log insieme.

Quanto conti dipende dal tuo carico di lavoro, esattamente come nel confronto con BlueStore. A bassa queue depth, dove i client aspettano ogni scrittura, un secondo viaggio è latenza reale. Sotto carico, il batching ne nasconde la maggior parte.

Recuperare lo spazio

L’altra metà di un progetto log-structured è fare pulizia.

SeaStore sul backend segmentato scrive sempre e solo in segmenti aperti. Prima che un segmento possa essere riusato, i suoi blocchi vivi vanno riscritti altrove, e il documento di progetto dice quanto costa: «we must ‘clean’ one byte of an existing segment for every byte written at steady state»27. Mescola parte di questa pulizia alle scritture in corso, per evitare picchi, e fa il resto in background quando il disco è più tranquillo27. La dimensione del segmento è di 64 MiB per default31.

SeaStore ha anche un secondo backend per NVMe, il random block manager, che la documentazione dice essere «Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren’t worth the overhead»27. Non è il predefinito. Lo scegli con seastore_main_device_type30.

FlashStore non ha un segment cleaner. Nessuno. Un blocco sostituito torna all’allocatore dello shard appena un checkpoint lo ha superato, cosa che succede ogni cinque secondi finché c’è lavoro non persistito, o prima quando l’anello del WAL è pieno a metà28. Il suo documento di progetto ha scartato senza mezzi termini una struttura log-structured28. Questo non vuol dire che non abbia lavoro in background: unisce e compatta comunque le pagine dell’albero e deframmenta lo spazio libero, con un ritmo regolato sotto l’I/O dei client28. Ma non copia mai i tuoi dati vivi per fare spazio.

Recuperare lo spazioSeaStore, segmentato (default)segmento chiusoblocchi vivi + mortiil cleaner riscrive i viviin un segmento apertosegmento vuotodiscard, riusoa regime: pulire circa un byte per ogni byte scrittoFlashStoreblocco sostituitoda un extent nuovotrattenuto fino al checkpointogni 5 s o WAL a metàtorna nella bitmapnessun dato vivo spostato
Il backend predefinito di SeaStore paga le scritture sequenziali con un cleaner che sposta dati vivi. FlashStore libera i blocchi sostituiti sul posto dopo un checkpoint e non sposta niente.

Sulla flash, che fa già la sua garbage collection dentro il disco, preferisco che l’OSD non ne faccia girare una seconda sopra. La documentazione di SeaStore sembra essere d’accordo, visto cosa dice del backend RBM. La differenza è che FlashStore ne ha fatto l’unica opzione e SeaStore quella non predefinita.

Su cosa gira ciascuno

Crimson (Umbrella)FlashStore
HDDsì, con BlueStore; SeaStore ha un tipo di segmento per HDDno
NVMesìsì, l’unico obiettivo
Protezione da perdita di alimentazionenessun requisito indicatorichiesta, mkfs si rifiuta senza
Layout del deviceLVM per SeaStore tramite cephadmnamespace interi, niente partizioni
Protocollo di retesolo msgr2solo msgr2
Backend di I/Oio_uring di default; linux-aio, epollSPDK di default, livello io_uring
Poolpool nuovi con il flag crimsonpool classici esistenti
Spostare i dati esistenticopiarli in un pool nuovobackfill nello stesso pool
Installato concephadm, --osd-type crimsonpacchetti, croit-flashstore-tool
Build consigliatal’ultima build CI di mainsnapshot di release

Crimson mantiene l’ampiezza. La documentazione dice che SeaStore «may not be suitable for traditional HDDs», ma che «Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs»1, e il documento di progetto di SeaStore elenca ancora un interesse per gli HDD27. Il suo messenger rifiuta la v1 senza appello, «ProtocolV1 is no longer supported»32, la stessa scelta fatta da FlashStore33. La sua documentazione consiglia «one of the latest available builds, as Crimson evolves rapidly», che in pratica vuol dire immagini CI di main1.

FlashStore restringe tutto a NVMe con protezione da perdita di alimentazione, e da lì ricava la sua semplicità34. Che è esattamente lo scambio descritto dall’ADR di croit, visto dall’altra parte.

Due risposte alla stessa domanda

Entrambi i progetti sono partiti dalla stessa osservazione: l’OSD classico spreca hardware veloce. Hanno dato risposte molto diverse.

La risposta di Crimson è quella della community. Riscrivere l’OSD sul posto, dentro Ceph, tenere funzionanti ogni vecchio store e ogni vecchio disco mentre il nuovo store matura, e lasciare che tutti vedano il lavoro mentre succede. È lento, e si vede. In Umbrella, l’OSD Crimson predefinito esegue ancora BlueStore attraverso un pool di thread, i suoi pool sono recintati e separati dai tuoi, e accenderlo vuol dire digitare le parole «unrecoverable data corrupting». Ma appartiene a tutti quelli che usano Ceph, e nessuno te lo può togliere.

La risposta di FlashStore è quella del vendor. Scegliere un obiettivo più stretto, NVMe con protezione da perdita di alimentazione, buttare via tutto ciò che esisteva solo per altro hardware, e consegnare uno store che entra nei pool che hai già. È più veloce, e si vede anche questo. Ma viene da una sola azienda, come snapshot in sola lettura fino alla prima release di produzione, e su un cluster standard entra dicendo al monitor di essere BlueStore.

Lavoro per quell’azienda, quindi pesa di conseguenza quello che segue. croit ha fatto la scommessa tecnica giusta per i cluster all-flash. Crimson ha fatto la scommessa giusta per Ceph come progetto. Non sono la stessa cosa. Un progetto che serve tutti non può abbandonare gli HDD. Un vendor può, e deve, se è quello che comprano i suoi clienti.

Quello che non farei è scegliere tra i due sulla base di un grafico di benchmark di una delle due parti. I numeri di Crimson dipendono da quale dei suoi tre store stava girando; quelli di FlashStore vengono dal laboratorio di croit. Entrambi i progetti pubblicano i loro documenti di progetto. Leggili, poi metti entrambi sui dischi che installeresti davvero e fai girare il tuo carico di lavoro. Quello che fa ancora quello che dicono i suoi documenti quando in gioco ci sono i tuoi dati è quello che vale la pena aspettare.


  1. Ceph Umbrella, Crimson (Tech Preview) — «the next generation ceph-osd», «not suitable for production use», i flag richiesti, crimson_cpu_num, backend nativi e non nativi, SeaStore «not the default», --method raw non supportato. Sorgente: doc/crimson/crimson.rst alla v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. croit ceph-rust, README at snapshot 48f9014 — dichiarazione di sostituto diretto, anteprima dal 9 novembre 2026, GA Q1 2027, «not yet recommended for production data», «no issue tracker, no contribution workflow». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  3. Seastar — il framework C++ su cui è costruito Crimson. ↩︎ ↩︎

  4. ceph-rust ADR 0003, green-field, no Crimson fork — «Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -> complexity. Complex code is never fast.»; fork scartato per «C++, complexity, LGPL». ↩︎ ↩︎ ↩︎

  5. ceph-rust ADR 0164, licences — datato 2026-10-17; demone LGPL-3.0-only. ↩︎

  6. CISA, NSA, FBI, ASD’s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (December 2023) — «Programming languages such as C and C++ are examples of memory unsafe programming languages»; Rust «can contain the ‘unsafe’ keyword». ↩︎ ↩︎

  7. CISA and FBI: Product Security Bad Practices, v2.0 (January 2025) — nuove linee di prodotto per infrastrutture critiche «in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous». ↩︎

  8. ceph-rust ADR 0002, language: Rust — «Storage = correctness-critical; memory-safety bugs = data loss»; unsafe «confined to ffi/dma/nvme/net-driver modules with SAFETY comments»; SPDK e DPDK tramite FFI. ↩︎ ↩︎ ↩︎

  9. Ceph v21.2.0, crimson/osd/shard_services.cc — «ignoring pgid {}, pool lacks crimson flag». ↩︎ ↩︎

  10. Ceph v21.2.0, OSDMonitor.cc, crimson pool creation — «crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to ‘off’». ↩︎

  11. Ceph v21.2.0, OSDMonitor.cc, crimson pg_num changes — «pg merging is not yet supported in Crimson». ↩︎

  12. Ceph v21.2.0, crimson_allow_pg_split — «Allow Crimson pools to increase their PG count (split)», default true. ↩︎

  13. Ceph v21.2.0, OSDMonitor.cc, EC pools for Crimson — «For Crimson - only EC-optimized pools are supported», «Omap is not supported by EC pools in crimson». ↩︎ ↩︎

  14. ceph-rust docs, erasure-coded pools — EC legacy e ottimizzato serviti di default; i pool non supportati vengono declinati dall’OSD. ↩︎

  15. Ceph v21.2.0, MonCommands.h, osd pool create — name=crimson,type=CephBool,req=false, l’unico punto in cui il flag è accettato. ↩︎

  16. Ceph v21.2.0, MonCommands.h, osd pool set — le variabili impostabili; crimson non è tra queste. ↩︎

  17. Ceph Umbrella, RBD image live-migration — «RBD images can be live-migrated between different pools». ↩︎

  18. ceph-rust docs, migrate from classic — aggiungi o libera un disco, prepara FlashStore, lascia che il backfill sposti i dati. ↩︎

  19. Ceph v21.2.0, crimson/osd/osd.cc — m->metadata["osd_type"] = "crimson". ↩︎

  20. Ceph v21.2.0, OSDMonitor.cc, boot check — «Disallowing boot of crimson-osd without allow_crimson OSDMap flag», «considered unstable and may result in crashes or data loss». ↩︎

  21. ceph-rust ADR 0019, report osd_objectstore=bluestore — nessuna chiave osd_type, i controlli delle funzioni BlueStore del monitor. ↩︎ ↩︎ ↩︎

  22. Ceph v21.2.0, crimson.yaml.in — crimson_reactor_idle_poll_time_us 200, crimson_poll_mode «at the expense of 100% cpu usage» default false, crimson_bluestore_num_threads. ↩︎ ↩︎

  23. Ceph v21.2.0, seastore_require_partition_count_match_reactor_count — «disable osd shards changes upon restart», default true. ↩︎

  24. ceph-rust ADR 0006, thread-per-core runtime — un thread fissato in busy-polling per core, ogni PG posseduto da un solo core. ↩︎

  25. ceph-rust ADR 0004, storage I/O — SPDK e il livello io_uring, idle temporizzato sul device. ↩︎

  26. ceph-rust docs, configuration reference — flashstore_cores default 8, flashstore_lcores, flashstore_store_shards fissato alla preparazione. ↩︎

  27. Ceph Umbrella, SeaStore developer documentation — radice per reactor, alberi onode, OMAP, LBA e backref, «clean» un byte per ogni byte scritto, l’ordine del record di journal, il backend RBM. Sorgente: doc/dev/crimson/seastore.rst alla v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  28. ceph-rust ADR 0021, storage engine — un B+tree COW per shard, commit in parallelo, checkpoint, manutenzione in background, alternative scartate tra cui log-structured e «Per-object omap subtree/root». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  29. Ceph v21.2.0, crimson/os/seastore/cached_extent.h — «Returns crc32c of buffer». ↩︎

  30. Ceph v21.2.0, seastore_main_device_type — «The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)», default SSD. ↩︎ ↩︎

  31. Ceph v21.2.0, seastore_segment_size — default 64 MiB. ↩︎

  32. Ceph v21.2.0, crimson/net/SocketMessenger.cc — «ProtocolV1 is no longer supported». ↩︎

  33. ceph-rust ADR 0168, out of scope — msgr1 escluso, solo v2. ↩︎

  34. ceph-rust docs, hardware and host requirements — PLP obbligatoria, namespace interi. ↩︎