Lo dico subito: lavoro per croit, che ha scritto FlashStore. Tutto quello che segue è letto dal codice sorgente e dalla documentazione di Ceph alla v21.2.0 e dallo snapshot pubblico di ceph-rust di croit, tutto linkato in fondo alla pagina. Dove il ragionamento di croit sta da una parte di una discussione, dico di chi è il ragionamento.
Due riscritture dello stesso demone
L’OSD classico di Ceph è un server C++ multithread cresciuto sui dischi rotanti. Su NVMe veloci e reti veloci spende buona parte della sua CPU in cose che non sono salvare i tuoi dati: passare operazioni tra pool di thread, prendere lock, aspettare altri thread. Due progetti si sono messi a risolverlo riscrivendo l’OSD da capo.
Uno è Crimson, quello di Ceph.
La documentazione di Umbrella lo chiama «the next generation ceph-osd», costruito «to deliver enhanced performance on fast network and storage devices»1.
L’altro è l’OSD FlashStore di croit, dal progetto ceph-rust, in anteprima pubblica dal 9 novembre 20262.
Entrambi dicono di essere sostituti diretti. Entrambi dicono di essere per NVMe. Entrambi sono in anteprima, e nessuno dei due dovrebbe tenere dati di produzione oggi. Quindi se usi Ceph su NVMe e ti chiedi quale dei due seguire, vale la pena sapere dove differiscono davvero, perché non è dove farebbero pensare i titoli.
Qui li confronto come li troveresti su Ceph 21.2.0, Umbrella: Crimson come quella release lo documenta e lo distribuisce, contro FlashStore, che è costruito e testato contro la stessa release2. È il seguito di FlashStore contro BlueStore di Umbrella, e tutto quello che lì è già spiegato su FlashStore lo do per letto.
Da dove viene ciascuno
La prima differenza è chi lo costruisce e come.
| Crimson | FlashStore | |
|---|---|---|
| Costruito da | Ceph upstream, nell’albero principale | croit |
| Linguaggio | C++ | Rust |
| Framework | Seastar | executor single-thread di croit |
| Codice | in ceph/ceph | riscrittura clean-room, nessun codice Ceph linkato |
| Sviluppo | upstream, aperto | snapshot in sola lettura durante l’anteprima; aperto dopo la prima release di produzione |
| Licenza | quella di Ceph | demone LGPL-3.0, client MPL-2.0 |
| Stato, con parole sue | «not suitable for production use» | «not yet recommended for production data» |
| GA prevista | non indicata | Q1 2027 |
Crimson vive nel repository di Ceph ed è costruito dagli sviluppatori di Ceph. È scritto su Seastar, un framework C++ per server thread-per-core nato da ScyllaDB3. La documentazione di Umbrella dice chiaro e tondo che «is in a tech-preview stage and is not suitable for production use»1.
FlashStore è scritto da zero in Rust e non linka nessun codice Ceph; il C++ di Ceph viene letto come riferimento e reimplementato a partire dalle specifiche di croit4. Il suo README dice che serve per test e valutazione e che è «not yet recommended for production data», con la disponibilità generale prevista per il primo trimestre del 20272. Il repository pubblico è uno snapshot in sola lettura: «no issue tracker, no contribution workflow»2.
Quella riga merita una lettura attenta. Crimson è sviluppato all’aperto, e chiunque può leggere le pull request e discuterne. FlashStore, per ora, arriva come snapshot finiti da una sola azienda: puoi leggere ogni riga, ma non puoi ancora mandargli una patch. È la fase di anteprima, non il piano. L’anteprima serve a raccogliere il feedback della community mentre croit fa girare internamente i suoi casi di test di produzione, prima di dichiarare l’OSD sicuro da usare. Lo sviluppo aperto arriva dopo quella prima release di produzione, la stessa strada che prende la maggior parte dei progetti open source sponsorizzati da un’azienda. Questo viene dall’interno di croit e non da una roadmap pubblicata, quindi tienili a quella parola.
croit ha valutato di fare un fork di Crimson e ha messo per iscritto perché non l’ha fatto. Il suo ADR dice che Crimson «tries to support everything (HDD, alienstore/BlueStore, all pool types)», e aggiunge «Complex code is never fast»4. Questa è l’opinione di croit su Crimson, non una misura, e la tratterei come tale. Lo stesso ADR ha scartato il fork anche per via della LGPL4, e otto giorni dopo croit ha rilasciato il proprio demone sotto LGPL-3.05. Quindi la licenza non è mai stata davvero il motivo.
Sicurezza della memoria: Rust contro C++
Un OSD è il codice che tiene i tuoi dati. Un use-after-free o un buffer overrun lì dentro non è un crash da cui riparti; sono dati corrotti su disco, copiati su ogni replica. È esattamente la classe di bug che le agenzie di cybersicurezza occidentali hanno passato gli ultimi tre anni a chiedere all’industria di eliminare in fase di progetto.
| Linea guida | Chi l’ha firmata | Cosa dice |
|---|---|---|
| The Case for Memory Safe Roadmaps, dicembre 2023 | CISA, NSA e FBI (USA), ACSC dell’ASD (Australia), CCCS (Canada), NCSC-UK, NCSC-NZ, CERT-NZ | C e C++ non sono sicuri per la memoria; pubblicate una roadmap per abbandonarli |
| Product Security Bad Practices v2.0, gennaio 2025 | CISA e FBI | nuove linee di prodotto per infrastrutture critiche in C o C++ sono «dangerous» dove esistono linguaggi sicuri per la memoria |
La linea guida congiunta lo dice in modo esplicito: «Programming languages such as C and C++ are examples of memory unsafe programming languages»6. CISA e FBI vanno oltre, e definiscono pericoloso «the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)» quando si potrebbe usare un’alternativa sicura per la memoria7. È una linea guida, non una legge. Ma lo storage sotto i servizi critici è proprio il codice a cui mira, ed entrambi questi OSD di nuova generazione verranno giudicati su quella base.
FlashStore la rispetta.
È scritto in Rust, e l’ADR di croit dà il motivo in una riga: «Storage = correctness-critical; memory-safety bugs = data loss»8.
Il compilatore controlla la sicurezza della memoria ovunque tranne nel codice marcato unsafe, e lo stesso ADR lo confina ai moduli FFI, DMA, NVMe e network-driver, ognuno con un commento SAFETY8.
L’ho contato nello snapshot: 1.216 righe che contengono unsafe su 696.125 righe di Rust, circa lo 0,17%, e stanno nei crate RDMA, runtime, NVMe e store, dove il codice parla con l’hardware.
La linea guida congiunta nomina proprio questa via di fuga, notando che Rust «can contain the ‘unsafe’ keyword»6, quindi la misura onesta è questa: non zero, ma piccola, recintata, e nei posti dove te la aspetti.
Il C che chiama, SPDK e DPDK, sta dietro quegli stessi confini8.
Crimson no. È un nuovo OSD scritto in C++ su un framework C++13, cioè il linguaggio che le agenzie qui sopra indicano come non sicuro per la memoria. Ogni sua riga è fuori da ciò che un compilatore può controllare per la sicurezza della memoria, e nella configurazione predefinita affida lo store a BlueStore, che è anch’esso C++.
| Crimson | FlashStore | |
|---|---|---|
| Linguaggio | C++ | Rust |
| Sicurezza della memoria controllata dal compilatore | no | sì, fuori da unsafe |
| Codice non controllato | tutto | circa lo 0,17% delle righe, driver e FFI |
| Store predefinito | BlueStore, C++ | FlashStore, Rust |
| Conforme alle linee guida Five Eyes sulla memoria | no | sì |
Gli sviluppatori di Ceph non hanno scelto il C++ alla leggera; Crimson è cresciuto da una base di codice C++, e riscrivere sul posto voleva dire restarci dentro. È un percorso ingegneristico ragionevole. Resta il fatto che l’OSD di nuova generazione di Ceph è scritto proprio nel tipo di linguaggio che le agenzie di cinque paesi hanno chiesto al nuovo codice critico di lasciarsi alle spalle.
Come entra ciascuno in un cluster
Questa è la differenza pratica più grande tra i due, e non riguarda per niente le prestazioni.
Un OSD FlashStore entra nei pool che hai già. Sta negli stessi placement group accanto agli OSD BlueStore classici, e sostituisci un disco alla volta2.
Un OSD Crimson no.
Neanche lontanamente.
La documentazione di Umbrella dice: «Crimson OSD won’t instantiate PGs from non-Crimson pools»1.
Il codice fa esattamente questo. Quando il monitor chiede a un OSD Crimson di creare un PG in un pool senza il flag crimson, scrive nel log «pool lacks crimson flag» e annulla la creazione9.
Quindi una prova di Crimson vuol dire pool nuovi, creati con il flag crimson, e i tuoi dati spostati dentro.
E quei pool arrivano con condizioni che il monitor fa rispettare:
| Regola dei pool Crimson (Umbrella) | Dove |
|---|---|
| L’autoscaling dei PG deve essere spento quando si crea il pool | OSDMonitor, creazione del pool10 |
Il merge dei PG (ridurre pg_num) è rifiutato | OSDMonitor, modifica di pg_num11 |
Lo split dei PG è ammesso solo finché crimson_allow_pg_split è true | stesso punto, e l’opzione12 |
| I pool EC devono essere del tipo EC ottimizzato, senza eccezioni | OSDMonitor, creazione del pool13 |
| Niente OMAP sui pool EC | stesso punto13 |
FlashStore serve i pool classici, sia replicati sia erasure-coded, e declina le configurazioni EC che non supporta invece di rifiutarle al monitor14. Nessuno dei due approcci è sbagliato. Ma uno ti permette di provare su una copia della disposizione reale dei tuoi pool, e l’altro ti obbliga prima a costruirne una separata.
Nessun passaggio per i pool che hai già
Allora, puoi trasformare un pool esistente in un pool Crimson e spostarlo un disco alla volta? No.
La documentazione di Umbrella dice che Crimson sta «aiming to allow seamless migration from existing ceph-osd deployments»1.
Aiming, cioè ci punta. La release non lo fa, e il codice mostra perché non può.
Il flag crimson è un’opzione di ceph osd pool create e di nient’altro15.
ceph osd pool set non ha nessuna variabile crimson da impostare su un pool che esiste già16.
E un OSD Crimson ignora ogni PG di un pool senza il flag, come visto sopra9.
Non ho trovato nessuno strumento di conversione, né nel codice né nella documentazione.
| Spostare un pool esistente | Crimson (Umbrella) | FlashStore, oggi |
|---|---|---|
| Tenere lo stesso pool | no, serve un pool nuovo | sì |
| Si può aggiungere il flag dopo | no, solo alla creazione | non serve |
| Come si spostano i dati | li copi tu, da pool a pool | li riporta il cluster con il backfill |
| Client da ripuntare | sì, sul pool nuovo | no |
| Un disco alla volta | no | sì |
Questo fa del passaggio a Crimson una copia di dati che gestisci tu: le immagini RBD si possono migrare a caldo «between different pools»17, e i dati a oggetti o a file hanno bisogno di qualunque strumento le tue applicazioni usino per copiarli. Poi ogni client va puntato sul pool nuovo.
FlashStore è compatibile con i pool che usi oggi. Lo prepari su un disco, il cluster fa il backfill dei placement group che gli vengono assegnati, e i tuoi client non si accorgono che il pool è cambiato sotto di loro, perché non è cambiato18. Tutta la differenza tra una riscrittura che entra nel tuo cluster e una che gli sta accanto è qui.
Cosa dice ciascuno al monitor
Crimson si presenta.
All’avvio manda osd_type=crimson19, e il monitor si rifiuta di farlo entrare se il flag allow_crimson dell’OSDMap non è impostato, con una riga di log che dice che crimson-osd «is considered unstable and may result in crashes or data loss»20.
Per arrivare fin lì servono quattro comandi presi dalla documentazione, e il primo imposta un’opzione che si chiama enable_experimental_unrecoverable_data_corrupting_features1.
FlashStore fa l’opposto.
Non manda nessun osd_type e dichiara osd_objectstore=bluestore, quindi il monitor vede un OSD classico e non fa domande21.
L’articolo precedente spiega perché: il monitor di Umbrella abilita funzioni come le sovrascritture EC solo se ogni OSD del pool dichiara BlueStore21.
Questo vale per i monitor e i manager standard in produzione oggi.
Sulle build di Ceph di croit, dove sono modificati per riconoscerlo, FlashStore si dichiara flashstore21.
Preferisco che un software mi dica cos’è. Crimson lo fa. Il suo è il modo onesto, e il nome del flag non ti lascia dubbi su cosa stai accettando. Il modo di FlashStore è quello che fa funzionare la sostituzione diretta sui monitor e i manager standard che la gente usa adesso, ed è una misura di compatibilità, non lo stato finale. Sono scelte deliberate entrambe, ed entrambe messe per iscritto. Sappi solo con quale delle due hai a che fare quando conti i tuoi OSD.
Core: reactor contro thread fissati in polling
Entrambi i progetti hanno buttato via i pool di thread. Bene. Entrambi usano un thread per core e dividono il lavoro per core. La differenza sta in quanto chiedono all’operatore e in quanto stretto tengono il core.
| Crimson | FlashStore | |
|---|---|---|
| Unità di lavoro | un reactor Seastar per core | un thread fissato per core |
| Numero di core | crimson_cpu_num, nessun default, va impostato | flashstore_cores, default 8 |
| Fissato ai core | solo con crimson_cpu_set | sì, flashstore_lcores |
| Comportamento a riposo | polling per 200 µs, poi dorme | polling, idle adattivo |
| Busy-poll completo | opzionale, crimson_poll_mode | è il progetto, con backoff a riposo |
| Modificabile dopo il deploy | no | shard dello store fissati alla preparazione |
Su Crimson, crimson_cpu_num «does not have a default value», va impostato prima del deploy degli OSD, e «cannot be changed after deployment»1.
Non fissa i thread a meno che tu non imposti anche crimson_cpu_set, che la documentazione descrive come «generally less recommended due to its complexity»1.
A riposo il reactor fa polling per 200 µs prima di tornare a dormire, e c’è una modalità di polling completo «at the expense of 100% cpu usage», spenta di default22.
Anche SeaStore rifiuta un cambio nel numero di reactor dopo mkfs23.
FlashStore fissa i thread per progetto, fa polling per progetto, e rallenta a riposo2425. Il numero di shard dello store è fissato quando lo store viene preparato, lo stesso vincolo in un posto diverso26.
In pratica, entrambi vogliono core interi ed entrambi vogliono che tu li dimensioni prima del deploy. Crimson rende il polling una scelta da attivare. FlashStore ne fa il comportamento predefinito e lascia alla logica di idle il compito di recuperare un po’ di CPU.
Lo store predefinito di Crimson è BlueStore
Questa è la parte che mi ha sorpreso. Non avrebbe dovuto.
Crimson ha due tipi di object store. Quelli nativi girano dentro il reactor Seastar; quelli non nativi passano attraverso «a thread pool proxy» verso «alien threads: worker threads not managed by Seastar»1. SeaStore è quello nativo. BlueStore è non nativo. E BlueStore è il predefinito.
La documentazione è schietta.
SeaStore «is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages»1.
Cephadm fa il deploy di Crimson con --objectstore bluestore se non gli dici altrimenti, e anche allora SeaStore non si può installare con --method raw; ti dicono di usare LVM1.
Quindi un OSD Crimson installato oggi con i default esegue un front end Seastar sopra lo stesso BlueStore, RocksDB e BlueFS che usa l’OSD classico, con crimson_bluestore_num_threads thread riservati a lui22.
Sul lato dello store non è cambiato niente rispetto all’OSD classico.
È un modo sensato di costruire un percorso di migrazione. È anche il motivo per cui confrontare «Crimson» con FlashStore sulle prestazioni significa ben poco se non dici quale store stava usando Crimson.
Il confronto corretto per lo store è SeaStore contro FlashStore. È il resto di questo articolo.
SeaStore e FlashStore: dove stanno i metadati
Entrambi gli store sono stati scritti per NVMe fin dall’inizio, entrambi sono divisi per core, ed entrambi tengono i metadati in B-tree propri invece che in RocksDB. Ma la loro struttura è molto diversa.
SeaStore dà a ogni reactor la propria radice27. Sotto stanno un albero degli onode, un albero LBA e un albero backref. L’onode di ogni oggetto punta poi al proprio B-tree OMAP e al proprio B-tree XATTR, e a extent di dati con indirizzi logici27. L’albero LBA mappa quegli indirizzi logici su quelli fisici, così un blocco può spostarsi sul disco senza che cambino gli alberi dell’oggetto; la documentazione indica questa indirezione come il motivo per cui la maggior parte degli extent «can be relocated freely»27.
FlashStore mette tutto in un solo B+tree copy-on-write per shard: onode, xattr, OMAP, mappe degli extent con un crc32c per ogni blocco da 4 KiB, il log dei PG e la bitmap dell’allocatore28. Le mappe degli extent puntano direttamente ai blocchi fisici. Non c’è nessuno strato logico in mezzo.
Entrambe le scelte hanno un motivo. L’indirezione di SeaStore è ciò che rende economico il suo cleaner: può spostare dati vivi senza riscrivere ogni albero che li punta. FlashStore non ne ha bisogno, perché non ha un cleaner, come si vede più avanti. Il suo ADR elenca «Per-object omap subtree/root» tra le alternative considerate e scartate28.
Una differenza da conoscere sui checksum: SeaStore calcola il suo crc32c su un intero extent in cache29, mentre FlashStore ne tiene uno per ogni blocco da 4 KiB28.
L’ordine in cui si fa il commit di una scrittura
Il tipo di device predefinito di SeaStore è SSD, che usa il backend segmentato30.
Su quel backend una transazione è un record di journal che contiene delta, e ai dati possono succedere due cose.
Gli extent piccoli e di breve vita possono viaggiare inline nel record di journal, e allora il record è tutto il commit27. Gli extent più grandi o più longevi vanno in segmenti separati out-of-line, e allora la documentazione fissa l’ordine: il «final record with the deltas should be written only once the other blocks are persisted»27. Sono due scritture in serie, la stessa forma del commit dati-poi-RocksDB di BlueStore.
FlashStore scrive l’extent di dati e l’unità di WAL nello stesso momento, mette il crc32c dei nuovi dati nel record del WAL così il replay può verificarlo, e dà conferma quando entrambi sono durevoli28. Un solo viaggio al device, qualunque sia la dimensione.
Quanto conti dipende dal tuo carico di lavoro, esattamente come nel confronto con BlueStore. A bassa queue depth, dove i client aspettano ogni scrittura, un secondo viaggio è latenza reale. Sotto carico, il batching ne nasconde la maggior parte.
Recuperare lo spazio
L’altra metà di un progetto log-structured è fare pulizia.
SeaStore sul backend segmentato scrive sempre e solo in segmenti aperti. Prima che un segmento possa essere riusato, i suoi blocchi vivi vanno riscritti altrove, e il documento di progetto dice quanto costa: «we must ‘clean’ one byte of an existing segment for every byte written at steady state»27. Mescola parte di questa pulizia alle scritture in corso, per evitare picchi, e fa il resto in background quando il disco è più tranquillo27. La dimensione del segmento è di 64 MiB per default31.
SeaStore ha anche un secondo backend per NVMe, il random block manager, che la documentazione dice essere «Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren’t worth the overhead»27.
Non è il predefinito. Lo scegli con seastore_main_device_type30.
FlashStore non ha un segment cleaner. Nessuno. Un blocco sostituito torna all’allocatore dello shard appena un checkpoint lo ha superato, cosa che succede ogni cinque secondi finché c’è lavoro non persistito, o prima quando l’anello del WAL è pieno a metà28. Il suo documento di progetto ha scartato senza mezzi termini una struttura log-structured28. Questo non vuol dire che non abbia lavoro in background: unisce e compatta comunque le pagine dell’albero e deframmenta lo spazio libero, con un ritmo regolato sotto l’I/O dei client28. Ma non copia mai i tuoi dati vivi per fare spazio.
Sulla flash, che fa già la sua garbage collection dentro il disco, preferisco che l’OSD non ne faccia girare una seconda sopra. La documentazione di SeaStore sembra essere d’accordo, visto cosa dice del backend RBM. La differenza è che FlashStore ne ha fatto l’unica opzione e SeaStore quella non predefinita.
Su cosa gira ciascuno
| Crimson (Umbrella) | FlashStore | |
|---|---|---|
| HDD | sì, con BlueStore; SeaStore ha un tipo di segmento per HDD | no |
| NVMe | sì | sì, l’unico obiettivo |
| Protezione da perdita di alimentazione | nessun requisito indicato | richiesta, mkfs si rifiuta senza |
| Layout del device | LVM per SeaStore tramite cephadm | namespace interi, niente partizioni |
| Protocollo di rete | solo msgr2 | solo msgr2 |
| Backend di I/O | io_uring di default; linux-aio, epoll | SPDK di default, livello io_uring |
| Pool | pool nuovi con il flag crimson | pool classici esistenti |
| Spostare i dati esistenti | copiarli in un pool nuovo | backfill nello stesso pool |
| Installato con | cephadm, --osd-type crimson | pacchetti, croit-flashstore-tool |
| Build consigliata | l’ultima build CI di main | snapshot di release |
Crimson mantiene l’ampiezza.
La documentazione dice che SeaStore «may not be suitable for traditional HDDs», ma che «Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs»1, e il documento di progetto di SeaStore elenca ancora un interesse per gli HDD27.
Il suo messenger rifiuta la v1 senza appello, «ProtocolV1 is no longer supported»32, la stessa scelta fatta da FlashStore33.
La sua documentazione consiglia «one of the latest available builds, as Crimson evolves rapidly», che in pratica vuol dire immagini CI di main1.
FlashStore restringe tutto a NVMe con protezione da perdita di alimentazione, e da lì ricava la sua semplicità34. Che è esattamente lo scambio descritto dall’ADR di croit, visto dall’altra parte.
Due risposte alla stessa domanda
Entrambi i progetti sono partiti dalla stessa osservazione: l’OSD classico spreca hardware veloce. Hanno dato risposte molto diverse.
La risposta di Crimson è quella della community. Riscrivere l’OSD sul posto, dentro Ceph, tenere funzionanti ogni vecchio store e ogni vecchio disco mentre il nuovo store matura, e lasciare che tutti vedano il lavoro mentre succede. È lento, e si vede. In Umbrella, l’OSD Crimson predefinito esegue ancora BlueStore attraverso un pool di thread, i suoi pool sono recintati e separati dai tuoi, e accenderlo vuol dire digitare le parole «unrecoverable data corrupting». Ma appartiene a tutti quelli che usano Ceph, e nessuno te lo può togliere.
La risposta di FlashStore è quella del vendor. Scegliere un obiettivo più stretto, NVMe con protezione da perdita di alimentazione, buttare via tutto ciò che esisteva solo per altro hardware, e consegnare uno store che entra nei pool che hai già. È più veloce, e si vede anche questo. Ma viene da una sola azienda, come snapshot in sola lettura fino alla prima release di produzione, e su un cluster standard entra dicendo al monitor di essere BlueStore.
Lavoro per quell’azienda, quindi pesa di conseguenza quello che segue. croit ha fatto la scommessa tecnica giusta per i cluster all-flash. Crimson ha fatto la scommessa giusta per Ceph come progetto. Non sono la stessa cosa. Un progetto che serve tutti non può abbandonare gli HDD. Un vendor può, e deve, se è quello che comprano i suoi clienti.
Quello che non farei è scegliere tra i due sulla base di un grafico di benchmark di una delle due parti. I numeri di Crimson dipendono da quale dei suoi tre store stava girando; quelli di FlashStore vengono dal laboratorio di croit. Entrambi i progetti pubblicano i loro documenti di progetto. Leggili, poi metti entrambi sui dischi che installeresti davvero e fai girare il tuo carico di lavoro. Quello che fa ancora quello che dicono i suoi documenti quando in gioco ci sono i tuoi dati è quello che vale la pena aspettare.
Ceph Umbrella, Crimson (Tech Preview) — «the next generation
ceph-osd», «not suitable for production use», i flag richiesti,crimson_cpu_num, backend nativi e non nativi, SeaStore «not the default»,--method rawnon supportato. Sorgente:doc/crimson/crimson.rstalla v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎croit ceph-rust, README at snapshot 48f9014 — dichiarazione di sostituto diretto, anteprima dal 9 novembre 2026, GA Q1 2027, «not yet recommended for production data», «no issue tracker, no contribution workflow». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
Seastar — il framework C++ su cui è costruito Crimson. ↩︎ ↩︎
ceph-rust ADR 0003, green-field, no Crimson fork — «Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -> complexity. Complex code is never fast.»; fork scartato per «C++, complexity, LGPL». ↩︎ ↩︎ ↩︎
ceph-rust ADR 0164, licences — datato 2026-10-17; demone
LGPL-3.0-only. ↩︎CISA, NSA, FBI, ASD’s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (December 2023) — «Programming languages such as C and C++ are examples of memory unsafe programming languages»; Rust «can contain the ‘unsafe’ keyword». ↩︎ ↩︎
CISA and FBI: Product Security Bad Practices, v2.0 (January 2025) — nuove linee di prodotto per infrastrutture critiche «in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous». ↩︎
ceph-rust ADR 0002, language: Rust — «Storage = correctness-critical; memory-safety bugs = data loss»;
unsafe«confined to ffi/dma/nvme/net-driver modules with SAFETY comments»; SPDK e DPDK tramite FFI. ↩︎ ↩︎ ↩︎Ceph v21.2.0,
crimson/osd/shard_services.cc— «ignoring pgid {}, pool lacks crimson flag». ↩︎ ↩︎Ceph v21.2.0,
OSDMonitor.cc, crimson pool creation — «crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to ‘off’». ↩︎Ceph v21.2.0,
OSDMonitor.cc, crimsonpg_numchanges — «pg merging is not yet supported in Crimson». ↩︎Ceph v21.2.0,
crimson_allow_pg_split— «Allow Crimson pools to increase their PG count (split)», default true. ↩︎Ceph v21.2.0,
OSDMonitor.cc, EC pools for Crimson — «For Crimson - only EC-optimized pools are supported», «Omap is not supported by EC pools in crimson». ↩︎ ↩︎ceph-rust docs, erasure-coded pools — EC legacy e ottimizzato serviti di default; i pool non supportati vengono declinati dall’OSD. ↩︎
Ceph v21.2.0,
MonCommands.h,osd pool create—name=crimson,type=CephBool,req=false, l’unico punto in cui il flag è accettato. ↩︎Ceph v21.2.0,
MonCommands.h,osd pool set— le variabili impostabili;crimsonnon è tra queste. ↩︎Ceph Umbrella, RBD image live-migration — «RBD images can be live-migrated between different pools». ↩︎
ceph-rust docs, migrate from classic — aggiungi o libera un disco, prepara FlashStore, lascia che il backfill sposti i dati. ↩︎
Ceph v21.2.0,
crimson/osd/osd.cc—m->metadata["osd_type"] = "crimson". ↩︎Ceph v21.2.0,
OSDMonitor.cc, boot check — «Disallowing boot of crimson-osd without allow_crimson OSDMap flag», «considered unstable and may result in crashes or data loss». ↩︎ceph-rust ADR 0019, report
osd_objectstore=bluestore— nessuna chiaveosd_type, i controlli delle funzioni BlueStore del monitor. ↩︎ ↩︎ ↩︎Ceph v21.2.0,
crimson.yaml.in—crimson_reactor_idle_poll_time_us200,crimson_poll_mode«at the expense of 100% cpu usage» default false,crimson_bluestore_num_threads. ↩︎ ↩︎Ceph v21.2.0,
seastore_require_partition_count_match_reactor_count— «disable osd shards changes upon restart», default true. ↩︎ceph-rust ADR 0006, thread-per-core runtime — un thread fissato in busy-polling per core, ogni PG posseduto da un solo core. ↩︎
ceph-rust ADR 0004, storage I/O — SPDK e il livello io_uring, idle temporizzato sul device. ↩︎
ceph-rust docs, configuration reference —
flashstore_coresdefault 8,flashstore_lcores,flashstore_store_shardsfissato alla preparazione. ↩︎Ceph Umbrella, SeaStore developer documentation — radice per reactor, alberi onode, OMAP, LBA e backref, «clean» un byte per ogni byte scritto, l’ordine del record di journal, il backend RBM. Sorgente:
doc/dev/crimson/seastore.rstalla v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ceph-rust ADR 0021, storage engine — un B+tree COW per shard, commit in parallelo, checkpoint, manutenzione in background, alternative scartate tra cui log-structured e «Per-object omap subtree/root». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
Ceph v21.2.0,
crimson/os/seastore/cached_extent.h— «Returns crc32c of buffer». ↩︎Ceph v21.2.0,
seastore_main_device_type— «The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)», defaultSSD. ↩︎ ↩︎Ceph v21.2.0,
seastore_segment_size— default 64 MiB. ↩︎Ceph v21.2.0,
crimson/net/SocketMessenger.cc— «ProtocolV1 is no longer supported». ↩︎ceph-rust ADR 0168, out of scope — msgr1 escluso, solo v2. ↩︎
ceph-rust docs, hardware and host requirements — PLP obbligatoria, namespace interi. ↩︎