Duas reescritas do mesmo daemon

O OSD clássico do Ceph é um servidor C++ com threads que cresceu em discos rotativos. Em NVMe rápido e redes rápidas, gasta muito do seu CPU em coisas que não são guardar os teus dados: passar operações entre pools de threads, apanhar locks, esperar por outras threads. Dois projetos decidiram resolver isso reescrevendo o OSD de raiz.

Um é o Crimson, do próprio Ceph. A documentação do Umbrella chama-lhe «the next generation ceph-osd», construído «to deliver enhanced performance on fast network and storage devices»1. O outro é o FlashStore OSD da croit, do projeto ceph-rust, em preview pública desde 9 de novembro de 20262.

Ambos dizem ser substitutos diretos. Ambos dizem ser para NVMe. Ambos estão em preview, e nenhum deve guardar dados de produção hoje. Por isso, se corres Ceph em NVMe e te perguntas qual dos dois acompanhar, vale a pena saber onde diferem de facto, porque não é onde os títulos dariam a entender.

Este artigo compara-os tal como os encontrarias no Ceph 21.2.0, Umbrella: o Crimson tal como essa versão o documenta e distribui, contra o FlashStore, que é construído e testado contra essa mesma versão2. Vem na sequência de FlashStore contra o BlueStore do Umbrella, e tudo o que lá foi dito sobre o FlashStore fica dado como lido.

Duas reescritas de um daemonceph-osd clássicoC++, threadsCrimsonCeph upstream, C++ sobre Seastarcroit-flashstore-osdcroit, Rust, runtime próprioBlueStorepor omissãoSeaStorenativoCyanStoresem dadosFlashStoreo único store
Duas reescritas do OSD clássico. O Crimson mantém três stores à escolha, sendo o BlueStore o predefinido; o FlashStore tem um.

De onde vem cada um

A primeira diferença é quem o constrói e como.

CrimsonFlashStore
Construído porCeph upstream, na árvore principalcroit
LinguagemC++Rust
FrameworkSeastarexecutor single-thread próprio da croit
Códigoem ceph/cephreescrita clean-room, sem código Ceph ligado
Desenvolvimentoupstream, abertosnapshots só de leitura na preview; aberto após a primeira versão de produção
Licençaa do Cephdaemon LGPL-3.0, clientes MPL-2.0
Estado, nas suas próprias palavras«not suitable for production use»«not yet recommended for production data»
GA previstanenhuma indicada1.º trimestre de 2027

O Crimson vive no repositório do próprio Ceph e é construído pelos programadores do próprio Ceph. Está escrito sobre o Seastar, um framework C++ para servidores thread-per-core que saiu da ScyllaDB3. A documentação do Umbrella diz sem rodeios que «is in a tech-preview stage and is not suitable for production use»1.

O FlashStore está escrito de raiz em Rust e não liga código Ceph nenhum; o C++ do Ceph é lido como referência e reimplementado a partir das especificações próprias da croit4. O README diz que é para testes e avaliação e «not yet recommended for production data», com disponibilidade geral prevista para o primeiro trimestre de 20272. O repositório público é um snapshot só de leitura: «no issue tracker, no contribution workflow»2.

Essa linha merece ser lida com atenção. O Crimson é desenvolvido às claras, e qualquer pessoa pode ler os pull requests e discutir neles. O FlashStore, para já, chega como snapshots acabados de uma só empresa: podes ler cada linha, mas ainda não lhe podes mandar um patch. Isso é a fase de preview, não o plano. A preview existe para recolher feedback da comunidade enquanto a croit corre internamente os seus casos de teste de produção, antes de dar o OSD como seguro para uso. O desenvolvimento aberto vem depois dessa primeira versão de produção, o mesmo caminho que a maioria dos projetos open source patrocinados por empresas segue. Isso vem de dentro da croit e não de um roadmap publicado, por isso cobra-lhes a promessa.

A croit chegou a considerar um fork do Crimson e deixou por escrito porque não o fez. O seu ADR diz que o Crimson «tries to support everything (HDD, alienstore/BlueStore, all pool types)», e acrescenta «Complex code is never fast»4. Isso é a opinião da croit sobre o Crimson, não uma medição, e eu trataria a coisa como tal. O mesmo ADR também rejeitou um fork em parte por causa da LGPL4, e a croit licenciou depois o seu próprio daemon em LGPL-3.0 oito dias mais tarde5. Portanto a licença nunca foi bem a razão.

Segurança de memória: Rust contra C++

Um OSD é o código que guarda os teus dados. Um use-after-free ou um buffer overrun nele não é um crash de que recuperas reiniciando; são dados corrompidos em disco, copiados para todas as réplicas. É exatamente a classe de bug que as agências de cibersegurança ocidentais passaram os últimos três anos a pedir à indústria que eliminasse no desenho.

OrientaçãoQuem a assinouO que diz
The Case for Memory Safe Roadmaps, dezembro de 2023CISA, NSA e FBI (EUA), ACSC da ASD (Austrália), CCCS (Canadá), NCSC-UK, NCSC-NZ, CERT-NZC e C++ não são seguras em memória; publica um roadmap para sair delas
Product Security Bad Practices v2.0, janeiro de 2025CISA e FBInovas linhas de produtos para infraestrutura crítica em C ou C++ são «dangerous» quando há linguagens seguras em memória disponíveis

A orientação conjunta di-lo sem rodeios: «Programming languages such as C and C++ are examples of memory unsafe programming languages»6. A CISA e o FBI vão mais longe e chamam perigoso a «the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)» quando se podia usar uma alternativa segura em memória7. Isso é orientação, não lei. Mas o armazenamento por baixo de serviços críticos é precisamente o código a que se dirige, e ambos são OSD de nova geração que vão ser julgados por ela.

O FlashStore cumpre-a. Está escrito em Rust, e o ADR da croit dá a razão numa linha: «Storage = correctness-critical; memory-safety bugs = data loss»8. O compilador verifica a segurança de memória em todo o lado exceto no código marcado unsafe, e o mesmo ADR confina isso aos módulos de FFI, DMA, NVMe e drivers de rede, cada um com um comentário SAFETY8. Contei-o no snapshot: 1216 linhas que mencionam unsafe em 696 125 linhas de Rust, cerca de 0,17%, e estão nos crates de RDMA, runtime, NVMe e store, onde o código fala com o hardware. A própria orientação conjunta nomeia essa porta de saída, notando que o Rust «can contain the ‘unsafe’ keyword»6, por isso essa é a medida honesta: não é zero, mas é pequena, vedada, e está nos sítios onde a esperarias. O C que chama, SPDK e DPDK, fica atrás dessas mesmas fronteiras8.

O Crimson não cumpre. É um OSD novo escrito em C++ sobre um framework C++13, que é a linguagem que as agências acima apontam como não segura em memória. Cada linha dele está fora do que um compilador consegue verificar quanto à segurança de memória, e na configuração por omissão entrega o store ao BlueStore, que também é C++.

CrimsonFlashStore
LinguagemC++Rust
Segurança de memória verificada pelo compiladornãosim, fora de unsafe
Código não verificadotodocerca de 0,17% das linhas, código de drivers e FFI
Store por omissãoBlueStore, C++FlashStore, Rust
Cumpre a orientação de segurança de memória dos Five Eyesnãosim

Os programadores do Ceph não escolheram o C++ à toa; o Crimson nasceu de uma base de código C++, e reescrever no lugar significava ficar nela. É um caminho de engenharia razoável. Mesmo assim, deixa o OSD de nova geração do Ceph escrito no único tipo de linguagem que as agências de cinco países pediram ao novo código crítico que deixasse para trás.

Como cada um entra num cluster

Esta é a maior diferença prática entre os dois, e não tem nada a ver com desempenho.

Um OSD FlashStore entra nos pools que já tens. Fica nos mesmos placement groups ao lado de OSD BlueStore clássicos, e trocas um disco de cada vez2.

Um OSD Crimson não. Nem de perto. A documentação do Umbrella diz: «Crimson OSD won’t instantiate PGs from non-Crimson pools»1. O código faz exatamente isso. Quando o monitor pede a um OSD Crimson que crie um PG num pool sem a flag crimson, ele regista «pool lacks crimson flag» e cancela a criação9.

Que pools cada um serveo teu pool existentesem flag crimsonOSD clássicoBlueStoreOSD FlashStoremesmos PGOSD Crimsonsó pools crimsonPG ignoradospool novo, --crimsonautoscale desligado
O FlashStore aceita PG nos teus pools existentes. O Crimson só serve pools criados com a flag crimson, por isso precisa de pools novos e dos dados copiados para lá.

Por isso um ensaio do Crimson significa pools novos, criados com a flag crimson, e os teus dados mudados para lá. E esses pools vêm com condições que o monitor impõe:

Regra dos pools Crimson (Umbrella)Onde
O autoscaling de PG tem de estar desligado quando o pool é criadoOSDMonitor, criação do pool10
Fusão de PG (reduzir pg_num) recusadaOSDMonitor, alteração de pg_num11
Divisão de PG só permitida enquanto crimson_allow_pg_split for trueo mesmo, e a opção12
Os pools EC têm de ser do tipo EC otimizado, sem exceçõesOSDMonitor, criação do pool13
Sem OMAP em pools ECo mesmo13

O FlashStore serve pools clássicos, replicados e com erasure coding, e declina as configurações EC que não suporta em vez de as recusar no monitor14. Nenhuma das abordagens está errada. Mas uma deixa-te testar numa cópia da tua disposição real de pools, e a outra obriga-te a construir uma separada primeiro.

Nenhum caminho para os pools que já tens

Então, consegues transformar um pool existente num pool Crimson e passá-lo um disco de cada vez? Não.

A documentação do Umbrella diz que o Crimson está «aiming to allow seamless migration from existing ceph-osd deployments»1. Aiming. A versão não o faz, e o código-fonte mostra porque não pode. A flag crimson é uma opção de ceph osd pool create e de mais lado nenhum15. ceph osd pool set não tem nenhuma variável crimson para definir num pool que já existe16. E um OSD Crimson ignora todos os PG de um pool sem a flag, como se viu acima9. Não encontrei nenhuma ferramenta de conversão no código-fonte nem na documentação.

Mudar um pool existenteCrimson (Umbrella)FlashStore, hoje
Manter o mesmo poolnão, é preciso um pool novosim
O pool pode receber a flag depoisnão, só na criaçãonão é preciso
Como os dados se movemcopias tu, de pool para poolo cluster faz backfill
Clientes reapontadossim, para o pool novonão
Um disco de cada veznãosim

Isso faz de uma passagem para o Crimson uma cópia de dados que corres tu: as imagens RBD podem ser migradas a quente «between different pools»17, e os dados de objetos ou ficheiros precisam daquilo que as tuas aplicações usem para os copiar. Depois, cada cliente tem de ser apontado para o pool novo.

O FlashStore é compatível com os pools que corres hoje. Preparas o disco, o cluster faz backfill dos placement groups que lhe calham, e os teus clientes nunca dão por o pool ter mudado debaixo deles, porque não mudou18. É essa toda a diferença entre uma reescrita que entra no teu cluster e uma que fica ao lado dele.

O que cada um diz ao monitor

O Crimson apresenta-se. No arranque envia osd_type=crimson19, e o monitor recusa deixá-lo entrar a não ser que a flag allow_crimson do OSDMap esteja ativa, com uma linha de log que diz que o crimson-osd «is considered unstable and may result in crashes or data loss»20. Chegar até aí exige quatro comandos da documentação, o primeiro dos quais define uma opção chamada enable_experimental_unrecoverable_data_corrupting_features1.

O FlashStore faz o contrário. Não envia osd_type nenhum e reporta osd_objectstore=bluestore, por isso o monitor vê um OSD clássico e não faz perguntas21. O artigo anterior explica porquê: o monitor do Umbrella condiciona funcionalidades como as sobrescritas EC a que todos os OSD de um pool reportem BlueStore21. Isso é para os monitores e managers de série que estão em produção hoje. Nas builds do Ceph da própria croit, onde estão corrigidos para o conhecer, o FlashStore reporta-se como flashstore21.

O que o monitor verifica no arranqueOSD Crimsonosd_type=crimsonmon: allow_crimson ativa?set-allow-crimsonnão: arranque recusado«crashes or data loss»OSD FlashStoresem osd_typemon: um OSD clássicoobjectstore=bluestorearranca, sem flagserve os pools existentes
O Crimson tem de ser deixado entrar, pelo nome, atrás de uma flag sobre a qual o monitor avisa. O FlashStore entra como um OSD clássico.

Prefiro software que me diga o que é. O Crimson diz. A maneira dele é a honesta, e o nome da flag não te deixa dúvidas sobre aquilo com que estás a concordar. A maneira do FlashStore é o que faz o drop-in funcionar nos monitores e managers de série que as pessoas correm agora, e é uma medida de compatibilidade, não o estado final. Ambas são deliberadas, e ambas estão escritas. Só convém saberes com qual estás a lidar quando contas os teus OSD.

Núcleos: reactors contra threads de polling fixas

Os dois projetos deitaram fora os pools de threads. Ainda bem. Ambos correm uma thread por núcleo e dividem o trabalho por núcleo. A diferença está em quanto pedem ao operador e na força com que se agarram ao núcleo.

CrimsonFlashStore
Unidade de trabalhoreactor Seastar por núcleothread fixa por núcleo
Número de núcleoscrimson_cpu_num, sem valor por omissão, tem de ser definidoflashstore_cores, 8 por omissão
Fixado a núcleossó com crimson_cpu_setsim, flashstore_lcores
Comportamento em repousofaz polling 200 µs, depois dormepolling, repouso adaptativo
Busy-poll totalopcional, crimson_poll_modeé o desenho, com recuo em repouso
Alterar depois do deploynãoshards do store fixos na preparação

No Crimson, crimson_cpu_num «does not have a default value», tem de ser definido antes de fazer o deploy dos OSD, e «cannot be changed after deployment»1. Não fixa threads a não ser que definas também crimson_cpu_set, que a documentação descreve como «generally less recommended due to its complexity»1. O reactor faz polling durante 200 µs quando está parado antes de voltar a dormir, e existe um modo de polling total «at the expense of 100% cpu usage», desligado por omissão22. O SeaStore também recusa uma alteração do número de reactors depois do mkfs23.

O FlashStore fixa por desenho, faz polling por desenho e recua quando está parado2425. O número de shards do store é fixado quando o store é preparado, a mesma restrição noutro sítio26.

Na prática, ambos querem núcleos inteiros e ambos querem que os dimensiones antes do deploy. O Crimson faz do polling uma escolha a que aderes. O FlashStore faz dele o comportamento por omissão e deixa a lógica de repouso recuperar parte do CPU.

O store por omissão do Crimson é o BlueStore

Esta é a parte que me surpreendeu. Não devia ter surpreendido.

O Crimson tem dois tipos de object store. Os nativos correm dentro do reactor Seastar; os não nativos correm através de «a thread pool proxy» para «alien threads: worker threads not managed by Seastar»1. O SeaStore é o nativo. O BlueStore é não nativo. E o BlueStore é o predefinido.

A documentação é direta sobre isso. O SeaStore «is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages»1. O cephadm faz o deploy do Crimson com --objectstore bluestore a não ser que lhe digam outra coisa, e mesmo assim o SeaStore não pode ser instalado com --method raw; mandam-te usar LVM1.

O store por omissão do Crimson, contra o FlashStoreCrimson, store por omissãoreactors Seastarcrimson_cpu_numthread pool proxypassagem para fora do reactoralien threadscrimson_bluestore_num_threadsBlueStoreRocksDB sobre BlueFSFlashStorenúcleo dono do PGfixo, em pollingshard do store, mesmo núcleosem passagemfila NVMe, mesmo núcleoSPDK ou io_uring
Um OSD Crimson por omissão entrega cada operação de store, para fora do seu reactor, a um pool de threads normais que corre BlueStore. O FlashStore mantém o caminho inteiro no núcleo dono do PG.

Portanto um OSD Crimson instalado hoje com as opções por omissão corre um front end Seastar por cima do mesmo BlueStore, RocksDB e BlueFS que o OSD clássico usa, com crimson_bluestore_num_threads threads reservadas para isso22. Do lado do store, não mudou nada face ao OSD clássico. É uma maneira sensata de construir um caminho de migração. É também por isso que comparar o «Crimson» com o FlashStore em desempenho quer dizer muito pouco, a não ser que digas que store o Crimson estava a correr.

A comparação justa para o store é SeaStore contra FlashStore. É o resto deste artigo.

SeaStore e FlashStore: onde vivem os metadados

Ambos os stores foram escritos para NVMe desde o início, ambos estão divididos por núcleo, e ambos guardam os metadados em B-trees próprias em vez de RocksDB. Mesmo assim, as suas estruturas são muito diferentes.

O SeaStore dá a cada reactor a sua própria raiz27. Por baixo ficam uma árvore de onodes, uma árvore LBA e uma árvore de backrefs. O onode de cada objeto aponta depois para a sua própria B-tree de OMAP e a sua própria B-tree de XATTR, e para extents de dados com endereços lógicos27. A árvore LBA mapeia esses endereços lógicos para físicos, de modo que um bloco pode mudar de sítio no disco sem que as árvores do próprio objeto mudem; a documentação diz que essa indireção é a razão pela qual a maioria dos extents «can be relocated freely»27.

O FlashStore põe tudo numa única B+tree copy-on-write por shard: onodes, xattrs, OMAP, mapas de extents com um crc32c por bloco de 4 KiB, o PG log e o bitmap do alocador28. Os mapas de extents apontam diretamente para blocos físicos. Não há camada lógica pelo meio.

Onde vivem os metadadosSeaStoreraizárvore de onodesárvore LBAárvore de backrefsonodeOMAPB-tree própriaXATTRB-tree própriadadosend. lógicoendereço lógico, depois árvore LBA, depois discoFlashStoreuma B+tree COW por shardonodes, xattrsOMAPmapas de extents + crc32cPG log, PG infobitmap do alocadormapa de extents, depois disco
SeaStore: uma árvore por tipo de coisa, uma B-tree por objeto para OMAP e xattrs, e uma árvore LBA para encontrar os dados. FlashStore: uma árvore por shard, a apontar diretamente para o disco.

Ambas as escolhas têm uma razão. A indireção do SeaStore é o que torna barato o seu cleaner: consegue mover dados vivos sem reescrever todas as árvores que apontam para eles. O FlashStore não precisa disso, porque não tem cleaner, como se verá a seguir. O seu ADR põe «Per-object omap subtree/root» entre as alternativas que considerou e rejeitou28.

Uma diferença a conhecer nos checksums: o SeaStore calcula o crc32c sobre um extent em cache inteiro29, enquanto o FlashStore guarda um por bloco de 4 KiB28.

A ordem em que uma escrita faz commit

O tipo de dispositivo por omissão do SeaStore é SSD, que usa o backend segmentado30. Nesse backend, uma transação é um registo de journal com deltas, e podem acontecer duas coisas aos dados.

Extents pequenos e de vida curta podem ir inline no registo de journal, e aí o registo é o commit inteiro27. Extents maiores ou de vida mais longa vão para segmentos out-of-line separados, e aí a documentação fixa a ordem: o «final record with the deltas should be written only once the other blocks are persisted»27. São duas escritas em série, a mesma forma do commit dados-depois-RocksDB do BlueStore.

O FlashStore escreve o extent de dados e a unidade de WAL ao mesmo tempo, põe o crc32c dos dados novos no registo de WAL para que o replay o possa verificar, e confirma quando ambos estão duráveis28. Uma ida ao dispositivo, seja qual for o tamanho.

Quando o commit pode sairSeaStoreextent pequenoregisto de journalextent inline + deltasack1 idaSeaStoreout-of-lineextent no segmento OOLesperar persistênciaregisto de journaldeltasack2 idasFlashStoredados, 4 KiB novosunidade WAL, crc dos dadosack1 idatempo
SeaStore no seu dispositivo segmentado por omissão: uma ida quando o extent cabe no registo de journal, duas em série quando vai out-of-line. FlashStore: dados e registo de log juntos.

Quanto isso importa depende da tua carga, exatamente como na comparação com o BlueStore. Com filas pouco profundas, em que os clientes esperam por cada escrita, uma segunda ida é latência real. Sob carga, o batching esconde a maior parte.

Recuperar espaço

A outra metade de um desenho log-structured é a limpeza.

O SeaStore no backend segmentado só escreve em segmentos abertos. Antes de um segmento poder ser reutilizado, os seus blocos vivos têm de ser reescritos noutro sítio, e o documento de desenho diz quanto isso custa: «we must ‘clean’ one byte of an existing segment for every byte written at steady state»27. Mistura parte dessa limpeza com as escritas em curso, para evitar picos, e faz o resto em segundo plano quando o disco está mais sossegado27. O tamanho do segmento é 64 MiB por omissão31.

O SeaStore tem um segundo backend para NVMe, o random block manager, que a documentação diz ser «Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren’t worth the overhead»27. Não é o predefinido. Escolhe-se com seastore_main_device_type30.

O FlashStore não tem segment cleaner. Nenhum. Um bloco substituído volta ao alocador do shard depois de um checkpoint passar por ele, o que acontece a cada cinco segundos enquanto houver trabalho por persistir, ou mais cedo quando o anel do WAL fica meio cheio28. O seu documento de desenho rejeitou de vez uma estrutura log-structured28. Isso não quer dizer que não tenha trabalho em segundo plano: continua a fundir e compactar páginas da árvore e a desfragmentar o espaço livre, a um ritmo controlado sob o I/O dos clientes28. Mas nunca copia os teus dados vivos para arranjar espaço.

Recuperar espaçoSeaStore, segmentado (omissão)segmento fechadoblocos vivos + mortoso cleaner reescreve os vivosnum segmento abertosegmento vaziodiscard, reutilizaçãoregime estável: limpar cerca de um byte por cada byte escritoFlashStorebloco substituídopor um extent novoretido até ao checkpointa cada 5 s ou WAL meio cheiode volta ao bitmapnenhum dado vivo movido
O backend por omissão do SeaStore paga as escritas sequenciais com um cleaner que move dados vivos. O FlashStore liberta os blocos substituídos no lugar depois de um checkpoint e não move nada.

Em flash, que já corre a sua própria garbage collection dentro do disco, prefiro que o OSD não corra uma segunda por cima. A própria documentação do SeaStore parece concordar, dado o que diz sobre o backend RBM. A diferença é que o FlashStore fez disso a única opção e o SeaStore fez disso a opção não predefinida.

Em que corre cada um

Crimson (Umbrella)FlashStore
HDDsim, com BlueStore; o SeaStore tem um tipo de segmento HDDnão
NVMesimsim, o único alvo
Proteção contra perda de energianenhum requisito indicadoobrigatória, o mkfs recusa sem ela
Disposição do dispositivoLVM para SeaStore via cephadmnamespaces inteiros, sem partições
Protocolo de redesó msgr2só msgr2
Backend de I/Oio_uring por omissão; linux-aio, epollSPDK por omissão, nível io_uring
Poolspools novos com a flag crimsonpools clássicos existentes
Mudar dados existentescopiar para um pool novobackfill no mesmo pool
Instalado comcephadm, --osd-type crimsonpacotes, croit-flashstore-tool
Build recomendadaa build de CI mais recente de mainsnapshots de versão

O Crimson mantém a abrangência. A documentação diz que o SeaStore «may not be suitable for traditional HDDs», mas que «Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs»1, e o documento de desenho do SeaStore ainda indica interesse em HDD27. O seu messenger recusa a v1 de vez, «ProtocolV1 is no longer supported»32, a mesma escolha que o FlashStore fez33. A documentação recomenda «one of the latest available builds, as Crimson evolves rapidly», o que na prática quer dizer imagens de CI de main1.

O FlashStore restringe tudo a NVMe com proteção contra perda de energia, e tira daí a sua simplicidade34. O que é exatamente o compromisso que o ADR da croit descreve, visto do outro lado.

Duas respostas à mesma pergunta

Os dois projetos partiram da mesma observação: o OSD clássico desperdiça hardware rápido. Deram respostas muito diferentes.

A resposta do Crimson é a da comunidade. Reescrever o OSD no lugar, dentro do Ceph, manter a funcionar todos os stores antigos e todos os discos antigos enquanto o store novo amadurece, e deixar toda a gente ver o trabalho à medida que acontece. Isso é lento, e nota-se. No Umbrella, o OSD Crimson por omissão ainda corre BlueStore através de um pool de threads, os seus pools ficam vedados dos teus, e ligá-lo significa escrever as palavras «unrecoverable data corrupting». Mas pertence a toda a gente que corre Ceph, e ninguém to pode tirar.

A resposta do FlashStore é a do fornecedor. Escolher um alvo mais estreito, NVMe com proteção contra perda de energia, deitar fora tudo o que só existia para outro hardware, e entregar um store que entra nos pools que já tens. Isso é mais rápido, e também se nota. Mas vem de uma só empresa, como snapshots só de leitura até à primeira versão de produção, e num cluster de série entra dizendo ao monitor que é BlueStore.

Trabalho para essa empresa, por isso pesa o que se segue em conformidade. A croit fez a aposta técnica certa para clusters all-flash. O Crimson fez a aposta certa para o Ceph enquanto projeto. Não são a mesma coisa. Um projeto que serve toda a gente não pode largar os HDD. Um fornecedor pode, e deve, se é isso que os seus clientes compram.

O que eu não faria é escolher entre os dois com base num gráfico de benchmark de qualquer dos lados. Os números do Crimson dependem de qual dos seus três stores estava a correr; os do FlashStore vêm do laboratório da própria croit. Ambos os projetos publicam os seus documentos de desenho. Lê-os, depois põe os dois nos discos que irias mesmo usar e corre a tua própria carga. Aquele que continuar a fazer o que os seus documentos dizem quando são os teus dados em jogo é o que vale a pena esperar.


  1. Ceph Umbrella, Crimson (Tech Preview) — «the next generation ceph-osd», «not suitable for production use», as flags obrigatórias, crimson_cpu_num, backends nativos e não nativos, SeaStore «not the default», --method raw não suportado. Fonte: doc/crimson/crimson.rst na v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. croit ceph-rust, README no snapshot 48f9014 — afirmação de drop-in, preview desde 9 de novembro de 2026, GA no 1.º trimestre de 2027, «not yet recommended for production data», «no issue tracker, no contribution workflow». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  3. Seastar — o framework C++ sobre o qual o Crimson é construído. ↩︎ ↩︎

  4. ceph-rust ADR 0003, green-field, sem fork do Crimson — «Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -> complexity. Complex code is never fast.»; fork rejeitado por «C++, complexity, LGPL». ↩︎ ↩︎ ↩︎

  5. ceph-rust ADR 0164, licenças — datado de 2026-10-17; daemon LGPL-3.0-only. ↩︎

  6. CISA, NSA, FBI, ASD’s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (dezembro de 2023) — «Programming languages such as C and C++ are examples of memory unsafe programming languages»; o Rust «can contain the ‘unsafe’ keyword». ↩︎ ↩︎

  7. CISA and FBI: Product Security Bad Practices, v2.0 (janeiro de 2025) — novas linhas de produtos para infraestrutura crítica «in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous». ↩︎

  8. ceph-rust ADR 0002, linguagem: Rust — «Storage = correctness-critical; memory-safety bugs = data loss»; unsafe «confined to ffi/dma/nvme/net-driver modules with SAFETY comments»; SPDK e DPDK via FFI. ↩︎ ↩︎ ↩︎

  9. Ceph v21.2.0, crimson/osd/shard_services.cc — «ignoring pgid {}, pool lacks crimson flag». ↩︎ ↩︎

  10. Ceph v21.2.0, OSDMonitor.cc, criação de pools crimson — «crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to ‘off’». ↩︎

  11. Ceph v21.2.0, OSDMonitor.cc, alterações de pg_num no crimson — «pg merging is not yet supported in Crimson». ↩︎

  12. Ceph v21.2.0, crimson_allow_pg_split — «Allow Crimson pools to increase their PG count (split)», true por omissão. ↩︎

  13. Ceph v21.2.0, OSDMonitor.cc, pools EC para o Crimson — «For Crimson - only EC-optimized pools are supported», «Omap is not supported by EC pools in crimson». ↩︎ ↩︎

  14. ceph-rust docs, pools com erasure coding — EC legado e otimizado servidos por omissão; pools não suportados declinados pelo OSD. ↩︎

  15. Ceph v21.2.0, MonCommands.h, osd pool create — name=crimson,type=CephBool,req=false, o único sítio onde a flag é aceite. ↩︎

  16. Ceph v21.2.0, MonCommands.h, osd pool set — as variáveis definíveis; crimson não está entre elas. ↩︎

  17. Ceph Umbrella, migração a quente de imagens RBD — «RBD images can be live-migrated between different pools». ↩︎

  18. ceph-rust docs, migrar a partir do clássico — acrescentar ou libertar um disco, preparar o FlashStore, deixar o backfill mover os dados. ↩︎

  19. Ceph v21.2.0, crimson/osd/osd.cc — m->metadata["osd_type"] = "crimson". ↩︎

  20. Ceph v21.2.0, OSDMonitor.cc, verificação de arranque — «Disallowing boot of crimson-osd without allow_crimson OSDMap flag», «considered unstable and may result in crashes or data loss». ↩︎

  21. ceph-rust ADR 0019, reportar osd_objectstore=bluestore — sem chave osd_type, as condições de funcionalidades BlueStore do monitor. ↩︎ ↩︎ ↩︎

  22. Ceph v21.2.0, crimson.yaml.in — crimson_reactor_idle_poll_time_us 200, crimson_poll_mode «at the expense of 100% cpu usage» false por omissão, crimson_bluestore_num_threads. ↩︎ ↩︎

  23. Ceph v21.2.0, seastore_require_partition_count_match_reactor_count — «disable osd shards changes upon restart», true por omissão. ↩︎

  24. ceph-rust ADR 0006, runtime thread-per-core — uma thread fixa de busy-polling por núcleo, PG pertencentes a um só núcleo. ↩︎

  25. ceph-rust ADR 0004, I/O de armazenamento — SPDK e o nível io_uring, repouso temporizado pelo dispositivo. ↩︎

  26. ceph-rust docs, referência de configuração — flashstore_cores 8 por omissão, flashstore_lcores, flashstore_store_shards fixo na preparação. ↩︎

  27. Ceph Umbrella, documentação de desenvolvimento do SeaStore — raiz por reactor, árvores de onode, OMAP, LBA e backref, «clean» de um byte por cada byte escrito, a ordem do registo de journal, o backend RBM. Fonte: doc/dev/crimson/seastore.rst na v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  28. ceph-rust ADR 0021, motor de armazenamento — uma B+tree COW por shard, commit paralelo, checkpoints, manutenção em segundo plano, alternativas rejeitadas incluindo log-structured e «Per-object omap subtree/root». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  29. Ceph v21.2.0, crimson/os/seastore/cached_extent.h — «Returns crc32c of buffer». ↩︎

  30. Ceph v21.2.0, seastore_main_device_type — «The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)», SSD por omissão. ↩︎ ↩︎

  31. Ceph v21.2.0, seastore_segment_size — 64 MiB por omissão. ↩︎

  32. Ceph v21.2.0, crimson/net/SocketMessenger.cc — «ProtocolV1 is no longer supported». ↩︎

  33. ceph-rust ADR 0168, fora de âmbito — msgr1 de fora, só v2. ↩︎

  34. ceph-rust docs, requisitos de hardware e de host — PLP obrigatória, namespaces inteiros. ↩︎