Declaração logo à partida: trabalho para a croit, que escreveu isto. Tudo o que está abaixo foi lido no código-fonte e na documentação publicados dos dois projetos, com ligações no fim da página, e onde a documentação da própria croit discorda do código da própria croit, digo-o.

O OSD do Ceph, reescrito de raiz

A croit publicou o ceph-rust, um OSD do Ceph escrito do zero em Rust, com um object store próprio chamado FlashStore no lugar do BlueStore1. Entrou em pré-visualização pública a 9 de novembro de 2026, com disponibilidade geral prevista para o primeiro trimestre de 20271. Não é um fork. A regra do próprio projeto é que o C++ do Ceph é lido como referência, passado a uma especificação por palavras da própria croit, e depois implementado a partir da especificação2.

A afirmação que importa a quem corre Ceph é a da substituição direta. Os teus monitores, os teus managers, a CLI ceph e os teus clientes ficam como estão. Um OSD FlashStore junta-se aos mesmos pools e aos mesmos placement groups que os OSD clássicos que já lá estão, e mudas um disco de cada vez1.

O que é trocadoceph-mon, ceph-mgr21.2.0 clássicoclienteslibrados, librbd, krbdum pool, os mesmos placement groupsceph-osdBlueStoreRocksDB sobre BlueFSC++, do Cephcroit-flashstore-osdFlashStoreCOW B+tree + WALRust, da croit
Só o OSD muda. Monitores, managers e clientes continuam a ser Ceph clássico, e um placement group pode ter uma cópia em cada tipo.

Por isso a pergunta para um operador é prática. Se trocares um OSD BlueStore por um FlashStore, o que é que é diferente por baixo? Não em abstrato, e não contra um BlueStore qualquer de uma palestra de conferência de há anos. Contra o BlueStore que corres de facto hoje se estás no Umbrella, o Ceph 21.2.0, que é a versão contra a qual o FlashStore é compilado e testado1.

Então essa é a comparação aqui, e só essa. O BlueStore do Umbrella como o seu próprio código e documentação o descrevem, contra o FlashStore como o seu código e os seus registos de decisão o descrevem.

Diz respeito a quem tem clusters Ceph em NVMe, e a quem já olhou para o que um OSD lhe custa em núcleos. Não diz respeito a clusters de HDD de todo, e a razão para isso aparece mais abaixo.

O que está no repositório

O repositório é um snapshot só de leitura da árvore de desenvolvimento privada da croit. Nenhum issue tracker, nenhum pull request; as atualizações chegam como novos commits de snapshot1. É essa a fase de pré-visualização, e está lá para recolher opiniões da comunidade enquanto a croit corre internamente os seus casos de teste de produção antes de o dar como seguro para uso. O desenvolvimento aberto vem depois da primeira versão de produção, como na maioria dos projetos open source patrocinados por empresas. Este tem data de 10 de novembro de 2026 e leva cerca de 700 000 linhas de Rust e mais de 450 registos de decisões de arquitetura, os ADR, que são os documentos curtos que registam porque é que cada escolha de desenho foi feita.

Os ADR são a parte útil para uma comparação destas. São diretos, trazem medições, e registam o que foi tentado e deitado fora, além do que ficou.

ComponenteO que substituiPré-visualizaçãoGA (prevista)
OSD FlashStoreceph-osd + BlueStorenov. 2026T1 2027
librustyradoslibradosnov. 2026T1 2027
librustyrbdlibrbdnov. 2026T1 2027
Transporte RDMA (RoCEv2)nada no Umbrellanov. 2026T1 2027
CephFS2, RGW em RustMDS, RGWT1 2027T2 2027
ceph-mon, ceph-mgrnão substituídosn/an/a

Vale a pena conhecer as licenças antes de construíres alguma coisa em cima disto. O daemon e as ferramentas são LGPL-3.0-only, as bibliotecas cliente são MPL-2.0, e a documentação é CC-BY-SA-4.03. As bibliotecas cliente passaram a MPL para que um programa em Rust as possa ligar estaticamente sem as obrigações de re-ligação que a LGPL traz, o que é uma escolha fundamentada e está escrita como tal3.

Pré-visualização quer dizer o que diz. O próprio README da croit diz que é para testes e avaliação e «not yet recommended for production data»1. Eu também ainda não punha lá dados de clientes, e nada no resto deste artigo muda isso.

Dois stores, lado a lado

Um OSD tem duas metades. A metade de cima fala o protocolo Ceph, é dona dos placement groups, faz peering, recupera e faz scrub. A metade de baixo, o object store, transforma «escreve estes bytes neste objeto» em blocos num disco e promete que sobrevivem a um corte de energia.

O BlueStore é a metade de baixo do Umbrella. A documentação diz que ele «reads and writes to the devices directly in a ‘raw’ fashion»4, e que consome «raw block devices or partitions»5. Os dados dos objetos vão diretamente para o dispositivo de blocos. Tudo o resto, os metadados dos objetos, o OMAP e a sua própria contabilidade, vai para uma base de dados chave/valor RocksDB embebida, e o RocksDB assenta no BlueFS, um pequeno sistema de ficheiros que o BlueStore traz para ele56.

O FlashStore deita tudo isso fora. Uma B+tree copy-on-write por shard do store guarda tudo: coleções, metadados dos objetos, atributos estendidos, mapas de extents, OMAP, o PG log, contagens de referências e até o próprio bitmap do alocador7. Ao lado fica um anel de write-ahead log de redo e a região de dados. Não há RocksDB, não há BlueFS, e não há uma segunda base de dados para afinar.

Duas pilhas debaixo de um OSDBlueStore do UmbrellaFlashStoreceph-osd8 shards de op × 2 threadscamada de objetos BlueStorealocador hybriddados dos objetosbloco em bruto, aioRocksDBonodes, omap, diferidasBlueFSblock ou block.dbcamada de blocos do kernelflush antes do commitHDD, SSD ou NVMe, qualquer partiçãocroit-flashstore-osd1 thread fixa por núcleoshard do store por núcleoalocador próprio, sem locksdados dos objetosextents novos de 4 KiBB+tree COWmeta, omap, PG loganel de WALlog de redo, por shardSPDK (vfio) ou io_uringsem flush no caminho críticoNVMe com PLP, 4 KiB, namespace inteiro
O BlueStore do Umbrella separa dados e metadados no topo e passa os metadados pelo RocksDB e pelo BlueFS. O FlashStore separa por núcleo, e dentro de cada shard uma árvore guarda tudo o que não são dados de objetos.

A outra grande divisão é o próprio disco. O BlueStore passa pela camada de blocos do kernel até ao que lhe deres. O FlashStore fala com o NVMe ou com o SPDK, um driver em espaço de utilizador que tira o dispositivo ao kernel através do vfio, ou através do kernel com io_uring89. O SPDK é o backend predefinido. O nível io_uring é o que funciona onde o vfio não funciona, e assim sendo é aquele em que acabei por ficar na montagem em Proxmox.

Onde vivem os metadados

Começa por aqui. A maior parte do resto decorre disto.

BlueStore do UmbrellaFlashStore
Metadados dos objetoschaves RocksDBB+tree COW por shard
OMAPchaves RocksDBa mesma B+tree por predefinição; LSM ou RocksDB opcionais no prepare
PG logchaves RocksDBa mesma B+tree
Estado do alocadoralocador híbrido, freelist no RocksDBbitmap por shard, dentro da árvore
Dispositivo de metadadosblock.db e block.wal opcionaisnenhum, o mesmo NVMe
Checksums dos dadoscrc32c por 4 KiB por predefiniçãocrc32c por 4 KiB, no mapa de extents
Número de stores por OSDumum por núcleo

As predefinições do lado do BlueStore vêm diretamente do ficheiro de opções do Umbrella: RocksDB como backend chave/valor, o alocador híbrido, checksums crc32c61011. O checksum dos metadados do BlueStore «is handled by RocksDB and uses the crc32c algorithm», e os dados custam-lhe «a checksum value (usually 4 bytes) for every 4 KB block of data»4. Nos checksums os dois stores estão de acordo. O FlashStore guarda um crc32c por bloco de 4 KiB no mapa de extents e verifica-o na leitura7.

É na estrutura que se separam. O RocksDB do BlueStore é uma log-structured merge tree, por isso escreve e depois compacta em segundo plano, reescrevendo dados que já escreveu. A árvore do FlashStore é atualizada por copy-on-write e dobrada para o disco em checkpoints: de cinco em cinco segundos enquanto houver alguma coisa por persistir, ou quando o anel do WAL chega a meio7.

Outra consequência é que o FlashStore não tem dispositivo rápido para metadados, porque não precisa de um. No Umbrella podes pôr o block.db num disco mais rápido, e o BlueStore põe «as much metadata as it can on the DB device»4. O FlashStore parte do princípio de que todos os discos já são NVMe rápido, e guarda os metadados ao lado dos dados. É um pressuposto justo para o hardware a que se destina. É também exatamente por isso que não há história para HDD.

O OMAP é o único sítio em que o FlashStore se acautela. A árvore é a predefinição, mas um store pode ser preparado com um motor LSM da própria croit, ou com RocksDB, atrás da mesma interface12. O motor de OMAP é escolhido quando o store é criado. Não o trocas num OSD a correr.

Uma escrita de 4 KiB, de duas maneiras

Eis a diferença que sentirias, se sentires alguma.

Pega numa escrita de 4 KiB para um objeto no Umbrella com as definições predefinidas em flash. O bluestore_min_alloc_size_ssd é 4 KiB e o bluestore_prefer_deferred_size_ssd é 0, por isso uma escrita inteira de 4 KiB vai para 4 KiB acabados de alocar1314. O BlueStore submete essa escrita de dados, e a transação fica em STATE_AIO_WAIT até o disco dizer que acabou15. Só então os metadados entram na fila do RocksDB, e a thread de sincronização do RocksDB faz flush ao dispositivo de blocos antes do commit16. Depois o cliente recebe a confirmação.

Duas idas ao dispositivo, em série.

O FlashStore manda as duas ao mesmo tempo. Os dados vão para um extent novo de 4 KiB e a unidade de WAL vai para o anel do log em paralelo. O registo do WAL leva o crc32c de cada bloco de dados novo, por isso o replay depois de uma falha consegue saber se os dados chegaram7. A confirmação sai, pela ordem do log, quando os dados, a unidade de WAL e todas as transações anteriores estão duráveis7. A justificação do próprio ADR para o desenho é «parallel commit gives one device latency per ack»7.

Uma escrita de 4 KiB, contra o relógioBlueStoreescrita de dados4 KiB novos, aio, esperacommit do RocksDBlog do BlueFS + flushack2 idasFlashStoredados, 4 KiB novosunidade WAL, crc dos dadosack1 idatempo
A mesma escrita de 4 KiB. O BlueStore espera pelos dados antes de fazer commit no RocksDB; o FlashStore escreve os dados e o seu registo de log juntos.

Há duas coisas que mantêm isto honesto. Num OSD ocupado, os dois stores agrupam commits, por isso a diferença sob carga é menor do que uma latência de dispositivo por escrita. E uma ida ao dispositivo em NVMe são umas dezenas de microssegundos. Se reparas nela depende de os teus clientes estarem à espera de latência com baixa profundidade de fila, o que as bases de dados em RBD muitas vezes estão, ou a empurrar débito, onde se dilui.

A croit tentou ir mais longe, para uma escrita no dispositivo por transação, ao estilo do ZFS. Construíram-no, mediram-no e deitaram-no fora: o ganho só aparecia com profundidade de fila 1 e a complexidade não compensava17. Dou mais valor a isso do que a qualquer gráfico de benchmark. É um registo de decisão que diz «construímos isto e não compensou», em público.

A escrita de menos de 4 KiB

A escrita mais pequena é onde os dois divergem a sério.

Imagina que um cliente sobrescreve 512 bytes no meio de um bloco que já tem dados. O Umbrella continua a correr o seu caminho de escrita original por predefinição; o bluestore_write_v2, a reformulação, vem desligado18. Nesse caminho, uma escrita mais pequena do que o min_alloc_size para um bloco já alocado passa a ser uma escrita diferida19. Os dados vão dentro da transação do RocksDB como uma chave com o prefixo L, e só vão para o seu verdadeiro lugar depois de o cliente ter sido informado de que estão seguros2021.

Uma escrita de menos de 4 KiBBlueStore, diferida1 ler o restocompletar até 4 KiB2 dados na chave Llog do RocksDB3 commit, flushcliente confirmado4 escrever no lugaros mesmos 4 KiB de novo5 apagar a chave Loutro commitFlashStore4 KiB novos inteiros + WALem paralelo, nunca no lugarcliente confirmadoo antigo sai depois
O caminho diferido do Umbrella para uma escrita de menos de 4 KiB num bloco usado, contra o extent novo do FlashStore. O rosa marca cada vez que os próprios dados são escritos.

Por isso os dados chegam ao disco duas vezes. A documentação do Umbrella não o esconde: «writes smaller than min_alloc_size must first pass through the BlueStore WAL»4.

O FlashStore nunca sobrescreve dados vivos no lugar, ponto final7. Objetos até 2 KiB vão mais longe e vivem inteiramente na árvore, por isso uma escrita no WAL é o commit inteiro7.

Isso também quer dizer que o FlashStore não tem fila de escritas diferidas para esvaziar, nem replay diferido na montagem, nem chaves L para limpar. Paga noutro sítio: os blocos libertados ficam retidos até ao checkpoint seguinte, por isso o espaço libertado fica atrasado até um intervalo de checkpoint7.

Threads contra núcleos

A metade de cima do OSD difere na mesma medida.

O ceph-osd do Umbrella é um servidor clássico com threads, e cada número na metade esquerda do diagrama abaixo é uma das suas predefinições em flash22. Uma operação atravessa vários desses pools pelo caminho. Partilham estado atrás de locks.

O FlashStore mantém a viagem inteira num só núcleo fixo e em polling, da placa de rede até ao disco e de volta23. Cada placement group pertence a exatamente um núcleo, e o mesmo acontece com tudo aquilo em que o PG toca: «no locks, no atomics, no shared mutable state»24. O tráfego entre núcleos passa por anéis de produtor único, e a posse da mensagem vai com ele.

Threads contra núcleosceph-osd do Umbrella3 threads de messengerfila de operações mClock8 shards × 2 threadsbstore_kv_sync, bstore_kv_finalRocksDB, BlueFScroit-flashstore-osdnúcleo 0núcleo 1núcleo nfila da NICmsgr2, PGsshard do storefila NVMefila da NICmsgr2, PGsshard do storefila NVMefila da NICmsgr2, PGsshard do storefila NVMeanéis SPSC entre núcleos, sem locks
O Umbrella passa uma operação de pool de threads em pool de threads. O FlashStore mantém-na num núcleo da rede ao disco, e só atravessa núcleos através de anéis.

O store segue a mesma divisão. O flashstore_store_shards tem por predefinição um shard por núcleo, cada um com o seu anel de WAL, a sua árvore e o seu alocador, e um PG vive em exatamente um shard257. O BlueStore é um store por OSD com um RocksDB.

Há um preço, e o ADR di-lo: «idle cores burn CPU (accepted; optional adaptive sleep later)»23. Trabalho posterior acrescentou inatividade adaptativa e esperas cronometradas pelo dispositivo para que um núcleo não fique a girar durante toda a latência do dispositivo com baixa profundidade de fila8, mas o princípio mantém-se, e o flashstore_cores tem 8 por predefinição quando não fixas um intervalo25. Dás ao FlashStore núcleos inteiros.

Num nó de armazenamento dedicado, tudo bem. Numa máquina hiperconvergente onde esses núcleos também correm VM, é a primeira conta a fazer.

O disco tem de cumprir a promessa

O BlueStore foi escrito para lidar com um disco que mente sobre quando os dados estão seguros. O FlashStore recusa-se a lidar com esse disco de todo.

BlueStore do UmbrellaFlashStore
O que torna uma escrita durávelflush do dispositivo de blocos antes do commit do RocksDBa escrita concluída num disco com PLP
Flush no caminho críticosimnão
Disco com cache de escrita volátilusado, e com flusho mkfs recusa-o; verificação do anfitrião FAIL
Contornarnão é precisosó em laboratório: bit FUA em cada escrita durável

O lado do BlueStore é a thread de sincronização kv já citada16. O lado do FlashStore é o ADR de durabilidade e a verificação do anfitrião: PLP quer dizer que o disco reporta não ter cache de escrita volátil, por isso uma conclusão quer dizer que os dados estão em meio estável2426.

É a decisão certa para o alvo, mas sê claro quanto ao que ela exclui, porque quase todo o NVMe de consumo tem cache volátil e não tem PLP, e o mesmo acontece com uma boa parte do equipamento de «datacentre» vendido pelo preço. Sem PLP, não há FlashStore. Pense-se o que se pensar do resto.

Onde o FlashStore não corre

Põe os requisitos lado a lado e o mercado-alvo é óbvio.

BlueStore do UmbrellaFlashStore
SuportesHDD, SSD, NVMesó NVMe
Proteção contra perda de energianão obrigatóriaobrigatória, o mkfs recusa sem ela
Formato de setor512 B ou 4 KiB4 KiB esperado, avisa no caso contrário
Disposiçãopartições, LVM via ceph-volumenamespaces inteiros, sem partições
Dispositivo DB/WAL separadosuportadonão existe
Cifragem em repouso--dmcrypt via ceph-volumefora do âmbito
Clientes msgr1ligado por predefiniçãorecusados, só msgr2
Cache tieringobsoleto, ainda presenterecusado, o pool passa a passivo
Requisitos de kernelqualquer suportadoio_uring: Linux 5.19+, ou o 5.14 do RHEL 9 com backports; hugepages para o SPDK

A coluna do BlueStore é do próprio Umbrella: o ceph-volume cifra volumes lógicos «using dmcrypt by specifying the --dmcrypt flag»27, e o ms_bind_msgr1 continua a ser true por predefinição28. A coluna do FlashStore vem da sua referência de hardware e da sua decisão de âmbito2629.

Duas delas merecem mais do que uma linha de tabela.

A cifragem em repouso está fora, com uma razão: o SPDK contorna o dm-crypt, e a cifragem dentro do store não está planeada. A resposta do ADR são discos NVMe com autocifragem, ou cifrar acima do store, no cliente ou no RGW29. Se tens um requisito de conformidade que nomeia dm-crypt no OSD, isso hoje é um impedimento.

O msgr1 está fora como risco aceite. Clientes do kernel anteriores ao 5.11 e librados anteriores ao Nautilus não conseguem falar com um OSD FlashStore de todo29. A maior parte dos parques já passou isso há muito. Alguns não, e é a velha máquina esquecida ao canto que dá por isso.

Diz ao monitor que é BlueStore

Esta é a que vai apanhar gente.

Por predefinição, um OSD FlashStore arranca e diz aos monitores osd_objectstore=bluestore30. Não se está a esconder. Acrescenta as suas próprias chaves flashstore_version e flashstore_build ao lado30. A razão é compatibilidade: um monitor Umbrella só permite funcionalidades como sobrescritas EC num pool quando todos os OSD nele reportam BlueStore, e módulos do manager como o Prometheus e a telemetria ramificam pelo mesmo valor30. O ADR é explícito em que bluestore aqui «is a compat value for mon/mgr feature gates, not a product name»30.

Há um interruptor, flashstore_report_objectstore=flashstore, que muda o nome a tudo: os metadados, as chaves bluestore_bdev_*, o perf logger, os comandos tell e os códigos de saúde BLUESTORE_*. Precisa de monitores com patches, e a predefinição continua a ser bluestore2530. As compilações do Ceph da própria croit levam esses patches, por isso nelas o FlashStore apresenta-se como flashstore e nada do que se segue se aplica. O nome bluestore está lá para os monitores e managers de origem que as pessoas correm em produção hoje.

O que é dito ao monitorOSD FlashStorepredefiniçãoosd_objectstore=bluestoreflashstore_version=…mon, mgr: BlueStoresobrescritas EC permitidasOSD FlashStorereport=flashstoreosd_objectstore=flashstoreflashstore_bdev_*mon clássico: não é BlueStoreprecisa de mon com patchO store é o mesmo nas duas linhas. Só muda o nome que dá.
O mesmo store, dois nomes. A predefinição mantém os monitores e managers do Umbrella contentes, ao preço de os OSD FlashStore contarem como BlueStore em todo o lado para onde olhes.

Percebo porquê. Um controlo do monitor baseado numa string é desenho do Ceph, não da croit, e recusar dizer bluestore desligaria funcionalidades num cluster sem patches. Essa é a armadilha num cluster de origem. Todos os dashboards, todos os scripts de inventário e todos os ceph osd count-metadata osd_objectstore que corras vão contar os OSD FlashStore como BlueStore. Durante uma migração, quando mais precisas de saber que OSD são quais, o campo óbvio não te diz nada.

Por isso verifica o flashstore_version no ceph osd metadata, não o osd_objectstore. Põe isso no teu runbook antes de o primeiro OSD FlashStore entrar.

Os mesmos botões, comportamento diferente

O FlashStore lê muitas das opções existentes do Ceph, e isso são sobretudo boas notícias. Nem todas as opções querem dizer o que queriam dizer no Umbrella, e as que não querem são onde um cluster afinado é apanhado de surpresa.

OpçãoBlueStore do UmbrellaFlashStore
compression_mode, por poolnone, passive, aggressive, forceos mesmos quatro, o mesmo significado
compression_algorithmsnappy por predefiniçãosnappy, zlib, zstd, lz4; nível zstd fixo em 1
bluestore_compression_max_blob_size_ssd64 KiBblocos de 64 KiB
osd_memory_target4 GiB, caches autoajustadas em execuçãolido uma vez no arranque, dimensiona as caches do store, sem autoajuste
osd_op_queuemclock_scheduleraceite e ignorado
osd_mclock_*ativoaceite e ignorado
csum_typecrc32c por predefinição, variantes xxhash disponíveiscrc32c fixo; qualquer outro valor regista um aviso31

A compressão coincide. O modo predefinido do BlueStore é none e o algoritmo predefinido é snappy3233; o FlashStore implementa os mesmos quatro modos, as mesmas opções de pool e os mesmos blocos de 64 KiB, e o ADR nota que um bloco de 64 KiB compressível a 50% ocupa o mesmo espaço nos dois34. Nem sempre ia lá estar. O ficheiro do ADR ainda se chama no-store-compression, da decisão original, revertida quando a croit fixou como mandato a paridade funcional total com o Ceph clássico34.

A memória não é paridade. O Umbrella autoajusta as caches do BlueStore em função do osd_memory_target enquanto corre3536. O FlashStore lê o alvo uma vez no arranque, divide-o pelos seus shards, e uma alteração feita com ceph config set só produz efeito no reinício seguinte37. Também não segura o processo ao alvo: hugepages, buffers de rede e estado dos PG ficam de fora37. Por isso o osd_memory_target dimensiona as caches do FlashStore. Não limita a memória do OSD da forma a que talvez estejas habituado.

E o mClock é simplesmente ignorado37. Não é reduzido. É ignorado. Não há escalonador de operações para configurar, porque cada núcleo é dono dos seus PG. A recuperação e o backfill são travados pelo osd_max_backfills, pelo osd_recovery_max_active e pelas opções de sleep37. Se afinaste perfis do mClock para uma reconstrução no Umbrella, essas definições não fazem nada num OSD FlashStore, e nada te vai avisar.

Não há conversão, em nenhum dos sentidos

Não consegues converter um OSD BlueStore num FlashStore. O guia de migração da croit é claro: «There is no in-place conversion of a BlueStore device»38. Em vez disso oferece duas ordens, e ambas são backfill38:

Acrescentar, depois removerLibertar, depois acrescentar
Precisa deuma ranhura NVMe livrenada livre
Passo 1preparar o FlashStore no disco novoceph osd out, esperar pelo estado limpo
Passo 2esperar por active+cleanparar e purgar o OSD clássico
Passo 3remover o OSD clássicopreparar o FlashStore no disco libertado
Risco enquanto correnenhum além do backfill normaluma cópia a menos até o backfill acabar

Nem fica mais fácil depois. O formato em disco do FlashStore tem bits de funcionalidade, e uma montagem recusa um bit desconhecido: «Every format change means mkfs; unknown bits refuse mount (no downgrade)»7. Por isso uma mudança de formato numa versão posterior do FlashStore é o mesmo esvaziar e voltar a encher da primeira migração.

O único caminhoOSD BlueStoreosd.N no nvme0OSD FlashStoremkfs novosem conversão, em nenhum sentidoo clusterbackfill das cópiasout, purgebackfill de entrada
O backfill é a única ponte entre os dois stores, e é também a ponte entre dois formatos do FlashStore.

Há uma coisa que a documentação tem errada. A lista de verificação do guia de migração diz para garantir que «the pools do not use erasure coding on croit-flashstore-osd OSDs»38. O guia de erasure coding no mesmo snapshot diz que o FlashStore serve pools EC legados por predefinição, e a predefinição do próprio código para EC otimizado é all3940. Um dos dois está desatualizado, e pelo código é o guia de migração. Mesmo assim, eu lia o guia de EC por inteiro antes de misturar pools EC pelos dois tipos de OSD, porque a falha que descreve é um PG que degrada e um backfill que encrava39.

Um store feito para os discos que de facto compramos

O BlueStore foi feito para correr em tudo. Discos rotativos, SSD baratos, NVMe, partições, LVM, volumes cifrados, um dispositivo DB rápido à frente de um dispositivo de dados lento. Essa amplitude é a razão por que se tornou a predefinição, e é a razão por que carrega um caminho de escrita diferida, um flush antes de cada commit, uma base de dados chave/valor num sistema de ficheiros só seu, e um pool de threads para manter tudo isso a andar. Cada uma dessas coisas existe porque algum disco algures precisou dela.

O FlashStore começa pela ponta oposta. Parte do princípio de que o disco é NVMe, de que tem proteção contra perda de energia, e de que é rápido o suficiente para que o software seja agora o gargalo. Depois deita fora tudo o que só existia por causa dos outros discos.

É a aposta certa? Para clusters novos totalmente em flash, construídos em NVMe empresarial a sério, sim. É para aí que os clusters Ceph estão a ir, e um OSD que gasta os seus núcleos em locks, passagens de mão e uma base de dados a compactar atrás dele está a pagar, a cada segundo de cada dia, por uma flexibilidade que um cluster desses nunca vai usar.

Mas a aposta tem um custo, e prefiro que o vejas antes de entrares nela. Abdicas de HDD, dm-crypt, msgr1, ajuste de memória em execução e mClock. Num cluster de origem ficas com um OSD que diz aos teus monitores que é BlueStore, porque os monitores e managers de hoje não lhe deixam outra saída; as compilações da própria croit não vão precisar disso. Ficas com um formato para o qual não consegues converter, e entre cujas versões também não consegues converter. E ficas com ele em pré-visualização, de um único fornecedor, que por acaso me emprega.

Por isso trata o código-fonte como a prova, não este artigo nem o relatório de benchmark da croit. Os registos de decisão são públicos e dizem o que foi medido e o que foi deitado fora. Lê-os, monta um cluster de teste com o equipamento que implementarias de facto, e mede a tua própria carga de trabalho. Se fizer nos teus discos o que os ADR dizem que faz, vais saber. Se não fizer, também vais saber, e terás descoberto num cluster de teste.


  1. croit ceph-rust, README no snapshot 48f9014 — componentes, estado e roteiro, «not yet recommended for production data», compatível na rede com v21.2.0 e v20.2.4. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. ADR 0003, de raiz, sem fork do Crimson — «No fork, no linking of Ceph code»; o código do Ceph lido como referência, especificações por palavras próprias. ↩︎

  3. ADR 0164, licenças — daemon e ferramentas LGPL-3.0-only, bibliotecas cliente MPL-2.0, documentação CC-BY-SA-4.0, e a razão da MPL. ↩︎ ↩︎

  4. Ceph Umbrella, referência de configuração do BlueStore — acesso direto ao dispositivo, dispositivo DB, «writes smaller than min_alloc_size must first pass through the BlueStore WAL», checksums. ↩︎ ↩︎ ↩︎ ↩︎

  5. Ceph Umbrella, dispositivos de armazenamento — o BlueStore «consumes raw block devices or partitions»; RocksDB embebido para os metadados internos. ↩︎ ↩︎

  6. Ceph v21.2.0, bluestore_kvbackend — predefinição rocksdb. ↩︎ ↩︎

  7. ADR 0021, motor de armazenamento — B+tree COW por shard, anel de WAL, commit paralelo, checkpoints, dados inline, libertações retidas, «Every format change means mkfs». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  8. ADR 0004, E/S de armazenamento — SPDK sobre vfio, alterado para dois níveis com io_uring, inatividade cronometrada pelo dispositivo. ↩︎ ↩︎

  9. Documentação do ceph-rust, prepare e activate — spdk é o backend predefinido, kernel e kernel-cmd mantêm o NVMe no driver do kernel. ↩︎

  10. Ceph v21.2.0, bluestore_allocator — predefinição hybrid. ↩︎

  11. Ceph v21.2.0, bluestore_csum_type — predefinição crc32c. ↩︎

  12. ceph-rust, utilização do croit-flashstore-tool — «fresh prepare/mkfs –omap-engine btree|lsm|rocksdb». ↩︎

  13. Ceph v21.2.0, bluestore_min_alloc_size_ssd — predefinição 4 KiB. ↩︎

  14. Ceph v21.2.0, bluestore_prefer_deferred_size_ssd — predefinição 0. ↩︎

  15. Ceph v21.2.0, BlueStore.cc, máquina de estados da transação — aios pendentes passam a transação para STATE_AIO_WAIT antes de entrar na fila do commit chave/valor. ↩︎

  16. Ceph v21.2.0, BlueStore.cc, thread de sincronização kv — «flush/barrier on block device» antes da submissão ao RocksDB. ↩︎ ↩︎

  17. ADR 0027, commit atómico de uma só E/S, rejeitado — «gain only at QD1», construído e removido. ↩︎

  18. Ceph v21.2.0, bluestore_write_v2 — «Use faster write path», predefinição false. ↩︎

  19. Ceph v21.2.0, BlueStore.cc, _do_write_small — leitura da cabeça e da cauda, depois «chunk-aligned deferred overwrite». ↩︎

  20. Ceph v21.2.0, BlueStore.cc, «journal deferred items» — a transação diferida é definida como chave na mesma transação do RocksDB. ↩︎

  21. Ceph v21.2.0, BlueStore.cc, prefixos de chave — PREFIX_DEFERRED = "L". ↩︎

  22. Predefinições de threads do Ceph v21.2.0 — osd_op_num_shards_ssd 8; osd_op_num_threads_per_shard_ssd 2; osd_op_queue mclock_scheduler; ms_async_op_threads 3; criação de threads no BlueStore.cc, bstore_kv_sync e bstore_kv_final. ↩︎

  23. ADR 0006, runtime de uma thread por núcleo — uma thread fixa em busy-polling por núcleo, PG pertencentes a um núcleo, «idle cores burn CPU (accepted …)». ↩︎ ↩︎

  24. ADR 0008, concorrência e durabilidade — «no locks, no atomics, no shared mutable state»; PLP obrigatório, o mkfs recusa discos sem PLP, contorno com FUA para laboratório. ↩︎ ↩︎

  25. Documentação do ceph-rust, referência de configuração — flashstore_cores predefinição 8, flashstore_store_shards auto, flashstore_report_objectstore. ↩︎ ↩︎ ↩︎

  26. Documentação do ceph-rust, requisitos de hardware e do anfitrião — cache de escrita volátil FAIL, LBA de 4 KiB, sem partições, requisitos de kernel e de io_uring. ↩︎ ↩︎

  27. Ceph Umbrella, cifragem no ceph-volume — «Logical volumes can be encrypted using dmcrypt by specifying the --dmcrypt flag». ↩︎

  28. Ceph v21.2.0, ms_bind_msgr1 — predefinição true. ↩︎

  29. ADR 0168, cifragem em repouso, msgr1 e cache tiering fora do âmbito — «SPDK bypasses dm-crypt»; clientes só v1 «cannot reach croit-flashstore-osd». ↩︎ ↩︎ ↩︎

  30. ADR 0019, reportar osd_objectstore=bluestore — os controlos de funcionalidades do monitor, as chaves extra flashstore_*, e a opção de reporte flashstore. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  31. ceph-rust, pgs.rs — «csum_type {v} unsupported; using fixed crc32c per 4096-byte block». ↩︎

  32. Ceph v21.2.0, bluestore_compression_mode — predefinição none. ↩︎

  33. Ceph v21.2.0, bluestore_compression_algorithm — predefinição snappy. ↩︎

  34. ADR 0059, compressão do store por pool — os mesmos modos e opções do BlueStore, nível zstd 1 fixo, espaço com 50% de compressibilidade «identical to BlueStore». ↩︎ ↩︎

  35. Ceph v21.2.0, osd_memory_target — predefinição 4 GiB. ↩︎

  36. Ceph v21.2.0, bluestore_cache_autotune — predefinição true. ↩︎

  37. ADR 0062, alvo de memória e mClock — alvo lido uma vez, sem autoajuste, RSS não imposto; opções do mClock «ACCEPTED and IGNORED». ↩︎ ↩︎ ↩︎ ↩︎

  38. Documentação do ceph-rust, migrar a partir do clássico — «There is no in-place conversion of a BlueStore device»; as duas ordens; a linha de EC na lista de verificação. ↩︎ ↩︎ ↩︎

  39. Documentação do ceph-rust, pools com erasure coding — ec_enable_pools predefinição all, ec_enable_optimized predefinição all, e o aspeto de um pool recusado. ↩︎ ↩︎

  40. ceph-rust, predefinições de configuração do OSD — ("ec_enable_optimized", "all"). ↩︎