Declaração logo à partida: trabalho para a croit, que escreveu isto. Tudo o que está abaixo foi lido no código-fonte e na documentação publicados dos dois projetos, com ligações no fim da página, e onde a documentação da própria croit discorda do código da própria croit, digo-o.
O OSD do Ceph, reescrito de raiz
A croit publicou o ceph-rust, um OSD do Ceph escrito do zero em Rust, com um object store próprio chamado FlashStore no lugar do BlueStore1.
Entrou em pré-visualização pública a 9 de novembro de 2026, com disponibilidade geral prevista para o primeiro trimestre de 20271.
Não é um fork.
A regra do próprio projeto é que o C++ do Ceph é lido como referência, passado a uma especificação por palavras da própria croit, e depois implementado a partir da especificação2.
A afirmação que importa a quem corre Ceph é a da substituição direta.
Os teus monitores, os teus managers, a CLI ceph e os teus clientes ficam como estão.
Um OSD FlashStore junta-se aos mesmos pools e aos mesmos placement groups que os OSD clássicos que já lá estão, e mudas um disco de cada vez1.
Por isso a pergunta para um operador é prática. Se trocares um OSD BlueStore por um FlashStore, o que é que é diferente por baixo? Não em abstrato, e não contra um BlueStore qualquer de uma palestra de conferência de há anos. Contra o BlueStore que corres de facto hoje se estás no Umbrella, o Ceph 21.2.0, que é a versão contra a qual o FlashStore é compilado e testado1.
Então essa é a comparação aqui, e só essa. O BlueStore do Umbrella como o seu próprio código e documentação o descrevem, contra o FlashStore como o seu código e os seus registos de decisão o descrevem.
Diz respeito a quem tem clusters Ceph em NVMe, e a quem já olhou para o que um OSD lhe custa em núcleos. Não diz respeito a clusters de HDD de todo, e a razão para isso aparece mais abaixo.
O que está no repositório
O repositório é um snapshot só de leitura da árvore de desenvolvimento privada da croit. Nenhum issue tracker, nenhum pull request; as atualizações chegam como novos commits de snapshot1. É essa a fase de pré-visualização, e está lá para recolher opiniões da comunidade enquanto a croit corre internamente os seus casos de teste de produção antes de o dar como seguro para uso. O desenvolvimento aberto vem depois da primeira versão de produção, como na maioria dos projetos open source patrocinados por empresas. Este tem data de 10 de novembro de 2026 e leva cerca de 700 000 linhas de Rust e mais de 450 registos de decisões de arquitetura, os ADR, que são os documentos curtos que registam porque é que cada escolha de desenho foi feita.
Os ADR são a parte útil para uma comparação destas. São diretos, trazem medições, e registam o que foi tentado e deitado fora, além do que ficou.
| Componente | O que substitui | Pré-visualização | GA (prevista) |
|---|---|---|---|
| OSD FlashStore | ceph-osd + BlueStore | nov. 2026 | T1 2027 |
| librustyrados | librados | nov. 2026 | T1 2027 |
| librustyrbd | librbd | nov. 2026 | T1 2027 |
| Transporte RDMA (RoCEv2) | nada no Umbrella | nov. 2026 | T1 2027 |
| CephFS2, RGW em Rust | MDS, RGW | T1 2027 | T2 2027 |
| ceph-mon, ceph-mgr | não substituídos | n/a | n/a |
Vale a pena conhecer as licenças antes de construíres alguma coisa em cima disto. O daemon e as ferramentas são LGPL-3.0-only, as bibliotecas cliente são MPL-2.0, e a documentação é CC-BY-SA-4.03. As bibliotecas cliente passaram a MPL para que um programa em Rust as possa ligar estaticamente sem as obrigações de re-ligação que a LGPL traz, o que é uma escolha fundamentada e está escrita como tal3.
Pré-visualização quer dizer o que diz. O próprio README da croit diz que é para testes e avaliação e «not yet recommended for production data»1. Eu também ainda não punha lá dados de clientes, e nada no resto deste artigo muda isso.
Dois stores, lado a lado
Um OSD tem duas metades. A metade de cima fala o protocolo Ceph, é dona dos placement groups, faz peering, recupera e faz scrub. A metade de baixo, o object store, transforma «escreve estes bytes neste objeto» em blocos num disco e promete que sobrevivem a um corte de energia.
O BlueStore é a metade de baixo do Umbrella. A documentação diz que ele «reads and writes to the devices directly in a ‘raw’ fashion»4, e que consome «raw block devices or partitions»5. Os dados dos objetos vão diretamente para o dispositivo de blocos. Tudo o resto, os metadados dos objetos, o OMAP e a sua própria contabilidade, vai para uma base de dados chave/valor RocksDB embebida, e o RocksDB assenta no BlueFS, um pequeno sistema de ficheiros que o BlueStore traz para ele56.
O FlashStore deita tudo isso fora. Uma B+tree copy-on-write por shard do store guarda tudo: coleções, metadados dos objetos, atributos estendidos, mapas de extents, OMAP, o PG log, contagens de referências e até o próprio bitmap do alocador7. Ao lado fica um anel de write-ahead log de redo e a região de dados. Não há RocksDB, não há BlueFS, e não há uma segunda base de dados para afinar.
A outra grande divisão é o próprio disco. O BlueStore passa pela camada de blocos do kernel até ao que lhe deres. O FlashStore fala com o NVMe ou com o SPDK, um driver em espaço de utilizador que tira o dispositivo ao kernel através do vfio, ou através do kernel com io_uring89. O SPDK é o backend predefinido. O nível io_uring é o que funciona onde o vfio não funciona, e assim sendo é aquele em que acabei por ficar na montagem em Proxmox.
Onde vivem os metadados
Começa por aqui. A maior parte do resto decorre disto.
| BlueStore do Umbrella | FlashStore | |
|---|---|---|
| Metadados dos objetos | chaves RocksDB | B+tree COW por shard |
| OMAP | chaves RocksDB | a mesma B+tree por predefinição; LSM ou RocksDB opcionais no prepare |
| PG log | chaves RocksDB | a mesma B+tree |
| Estado do alocador | alocador híbrido, freelist no RocksDB | bitmap por shard, dentro da árvore |
| Dispositivo de metadados | block.db e block.wal opcionais | nenhum, o mesmo NVMe |
| Checksums dos dados | crc32c por 4 KiB por predefinição | crc32c por 4 KiB, no mapa de extents |
| Número de stores por OSD | um | um por núcleo |
As predefinições do lado do BlueStore vêm diretamente do ficheiro de opções do Umbrella: RocksDB como backend chave/valor, o alocador híbrido, checksums crc32c61011. O checksum dos metadados do BlueStore «is handled by RocksDB and uses the crc32c algorithm», e os dados custam-lhe «a checksum value (usually 4 bytes) for every 4 KB block of data»4. Nos checksums os dois stores estão de acordo. O FlashStore guarda um crc32c por bloco de 4 KiB no mapa de extents e verifica-o na leitura7.
É na estrutura que se separam. O RocksDB do BlueStore é uma log-structured merge tree, por isso escreve e depois compacta em segundo plano, reescrevendo dados que já escreveu. A árvore do FlashStore é atualizada por copy-on-write e dobrada para o disco em checkpoints: de cinco em cinco segundos enquanto houver alguma coisa por persistir, ou quando o anel do WAL chega a meio7.
Outra consequência é que o FlashStore não tem dispositivo rápido para metadados, porque não precisa de um.
No Umbrella podes pôr o block.db num disco mais rápido, e o BlueStore põe «as much metadata as it can on the DB device»4.
O FlashStore parte do princípio de que todos os discos já são NVMe rápido, e guarda os metadados ao lado dos dados.
É um pressuposto justo para o hardware a que se destina. É também exatamente por isso que não há história para HDD.
O OMAP é o único sítio em que o FlashStore se acautela. A árvore é a predefinição, mas um store pode ser preparado com um motor LSM da própria croit, ou com RocksDB, atrás da mesma interface12. O motor de OMAP é escolhido quando o store é criado. Não o trocas num OSD a correr.
Uma escrita de 4 KiB, de duas maneiras
Eis a diferença que sentirias, se sentires alguma.
Pega numa escrita de 4 KiB para um objeto no Umbrella com as definições predefinidas em flash.
O bluestore_min_alloc_size_ssd é 4 KiB e o bluestore_prefer_deferred_size_ssd é 0, por isso uma escrita inteira de 4 KiB vai para 4 KiB acabados de alocar1314.
O BlueStore submete essa escrita de dados, e a transação fica em STATE_AIO_WAIT até o disco dizer que acabou15.
Só então os metadados entram na fila do RocksDB, e a thread de sincronização do RocksDB faz flush ao dispositivo de blocos antes do commit16.
Depois o cliente recebe a confirmação.
Duas idas ao dispositivo, em série.
O FlashStore manda as duas ao mesmo tempo. Os dados vão para um extent novo de 4 KiB e a unidade de WAL vai para o anel do log em paralelo. O registo do WAL leva o crc32c de cada bloco de dados novo, por isso o replay depois de uma falha consegue saber se os dados chegaram7. A confirmação sai, pela ordem do log, quando os dados, a unidade de WAL e todas as transações anteriores estão duráveis7. A justificação do próprio ADR para o desenho é «parallel commit gives one device latency per ack»7.
Há duas coisas que mantêm isto honesto. Num OSD ocupado, os dois stores agrupam commits, por isso a diferença sob carga é menor do que uma latência de dispositivo por escrita. E uma ida ao dispositivo em NVMe são umas dezenas de microssegundos. Se reparas nela depende de os teus clientes estarem à espera de latência com baixa profundidade de fila, o que as bases de dados em RBD muitas vezes estão, ou a empurrar débito, onde se dilui.
A croit tentou ir mais longe, para uma escrita no dispositivo por transação, ao estilo do ZFS. Construíram-no, mediram-no e deitaram-no fora: o ganho só aparecia com profundidade de fila 1 e a complexidade não compensava17. Dou mais valor a isso do que a qualquer gráfico de benchmark. É um registo de decisão que diz «construímos isto e não compensou», em público.
A escrita de menos de 4 KiB
A escrita mais pequena é onde os dois divergem a sério.
Imagina que um cliente sobrescreve 512 bytes no meio de um bloco que já tem dados.
O Umbrella continua a correr o seu caminho de escrita original por predefinição; o bluestore_write_v2, a reformulação, vem desligado18.
Nesse caminho, uma escrita mais pequena do que o min_alloc_size para um bloco já alocado passa a ser uma escrita diferida19.
Os dados vão dentro da transação do RocksDB como uma chave com o prefixo L, e só vão para o seu verdadeiro lugar depois de o cliente ter sido informado de que estão seguros2021.
Por isso os dados chegam ao disco duas vezes. A documentação do Umbrella não o esconde: «writes smaller than min_alloc_size must first pass through the BlueStore WAL»4.
O FlashStore nunca sobrescreve dados vivos no lugar, ponto final7. Objetos até 2 KiB vão mais longe e vivem inteiramente na árvore, por isso uma escrita no WAL é o commit inteiro7.
Isso também quer dizer que o FlashStore não tem fila de escritas diferidas para esvaziar, nem replay diferido na montagem, nem chaves L para limpar.
Paga noutro sítio: os blocos libertados ficam retidos até ao checkpoint seguinte, por isso o espaço libertado fica atrasado até um intervalo de checkpoint7.
Threads contra núcleos
A metade de cima do OSD difere na mesma medida.
O ceph-osd do Umbrella é um servidor clássico com threads, e cada número na metade esquerda do diagrama abaixo é uma das suas predefinições em flash22.
Uma operação atravessa vários desses pools pelo caminho. Partilham estado atrás de locks.
O FlashStore mantém a viagem inteira num só núcleo fixo e em polling, da placa de rede até ao disco e de volta23. Cada placement group pertence a exatamente um núcleo, e o mesmo acontece com tudo aquilo em que o PG toca: «no locks, no atomics, no shared mutable state»24. O tráfego entre núcleos passa por anéis de produtor único, e a posse da mensagem vai com ele.
O store segue a mesma divisão.
O flashstore_store_shards tem por predefinição um shard por núcleo, cada um com o seu anel de WAL, a sua árvore e o seu alocador, e um PG vive em exatamente um shard257.
O BlueStore é um store por OSD com um RocksDB.
Há um preço, e o ADR di-lo: «idle cores burn CPU (accepted; optional adaptive sleep later)»23.
Trabalho posterior acrescentou inatividade adaptativa e esperas cronometradas pelo dispositivo para que um núcleo não fique a girar durante toda a latência do dispositivo com baixa profundidade de fila8, mas o princípio mantém-se, e o flashstore_cores tem 8 por predefinição quando não fixas um intervalo25.
Dás ao FlashStore núcleos inteiros.
Num nó de armazenamento dedicado, tudo bem. Numa máquina hiperconvergente onde esses núcleos também correm VM, é a primeira conta a fazer.
O disco tem de cumprir a promessa
O BlueStore foi escrito para lidar com um disco que mente sobre quando os dados estão seguros. O FlashStore recusa-se a lidar com esse disco de todo.
| BlueStore do Umbrella | FlashStore | |
|---|---|---|
| O que torna uma escrita durável | flush do dispositivo de blocos antes do commit do RocksDB | a escrita concluída num disco com PLP |
| Flush no caminho crítico | sim | não |
| Disco com cache de escrita volátil | usado, e com flush | o mkfs recusa-o; verificação do anfitrião FAIL |
| Contornar | não é preciso | só em laboratório: bit FUA em cada escrita durável |
O lado do BlueStore é a thread de sincronização kv já citada16. O lado do FlashStore é o ADR de durabilidade e a verificação do anfitrião: PLP quer dizer que o disco reporta não ter cache de escrita volátil, por isso uma conclusão quer dizer que os dados estão em meio estável2426.
É a decisão certa para o alvo, mas sê claro quanto ao que ela exclui, porque quase todo o NVMe de consumo tem cache volátil e não tem PLP, e o mesmo acontece com uma boa parte do equipamento de «datacentre» vendido pelo preço. Sem PLP, não há FlashStore. Pense-se o que se pensar do resto.
Onde o FlashStore não corre
Põe os requisitos lado a lado e o mercado-alvo é óbvio.
| BlueStore do Umbrella | FlashStore | |
|---|---|---|
| Suportes | HDD, SSD, NVMe | só NVMe |
| Proteção contra perda de energia | não obrigatória | obrigatória, o mkfs recusa sem ela |
| Formato de setor | 512 B ou 4 KiB | 4 KiB esperado, avisa no caso contrário |
| Disposição | partições, LVM via ceph-volume | namespaces inteiros, sem partições |
| Dispositivo DB/WAL separado | suportado | não existe |
| Cifragem em repouso | --dmcrypt via ceph-volume | fora do âmbito |
| Clientes msgr1 | ligado por predefinição | recusados, só msgr2 |
| Cache tiering | obsoleto, ainda presente | recusado, o pool passa a passivo |
| Requisitos de kernel | qualquer suportado | io_uring: Linux 5.19+, ou o 5.14 do RHEL 9 com backports; hugepages para o SPDK |
A coluna do BlueStore é do próprio Umbrella: o ceph-volume cifra volumes lógicos «using dmcrypt by specifying the --dmcrypt flag»27, e o ms_bind_msgr1 continua a ser true por predefinição28.
A coluna do FlashStore vem da sua referência de hardware e da sua decisão de âmbito2629.
Duas delas merecem mais do que uma linha de tabela.
A cifragem em repouso está fora, com uma razão: o SPDK contorna o dm-crypt, e a cifragem dentro do store não está planeada. A resposta do ADR são discos NVMe com autocifragem, ou cifrar acima do store, no cliente ou no RGW29. Se tens um requisito de conformidade que nomeia dm-crypt no OSD, isso hoje é um impedimento.
O msgr1 está fora como risco aceite. Clientes do kernel anteriores ao 5.11 e librados anteriores ao Nautilus não conseguem falar com um OSD FlashStore de todo29. A maior parte dos parques já passou isso há muito. Alguns não, e é a velha máquina esquecida ao canto que dá por isso.
Diz ao monitor que é BlueStore
Esta é a que vai apanhar gente.
Por predefinição, um OSD FlashStore arranca e diz aos monitores osd_objectstore=bluestore30.
Não se está a esconder. Acrescenta as suas próprias chaves flashstore_version e flashstore_build ao lado30.
A razão é compatibilidade: um monitor Umbrella só permite funcionalidades como sobrescritas EC num pool quando todos os OSD nele reportam BlueStore, e módulos do manager como o Prometheus e a telemetria ramificam pelo mesmo valor30.
O ADR é explícito em que bluestore aqui «is a compat value for mon/mgr feature gates, not a product name»30.
Há um interruptor, flashstore_report_objectstore=flashstore, que muda o nome a tudo: os metadados, as chaves bluestore_bdev_*, o perf logger, os comandos tell e os códigos de saúde BLUESTORE_*. Precisa de monitores com patches, e a predefinição continua a ser bluestore2530.
As compilações do Ceph da própria croit levam esses patches, por isso nelas o FlashStore apresenta-se como flashstore e nada do que se segue se aplica.
O nome bluestore está lá para os monitores e managers de origem que as pessoas correm em produção hoje.
Percebo porquê.
Um controlo do monitor baseado numa string é desenho do Ceph, não da croit, e recusar dizer bluestore desligaria funcionalidades num cluster sem patches.
Essa é a armadilha num cluster de origem.
Todos os dashboards, todos os scripts de inventário e todos os ceph osd count-metadata osd_objectstore que corras vão contar os OSD FlashStore como BlueStore.
Durante uma migração, quando mais precisas de saber que OSD são quais, o campo óbvio não te diz nada.
Por isso verifica o flashstore_version no ceph osd metadata, não o osd_objectstore.
Põe isso no teu runbook antes de o primeiro OSD FlashStore entrar.
Os mesmos botões, comportamento diferente
O FlashStore lê muitas das opções existentes do Ceph, e isso são sobretudo boas notícias. Nem todas as opções querem dizer o que queriam dizer no Umbrella, e as que não querem são onde um cluster afinado é apanhado de surpresa.
| Opção | BlueStore do Umbrella | FlashStore |
|---|---|---|
compression_mode, por pool | none, passive, aggressive, force | os mesmos quatro, o mesmo significado |
compression_algorithm | snappy por predefinição | snappy, zlib, zstd, lz4; nível zstd fixo em 1 |
bluestore_compression_max_blob_size_ssd | 64 KiB | blocos de 64 KiB |
osd_memory_target | 4 GiB, caches autoajustadas em execução | lido uma vez no arranque, dimensiona as caches do store, sem autoajuste |
osd_op_queue | mclock_scheduler | aceite e ignorado |
osd_mclock_* | ativo | aceite e ignorado |
csum_type | crc32c por predefinição, variantes xxhash disponíveis | crc32c fixo; qualquer outro valor regista um aviso31 |
A compressão coincide.
O modo predefinido do BlueStore é none e o algoritmo predefinido é snappy3233; o FlashStore implementa os mesmos quatro modos, as mesmas opções de pool e os mesmos blocos de 64 KiB, e o ADR nota que um bloco de 64 KiB compressível a 50% ocupa o mesmo espaço nos dois34.
Nem sempre ia lá estar. O ficheiro do ADR ainda se chama no-store-compression, da decisão original, revertida quando a croit fixou como mandato a paridade funcional total com o Ceph clássico34.
A memória não é paridade.
O Umbrella autoajusta as caches do BlueStore em função do osd_memory_target enquanto corre3536.
O FlashStore lê o alvo uma vez no arranque, divide-o pelos seus shards, e uma alteração feita com ceph config set só produz efeito no reinício seguinte37.
Também não segura o processo ao alvo: hugepages, buffers de rede e estado dos PG ficam de fora37.
Por isso o osd_memory_target dimensiona as caches do FlashStore. Não limita a memória do OSD da forma a que talvez estejas habituado.
E o mClock é simplesmente ignorado37.
Não é reduzido. É ignorado.
Não há escalonador de operações para configurar, porque cada núcleo é dono dos seus PG.
A recuperação e o backfill são travados pelo osd_max_backfills, pelo osd_recovery_max_active e pelas opções de sleep37.
Se afinaste perfis do mClock para uma reconstrução no Umbrella, essas definições não fazem nada num OSD FlashStore, e nada te vai avisar.
Não há conversão, em nenhum dos sentidos
Não consegues converter um OSD BlueStore num FlashStore. O guia de migração da croit é claro: «There is no in-place conversion of a BlueStore device»38. Em vez disso oferece duas ordens, e ambas são backfill38:
| Acrescentar, depois remover | Libertar, depois acrescentar | |
|---|---|---|
| Precisa de | uma ranhura NVMe livre | nada livre |
| Passo 1 | preparar o FlashStore no disco novo | ceph osd out, esperar pelo estado limpo |
| Passo 2 | esperar por active+clean | parar e purgar o OSD clássico |
| Passo 3 | remover o OSD clássico | preparar o FlashStore no disco libertado |
| Risco enquanto corre | nenhum além do backfill normal | uma cópia a menos até o backfill acabar |
Nem fica mais fácil depois. O formato em disco do FlashStore tem bits de funcionalidade, e uma montagem recusa um bit desconhecido: «Every format change means mkfs; unknown bits refuse mount (no downgrade)»7. Por isso uma mudança de formato numa versão posterior do FlashStore é o mesmo esvaziar e voltar a encher da primeira migração.
Há uma coisa que a documentação tem errada.
A lista de verificação do guia de migração diz para garantir que «the pools do not use erasure coding on croit-flashstore-osd OSDs»38.
O guia de erasure coding no mesmo snapshot diz que o FlashStore serve pools EC legados por predefinição, e a predefinição do próprio código para EC otimizado é all3940.
Um dos dois está desatualizado, e pelo código é o guia de migração.
Mesmo assim, eu lia o guia de EC por inteiro antes de misturar pools EC pelos dois tipos de OSD, porque a falha que descreve é um PG que degrada e um backfill que encrava39.
Um store feito para os discos que de facto compramos
O BlueStore foi feito para correr em tudo. Discos rotativos, SSD baratos, NVMe, partições, LVM, volumes cifrados, um dispositivo DB rápido à frente de um dispositivo de dados lento. Essa amplitude é a razão por que se tornou a predefinição, e é a razão por que carrega um caminho de escrita diferida, um flush antes de cada commit, uma base de dados chave/valor num sistema de ficheiros só seu, e um pool de threads para manter tudo isso a andar. Cada uma dessas coisas existe porque algum disco algures precisou dela.
O FlashStore começa pela ponta oposta. Parte do princípio de que o disco é NVMe, de que tem proteção contra perda de energia, e de que é rápido o suficiente para que o software seja agora o gargalo. Depois deita fora tudo o que só existia por causa dos outros discos.
É a aposta certa? Para clusters novos totalmente em flash, construídos em NVMe empresarial a sério, sim. É para aí que os clusters Ceph estão a ir, e um OSD que gasta os seus núcleos em locks, passagens de mão e uma base de dados a compactar atrás dele está a pagar, a cada segundo de cada dia, por uma flexibilidade que um cluster desses nunca vai usar.
Mas a aposta tem um custo, e prefiro que o vejas antes de entrares nela. Abdicas de HDD, dm-crypt, msgr1, ajuste de memória em execução e mClock. Num cluster de origem ficas com um OSD que diz aos teus monitores que é BlueStore, porque os monitores e managers de hoje não lhe deixam outra saída; as compilações da própria croit não vão precisar disso. Ficas com um formato para o qual não consegues converter, e entre cujas versões também não consegues converter. E ficas com ele em pré-visualização, de um único fornecedor, que por acaso me emprega.
Por isso trata o código-fonte como a prova, não este artigo nem o relatório de benchmark da croit. Os registos de decisão são públicos e dizem o que foi medido e o que foi deitado fora. Lê-os, monta um cluster de teste com o equipamento que implementarias de facto, e mede a tua própria carga de trabalho. Se fizer nos teus discos o que os ADR dizem que faz, vais saber. Se não fizer, também vais saber, e terás descoberto num cluster de teste.
croit ceph-rust, README no snapshot 48f9014 — componentes, estado e roteiro, «not yet recommended for production data», compatível na rede com v21.2.0 e v20.2.4. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ADR 0003, de raiz, sem fork do Crimson — «No fork, no linking of Ceph code»; o código do Ceph lido como referência, especificações por palavras próprias. ↩︎
ADR 0164, licenças — daemon e ferramentas LGPL-3.0-only, bibliotecas cliente MPL-2.0, documentação CC-BY-SA-4.0, e a razão da MPL. ↩︎ ↩︎
Ceph Umbrella, referência de configuração do BlueStore — acesso direto ao dispositivo, dispositivo DB, «writes smaller than min_alloc_size must first pass through the BlueStore WAL», checksums. ↩︎ ↩︎ ↩︎ ↩︎
Ceph Umbrella, dispositivos de armazenamento — o BlueStore «consumes raw block devices or partitions»; RocksDB embebido para os metadados internos. ↩︎ ↩︎
Ceph v21.2.0,
bluestore_kvbackend— predefiniçãorocksdb. ↩︎ ↩︎ADR 0021, motor de armazenamento — B+tree COW por shard, anel de WAL, commit paralelo, checkpoints, dados inline, libertações retidas, «Every format change means mkfs». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ADR 0004, E/S de armazenamento — SPDK sobre vfio, alterado para dois níveis com io_uring, inatividade cronometrada pelo dispositivo. ↩︎ ↩︎
Documentação do ceph-rust, prepare e activate —
spdké o backend predefinido,kernelekernel-cmdmantêm o NVMe no driver do kernel. ↩︎Ceph v21.2.0,
bluestore_allocator— predefiniçãohybrid. ↩︎Ceph v21.2.0,
bluestore_csum_type— predefiniçãocrc32c. ↩︎ceph-rust, utilização do croit-flashstore-tool — «fresh prepare/mkfs –omap-engine btree|lsm|rocksdb». ↩︎
Ceph v21.2.0,
bluestore_min_alloc_size_ssd— predefinição 4 KiB. ↩︎Ceph v21.2.0,
bluestore_prefer_deferred_size_ssd— predefinição 0. ↩︎Ceph v21.2.0,
BlueStore.cc, máquina de estados da transação — aios pendentes passam a transação paraSTATE_AIO_WAITantes de entrar na fila do commit chave/valor. ↩︎Ceph v21.2.0,
BlueStore.cc, thread de sincronização kv — «flush/barrier on block device» antes da submissão ao RocksDB. ↩︎ ↩︎ADR 0027, commit atómico de uma só E/S, rejeitado — «gain only at QD1», construído e removido. ↩︎
Ceph v21.2.0,
bluestore_write_v2— «Use faster write path», predefinição false. ↩︎Ceph v21.2.0,
BlueStore.cc,_do_write_small— leitura da cabeça e da cauda, depois «chunk-aligned deferred overwrite». ↩︎Ceph v21.2.0,
BlueStore.cc, «journal deferred items» — a transação diferida é definida como chave na mesma transação do RocksDB. ↩︎Ceph v21.2.0,
BlueStore.cc, prefixos de chave —PREFIX_DEFERRED = "L". ↩︎Predefinições de threads do Ceph v21.2.0 —
osd_op_num_shards_ssd8;osd_op_num_threads_per_shard_ssd2;osd_op_queuemclock_scheduler;ms_async_op_threads3; criação de threads noBlueStore.cc,bstore_kv_syncebstore_kv_final. ↩︎ADR 0006, runtime de uma thread por núcleo — uma thread fixa em busy-polling por núcleo, PG pertencentes a um núcleo, «idle cores burn CPU (accepted …)». ↩︎ ↩︎
ADR 0008, concorrência e durabilidade — «no locks, no atomics, no shared mutable state»; PLP obrigatório, o
mkfsrecusa discos sem PLP, contorno com FUA para laboratório. ↩︎ ↩︎Documentação do ceph-rust, referência de configuração —
flashstore_corespredefinição 8,flashstore_store_shardsauto,flashstore_report_objectstore. ↩︎ ↩︎ ↩︎Documentação do ceph-rust, requisitos de hardware e do anfitrião — cache de escrita volátil FAIL, LBA de 4 KiB, sem partições, requisitos de kernel e de io_uring. ↩︎ ↩︎
Ceph Umbrella, cifragem no ceph-volume — «Logical volumes can be encrypted using dmcrypt by specifying the
--dmcryptflag». ↩︎Ceph v21.2.0,
ms_bind_msgr1— predefinição true. ↩︎ADR 0168, cifragem em repouso, msgr1 e cache tiering fora do âmbito — «SPDK bypasses dm-crypt»; clientes só v1 «cannot reach croit-flashstore-osd». ↩︎ ↩︎ ↩︎
ADR 0019, reportar
osd_objectstore=bluestore— os controlos de funcionalidades do monitor, as chaves extraflashstore_*, e a opção de reporteflashstore. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ceph-rust,
pgs.rs— «csum_type {v} unsupported; using fixed crc32c per 4096-byte block». ↩︎Ceph v21.2.0,
bluestore_compression_mode— predefiniçãonone. ↩︎Ceph v21.2.0,
bluestore_compression_algorithm— predefiniçãosnappy. ↩︎ADR 0059, compressão do store por pool — os mesmos modos e opções do BlueStore, nível zstd 1 fixo, espaço com 50% de compressibilidade «identical to BlueStore». ↩︎ ↩︎
Ceph v21.2.0,
osd_memory_target— predefinição 4 GiB. ↩︎Ceph v21.2.0,
bluestore_cache_autotune— predefinição true. ↩︎ADR 0062, alvo de memória e mClock — alvo lido uma vez, sem autoajuste, RSS não imposto; opções do mClock «ACCEPTED and IGNORED». ↩︎ ↩︎ ↩︎ ↩︎
Documentação do ceph-rust, migrar a partir do clássico — «There is no in-place conversion of a BlueStore device»; as duas ordens; a linha de EC na lista de verificação. ↩︎ ↩︎ ↩︎
Documentação do ceph-rust, pools com erasure coding —
ec_enable_poolspredefiniçãoall,ec_enable_optimizedpredefiniçãoall, e o aspeto de um pool recusado. ↩︎ ↩︎ceph-rust, predefinições de configuração do OSD —
("ec_enable_optimized", "all"). ↩︎