Skip to content
Crimson,Ceph 自己基于 Seastar、带 SeaStore 的 OSD 重写,对比 croit FlashStore,一个带自有存储的 Rust 重写

FlashStore 对比 Crimson:同一个 OSD 的两次重写

Crimson 是 Ceph 自己对 OSD 的重写,用 C++ 写在 Seastar 框架上,带一个叫 SeaStore 的新原生存储;FlashStore 是 croit 的重写,用 Rust 写,有自己的存储。两者都处于预览阶段,都瞄准 NVMe 和高速网络。本文以 Ceph 21.2.0 Umbrella 发布的 Crimson 为准,依据 Ceph 的源码和文档以及 croit 的 ceph-rust 快照对两者做比较:各自从哪里来、用什么许可证,为什么 Rust 符合五眼联盟的内存安全指引而 C++ 不符合,为什么 Crimson 需要自己的池和一个实验性标志而 FlashStore 能直接放进现有池,为什么 Umbrella 没有办法把现有池变成 Crimson 池、数据只能复制过去,各自在启动时向 monitor 报告什么,Seastar reactor 对比绑核轮询线程,默认的 Crimson OSD 其实仍在跑 BlueStore 这一事实,SeaStore 的 onode、OMAP 和 LBA 树对比 FlashStore 每个分片一棵树,各自提交一次写入的顺序,SeaStore 的段清理器,以及各自能接受什么硬件和池。

2026年11月11日 · 17 分钟 · 1882 字 · Damien Dye
Umbrella BlueStore:RocksDB 跑在 BlueFS 上,可用任何磁盘;对比 croit FlashStore:在带掉电保护的 NVMe 上每核一棵写时复制 B+ 树和一个 WAL

FlashStore 对比 Umbrella BlueStore:croit 在 OSD 底下改了什么

croit 的 ceph-rust 是对 Ceph OSD 的净室 Rust 重写,带有自己的对象存储 FlashStore,自 2026年11月9日起公开预览。本文把它和 Ceph 21.2.0 Umbrella 原样自带的 BlueStore 并排比较,依据是两个项目的源代码和文档:仓库里有什么、用什么许可证;两种存储各把元数据放在哪里;一次 4 KiB 写入和一次不足 4 KiB 的写入在两边各自如何到达磁盘;Umbrella 的线程池对比 FlashStore 的每核一线程;为什么 FlashStore 把掉电保护定为硬性要求;它不能在什么上面运行;为什么它告诉你的 monitor 它是 BlueStore;它遵从哪些 BlueStore 选项、忽略哪些;以及为什么两者之间唯一的路是 backfill。

2026年11月11日 · 17 分钟 · 1754 字 · Damien Dye
一个 Proxmox VE 节点,运行 Proxmox 自己的 Ceph 监视器和管理器,旁边是跑在八块 Optane 盘上的 croit FlashStore OSD

Proxmox VE 上的 FlashStore OSD:在一个节点上跑起来要做些什么

croit 的 FlashStore OSD 是用 Rust 写的 ceph-osd 和 BlueStore 替代品,2026年11月9日起公开预览。本文把它超融合地部署在单个 Proxmox VE 9.2 节点上:监视器和管理器用 PVE 向导装的 Ceph Umbrella 21.2.0,OSD 用跑在 Intel Optane P4800X 上的 FlashStore。内容包括:为什么 Umbrella 是唯一对得上的 Proxmox 版本;把盘格式化成 4 KiB,以及会让格式化中途失败的控制器复位;croit-flashstore-osd –check 报告了什么;为什么自带的服务单元读不到 Proxmox 的 ceph.conf,以及修好它的 drop-in;Proxmox 内核拒绝的 NVMe 直通,以及能用的 direct 后端;按 PCI 地址 prepare OSD;PVE 的 OSD 面板怎么看待它们;一个存储池、RBD 存储,以及装在上面的 Fisher-Price OS (Windows) 虚拟机;在该虚拟机里跑 CrystalDiskMark,并对照盘自己的计数器来解读;八个 OSD 全部工作时 Ceph 的内存;在 1 GiB 内存目标下同时跑三台虚拟机;最后是一个把这一切做完的安装脚本,靠从零重建一个 OSD 测试过。

2026年11月11日 · 28 分钟 · 3132 字 · Damien Dye