Skip to content
Crimson,Ceph 自己基于 Seastar、带 SeaStore 的 OSD 重写,对比 croit FlashStore,一个带自有存储的 Rust 重写

FlashStore 对比 Crimson:同一个 OSD 的两次重写

Crimson 是 Ceph 自己对 OSD 的重写,用 C++ 写在 Seastar 框架上,带一个叫 SeaStore 的新原生存储;FlashStore 是 croit 的重写,用 Rust 写,有自己的存储。两者都处于预览阶段,都瞄准 NVMe 和高速网络。本文以 Ceph 21.2.0 Umbrella 发布的 Crimson 为准,依据 Ceph 的源码和文档以及 croit 的 ceph-rust 快照对两者做比较:各自从哪里来、用什么许可证,为什么 Rust 符合五眼联盟的内存安全指引而 C++ 不符合,为什么 Crimson 需要自己的池和一个实验性标志而 FlashStore 能直接放进现有池,为什么 Umbrella 没有办法把现有池变成 Crimson 池、数据只能复制过去,各自在启动时向 monitor 报告什么,Seastar reactor 对比绑核轮询线程,默认的 Crimson OSD 其实仍在跑 BlueStore 这一事实,SeaStore 的 onode、OMAP 和 LBA 树对比 FlashStore 每个分片一棵树,各自提交一次写入的顺序,SeaStore 的段清理器,以及各自能接受什么硬件和池。

2026年11月11日 · 17 分钟 · 1882 字 · Damien Dye
Umbrella BlueStore:RocksDB 跑在 BlueFS 上,可用任何磁盘;对比 croit FlashStore:在带掉电保护的 NVMe 上每核一棵写时复制 B+ 树和一个 WAL

FlashStore 对比 Umbrella BlueStore:croit 在 OSD 底下改了什么

croit 的 ceph-rust 是对 Ceph OSD 的净室 Rust 重写,带有自己的对象存储 FlashStore,自 2026年11月9日起公开预览。本文把它和 Ceph 21.2.0 Umbrella 原样自带的 BlueStore 并排比较,依据是两个项目的源代码和文档:仓库里有什么、用什么许可证;两种存储各把元数据放在哪里;一次 4 KiB 写入和一次不足 4 KiB 的写入在两边各自如何到达磁盘;Umbrella 的线程池对比 FlashStore 的每核一线程;为什么 FlashStore 把掉电保护定为硬性要求;它不能在什么上面运行;为什么它告诉你的 monitor 它是 BlueStore;它遵从哪些 BlueStore 选项、忽略哪些;以及为什么两者之间唯一的路是 backfill。

2026年11月11日 · 17 分钟 · 1754 字 · Damien Dye
一个 Proxmox VE 节点,运行 Proxmox 自己的 Ceph 监视器和管理器,旁边是跑在八块 Optane 盘上的 croit FlashStore OSD

Proxmox VE 上的 FlashStore OSD:在一个节点上跑起来要做些什么

croit 的 FlashStore OSD 是用 Rust 写的 ceph-osd 和 BlueStore 替代品,2026年11月9日起公开预览。本文把它超融合地部署在单个 Proxmox VE 9.2 节点上:监视器和管理器用 PVE 向导装的 Ceph Umbrella 21.2.0,OSD 用跑在 Intel Optane P4800X 上的 FlashStore。内容包括:为什么 Umbrella 是唯一对得上的 Proxmox 版本;把盘格式化成 4 KiB,以及会让格式化中途失败的控制器复位;croit-flashstore-osd –check 报告了什么;为什么自带的服务单元读不到 Proxmox 的 ceph.conf,以及修好它的 drop-in;Proxmox 内核拒绝的 NVMe 直通,以及能用的 direct 后端;按 PCI 地址 prepare OSD;PVE 的 OSD 面板怎么看待它们;一个存储池、RBD 存储,以及装在上面的 Fisher-Price OS (Windows) 虚拟机;在该虚拟机里跑 CrystalDiskMark,并对照盘自己的计数器来解读;八个 OSD 全部工作时 Ceph 的内存;在 1 GiB 内存目标下同时跑三台虚拟机;最后是一个把这一切做完的安装脚本,靠从零重建一个 OSD 测试过。

2026年11月11日 · 28 分钟 · 3132 字 · Damien Dye
一块 NVMe 盘进入三模适配器,出来变成一块队列深度 128 的 SCSI 磁盘

三模适配器拿你的 NVMe 队列换灵活性

三模适配器让任何槽位都能接 SAS、SATA 或 NVMe:这是真正的灵活性,也是 U.3 背板存在的原因。它不宣传的是,你的 NVMe 盘不再是 NVMe 盘:它们在 Linux 里变成了 mpt3sas 上的 SCSI 磁盘,队列深度 128,共用一个 tag 池和一条 x8 上行链路。两块 Gen4 盘就能把卡跑满。一块 Gen5 盘就已经超过它了。本文讨论这笔交易在 2026 年是否还划算,以及为什么通用槽位该归背板而不是控制器。

2026年8月13日 · 19 分钟 · 1365 字 · Damien Dye
三个存储层:Optane 吸收写入,NVMe 存放 Ceph 元数据,HDD 提供大容量

让 HDD 承载的 Proxmox Ceph 集群跑得快:NVMe 放元数据,每块盘配一块 Optane,以及你要付出的代价

闪存价格让全 NVMe 越来越难自圆其说,企业级 HDD 值得再看一眼。要在超融合 Proxmox Ceph 上让它们给出可以接受的延迟,就得把 RocksDB 搬离机械盘,通过 bcache 给每块盘配一块专属 Optane(专门是 Optane,因为 NAND 的耐久度不适合这份活),并且老老实实面对这样做给你带来的故障模式。

2026年8月7日 · 27 分钟 · 1776 字 · Damien Dye
一个模拟的 NVMe 控制器,旁边是一条 VirtIO SCSI 路径,Proxmox 看不见前者

Proxmox 里的虚拟 NVMe 设备,以及你要放弃的三样东西

QEMU 可以模拟一个真正的 NVMe 控制器,客户机用自带的 NVMe 驱动就行,不需要 VirtIO 介质。但它按设计不能迁移,Proxmox 备份看不见它,也不比 VirtIO SCSI 快。本文讲怎么加一个,以及什么时候值得。

2026年8月7日 · 8 分钟 · 515 字 · Damien Dye
八个 512 字节逻辑块映射到一个 4K 物理扇区上,旁边是一对一的 4K 映射

4Kn、512e 与 512n:为什么原生 4K 更好,模拟又要付出什么代价

512e 硬盘对外报告的 512 字节扇区其实并不存在,每一次未对齐的写入都要靠固件来补差。这在介质上、在主机里、在写放大上各要付出什么代价,为什么直接同步写入是最坏的情况,以及怎样把整批硬盘转换成 4Kn。

2026年8月7日 · 20 分钟 · 1434 字 · Damien Dye
一条曲线,从队列深度 1 时裸机性能的 36% 上升到队列深度 32 时只差几个百分点

Proxmox VE 上的 PCIe 直通性能:IOMMU 税以及如何把它降到最低

为什么 PCIe 设备通过 VFIO 直通给虚拟机后会损失吞吐量,以及能把大部分损失找回来的实用调优步骤。

2026年8月7日 · 16 分钟 · 1100 字 · Damien Dye