Skip to content
Crimson,Ceph 自己基于 Seastar、带 SeaStore 的 OSD 重写,对比 croit FlashStore,一个带自有存储的 Rust 重写

FlashStore 对比 Crimson:同一个 OSD 的两次重写

Crimson 是 Ceph 自己对 OSD 的重写,用 C++ 写在 Seastar 框架上,带一个叫 SeaStore 的新原生存储;FlashStore 是 croit 的重写,用 Rust 写,有自己的存储。两者都处于预览阶段,都瞄准 NVMe 和高速网络。本文以 Ceph 21.2.0 Umbrella 发布的 Crimson 为准,依据 Ceph 的源码和文档以及 croit 的 ceph-rust 快照对两者做比较:各自从哪里来、用什么许可证,为什么 Rust 符合五眼联盟的内存安全指引而 C++ 不符合,为什么 Crimson 需要自己的池和一个实验性标志而 FlashStore 能直接放进现有池,为什么 Umbrella 没有办法把现有池变成 Crimson 池、数据只能复制过去,各自在启动时向 monitor 报告什么,Seastar reactor 对比绑核轮询线程,默认的 Crimson OSD 其实仍在跑 BlueStore 这一事实,SeaStore 的 onode、OMAP 和 LBA 树对比 FlashStore 每个分片一棵树,各自提交一次写入的顺序,SeaStore 的段清理器,以及各自能接受什么硬件和池。

2026年11月11日 · 17 分钟 · 1882 字 · Damien Dye
Umbrella BlueStore:RocksDB 跑在 BlueFS 上,可用任何磁盘;对比 croit FlashStore:在带掉电保护的 NVMe 上每核一棵写时复制 B+ 树和一个 WAL

FlashStore 对比 Umbrella BlueStore:croit 在 OSD 底下改了什么

croit 的 ceph-rust 是对 Ceph OSD 的净室 Rust 重写,带有自己的对象存储 FlashStore,自 2026年11月9日起公开预览。本文把它和 Ceph 21.2.0 Umbrella 原样自带的 BlueStore 并排比较,依据是两个项目的源代码和文档:仓库里有什么、用什么许可证;两种存储各把元数据放在哪里;一次 4 KiB 写入和一次不足 4 KiB 的写入在两边各自如何到达磁盘;Umbrella 的线程池对比 FlashStore 的每核一线程;为什么 FlashStore 把掉电保护定为硬性要求;它不能在什么上面运行;为什么它告诉你的 monitor 它是 BlueStore;它遵从哪些 BlueStore 选项、忽略哪些;以及为什么两者之间唯一的路是 backfill。

2026年11月11日 · 17 分钟 · 1754 字 · Damien Dye
一个 Proxmox VE 节点,运行 Proxmox 自己的 Ceph 监视器和管理器,旁边是跑在八块 Optane 盘上的 croit FlashStore OSD

Proxmox VE 上的 FlashStore OSD:在一个节点上跑起来要做些什么

croit 的 FlashStore OSD 是用 Rust 写的 ceph-osd 和 BlueStore 替代品,2026年11月9日起公开预览。本文把它超融合地部署在单个 Proxmox VE 9.2 节点上:监视器和管理器用 PVE 向导装的 Ceph Umbrella 21.2.0,OSD 用跑在 Intel Optane P4800X 上的 FlashStore。内容包括:为什么 Umbrella 是唯一对得上的 Proxmox 版本;把盘格式化成 4 KiB,以及会让格式化中途失败的控制器复位;croit-flashstore-osd –check 报告了什么;为什么自带的服务单元读不到 Proxmox 的 ceph.conf,以及修好它的 drop-in;Proxmox 内核拒绝的 NVMe 直通,以及能用的 direct 后端;按 PCI 地址 prepare OSD;PVE 的 OSD 面板怎么看待它们;一个存储池、RBD 存储,以及装在上面的 Fisher-Price OS (Windows) 虚拟机;在该虚拟机里跑 CrystalDiskMark,并对照盘自己的计数器来解读;八个 OSD 全部工作时 Ceph 的内存;在 1 GiB 内存目标下同时跑三台虚拟机;最后是一个把这一切做完的安装脚本,靠从零重建一个 OSD 测试过。

2026年11月11日 · 28 分钟 · 3132 字 · Damien Dye
两个 Proxmox 默认设置:Hyper-V enlightenments 由虚拟机的 OS 类型打开,CPU 微码由主机的安装方式打开

两个你可能并没有的 Proxmox VE 9 默认设置:Hyper-V Enlightenments 与 CPU 微码

Proxmox VE 9 会给 Fisher-Price OS (Windows) 客户机打开 Hyper-V enlightenments,并在新主机上安装 CPU 微码,但前提是虚拟机的 OS 类型选的是 Microsoft Windows,并且主机是用 9.x 安装程序装的。本文讲这些 enlightenments 做什么;qemu-server 挑选它们的确切规则(在一台运行中的 9.2 主机上实测);为什么机器版本固定会让旧虚拟机拿不到 2026年7月的 hv-evmcs 修复;这个修复需要哪个 pve-qemu-kvm 版本,以及 10.0 以来每个 QEMU 版本为这类客户机修了什么;为什么它们应该用 q35、绝不用 i440fx(而创建向导仍然把多数这类客户机交给 i440fx);两个可以手动设置的标志;如何证明一台虚拟机实际在跑什么;微码从哪里来(主板固件、Debian 以及 Proxmox 自己的软件源);为什么升级来的主机上一个都没有(以一台落后 Intel 四个版本的 Intel 节点为例);安装微码会触发的 initramfs 重建,以及这次重建漏掉的旧内核;随之而来的 Zen 5 RDSEED 故障;如何启用;在 Ceph 集群上滚动重启;以及如何回退一次有问题的更新。

2026年10月27日 · 20 分钟 · 2634 字 · Damien Dye

Ceph 到底是谁在写、谁在用

我把 Ceph 主分支过去十年的每一次提交都数了一遍:来自 478 个组织、1,718 个人,共 69,613 次;把指导委员会全部 38 名成员追到各自的雇主;又收集了公开声明的部署情况。结论是:这个项目失去了创始人,又失去了第二大贡献者,节奏却一拍没乱,到今天仍在以同样的速度发版。

2026年8月27日 · 33 分钟 · 2558 字 · Damien Dye
一块 NVMe 盘进入三模适配器,出来变成一块队列深度 128 的 SCSI 磁盘

三模适配器拿你的 NVMe 队列换灵活性

三模适配器让任何槽位都能接 SAS、SATA 或 NVMe:这是真正的灵活性,也是 U.3 背板存在的原因。它不宣传的是,你的 NVMe 盘不再是 NVMe 盘:它们在 Linux 里变成了 mpt3sas 上的 SCSI 磁盘,队列深度 128,共用一个 tag 池和一条 x8 上行链路。两块 Gen4 盘就能把卡跑满。一块 Gen5 盘就已经超过它了。本文讨论这笔交易在 2026 年是否还划算,以及为什么通用槽位该归背板而不是控制器。

2026年8月13日 · 19 分钟 · 1365 字 · Damien Dye
三个存储层:Optane 吸收写入,NVMe 存放 Ceph 元数据,HDD 提供大容量

让 HDD 承载的 Proxmox Ceph 集群跑得快:NVMe 放元数据,每块盘配一块 Optane,以及你要付出的代价

闪存价格让全 NVMe 越来越难自圆其说,企业级 HDD 值得再看一眼。要在超融合 Proxmox Ceph 上让它们给出可以接受的延迟,就得把 RocksDB 搬离机械盘,通过 bcache 给每块盘配一块专属 Optane(专门是 Optane,因为 NAND 的耐久度不适合这份活),并且老老实实面对这样做给你带来的故障模式。

2026年8月7日 · 27 分钟 · 1776 字 · Damien Dye
三台 Proxmox 节点用直连线缆接成三角形网格,没有交换机

用 SDN OpenFabric 搭一个无交换机的 Proxmox 网格:不买 100G 交换机也能跑 Ceph 和客户网络

三台 Proxmox 节点直接互连成一个三角形,OpenFabric 在网格上做路由,Ceph 和 VXLAN 客户网络跑在上面。全部在 Web 界面里完成,并且坦白这个设计在哪里不再能扩展。

2026年8月7日 · 10 分钟 · 637 字 · Damien Dye
客户机时钟逐渐偏离宿主机时钟,一次 hypercall 把它拉了回来

虚拟机的时钟不可信,以及 QEMU/KVM 上的 ptp_kvm 修复方法

虚拟机的时钟建立在一个被虚拟化打破的假设之上:CPU 会一直计数。本文讲为什么每种 hypervisor 上的客户机时间都会漂移,时钟偏差到底会弄坏什么(Kerberos、TLS、Ceph、Windows),以及 ptp_kvm 如何在 QEMU/KVM 上把它正确修好。

2026年8月7日 · 12 分钟 · 824 字 · Damien Dye
八个 512 字节逻辑块映射到一个 4K 物理扇区上,旁边是一对一的 4K 映射

4Kn、512e 与 512n:为什么原生 4K 更好,模拟又要付出什么代价

512e 硬盘对外报告的 512 字节扇区其实并不存在,每一次未对齐的写入都要靠固件来补差。这在介质上、在主机里、在写放大上各要付出什么代价,为什么直接同步写入是最坏的情况,以及怎样把整批硬盘转换成 4Kn。

2026年8月7日 · 20 分钟 · 1434 字 · Damien Dye