先说明:我在 croit 工作,FlashStore 就是 croit 写的。下面的一切都读自 Ceph v21.2.0 的源码和文档,以及 croit 公开的 ceph-rust 快照,全部链接都在页面底部。凡是 croit 自己的理由站在某一方的地方,我都会说明这是谁的理由。

同一个守护进程的两次重写

经典的 Ceph OSD 是一个多线程的 C++ 服务器,是在机械硬盘上长大的。 在高速 NVMe 和高速网络上,它把大量 CPU 花在了不是存你数据的事情上:在线程池之间传递操作、拿锁、等别的线程。 有两个项目打算干脆重写 OSD 来解决这个问题。

一个是 Crimson,Ceph 自己的。 Umbrella 的文档称它为“the next generation ceph-osd”,其构建目的是“to deliver enhanced performance on fast network and storage devices”1。 另一个是 croit 的 FlashStore OSD,出自 ceph-rust 项目,自 2026年11月9日起公开预览2。

两者都说自己可以直接替换。 两者都说自己是为 NVMe 准备的。 两者都在预览阶段,今天都不该存放生产数据。 所以如果你跑的是 NVMe 上的 Ceph,正在琢磨该关注哪一个,那就值得弄清楚它们真正的区别在哪里,因为那并不在标题让你以为的地方。

本文按你在 Ceph 21.2.0 Umbrella 上会看到的样子来比较它们:Crimson 按该版本的文档和发布形态,FlashStore 则是针对同一版本构建和测试的2。 它接着 FlashStore 对比 Umbrella BlueStore 往下讲,那里已经讲过的关于 FlashStore 的内容,这里默认你已经读过。

一个守护进程的两次重写经典 ceph-osdC++,多线程CrimsonCeph 上游,基于 Seastar 的 C++croit-flashstore-osdcroit,Rust,自有运行时BlueStore默认SeaStore原生CyanStore不存数据FlashStore唯一的存储
经典 OSD 的两次重写。Crimson 保留三种存储可选,默认是 BlueStore;FlashStore 只有一种。

各自从哪里来

第一个区别是谁来做、怎么做。

CrimsonFlashStore
开发方Ceph 上游,在主代码树中croit
语言C++Rust
框架Seastarcroit 自己的单线程执行器
代码在 ceph/ceph 中净室重写,不链接任何 Ceph 代码
开发方式上游,公开预览期为只读快照;首个生产版本之后公开
许可证Ceph 的守护进程 LGPL-3.0,客户端 MPL-2.0
用它自己的话说的状态“not suitable for production use”“not yet recommended for production data”
计划 GA未说明2027 年第一季度

Crimson 住在 Ceph 自己的仓库里,由 Ceph 自己的开发者构建。 它写在 Seastar 上,这是一个出自 ScyllaDB、面向每核一线程服务器的 C++ 框架3。 Umbrella 的文档说得很直白,它“is in a tech-preview stage and is not suitable for production use”1。

FlashStore 是用 Rust 从零写的,完全不链接任何 Ceph 代码;Ceph 的 C++ 只作为参考来读,再按 croit 自己的规格重新实现4。 它的 README 说它用于测试和评估,“not yet recommended for production data”,正式可用计划在 2027 年第一季度2。 公开仓库是一个只读快照:“no issue tracker, no contribution workflow”2。

这一行值得仔细读。 Crimson 是公开开发的,谁都可以读拉取请求,在上面争论。 FlashStore 目前是以一家公司做好的快照形式出现:每一行你都能读,但你还不能给它提交补丁。 这是预览阶段的状态,不是计划。 预览的作用是在 croit 内部跑生产测试用例、把这个 OSD 标为可安全使用之前,先收集社区反馈。 公开开发会在首个生产版本之后到来,这也是大多数由企业赞助的开源项目走的路。 这话来自 croit 内部,而不是来自一份公开的路线图,所以要让他们说到做到。

croit 确实考虑过 fork Crimson,并写下了为什么没有这么做。 它的 ADR 说 Crimson“tries to support everything (HDD, alienstore/BlueStore, all pool types)”,并补了一句“Complex code is never fast”4。 这是 croit 对 Crimson 的看法,不是测量结果,我也会就这么看待它。 同一份 ADR 拒绝 fork 的理由之一是 LGPL4,而 croit 八天之后就把自己的守护进程用 LGPL-3.0 授权了5。 所以许可证从来就不是真正的理由。

内存安全:Rust 对比 C++

OSD 是存着你数据的那段代码。 它里面的一个释放后使用或缓冲区溢出,不是那种重启一下就好的崩溃;它是磁盘上被损坏的数据,还会被复制到每一个副本。 这恰恰是西方网络安全机构过去三年一直在要求整个行业从设计上消除的那一类缺陷。

指引谁署了名它说了什么
The Case for Memory Safe Roadmaps,2023年12月CISA、NSA 和 FBI(美国),ASD’s ACSC(澳大利亚),CCCS(加拿大),NCSC-UK,NCSC-NZ,CERT-NZC 和 C++ 是内存不安全的;发布一份摆脱它们的路线图
Product Security Bad Practices v2.0,2025年1月CISA 和 FBI在有内存安全语言可用的情况下,用 C 或 C++ 开发新的关键基础设施产品线是 “dangerous”

联合指引说得很直白:“Programming languages such as C and C++ are examples of memory unsafe programming languages”6。 CISA 和 FBI 走得更远,在本可以使用内存安全替代方案时,把“the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)”称为危险做法7。 这是指引,不是法律。 但关键服务底下的存储,恰恰就是它瞄准的那类代码,而这两个都是下一代 OSD,都会被拿来对照它评判。

FlashStore 符合它。 它是用 Rust 写的,croit 的 ADR 用一句话给出了理由:“Storage = correctness-critical; memory-safety bugs = data loss”8。 编译器在除了标为 unsafe 的代码之外的所有地方检查内存安全,而同一份 ADR 把这些代码限定在 FFI、DMA、NVMe 和网络驱动模块里,每一处都带 SAFETY 注释8。 我在快照里数过:696,125 行 Rust 里,有 1,216 行提到 unsafe,约 0.17%,它们都在 RDMA、运行时、NVMe 和存储这几个 crate 里,也就是代码跟硬件打交道的地方。 联合指引本身就点了这个逃生口,指出 Rust“can contain the ‘unsafe’ keyword”6,所以这才是诚实的衡量方式:不是零,但很少,被圈起来了,而且就在你预料的地方。 它确实调用的 C 代码,也就是 SPDK 和 DPDK,同样待在这些边界后面8。

Crimson 不符合。 它是一个用 C++ 写在 C++ 框架上的新 OSD13,而 C++ 正是上面那些机构点名为内存不安全的语言。 它的每一行都在编译器能检查内存安全的范围之外,而且在默认配置下,它把存储交给 BlueStore,后者也是 C++。

CrimsonFlashStore
语言C++Rust
编译器检查内存安全否是,unsafe 之外
未经检查的代码全部约 0.17% 的代码行,驱动和 FFI 代码
默认存储BlueStore,C++FlashStore,Rust
符合五眼联盟内存安全指引否是

Ceph 的开发者选择 C++ 并非草率;Crimson 是从一个 C++ 代码库里长出来的,就地重写就意味着留在 C++ 里。 这是一条合理的工程路线。 但它仍然让下一代 Ceph OSD 用的正是五个国家的机构要求新的关键代码抛弃的那一类语言。

各自如何加入集群

这是两者之间最大的实际区别,而且跟性能毫无关系。

FlashStore OSD 加入的是你已有的池。 它和经典的 BlueStore OSD 并排待在同样的归置组里,你一次换一块盘就行2。

Crimson OSD 不行。 差得远。 Umbrella 的文档说:“Crimson OSD won’t instantiate PGs from non-Crimson pools”1。 代码也正是这么做的。当 monitor 要求一个 Crimson OSD 在一个没有 crimson 标志的池里创建 PG 时,它会记下“pool lacks crimson flag”,然后取消创建9。

各自会服务哪些池你现有的池没有 crimson 标志经典 OSDBlueStoreFlashStore OSD同样的 PGCrimson OSD只服务 crimson 池PG 被忽略新池,--crimson关闭自动伸缩
FlashStore 在你现有的池里接手 PG。Crimson 只服务带 crimson 标志创建的池,所以它需要新池,并把数据复制进去。

所以试用 Crimson 就意味着新池,用 crimson 标志创建,再把你的数据挪进去。 而这些池还带着 monitor 强制执行的条件:

Crimson 池规则(Umbrella)位置
创建池时必须关闭 PG 自动伸缩OSDMonitor,创建池10
拒绝 PG 合并(缩小 pg_num)OSDMonitor,pg_num 变更11
只有在 crimson_allow_pg_split 为 true 时才允许 PG 分裂同上,以及该选项12
EC 池必须是优化型 EC,没有例外OSDMonitor,创建池13
EC 池上不支持 OMAP同上13

FlashStore 服务经典池,副本池和纠删码池都行,对它不支持的 EC 配置是在 OSD 这边拒绝接手,而不是在 monitor 那里拒绝14。 两种做法都没有错。 但一种让你在一份真实池布局的副本上测试,另一种让你先另建一套。

你已有的池过不去

那么,能不能把一个现有的池变成 Crimson 池,然后一次一块盘地迁过去? 不能。

Umbrella 的文档说 Crimson“aiming to allow seamless migration from existing ceph-osd deployments”1。 是“aiming”,目标而已。这个版本做不到,而源码说明了为什么做不到。 crimson 标志是 ceph osd pool create 上的一个选项,别处都没有15。 ceph osd pool set 没有一个可以在已有池上设置的 crimson 变量16。 而且如上所述,Crimson OSD 会忽略没有这个标志的池里的每一个 PG9。 我在源码和文档里都没找到转换工具。

迁移一个现有池Crimson(Umbrella)FlashStore,现在
保留同一个池否,需要一个新池是
池能否事后打标志否,只能在创建时不需要
数据怎么挪你自己从池复制到池集群自己回填
客户端要改指向是,指向新池否
一次一块盘否是

这让迁到 Crimson 变成了一次你自己跑的数据复制:RBD 镜像可以“between different pools”实时迁移17,对象或文件数据则要靠你的应用用来复制它们的随便什么东西。 然后每个客户端都得改指向新池。

FlashStore 与你今天跑着的池兼容。 你在一块盘上准备好它,集群回填分给它的归置组,而你的客户端根本不会察觉池在底下变了,因为它确实没变18。 加入你集群的重写和坐在你集群旁边的重写,区别就全在这里。

各自向 monitor 报告什么

Crimson 会自报家门。 启动时它发送 osd_type=crimson19,除非设置了 allow_crimson 这个 OSDMap 标志,否则 monitor 拒绝放它进来,并记下一行日志,说 crimson-osd“is considered unstable and may result in crashes or data loss”20。 走到这一步需要文档里的四条命令,第一条设置的选项叫 enable_experimental_unrecoverable_data_corrupting_features1。

FlashStore 正好相反。 它根本不发送 osd_type,并报告 osd_objectstore=bluestore,所以 monitor 看到的是一个经典 OSD,什么都不问21。 上一篇讲过原因:Umbrella 的 monitor 会以池里每个 OSD 都报告 BlueStore 为前提来开放 EC 覆写之类的功能21。 这是针对今天生产环境里的原版 monitor 和 manager。 在 croit 自己的 Ceph 构建上,monitor 和 manager 打过补丁、认得它,FlashStore 就报告自己是 flashstore21。

monitor 在启动时检查什么Crimson OSDosd_type=crimsonmon:设了 allow_crimson 吗?set-allow-crimson否:拒绝启动"crashes or data loss"FlashStore OSD没有 osd_typemon:一个经典 OSDobjectstore=bluestore启动,无需标志服务现有池
Crimson 得被点名放行,还要躲在一个 monitor 会发出警告的标志后面。FlashStore 以经典 OSD 的身份直接走进来。

我更希望软件告诉我它是什么。 Crimson 就这么做。 它的方式是诚实的那种,那个标志的名字也让你对自己同意的是什么毫无疑问。 FlashStore 的方式,是让它能在人们现在跑着的原版 monitor 和 manager 上直接替换的关键,这是一项兼容措施,不是最终形态。 两者都是有意为之,也都写在了文档里。 只是在你数 OSD 的时候,要知道自己面对的是哪一种。

CPU 核心:reactor 对比绑核轮询线程

两个项目都扔掉了线程池。 好。 两者都是每核一个线程,按核心对工作分片。 区别在于它们对运维人员要求多少,以及抓住核心抓得有多紧。

CrimsonFlashStore
工作单元每核一个 Seastar reactor每核一个绑核线程
核心数crimson_cpu_num,无默认值,必须设置flashstore_cores,默认 8
绑定到核心仅在设置 crimson_cpu_set 时是,flashstore_lcores
空闲行为轮询 200 µs,然后休眠轮询,自适应空闲
完全忙轮询可选,crimson_poll_mode设计如此,带空闲退避
部署后能否更改否存储分片在准备时固定

在 Crimson 上,crimson_cpu_num“does not have a default value”,必须在部署 OSD 之前设置,并且“cannot be changed after deployment”1。 除非你同时设置 crimson_cpu_set,否则它不会绑定线程,而文档把这个选项描述为“generally less recommended due to its complexity”1。 reactor 空闲时先轮询 200 µs 再回去休眠,另有一个完全轮询模式,“at the expense of 100% cpu usage”,默认关闭22。 SeaStore 在 mkfs 之后也拒绝 reactor 数量的变化23。

FlashStore 按设计就绑核,按设计就轮询,空闲时退避2425。 它的存储分片数在准备存储时固定,同样的约束,只是放在了不同的地方26。

实际上,两者都想要整颗核心,也都希望你在部署之前就定好数量。 Crimson 把轮询做成一个你选择开启的选项。FlashStore 把它作为默认,并让空闲逻辑抢回一部分 CPU。

Crimson 的默认存储是 BlueStore

这是让我吃惊的部分。 其实本不该吃惊。

Crimson 有两类对象存储。 原生的跑在 Seastar reactor 里面;非原生的通过“a thread pool proxy”交给“alien threads: worker threads not managed by Seastar”1。 SeaStore 是原生的那个。BlueStore 是非原生的。 而 BlueStore 是默认的。

文档对此毫不含糊。 SeaStore“is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages”1。 除非另行指定,Cephadm 部署 Crimson 时用的是 --objectstore bluestore,即便指定了,SeaStore 也不能用 --method raw 部署;文档让你用 LVM1。

Crimson 的默认存储,对比 FlashStoreCrimson,默认存储Seastar reactorcrimson_cpu_num线程池代理交出 reactor 之外alien 线程crimson_bluestore_num_threadsBlueStoreBlueFS 上的 RocksDBFlashStore拥有该 PG 的核心绑核,轮询存储分片,同一核心无交接NVMe 队列,同一核心SPDK 或 io_uring
一个默认的 Crimson OSD 把每一个存储操作从 reactor 里交出去,交给一池跑着 BlueStore 的普通线程。FlashStore 让整条路径都留在拥有该 PG 的那颗核心上。

所以今天按默认值部署的 Crimson OSD,是在经典 OSD 用的同一套 BlueStore、RocksDB 和 BlueFS 之上跑一个 Seastar 前端,并为其留出 crimson_bluestore_num_threads 个线程22。 在存储这一侧,跟经典 OSD 相比啥也没变。 作为迁移路径,这是一种明智的搭法。这也是为什么拿“Crimson”和 FlashStore 比性能几乎没有意义,除非你说清楚 Crimson 跑的是哪种存储。

存储层面公平的比较,是 SeaStore 对比 FlashStore。 这就是本文剩下的部分。

SeaStore 和 FlashStore:元数据放在哪里

两种存储从一开始就是为 NVMe 写的,都按核心分片,也都把元数据放在自己的 B 树里,而不是 RocksDB。 但它们的布局仍然大不相同。

SeaStore 给每个 reactor 一个自己的根27。 根下面有一棵 onode 树、一棵 LBA 树和一棵 backref 树。 然后每个对象的 onode 指向它自己的 OMAP B 树和它自己的 XATTR B 树,以及带逻辑地址的数据 extent27。 LBA 树把这些逻辑地址映射到物理地址,这样一个块可以在磁盘上移动,而对象自己的树不用改;文档说正是这层间接让大多数 extent“can be relocated freely”27。

FlashStore 把所有东西放在每个分片一棵写时复制 B+ 树里:onode、xattr、OMAP、每 4 KiB 块带一个 crc32c 的 extent 映射、PG 日志,以及分配器的位图28。 extent 映射直接指向物理块。中间没有逻辑层。

元数据放在哪里SeaStore根onode 树LBA 树backref 树onodeOMAP自有 B 树XATTR自有 B 树数据逻辑地址逻辑地址,经 LBA 树,再到磁盘FlashStore每个分片一棵 COW B+ 树onode、xattrOMAPextent 映射 + crc32cPG 日志、PG 信息分配器位图extent 映射,再到磁盘
SeaStore:每类东西一棵树,每个对象一棵 OMAP 和 xattr 的 B 树,再用一棵 LBA 树找到数据。FlashStore:每个分片一棵树,直接指向磁盘。

两种选择都有理由。 SeaStore 的间接层正是让它的清理器便宜的原因:它可以移动活数据,而不必重写每一棵指向这些数据的树。 FlashStore 不需要这个,因为它没有清理器,下面会讲。 它的 ADR 把“Per-object omap subtree/root”列在考虑过并否决的备选方案里28。

关于校验和有一个值得知道的区别:SeaStore 对整个缓存 extent 计算 crc32c29,而 FlashStore 每 4 KiB 块保留一个28。

一次写入的提交顺序

SeaStore 的默认设备类型是 SSD,用的是分段后端30。 在这个后端上,一个事务就是一条携带 delta 的日志记录,数据则可能有两种去向。

小而短命的 extent 可以内联在日志记录里,那么这条记录就是整个提交27。 更大或更长寿的 extent 会写到单独的外部段里,这时文档规定了顺序:“final record with the deltas should be written only once the other blocks are persisted”27。 这就是先后串行的两次写入,和 BlueStore 先数据、后 RocksDB 的提交是同一个形状。

FlashStore 同时写数据 extent 和 WAL 单元,把新数据的 crc32c 放进 WAL 记录里以便重放时校验,两者都持久化后才确认28。 一次设备往返,不论大小。

提交何时可以发出SeaStore小 extent日志记录extent 内联 + delta确认1 次往返SeaStore外部写入extent 写入 OOL 段等待持久化日志记录delta确认2 次往返FlashStore数据,新的 4 KiBWAL 单元,数据 crc确认1 次往返时间
SeaStore 在默认的分段设备上:extent 能放进日志记录时一次往返,写到外部时串行两次。FlashStore:数据和日志记录一起写。

这有多要紧取决于你的工作负载,和 BlueStore 那篇比较里完全一样。 在低队列深度下,客户端每次写都要等,第二次往返就是实打实的延迟。 在负载下,批处理会把大部分藏掉。

把空间要回来

日志结构设计的另一半,是清理。

分段后端上的 SeaStore 只往打开的段里写。 一个段要重新使用之前,它里面的活块必须重写到别处,设计文档说明了这要付出什么:“we must ‘clean’ one byte of an existing segment for every byte written at steady state”27。 它把一部分清理掺进正在进行的写入里以免出现尖峰,其余的在盘比较闲的时候放到后台做27。 段大小默认是 64 MiB31。

SeaStore 确实还有第二个面向 NVMe 的后端,即随机块管理器(RBM),文档说它“Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren’t worth the overhead”27。 它不是默认的。你要通过 seastore_main_device_type 来选它30。

FlashStore 没有段清理器。 一个都没有。 一个被替换掉的块,在某个检查点越过它之后就还给分片的分配器;只要有尚未持久化的工作,检查点每五秒发生一次,WAL 环形缓冲区半满时会更早28。 它的设计文档直接否决了日志结构布局28。 这不是说它没有后台工作:它仍然要合并和压缩树页、整理空闲空间碎片,节奏压在客户端 I/O 之下28。 但它从不为了腾地方去复制你的活数据。

把空间要回来SeaStore,分段(默认)已关闭的段活块 + 死块清理器重写活块写入一个打开的段段已清空discard,重用稳态:每写一字节,约清理一字节FlashStore块被替换由新的 extent 替换保留到检查点每 5 秒或 WAL 半满回到位图不搬动活数据
SeaStore 的默认后端用一个搬动活数据的清理器来为顺序写买单。FlashStore 在检查点之后原地释放被替换的块,什么都不搬。

在闪存上,盘里本来就在跑自己的垃圾回收,我宁可 OSD 别在上面再跑第二套。 从 SeaStore 自己的文档对 RBM 后端的说法来看,它们似乎也同意。 区别在于,FlashStore 把这做成了唯一的选项,而 SeaStore 把它做成了非默认的那个。

各自能跑在什么上

Crimson(Umbrella)FlashStore
HDD是,配 BlueStore;SeaStore 有一种 HDD 段类型否
NVMe是是,唯一目标
掉电保护未说明要求必需,没有的话 mkfs 拒绝
设备布局通过 cephadm 为 SeaStore 使用 LVM整个命名空间,不分区
线上协议仅 msgr2仅 msgr2
I/O 后端默认 io_uring;linux-aio、epoll默认 SPDK,io_uring 档
池带 crimson 标志的新池现有的经典池
迁移现有数据复制到新池回填进同一个池
部署方式cephadm,--osd-type crimson软件包,croit-flashstore-tool
推荐构建main 的最新 CI 构建发布快照

Crimson 保住了覆盖面。 文档说 SeaStore“may not be suitable for traditional HDDs”,但“Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs”1,而且 SeaStore 的设计文档仍然列着对 HDD 的兴趣27。 它的 messenger 直接拒绝 v1,“ProtocolV1 is no longer supported”32,和 FlashStore 做了同样的选择33。 它的文档推荐“one of the latest available builds, as Crimson evolves rapidly”,实际上就是 main 的 CI 镜像1。

FlashStore 把一切收窄到带掉电保护的 NVMe 上,它的简单就是从这里来的34。 这恰恰就是 croit 的 ADR 从另一面描述的那个取舍。

同一个问题的两种回答

两个项目都从同一个观察出发:经典 OSD 浪费了高速硬件。 它们给出的回答截然不同。

Crimson 的回答是社区式的。 在 Ceph 内部就地重写 OSD,在新存储成熟的过程中让每一种旧存储、每一块旧盘都继续能用,并且让所有人在工作进行时就能看到。 这很慢,也看得出来。 在 Umbrella 里,默认的 Crimson OSD 仍然通过线程池跑着 BlueStore,它自己的池和你的池是隔开的,而开启它意味着要亲手敲下“unrecoverable data corrupting”这几个词。 但它属于每一个跑 Ceph 的人,谁也没法把它从你手里拿走。

FlashStore 的回答是厂商式的。 选一个更窄的目标,带掉电保护的 NVMe,把只为其他硬件而存在的东西统统扔掉,交付一个能直接放进你已有池里的存储。 这更快,也看得出来。 但它来自一家公司,在首个生产版本之前都是只读快照,而在原版集群上,它是靠告诉 monitor 自己是 BlueStore 才进得去的。

我就在那家公司工作,所以下面的话请自行掂量。 对全闪存集群来说,croit 押对了技术。对 Ceph 这个项目来说,Crimson 押对了。 这两者不是一回事。 一个服务所有人的项目不能丢下 HDD。一个厂商可以,而且如果客户买的就是这个,它就应该丢。

我不会做的,是凭任何一方的基准测试图表在两者之间做选择。 Crimson 的数字取决于它三种存储里跑的是哪一种;FlashStore 的数字来自 croit 自己的实验室。 两个项目都公开了设计文档。 读一读,然后把两者都放到你真正会部署的盘上,跑你自己的工作负载。 当押上的是你的数据时,仍然做到了文档上所说的那个,才是值得等的那个。


  1. Ceph Umbrella, Crimson (Tech Preview) — “the next generation ceph-osd”、“not suitable for production use”、所需的标志、crimson_cpu_num、原生与非原生后端、SeaStore “not the default”、不支持 --method raw。源文件:doc/crimson/crimson.rst at v21.2.0。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. croit ceph-rust, README at snapshot 48f9014 — 直接替换的说法,自 2026年11月9日起预览,2027 年第一季度 GA,“not yet recommended for production data”,“no issue tracker, no contribution workflow”。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  3. Seastar — Crimson 所基于的 C++ 框架。 ↩︎ ↩︎

  4. ceph-rust ADR 0003, green-field, no Crimson fork — “Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -> complexity. Complex code is never fast.”;以“C++, complexity, LGPL”为由否决 fork。 ↩︎ ↩︎ ↩︎

  5. ceph-rust ADR 0164, licences — 日期 2026-10-17;守护进程 LGPL-3.0-only。 ↩︎

  6. CISA, NSA, FBI, ASD’s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (December 2023) — “Programming languages such as C and C++ are examples of memory unsafe programming languages”;Rust “can contain the ‘unsafe’ keyword”。 ↩︎ ↩︎

  7. CISA and FBI: Product Security Bad Practices, v2.0 (January 2025) — 面向关键基础设施的新产品线“in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous”。 ↩︎

  8. ceph-rust ADR 0002, language: Rust — “Storage = correctness-critical; memory-safety bugs = data loss”;unsafe “confined to ffi/dma/nvme/net-driver modules with SAFETY comments”;通过 FFI 调用 SPDK 和 DPDK。 ↩︎ ↩︎ ↩︎

  9. Ceph v21.2.0, crimson/osd/shard_services.cc — “ignoring pgid {}, pool lacks crimson flag”。 ↩︎ ↩︎

  10. Ceph v21.2.0, OSDMonitor.cc, crimson pool creation — “crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to ‘off’”。 ↩︎

  11. Ceph v21.2.0, OSDMonitor.cc, crimson pg_num changes — “pg merging is not yet supported in Crimson”。 ↩︎

  12. Ceph v21.2.0, crimson_allow_pg_split — “Allow Crimson pools to increase their PG count (split)”,默认 true。 ↩︎

  13. Ceph v21.2.0, OSDMonitor.cc, EC pools for Crimson — “For Crimson - only EC-optimized pools are supported”,“Omap is not supported by EC pools in crimson”。 ↩︎ ↩︎

  14. ceph-rust docs, erasure-coded pools — 默认服务传统 EC 和优化型 EC;不支持的池由 OSD 拒绝接手。 ↩︎

  15. Ceph v21.2.0, MonCommands.h, osd pool create — name=crimson,type=CephBool,req=false,这是唯一接受该标志的地方。 ↩︎

  16. Ceph v21.2.0, MonCommands.h, osd pool set — 可设置的变量;其中没有 crimson。 ↩︎

  17. Ceph Umbrella, RBD image live-migration — “RBD images can be live-migrated between different pools”。 ↩︎

  18. ceph-rust docs, migrate from classic — 加一块盘或腾出一块盘,准备 FlashStore,让回填把数据挪过去。 ↩︎

  19. Ceph v21.2.0, crimson/osd/osd.cc — m->metadata["osd_type"] = "crimson"。 ↩︎

  20. Ceph v21.2.0, OSDMonitor.cc, boot check — “Disallowing boot of crimson-osd without allow_crimson OSDMap flag”,“considered unstable and may result in crashes or data loss”。 ↩︎

  21. ceph-rust ADR 0019, report osd_objectstore=bluestore — 没有 osd_type 键,monitor 的 BlueStore 功能门槛。 ↩︎ ↩︎ ↩︎

  22. Ceph v21.2.0, crimson.yaml.in — crimson_reactor_idle_poll_time_us 200,crimson_poll_mode “at the expense of 100% cpu usage” 默认 false,crimson_bluestore_num_threads。 ↩︎ ↩︎

  23. Ceph v21.2.0, seastore_require_partition_count_match_reactor_count — “disable osd shards changes upon restart”,默认 true。 ↩︎

  24. ceph-rust ADR 0006, thread-per-core runtime — 每核一个绑核忙轮询线程,PG 归属于某一颗核心。 ↩︎

  25. ceph-rust ADR 0004, storage I/O — SPDK 与 io_uring 档,按设备计时的空闲。 ↩︎

  26. ceph-rust docs, configuration reference — flashstore_cores 默认 8,flashstore_lcores,flashstore_store_shards 在准备时固定。 ↩︎

  27. Ceph Umbrella, SeaStore developer documentation — 每个 reactor 的根,onode、OMAP、LBA 和 backref 树,每写一字节就要“clean”一字节,日志记录顺序,RBM 后端。源文件:doc/dev/crimson/seastore.rst at v21.2.0。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  28. ceph-rust ADR 0021, storage engine — 每个分片一棵 COW B+ 树,并行提交,检查点,后台维护,被否决的备选方案包括日志结构和“Per-object omap subtree/root”。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  29. Ceph v21.2.0, crimson/os/seastore/cached_extent.h — “Returns crc32c of buffer”。 ↩︎

  30. Ceph v21.2.0, seastore_main_device_type — “The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)”,默认 SSD。 ↩︎ ↩︎

  31. Ceph v21.2.0, seastore_segment_size — 默认 64 MiB。 ↩︎

  32. Ceph v21.2.0, crimson/net/SocketMessenger.cc — “ProtocolV1 is no longer supported”。 ↩︎

  33. ceph-rust ADR 0168, out of scope — 不支持 msgr1,仅 v2。 ↩︎

  34. ceph-rust docs, hardware and host requirements — 需要掉电保护,使用整个命名空间。 ↩︎