先说明:我在 croit 工作,FlashStore 就是 croit 写的。下面的一切都读自 Ceph v21.2.0 的源码和文档,以及 croit 公开的 ceph-rust 快照,全部链接都在页面底部。凡是 croit 自己的理由站在某一方的地方,我都会说明这是谁的理由。
同一个守护进程的两次重写
经典的 Ceph OSD 是一个多线程的 C++ 服务器,是在机械硬盘上长大的。 在高速 NVMe 和高速网络上,它把大量 CPU 花在了不是存你数据的事情上:在线程池之间传递操作、拿锁、等别的线程。 有两个项目打算干脆重写 OSD 来解决这个问题。
一个是 Crimson,Ceph 自己的。
Umbrella 的文档称它为“the next generation ceph-osd”,其构建目的是“to deliver enhanced performance on fast network and storage devices”1。
另一个是 croit 的 FlashStore OSD,出自 ceph-rust 项目,自 2026年11月9日起公开预览2。
两者都说自己可以直接替换。 两者都说自己是为 NVMe 准备的。 两者都在预览阶段,今天都不该存放生产数据。 所以如果你跑的是 NVMe 上的 Ceph,正在琢磨该关注哪一个,那就值得弄清楚它们真正的区别在哪里,因为那并不在标题让你以为的地方。
本文按你在 Ceph 21.2.0 Umbrella 上会看到的样子来比较它们:Crimson 按该版本的文档和发布形态,FlashStore 则是针对同一版本构建和测试的2。 它接着 FlashStore 对比 Umbrella BlueStore 往下讲,那里已经讲过的关于 FlashStore 的内容,这里默认你已经读过。
各自从哪里来
第一个区别是谁来做、怎么做。
| Crimson | FlashStore | |
|---|---|---|
| 开发方 | Ceph 上游,在主代码树中 | croit |
| 语言 | C++ | Rust |
| 框架 | Seastar | croit 自己的单线程执行器 |
| 代码 | 在 ceph/ceph 中 | 净室重写,不链接任何 Ceph 代码 |
| 开发方式 | 上游,公开 | 预览期为只读快照;首个生产版本之后公开 |
| 许可证 | Ceph 的 | 守护进程 LGPL-3.0,客户端 MPL-2.0 |
| 用它自己的话说的状态 | “not suitable for production use” | “not yet recommended for production data” |
| 计划 GA | 未说明 | 2027 年第一季度 |
Crimson 住在 Ceph 自己的仓库里,由 Ceph 自己的开发者构建。 它写在 Seastar 上,这是一个出自 ScyllaDB、面向每核一线程服务器的 C++ 框架3。 Umbrella 的文档说得很直白,它“is in a tech-preview stage and is not suitable for production use”1。
FlashStore 是用 Rust 从零写的,完全不链接任何 Ceph 代码;Ceph 的 C++ 只作为参考来读,再按 croit 自己的规格重新实现4。 它的 README 说它用于测试和评估,“not yet recommended for production data”,正式可用计划在 2027 年第一季度2。 公开仓库是一个只读快照:“no issue tracker, no contribution workflow”2。
这一行值得仔细读。 Crimson 是公开开发的,谁都可以读拉取请求,在上面争论。 FlashStore 目前是以一家公司做好的快照形式出现:每一行你都能读,但你还不能给它提交补丁。 这是预览阶段的状态,不是计划。 预览的作用是在 croit 内部跑生产测试用例、把这个 OSD 标为可安全使用之前,先收集社区反馈。 公开开发会在首个生产版本之后到来,这也是大多数由企业赞助的开源项目走的路。 这话来自 croit 内部,而不是来自一份公开的路线图,所以要让他们说到做到。
croit 确实考虑过 fork Crimson,并写下了为什么没有这么做。 它的 ADR 说 Crimson“tries to support everything (HDD, alienstore/BlueStore, all pool types)”,并补了一句“Complex code is never fast”4。 这是 croit 对 Crimson 的看法,不是测量结果,我也会就这么看待它。 同一份 ADR 拒绝 fork 的理由之一是 LGPL4,而 croit 八天之后就把自己的守护进程用 LGPL-3.0 授权了5。 所以许可证从来就不是真正的理由。
内存安全:Rust 对比 C++
OSD 是存着你数据的那段代码。 它里面的一个释放后使用或缓冲区溢出,不是那种重启一下就好的崩溃;它是磁盘上被损坏的数据,还会被复制到每一个副本。 这恰恰是西方网络安全机构过去三年一直在要求整个行业从设计上消除的那一类缺陷。
| 指引 | 谁署了名 | 它说了什么 |
|---|---|---|
| The Case for Memory Safe Roadmaps,2023年12月 | CISA、NSA 和 FBI(美国),ASD’s ACSC(澳大利亚),CCCS(加拿大),NCSC-UK,NCSC-NZ,CERT-NZ | C 和 C++ 是内存不安全的;发布一份摆脱它们的路线图 |
| Product Security Bad Practices v2.0,2025年1月 | CISA 和 FBI | 在有内存安全语言可用的情况下,用 C 或 C++ 开发新的关键基础设施产品线是 “dangerous” |
联合指引说得很直白:“Programming languages such as C and C++ are examples of memory unsafe programming languages”6。 CISA 和 FBI 走得更远,在本可以使用内存安全替代方案时,把“the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)”称为危险做法7。 这是指引,不是法律。 但关键服务底下的存储,恰恰就是它瞄准的那类代码,而这两个都是下一代 OSD,都会被拿来对照它评判。
FlashStore 符合它。
它是用 Rust 写的,croit 的 ADR 用一句话给出了理由:“Storage = correctness-critical; memory-safety bugs = data loss”8。
编译器在除了标为 unsafe 的代码之外的所有地方检查内存安全,而同一份 ADR 把这些代码限定在 FFI、DMA、NVMe 和网络驱动模块里,每一处都带 SAFETY 注释8。
我在快照里数过:696,125 行 Rust 里,有 1,216 行提到 unsafe,约 0.17%,它们都在 RDMA、运行时、NVMe 和存储这几个 crate 里,也就是代码跟硬件打交道的地方。
联合指引本身就点了这个逃生口,指出 Rust“can contain the ‘unsafe’ keyword”6,所以这才是诚实的衡量方式:不是零,但很少,被圈起来了,而且就在你预料的地方。
它确实调用的 C 代码,也就是 SPDK 和 DPDK,同样待在这些边界后面8。
Crimson 不符合。 它是一个用 C++ 写在 C++ 框架上的新 OSD13,而 C++ 正是上面那些机构点名为内存不安全的语言。 它的每一行都在编译器能检查内存安全的范围之外,而且在默认配置下,它把存储交给 BlueStore,后者也是 C++。
| Crimson | FlashStore | |
|---|---|---|
| 语言 | C++ | Rust |
| 编译器检查内存安全 | 否 | 是,unsafe 之外 |
| 未经检查的代码 | 全部 | 约 0.17% 的代码行,驱动和 FFI 代码 |
| 默认存储 | BlueStore,C++ | FlashStore,Rust |
| 符合五眼联盟内存安全指引 | 否 | 是 |
Ceph 的开发者选择 C++ 并非草率;Crimson 是从一个 C++ 代码库里长出来的,就地重写就意味着留在 C++ 里。 这是一条合理的工程路线。 但它仍然让下一代 Ceph OSD 用的正是五个国家的机构要求新的关键代码抛弃的那一类语言。
各自如何加入集群
这是两者之间最大的实际区别,而且跟性能毫无关系。
FlashStore OSD 加入的是你已有的池。 它和经典的 BlueStore OSD 并排待在同样的归置组里,你一次换一块盘就行2。
Crimson OSD 不行。
差得远。
Umbrella 的文档说:“Crimson OSD won’t instantiate PGs from non-Crimson pools”1。
代码也正是这么做的。当 monitor 要求一个 Crimson OSD 在一个没有 crimson 标志的池里创建 PG 时,它会记下“pool lacks crimson flag”,然后取消创建9。
所以试用 Crimson 就意味着新池,用 crimson 标志创建,再把你的数据挪进去。
而这些池还带着 monitor 强制执行的条件:
| Crimson 池规则(Umbrella) | 位置 |
|---|---|
| 创建池时必须关闭 PG 自动伸缩 | OSDMonitor,创建池10 |
拒绝 PG 合并(缩小 pg_num) | OSDMonitor,pg_num 变更11 |
只有在 crimson_allow_pg_split 为 true 时才允许 PG 分裂 | 同上,以及该选项12 |
| EC 池必须是优化型 EC,没有例外 | OSDMonitor,创建池13 |
| EC 池上不支持 OMAP | 同上13 |
FlashStore 服务经典池,副本池和纠删码池都行,对它不支持的 EC 配置是在 OSD 这边拒绝接手,而不是在 monitor 那里拒绝14。 两种做法都没有错。 但一种让你在一份真实池布局的副本上测试,另一种让你先另建一套。
你已有的池过不去
那么,能不能把一个现有的池变成 Crimson 池,然后一次一块盘地迁过去? 不能。
Umbrella 的文档说 Crimson“aiming to allow seamless migration from existing ceph-osd deployments”1。
是“aiming”,目标而已。这个版本做不到,而源码说明了为什么做不到。
crimson 标志是 ceph osd pool create 上的一个选项,别处都没有15。
ceph osd pool set 没有一个可以在已有池上设置的 crimson 变量16。
而且如上所述,Crimson OSD 会忽略没有这个标志的池里的每一个 PG9。
我在源码和文档里都没找到转换工具。
| 迁移一个现有池 | Crimson(Umbrella) | FlashStore,现在 |
|---|---|---|
| 保留同一个池 | 否,需要一个新池 | 是 |
| 池能否事后打标志 | 否,只能在创建时 | 不需要 |
| 数据怎么挪 | 你自己从池复制到池 | 集群自己回填 |
| 客户端要改指向 | 是,指向新池 | 否 |
| 一次一块盘 | 否 | 是 |
这让迁到 Crimson 变成了一次你自己跑的数据复制:RBD 镜像可以“between different pools”实时迁移17,对象或文件数据则要靠你的应用用来复制它们的随便什么东西。 然后每个客户端都得改指向新池。
FlashStore 与你今天跑着的池兼容。 你在一块盘上准备好它,集群回填分给它的归置组,而你的客户端根本不会察觉池在底下变了,因为它确实没变18。 加入你集群的重写和坐在你集群旁边的重写,区别就全在这里。
各自向 monitor 报告什么
Crimson 会自报家门。
启动时它发送 osd_type=crimson19,除非设置了 allow_crimson 这个 OSDMap 标志,否则 monitor 拒绝放它进来,并记下一行日志,说 crimson-osd“is considered unstable and may result in crashes or data loss”20。
走到这一步需要文档里的四条命令,第一条设置的选项叫 enable_experimental_unrecoverable_data_corrupting_features1。
FlashStore 正好相反。
它根本不发送 osd_type,并报告 osd_objectstore=bluestore,所以 monitor 看到的是一个经典 OSD,什么都不问21。
上一篇讲过原因:Umbrella 的 monitor 会以池里每个 OSD 都报告 BlueStore 为前提来开放 EC 覆写之类的功能21。
这是针对今天生产环境里的原版 monitor 和 manager。
在 croit 自己的 Ceph 构建上,monitor 和 manager 打过补丁、认得它,FlashStore 就报告自己是 flashstore21。
我更希望软件告诉我它是什么。 Crimson 就这么做。 它的方式是诚实的那种,那个标志的名字也让你对自己同意的是什么毫无疑问。 FlashStore 的方式,是让它能在人们现在跑着的原版 monitor 和 manager 上直接替换的关键,这是一项兼容措施,不是最终形态。 两者都是有意为之,也都写在了文档里。 只是在你数 OSD 的时候,要知道自己面对的是哪一种。
CPU 核心:reactor 对比绑核轮询线程
两个项目都扔掉了线程池。 好。 两者都是每核一个线程,按核心对工作分片。 区别在于它们对运维人员要求多少,以及抓住核心抓得有多紧。
| Crimson | FlashStore | |
|---|---|---|
| 工作单元 | 每核一个 Seastar reactor | 每核一个绑核线程 |
| 核心数 | crimson_cpu_num,无默认值,必须设置 | flashstore_cores,默认 8 |
| 绑定到核心 | 仅在设置 crimson_cpu_set 时 | 是,flashstore_lcores |
| 空闲行为 | 轮询 200 µs,然后休眠 | 轮询,自适应空闲 |
| 完全忙轮询 | 可选,crimson_poll_mode | 设计如此,带空闲退避 |
| 部署后能否更改 | 否 | 存储分片在准备时固定 |
在 Crimson 上,crimson_cpu_num“does not have a default value”,必须在部署 OSD 之前设置,并且“cannot be changed after deployment”1。
除非你同时设置 crimson_cpu_set,否则它不会绑定线程,而文档把这个选项描述为“generally less recommended due to its complexity”1。
reactor 空闲时先轮询 200 µs 再回去休眠,另有一个完全轮询模式,“at the expense of 100% cpu usage”,默认关闭22。
SeaStore 在 mkfs 之后也拒绝 reactor 数量的变化23。
FlashStore 按设计就绑核,按设计就轮询,空闲时退避2425。 它的存储分片数在准备存储时固定,同样的约束,只是放在了不同的地方26。
实际上,两者都想要整颗核心,也都希望你在部署之前就定好数量。 Crimson 把轮询做成一个你选择开启的选项。FlashStore 把它作为默认,并让空闲逻辑抢回一部分 CPU。
Crimson 的默认存储是 BlueStore
这是让我吃惊的部分。 其实本不该吃惊。
Crimson 有两类对象存储。 原生的跑在 Seastar reactor 里面;非原生的通过“a thread pool proxy”交给“alien threads: worker threads not managed by Seastar”1。 SeaStore 是原生的那个。BlueStore 是非原生的。 而 BlueStore 是默认的。
文档对此毫不含糊。
SeaStore“is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages”1。
除非另行指定,Cephadm 部署 Crimson 时用的是 --objectstore bluestore,即便指定了,SeaStore 也不能用 --method raw 部署;文档让你用 LVM1。
所以今天按默认值部署的 Crimson OSD,是在经典 OSD 用的同一套 BlueStore、RocksDB 和 BlueFS 之上跑一个 Seastar 前端,并为其留出 crimson_bluestore_num_threads 个线程22。
在存储这一侧,跟经典 OSD 相比啥也没变。
作为迁移路径,这是一种明智的搭法。这也是为什么拿“Crimson”和 FlashStore 比性能几乎没有意义,除非你说清楚 Crimson 跑的是哪种存储。
存储层面公平的比较,是 SeaStore 对比 FlashStore。 这就是本文剩下的部分。
SeaStore 和 FlashStore:元数据放在哪里
两种存储从一开始就是为 NVMe 写的,都按核心分片,也都把元数据放在自己的 B 树里,而不是 RocksDB。 但它们的布局仍然大不相同。
SeaStore 给每个 reactor 一个自己的根27。 根下面有一棵 onode 树、一棵 LBA 树和一棵 backref 树。 然后每个对象的 onode 指向它自己的 OMAP B 树和它自己的 XATTR B 树,以及带逻辑地址的数据 extent27。 LBA 树把这些逻辑地址映射到物理地址,这样一个块可以在磁盘上移动,而对象自己的树不用改;文档说正是这层间接让大多数 extent“can be relocated freely”27。
FlashStore 把所有东西放在每个分片一棵写时复制 B+ 树里:onode、xattr、OMAP、每 4 KiB 块带一个 crc32c 的 extent 映射、PG 日志,以及分配器的位图28。 extent 映射直接指向物理块。中间没有逻辑层。
两种选择都有理由。 SeaStore 的间接层正是让它的清理器便宜的原因:它可以移动活数据,而不必重写每一棵指向这些数据的树。 FlashStore 不需要这个,因为它没有清理器,下面会讲。 它的 ADR 把“Per-object omap subtree/root”列在考虑过并否决的备选方案里28。
关于校验和有一个值得知道的区别:SeaStore 对整个缓存 extent 计算 crc32c29,而 FlashStore 每 4 KiB 块保留一个28。
一次写入的提交顺序
SeaStore 的默认设备类型是 SSD,用的是分段后端30。
在这个后端上,一个事务就是一条携带 delta 的日志记录,数据则可能有两种去向。
小而短命的 extent 可以内联在日志记录里,那么这条记录就是整个提交27。 更大或更长寿的 extent 会写到单独的外部段里,这时文档规定了顺序:“final record with the deltas should be written only once the other blocks are persisted”27。 这就是先后串行的两次写入,和 BlueStore 先数据、后 RocksDB 的提交是同一个形状。
FlashStore 同时写数据 extent 和 WAL 单元,把新数据的 crc32c 放进 WAL 记录里以便重放时校验,两者都持久化后才确认28。 一次设备往返,不论大小。
这有多要紧取决于你的工作负载,和 BlueStore 那篇比较里完全一样。 在低队列深度下,客户端每次写都要等,第二次往返就是实打实的延迟。 在负载下,批处理会把大部分藏掉。
把空间要回来
日志结构设计的另一半,是清理。
分段后端上的 SeaStore 只往打开的段里写。 一个段要重新使用之前,它里面的活块必须重写到别处,设计文档说明了这要付出什么:“we must ‘clean’ one byte of an existing segment for every byte written at steady state”27。 它把一部分清理掺进正在进行的写入里以免出现尖峰,其余的在盘比较闲的时候放到后台做27。 段大小默认是 64 MiB31。
SeaStore 确实还有第二个面向 NVMe 的后端,即随机块管理器(RBM),文档说它“Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren’t worth the overhead”27。
它不是默认的。你要通过 seastore_main_device_type 来选它30。
FlashStore 没有段清理器。 一个都没有。 一个被替换掉的块,在某个检查点越过它之后就还给分片的分配器;只要有尚未持久化的工作,检查点每五秒发生一次,WAL 环形缓冲区半满时会更早28。 它的设计文档直接否决了日志结构布局28。 这不是说它没有后台工作:它仍然要合并和压缩树页、整理空闲空间碎片,节奏压在客户端 I/O 之下28。 但它从不为了腾地方去复制你的活数据。
在闪存上,盘里本来就在跑自己的垃圾回收,我宁可 OSD 别在上面再跑第二套。 从 SeaStore 自己的文档对 RBM 后端的说法来看,它们似乎也同意。 区别在于,FlashStore 把这做成了唯一的选项,而 SeaStore 把它做成了非默认的那个。
各自能跑在什么上
| Crimson(Umbrella) | FlashStore | |
|---|---|---|
| HDD | 是,配 BlueStore;SeaStore 有一种 HDD 段类型 | 否 |
| NVMe | 是 | 是,唯一目标 |
| 掉电保护 | 未说明要求 | 必需,没有的话 mkfs 拒绝 |
| 设备布局 | 通过 cephadm 为 SeaStore 使用 LVM | 整个命名空间,不分区 |
| 线上协议 | 仅 msgr2 | 仅 msgr2 |
| I/O 后端 | 默认 io_uring;linux-aio、epoll | 默认 SPDK,io_uring 档 |
| 池 | 带 crimson 标志的新池 | 现有的经典池 |
| 迁移现有数据 | 复制到新池 | 回填进同一个池 |
| 部署方式 | cephadm,--osd-type crimson | 软件包,croit-flashstore-tool |
| 推荐构建 | main 的最新 CI 构建 | 发布快照 |
Crimson 保住了覆盖面。
文档说 SeaStore“may not be suitable for traditional HDDs”,但“Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs”1,而且 SeaStore 的设计文档仍然列着对 HDD 的兴趣27。
它的 messenger 直接拒绝 v1,“ProtocolV1 is no longer supported”32,和 FlashStore 做了同样的选择33。
它的文档推荐“one of the latest available builds, as Crimson evolves rapidly”,实际上就是 main 的 CI 镜像1。
FlashStore 把一切收窄到带掉电保护的 NVMe 上,它的简单就是从这里来的34。 这恰恰就是 croit 的 ADR 从另一面描述的那个取舍。
同一个问题的两种回答
两个项目都从同一个观察出发:经典 OSD 浪费了高速硬件。 它们给出的回答截然不同。
Crimson 的回答是社区式的。 在 Ceph 内部就地重写 OSD,在新存储成熟的过程中让每一种旧存储、每一块旧盘都继续能用,并且让所有人在工作进行时就能看到。 这很慢,也看得出来。 在 Umbrella 里,默认的 Crimson OSD 仍然通过线程池跑着 BlueStore,它自己的池和你的池是隔开的,而开启它意味着要亲手敲下“unrecoverable data corrupting”这几个词。 但它属于每一个跑 Ceph 的人,谁也没法把它从你手里拿走。
FlashStore 的回答是厂商式的。 选一个更窄的目标,带掉电保护的 NVMe,把只为其他硬件而存在的东西统统扔掉,交付一个能直接放进你已有池里的存储。 这更快,也看得出来。 但它来自一家公司,在首个生产版本之前都是只读快照,而在原版集群上,它是靠告诉 monitor 自己是 BlueStore 才进得去的。
我就在那家公司工作,所以下面的话请自行掂量。 对全闪存集群来说,croit 押对了技术。对 Ceph 这个项目来说,Crimson 押对了。 这两者不是一回事。 一个服务所有人的项目不能丢下 HDD。一个厂商可以,而且如果客户买的就是这个,它就应该丢。
我不会做的,是凭任何一方的基准测试图表在两者之间做选择。 Crimson 的数字取决于它三种存储里跑的是哪一种;FlashStore 的数字来自 croit 自己的实验室。 两个项目都公开了设计文档。 读一读,然后把两者都放到你真正会部署的盘上,跑你自己的工作负载。 当押上的是你的数据时,仍然做到了文档上所说的那个,才是值得等的那个。
Ceph Umbrella, Crimson (Tech Preview) — “the next generation
ceph-osd”、“not suitable for production use”、所需的标志、crimson_cpu_num、原生与非原生后端、SeaStore “not the default”、不支持--method raw。源文件:doc/crimson/crimson.rstat v21.2.0。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎croit ceph-rust, README at snapshot 48f9014 — 直接替换的说法,自 2026年11月9日起预览,2027 年第一季度 GA,“not yet recommended for production data”,“no issue tracker, no contribution workflow”。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ceph-rust ADR 0003, green-field, no Crimson fork — “Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -> complexity. Complex code is never fast.”;以“C++, complexity, LGPL”为由否决 fork。 ↩︎ ↩︎ ↩︎
ceph-rust ADR 0164, licences — 日期 2026-10-17;守护进程
LGPL-3.0-only。 ↩︎CISA, NSA, FBI, ASD’s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (December 2023) — “Programming languages such as C and C++ are examples of memory unsafe programming languages”;Rust “can contain the ‘unsafe’ keyword”。 ↩︎ ↩︎
CISA and FBI: Product Security Bad Practices, v2.0 (January 2025) — 面向关键基础设施的新产品线“in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous”。 ↩︎
ceph-rust ADR 0002, language: Rust — “Storage = correctness-critical; memory-safety bugs = data loss”;
unsafe“confined to ffi/dma/nvme/net-driver modules with SAFETY comments”;通过 FFI 调用 SPDK 和 DPDK。 ↩︎ ↩︎ ↩︎Ceph v21.2.0,
crimson/osd/shard_services.cc— “ignoring pgid {}, pool lacks crimson flag”。 ↩︎ ↩︎Ceph v21.2.0,
OSDMonitor.cc, crimson pool creation — “crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to ‘off’”。 ↩︎Ceph v21.2.0,
OSDMonitor.cc, crimsonpg_numchanges — “pg merging is not yet supported in Crimson”。 ↩︎Ceph v21.2.0,
crimson_allow_pg_split— “Allow Crimson pools to increase their PG count (split)”,默认 true。 ↩︎Ceph v21.2.0,
OSDMonitor.cc, EC pools for Crimson — “For Crimson - only EC-optimized pools are supported”,“Omap is not supported by EC pools in crimson”。 ↩︎ ↩︎ceph-rust docs, erasure-coded pools — 默认服务传统 EC 和优化型 EC;不支持的池由 OSD 拒绝接手。 ↩︎
Ceph v21.2.0,
MonCommands.h,osd pool create—name=crimson,type=CephBool,req=false,这是唯一接受该标志的地方。 ↩︎Ceph v21.2.0,
MonCommands.h,osd pool set— 可设置的变量;其中没有crimson。 ↩︎Ceph Umbrella, RBD image live-migration — “RBD images can be live-migrated between different pools”。 ↩︎
ceph-rust docs, migrate from classic — 加一块盘或腾出一块盘,准备 FlashStore,让回填把数据挪过去。 ↩︎
Ceph v21.2.0,
crimson/osd/osd.cc—m->metadata["osd_type"] = "crimson"。 ↩︎Ceph v21.2.0,
OSDMonitor.cc, boot check — “Disallowing boot of crimson-osd without allow_crimson OSDMap flag”,“considered unstable and may result in crashes or data loss”。 ↩︎ceph-rust ADR 0019, report
osd_objectstore=bluestore— 没有osd_type键,monitor 的 BlueStore 功能门槛。 ↩︎ ↩︎ ↩︎Ceph v21.2.0,
crimson.yaml.in—crimson_reactor_idle_poll_time_us200,crimson_poll_mode“at the expense of 100% cpu usage” 默认 false,crimson_bluestore_num_threads。 ↩︎ ↩︎Ceph v21.2.0,
seastore_require_partition_count_match_reactor_count— “disable osd shards changes upon restart”,默认 true。 ↩︎ceph-rust ADR 0006, thread-per-core runtime — 每核一个绑核忙轮询线程,PG 归属于某一颗核心。 ↩︎
ceph-rust ADR 0004, storage I/O — SPDK 与 io_uring 档,按设备计时的空闲。 ↩︎
ceph-rust docs, configuration reference —
flashstore_cores默认 8,flashstore_lcores,flashstore_store_shards在准备时固定。 ↩︎Ceph Umbrella, SeaStore developer documentation — 每个 reactor 的根,onode、OMAP、LBA 和 backref 树,每写一字节就要“clean”一字节,日志记录顺序,RBM 后端。源文件:
doc/dev/crimson/seastore.rstat v21.2.0。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ceph-rust ADR 0021, storage engine — 每个分片一棵 COW B+ 树,并行提交,检查点,后台维护,被否决的备选方案包括日志结构和“Per-object omap subtree/root”。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
Ceph v21.2.0,
crimson/os/seastore/cached_extent.h— “Returns crc32c of buffer”。 ↩︎Ceph v21.2.0,
seastore_main_device_type— “The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)”,默认SSD。 ↩︎ ↩︎Ceph v21.2.0,
seastore_segment_size— 默认 64 MiB。 ↩︎Ceph v21.2.0,
crimson/net/SocketMessenger.cc— “ProtocolV1 is no longer supported”。 ↩︎ceph-rust ADR 0168, out of scope — 不支持 msgr1,仅 v2。 ↩︎
ceph-rust docs, hardware and host requirements — 需要掉电保护,使用整个命名空间。 ↩︎