先把话说在前头:我在 croit 工作,这东西是 croit 写的。下面的一切都读自两个项目公开发布的源代码和文档,链接列在页尾;凡是 croit 自己的文档和 croit 自己的代码对不上的地方,我都会直说。
Ceph 的 OSD,从零重写
croit 发布了 ceph-rust,一个用 Rust 从零写起的 Ceph OSD,并用一个自己的对象存储 FlashStore 取代了 BlueStore1。
它在 2026年11月9日进入公开预览,正式发布(GA)计划在 2027 年第一季度1。
它不是一个分叉。
这个项目自己定的规矩是:把 Ceph 的 C++ 当作参考来读,用 croit 自己的话写成规范,然后照着规范去实现2。
对任何在跑 Ceph 的人来说,要紧的是“即插即用”这一条。
你的 monitor、你的 manager、ceph 命令行和你的客户端都原样不动。
一个 FlashStore OSD 会加入和已有的经典 OSD 相同的存储池、相同的放置组,你可以一次换一块盘1。
所以对运维的人来说,问题很实际。 如果你把一个 BlueStore OSD 换成 FlashStore OSD,它底下有什么不同? 不是抽象地比,也不是去比几年前某场会议演讲里的那个 BlueStore。 而是比你今天在 Umbrella(Ceph 21.2.0)上实际跑着的那个 BlueStore,这也正是 FlashStore 构建和测试所针对的版本1。
所以本文就比这一件事,只比这一件事。 按 Umbrella 自己的源代码和文档描述的 BlueStore,对比按其源代码和决策记录描述的 FlashStore。
这关系到所有跑 NVMe Ceph 集群的人,以及所有算过一个 OSD 要吃掉多少核心的人。 它和 HDD 集群完全无关,原因下面会讲到。
仓库里有什么
这个仓库是 croit 私有开发树的一份只读快照。 没有问题跟踪,没有合并请求;更新以新的快照提交的形式到来1。 这就是预览阶段,它的存在是为了收集社区反馈,同时 croit 在内部跑自己的生产测试用例,之后才会把它标为可放心使用。开放式开发会在第一个生产版本之后开始,大多数由企业赞助的开源项目都是这样。 这份快照的日期是 2026年11月10日,里面有大约 700,000 行 Rust,以及 450 多份架构决策记录,也就是 ADR:记录每一项设计选择为什么这么做的简短文档。
对这样一次比较来说,ADR 是最有用的部分。 它们说话直白,带着测量数据,既记录了留下来的东西,也记录了试过又扔掉的东西。
| 组件 | 它取代什么 | 预览 | GA(计划) |
|---|---|---|---|
| FlashStore OSD | ceph-osd + BlueStore | 2026年11月 | 2027 年第一季度 |
| librustyrados | librados | 2026年11月 | 2027 年第一季度 |
| librustyrbd | librbd | 2026年11月 | 2027 年第一季度 |
| RDMA(RoCEv2)传输 | Umbrella 里没有对应物 | 2026年11月 | 2027 年第一季度 |
| CephFS2、Rust RGW | MDS、RGW | 2027 年第一季度 | 2027 年第二季度 |
| ceph-mon、ceph-mgr | 不取代 | 不适用 | 不适用 |
在拿它搭任何东西之前,许可证值得先弄清楚。 守护进程和工具是 LGPL-3.0-only,客户端库是 MPL-2.0,文档是 CC-BY-SA-4.03。 客户端库选 MPL,是为了让 Rust 程序可以静态链接它们,而不必承担 LGPL 带来的重新链接义务,这是一个讲得通的选择,而且照此写进了记录3。
预览就是预览的意思。 croit 自己的 README 说它用于测试和评估,“not yet recommended for production data”1。 我也不会现在就把客户数据放上去,本文后面的内容也改变不了这一点。
两种存储,并排看
一个 OSD 分两半。 上半部分讲 Ceph 协议,管放置组,做对等、恢复和擦洗。 下半部分是对象存储,它把“把这些字节写进这个对象”变成磁盘上的块,并保证它们能扛过断电。
BlueStore 是 Umbrella 的下半部分。 它的文档说它“reads and writes to the devices directly in a ‘raw’ fashion”4,并且它使用“raw block devices or partitions”5。 对象数据直接写到块设备。其余一切,包括对象元数据、OMAP 和它自己的账目,都进入一个内嵌的 RocksDB 键值数据库,而 RocksDB 跑在 BlueFS 上,那是 BlueStore 专门为它带着的一个小文件系统56。
FlashStore 把这些全扔了。 每个存储分片一棵写时复制 B+ 树,装下所有东西:集合、对象元数据、扩展属性、extent 映射、OMAP、PG 日志、引用计数,甚至分配器自己的位图7。 树旁边是一个 redo 预写日志环和数据区。没有 RocksDB,没有 BlueFS,也没有第二个要调优的数据库。
另一个大分歧是磁盘本身。 BlueStore 经过内核的块设备层,去访问你给它的任何设备。 FlashStore 和 NVMe 打交道,要么用 SPDK,一个通过 vfio 把设备从内核手里接过来的用户态驱动,要么经过内核用 io_uring89。 SPDK 是默认后端。io_uring 这一档是在 vfio 不能用的地方也能用的那一档,因此也是我在 Proxmox 的构建里最终用上的那一档。
元数据放在哪里
从这里说起。其余大部分都由此而来。
| Umbrella BlueStore | FlashStore | |
|---|---|---|
| 对象元数据 | RocksDB 键 | 每分片一棵 COW B+ 树 |
| OMAP | RocksDB 键 | 默认在同一棵 B+ 树;prepare 时可选 LSM 或 RocksDB |
| PG 日志 | RocksDB 键 | 同一棵 B+ 树 |
| 分配器状态 | hybrid 分配器,空闲列表在 RocksDB | 每分片一个位图,在树里 |
| 元数据设备 | 可选的 block.db 和 block.wal | 没有,同一块 NVMe |
| 数据校验和 | 默认每 4 KiB 一个 crc32c | 每 4 KiB 一个 crc32c,存在 extent 映射里 |
| 每个 OSD 的存储数 | 一个 | 每核一个 |
BlueStore 这边的默认值直接来自 Umbrella 的选项文件:键值后端是 RocksDB,分配器是 hybrid,校验和是 crc32c61011。 BlueStore 的元数据校验“is handled by RocksDB and uses the crc32c algorithm”,而数据的开销是“a checksum value (usually 4 bytes) for every 4 KB block of data”4。 在校验和上两种存储意见一致。FlashStore 在 extent 映射里为每个 4 KiB 块存一个 crc32c,读取时校验7。
分道扬镳的是结构。 BlueStore 的 RocksDB 是一棵日志结构合并树(LSM),所以它先写,然后在后台压缩,把已经写过的数据再重写一遍。 FlashStore 的树以写时复制方式更新,在检查点时折叠到磁盘:只要还有未持久化的东西,就每五秒一次,或者在 WAL 环写到一半满时7。
进一步的结果是,FlashStore 没有给元数据用的快速设备,因为它不需要。
在 Umbrella 上你可以把 block.db 放到更快的盘上,BlueStore 会把“as much metadata as it can on the DB device”4。
FlashStore 假定每块盘本来就是快速的 NVMe,把元数据和数据放在一起。
对它瞄准的硬件来说,这个假定很公道。这也正是它根本不谈 HDD 的原因。
OMAP 是 FlashStore 唯一留了后手的地方。 默认用树,但一个存储在 prepare 时可以改用 croit 自己的 LSM 引擎,或者 RocksDB,接口不变12。 OMAP 引擎在创建存储时选定。你不能在运行中的 OSD 上切换它。
一次 4 KiB 写入,两种走法
如果你能感觉到什么差别,就是这个。
拿 Umbrella 在闪存上用默认设置时,对一个对象的 4 KiB 写入来说。
bluestore_min_alloc_size_ssd 是 4 KiB,bluestore_prefer_deferred_size_ssd 是 0,所以一整个 4 KiB 的写入会写到一块新分配的 4 KiB 上1314。
BlueStore 提交这次数据写入,事务停在 STATE_AIO_WAIT,直到磁盘说写完了15。
然后元数据才排队进入 RocksDB,RocksDB 的同步线程在提交前先刷新块设备16。
然后客户端才拿到确认。
两次访问设备,串行。
FlashStore 两件事同时发出。 数据写到一个新的 4 KiB extent,WAL 单元同时写进日志环。WAL 记录带着每个新数据块的 crc32c,所以崩溃后重放时能判断数据有没有落盘7。 当数据、WAL 单元以及之前的每一个事务都已持久化时,确认按日志顺序发出7。 ADR 对这个设计给出的理由原话是“parallel commit gives one device latency per ack”7。
有两点让这个比较保持公道。 在繁忙的 OSD 上,两种存储都会批量提交,所以负载下的差距小于每次写入一个设备延迟。 而在 NVMe 上,一次设备访问也就几十微秒。你能不能察觉,取决于你的客户端是在低队列深度下等延迟,RBD 上的数据库往往就是这样,还是在拼吞吐量,那样的话差别就被冲淡了。
croit 还试过走得更远,像 ZFS 那样每个事务只写一次设备。 他们做出来了,测了,然后扔了:收益只在队列深度为 1 时出现,复杂度不值得17。 我看重这一点胜过任何跑分图。这是一份公开的决策记录,写着“我们做了这个,它不值得”。
不足 4 KiB 的写入
更小的写入,才是两者真正分道的地方。
假设一个客户端在一个已经有数据的块中间覆盖写 512 字节。
Umbrella 默认仍然走它原来的写路径;返工后的 bluestore_write_v2 发布时是关着的18。
在这条路径上,向一个已分配的块写入小于 min_alloc_size 的数据,会变成一次延迟写(deferred write)19。
数据作为 L 前缀下的一个键,搭在 RocksDB 事务里,等客户端被告知安全之后,才写到它真正的位置2021。
所以数据到达磁盘两次。 Umbrella 的文档并不讳言:“writes smaller than min_alloc_size must first pass through the BlueStore WAL”4。
FlashStore 从不原地覆盖活数据,就这么简单7。 不超过 2 KiB 的对象更进一步,整个住在树里,所以一次 WAL 写入就是全部提交7。
这也意味着 FlashStore 没有要排空的延迟写队列,挂载时没有延迟重放,也没有要清理的 L 键。
它的代价付在别处:释放的块要留到下一个检查点,所以空间回收最多滞后一个检查点间隔7。
线程对比核心
OSD 的上半部分差别一样大。
Umbrella 的 ceph-osd 是一个经典的多线程服务器,下图左半边的每一个数字都是它在闪存上的默认值22。
一个操作一路上要穿过好几个这样的线程池。它们在锁后面共享状态。
FlashStore 让整段旅程都待在一个绑定的、轮询的核心上,从网卡到磁盘再回来23。 每个放置组只属于一个核心,PG 碰到的一切也都只属于那个核心:“no locks, no atomics, no shared mutable state”24。 跨核心的流量走单生产者环形队列,消息的所有权也跟着一起交过去。
存储也按同样的方式切分。
flashstore_store_shards 默认每核一个分片,每个分片有自己的 WAL 环、树和分配器,一个 PG 只住在一个分片里257。
BlueStore 是每个 OSD 一个存储、一个 RocksDB。
这是有代价的,ADR 也写明了:“idle cores burn CPU (accepted; optional adaptive sleep later)”23。
后来的工作加了自适应空闲和按设备计时的等待,这样在低队列深度下,核心不必在整个设备延迟期间空转8,但原则没变,而且在你不指定核心范围时,flashstore_cores 默认是 825。
你要把整颗核心交给 FlashStore。
在专用存储节点上,这没问题。 在超融合机器上,那些核心还要跑虚拟机,这是你要算的第一笔账。
磁盘必须说话算话
BlueStore 的写法,是为了应付一块在“数据何时安全”这件事上撒谎的盘。 FlashStore 干脆拒绝和这种盘打交道。
| Umbrella BlueStore | FlashStore | |
|---|---|---|
| 什么让一次写入变得持久 | RocksDB 提交前刷新块设备 | 在 PLP 盘上写入完成 |
| 热路径上的刷新 | 有 | 没有 |
| 带易失性写缓存的盘 | 照用,并刷新 | mkfs 拒绝;主机检查 FAIL |
| 强制覆盖 | 不需要 | 仅限实验室:每次持久写入都设 FUA 位 |
BlueStore 这边就是前面引用过的 kv 同步线程16。 FlashStore 这边是持久性 ADR 和主机检查:PLP 意味着磁盘报告自己没有易失性写缓存,所以一次完成就意味着数据已经在稳定介质上2426。
对它瞄准的目标来说这是正确的决定,但要清楚它排除了什么,因为几乎所有消费级 NVMe 都有易失性缓存而没有 PLP,不少靠价格卖的“数据中心级”设备也是如此。 没有 PLP,就没有 FlashStore。 不管你对它别的方面怎么看。
FlashStore 不能在什么上面运行
把要求并排一放,目标市场一目了然。
| Umbrella BlueStore | FlashStore | |
|---|---|---|
| 介质 | HDD、SSD、NVMe | 只要 NVMe |
| 掉电保护 | 不要求 | 必须,没有的话 mkfs 拒绝 |
| 扇区格式 | 512 B 或 4 KiB | 预期 4 KiB,否则警告 |
| 布局 | 分区,经 ceph-volume 用 LVM | 整个命名空间,不用分区 |
| 独立的 DB/WAL 设备 | 支持 | 没有这回事 |
| 静态加密 | 经 ceph-volume 用 --dmcrypt | 不在范围内 |
| msgr1 客户端 | 默认绑定 | 拒绝,只用 msgr2 |
| 缓存分层 | 已弃用,仍然存在 | 拒绝,存储池变为被动 |
| 内核要求 | 任何受支持的版本 | io_uring:Linux 5.19+,或带回移补丁的 RHEL 9 的 5.14;SPDK 需要大页 |
BlueStore 这一列来自 Umbrella 自己:ceph-volume 对逻辑卷加密“using dmcrypt by specifying the --dmcrypt flag”27,而 ms_bind_msgr1 默认仍是 true28。
FlashStore 这一列来自它的硬件参考和范围决策2629。
其中两条值得多说几句,不止一行表格。
静态加密被排除了,理由是:SPDK 绕过 dm-crypt,而存储内加密不在计划中。ADR 给出的答案是自加密的 NVMe 盘,或者在存储之上、在客户端或 RGW 那里加密29。 如果你有合规要求点名要在 OSD 上用 dm-crypt,那今天这就是一道过不去的坎。
msgr1 被排除,作为一项已接受的风险。 早于 5.11 的内核客户端和 Nautilus 之前的 librados 根本无法和 FlashStore OSD 通信29。 大多数环境早就过了那个阶段。也有一些没有,而发现这一点的,往往是角落里那台被遗忘的旧机器。
它告诉 monitor 自己是 BlueStore
这一条会坑到人。
默认情况下,FlashStore OSD 启动后会告诉 monitor osd_objectstore=bluestore30。
它不是在藏。它会在旁边加上自己的 flashstore_version 和 flashstore_build 键30。
原因是兼容性:Umbrella 的 monitor 只有在存储池里每个 OSD 都报告 BlueStore 时,才允许该池启用 EC 覆盖写之类的功能,而 Prometheus 和遥测这类 manager 模块也按同一个值分支30。
ADR 写得很明白,这里的 bluestore“is a compat value for mon/mgr feature gates, not a product name”30。
有一个开关 flashstore_report_objectstore=flashstore,它会把所有东西改名:元数据、bluestore_bdev_* 键、性能计数器、tell 命令以及 BLUESTORE_* 健康代码。它需要打过补丁的 monitor,默认值仍是 bluestore2530。
croit 自己的 Ceph 构建带着这些补丁,所以在那上面 FlashStore 会报告自己是 flashstore,下面说的都不适用。
bluestore 这个名字,是给今天人们在生产中跑的原版 monitor 和 manager 准备的。
我理解为什么。
以一个字符串作为钥匙的 monitor 闸门,是 Ceph 的设计,不是 croit 的,而拒绝说 bluestore 会在没打补丁的集群上把功能关掉。
这就是原版集群上的陷阱。
你的每个仪表盘、每个资产清单脚本、你运行的每一条 ceph osd count-metadata osd_objectstore,都会把 FlashStore OSD 算成 BlueStore。
在迁移期间,恰恰是你最需要知道哪个 OSD 是哪种的时候,那个显而易见的字段啥也不告诉你。
所以要在 ceph osd metadata 里查 flashstore_version,而不是 osd_objectstore。
在第一个 FlashStore OSD 上线之前,就把这一条写进你的运维手册。
同样的旋钮,不同的行为
FlashStore 会读取 Ceph 现有的大量选项,这大体上是好消息。 但并不是每个选项的意思都和在 Umbrella 上一样,而意思变了的那些,正是一个调优过的集群会被吓一跳的地方。
| 选项 | Umbrella BlueStore | FlashStore |
|---|---|---|
compression_mode,按存储池 | none、passive、aggressive、force | 同样四种,意思相同 |
compression_algorithm | 默认 snappy | snappy、zlib、zstd、lz4;zstd 级别固定为 1 |
bluestore_compression_max_blob_size_ssd | 64 KiB | 64 KiB 分块 |
osd_memory_target | 4 GiB,缓存在运行中自动调整 | 启动时读一次,用来确定存储缓存大小,不自动调整 |
osd_op_queue | mclock_scheduler | 接受并忽略 |
osd_mclock_* | 生效 | 接受并忽略 |
csum_type | 默认 crc32c,可选 xxhash 变体 | 固定 crc32c;其他任何值都记一条警告31 |
压缩是一致的。
BlueStore 的默认模式是 none,默认算法是 snappy3233;FlashStore 实现了同样的四种模式、同样的存储池选项和同样的 64 KiB 分块,ADR 还指出,一个可压缩 50% 的 64 KiB 分块在两边占用的空间相同34。
它原本不一定会有。这份 ADR 的文件名至今仍叫 no-store-compression,来自最初的决定,后来 croit 定下了与经典 Ceph 功能完全对等的硬指标,这个决定才被推翻34。
内存就不对等了。
Umbrella 在运行时会对照 osd_memory_target 自动调整 BlueStore 的缓存3536。
FlashStore 在启动时读一次这个目标值,分摊到各个分片上,用 ceph config set 做的修改要到下次重启才生效37。
它也不会把进程压在目标值以内:大页、网络缓冲区和 PG 状态都在它之外37。
所以 osd_memory_target 决定的是 FlashStore 缓存的大小。它不会像你可能习惯的那样给 OSD 的内存封顶。
而 mClock 被直接忽略37。
不是调低。是忽略。
没有可以配置的操作调度器,因为每个核心自己拥有自己的 PG。
恢复和 backfill 改由 osd_max_backfills、osd_recovery_max_active 和各种 sleep 选项来压住37。
如果你在 Umbrella 上为重建调过 mClock 配置档,这些设置在 FlashStore OSD 上什么也不做,也不会有任何东西提醒你。
没有转换,哪个方向都没有
你不能把一个 BlueStore OSD 转换成 FlashStore OSD。 croit 的迁移指南说得很直白:“There is no in-place conversion of a BlueStore device”38。 它给了两种顺序,两种都是 backfill38:
| 先加后删 | 先腾后加 | |
|---|---|---|
| 需要 | 一个空闲的 NVMe 槽位 | 不需要任何空闲 |
| 第 1 步 | 在新盘上 prepare FlashStore | ceph osd out,等到 clean |
| 第 2 步 | 等到 active+clean | 停掉并清除经典 OSD |
| 第 3 步 | 移除经典 OSD | 在腾出来的盘上 prepare FlashStore |
| 进行中的风险 | 除了正常的 backfill 没有别的 | backfill 结束前少一份副本 |
以后也不会变容易。 FlashStore 的磁盘格式带有特性位,遇到未知的位就拒绝挂载:“Every format change means mkfs; unknown bits refuse mount (no downgrade)”7。 所以 FlashStore 后续版本里的一次格式变更,和第一次迁移一样,就是排空再灌满。
文档有一处写错了。
迁移指南的检查清单要求确认“the pools do not use erasure coding on croit-flashstore-osd OSDs”38。
同一份快照里的纠删码指南却说,FlashStore 默认服务旧式 EC 存储池,代码里优化 EC 的默认值是 all3940。
两者之中有一个过时了,从代码看,是迁移指南。
不过,在让 EC 存储池横跨两种 OSD 之前,我仍会把 EC 指南从头读到尾,因为它描述的故障是 PG 降级、backfill 卡住39。
为我们真正会买的盘而造的存储
BlueStore 是为了能在一切东西上运行而造的。 机械盘、便宜的 SSD、NVMe、分区、LVM、加密卷、慢速数据盘前面挡一块快速 DB 盘。 正是这种广度让它成了默认选项,也正是因为这种广度,它带着一条延迟写路径、每次提交前的一次刷新、一个跑在自带文件系统上的键值数据库,以及一池子线程来让这一切转起来。 其中每一样之所以存在,都是因为某处有某块盘需要它。
FlashStore 从另一头出发。 它假定磁盘是 NVMe,有掉电保护,而且快到软件反而成了瓶颈。 然后它把所有只为别的盘而存在的东西都扔了。
这个赌押得对吗? 对于新建的全闪存集群,用的是正经的企业级 NVMe,对。 Ceph 集群正往那个方向走,而一个把核心花在锁、交接和身后不停压缩的数据库上的 OSD,每天每一秒都在为这种集群永远用不上的灵活性买单。
但这个赌是有代价的,我宁愿你在买进之前就看清它。 你放弃了 HDD、dm-crypt、msgr1、运行时内存调整和 mClock。 在原版集群上,你得到的是一个告诉 monitor 自己是 BlueStore 的 OSD,因为今天的 monitor 和 manager 没给它留别的路;croit 自己的构建不需要这样。 你得到的是一种转换不进去的格式,而且它自己的不同版本之间也转换不了。 而且你是在预览阶段、从单一厂商那里得到它,这家厂商碰巧雇着我。
所以,把源代码当作证据,而不是这篇文章,也不是 croit 的跑分报告。 决策记录是公开的,它们写着测了什么、扔了什么。 去读它们,用你真正会部署的设备搭一个测试集群,测你自己的工作负载。 如果它在你的盘上做到了 ADR 说的那些,你会知道。如果没做到,你也会知道,而且你是在测试集群上发现的。
croit ceph-rust, README at snapshot 48f9014 — 组件、状态和路线图,“not yet recommended for production data”,与 v21.2.0 和 v20.2.4 线协议兼容。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ADR 0003, green-field, no Crimson fork — “No fork, no linking of Ceph code”;把 Ceph 源代码当作参考来读,规范用自己的话写。 ↩︎
ADR 0164, licences — 守护进程和工具用 LGPL-3.0-only,客户端库用 MPL-2.0,文档用 CC-BY-SA-4.0,以及选择 MPL 的理由。 ↩︎ ↩︎
Ceph Umbrella, BlueStore configuration reference — 原始设备访问、DB 设备、“writes smaller than min_alloc_size must first pass through the BlueStore WAL”、校验和。 ↩︎ ↩︎ ↩︎ ↩︎
Ceph Umbrella, storage devices — BlueStore“consumes raw block devices or partitions”;内部元数据用内嵌的 RocksDB。 ↩︎ ↩︎
Ceph v21.2.0,
bluestore_kvbackend— 默认rocksdb。 ↩︎ ↩︎ADR 0021, storage engine — 每分片 COW B+ 树、WAL 环、并行提交、检查点、内联数据、延后释放,“Every format change means mkfs”。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ADR 0004, storage I/O — 经 vfio 的 SPDK,后修订为加上 io_uring 的两档,以及按设备计时的空闲。 ↩︎ ↩︎
ceph-rust docs, prepare and activate —
spdk是默认后端,kernel和kernel-cmd让 NVMe 留在内核驱动上。 ↩︎Ceph v21.2.0,
bluestore_allocator— 默认hybrid。 ↩︎Ceph v21.2.0,
bluestore_csum_type— 默认crc32c。 ↩︎ceph-rust, croit-flashstore-tool usage — “fresh prepare/mkfs –omap-engine btree|lsm|rocksdb”。 ↩︎
Ceph v21.2.0,
bluestore_min_alloc_size_ssd— 默认 4 KiB。 ↩︎Ceph v21.2.0,
BlueStore.cc, transaction state machine — 有未完成的 aio 时,事务先进入STATE_AIO_WAIT,之后才排队等待键值提交。 ↩︎Ceph v21.2.0,
BlueStore.cc, kv sync thread — 在提交 RocksDB 之前“flush/barrier on block device”。 ↩︎ ↩︎ADR 0027, single-IO atomic commit, rejected — “gain only at QD1”,做出来后又移除了。 ↩︎
Ceph v21.2.0,
bluestore_write_v2— “Use faster write path”,默认 false。 ↩︎Ceph v21.2.0,
BlueStore.cc,_do_write_small— 先读头尾,然后“chunk-aligned deferred overwrite”。 ↩︎Ceph v21.2.0,
BlueStore.cc, “journal deferred items” — 延迟事务作为一个键,放进同一个 RocksDB 事务里。 ↩︎Ceph v21.2.0,
BlueStore.cc, key prefixes —PREFIX_DEFERRED = "L"。 ↩︎Ceph v21.2.0 线程默认值 —
osd_op_num_shards_ssd8;osd_op_num_threads_per_shard_ssd2;osd_op_queuemclock_scheduler;ms_async_op_threads3;BlueStore.ccthread creation,bstore_kv_sync和bstore_kv_final。 ↩︎ADR 0006, thread-per-core runtime — 每核一个绑定的忙轮询线程,PG 归一个核心所有,“idle cores burn CPU (accepted …)”。 ↩︎ ↩︎
ADR 0008, concurrency and durability — “no locks, no atomics, no shared mutable state”;要求 PLP,
mkfs拒绝非 PLP 盘,实验室可用 FUA 强制覆盖。 ↩︎ ↩︎ceph-rust docs, configuration reference —
flashstore_cores默认 8,flashstore_store_shards自动,flashstore_report_objectstore。 ↩︎ ↩︎ ↩︎ceph-rust docs, hardware and host requirements — 易失性写缓存判为 FAIL、4 KiB LBA、不用分区、内核和 io_uring 要求。 ↩︎ ↩︎
Ceph Umbrella, ceph-volume encryption — “Logical volumes can be encrypted using dmcrypt by specifying the
--dmcryptflag”。 ↩︎Ceph v21.2.0,
ms_bind_msgr1— 默认 true。 ↩︎ADR 0168, encryption at rest, msgr1, cache tiering out of scope — “SPDK bypasses dm-crypt”;只支持 v1 的客户端“cannot reach croit-flashstore-osd”。 ↩︎ ↩︎ ↩︎
ADR 0019, report
osd_objectstore=bluestore— monitor 的功能闸门、额外的flashstore_*键,以及flashstore报告选项。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ceph-rust,
pgs.rs— “csum_type {v} unsupported; using fixed crc32c per 4096-byte block”。 ↩︎Ceph v21.2.0,
bluestore_compression_mode— 默认none。 ↩︎Ceph v21.2.0,
bluestore_compression_algorithm— 默认snappy。 ↩︎ADR 0059, per-pool store compression — 与 BlueStore 相同的模式和选项,zstd 级别固定为 1,50% 可压缩时占用空间“identical to BlueStore”。 ↩︎ ↩︎
Ceph v21.2.0,
osd_memory_target— 默认 4 GiB。 ↩︎Ceph v21.2.0,
bluestore_cache_autotune— 默认 true。 ↩︎ADR 0062, memory target and mClock — 目标值只读一次,不自动调整,不强制限制 RSS;mClock 选项“ACCEPTED and IGNORED”。 ↩︎ ↩︎ ↩︎ ↩︎
ceph-rust docs, migrate from classic — “There is no in-place conversion of a BlueStore device”;两种顺序;关于 EC 的那条检查项。 ↩︎ ↩︎ ↩︎
ceph-rust docs, erasure-coded pools —
ec_enable_pools默认all,ec_enable_optimized默认all,以及被拒绝的存储池是什么样子。 ↩︎ ↩︎ceph-rust, OSD config defaults —
("ec_enable_optimized", "all")。 ↩︎