Skip to content
一个 Proxmox VE 节点,运行 Proxmox 自己的 Ceph 监视器和管理器,旁边是跑在八块 Optane 盘上的 croit FlashStore OSD

Proxmox VE 上的 FlashStore OSD:在一个节点上跑起来要做些什么

croit 的 FlashStore OSD 是用 Rust 写的 ceph-osd 和 BlueStore 替代品,2026年11月9日起公开预览。本文把它超融合地部署在单个 Proxmox VE 9.2 节点上:监视器和管理器用 PVE 向导装的 Ceph Umbrella 21.2.0,OSD 用跑在 Intel Optane P4800X 上的 FlashStore。内容包括:为什么 Umbrella 是唯一对得上的 Proxmox 版本;把盘格式化成 4 KiB,以及会让格式化中途失败的控制器复位;croit-flashstore-osd –check 报告了什么;为什么自带的服务单元读不到 Proxmox 的 ceph.conf,以及修好它的 drop-in;Proxmox 内核拒绝的 NVMe 直通,以及能用的 direct 后端;按 PCI 地址 prepare OSD;PVE 的 OSD 面板怎么看待它们;一个存储池、RBD 存储,以及装在上面的 Fisher-Price OS (Windows) 虚拟机;在该虚拟机里跑 CrystalDiskMark,并对照盘自己的计数器来解读;八个 OSD 全部工作时 Ceph 的内存;在 1 GiB 内存目标下同时跑三台虚拟机;最后是一个把这一切做完的安装脚本,靠从零重建一个 OSD 测试过。

2026年11月11日 · 28 分钟 · 3132 字 · Damien Dye
左边是客户机的写入,中间是 VDO,右边只有大约四分之一的字节到达硬盘

Proxmox 本地 LVM 下的 VDO:到达硬盘的字节更少

VDO 是内核里的去重和压缩层。放在厚置备的 LVM 卷组下面,它让 Proxmox VE 的本地磁盘对虚拟机之间共享的每个块只写一份,所以真正到达硬盘的字节少得多。本文在一台 Proxmox VE 9 主机上把它搭成厚上加厚:VDO 的大小按它真正拥有的空间来定,上面的任何一层都没法超配;讲 lvm.conf 的 scan_lvs 设置和它的过滤器,以及让 VDO 的线程匹配 CPU 数。它测量了在一个模板和六个完整克隆、两个 ISO、全零数据和随机数据上去重省下了多少,硬盘实际收到的字节和客户机写入的字节之比,以及和同一块完全不带 VDO 的 Intel Optane 相比 VDO 的代价。然后把存储池搭成 VDO 的索引和日志在 NVMe 上、数据在第二个设备上,用 vdolistmetadata 证明布局,测量 I/O 怎么分流;再把 VDO 叠在 bcache 上,一块 NVMe 分区给 bcache 缓存和 VDO 的元数据,测量有无 VDO 时到达缓存的字节数。最后推演这一切在 HDD 硬件 RAID6 上意味着什么,并讲删除时的 discard。

2026年10月27日 · 21 分钟 · 2778 字 · Damien Dye
三个存储层:Optane 吸收写入,NVMe 存放 Ceph 元数据,HDD 提供大容量

让 HDD 承载的 Proxmox Ceph 集群跑得快:NVMe 放元数据,每块盘配一块 Optane,以及你要付出的代价

闪存价格让全 NVMe 越来越难自圆其说,企业级 HDD 值得再看一眼。要在超融合 Proxmox Ceph 上让它们给出可以接受的延迟,就得把 RocksDB 搬离机械盘,通过 bcache 给每块盘配一块专属 Optane(专门是 Optane,因为 NAND 的耐久度不适合这份活),并且老老实实面对这样做给你带来的故障模式。

2026年8月7日 · 27 分钟 · 1776 字 · Damien Dye