发布当天的 Rust OSD

croit 在2026年11月9日把 FlashStore OSD 放进公开预览1。 它是一个用 Rust 从零写起的 Ceph OSD,用自己的对象存储取代 BlueStore,说的是 Ceph 的线路协议。 宣称的是:它可以直接塞进你已经在跑的集群。你的监视器、管理器、ceph 命令行和客户端都原样不动,你一次换一块盘1。

这个说法对 Proxmox 用户比对大多数人更要紧。 在超融合的 Proxmox VE 节点上,Ceph 不是你单独装的东西。 它从 Proxmox 的 GUI 里来,出自 Proxmox 自己的软件源,由 Proxmox 构建和打补丁,整套东西由 pveceph 驱动。 如果别人家的 OSD 能坐进这套体系而不把它弄坏,你就能换上新的存储引擎,又不用放弃这些工具。 如果不能,你会以最难受的方式发现,而且是在一个同时跑着你虚拟机的节点上。

所以我试了。

我在 croit 工作,FlashStore 就是 croit 做的。 这就是我在它发布两天之内就去试的原因,也是下文什么都不打折扣的原因。 它是预览版,README 写着它 “not yet recommended for production data”1,而这篇是在真实硬件上跑起来到底要做些什么的记录,不是宣传册。

一个节点上,谁提供什么RBD 上的虚拟机磁盘QEMU,用 Proxmox 自带的 librbd来自 Proxmox:pvecephceph-mon, ceph-mgr 21.2.0-pve1命令行、GUI、存储池、RBD 存储从 8006 端口的向导安装来自 croit:FlashStorecroit-flashstore-osd 21.2.0每块 Optane 一个守护进程从 .deb 手工安装SN750 启动盘:永不做 OSD8 × Optane P4800X,4 KiB,整个命名空间
谁提供什么。Proxmox 安装监视器和管理器,掌管 GUI、存储池和存储定义。croit 的软件包只提供 OSD 守护进程,每块盘一个。

简短的回答:能用。 我写这些字的时候,八个 FlashStore OSD 正在一个原装 Proxmox VE 9.2 节点上给一台虚拟机提供 RBD 存储池,HEALTH_OK。 更长的回答是:要做两处文档里没提的修复,一处是因为 Proxmox 存放 Ceph 配置的方式,一处是因为 Proxmox 的内核,本文剩下的部分就是这两处修复以及它们是怎么被找出来的。 如果你只想让它跑起来,文末附近有个脚本把这一切都做了,而且已经在这个节点上跑过。

这台机器

实验环境是单个节点 pve2,在我家的局域网里,是一台 2021 年的破烂 Minisforum B550 迷你主机。 生产环境不会用单节点 Ceph,后面那条 CRUSH 规则就是为此付的代价,但这里的每一步,在有邻居的节点上都一样。

Proxmox VEpve-manager 9.2.26,内核 7.0.14-28-pve,Debian 13.7
机器Minisforum B550 迷你主机,2021 年;主板报告为 BESSTAR TECH B550,BIOS 5.17
CPUAMD Ryzen 7 5700G,8 核 16 线程,1 个 NUMA 节点
内存58 GiB
OSD 盘8 × Intel Optane P4800X 375 GB(6 块 Dell 品牌,2 块 Intel 零售)
到 Optane 的 PCIe八块全在一个 Broadcom PEX880xx 交换芯片后面,经一条来自 APU 的 PCIe 3.0 x16 链路
启动盘WD SN750 512 GB,VG pve,完全不参与这一切
网络一个 2.5 GbE 端口,vmbr0
FlashStoresnapshot-2026-11-10,上游提交 c5792750020e2

用 Optane 是因为 FlashStore 有两条硬性要求,很多盘过不了。 盘必须有掉电保护,命名空间必须用 4096 字节的块,而且整个命名空间直接用,上面不能有分区或文件系统1。 FlashStore 在写入落盘持久之后才确认,所以一块用易失缓存在持久性上撒谎的盘,会在 mkfs 时被拒绝3。 每块 P4800X 在 Identify 数据里都报告没有易失写缓存(vwc 0),这是盘自己在说:缓存不会丢掉一个已经确认的写入。

因此,这次深入测试的瓶颈是这台迷你主机,不是 FlashStore,也不是盘。 八个核意味着每个 OSD 一个核,一个都不富余;58 GiB 要同时喂 Ceph 和虚拟机;八块 Optane 共享一条 PCIe 3.0 链路,因为 APU 就只给得出这么多。 下面每个数字,都要当成这台机器所允许的上限来读。

要么 Umbrella,要么没戏

FlashStore 一次只针对一个 Ceph 版本构建。 由分支决定:main 对应 Ceph 21.2.0 Umbrella,v20.2.4 分支对应 20.2.4 Tentacle4。 守护进程启动时检查集群的版本,不在自己窗口内的一律拒绝4。 发布页上的软件包是从 main 构建的,二进制文件自己也这么说:croit-flashstore-osd 21.2.0 umbrella。

Proxmox VE 9 提供三个 Ceph 软件源,只有一个对得上。

版本窗口Proxmox VE 9 软件源FlashStore 分支ceph-squid: 19.2.7没有 squid 分支ceph-tentacle: 20.2.520.2.5 不是 20.2.4v20.2.4: tentacle 20.2.4ceph-umbrella: 21.2.0-pve121.2.0 对得上main: umbrella 21.2.0守护进程拒绝窗口之外的集群版本。
Proxmox 的 Tentacle 软件源已经越过了 20.2.4,而 Squid 根本没有对应分支。Umbrella 21.2.0-pve1 是两边唯一一致的版本。

Tentacle 是 Proxmox 的默认选项,那它是稳妥的选择吗? 它恰恰是用不了的那个。 Proxmox 软件源里的 Tentacle 已经到了 20.2.5-pve1,而 FlashStore 的 Tentacle 分支只认 20.2.4。 Proxmox 软件源里的 Umbrella 是 21.2.0-pve1,正是 main 针对的那个版本。

Proxmox 并没有隐瞒 Umbrella 是什么。 PVE/Ceph/Releases.pm 把它列为 unsupported => 15,你一选它,GUI 向导就用大白话告诉你。

Proxmox Ceph 安装向导,选中 umbrella (21.2) 和 no-subscription 软件源,提示该版本是技术预览,企业软件源尚不可用

“Technology Preview”,没有企业软件源,安装程序在动 apt 之前还在终端里再问一遍 continue (y/N)?。 警告给得恰到好处,而且值得把它当成对整个技术栈的表态来读:预览版的 OSD,跑在预览版的 Ceph 上。

安装就是原装 Proxmox 的流程。 Datacenter → Ceph → Install,版本选 Umbrella,软件源选 No-Subscription,然后是公共网络和第一个监视器。

Proxmox Ceph 向导里的终端,列出 Umbrella 的软件包,其中有 ceph-osd 和 ceph-osd-classic,升级 13 个、新装 46 个

升级 13 个包,新装 46 个,下载 107 MB。 清单里有一样东西是 Umbrella 新有的:ceph-osd 旁边多了个 ceph-osd-classic。 两者在这里都用不上,因为从头到尾没建过一个经典 OSD。 大约一分钟后,mon.pve2 和 mgr.pve2 跑起来了,ceph versions 报告 21.2.0 … umbrella,健康状态 OK,只是还没东西可存。

四块盘还是 512 字节

八块 Optane 里有四块之前直通给过一台实验虚拟机,还是 512 字节格式,上面留着旧的 ZFS 标签。 另有两块格式是对的,但带着同样的标签。 两种情况的修法都很简单:从虚拟机上撤下来,格式化成 4 KiB,擦掉标签。

P4800X 把 4096 字节、无元数据的格式作为 LBA 格式 3 提供,nvme id-ns 报告为 lbaf 3 : ms:0 lbads:12。

nvme format /dev/nvme0n1 --lbaf=3 --force --timeout=900000
wipefs -a /dev/nvme0n1
sgdisk --zap-all /dev/nvme0n1

第一次尝试失败了,后来又有一次也失败了。 两次 nvme format 都返回 Interrupted system call,盘仍然是 512 字节。 内核日志里写着原因:

nvme nvme0: I/O tag 0 (0000) opcode 0x2 (Admin Cmd) QID 0 timeout, reset controller
nvme nvme1: I/O tag 9 (0009) opcode 0x6 (Admin Cmd) QID 0 timeout, reset controller

操作码 0x2 是 Get Log Page,0x6 是 Identify。 两个都不是格式化。 P4800X 会格式化整个介质,在这里每块盘花了 345 到 351 秒。 格式化进行时,控制器不响应其他管理命令,所以任何向盘提问的东西都得等着。 等过了内核 60 秒的管理命令超时,内核就放弃并复位控制器,而这一复位就把格式化杀掉了。

格式化是怎么被中止的nvme format345 到 351 s每块 P4800X管理命令smartctl、nvme list、GUI 刷新磁盘列表60 s 超时内核复位控制器格式化中止EINTR,rc 1盘仍是 512 B修法:每次格式化放进自己的 systemd 服务单元,一次一块盘,完成之前不给盘发任何别的东西。
超时的并不是格式化命令。是别的什么东西向盘提了个问题,排在格式化后面等着,随后的复位把格式化中止了。
尝试什么东西到了盘上结果
nvme0,第一次09:53:04 的一个 Get Log Page,正值 Ceph 安装中途中止,仍是 512 B
nvme0,放进服务单元什么都没有345 s 完成 4 KiB
nvme1我自己查看进度的 nvme list中止,仍是 512 B
nvme2、nvme3什么都没有351 s 和 350 s 完成 4 KiB
nvme1,单独什么都没有346 s 完成 4 KiB

修法是把每次格式化放进一个带长超时的临时服务单元里,一次一块盘,在完成之前别去碰这些盘:

systemd-run --unit=fmt4k /root/fmt4k.sh
journalctl -u fmt4k -f       # read progress from the journal, not from the drive

这样唯一的进度检查就是日志,没有任何东西会碰到控制器。 之后八块盘在 nvme list 里全都显示 4 KiB。

软件包

发布页提供 .deb 和 .rpm 软件包,其中有 Debian 13 trixie 的,Proxmox VE 9 就是基于它构建的2。 一个构建通吃所有发行版,要求 glibc 2.34 或更新6。

B=https://github.com/croit/ceph-rust/releases/download/snapshot-2026-11-10-0b6783237291
curl -LO "$B/flashstore_21.2.0+git.20261110063351.c5792750020e_debian-trixie_amd64.deb"
curl -LO "$B/sha256sums.txt"
sha256sum flashstore_*_debian-trixie_amd64.deb
grep debian-trixie/flashstore_ sha256sums.txt

手工校验一下。 sha256sum -c 校验不了这个下载,因为校验和文件里写的名字是 debian-trixie/flashstore_…_amd64.deb,而实际文件叫 flashstore_…_debian-trixie_amd64.deb。 哈希是一致的,两边都是 ce1fb352…26c8,所以文件没问题,只是清单和实际文件对不上。

apt install ./flashstore_*_debian-trixie_amd64.deb
croit-flashstore-osd --version
croit-flashstore-osd 21.2.0 umbrella (build 0.0.0) git c5792750020e
net tiers: kernel (+rdma upgrade)

它干净地装在了 Proxmox 自己的 ceph-osd 和 ceph-osd-classic 旁边。 软件包只在没有 ceph-osd.target 的主机上安装一个最小版本6,而 Proxmox 已经有一个了,所以 FlashStore 的服务单元挂在经典 OSD 本会挂的同一个 target 上。

在你针对这个软件包写脚本之前,有三件事值得知道:

文档怎么说软件包实际是什么
软件包名apt remove flashstore …6croit-flashstore-osd,文件名是 flashstore_…
存储后端main 的生产特性集是 knet,spdk,rdma,mimalloc1没有 SPDK:--check 报告 “SPDK NVMe driver: compiled out”
flashstore_dev 的取值spdk:<pci>,开发构建里还有 file:7内核层 kernel:/dev/… 是这个构建里唯一真正可用的存储路径

中间那行很要紧。 SPDK 层,也就是需要把盘绑定到 vfio-pci 的用户态 NVMe 驱动,不在发布的 Debian 软件包里。 里面有的是内核层:盘留在内核自己的 nvme 驱动上,FlashStore 通过 io_uring 跟它打交道。 源码显示它是编译进去了的,因为 knet 特性会拉进 kernel-nvme8,可主机检查的汇总行却说它 “compiled out of this build”。 那一行是错的。 信了它的读者会就此止步。

主机检查怎么说

croit-flashstore-osd --check 是只读的,在写入任何东西之前运行。 它检查构建、CPU、内存、IOMMU、每个 NVMe 控制器、网卡、内核和配置,并为每一项发现打印出确切的修法9。 在这个节点上它跑了 115 项检查,而且做得很好:每项发现都附带修复它的命令,省了我一大堆翻找。

发现结果我怎么处理
大页:一个都没预留FAIL按它要求预留 16 GiB,写进 /etc/sysctl.d 持久化
SN750 启动盘:易失写缓存FAIL不管,它不是 OSD 候选盘
没加载 vfio-pciWARN不管,这个构建没有 SPDK 可用
memlock 限制 8 MiBWARN不管,它测的是 shell;服务单元设置了 LimitMEMLOCK=infinity
没有 isolcpus / nohz_fullWARN记下,属于延迟调优
IOMMU 是 translated,不是 iommu=ptWARN记下
init_on_alloc=1WARN记下,据它说大块读时要多花 15 到 20 % 的 CPU
2.5 GbE 端口、默认网卡环、中断分布在五个 CPU 上WARN记下
8 × P4800X:无 VWC、当前 4096+0、x4 @ 8 GT/s、空闲OK
io_uring 支持 SEND_ZC 和固定缓冲区,内核 7.0OK

第二个 FAIL 要提前打算好。 检查会把机器里每个控制器都算进去,启动 SSD 有写缓存,所以过不了掉电测试,尽管同一个检查正确地把它标为 “in use, not a candidate”。 教程说退出码 0 表示没有 FAIL9。 在任何从消费级 SSD 启动的主机上(很多 Proxmox 主机都是这样),无论你修了什么,--check 都不可能以 0 退出。 脚本要按每项检查的输出行来判断,不要看退出码。

调优类的 WARN 我都留着没动。 每一项都要改内核命令行并重启,而这是一次部署,不是跑分。 在任何人引用这台机器的数字之前,这份清单就是该逐项处理的东西。

八个 OSD 的核与大页

FlashStore 是每核一线程的模型,检查把这意味着什么说得很明白:“one core = one shard/PG owner”,每个 OSD 最多 8 个核,而且每个 OSD 核都要独占一个物理核,不和 SMT 兄弟线程共用。 八个物理核、八个 OSD,就是每个一核,flashstore_lcores = 0 到 7,SMT 兄弟线程留给 Proxmox 和虚拟机。 把这个写进配置再跑一遍,检查把每个核规划都标为 OK。

一台机器上的核与大页每个物理核一个 OSD;SMT 兄弟线程留给主机0: osd.01: osd.12: osd.23: osd.34: osd.45: osd.56: osd.67: osd.7线程 8 到 15:Proxmox、虚拟机、OSD 辅助线程大页:预留 16 GiB,八个 OSD 用了 4 GiB已用 4 GiB12 GiB 预留但闲置,主机共 58 GiB
每个 OSD 一个物理核。大页池按检查的默认值每个 OSD 2048 MiB 来定,而每个运行中的 OSD 只用了其中四分之一。

再看一眼大页。 检查要求每个 OSD 2048 MiB,这是守护进程默认的 --mem,所以八个 OSD 需要预留 16 GiB。 运行起来以后,每个 OSD 只用了 2048 里的 512 MiB。 这和 croit 自己关于内核后端的设计说明吻合,那里给负载分配器的预算就是 --mem 的四分之一10。 所以在这台机器上,八个全跑起来时,有 12 GiB 内存作为大页被预留着,没有任何东西去碰,而这台主机还有虚拟机要喂。 存储节点无所谓。 在 Proxmox 节点上,那块内存本可以是一台虚拟机,后文会把它削减到 OSD 实际用的量。

我能问一句,它为什么读不了 ceph.conf 吗?

盘格式化好了,软件包装上了,主机检查也过了,第一个 OSD 却起不来。

croit-flashstore-tool: refused: /etc/ceph/ceph.conf: Permission denied (os error 13)

在 Proxmox 上,/etc/ceph/ceph.conf 是指向 /etc/pve/ceph.conf 的符号链接,而 /etc/pve 是 pmxcfs,那个让每个节点的配置保持同步的集群文件系统。 那里的文件是 root:www-data 0640,pmxcfs 不允许你按文件去改11。 Proxmox 自己的 Ceph 守护进程之所以没事,是因为它们以 root 启动,读完配置,再降到 ceph 用户,每个 ceph-osd@ 服务单元上的 --setuser ceph --setgroup ceph 干的就是这个。

FlashStore 的服务单元不以 root 启动。 它从第一条指令起就是 User=ceph,ExecStartPre 也一样12,所以它根本没机会读到那个文件。

我能问一句吗:一个为 Debian 构建、号称即插即用的产品,为什么没在最常见的基于 Debian 的 Ceph 平台上试过? 我问的不是谁。 pveceph 把配置放在 pmxcfs 上,每个由 pveceph 管理的节点上的每个 FlashStore OSD,第一次启动都会撞上这个问题。

答案其实已经内置在守护进程里了。 它的源码描述了经典的 --setuser/--setgroup 降权:“started as root by a classic unit (--setuser ceph --setgroup ceph), the daemon becomes that user before it opens the store, a socket or a file”13。 所以一个按 Proxmox 启动自家 OSD 的方式来启动这个服务单元的 drop-in,应该就够了。

还差一点。 以纯 root 启动后,下一个拒绝来自盘。

activate: device kernel:/dev/ng0n1 not ready: /dev/nvme0n1: Permission denied (os error 13)

服务单元的 CapabilityBoundingSet 里没有 CAP_DAC_OVERRIDE12,所以 root 也要守普通的文件权限,而命名空间节点属于 ceph:ceph。 以 root 启动、组设为 ceph,两头都顾到了:root 拥有配置文件,ceph 组打开盘,守护进程在做任何别的事之前降到 ceph。

启动服务单元的三种方式原样发布User=ceph Group=ceph/etc/pve/ceph.conf root:www-data 0640读配置时 Permission denied以 root 启动没有 CAP_DAC_OVERRIDE/dev/nvme0n1 ceph:ceph 0660打开盘时 Permission deniedroot,ceph 组然后 --setuser ceph以属主读配置,以组打开盘,守护进程以 ceph 身份运行
原样发布的服务单元读不了 pmxcfs。纯 root 打不开盘,因为能力边界集拿掉了越权。root 加 ceph 组两样都能做,然后降权。
# /etc/systemd/system/croit-flashstore-osd@.service.d/pve-ceph-conf.conf
[Service]
User=root
Group=ceph
ExecStart=
ExecStart=/usr/bin/croit-flashstore-osd run --id %i --cluster ${CLUSTER} -f --setuser ceph --setgroup ceph

守护进程在自己的日志里确认了降权:set uid:gid to 64045:64045 (ceph)。

还有个更短的修法,SupplementaryGroups=www-data,我没用。 它会让 OSD 能读 /etc/pve 下每一个组可读的文件,而不只是 Ceph 配置。 OSD 没有理由去读集群其余的配置,而上面那个 drop-in 给它的,一点都不比 Proxmox 给自家 OSD 的多。

然后是设备节点。 FlashStore 的文档说命名空间节点必须可被 ceph 写入,“(udev rule)”14,而软件包一条都没带。 下面这条按型号匹配盘,所以无论编号怎么变,它都不可能误中启动盘:

# /etc/udev/rules.d/70-croit-flashstore-optane.rules
SUBSYSTEM=="nvme-generic", KERNEL=="ng*n*", ATTRS{model}=="Dell Express Flash NVMe P4800X*|INTEL SSDPE21*", OWNER="ceph", GROUP="ceph", MODE="0660"
SUBSYSTEM=="block", KERNEL=="nvme*n*", ENV{DEVTYPE}=="disk", ATTRS{model}=="Dell Express Flash NVMe P4800X*|INTEL SSDPE21*", OWNER="ceph", GROUP="ceph", MODE="0660"

执行 udevadm trigger 之后,十六个 Optane 节点都成了 ceph:ceph 0660,SN750 仍是 root。

这个内核不肯做的直通

内核层有两种模式,你指定哪个节点就决定了用哪种。 kernel:/dev/ngXnY 通过 io_uring 把 NVMe 命令直接发给盘,croit 管这叫 kernel-cmd。 kernel:/dev/nvmeXnY 在块设备上做 O_DIRECT 读写,叫 kernel 或 direct10。 croit 测过的每一格里 kernel-cmd 都领先10,README 自己的快速入门也用它1,所以我配的就是它。

权限理顺之后,守护进程降到 ceph,读了配置,然后在第一次读盘时停了:

croit-flashstore-osd: --dev kernel:/dev/ng0n1: /dev/ng0n1: kernel-cmd fixed-buffer probe read: Errno(13)

同样的探测一分钟前在 activate 里还通过了,那时它还带着 root 的能力。 所以问题是:这个内核是否允许一个非特权进程经 /dev/ngXnY 发送 I/O 命令。 不用 FlashStore 就能回答,以 ceph 身份用 nvme-cli 做同样的读:

身份在 /dev/ng0n1 上的命令结果
cephIdentify Namespace允许
cephRead,LBA 0,4 KiBPermission denied
rootRead,LBA 0,4 KiB允许

八块 Optane 给出的答案一样,包括两块我从没格式化或复位过、跑的是 Intel 固件而不是 Dell 固件的盘。 所以不是盘的问题,也不是早上那几次格式化的问题。

上游说这应该行得通。 在 Linux 7.0 里,nvme_cmd_allowed() 允许非特权进程发送 I/O 命令,只要盘的 Commands Supported and Effects 日志把它标为支持且没有异常影响;只有写入或改变数据的命令才要求以可写方式打开15。 P4800X 的 effects 日志把 Read 标为支持,00000001,别的什么都没有。 读是允许的。

Proxmox 的内核不是上游的内核。 它这个构建的变更日志里,恰好在这条路径上有一个回移植的修复,CVE-2026-90227: nvme/ioctl: check SUBMIT_IO with nvme_cmd_allowed(),从字面看涉及的是另一个 ioctl,不是我测的那个。 我还没查清 7.0.14-28-pve 内核里到底是哪处改动造成了差别,我也不会去猜。 确定的是行为:在这个内核上,非特权的 NVMe 直通 I/O 会被拒绝。

FlashStore 对被拒绝的直通有个回退机制,但它没触发。 croit 的设计说明说,当 Identify 被拒绝时,kernel-cmd 设备会退回到在其块设备节点上做直接 I/O,并在启动时说明10。 这里 Identify 允许而 Read 不允许,所以回退从未触发,OSD 直接停了。

进入盘的两条路kernel-cmd:NVMe 直通kernel:直接块 I/Oio_uring URING_CMD/dev/ng0n1,通用字符设备以 ceph 用户身份被拒:EACCESio_uring READ/WRITE_FIXED/dev/nvme0n1,O_DIRECT可行:只需对节点有读写权限
直通要经过 NVMe ioctl 的权限检查,Proxmox 的内核对 ceph 用户拒绝了它。块设备上的直接 I/O 只需要对节点有读写权限,udev 规则已经给了。

直接 I/O 不在乎这个。 每个 OSD 一行:

flashstore_store_backend = kernel

这样一来,osd.0 起来了。

croit-flashstore-osd: store mounted (1 shards, replayed 4 txns in 16 ms)
croit-flashstore-osd: set uid:gid to 64045:64045 (ceph)
[    1.398] crush location set (create-or-move updating item name 'osd.0' weight 0.3359 at location {host=pve2,root=default} to crush map)
[    2.406] osd.0 is now active (up_from 10, map 10)

2.4 秒进入 active。

准备并启动 OSD

每个 OSD 在 Ceph 配置里有自己的一节,在 Proxmox 上就是编辑 /etc/pve/ceph.conf,手工改没问题。

[osd.0]
	flashstore_dev = spdk:0000:05:00.0
	flashstore_store_backend = kernel
	flashstore_lcores = 0

设备按 PCI 地址指定,而不是 /dev/nvme0n1,这里的 spdk: 前缀也不代表 SPDK。 设了内核后端之后,守护进程每次启动都会在 sysfs 里查这个地址,找到控制器当前的节点10。

给盘起一个不会变的名字[osd.0]spdk:0000:05:00.0查 sysfs每次启动时/dev/nvme0n1/dev/ng0n1nvme 编号跟随探测顺序,在这台主机上已经变过:SN750 十月份是 nvme7,现在是 nvme8。
PCI 地址由插槽决定。nvme 编号由探测顺序决定,而探测顺序是不固定的。

这一点在这里很要紧。 SN750 启动盘十月份是 nvme7,现在是 nvme8,通用节点的次设备号也不按盘的顺序来,ng1n1 是次设备号 0,ng0n1 是 2。 写着 /dev/nvme4n1 的配置,重启之后可能指向另一块盘。 写着 0000:0b:00.0 的配置不会。

然后每块盘一条命令,写入存储并向监视器注册 OSD:

croit-flashstore-tool prepare --dev spdk:0000:05:00.0 --id 0
kernel-cmd /dev/ng0n1: fixed-buffer NVMe passthrough probe ok (IORING_URING_CMD_FIXED on)
mkfs: device lba 4096 B x 91573146 (375083606016 B), awupf 1 lba, vwc false, max_xfer 32 lba
mkfs: 1 store shards, WAL ring 4096 MiB each
osd.0 prepared in /var/lib/ceph/osd/ceph-0

以 root 身份,两秒。 prepare 从 /var/lib/ceph/bootstrap-osd/ceph.keyring 读取 bootstrap 密钥16,而 pveceph 只在第一次创建它自家的 OSD 时才写这个文件,所以在没有经典 OSD 的情况下得先把它取出来:

ceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring

六块盘第一次就 prepare 成功。 两块被拒绝了:

croit-flashstore-tool: refused: device is not empty (non-zero data in the first 8192 bytes); --wipe destroys it
croit-flashstore-tool: refused: device is not empty (non-zero data at 65536 bytes); --wipe destroys it

lsblk 和 blkid 都报告这两块盘是空的。 上面其实是一个早先实验留下的 LVM 卷组的文本元数据区,那个卷组早就删了,开头的标签也已经清零。 FlashStore 的探测会读开头 8 KiB 以及 64 KiB 和 256 KiB 处的区域17,比常用工具看得更远,而它是对的。 除非被告知 --wipe,否则拒绝一块上面有任何东西的盘,这正是 OSD 工具该做的。 要不要擦,是盘的主人该做的决定,不是工具该做的。 决定之后,--wipe 大约两秒就 prepare 好了这两块,它们是在后面安装完成之后才加入的,所以面板截图和安装数据里都是六个。

然后启动它们:

systemctl enable --now croit-flashstore-osd@0
ID  CLASS  WEIGHT   TYPE NAME      STATUS  REWEIGHT  PRI-AFF
-1         2.01535  root default
-3         2.01535      host pve2
 0   nvme  0.33589          osd.0      up   1.00000  1.00000
 1   nvme  0.33589          osd.1      up   1.00000  1.00000
 2   nvme  0.33589          osd.2      up   1.00000  1.00000
 3   nvme  0.33589          osd.3      up   1.00000  1.00000
 4   nvme  0.33589          osd.4      up   1.00000  1.00000
 5   nvme  0.33589          osd.5      up   1.00000  1.00000

每个 OSD 都把自己放到 host=pve2 下,设备类别 nvme。 它们向集群报告的关于自己的信息,值得读一遍:

字段监视器和管理器FlashStore OSD
ceph versions21.2.0 (087cd25db8f1) umbrella (dev - None)21.2.0 (b060042deb05) umbrella (dev - croit-flashstore-osd)
构建者Proxmox,-pve1 软件包croit,基于 README 指名的上游 v21.2.0 提交1
osd_objectstorebluestore,每个 bluestore_bdev_* 字段都填好了
它实际是什么FlashStore,没有 BlueFS,没有 RocksDB

报告 BlueStore 是有意为之。 flashstore_report_objectstore 默认是 bluestore,因为经典监视器只有在每个 OSD 都这么报告时才启用某些特性,所以这个默认值让混合集群能继续工作7。 它不是真的,在你读集群元数据并信以为真之前,值得知道这一点。

Proxmox 怎么看待它们

Proxmox 的 OSD 面板列出全部六个,up 且 in,类别 nvme,版本 21.2.0,每个 344 GiB。 它还把它们叫作 FileStore。

Proxmox Ceph OSD 面板,在主机 pve2 下列出 osd.0 到 osd.5,类别 nvme,OSD 类型 filestore,up 且 in,版本 21.2.0,每个 344.00 GiB

FileStore 是被 BlueStore 取代的那个对象存储。 Proxmox 在 PVE/API2/Ceph/OSD.pm 里推断这个标签:OSD 元数据里有 bluefs 键就是 BlueStore,其他一律是 FileStore18。 FlashStore 没有 BlueFS,因为它底下没有 RocksDB,所以它在一个字段里报告 BlueStore,又因另一个字段被标成 FileStore。 两个都不对。 而面板恰恰是大多数 Proxmox 管理员首先看的地方。

空闲时延迟列显示 0 / 0。 在下面的安装过程中,ceph osd perf 报告六个 OSD 的提交延迟在 0 到 3 ms 之间。

面板里的 Start、Stop 和 Restart 操作的是经典服务单元 ceph-osd@N,而那不是正在运行的东西19。 因此,面板只是这些 OSD 的一个视图,而不是它们的控制台。 凡是碰守护进程的事,用 systemctl … croit-flashstore-osd@N 和命令行,Create: OSD 和 Destroy 对它们千万别碰。

一个存储池、一个存储和一台 Fisher-Price OS (Windows) 虚拟机

集群里的第一个 PG,也就是管理器的 .mgr 池,OSD 一起来就处于 undersized+degraded。 怪单节点。 默认的 replicated_rule 把每份副本放在不同主机上,而这里只有一台主机。

ceph osd crush rule create-replicated replicated_osd default osd nvme
ceph osd pool set .mgr crush_rule replicated_osd

一条故障域为 osd、设备类别为 nvme 的规则20把每份副本放在不同的 OSD 上,PG 几秒内就变成了 active+clean。 在有三台或更多主机的真实集群上,保留按主机的规则,跳过这一步。

之后的一切都是照常的 Proxmox GUI。 Ceph → Pools → Create:名称 flashstore,size 3,min size 2,规则 replicated_osd,勾选 Add as Storage。 后来为了下面的负载测试,改成了 size 2,min size 1。

Proxmox Ceph 存储池面板,.mgr 和 flashstore 两个池都用 replicated_osd,存储树里加了 flashstore (pve2)

Proxmox 一次就建好了存储池和 RBD 存储定义,flashstore 出现在树里,可用 654 GiB,也就是 2 TiB 裸容量除以三份副本再减去开销。 129 个 PG 变成 active+clean,不久之后自动伸缩器把新池从 128 个 PG 降到 32 个。

测试用的客户机是一台 Fisher-Price OS (Windows) 虚拟机。 这不是我的偏好,而是很大一部分客户在他们的 Proxmox 存储池上实际跑的东西,所以它才是算数的负载:16 GiB 内存,4 核,一块放在 flashstore 上的 60 GiB 磁盘,开了 discard 和 iothread。 它对磁盘又话多又低效,这正是重点:存储测试要的就是最压磁盘的客户机。

从虚拟机磁盘到 Optane虚拟机磁盘scsi0,60 GiBQEMU + librbd21.2.0-pve1存储池 flashstorereplicated_osd,size 2FlashStore OSD,副本 1FlashStore OSD,副本 2Proxmox 的经典 librbd 与 croit 的 OSD 通信;这里没有安装 librustyrbd。
虚拟机的写入经过 Proxmox 自带的 librbd,进入存储池的规则,在 size 2 下落到两个 FlashStore OSD 上。croit 自己的 librustyrbd 没装,所以这是经典客户端对 Rust OSD。

在安装的头十五分钟里,每十秒对存储池采样一次:

存储池写入活跃时中位数 9.3 MB/s,峰值 302 MB/s
写操作峰值每秒 2,486 次
存储池读取峰值 60 MB/s
已用裸空间六个 OSD 共 35 GiB
健康状态全部 90 个样本都是 HEALTH_OK
OSD 重启0
OSD 常驻内存之后每个 565 到 871 MiB

这些是一个安装程序的数字,虚拟机和 OSD 在同一台主机上,调优类 WARN 一个没动,它们完全不说明 FlashStore 的速度。 它们说明的是:一个经典的 Proxmox 客户端把一整个操作系统装到了 Rust OSD 上,35 GiB 裸容量,没出一个故障,而这正是本文要检验的说法。

负载下它表现如何

装得上,证明它能用。 它不告诉你这台虚拟机用起来怎么样。

于是虚拟机跑了 CrystalDiskMark 9.0.321,跑了三次:Real World Performance [+Mix] 配置、Read&Write [+Mix]、C: 上一个 16 GiB 文件、70/30 读写混合,一次三遍,两次九遍。 这个配置一切都在单线程上一次一个请求地跑,这才是桌面或小型数据库实际的样子,而不是规格书的样子。

那时配置已经和安装时不同了。 虚拟机有六个核,存储池在 GUI 里改成了 size 2、min size 1、256 个 PG。 在单台机器上,size 2 加 min size 1 是实验室设置:只剩一份副本时,存储池仍继续接受写入,而这些写入一次故障就可能丢掉。 别的地方,保持 3 和 2。

磁盘用的是 Proxmox 的默认设置,no cache,这从 Proxmox 2 起就是默认值22。

CrystalDiskMark 9.0.3 运行在 flashstore 池上的 Fisher-Price OS (Windows) 虚拟机里,Real World Performance 配置,70/30 混合,C: 上 16 GiB,九遍:SEQ1M Q1T1 读 1852.32 MB/s、写 580.08、混合 986.10;RND4K Q1T1 为 23.37、9.97 和 16.12 MB/s;5705.57、2434.81 和 3935.79 IOPS;174.73、409.77 和 253.25 微秒

Real World Performance [+Mix],16 GiB3 遍9 遍再 9 遍
SEQ1M Q1T1 读1,279.71 MB/s1,675.33 MB/s1,852.32 MB/s
SEQ1M Q1T1 写563.67 MB/s576.65 MB/s580.08 MB/s
SEQ1M Q1T1 混合1,043.75 MB/s1,043.28 MB/s986.10 MB/s
RND4K Q1T1 读5,342 IOPS,186.57 µs5,659 IOPS,176.17 µs5,706 IOPS,174.73 µs
RND4K Q1T1 写2,419 IOPS,412.51 µs2,405 IOPS,414.79 µs2,435 IOPS,409.77 µs
RND4K Q1T1 混合3,938 IOPS,253.13 µs3,826 IOPS,260.49 µs3,936 IOPS,253.25 µs

写入和小块延迟每次之间相差都在 1% 左右以内。 顺序读三次下来涨了 45%。 这是第一个迹象:读那一列测的并不是它看上去在测的东西。

三次运行全程每五秒对主机采样一次,八块 Optane 用 /proc/diskstats,存储池用 ceph status,每个进程和线程用 /proc,而两个视角讲的不是同一个故事。

写入:盘只占小头

一次一个 4 KiB 随机写,最后一次运行
虚拟机看到的每次写入耗时409.77 µs
每块 Optane 上的每次写入耗时17 µs
虚拟机每写一次,到达 Optane 的写入次数4.05:两份副本,每份大约两次写入
大块顺序写虚拟机侧 580 MB/s,Optane 侧 1.14 GB/s,第二份副本让它翻倍

一次小写入里,盘只占不到 5%。 另外那 393 µs 是路上花掉的:QEMU、librbd、进入 OSD 的 messenger、OSD 本身,以及等第二份副本。 这里没有把这些拆开测,所以我不会给每一段报个数。 能说的是:在这台机器上,一次一个的 I/O 瓶颈不在 Optane,换一块更快的盘也动不了那 410 多少。 瓶颈已经转移到客户端,也就是 Proxmox 自带的 librbd;等 croit 自己的 librustyrbd 在这里部署之后,这方面还有后续。

读取:是缓存,不是 Optane

在最后一次运行里,4 KiB 随机读那一遍在整个 16 GiB 文件上每秒做了 5,700 次读,而八块 Optane 一个字节都没读。 顺序读那一遍在存储池层面达到 2.2 GB/s,与此同时盘自己的读取从 755 MB/s 掉到了零。 CrystalDiskMark 绕过客户机的缓存,磁盘在 QEMU 里也没有缓存,所以干活的内存在 OSD 里。 这个构建里 flashstore_obj_cache 默认开启,size 2 下每个 OSD 分到的文件份额大约 2 GiB,而每个 OSD 都长到了大约 2.6 GiB。 FlashStore 不报告命中情况,所以只能说几乎可以肯定,而不是已经证明。 这也是为什么顺序读每次运行都在涨:文件已经有更多部分在里面了。 把读那一列当成缓存数字,而不是存储数字。

CPU:核都去哪儿了

最后一次运行,单位为核主机繁忙OSD客户机 vCPUlibrbd 和 Ceph 客户端QEMU
两遍之间空闲20 到 24%3.30.10.030.03
4 KiB 随机写30%3.90.380.200.08
4 KiB 随机读30%3.60.470.390.15
顺序混合41 到 53%3.81.5 到 2.30.50.12

虚拟机那三列来自它的线程:QEMU 给客户机的 vCPU 命了名,而 librbd 的 messenger 和工作线程跑在同一个进程里。

OSD 那一列几乎不动。 八个轮询的 OSD 什么都不干要花 3.3 个核,满负荷 3.9 个,所以在一台 16 线程的机器上,虚拟机还没开口要东西,五分之一的 CPU 就没了。 别的东西都没接近上限。 最忙的单个线程是一个客户机 vCPU,47%,librbd 最忙的线程一直不到 15%。 一次一个请求时,瓶颈是等待,不是干活,而 CPU 数字显示不出等待。

内存:按峰值来规划

三次运行全程
健康状态每个样本都是 HEALTH_OK,每个 PG 都是 active+clean,没有 OSD 重启
使用中的大页从头到尾 4 GiB
主机还能分出去的内存,跑着一台 16 GiB 虚拟机3.1 到 4.0 GiB

大页那一行就是前面预算那一节,只不过这次是在负载下:每个 OSD 512 MiB,另外 12 GiB 从没碰过。

普通内存才是要盯的数字,因为上面那个缓存就是用它做的。 一次读把文件拉进来之后,每个 OSD 都停在大约 2.5 GiB,下面是 Ceph 在一台 58.7 GiB 主机上占着的东西:

峰值时 Ceph 的内存,默认 4 GiB 目标
OSD 进程,八个合计19.9 GiB,每个 2.4 到 2.6 GiB
为 OSD 预留的大页16 GiB,其中用了 4 GiB
监视器和管理器0.3 GiB
合计36.2 GiB,占主机的 62%
主机还能分出去的,跑着一台 16 GiB 虚拟机3.6 GiB

它确实会还回来,但没有任何我能看出来的时间规律。 它在 19.9 GiB 停了 25 分钟,空闲间隙也算在内,然后在最后一次运行结束时降到 13.9 GiB,主机又有 10.2 GiB 可以分出去了。 这期间 osd_memory_target 一直是默认的每个 OSD 4 GiB,所以还没算一个大页,八个 OSD 就有权占 32 GiB。 在一个同时要跑虚拟机的节点上,峰值才是在盘之前就要算清楚的预算,也是那 12 GiB 闲置大页最伤人的地方。

同时跑三台虚拟机,预算更紧

一台虚拟机还宽裕得很。三台,预算就得算对了。 所以先改了两项设置。

ceph config set osd osd_memory_target 1073741824   # 1 GiB per OSD, was 4
sysctl -w vm.nr_hugepages=2048                     # what eight OSDs use, was 8192

目标值不需要别的操作:每个 OSD 几秒内就报告了新值,但还是一个一个地重启了,每次都等全部 257 个 PG 回到 active+clean 再重启下一个。 大页有个坑。 每个 OSD 启动之前,croit-flashstore-prep 都要有一整份 --mem,也就是 2048 MiB 空闲,不够就把池扩大,但它从不再缩回去。 削减之后重启 osd.7,池立刻又涨回去了:

croit-flashstore-prep[7]: hugepages 2048kB: free 256 < need 1024, nr_hugepages 2048 -> 2816

所以能扛过重启的下限,是 OSD 实际用的量加上一次启动的余量:2,816 页,5.5 GiB,而检查要求的是 16 GiB。 后面的安装脚本现在预留的正是这么多。 八个全部起来之后再削回 2,048,在下次重启之前还能再省出 1.5 GiB。

然后用这台虚拟机克隆出三台,每台 10 GiB,同时跑 CrystalDiskMark:Real World Performance [+Mix],三遍,但每台用 1 GiB 的文件而不是 16 GiB。 这让读那一列比以往更像缓存数字,所以看写。

CrystalDiskMark,三台虚拟机同时VM 104VM 105VM 106三台合计单台虚拟机
SEQ1M Q1T1 写346.99 MB/s318.99 MB/s446.98 MB/s1,113 MB/s580.08 MB/s
SEQ1M Q1T1 读796.05 MB/s905.03 MB/s1,160.93 MB/s2,862 MB/s1,852.32 MB/s
RND4K Q1T1 写1,901 IOPS1,928 IOPS1,862 IOPS5,691 IOPS2,435 IOPS
RND4K Q1T1 写延迟524.56 µs517.00 µs535.42 µs409.77 µs
RND4K Q1T1 读3,773 IOPS3,916 IOPS3,909 IOPS11,598 IOPS5,706 IOPS
RND4K Q1T1 混合2,978 IOPS3,027 IOPS3,411 IOPS9,416 IOPS3,936 IOPS

三台虚拟机拿到的小写入是一台的 2.3 倍,每台为此在延迟上付出了大约 27%。 原因仍然不在 Optane。 它们峰值每秒 20,900 次写入,每次 17 µs,和一台虚拟机时一样是 17 µs,八块里最忙的那块也只有 14% 繁忙。

主机,运行全程每五秒默认 4 GiB 目标,一台虚拟机1 GiB 目标,三台虚拟机
最大的 OSD 进程2.7 GiB峰值 1.15 GiB,之后 0.8
八个 OSD 进程合计19.9 GiB峰值 8.0 GiB,之后 5.8
预留的大页16 GiB,用了 44 GiB,全部用上
分给虚拟机的内存16 GiB30 GiB
主机还能分出去的内存,最低时3.1 GiB14.8 GiB
swap 增长无无

所以 FlashStore 确实守着 osd_memory_target。 它在一遍读的峰值时超出 15%,然后又回到目标之下,缓存是在预算之内干活,而不是在预算之外。 靠目标值加上削减大页,同一台机器上有 26 GiB 回到了虚拟机手里。

三台虚拟机时的 CPU,单位为核主机繁忙OSD客户机librbd 和 Ceph 客户端QEMU
三台 Fisher-Price OS (Windows) 启动81 到 89%3.4 到 3.66.3 到 7.90.4 到 0.70.3
跑分42 到 73%3.7 到 4.51.2 到 4.00.4 到 1.60.2 到 0.4
之后空闲20 到 24%3.30.300

启动三台客户机比给它们跑分更费 CPU。 底下的存储从没接近过上限,这就是迷你主机在设限,本来也注定如此。

全部内容,一个脚本

上面的一切都在一个脚本里。 给它你想做成 OSD 的盘的 PCI 地址,剩下的它按本文的顺序做完,两处 Proxmox 修复也内置了。

flashstore-pve-setup.sh:在 Proxmox VE 节点上部署 FlashStore OSD flashstore-pve-setup.sh · 17 kB
lspci -D -d ::0108                                    # find the drives
bash flashstore-pve-setup.sh --dry-run 0000:05:00.0   # show the plan, change nothing
bash flashstore-pve-setup.sh 0000:05:00.0 0000:06:00.0
它检查它写入它运行
Proxmox VE 9 和 Ceph 21.2.0 Umbrellabootstrap-osd 密钥环以 ceph 身份做一次直通读,以选择 kernel-cmd 或 kernel
每块盘:NVMe、无写缓存、未挂载、未分区、未被占用先 root 后 --setuser 的 drop-in每块盘执行 prepare 和 systemctl enable --now
FlashStore 自己的探测会读的区域里没有数据每块盘一条 udev 规则,按序列号匹配主机检查,只在 OSD 需要的项目上停下
4 KiB 块每块盘一节 [osd.N],每个一个物理核下载软件包,并对照发布的 SHA-256 校验

除非你要求,否则什么都不会被销毁。 --format-4k 会重新格式化不是 4 KiB 的盘,一次一块,各自放在自己的服务单元里,什么都打断不了它;--wipe 允许它覆盖有数据的盘。 --single-node 会加上 replicated_osd 规则,再跑一次会跳过已经是 OSD 的盘。

它在这里测过,不只是写出来而已。 它因为写缓存拒绝了 SN750,在 osd.7 的盘上还有存储时拒绝了它;然后在 osd.7 被清除、节点交还给 root 之后,用 10.5 秒从零重建了它,自己选了 kernel 后端。 它不做的事是安装 Ceph。 那一步要你接受一个 Technology Preview,这是你的决定,不是脚本的。

该修的地方

这些都拦不住一个铁了心的管理员,但每一样都能拦住一个忙碌的管理员。 每一项都是 croit 对任何下载这个软件包的人做出的说明,而每一项我第一次尝试就撞上了。

位置发生了什么怎么修
systemd 服务单元User=ceph 读不了 pmxcfs,所以在 pveceph 节点上 OSD 永远起不来发布先 root 后 --setuser 的启动方式,或者一个 Proxmox 用的 drop-in
kernel-cmd 回退只在 Identify 被拒时回退;在 PVE 的内核上被拒的是 Read,OSD 直接停下任何直通 I/O 被拒都回退到直接 I/O
udev文档要求一条把命名空间节点交给 ceph 的规则;但没有随包提供提供一条,按配置的设备来写
--check 汇总说内核 NVMe 是 “compiled out”,而它恰是唯一编译进去的存储路径改正这个标签
--check 退出码启动 SSD 过不了 PLP 测试,所以退出码 0 根本达不到只给已配置或候选的设备打分
大页按每个 OSD 2048 MiB 计算,且 prep 每次启动都要这么多空闲;内核后端只用 512内核后端按实际用量计算,prep 也只要求同样多
sha256sums.txt文件名和发布的文件对不上按发布时的名字写
软件包名文档说 apt remove flashstore;软件包叫 croit-flashstore-osd统一一个名字,或者在文档里写对
flashstore_dev 参考只列了 spdk: 和 file:写明 kernel:,以及带内核后端的 spdk:

这些都不是新工作。 守护进程已经有了降权、直接后端和回退逻辑。 只是还没在大多数人会首先拿来试的那个平台上把它们串起来。

预览版就是让你发现这些的地方

上面每一项发现,放在预览版里都是对的地方,但留在那里就是错的。 预览版就是干这个的:有人把它带回家,装在自己实际有的硬件上,把它在哪儿摔倒记下来。 要紧的部分都扛住了。 存储几毫秒就起来了,OSD 加入了一个用别人的工具搭起来的集群,一整个操作系统装到它们上面,一个故障都没出。

绊倒它的是守护进程周围的一切。 一个放在服务单元读不了的文件系统上的配置文件,一个对上游允许的调用说不的内核,一块检查死活不肯不算的启动盘。 这些都不难。 可这一切正是 “能用的软件” 和 “在你机器上能用的软件” 之间的差别,而唯一能填平它的办法,是在人们手里实际有的机器上测,而不是在你专门为它搭的机器上测。

话虽如此,这是个有希望的开端。 在一台破烂迷你主机上,客户端还是经典的 librbd,八块盘全挤在一条 PCIe 3.0 链路上,Optane 在这里被压榨得比在 BlueStore 下还狠。 随着它的发展,我会回来更深入地挖,随着更多技术栈被替换,还会看看 CephFS2。

“即插即用” 是对一个没时间读源码的管理员许下的承诺。 Proxmox 的监视器、Proxmox 的 GUI、Proxmox 的内核,再加上别人家的软件包,正是这个承诺所针对的情形。 它现在差一点就兑现了。 九处小修复,它就能兑现;我宁可做那个周三早上把它们找出来的人,也不愿做那个周五晚上才撞上它们的客户。


  1. croit/ceph-rust README — 自2026年11月9日起公开预览,“not yet recommended for production data”,硬件要求、快速入门、生产特性集、测试过的 Ceph 提交。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. croit/ceph-rust release snapshot-2026-11-10 — 本文用到的软件包,包括 flashstore_…_debian-trixie_amd64.deb 和 sha256sums.txt。 ↩︎ ↩︎

  3. croit/ceph-rust — hardware requirements — 易失写缓存检查、大页、内核版本说明。 ↩︎

  4. croit/ceph-rust — branches and versions — main 针对 v21.2.0,v20.2.4 针对 v20.2.4;“The daemon refuses a cluster release outside its supported window.” ↩︎ ↩︎

  5. Proxmox pve-manager, PVE/Ceph/Releases.pm — umbrella 以 release => '21.2' 和 unsupported => 1 列出。 ↩︎

  6. croit/ceph-rust — build and install packages — 支持的发行版、glibc 2.34、ceph-osd.target 的处理、apt remove 那一行。 ↩︎ ↩︎ ↩︎

  7. croit/ceph-rust — configuration reference — flashstore_dev、flashstore_lcores、flashstore_report_objectstore,以及它为什么默认为 bluestore。 ↩︎ ↩︎

  8. croit-flashstore-osd Cargo.toml — 第 29 行,knet = [… "kernel-nvme"]。 ↩︎

  9. croit/ceph-rust — first OSD tutorial — 只读的主机检查;“Exit 0 means no FAIL.” ↩︎ ↩︎

  10. croit/ceph-rust — ADR 0169, kernel NVMe backend — 两种内核模式、实测对比、负载分配器预算、spdk: 地址解析,以及仅针对 Identify 的回退(修订 6)。在发布当晚加入仓库。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  11. Proxmox VE — Proxmox Cluster File System (pmxcfs) — /etc/pve 下的集群文件系统,及其固定的属主和权限。 ↩︎

  12. croit-flashstore-osd@.service — User=ceph、ExecStartPre=… activate,以及不含 CAP_DAC_OVERRIDE 的 CapabilityBoundingSet。 ↩︎ ↩︎

  13. croit-flashstore-osd privdrop.rs — 经典的 --setuser/--setgroup 降权。 ↩︎

  14. croit/ceph-rust — prepare the host — “the namespace node must be readable and writable by user ceph (udev rule)”。 ↩︎

  15. Linux v7.0, drivers/nvme/host/ioctl.c — nvme_cmd_allowed(),非特权 NVMe 直通的规则。 ↩︎

  16. croit/ceph-rust — security — “prepare defaults --keyring to /var/lib/ceph/bootstrap-osd/<cluster>.keyring”。 ↩︎

  17. croit/ceph-rust — prepare, activate and list — 非空设备探测和 --wipe。 ↩︎

  18. Proxmox pve-manager, PVE/API2/Ceph/OSD.pm — 只有元数据带 bluefs 时 osdtype 才是 bluestore,否则是 filestore。 ↩︎

  19. Proxmox pve-manager, PVE/Ceph/Services.pm — ceph_service_cmd() 把 osd.N 映射到 systemd 服务单元 ceph-osd@N。 ↩︎

  20. Ceph documentation — CRUSH maps — 副本规则、故障域和设备类别。 ↩︎

  21. CrystalDiskMark — Crystal Dew World 的磁盘基准测试工具;“Various measure mode (Peak/Real World/Demo)”。 ↩︎

  22. Proxmox VE wiki — Performance Tweaks — 磁盘缓存模式:“cache=none seems to be the best performance and is the default since Proxmox 2.X”。 ↩︎