为什么 HDD 又回到了菜单上
多年来,这条建议简单到一张便利贴就写得下:全部放 SSD。
这条建议当时是对的,而且也便宜。如今这两点都不太成立了。NAND 供应收紧,AI 需求把闪存价格往上推,对于一个精打细算的 Proxmox 部署来说,大容量 NVMe 已经很难自圆其说。这类部署要能正常运转、要可靠,还要在诚实允许的范围内尽量便宜。
企业级 HDD 又变得有意思了,理由和以往一样:每英镑能买到的容量,没有别的东西能接近。
问题在于,凡是在机械盘上跑过虚拟机的人,都知道它能糟糕到什么地步。那段经历是真实的,但通常是架构的错,而不是盘的错。
怪盘当然更省事。可那是错的,而且代价不小,因为它会说服人去买根本不需要的闪存。
下文的一切都以 Proxmox 加超融合 Ceph OSD 为前提,因为布局上的决定正是在这里真正见分晓。
问题在延迟,不在吞吐
现代企业级 HDD 搬运大块顺序数据完全没问题。那从来就不是瓶颈。
一块 7.2k RPM 的企业级盘,随机负载大约只有 80 到 100 IOPS,因为每一次随机操作都要等磁头寻道、等盘片转到位。这个数字二十年来几乎没动过。这是机械问题,不是电子问题。一块入门级企业 SSD 和它相差三到四个数量级。
给同一块盘顺序负载,它就是个有用的设备。操作速率大约翻一倍,到 200 IOPS 左右,但每次操作现在都带着一个大块,因为磁头已经在正确的位置,可以一直流式读写下去。于是你得到了真正的吞吐,150 到 250 MB/s,而每 TB 的价格没有别的东西碰得到。
这才是关键的不对称,而不是“HDD 很慢”。机械盘擅长顺序负载,对随机负载毫无办法,两个数字之所以靠得近,只是因为受限的是操作次数,而不是字节数。
整个设计的任务书就由此而定。你不是要让盘变快。你做不到。你要做的是安排它把时间花在它本来就能胜任的模式上,并把小块随机流量挡在它外面。正因如此,后面的一切都是把这一个想法用了两次。
麻烦在于,虚拟机产生的恰恰不是 HDD 擅长的负载。它们产生的是元数据更新、日志写入、小的同步刷盘、记录日志、文件系统的日常维护,以及十几个客户机同时迸发、交错到达磁盘的随机活动。
Ceph 在此之上又加了自己的一层。每一次写入,除了数据,还带着 RocksDB 元数据更新。如果这些全都落到裸机械盘上,盘就把时间花在寻道而不是服务上,于是你会看到每个管理员都认得的症状:I/O 等待高、客户机迟钝、响应时快时慢,集群感觉比容量表上写的慢得多。
Ceph 自己的硬件指南对这会走向哪里说得很直白。它提醒要“consider carefully the ostensible cost-per-gigabyte advantage of larger HDDs, and the concomitant limitations of IOPS per TB”,并且说 8 TB 以上的盘“may be best suited for storage of large files / objects that are not at all performance-sensitive.”
这笔账值得算一算,因为让这件事在经济上成立的,本来就是大盘。20 TB 起步。一块 20 TB 的盘照样只有 80 到 100 随机 IOPS,因为容量买不来任何操作次数。所以它每 TB 大约只有 4 到 5 个随机 IOPS,而 8 TB 的盘大约是 11 个,2 TB 的盘是 40 个。
按 Ceph 自己的标准,一块 20 TB 的机械盘就远远落在它告诉你不要放性能敏感负载的区域里。
这不是反对买它们的理由。这正是本文其余部分存在的理由。下面的设计,恰恰就是通过让小块随机负载永远到不了 20 TB 机械盘,使它能用来做虚拟机存储。
把元数据搬离机械盘
对一个 HDD 承载的集群,价值最高的改动,就是别再让机械盘去存 Ceph 的账本。
BlueStore 每个 OSD 保存三样东西:数据本身在 block 上,RocksDB 元数据库在 block.db 上,预写日志在 block.wal 上。默认情况下三者都在同一个设备上。把 block.db 放到 NVMe 上,大量小块随机 I/O 就完全离开了这块盘。
Ceph 的硬件文档说得很明白:“HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD.”
这里要用正经的企业级 NVMe,而不是消费级闪存。原因不在宣传用的跑分数字,而在持续负载下稳定的延迟,以及掉电保护。Ceph 的文档说得很直接:“Enterprise-class SSDs are best for Ceph: they feature power loss protection (PLP)”,还有“bargain client-class or off-brand SSDs are a false economy.”
Samsung PM9A3 和 Micron 7450 Pro 这一级的盘,才是该放在这里的东西。在写入压力下,Ceph 在意的是一致性,远胜过峰值数字,而这正是企业级盘和快速消费级盘的分界。
block.db 的容量规划,以及溢出的代价
容量算错了,好处就会悄无声息地蒸发,因为 block.db 写满时,RocksDB 并不会报错,而是溢回到慢设备上,恰恰回到没有 NVMe 时它本来会在的地方。
这是两头都占了坏处:闪存你买了,机械盘上照样在寻道。
Ceph 当前的指导:
| 负载 | block.db 占 block 的比例 |
|---|---|
| RBD / 块设备:虚拟机磁盘 | 1% 到 2% |
| RGW / 对象 | 至少 4% |
| 卸载 WAL+DB 时的通用建议 | 至少 2.5% |
Proxmox 的虚拟机存储就是 RBD 那一行,所以 1–2% 是老实的规划数字,2.5% 是一个舒服的位置。
拿一块 20 TB 的盘套进去算,数字就引人注目了:
一个 20 TB OSD 的 block.db | |
|---|---|
| 按 1% | 200 GB |
| 按 2% | 400 GB |
| 按 2.5% | 500 GB |
结合下面讲的 RocksDB 层级台阶,每个 OSD 300 GB 是合理的落脚点。它是最靠近这个区间中段的那个有用台阶。
这就改变了共享元数据设备实际上是什么。八个 20 TB 的 OSD 合起来要 2.4 TB 的 NVMe;十五个,也就是 Ceph 规定的单块 NVMe 后面的最大数量,要 4.5 TB。在这么大的盘上,决定一块设备后面挂几个 OSD 的,是 DB 容量,而不是比例。早在用完 Ceph 的许可之前,你的 GB 就先用完了。
还有一个值得知道的细节,因为它会让凭直觉估算出错。RocksDB 的层级结构意味着,一个 DB 分区只能完全利用与各层之和相对应的大小。历史上,有用的台阶大约在 3 GB、30 GB 和 300 GB,介于两者之间的大小比下一级台阶多不出任何东西。把 18 GB 向上取到 30 GB,实际中往往不花什么;把它向下取到 20 GB,最坏情况下比 3 GB 多不出任何好处。
集群运行一段时间后再检查溢出,而不是第一天。这是一个慢慢发作的问题。
你不需要单独的 WAL 设备
这一条能省一个分区,也省掉不少折腾。
如果你指定了 DB 设备而没有明确指定 WAL 设备,Ceph 会自动把 WAL 和 DB 一起放到快设备上。文档写明:“whenever a DB device is specified but an explicit WAL device is not, the WAL will be implicitly colocated with the DB on the faster device.”
所以“把 DB 和 WAL 放到 NVMe 上”这个目标是对的,但它是一个参数,不是两个。只有当你还有第三层、更快的设备可放时,单独的 block.wal 才有意义。
关掉 HDD 的写缓存
小事,不起眼,也很容易漏掉。
Ceph 的文档指出,在 HDD 上“by disabling this write cache”,OSD 性能“may be dramatically increased …”。盘内的易失性缓存会重排和延迟写入,方式恰好和 Ceph 的刷盘语义对着干,关掉它通常只会更快,而不是更慢。
一旦用上 bcache,这一条就从“建议”变成了“必须”,那是下一节的内容。
既然说到这里:你不需要支持 RAID 的 HBA。Ceph 说得很直接:“You do not need an RoC (RAID-capable) HBA.” 把盘直接交给 OSD。
每块机械盘配一块 Optane
把元数据搬离磁盘,解决的是稳态。它解决不了突发,因为一阵小块同步写入照样要被确认,而机械盘照样以机械盘的速度去确认。
这就是 bcache 的用处,而让它在这里成立的,是 Optane。
关键不在容量,而在写负载下的表现。和 NAND 相比,Optane 延迟极低、耐久度极高,也没有那种垃圾回收造成的断崖:SSD 服役一段时间后,正是这种断崖让它做写缓存时的性能变得不可预测。吸收小块、突发、以写为主的流量,是它在全世界最拿手的事。
真正要紧的布局:每块 HDD 配一块 Optane,每一对各自组成一个 bcache 设备。 而不是一块 Optane 被一整排盘共享。
这种配对是有意为之,它换来两样东西。
没有争抢。 每块机械盘独享一整块 Optane 的延迟和队列深度,而不是排在另外七个 OSD 的突发后面。
一个 Ceph 本来就知道如何扛过去的故障域。 共享写缓存为它后面的每一个 OSD 保存着脏数据,所以丢了它就同时丢掉所有 OSD;一对一配对时,丢一块 Optane 恰好只损失一个 OSD。这个区别是这套设计最重要的一个后果,在你要付出的代价一节里单独讲。
必须是 Optane,不能是 NAND
“Optane”这个词在这里不是品牌偏好,也不是锦上添花。换成 NAND NVMe,不管多贵,搭出来的都是会磨损报废的东西,原因就是耐久度。
看看缓存设备所处的位置。因为这套设计把 bcache 的顺序旁路关掉了,也就是下面这条规则里的 sequential_cutoff=0,写到这个 OSD 的每一个字节都要经过它:不只是突发,是全部。这让缓存成了节点里负载周期最高的设备,要在机器的整个寿命里吸收一整块机械盘的写入量。
耐久度以每日全盘写入次数(DWPD)标称,而差距不是一点半点:
| 设备 | 额定耐久度 |
|---|---|
| Optane P5800X | 100 DWPD |
| Optane P4800X | 30 DWPD |
| 写密集型企业级 NAND,顶配 | 约 10 DWPD |
| 混合用途企业级 NAND | 3 DWPD 或更低 |
| 主流企业级 NAND:PM9A3、7450 Pro 这一级 | 约 1 DWPD |
Optane 的耐久度是你本来会放在那里的 NAND 的十到一百倍。把一块 1 DWPD 的盘放到集群里接收每一次写入的那个位置上,你搭的不是缓存,是耗材。
实际情况比表格显示的还糟,因为 NAND 内部有写放大,而 Optane 没有。NAND 盘的额定 DWPD 是它在接口上承受的量;它的存储单元实际吸收的更多。Optane 的数字不需要这样的星号。
重建正是考验这一点的时候。回填会在一个压缩的时间窗里把数 TB 的写入推过存活的节点,每一个字节都要穿过它们的缓存设备。这是一次耐久度事件,而不只是延迟事件,而且它偏偏在你最不希望第二块设备坏掉的时候到来。
所以两层闪存要用不同的盘,理由也不同:
| 层级 | 写入量 | 设备需要什么 |
|---|---|---|
| DB/WAL | 小,只有 RocksDB | 一块快速的企业级 NVMe。 低延迟、高随机 IOPS、PLP。企业级 NAND 是对的技术;PM9A3 或 7450 Pro 是对的选择 |
| 写缓存 | 全部写入 | PLP,并且耐久度在几十 DWPD。NAND 是错的技术,多少钱都一样 |
用同一种盘干两份活,正是这一节要防止的错误。但别把第一行读成可以省钱的许可,因为写入量低不等于要求低。
DB/WAL 设备仍然必须是真正快速的 NVMe,理由有三个,都和穿过它的字节数无关。
它同时为它后面的每一个 OSD 服务,所以它看到的队列是四套或十五套元数据流量,而不是一块盘的量。
它的延迟直接落到你的客户端上。RocksDB 查找位于定位对象、peering 和 scrub 的关键路径上,而且都是小块随机读。恰恰是快速 NVMe 和平庸 NVMe 差距最大的那种负载。每一微秒都要乘以依赖它的每一个 OSD。
而且压缩(compaction)是突发的。RocksDB 会周期性重写它的各层,把平稳的变动变成一阵集中的读写尖峰。一块能应付平均值、却在尖峰上卡住的设备,会让它后面的每一个 OSD 同时卡住。
Ceph 自己的比例就说明了问题。它允许一块 NVMe 后面挂的 OSD 数量是 SATA SSD 后面的三倍,这是接口和设备等级在说话,不是容量。用 NVMe。
所以:缓存设备必须是 Optane,DB/WAL 设备可以是 NAND,而这两个位置都不是省钱的地方。
选哪块 Optane:32 GB 的 M10 往往就够了
上面这些都不意味着最大的 Optane 就是对的。你需要什么设备,由你的写负载决定,不过事实证明,二手市场可能不管怎样都会替你决定。这笔账依然要算,因为它告诉你自己是买多了还是买少了。
先从缓存是干什么的说起。它装的是一次突发,而不是一整块盘。在 writeback_percent=40 下,一块 32 GB 的设备大约提供 13 GB 的脏数据缓冲,这能装下数量巨大的小块同步写入。
所以别被这个比例吓到。一块 32 GB 的模块放在 20 TB 的盘前面,只占它的 0.16%,听起来很荒唐,直到你想起它是一个突发吸收器,而不是试图装下热数据的工作集缓存。同一块盘前面放 375 GB 的设备是 1.9%,那只是多出了你用不上的余量。
这就让价格区间的便宜那头也有了机会。下面是这块小小的消费级模块和数据中心型号的对比,因为差距并不在人们以为的地方:
| Optane Memory M10 32 GB | Optane DC P4800X 375 GB | |
|---|---|---|
| 4K 随机读 | 240,000 IOPS | 550,000 IOPS |
| 4K 随机写 | 65,000 IOPS | 与读相当 |
| 顺序读 | 1,200 MB/s | 2,400 MB/s |
| 顺序写 | 290 MB/s | 2,000 MB/s |
| 典型延迟 | — | 10 µs 以下 |
| 耐久度 | 365 TBW | 12.3 PBW,30 DWPD |
| 接口 | PCIe 3.0 x2,M.2 2280 | PCIe 3.0 x4,U.2 或 AIC |
先看随机写 IOPS 那一行。小小的 M10 每秒能做 65,000 次随机写;它后面的机械盘只能做 80 次。就连最便宜的 Optane 也大约是它所缓存的那块盘的 650 倍,所以在性能这条轴上,争论还没开始就结束了。下游只有一块 7.2k 的盘时,DC 型号多出来的 IOPS 无处可去。
决定买哪块的是耐久度那一行,差距是 34 倍。换算成五年寿命里的每日预算:
| 设备 | 五年内每天可持续写入量 |
|---|---|
| M10 32 GB:365 TBW | 约 200 GB/天 |
| P4800X 375 GB:12.3 PBW | 约 6.7 TB/天 |
每天写入不到 200 GB,一块 32 GB 的 M10 就能撑完这套系统的寿命。翻一倍,你能用两年半。真正写密集的话,DC 型号就物有所值了:不是为了你用不上的 IOPS,而是为了它多扛的那三十来倍写入。
所以要测量,别猜。在现有的缓存设备上运行 nvme smart-log,会给你 data_units_written;隔一周采样一次,相除,再和你在考虑的设备的额定 TBW 比较。如果你更愿意在 bcache 那边读,它自己也在 /sys/block/bcacheN/bcache/stats_total/ 下记着总数。
关于 M10 有两点要注意。它的随机性能数字是在 8 GB 跨度上测的,而不是整个设备,所以如果你打算让缓存长期处于相当满的状态,就把这些数字当作乐观的那一端。还有,它是消费级部件,不带任何企业级 PLP 声明。Optane 的介质是原地写入的,写入路径里没有 DRAM 缓冲,这就是这些模块在突然断电时表现远好于消费级 NAND 的原因,但“实践中表现不错”不是规格。如果你要白纸黑字的保证,就买 DC 系列。
下限看带宽,不看容量:跳过 16 GB 的模块
还有第二个约束,和上面的一切都无关,而它把这个系列里最便宜的部件排除在外。
缓存在顺序写上必须比磁盘快,否则它就是个节流阀。 16 GB 的 M10 做不到,而它偏偏是你最想买的那块,因为它几乎不要钱:
| 顺序写 | |
|---|---|
| Optane Memory M10 16 GB | 150 MB/s |
| Optane Memory M10 32 GB | 290 MB/s |
| Optane DC P4800X 375 GB | 2,000 MB/s |
| 一块 7.2k 企业级 HDD | 150–250 MB/s |
把第一行和最后一行放在一起读。一块 16 GB 的模块,顺序写速度大约和它本该加速的那块机械盘一样,还比一块好盘慢。在随机负载上它依然快得惊人:35,000 随机写 IOPS 对磁盘的 80。但在顺序数据流上,它最好也就是打平,最坏则是一道天花板,比裸盘自己能跑到的还低。
而这套设计保证你一定会撞上这道天花板,因为关掉顺序旁路之后,一切都要穿过缓存,缓存自己的顺序写带宽就成了整个 OSD 的硬上限。恢复时咬得最狠:回填一个 20 TB 的 OSD,几乎是这种负载里最顺序的操作,把它卡在 150 MB/s,会让本来就慢的重建更慢。
所以 M10 这条产品线的下限是 32 GB,而且这是带宽下限,不是容量下限。容量的账说 32 GB 绰绰有余;带宽的账则不管你需要存多少,都把 16 GB 排除了。两项测试都要通过,而便宜部件挂掉的,正是人们不去查的那一项。
不管你在考虑哪块设备,买之前先把它的顺序写数字放到 250 MB/s 旁边比一比。
买一件已经没人生产的产品
Optane 已经停产。 Intel 在 2022 年收掉了这项业务,核销了 5.59 亿美元的库存,并终止了开发。没有新的生产,也不会补货;总供应量从此只会减少。
这就引出一个明显的问题,因为市面上在卖的数量多得惊人。弄清楚这些货从哪里来,你就知道自己买的是什么。
它是正在被清仓的 OEM 维修备件库存。 三大服务器厂商把 Optane 作为备件囤着,用来支持他们卖出去的那些平台。这些平台已经到了生命周期终点、退出了支持,于是为它们准备的备件一夜之间成了死库存:一仓库一仓库的零件,对应的机器已经没有人在合同上有义务去修了。流到 AliExpress 和翻新商那里的,就是这批库存。
两个后果,都是好消息。
其中很多是全新未用的,而不是拆机件。 维修备件在货架上等着一次从未到来的故障,所以到手时的磨损数字往往实际上就是零:不是“轻度使用了几年”,而是从来没被写过。要核实,别轻信:nvme smart-log 会给你 percentage_used 和 data_units_written,真正的备件库存上这两个数应该低得惊人。凡是显示出真实磨损的,都是拆机件冒充别的东西在卖。不过即便如此,凭着耐久度的余量,一块用过的 Optane 剩下的寿命也可能比同容量的全新 NAND 盘还长。
它也解释了你能找到哪些容量。 OEM 备件是为服务器囤的,也就是数据中心部件。下面是完整的产品线,注意旗舰型号从哪里起步:
| 部件 | 容量 | 形态 |
|---|---|---|
| Optane Memory M10 | 16、32、64 GB | M.2 2280,消费级 |
| Optane SSD 800P | 58、118 GB | M.2 2280,消费级 |
| Optane SSD P1600X | 58、118 GB | M.2 2280,数据中心启动与缓存部件 |
| Optane SSD DC P4801X | 100、200、375 GB | M.2 110 mm 或 U.2 |
| Optane SSD DC P4800X | 最小 375 GB,750 GB,1.5 TB | U.2 或扩展卡 |
| Optane SSD P5800X | 400 GB,800 GB,1.6 TB | U.2 或扩展卡 |
理论上,小的 M.2 部件才是优雅的答案:M10、800P、P1600X 和 100 GB 的 P4801X 都能胜任,而且便宜。实际上市场里没有它们,因为没人把桌面加速模块当作服务器备件来囤。挂出来卖的都是 375 GB 及以上、P4800X 这一级的硬件。
所以要做好买比这个角色所需更多容量的打算,因为市面上卖的就是这些。这不是坏结果。多买缓存设备,你得到的是 30 DWPD 和 10 µs 以下的延迟,而你的负载只需要其中的零头;对一块你打算用好多年的 20 TB 机械盘来说,往这个方向犯错才是对的。这确实意味着入门价格比算出来的要高,也意味着上面的容量规划变成了防止买少的核对,而不是购物清单。
既然这是清仓而不是供应链,有三件事要提前打算:
备件和系统一起买。 一个有限的库存池正在被清空。三年后有设备坏了,你不会是去下单买替换件,而是去满世界找。所以趁现在有货,把备件成本算进去。
做好拿到 OEM 固件的准备,并检查命名空间。 来自厂商备件计划的部件,往往带着该厂商的固件,到手时可能被格式化成某种 LBA 大小,或带着适合当初囤货用途的元数据设置。在它上面搭建之前,先用 nvme id-ns 确认,并准备好用 nvme format 格式化成普通的 4096 字节格式。
没有保修,没有支持,也不会再有固件更新。 Intel 自己的支持公告讲了业务收尾对已经在用的设备意味着什么,而你买到的任何东西都已经处在这个位置上。核实到手的部件就是挂牌上写的那个,是你自己的事。
bcache 不能取代 DB/WAL 卸载
值得明确说一句,因为这是最容易想到要省钱的地方,而它行不通:你仍然需要把 block.db 放在 NVMe 上。两层都要,不是二选一。
Optane 是一个写缓存。它就只是这个。它缩短了写往磁盘的确认路径,别的什么都不做。
RocksDB 不只是写。Ceph 一直在读它的元数据:定位对象、处理 peering、响应 scrub。而一旦数据已经从写缓存里刷出去,写缓存对一次读能提供的帮助恰好为零。缓存也不会消除元数据流量;它只是延后并批量处理,所以每一次 RocksDB 更新最终仍然会到达机械盘,争抢同样的寻道。而压缩会把不大的变动变成远多于原始写入的设备流量。
所以这两项改动解决的是不同的问题,谁也替代不了谁:
| 它解决什么 | 它不解决什么 | |
|---|---|---|
block.db 放 NVMe | 元数据住在闪存上,读和写都永久离开机械盘 | 对客户机的一阵写入突发毫无作用 |
| 通过 bcache 用 Optane | 数据写入的突发确认延迟 | 对元数据读毫无作用;只是延后元数据写 |
省掉 DB 卸载、保留 Optane,RocksDB 就回到了盘片上,它的读以 80 IOPS 的速度被服务。省掉 Optane、保留 DB 卸载,稳态还算过得去,但突发照样以机械盘的速度卡住。
udev 规则,逐行讲解
bcache 的可调参数在 sysfs 里,而每次设备注册时 sysfs 都会把它们重置,也就是每次开机。所以它们应该写进 udev 规则,而不是一个得有人记得去运行的脚本:
# /etc/udev/rules.d/99-bcache.rules
ACTION=="add|change", SUBSYSTEM=="block", KERNEL=="bcache*", \
ATTR{bcache/cache_mode}="writeback", \
ATTR{bcache/sequential_cutoff}="0", \
ATTR{bcache/congested_read_threshold_us}="0", \
ATTR{bcache/writeback_rate}="81920", \
ATTR{bcache/writeback_rate_minimum}="20480", \
ATTR{bcache/writeback_percent}="40"
KERNEL=="bcache*" 匹配节点上的每一个 bcache 设备,所以一条规则覆盖所有配对。ACTION=="add|change" 意味着每当设备出现或重新挂接时它都会重新生效,而不只是在开机时。
每个设置在做什么,以及为什么:
cache_mode=writeback:整件事的意义所在。在默认的 writethrough 下,写入要到达 HDD 才会被确认,所以缓存对写延迟毫无帮助。在 writeback 下,由 Optane 确认,机械盘稍后再追上。
sequential_cutoff=0:默认情况下,bcache 会检测顺序 I/O,一旦超过 4 MB 就把它直接绕过缓存送走,理由是后端磁盘处理顺序负载没问题。设为零就关掉了这个旁路,一切都进缓存。在超融合节点上这是对的:对单个 bcache 设备看起来是顺序的东西,一旦几个 OSD 交错起来,到了盘片上就不再是顺序的了,而你希望每一次写入不管怎样都以 Optane 的速度被确认。不过它确实带来一项义务:没有旁路,缓存设备自己的顺序写带宽就成了整个 OSD 的上限,这就是为什么 16 GB 模块被排除在外。
congested_read_threshold_us=0:bcache 会监视自己缓存设备的延迟,当它判断拥塞时就开始绕过缓存,读的默认阈值是 2000 µs。Optane 不会像 NAND 那样拥塞,所以这是 bcache 在对一块它量错了的设备瞎猜疑。设为零就关掉这项跟踪。
writeback_rate=81920 和 writeback_rate_minimum=20480:后台刷盘速率,单位是每秒扇区数,所以目标大约 40 MB/s,下限 10 MB/s。一个 PD 控制器在两者之间调整实际速率。目标设在机械盘顺序吸收能力附近,下限则防止控制器把刷盘节流到接近零,让脏数据无限堆积。两者都是起点,不是常数,怎么修改它们在下面。
writeback_percent=40:bcache 允许多少比例的缓存处于脏状态,超过后才会强力往回压,默认值是 10。四十给你一个深得多的突发缓冲。它也意味着那块 Optane 最多有 40% 存着系统里数据的唯一副本,这就是代价,也正是每块机械盘一块 Optane 的布局之所以重要的原因。在你观察过真实负载之后,这是最值得回头调整的值。
以后修改填充值和刷盘值
上面的 40% 和两个速率,是这里正在跑的值,不是普遍适用的常数。在你观察过真实负载之后,它们是你最先想动的东西,所以值得知道有两个地方可以改,做的是两件不同的事。
sysfs 是马上改。udev 规则是下次开机改。 两个你都要,而且按这个顺序。
在一个设备上实时修改:
echo 30 > /sys/block/bcache0/bcache/writeback_percent
或者对节点上的每一对一起改:
for d in /sys/block/bcache*/bcache; do
echo 30 > "$d/writeback_percent"
done
刷盘速率也是一样的做法。两个值的单位都是每秒扇区数,所以下面这样会把目标和下限都减半:
for d in /sys/block/bcache*/bcache; do
echo 40960 > "$d/writeback_rate"
echo 10240 > "$d/writeback_rate_minimum"
done
这会立刻生效,并且恰好保持到设备被重新注册为止。内核文档明确说这些设置“do not persist across reboot”,这正是 udev 规则存在的全部理由。
一旦你对某个值满意了,就编辑规则,不用重启就能重新加载:
udevadm control --reload
udevadm trigger --subsystem-match=block --action=change
这就是 ACTION=="add|change" 发挥作用的地方。触发器会向已经存在的设备发出一个 change 事件,所以规则会在运行中的节点上重新生效,而不用等下次开机。如果规则只匹配 add,那条命令什么也不会做。
然后把值读回来,因为 udev 规则里的笔误会悄无声息地失败:
grep . /sys/block/bcache*/bcache/writeback_percent
知道往哪个方向调
别从第一性原理出发去调这个:bcache 在同一个 sysfs 目录下就提供了你需要的东西。
要盯的是 dirty_data:当前有多少数据只存在于缓存里、别处都没有。文档把它描述为“continuously updated unlike the cache set’s version, but may be slightly off”,对这个用途来说足够了。在一个正常的工作日和一个备份窗口里都采样看看。
cache_hits、cache_misses 和 cache_hit_ratio 告诉你缓存有没有在被用上,需要注意的是“a partial hit is counted as a miss”。bypassed 统计完全绕过缓存的 IO:在 sequential_cutoff=0 下它应该几乎不动,所以如果这个数字在增长,说明还有什么东西在绕开缓存。
这些都既有累计总数,也有在过去一天、一小时和五分钟上衰减的版本,这让短时间窗的那些在发现问题时远比终身数字有用。
从这里出发:
| 症状 | 参数 | 方向 |
|---|---|---|
| 突发卡顿:写入在突发中途撞上机械盘延迟 | writeback_percent | 调高,换一个更深的缓冲 |
| 暴露在缓存上的数据超出你能接受的程度 | writeback_percent | 调低 |
日常工作中 dirty_data 一直顶在上限 | writeback_rate | 调高:问题不在缓冲,在排空 |
| 后台刷盘在机械盘上和客户机的读争抢 | writeback_rate | 调低 |
dirty_data 以天而不是小时为单位慢慢上涨 | writeback_rate_minimum | 调高,让控制器没法把速率压到龟速 |
如果不管你怎么做,dirty_data 都顶在上限不动,那两个参数都不是答案:集群写入的速度超过了机械盘能吸收的速度,老实的解决办法是更多机械盘,或者更少写入。
有一个文件别去碰:writeback_running。把它关掉会完全停止回写,文档说它“only meant for benchmarking”。在生产 OSD 上,这意味着脏数据不断累积,直到缓存写满,而且永远排不出去。
你要付出的代价
关于这种设计的大多数文章都止步于好消息。下面这些才是真正会让你吃苦头的部分,每一条都值得在搭建之前而不是之后知道。
丢了任何一块闪存设备,OSD 就毁了。 不是停掉,是毁掉。两块设备都保存着别处不存在的状态:block.db 保存着让 block 有意义的 RocksDB,写回缓存保存着每一笔还没刷出去的写入。内核文档对第二点毫不含糊:“In writeback mode you’ll lose data if something happens to your SSD.” 不管哪种情况,OSD 都回不来了,只能重建并回填。
所以这两者是同一类风险,值得把这一点说清楚,而不是把缓存当作那个吓人的。Optane 并不比 NVMe 更危险。把它们区分开的有两件事,而哪一件都不是对单个 OSD 的严重程度。
第一是波及范围,这正是配对的全部理由。 每块机械盘一块 Optane,意味着一次缓存故障只损失一个 OSD:一次单盘损失,正是复制池生来要吸收的事件,Ceph 处理它时不需要把任何人叫起来。DB/WAL 设备是共享的,所以丢了它就同时损失它后面的每一个 OSD,这是复制保护不了你的关联故障。同样的故障,一块设备对五块。
第二是故障表现出来的方式,这一条是个运维陷阱。 当缓存在 writeback 模式下挂掉时,后端设备会停止并返回 I/O 错误,这没问题:Ceph 把 OSD 标记为 down,然后继续干活。坏的情况是一次重启后,后端设备起来了,却没有挂上它的缓存。这时它看起来像一个可以挂载的文件系统,只是少了每一笔脏写入,这是损坏,而不只是过时。缺了 block.db 会大声报错,OSD 拒绝启动;缺了缓存则可能悄悄失败,让你把残骸挂载上去。把没有缓存的 bcache 后端设备当作不可挂载,永远别让任何东西“好心”替你挂载它。
bcache 本身并不保证写回在掉电时是安全的。 正是在这里,关掉 HDD 写缓存不再是优化,而是硬性要求:关掉它,并运行一个新到带有 FUA 处理的内核,这样同步写入在整个栈里都能被如实遵守,而不是在中间某处被提前确认。没有掉电保护的缓存设备会让问题雪上加霜,因为它可能丢掉它已经报告为安全的数据。
这就让 DB/WAL 比例成了那个要紧的数字。 Ceph 允许每块 SATA SSD 挂 4–5 个 HDD OSD,每块 NVMe 不超过 15 个,并提醒要“balancing the risk of reducing costs by placing too many responsibilities into too few failure domains.” 和缓存层不同,这里没有配对可以把风险圈住:共享正是这块设备存在的意义。
在 20 TB 的盘上,这就是全部要谈的,因为重建量巨大。一个坏掉的 OSD 就是 20 TB 要回填;按机械盘能持续的 150–250 MB/s,再加上为了不让恢复饿死客户机而做的节流,单单一块盘就意味着远超一天的降级运行。丢掉一块挂着五个 OSD 的共享 DB 设备,就有 100 TB 要搬。
所以这个比例其实不是成本决定。它决定的是你准备降级运行多久,以及集群在继续服务虚拟机的同时能承载多少重建流量。
这套设计依赖一种已经没人生产的设备。 这一条没有技术上的答案。Optane 是缓存位置上的正确部件,而当下没有任何东西能取代它:NAND 扛不住这个写入量,Intel 转向的基于 CXL 的内存也不能直接替代块缓存。所以缓解办法是商业上的,而不是什么巧妙的技术,上面已经讲过,老实的总结是:这套架构在未来某个时候有一个截止日期。
这一切都不会让 HDD 集群变成全闪存集群。 持续的随机写流量一旦超过刷盘速率,就会把缓存填满,而一旦填满,你就是在以机械盘的速度写入,路径上还多了几层。这套设计吸收突发、去掉元数据开销。它变不出 IOPS。
归结起来是什么
三个层级,每一层只干它最拿手的那一件事,而且三层缺一不可:
- Optane 吸收随机写突发,每块机械盘一块。它必须是 Optane,因为每一次写入都要穿过它,而 NAND 的耐久度不适合这个位置
- 一块快速的企业级 NVMe 存放 RocksDB 和 WAL,由几个 OSD 共享,比例是你有意选定的,而不是随便接受的
- HDD 提供大容量,摆脱了元数据和突发两样负担
重点不是假装机械盘是闪存。而是别再把它们最不擅长的活派给它们,好让你真正花钱买来的容量能用得上。
这就是全部窍门,里面没啥聪明的地方。把每份活放到擅长它的设备上,别再为那些不擅长的设备花两遍钱。
对于一个需要数十 TB 容量、又不想付全闪存价格的超融合 Proxmox 集群,这是一个站得住脚的设计。搭得好,它感觉比裸 HDD 快得多,它的故障方式是 Ceph 生来就能处理的,钱也花在了真正改变结果的地方。
两样相关的东西值得一起读:4Kn、512e 和 512n 里关于扇区大小的工作,对机械盘如何处理到达它们的写入关系重大;如果你是在直连节点上搭这套东西,无交换机网状网络讲的是小型 Ceph 集群的网络这一侧。
参考资料
- Ceph — Hardware Recommendations — 大容量 HDD 的每 TB IOPS 警告,“HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD”,每块 SATA SSD 挂 4–5 个 HDD、每块 NVMe 不超过 15 个的比例,企业级 SSD 的掉电保护,关闭 HDD 写缓存,以及不需要 RoC HBA
- Ceph — BlueStore Configuration Reference — RBD 下
block.db为block的 1–2%、RGW 下至少 4%,2.5% 的通用建议,溢回主设备,3/30/300 GB 台阶背后的 RocksDB 层级大小,以及 WAL 隐式与 DB 放在一起 - Linux kernel — bcache admin guide — 缓存模式,
sequential_cutoff及其 4 MB 默认值,2000 µs 的读拥塞默认值,以每秒扇区数计的writeback_rate,writeback_percentPD 控制器,dirty_data/cache_hit_ratio/bypassed计数器及其按天、小时和五分钟衰减的版本,writeback_running“only meant for benchmarking”的警告,这些设置“do not persist across reboot”的说明,以及“in writeback mode you’ll lose data if something happens to your SSD” - Intel — Optane Memory M10 32 GB specifications — 365 TBW,在 8 GB 跨度上 4K 随机读 240,000 IOPS、随机写 65,000 IOPS,顺序 1200/290 MB/s,PCIe 3.0 x2
- Intel — Optane Memory M10 16 GB specifications — 150 MB/s 顺序写和 35,000 随机写 IOPS,正是这两个数字让该部件的顺序吞吐低于一块机械盘
- PC Perspective — Optane SSD DC P4800X performance — 375 GB 型号的 550K 4K 随机读 IOPS,顺序 2400/2000 MB/s,10 µs 以下的典型延迟,以及 30 DWPD 下的 12.3 PBW
- ServeTheHome — Optane DC P4801X 100GB M.2 review — 小容量数据中心 M.2 部件,用于容量阶梯
- StorageReview — Intel Optane SSD P5800X — 100 DWPD 的额定值,P4800X 的 30 DWPD,以及与 NAND 企业级盘的对比:写密集型部件最高约 10 DWPD,混合用途 3 或更低