让 HDD 承载的 Proxmox Ceph 集群跑得快:NVMe 放元数据,每块盘配一块 Optane,以及你要付出的代价
闪存价格让全 NVMe 越来越难自圆其说,企业级 HDD 值得再看一眼。要在超融合 Proxmox Ceph 上让它们给出可以接受的延迟,就得把 RocksDB 搬离机械盘,通过 bcache 给每块盘配一块专属 Optane(专门是 Optane,因为 NAND 的耐久度不适合这份活),并且老老实实面对这样做给你带来的故障模式。
闪存价格让全 NVMe 越来越难自圆其说,企业级 HDD 值得再看一眼。要在超融合 Proxmox Ceph 上让它们给出可以接受的延迟,就得把 RocksDB 搬离机械盘,通过 bcache 给每块盘配一块专属 Optane(专门是 Optane,因为 NAND 的耐久度不适合这份活),并且老老实实面对这样做给你带来的故障模式。
512e 硬盘对外报告的 512 字节扇区其实并不存在,每一次未对齐的写入都要靠固件来补差。这在介质上、在主机里、在写放大上各要付出什么代价,为什么直接同步写入是最坏的情况,以及怎样把整批硬盘转换成 4Kn。
为什么 PCIe 设备通过 VFIO 直通给虚拟机后会损失吞吐量,以及能把大部分损失找回来的实用调优步骤。
在多路系统上,一台 vCPU 在一个 NUMA 节点、直通设备在另一个节点上的虚拟机,还没等你看别的任何东西,就已经损失了 20–30% 的吞吐量。
Active State Power Management 能在空闲的 PCIe 链路上省下几瓦电。到了 VFIO 直通下,它会带来延迟抖动:难以诊断,却很容易修复。
QEMU 的虚拟根复合体默认使用 128 字节的 TLP 负载。大多数设备支持 256 或 512 字节。一个内核参数就能解决。