Skip to content
三个存储层:Optane 吸收写入,NVMe 存放 Ceph 元数据,HDD 提供大容量

让 HDD 承载的 Proxmox Ceph 集群跑得快:NVMe 放元数据,每块盘配一块 Optane,以及你要付出的代价

闪存价格让全 NVMe 越来越难自圆其说,企业级 HDD 值得再看一眼。要在超融合 Proxmox Ceph 上让它们给出可以接受的延迟,就得把 RocksDB 搬离机械盘,通过 bcache 给每块盘配一块专属 Optane(专门是 Optane,因为 NAND 的耐久度不适合这份活),并且老老实实面对这样做给你带来的故障模式。

2026年8月7日 · 27 分钟 · 1776 字 · Damien Dye
八个 512 字节逻辑块映射到一个 4K 物理扇区上,旁边是一对一的 4K 映射

4Kn、512e 与 512n:为什么原生 4K 更好,模拟又要付出什么代价

512e 硬盘对外报告的 512 字节扇区其实并不存在,每一次未对齐的写入都要靠固件来补差。这在介质上、在主机里、在写放大上各要付出什么代价,为什么直接同步写入是最坏的情况,以及怎样把整批硬盘转换成 4Kn。

2026年8月7日 · 20 分钟 · 1434 字 · Damien Dye
一条曲线,从队列深度 1 时裸机性能的 36% 上升到队列深度 32 时只差几个百分点

Proxmox VE 上的 PCIe 直通性能:IOMMU 税以及如何把它降到最低

为什么 PCIe 设备通过 VFIO 直通给虚拟机后会损失吞吐量,以及能把大部分损失找回来的实用调优步骤。

2026年8月7日 · 16 分钟 · 1100 字 · Damien Dye
两个 CPU 插槽,一条 DMA 路径穿过它们之间的插槽间互连

Proxmox VE 上的 NUMA 对齐:为什么要紧,以及怎么做对

在多路系统上,一台 vCPU 在一个 NUMA 节点、直通设备在另一个节点上的虚拟机,还没等你看别的任何东西,就已经损失了 20–30% 的吞吐量。

2026年8月7日 · 7 分钟 · 672 字 · Damien Dye
一条延迟百分位曲线在 p90 之前保持平稳、之后陡然上升,旁边是一条始终平稳的曲线

PCIe ASPM,以及为什么做直通时应该关掉它

Active State Power Management 能在空闲的 PCIe 链路上省下几瓦电。到了 VFIO 直通下,它会带来延迟抖动:难以诊断,却很容易修复。

2026年8月7日 · 6 分钟 · 484 字 · Damien Dye
同样 4 KB 的负载,在 MPS 128 下画成 32 个数据包,在 MPS 512 下画成 8 个

PCIe MaxPayloadSize:直通性能白捡的提升

QEMU 的虚拟根复合体默认使用 128 字节的 TLP 负载。大多数设备支持 256 或 512 字节。一个内核参数就能解决。

2026年8月7日 · 6 分钟 · 471 字 · Damien Dye