硬盘呈现自己的三种方式
一块硬盘有两个块大小,两者之间的差别就是整件事的全部。
物理扇区是介质实际工作的单位,也就是硬盘不做额外工作就能读写的最小单位。 逻辑块是硬盘告诉主机它工作的单位,也就是主机寻址用的单位。
实际使用中有三种组合。
512n:原生 512。 两个大小都是 512 字节。 这是旧世界:2010 年以前的机械硬盘,今天任何值得买的容量里,你都买不到一块新的了。
512e:512 字节模拟。 物理扇区是 4096 字节,但硬盘报告的是 512 字节的逻辑块,由固件做转换。 它存在只有一个原因:兼容那些以为 512 会永远不变的操作系统、引导程序和应用。 作为工程手段说得过去,而后面几乎所有的麻烦,根子都在这里。
4Kn:原生 4K。 两个大小都是 4096 字节。 硬盘说的是实话,主机用介质本身的单位来寻址,中间没有任何转换层。
512e 在每次未对齐写入时做了什么
在三种情况下,读都很便宜。 硬盘读出整个 4K 扇区,再把你要的那 512 字节切片交回来。
写才是这个假象变贵的地方。
如果主机写入单个 512 字节的逻辑块,硬盘没法只写 512 字节,介质上根本没有这个单位。 于是它改做这样一件事:
- 读出整个 4096 字节的物理扇区。
- 把 512 字节的新数据合并进去。
- 把整个 4096 字节的扇区写回去。
这就是读-改-写(read-modify-write),它把一次小写入变成了一次读加一次写。 在机械硬盘上,这意味着要等盘片再转一圈。7,200rpm 下转一整圈,大约就是 8ms,这笔时间你没算进预算。 在闪存上,代价在性质上就不一样,而且写入结束后也不会消失。那一点有专门的一节。
未对齐是其中最伤人的版本。 如果分区从一个奇数的 512 字节偏移开始(经典例子就是老的 63 扇区约定),那么每一次 4K 的文件系统写入都会跨越两个物理扇区。 那不是一次读-改-写,而是两次,每一次写都是,永远如此,直到有人重新给硬盘分区。
闪存上的写放大
在机械硬盘上,读-改-写让你损失一圈转动,然后就结束了。 在闪存上,它消耗的是硬盘寿命,这笔账你付一次,然后一直付下去。
写放大是实际写进 NAND 的数据量与主机要求写入的数据量之比。 比值为 1.0 意味着硬盘写入的正好是它收到的东西。 它永远不会是 1.0,因为闪存不能原地覆盖:硬盘编程一个新页,把旧页标记为过期,之后垃圾回收再把还存活的页搬走,好让整个块可以擦除。 这些搬移也是写入。
512e 在此之上又加了一层本可避免的开销,原因是一个值得说清楚的细节:无论对外宣称的逻辑块大小是多少,硬盘的转换层都以大约 4 KB 为单位做映射。 一块报告 512 字节块的硬盘,内部仍然按 4 KB 单位来跟踪。
所以主机发来的一次 512 字节写入,在硬盘内部就变成:读出 4 KB 的映射单元,合并进 512 字节,编程一个新的 4 KB 单元。 为了改动 512 字节,有 4096 字节写到了 NAND 上。就这一次写入而言,是八倍。
未对齐在单次写入上没那么夸张,总量上却更糟。 一次跨越两个映射单元的 4 KB 写入会把两个单元都弄脏,于是为 4 KB 数据编程了 8 KB。 那是每一次写入都有 2× 的放大,永久如此,直到分区表被修好。
真正让这件事要紧、而不只是不整洁的,是连锁反应:
- NAND 写入越多,垃圾回收就跑得越频繁,而它的搬移本身就是放大。
- SLC 写缓存更快被填满,硬盘更早掉到较慢的稳态,持续写入吞吐量下降。
- 编程/擦除周期按实际到达 NAND 的量消耗,而不是按主机发送的量。放大翻倍,同样的负载下硬盘寿命就减半。
- 耐久度指标(TBW、DWPD)是按主机写入量标注的。放大悄悄吃掉了这段余量,硬盘会比你买它时算的保修账更早磨损完。
直接写和同步写是最坏的情况
大多数时候,页缓存把这一切都藏起来了。 内核把小写入攒起来、合并,再向硬盘发出 4 KB 或更大的 IO,于是读-改-写根本不会发生。
有两个标志会拿掉这层保护,而在乎持久性的应用会把两个都设上。
O_DIRECT 绕过页缓存。
应用和硬盘之间再也没有任何东西能把一次 512 字节写入凑成扇区大小。
O_SYNC 或 O_DSYNC 要求写入在调用返回之前就落到稳定介质上。
这就不让硬盘把写入吸收到易失缓冲区里、稍后再和相邻的写合并。
两者一起用,每一次 512 字节写入都是一个完整的读-改-写周期,必须现在完成,单独完成,没有任何东西可以分摊。 512e 硬盘上的放大就是在这里逼近理论上的 8×,而这恰恰是数据库提交日志、ZFS ZIL 或 Ceph BlueStore WAL 产生的模式。
在企业级硬件上,挽救这一点的是掉电保护。 有 PLP 的硬盘,写入一旦进了电容保护的 DRAM 缓冲区就可以确认同步写,那是持久的,并且仍然可以在编程 NAND 之前在内部合并。 没有 PLP 的消费级硬盘必须写到闪存上才能应答,所以每次写都要付全价。这又是一个理由:对这类负载来说,PLP 不是可选项。
在 Proxmox 里,缓存模式决定了你得到的是哪一种:
cache=none就是O_DIRECT,是 PVE 的默认值,也是全闪存 HA 的正确选择。主机页缓存不在路径上,所以客户机的写入模式会原样到达硬盘。cache=directsync是O_DIRECT加O_DSYNC,每次写都是同步的。这是给专用数据库日志盘的小众设置,通用负载根本没法用。
在 512e 的底层设备上,cache=directsync 加上一个以 512 字节记录提交的客户机,差不多是能找到的最低效的组合:主机不合并,硬盘不合并,每次提交一次读-改-写。
而下面这一点,让 4Kn 成为结构性的要求,而不只是更好的选择。
O_DIRECT 要求偏移、长度和缓冲区都按硬盘的逻辑块大小对齐。
在 512e 硬盘上那是 512 字节,所以 512 字节的直接写是合法的,硬盘默默替你买单。
在 4Kn 上逻辑块是 4096,所以内核能接受的最小直接写就是 4 KB。
病态的模式不再是你需要躲开的东西,而是整个栈根本无法表达的东西。
介质上的开销
第二笔代价是结构性的,也是 Advanced Format 存在的根本原因。
一个扇区不只是它的数据。 在机械硬盘上,每个扇区都带着一个同步标记让磁头知道扇区从哪里开始,一段间隙让相邻扇区不互相碰到,一个地址标记,以及一个用来纠正读错误的 ECC 字段。
用 512 字节扇区,每 4K 数据你要把这些全套付八次。 用一个 4K 扇区,你只付一次。
这有两个后果,第二个比第一个更重要:
- 盘片上原本是开销的一部分变成了可用容量。这是 Advanced Format 过渡期间业界公开说的动机,幅度在百分之几的低个位数。
- 在总开销相同的情况下,ECC 字段可以大得多。一个强纠错码保护 4096 字节,比八个弱纠错码各保护 512 字节能纠正的多得多。随着面密度攀升,这不再是锦上添花,而成了把错误率维持在可接受范围内的唯一办法。
闪存没有同步标记,也没有旋转间隙,但同样的逻辑在上一层适用:NAND 按页编程,页远大于 512 字节,而硬盘的映射表对每个可寻址单元都有一个条目。 逻辑块越小,跟踪同样容量需要的元数据就越多。
主机里的开销:命令与中断
第三笔代价是人们会漏掉的,因为它根本不在硬盘上。
逻辑块大小决定了一次 IO 能小到什么程度的下限。 在 512 字节逻辑块的硬盘上,文件系统或应用可以随意发出 512 字节的写入,而每一次都是一个完整的 IO:构建并提交一条命令,一次门铃寄存器写入,一个完成队列条目,以及一次通知它完成的中断。
这其中每一项都有固定开销,跟涉及多少数据无关。 把 4KB 拆成八条 512 字节的命令来搬,这笔开销你付八次。 用一条 4K 命令来搬,你只付一次。
有两个实话实说的限定,因为这正是这个论点通常被夸大的地方。
对于大 IO,逻辑块大小对命令数量毫无影响。 一条命令可以描述很多个块,所以一次 1MB 的顺序写不管块是 512 字节还是 4K,都是一条命令。 只有在发出小 IO 的地方,这笔节省才是真实的。
不过,在确实发出小 IO 的地方,效果一点也不细微:这八个请求每一个都要内核去构建、调度和完成,每一个都有自己的 MSI-X 中断和用户态到内核态的切换,在高队列深度下,中断风暴就是这么来的。 在虚拟机里还要更糟,因为每一次中断同时也是一次客户机上下文切换。
另外,现代 NVMe 控制器会合并中断,所以中断数并不简单等于命令数。 但每条命令的提交和完成工作依然存在,在几十万 IOPS 下,每条命令的 CPU 开销是一个核心中可测量的一部分。 这和 直通系列里讲的 posted interrupt 是同一笔账:很小的固定开销乘以一个非常大的数。
4Kn、扇区元数据与硬件 RAID
改用 4096 + 0 格式有一个让人措手不及的后果,而它正好落在硬件 RAID 头上。
有些 RAID 控制器和存储阵列根本不用普通的 512 或 4096 字节扇区。 它们把硬盘格式化成扩展大小:520 或 528 字节,或者对应的 4K 版本,比如 4104、4160 和 4224,因为每个扇区多出来的那些字节,就是控制器存放自己元数据的地方。 那是 T10-PI/DIF 保护信息,或者厂商的完整性数据,和它所描述的数据存放在一起。
4096 + 0 格式没有地方放它。 扇区从头到尾都是数据,选择它的意义就在这里。
所以想要内联元数据的控制器有三个选择,没有一个是免费的:
- 拒绝这块硬盘。
- 把它重新格式化回扩展格式,把你刚做的 4Kn 工作全部推翻。
- 把元数据存在硬盘上的其他地方。
第三种就是闪存惩罚你的地方。 与所描述数据分开写入的元数据是第二次写入,写在不同的偏移,落在不同的映射单元里。你每想写一个 NAND 页,就要再多编程一个。 这就是上一节讲的放大,被故意重新引入,只为了携带完整性元数据,而如果你保留扩展格式,硬盘本来可以零成本地把它内联存放。
你不可能两样都要。扇区要么装控制器的元数据,要么只装你的数据。
所以闪存相当程度上动摇了硬件 RAID 存在的理由
这一节剩下的部分是判断而不是机制,请按判断来看。
硬件 RAID 控制器就是跑在专用处理器上的固件 RAID。 所谓“硬件”是一颗 CPU、一些 DRAM 和一块电池,并不是什么根本不同的奇偶校验计算方式。 它历史上给你的是带电池保护的写缓存和奇偶校验卸载,而在闪存上,这两个理由都已经大大削弱。 企业级 NVMe 自己就有掉电保护的缓存,而控制器则成了一个带宽天花板,挡在那些每块都能跑满好几个 GB/s 的设备前面。
它还让你失去现在真正想要的东西:
- 设备状态消失了。 SMART 细节、磨损指标,以及能让你算出写放大的厂商日志,全都藏在一个不透明的抽象后面。
- 没有端到端校验和。 控制器校验的是奇偶,它能发现一块缺失的硬盘,发现不了一块在场的硬盘给出的错误答案。ZFS 和 Ceph 对数据本身做校验,能告诉你哪一份副本是错的,而这种静默损坏控制器会直接放过去。说到底,控制器解决的是错误的问题。
- 硬盘上的厂商元数据把阵列绑死在一个控制器系列上,而当坏掉的正是控制器时,这本身就是一种不可靠。
- 奇偶校验 RAID 自己也做读-改-写,在部分条带写入时如此,叠加在前面几节讲的一切之上。
对 Ceph 来说,这甚至不是偏好问题。 Proxmox 自己的超融合指南说,硬盘必须以 HBA 或直通模式呈现,不能放在 RAID 控制器后面,ZFS 出于同样的原因要求完全一样的东西。
所以从这一切得出的布局是:用 HBA 而不是 RAID 控制器,硬盘格式化为零元数据的 4Kn,冗余和校验交给 ZFS 或 Ceph 来做,它们能在硬盘撒谎时真正告诉你。 如果你的环境里确实有东西需要扩展扇区格式,那是一个要趁硬盘还空着时就定下来的二选一,而不是等 OSD 都建好之后才发现的事。
512e 真正伤人的地方
如果说 512e 会毁掉一个现代系统,那是不诚实的,因为通常它并不会。
当前的 Linux 栈会读取物理扇区大小,按它对齐分区(parted 和 sfdisk 现在默认都这么做),并使用 4K 的文件系统块。
在这种配置下,主机发出的是 4K 对齐的 4K IO,硬盘从来不需要读-改-写,512e 几乎不让你付出任何代价。
问题出在具体的地方:
- 未对齐的分区,通常是从旧安装或克隆镜像继承下来的。每一次写入都有两次读-改-写。
- 512e 硬盘上的 ZFS
ashift=9,因为 ZFS 相信了报告出来的 512。每一次记录写入都变成读-改-写,而且ashift事后改不了,整个池必须重建。 - 用 O_DIRECT 写 512 字节记录的应用,绕过了页缓存的合并。有些数据库和大量定制软件就是这么干的。
- 任何相信逻辑大小就是真实大小的东西。 这才是模拟真正的害处:它交出去一个错误的数字,下游的东西拿着它做决定。
4Kn 把这一整类问题都去掉了。硬盘没法就一个它根本没有的扇区大小撒谎。
不过,对收益的大小也值得说实话。Seagate 自己的建议是:当整个栈都针对 4K 完全优化、你在计较每一个 IOPS 时(比如一个调好的全闪存层),4Kn 显然值得追求。低于这个水平,在一个正确对齐的现代 Linux 上,对齐 IO 的性能差异往往很小。另一个理由是整批设备的一致性:清一色 4Kn 的环境里没有混合格式带来的意外,也没人需要记住哪些硬盘在撒谎。
大多数硬盘都能转换,前提是厂商允许
这是常被漏掉的部分:512e 往往只是一个格式设置,而不是硬件的属性。 大量企业级 SAS 和 SATA 硬盘,以及大多数企业级 NVMe,出厂时报告 512 字节,但很乐意被重新格式化为 4Kn。
下面所有操作都会销毁设备上的每一个字节。 没有原地转换。
NVMe:nvme-cli
先看看命名空间支持哪些格式:
# Lists each LBA format and marks which one is in use
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"
你要的是 Data Size 4096 且 Metadata Size 0 的格式,标记为 best,且当前未在使用。 然后应用它:
# -l/--lbaf selects the LBA format index from the list above
nvme format /dev/nvme0n1 --lbaf=1 --force
元数据大小和数据大小一样重要。 有些出厂格式会在每个扇区预留额外字节(520 或 4160),用来携带端到端的 T10-PI/DIF 保护元数据。 如果你的栈里没有东西用它,那就是每个扇区上的填充,所以选零元数据的格式,把它甩掉。 不小心选了带元数据的格式,你得到的硬盘行为也会和你想要的不一样,而且把扇区大小变更和 PI 变更放在一起,可能会迫使硬盘做一次缓慢的完整格式化,而不是快速格式化。
一整台主机的硬盘,就用循环来做。这需要 shopt -s extglob 来支持扩展通配符,而且它只挑选 4096/0 且未在使用的格式:
shopt -s extglob
for dev in /dev/nvme+([0-9])n+([0-9]); do
# Skip anything that is not actually there
[ -e "$dev" ] || continue
# An LBA format with 4096-byte data, 0-byte metadata, marked Best, not in use
lbaf=$(nvme id-ns -H "$dev" \
| grep -P '(?=.*Metadata Size: 0)(?=.*Data Size: 4096)(?=.*Best)(?!.*in use)' \
| awk '{found=$3} END {print (found != "" ? found : -1)}')
if [ "$lbaf" != "-1" ]; then
echo "Formatting $dev using LBA Format: $lbaf"
nvme format --force --lbaf="$lbaf" "$dev"
else
echo "Skipping $dev: no matching LBA format found."
fi
done
里面有两处做的事比看上去多。
通配符匹配的是命名空间,nvme0n1、nvme12n3,并且故意不匹配 nvme0n1p1 这样的分区,因为模式在 n 后面的数字之后就结束了。这就是重新格式化一个命名空间,与对一个运行中的系统做出无法挽回的事情之间的区别。
而且选择逻辑只会转换真正提供了你要的格式的硬盘。其他情况都落到 -1 被跳过,这涵盖了三种不同的情况:
- 硬盘只提供 512。 不存在 4096 字节的格式,没有可转换的目标,循环就不碰它。它不会尝试,也不会半途失败。
- 硬盘已经是 4Kn。 4096/0 格式就是正在使用的那个,
(?!.*in use)把它排除了,所以在同一台主机上再跑一次什么也不会做。不会无谓地把每块硬盘都重新格式化一遍。 - 仅有的 4096 格式都带元数据。 4096 + 8 的格式不满足
Metadata Size: 0,所以循环不会悄悄塞给你一块你没要的 T10-PI 硬盘。
换句话说,它是失败即关闭的。拿不准的时候,它就跳过。
一个可移植性方面的提醒:那些前瞻断言需要 GNU grep 的 -P(PCRE)模式。在 grep 是别的实现的系统上,模式什么都匹配不到,每块硬盘都会被跳过。烦人,但至少它错在安全的方向。
即便如此,运行之前还是要把循环读一遍。
在它确实匹配的地方,它会不再提示就直接重新格式化。nvme format --force 不会问第二遍。
它属于装机流程,用在硬盘上什么都没有的机器上,永远不要用在跑着活 OSD、存储池或虚拟机磁盘的主机上。
在 FreeBSD 上对应的工具是 nvmecontrol,其中 -f 是格式索引:
nvmecontrol format -f 1 nvme0ns1
SAS 和 SATA:openSeaChest
Seagate 的 openSeaChest 跨平台、开源,对其他厂商的硬盘也能用。
# Find the handle
openSeaChest_Format --scan
# Ask the drive which sector sizes it will accept
openSeaChest_Format -d /dev/sg1 --showSupportedFormats
# Convert. The confirmation string is deliberately hard to type by accident.
openSeaChest_Format -d /dev/sg1 --setSectorSize 4096 \
--confirm this-will-erase-data-and-may-render-the-drive-inoperable
那句确认语不是我在故弄玄虚。那是工具要求的字面字符串,而 “may render the drive inoperable” 这部分是真的。 低级格式化如果被断电打断,硬盘可能需要再格式化一次才能工作。
在底层,操作因传输协议而异:SAS 和 SCSI 用 Format Unit,SATA 用 Set Sector Configuration Ext(快速格式化路径),NVMe 用 NVM Format。 对 SAS 硬盘,你可以直接驱动 Format Unit,注意这个选项要的是更短的确认字符串:
openSeaChest_Format -d /dev/sg1 --formatUnit 4096 --poll \
--confirm this-will-erase-data
两个不同的选项,两个不同的确认字符串,弄反了工具就会拒绝。
在硬盘支持快速格式化的地方,扇区大小几秒钟就改好,而不是几个小时;硬盘之后再做完整性和后台工作,把你真正的数据写上去会缩短这段后台时间。完整格式化会从头到尾写零,在大容量机械硬盘上可能要好几个小时甚至好几天。
openSeaChest_Format -d /dev/sg1 --setSectorSize 4096 --fastFormat \
--confirm this-will-erase-data-and-may-render-the-drive-inoperable
SCSI:sg_format
对任何说 SCSI 的设备,sg3_utils 能做同样的事:
# --size requires --format; expect hours on a large spinning disk
sg_format --format --size=4096 /dev/sdb
# Fast format where the drive supports it — seconds instead of hours
sg_format --format --size=4096 --ffmt=1 /dev/sdb
sg_format 在提交之前会给你 15 秒倒计时,--quick 会跳过它。
它的文档还警告了一种值得了解的特定故障:如果块大小变更成功但随后的格式化失败,硬盘可能会处于 “format corrupt” 状态,需要再格式化一次才能恢复。
转换任何东西之前
- 检查引导路径。 用 4Kn 硬盘做引导设备需要 UEFI 和支持它的操作系统。现代 Linux 没问题。老版本的 Windows 不行,有些硬件 RAID 控制器至今完全拒绝 4Kn。
- 在硬盘装东西之前做。 事后改造意味着迁出、转换、再恢复。
- 先做一块,再检查。 转换一块硬盘,确认报告的大小,然后再做其余的。
- 预计要几个小时,如果是不支持快速格式化的机械硬盘。别在一台你很快就要用回来的机器上开始低级格式化。
检查你手上有什么
# LOG-SEC is what the host addresses, PHY-SEC is what the medium uses
lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
# The same, from sysfs
cat /sys/block/sda/queue/logical_block_size
cat /sys/block/sda/queue/physical_block_size
# SMART states both, and this is the clearest 512e signature there is
smartctl -a /dev/sda | grep -i "sector size"
512 bytes logical, 4096 bytes physical 是 512e 硬盘。
两个数字相同则是原生的:都是 512 就是 512n,都是 4096 就是 4Kn。
再检查分区是否真的对齐:
parted /dev/sda align-check optimal 1
ZFS、Ceph 与虚拟磁盘
ZFS:创建存储池时显式设置 ashift=12,不要依赖硬盘报告的大小,因为在 512e 上它会告诉你 9,而那是错的。之后改不了。
Ceph:在闪存上,BlueStore 的最小分配大小应该是 4 KB。现代 Ceph 默认就是 4096,但老版本默认值更高,SSD 上大约 16 KB,HDD 上 64 KB,这对 RBD 虚拟机磁盘很不合适,因为它们发出大量小的随机 4 KB 写入,而一次 4 KB 写入落进 16 或 64 KB 的分配单元,既放大了写入,又把剩下的部分浪费在填充上。它在 OSD 创建时就固定了,所以必须在创建或重建之前设置:
ceph config set global bluestore_min_alloc_size_ssd 4096 # new or rebuilt OSDs only
还有一个对应的 bluestore_min_alloc_size_hdd。已有的 OSD 保留它们创建时的值,所以改它就意味着重建它们。
虚拟磁盘:客户机看到的是虚拟化层呈现给它的东西,而不是底层硬盘,所以虚拟机下面的 4Kn 硬盘,除非你另行指定,仍然会给客户机 512 字节的块。要让整个栈端到端保持 4K,就要告诉 QEMU 呈现 4K,在 Proxmox 里这是 /etc/pve/qemu-server/<vmid>.conf 里的一行原始参数:
args: -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096
真正迫使 QEMU 对这些磁盘使用 4Kn 的就是这一行:-global 把它应用到虚拟机上的每一个 scsi-hd 设备,于是客户机被告知逻辑和物理块大小都是 4096,并据此分区和对齐。
不要给整个字符串加引号。 Proxmox 用 Text::ParseWords::shellwords 解析 args:,所以这样写:
args: "-global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096"
会被合并成一个参数:引号被识别并去掉,QEMU 拿到的是一个又长又无法解析的选项,而不是四个。不加引号,同一行会被拆成 -global、scsi-hd.physical_block_size=4k、-global、scsi-hd.logical_block_size=4096,这才是你要的。这个错误很容易犯,因为在命令行上加引号是正确的直觉,而出错的表现(虚拟机启动不了,抱怨这个选项)并不会把你指回引号上。
要在安装客户机操作系统之前做这件事。在已经装好的系统下面改磁盘的块大小,可能让它无法启动,因为分区布局和引导程序是按 512 字节扇区写的。还要注意 args: 是一个绕开 GUI 管理的专家级后门,它与实时迁移和快照之间的相互影响,值得对照当前的 Proxmox 文档再核实一遍。
当客户机说 512 而主机说 4K
这是值得真正弄明白的情况,因为在做完上面所有工作之后,你默认得到的就是它。
无论底层设备是什么,QEMU 都会向客户机呈现 512 字节的逻辑块,除非另行指定。 所以你可以把主机里的每一块硬盘都转换成 4Kn,上面的虚拟机仍然会被告知 512,而且它们会相信。
于是客户机按 512 字节边界分区,因为它可以;发出 512 字节的 IO,因为它可以。 但主机设备现在确实有 4096 字节的逻辑块,它不会接受 512 字节的写入。 总得有东西来调和两者,而那个东西就是主机:QEMU 读出周围的 4 KB,把客户机的 512 字节合并进去,再把整块写回去。
你并没有去掉模拟。你只是把它从硬盘固件里搬到了你的虚拟化层里,在那里它消耗的是主机 CPU 和一个回弹缓冲区,而不是硬盘的周期。
在 cache=none 下,这也不是一个温和的惩罚。对 4Kn 设备使用 O_DIRECT 要求偏移和长度都按 4 KB 对齐,所以小于 4K 的客户机写入没法直接透传,必须先在 QEMU 里把对齐修好,然后才能发出 IO。
而未对齐的情况会在上一层卷土重来。一个按 512 字节粒度分区的客户机,会把它的 4 KB 文件系统写入放在跨越两个主机 4 KB 块的偏移上,于是每一次都变成主机上的两次读-改-写。和裸 512e 硬盘上分区未对齐是同一种故障,只是现在它发生在虚拟机里,没人会去那里找。
所以规则是:如果主机是 4Kn,也给客户机呈现 4K,并且在操作系统装上去之前做。
例外是客户机的支持情况,这也正是 512e 存在的全部理由:
- Linux 客户机处理 4Kn 毫不费力。
- Windows 从 Windows 8 和 Server 2012 起支持 4Kn 数据卷,从 4Kn 启动则需要 UEFI。
- 任何更老的东西,Windows 7 及更早,根本做不了 4Kn。对它们来说,呈现 512 的虚拟磁盘就是运行它们的代价,主机会去做调和。如果这件事要紧,就把这些客户机放在代价最小的存储上,而不是放在你最快的那一层。
从客户机内部检查它实际得到的是什么:
lsblk -o NAME,LOG-SEC,PHY-SEC
在 4Kn 主机上那里如果是 512,就意味着上面讲的调和在每一次未对齐写入时都在发生。
参考资料
- OpenZFS — Workload Tuning:
ashift,为什么2^ashift是一个 vdev 上可能的最小 IO,以及 “many devices misreport their sector sizes” 这一观察 nvme-formatman page:--lbaf、--namespace-id、--ses和--forcesg_formatman page:--size配合--format、快速格式化选项,以及 format-corrupt 警告- openSeaChest:Seagate 的开源硬盘工具集,包括
--setSectorSize和--showSupportedFormats - openSeaChest wiki — Format, Fast Format, And Sector Sizes:哪种传输协议用哪条命令,以及快速格式化何时适用
nvmecontrol(8):FreeBSD 上的对应工具- Linux block layer documentation:内核如何建模逻辑块大小和物理块大小