什么都能插的槽位

三模适配器的卖点确实不错,在把它拆开之前,值得先把它好好讲一遍。

买一台带 U.3 背板和三模控制器的机箱,每个盘位就都成了通用盘位。0 号槽可以插一块 24G SAS 盘,1 号槽插一块便宜的 SATA 启动盘,2 号槽插一块 Gen4 NVMe SSD,适配器插什么就协商什么。Broadcom 把这块硅片叫做 Tri-Mode SerDes;盘位标准是 SFF-TA-1001,也就是 U.3,它为 SAS x1/x2、SATA 以及 x1、x2 或 x4 的 NVMe 定义了一个通用连接器。管理那一侧是 SFF-TA-1005,即 Universal Backplane Management,机箱就是靠它弄清自己到底在跟什么说话,并点亮正确的活动指示灯。

对于给服务器定配置的人来说,这解决了一个真实又烦人的问题。你不再需要在下采购单时就决定存储协议,不必维护两个机箱型号,也不会事后发现支持 NVMe 的盘位是左边那四个,而你的盘全插进了另外二十个。一个料号覆盖整个机群,SAS 存储可以一块盘一块盘地迁到 NVMe,而不是一台机箱一台机箱地迁。

这些都不是营销话术。这就是这类适配器卖得动的原因,装作不是那就犯傻了。

但灵活性不是免费的,而且账单不是用英镑付的。是用队列付的。

盘到底遭遇了什么

一块 NVMe SSD 是一个 PCIe 端点。在直连的服务器里,它的四条通道连到 CPU 的根复合体,中间可能经过一个 retimer 或 PCIe 交换芯片,但在电气和逻辑上它都是 PCIe 总线上的一个设备。内核枚举它,绑定 nvme 驱动,从那以后驱动直接跟盘的寄存器对话。

把同一块盘放到三模适配器后面,这一切就不成立了。

盘的通道现在终止在控制器上。Broadcom 的文档把相关模块叫做 PCIe device bridge,“bridge”(桥)这个词分量很重:这不是一个把你 CPU 的事务转发给一块它仍然看得见的盘的透明交换芯片。适配器才是你的主机枚举到的 PCIe 端点。盘是挂在它另一侧的一个 target,控制器固件会重新发起每一次 I/O。

直连 NVMe,对比同样的盘接在三模适配器后面直连在三模适配器后面CPU 根复合体CPU 根复合体x4x4x4x4四条独立链路每条约 7 GB/s,并行x8 Gen4下面的一切共用这条三模控制器主机枚举到的唯一 PCIe 端点NVMeNVMeNVMeNVMenvme0n1nvme1n1nvme2n1nvme3n1NVMeNVMeNVMeNVMesdasdbsdcsddnvme 驱动每块盘每个 CPU 核心一个队列对带宽随加盘增长mpt3sas 驱动:盘是 SCSI target每块队列深度 128,共用一个 tag 池带宽止步于适配器
同样四块盘,两种接法。左边每块盘各有四条通道直达根复合体。右边通道止于适配器,下游一切共用一条 x8 上行链路和一个控制器。

所以适配器并没有把你的 NVMe 命令透传过去。它把命令终结掉,然后代表你去跟盘说话。

这就引出一个问题:它跟你说的是什么协议。

操作系统根本看不到 NVMe 盘

它说的是 SCSI。

把一块 NVMe SSD 插进 Broadcom 三模 HBA,它不会出现为 /dev/nvme0n1。它出现为 /dev/sdb,绑定在 mpt3sas 上,就是十多年来一直驱动 LSI SAS 控制器的那个驱动。nvme list 什么也不返回。lsblk -o NAME,TRAN 报告的传输方式是 sas。在驱动之上的每一层存储栈看来,你买的是一块 SAS 盘。

这不是 bug,也不是等着修的固件限制。这就是设计本身。把一切都呈现为 SCSI target,恰恰就是一块适配器能服务三种协议的方式:控制器把 SAS、SATA 和 NVMe 统一成一个设备模型,主机只需要一个驱动、一条枚举路径、一套工具。营销里的灵活性和 dmesg 里的 SCSI 呈现,是同一个架构决策从两头看到的样子。

9500 和 9600 这两代确实加了一个透传机制,让厂商工具能够到盘的 NVMe 管理命令,而且 Broadcom 的新部件在呈现盘的健康状况方面比 9400 强得多。但那只是管理上的旁路。数据路径,也就是你的负载发出的每一次读写,仍然走的是 SCSI 栈。

而 SCSI 栈的队列模型比闪存还早二十年。

你刚刚放弃的队列模型

这才是真正让你掉性能的部分,值得说得精确一点,因为原因并不是“NVMe 比 SAS 快”。

NVMe 的核心设计决策不是一根更快的线。而是不再假装存储设备是一个单一的、串行的东西。

规范允许多达 65,535 个 I/O 队列对,每一篇 NVMe 科普都会引用这个数字。这是一个拿错了的数字。没有任何盘实现到接近它的程度,所以任何真正看过运行中系统的人都可以一挥手把这个比较打发掉,而且他们说得对。真实的数字更小,毫不起眼,却更能说明问题。

那就来看一块真实的盘。不是企业级部件:一块 256 GB 的 SK Hynix OEM SSD,就是焊在中端笔记本里的那种,装在一台 16 核的机器上。

$ nproc
16
$ cat /sys/class/nvme/nvme0/queue_count
17
$ ls /sys/block/nvme0n1/mq | wc -l
16
$ cat /sys/block/nvme0n1/queue/nr_requests
1023

十七个队列:一个管理队列,加上十六个 I/O 队列对应十六个核心。每个深 1023 条命令。映射是一对一的,每个硬件队列恰好绑定一个 CPU:

$ cd /sys/block/nvme0n1/mq && grep -H . */cpu_list
0/cpu_list:1
1/cpu_list:9
2/cpu_list:3
3/cpu_list:11
...

每个队列一个 CPU,一路到底:硬件队列 0 只服务核心 1,别的一概不管。

这就是“NVMe 有很多队列”在实践中的真正含义。不是 65,535 个,而是每个核心一个,你有多少核心就有多少个。 Linux 为每个 CPU 创建一个队列对,上限是控制器愿意给的数量,而控制器给的数量远多于一台典型服务器的核心数,所以实际上核心数就是那个数字。把这块盘放进一台 64 核的机器,你就得到 64 个。

性能正是从这种按核心的拆分来的:

  • 一个核心往自己的队列里提交。不需要锁,因为没有别的核心碰它。
  • 每个队列有自己的 MSI-X 向量,亲和到那个核心。
  • 完成中断落回发出 I/O 的那个核心,相关的缓存行本来就在那里。
  • 全部十六个核心可以同时在途,永远不用在共享结构上争用。

并行度随你的核心数扩展,没有哪个核心的活会排在另一个核心的后面。一块便宜的消费级盘就能做到这一点。这是起码的标配。

现在看看盘在适配器后面得到了什么。下面这些数字不是估算,它们是主线 mpt3sas 驱动里的常量。

每设备的队列深度取自 ioc->max_nvme_qd,驱动从控制器固件报告的值里取,否则就退回到 drivers/scsi/mpt3sas/mpt3sas_base.h 里的编译期默认值:

#define MPT3SAS_SATA_QUEUE_DEPTH	32
#define MPT3SAS_SAS_QUEUE_DEPTH		254
#define MPT3SAS_RAID_QUEUE_DEPTH	128
#define MPT3SAS_NVME_QUEUE_DEPTH	128

128。 一个能够承载数万条未完成命令的设备,被给了 128 的队列深度,而且注意,它比上面两行的 SAS 默认值 254 还浅。盘自身的能力从来没有进入这个决定。这个数字来自控制器。

硬件队列数更糟,而驱动对此很坦白。摘自 mpt3sas_scsih.c:

shost->nr_hw_queues = 1;

if (shost->host_tagset) {
	shost->nr_hw_queues =
	    ioc->reply_queue_count - ioc->high_iops_queues;
	...
	dev_info(&ioc->pdev->dev,
	    "Max SCSIIO MPT commands: %d shared with nr_hw_queues = %d\n",
	    shost->can_queue, shost->nr_hw_queues);
}

仔细读,因为这里有三件不同的事。

默认是一个硬件队列。 nr_hw_queues = 1。多队列只在启用了 host_tagset 功能的 gen35 控制器上才会出现,即便如此,按驱动自己的提交历史的说法,它也只是模拟的多个硬件队列:I/O 控制器硬件是单个提交队列加多个回复队列,blk-mq 是被套在它上面的。

队列数来自控制器,而不是核心数。 它是 reply_queue_count 减去高 IOPS 队列,也就是适配器的 MSI-X 向量分配。它和你有多少 CPU 毫无关系,加盘也不会增长。这和上面那块盘恰好相反,在那里队列数就是核心数。

而且 tag 池是共享的。 host_tagset 就是字面意思:整个主机适配器一个 tag 池,那行日志里明明白白写着 “shared”。卡上的每一块盘都从同一组命令槽里取。一台二十四盘位的机箱,就有二十四块盘在争一个控制器的 tag。

把两者并排放。那块笔记本 SSD 有十六个私有的、深 1023 的队列,每核心一个,只对自己负责。同一块盘放到适配器后面,得到的是卡上回复队列的一份份额、128 条未完成命令,以及二十三个从同一个池子里取的邻居。

每核心 NVMe 队列对,对比适配器的一个共享 tag 池队列随核心倍增盘分一个池核心 0核心 1核心 2核心 3SQ + CQSQ + CQSQ + CQSQ + CQ深 1023深 1023深 1023深 1023NVMe SSD/dev/nvme0n1每核心一对提交和完成队列独立 MSI-X 向量,完成落回该核心无锁,无跨核争用核心 0核心 1核心 2核心 3三模控制器回复队列来自卡的 MSI-X 向量,而不是你的核心数所有盘共用一个 tag 池sdasdbsdcsddqd 128qd 128qd 128qd 128还有 20 个盘位从同一个池里取。每设备 128 条未完成,不管盘能做多少加盘是在分割固定资源
左:每核心一个队列对,私有且深 1023,完成中断落回提交的核心,数据实测自上面那块盘。右:所有核心被汇入控制器的回复队列,从一个共享 tag 池里取,每块盘上限 128。

所以损失不在于 SCSI 慢。跑在 blk-mq 上的现代 SCSI 没问题。损失是结构性的:

  • 队列属于适配器,而不属于盘。 加盘是在分割一份固定资源,而不是增加它。
  • tag 池是整个主机共享的。 一块重负载的盘可以饿死其他盘,而当每块盘都有自己的队列时,这种事根本不可能发生。
  • 每设备深度上限 128,不管盘能承受多少。
  • 中断局部性被削弱。 完成落在控制器用了的那个回复队列上,不一定是提交的那个核心。

对于队列深度 1 或 2,也就是一个偶尔读一下的单线程进程,这些都无关紧要。两种方式下你测到的延迟一样,在噪声范围内。惩罚恰恰出现在你买 NVMe 想让它帮忙的地方:许多核心发出许多并发 I/O。负载越深,你花了钱却够不着的那部分盘就越多。

上行链路只是一条 x8 插槽

队列模型是隐蔽的问题。带宽天花板是明摆着的问题,你不用跑基准测试,直接从 Broadcom 自己的产品简介里就能读出来。

9500 系列 HBA 是一块 x8 PCIe Gen 4.0 卡。Broadcom 公布的数据是 256K 顺序读 13,700 MB/s,4K 随机读 3M IOPS。同一份简介说它支持多达 32 个 NVMe 设备。

把这两个数字放在一起,问题自己就有了答案:要多少块盘才能把适配器用光?

不多,而且一年比一年少。一块 Gen4 x4 SSD 大约 7 GB/s。一块 Gen5 x4 SSD 大约 14 GB/s。两者在 2026 年都是普通部件:二手 U.2 市场上满是 Gen4,买新的拿到的就是 Gen5。

天花板达到它需要的 Gen4 盘数达到它需要的 Gen5 盘数
HBA 9500,13,700 MB/s 顺序21
HBA 9500,3M IOPS(4K 随机读)31–2
eHBA 9600,6.4M IOPS(4K 随机读)~6~3
MegaRAID 9600,1.1M RAID 5 IOPS(4K 随机写)~1~1

再读一遍第一行。一块 Gen5 SSD 就顶满了 HBA 9500 的整个顺序读天花板。 一块盘,插在一张标称支持三十二块的卡上。之后再加的都是容量。不是性能。

最后一行才是应该叫停采购单的那一行:在当前一代 MegaRAID 上,满满一架做成 RAID 5 的 NVMe,交付的大约就是一块主流盘单独能做到的。

盘连 x4 都协商不到

在共享上行链路下面还有第二道节流,很容易漏掉,因为它藏在规格表里,而不是标题里。

Dell 的 PERC 12 User’s Guide 涵盖 H965i 三模控制器,里面写着:

Supports drive speeds for NVMe drives are 8 GT/s (Gen 3) and 16 GT/s (Gen 4) at maximum x2 lane width.

每块 NVMe 盘拿到的是两条通道,不是四条。所以在争用上行链路之前,在 tag 池之前,在 SCSI 转换之前,一块 Gen4 盘就已经降到大约 3.5 GB/s,是它本来能力的一半。把一块 Gen5 盘插进那个盘位,它会协商降到 Gen4 x2,交付的大约是标称带宽的四分之一。

这件事改变了什么、没改变什么,值得说清楚。它并不意味着适配器能撑得更远。确实要大约四块受 x2 限制的盘才能填满 9500 的上行链路,而不是两块,但那只是因为每块盘贡献的少了一半。瓶颈从上行链路挪到了盘的链路上。你能榨出来的总量没有变好。

如果直连,同样这三十二块盘每块都会有自己通往根复合体的 x4 路径,速率是盘和 CPU 能协商到的任何一代。

那张表里 RAID 5 那一行值得单独看一眼,因为那是 Broadcom 自己的数字,而且发布时没加任何粉饰。摘自 9600 系列简介:

900K to 1.1M RAID 5 IOPS (4K RW)

控制器固件里的奇偶校验 RAID,是你能要求三模卡做的最昂贵的事,而这是当前一代在做它。在有人给二十四块 NVMe 盘配 RAID 5 并期待二十四块盘的性能之前,值得先读一读。

盘数对两条三模天花板:一张 x8 Gen4 卡和一张 x16 Gen5 卡0153045607590总 GB/s123456NVMe 盘数Gen5 直连,每块约 14 GB/sGen4 直连,每块约 7 GB/s两张卡都够不着PERC13,Gen5 x16,实测 52.5 GB/sHBA 9500,Gen4 x8,13.7 GB/s2 块 Gen4 盘到 9500 的顶,4 块 Gen5 盘连 PERC13 都能到顶厂商和评测数据,非本文实测。9500 标称支持 32 个 NVMe 设备,PERC13 支持 16 个。两张卡还把每块盘限制在 x2 链路,直连线没有这个限制。
要多少块盘才能把适配器用光,对照两个天花板。两块 Gen4 盘就到 HBA 9500 的顶;四块 Gen5 盘连 PERC13 都能顶满。这两张卡分别标称支持三十二块和十六块设备。

换成 x16 卡呢?

对上面这一切,最显而易见的反驳是:9500 是一张 x8 Gen4 卡,天花板只是窄主机链路造成的。给适配器十六条 Gen5 通道,问题就没了。

这个反驳很公道,它值得用最强的例子来回应,而不是立个稻草人。那就拿 Dell 的 PERC13 H975i 来说:当前一代,三模卡差不多能做到的最好水平。它的用户指南写明 “Gen 4 and Gen 5 PCIe x16 host interfaces”,StorageReview 实测到每控制器 52.5 GB/s 和 12.5M IOPS,对应最多十六块 NVMe 盘。

这些是很硬的数字,它们实质性地改变了局面。对比 9500 的 13,700 MB/s 和 3M IOPS,这是大约四倍的带宽和四倍的 IOPS,分摊到一半数量的盘上。Dell 不只是把管子加粗了,还把扇出减半了,超额订阅比也因此改善。尤其在 IOPS 上,12.5M 分给十六块盘大约是每块 780K,接近一块主流盘单独能交付的水平。到这一步,控制器确实不再是拖你后腿的东西。

那就该给的肯定要给:一张现代的 x16 Gen5 三模卡,在工程上比 x8 Gen4 的那张好得多,如果带宽是你唯一的异议,x16 基本上回答了它。

有三件事它没修好。

盘仍然只连 x2。 这一点让我吃了一惊。PERC13 的指南在描述一张 Gen5 x16 控制器时,仍然写着:

Supports drive speeds for NVMe drives are 8 GT/s (Gen 3), 16 GT/s (Gen 4), and 32 GT/s (Gen 5) at maximum x2 lane width.

更宽的主机链路不会让下游的盘链路变宽。Dell 卖的最新、最快的三模 RAID 控制器上,每一块 NVMe 盘仍然只用两条通道而不是四条连接,仍然在一切发生之前就先丢掉一半带宽。

队列模型完全没动。 本文队列那一节里的东西,没有一样是主机链路宽度的函数。nr_hw_queues 来自控制器的 MSI-X 回复队列分配;每设备深度 128 是驱动和固件常量;tag 池是整个主机共享的,因为 host_tagset 就是这么规定的。把主机链路加宽到 x16、x32,随你,盘仍然是共享卡上队列的 SCSI target,仍然没有 /dev/nvme0n1,你仍然不能把一块盘直通给虚拟机。

而且 x16 并不制造带宽,它只是把你本来就有的通道扇出去。 这才是真正一锤定音的论点。十六条 Gen5 通道接进一张 PERC13,换来的是十六个盘位共享的 52.5 GB/s。同样这十六条通道直接连到四块 x4 的 Gen5 盘上,换来的是四个盘位大约 56 GB/s:同样的通道,同样的带宽,只不过每块盘都拿到完整的 x4、每核心自己的队列对,以及一个真正的 nvme 设备节点。

所以描述一张 x16 三模卡,诚实的说法不是“更快的适配器”。而是一个通道复用器:它把固定的通道预算换成更多的盘位,并且为这次转换向你收取队列模型的代价。这笔交易划不划算取决于一件事。你要的是盘位,还是并行度。

把盘位插满会怎样

这就把我们带到了真正要紧的情形,因为没人会买一台二十四盘位的机箱只插四块盘。

过了饱和点,总量曲线是平的。加盘增加的是容量,别的什么都没有,所以每块盘的性能按 1/N 下降。在实际的盘数下,这笔算术毫不留情:

HBA 9500 上的盘数总量每块盘占一块 Gen4 盘的比例
213.7 GB/s6.9 GB/s98%
1213.7 GB/s1.14 GB/s16%
2413.7 GB/s0.57 GB/s8%

看最后一行。HBA 9500 后面的二十四块 NVMe 盘,每块交付大约 570 MB/s。一块 SATA SSD 大约 550。你买了二十四块 NVMe 盘,花钱买了一张三模控制器来接它们,最后落到了 SATA 级别的每盘带宽。

IOPS 的算术是同样的形状:3M 分给二十四块盘是每块 125K,而一块主流 Gen4 盘单独就能做到 1M,大约是你所拥有的八分之一。

x16 卡把这一点改善了不少,但逃不掉。一张插满十六块盘的 PERC13 是 52.5 GB/s ÷ 16 = 每块盘 3.3 GB/s,大约是一块 Gen5 盘的 23%,而这还没算 x2 链路再砍掉的一半。

盘数多的时候,有两个效应比单纯的除法更糟:

  • tag 饥饿是跨设备的。 共享的主机 tag 池意味着一块重负载的盘可以吃掉其他盘需要的槽位。二十四个设备,每个名义上允许 128 条未完成命令,加起来要 3,072 条,全都从一个控制器的 can_queue 里取。不同盘之间的队头阻塞,是在每块盘拥有自己队列时根本不存在的一种故障模式。
  • 重建会拖累一切。 在一整架盘上做奇偶校验重建,会把那条唯一的共享上行链路跑满,于是卡上其他每一块盘的前台 I/O 同时变差。如果盘在独立的通道上、用软件 RAID,重建争的是 CPU,而不是一根管子。

什么时候这些都无所谓

有一个重要的反向因素,它也是为什么很多二十四盘位的三模服务器跑得好好的原因。

适配器的天花板只有在下游有东西能消耗得比它交付得更多时才会咬人。 一台配 2 × 25GbE 的服务器有 6.2 GB/s 的网络,连一张 HBA 9500 都填不满。如果那二十四块盘是一个通过这条链路提供文件的容量层,适配器离瓶颈还远着呢,上面那套每盘算术也就无关紧要。

它开始要紧的时刻,是消费者变得比卡快的时候:100GbE(12.5 GB/s)单靠自己就和 9500 的整个顺序天花板持平,而本地负载,比如数据库、编译、分析、带着繁忙客户机的虚拟化主机,路径上根本没有网络。

所以对一架插满的盘,要问的不是“适配器慢不慢”,而是**“谁来消耗这些,它能不能消耗得比卡交付得更多?”** 如果答案是一条 25GbE 链路,别操心了。如果答案是 100GbE、NVMe-oF 或者本地数据库,卡就是你的瓶颈,而盘数在让它更糟。

还丢了些什么

除了吞吐量,把 NVMe 盘呈现为 SCSI 磁盘,意味着你工具箱里 NVMe 专属的那些东西都不灵了:

直连在三模适配器后面
设备节点/dev/nvme0n1/dev/sdb
驱动nvmempt3sas / mpi3mr
nvme-cli能用没有对话对象
健康数据NVMe SMART 日志页转换后的 SCSI 日志页
命名空间管理有没有
固件更新nvme fw-download经控制器用厂商工具
Format / sanitizeNVMe Format NVMSCSI 对应命令,如果实现了的话
硬件队列每核心一对(上面那台机器是 16)卡的回复队列,所有盘共享
队列深度每队列 1023每设备 128

有一个后果经常坑人,值得单独拎出来说:你不能把单块盘直通给虚拟机。 PCIe 直通要求盘是一个有自己 IOMMU 组的 PCIe 端点,而在三模适配器后面它不是,唯一在场的 PCIe 设备是控制器。你可以把整个适配器连同挂在上面的每一块盘一起直通,或者什么都不直通。如果你的计划是把特定的 NVMe 盘交给特定的客户机,背板的决定已经替你做了这个决定。

那么 2026 年到底谁想要这个?

到这里,本文开头那套卖点就得面对一个更难的问题了,因为它当初为之设计的那个世界大多已经不在了。

三模是在 NVMe 还是你给 SAS 存储加上去的昂贵层级时构想出来的。到了 2026 年,这是反过来的:NVMe 是默认,U.2 企业盘在二手市场上又多又便宜,而“一台机箱里混插 SAS、SATA 和 NVMe”描述的真实部署越来越少。那么到底是谁在买它?

大多数情况下谁都没买,是被塞的。 诚实的回答是,大多数三模控制器不是被选中的。它们是跟着来的,因为服务器厂商装了一张,而厂商装一张,是因为单一的 U.3 背板型号让他们能用同一台机箱卖 SAS、SATA 和 NVMe 配置。这是 OEM 在供应链上的胜利。它对你的性能毫无帮助,所以它也从来没被当作有帮助来卖。

三条经典理由如今都站不太住了:

“我需要混用不同类型的盘。” 在同一台机箱里需要的情况很少,就算真需要,三模也不是唯一的办法。一张普通 SAS HBA 接机械盘,再把 NVMe 接到根复合体,两样都有,哪样都不受罚。混合存储不等于混合控制器。

“我的 PCIe 通道不够。” 这在 2019 年是真论点,那时是 40 通道的平台配 24 个盘位。一颗单路 Genoa 或 Turin Epyc 有 128 条通道。二十四块盘每块 x4 是 96 条。当初让人把盘汇聚到一个控制器后面的那种稀缺,基本已经没了,而在还没消失的地方,一块 PCIe 交换芯片就能干这活,而且不会终结协议。

“盘位必须通用。” 这一条值得仔细拆开,因为它是最常被用来给错误部件找理由的论点。U.3 是背板标准,不是控制器要求。 U.3 背板可以直接用线缆接到 CPU 的 PCIe 通道上,而不经过三模控制器,厂商对两种拓扑都有文档。你可以保留通用盘位,把这笔税删掉。如果你接手了一台三模服务器,最有价值的一项检查就是看背板能不能重新布线直连。

真正剩下的是:

  • 在策略或平台要求下、高密度的硬件 RAID:审计要求、支持矩阵、没有软件层可以干这活的 Windows 或 ESXi 部署。这是真正剩下的市场,也是唯一一种你买的是 RAID 引擎而不是连接能力的情形,而在当前的芯片上它是个能干的产品:十六块 NVMe 盘做硬件 RAID 5,带超级电容保护的缓存,只用十六条通道,这是直连根本给不了的。
  • 大容量 SAS 机械盘,按每 TB 的英镑算,机械盘依然稳占上风。但那是普通 SAS HBA 的活,而且更便宜。
  • 非常多的盘位和外部扩展柜,SAS 扩展器能比 PCIe 伸得更远、铺得更宽。
  • 从来不会跑深的负载。 如果你的队列深度停在个位数,这些都无关紧要。很多真实系统就在这里过得挺好。

还有一个朴素的运维论点:一种机箱类型、一个驱动、架子上一种备件。对一台通用虚拟化主机来说,这是有实在价值的。只是要诚实地把它和这样一个事实放在一起掂量:按上面那张表,一块 Gen5 盘就能顶满整张卡的顺序读天花板。

什么时候它是错的工具

这笔交易变差的程度,和你的负载有多少并发成正比。

Ceph 是最清楚的例子。 一个存储节点每块盘跑一个 OSD,每个都有自己的线程池,全都同时发 I/O,然后整个集群的客户端还在并发地驱动它们。这正是共享 tag 池的最坏情形:二十四个守护进程争一个控制器的命令槽,每块盘上限 128 条未完成命令,一切都汇进一条 x8 上行链路。把这些盘直接放到根复合体上,每个 OSD 就有自己的队列、自己的 tag 和自己的通道。一个全 NVMe 的 Ceph 节点,数据路径上不该有三模适配器。

同样的逻辑也适用于 NVMe-oF target,你在重新导出盘,每一层串行化都会叠加;适用于有深度异步 I/O 的数据库;也适用于任何建在 io_uring 或 SPDK 之上的东西,它们存在的意义就是利用每核心队列,而适配器刚刚把这个拿走了。

一般规律是:你的软件被写来利用的并行度越多,三模适配器向你收的费就越多。

怎样判断你手里是什么

如果你接手了一台服务器,想知道自己在这件事的哪一边:

# What is the transport? "nvme" is direct, "sas" means it went through a controller
lsblk -o NAME,TRAN,MODEL,SIZE

# Is there a tri-mode controller in the machine at all?
lspci -nn | grep -Ei 'sas|megaraid|serial attached'

# Which driver claimed the disk?
ls -l /sys/block/sdb/device/driver

# Per-device queue depth — 128 is the mpt3sas NVMe default
cat /sys/block/sdb/device/queue_depth

# How many hardware queues does this device actually get?
ls /sys/block/sdb/mq/ | wc -l
ls /sys/block/nvme0n1/mq/ | wc -l    # compare against a direct-attached drive

# On a direct-attached drive, what did the controller actually grant?
# One admin queue plus one I/O queue per core, so expect nproc + 1
cat /sys/class/nvme/nvme0/queue_count
nproc

# The driver says it out loud at load time
dmesg | grep -i 'nr_hw_queues'

最后那条会打印出前面引用过的那行 Max SCSIIO MPT commands: N shared with nr_hw_queues = M。如果在一台别人告诉你是全闪存 NVMe 的机器上 nvme list 是空的,原因就是适配器。

简短版

三模适配器把你的 NVMe 盘转换成 SCSI 磁盘。这次转换不是副作用。它就是一张卡服务三种协议的方式,也就是你买的东西。

你放弃的东西是具体的、可测量的:每核心的队列对被控制器的共享回复队列取代,每设备深度 128,一个由卡上每块盘分的 tag 池,盘要 x4 却只给 x2 的链路,以及一条共享的上行链路,而原本每块盘都有自己通往根复合体的路径。适配器不再是一个连接,而成了瓶颈,在当前的硬件上它很快就成了:两块 Gen4 盘就到 HBA 9500 的顶,四块 Gen5 盘连 PERC13 都能顶满。

更宽的主机链路确实有帮助,一张 x16 Gen5 卡的带宽和 IOPS 大约是 x8 Gen4 卡的四倍,但它不改变形状。它买到的是盘位,不是并行度:同样十六条通道直接连到四块盘上,交付同样的带宽,没有任何队列税。而且它救不了一整架插满的盘。9500 后面的二十四块盘每块大约 570 MB/s,也就是一块 SATA SSD 的水平。

2019 年,当 NVMe 还是你给 SAS 存储加的那一层、平台还缺通道的时候,这是一笔合理的交易。到了 2026 年,通常不是了。NVMe 是默认,二手 U.2 盘很便宜,一颗单路 Epyc 的通道多得用不完,而唯一还站得住的好处,也就是通用盘位,属于 U.3 背板,不属于控制器。你经常可以把背板直接用线缆接到 CPU 上,保留盘位,删掉这笔税。

所以,如果你买的是它的 RAID 引擎而你确实需要一个,那就买三模适配器。不要为了灵活性去买它,而如果你在一台插满 NVMe 的机箱里接手了一张,去弄清楚那块背板是怎么布线的。

为那些你之后用不好的盘付两次钱,没有道理。