照抄启动行的问题

搜索 Proxmox 调优,你会找到一条长长的 GRUB_CMDLINE_LINUX,作为一个整体呈现,完全不说明哪个参数用在哪里。

这比听起来要紧。虚拟化主机和客户机要解决的问题恰好相反。

主机想要对真实硬件的确定性访问:IOMMU 行为、PCIe 链路状态、物理空闲状态。客户机则想干脆别再假装自己有硬件:它的定时器是近似值,它的空闲状态是虚构的,它的卡顿通常是别人的调度器造成的。因此,同一个参数可能在一侧正确,在另一侧毫无意义,偶尔还有害。

下面是每个参数真正该放的位置。

每个内核启动参数属于哪里仅主机真实硬件在这里iommu=ptamd_iommu=pgtbl_v2pcie_acs_override=…pcie_aspm=offpci=pcie_bus_perf→ 有 USB4 则用 pcie_bus_safeprocessor.max_cstate=1Intel 上另加 intel_idle.max_cstateamd_pstate=disable同时设定调速器客户机没有 PCIe 链路,没有 C 状态,也没有 cpufreq。仅客户机别再假装它是硬件cpuidle.off=1客户机的空闲状态是虚构的nmi_watchdog=0被调度出去的 vCPU 会触发它softlockup_panic=0卡住是主机的锅别动 kvm-clock。不要强制 tsc 或 hpet,计数器不归你管。这三个在主机上含义各不相同,其中两个会让你付出实际代价。两边都有,理由不同同一参数,分别决定mitigations=off主机:客户机到主机的泄漏客户机:进程隔离default_hugepagesz + hugepages主机:支撑客户机内存客户机:支撑某个应用只选一层,别两层都上watchdog_thresh / nowatchdog主机:你接受的噪声客户机:从来不可信“两边都有”不是说两处都要设置。而是说这个决定要做两次。两边都不要:毫无作用amd_iommu=on不是有效选项;内核记下 “Unknown option - 'on'” 后照常运行consoleblank=0本来就是内核默认值照抄来的启动行里如果有其中任何一个,说明它从没对照 /proc/cmdline 核实过,而这是最省事的检查,也能顺带发现改错引导程序的错误。
流传的参数,分好类。其中两个流行参数在哪一侧都不起作用,而看门狗那一行确实需要判断,而不是一条规则。

首先:你改的文件对吗?

以 ZFS 为根文件系统安装的 Proxmox 用 systemd-boot 启动,这时 /etc/default/grub 没有任何东西去读。改了它再重启,不会有变化,也不会报错。白白浪费一个钟头,叫人恼火。

proxmox-boot-tool status          # tells you which bootloader is in use
# systemd-boot: edit /etc/kernel/cmdline, then
proxmox-boot-tool refresh

# GRUB: edit /etc/default/grub, then
update-grub

无论哪种,都要验证,别想当然:

cat /proc/cmdline

在 GRUB 那边,要用 GRUB_CMDLINE_LINUX_DEFAULT,而不是 GRUB_CMDLINE_LINUX。后者作用于每一个启动项,包括恢复模式,而恢复模式恰恰是你想要原厂行为的时候,不是关掉缓解措施、钉死 C 状态的时候。

主机那一行

IOMMU 与直通

iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction

iommu=pt 让 IOMMU 进入直通模式:分配给虚拟机的设备经过地址转换,主机自己的设备绕过转换。它是真实存在的,在 arch/x86/kernel/pci-dma.c 中处理,那里调用了 iommu_set_default_passthrough(true)。内核文档说它等同于 iommu.passthrough=1。

amd_iommu=on 根本不存在。 这是 Proxmox 教程里被抄得最多的不存在的参数。内核的 parse_amd_iommu_options() 接受 fullflush、force_enable、off、force_isolation、pgtbl_v1、pgtbl_v2、irtcachedis、nohugepages 和 v2_pgsizes_only。其他任何值都落到这里:

pr_notice("Unknown option - '%s'\n", str);

只要固件声明支持,AMD-Vi 默认就是启用的。查一查你自己的日志,就会发现这个参数从来没干过人们归功于它的那件事:

dmesg | grep -i "AMD-Vi\|Unknown option"

amd_iommu=pgtbl_v2 是 有效的:它选择 v2 DMA 页表格式,与 CPU 的页表结构共用,而不是用 AMD 自己的格式。有两点要知道:文档把它的作用范围限定在 DMA-API,也就是主机自己的设备域,而不是直通所用的 VFIO 域;而且它失败时是安全的,会留下一行日志,你应该去检查:

if (amd_iommu_pgtable == PD_MODE_V2) {
    if (!amd_iommu_v2_pgtbl_supported()) {
        pr_warn("Cannot enable v2 page table for DMA-API. Fallback to v1.\n");
        amd_iommu_pgtable = PD_MODE_V1;
    }
}

所以在主机侧 IO 很重的节点上值得测一测,也值得确认你真的用上了它。

pcie_acs_override=downstream,multifunction 是 Proxmox 的树外补丁。它通过声称硬件并未声明的隔离来拆分 IOMMU 组,正是这一点让消费级主板上的直通成为可能。它同时也正好是在告诉内核一件关于拓扑的不实之事。如果这台机器上的客户机和主机一样可信,没问题。否则就不行。原因在 IOMMU 税那篇文章 里有更多讨论。

延迟与抖动

pcie_aspm=off processor.max_cstate=1 amd_pstate=disable

pcie_aspm=off 让 PCIe 链路不进入低功耗状态,这样到来的 IO 永远不必等链路醒来。每条链路要多花几瓦,换来的是去掉一条很难诊断的延迟长尾。见 PCIe ASPM 与直通。

processor.max_cstate=1 把 ACPI 空闲状态限制在 C1。注意是哪个驱动:这是 processor/acpi_idle 的开关,所以在 Intel 上你还需要 intel_idle.max_cstate=1,因为 intel_idle 优先。在 AMD 上用这个就对了。

确实存在反方观点。空闲核心进入深度睡眠,正是封装获得散热和功耗余量、让繁忙核心加速的来源,所以把一切钉在 C1 可能 降低 你的单线程峰值频率,同时提高空闲功耗。在对延迟敏感的主机上,这笔交易通常值得。在追求吞吐量的主机上就未必。去测量它,别照单全收。

amd_pstate=disable 会退回到 acpi-cpufreq。动用它之前,先了解有文档的替代方案:passive(驱动请求一个性能等级)、active(EPP 驱动,偏向性能或能效)和 guided。偏向性能的 active,或者 passive 加 performance 调速器,往往能得到同样的延迟,同时保留 CPPC 更精细的控制。如果你确实禁用了它,就有意识地选一个调速器:落到 acpi-cpufreq 加 schedutil 上,可能是在倒退。

内存

default_hugepagesz=1G hugepages=64

单独一个 default_hugepagesz=1G 什么也不保留。 内核文档说它设置的是“the size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs”,是一个 单位,不是一次分配。分配来自 hugepages=,文档写的是“Number of HugeTLB pages to allocate at boot”。

这对 1 GiB 页比对 2 MiB 页重要得多,因为主机一旦运行了一段时间、内存碎片化之后,连续的 1 GiB 区域实际上已经拿不到了。启动时是你唯一靠得住的机会。

然后客户机还得主动选用(在虚拟机配置里写 hugepages: 1024)。保留了却没人用的页,就是你拿不回来的内存,而且使用它们的虚拟机会失去 ballooning 和 KSM。

安全上的取舍

mitigations=off

这不是一个开关。内核把它展开成一个列表,在虚拟化主机上,要紧的是这些条目:

l1tf=off   mds=off   mmio_stale_data=off   kvm.nx_huge_pages=off
gather_data_sampling=off   retbleed=off   spec_rstack_overflow=off
nospectre_v2   nopti   indirect_target_selection=off

内核自己的总结是“improves system performance, but it may also expose users to several CPU vulnerabilities”。L1TF、MDS 和 MMIO stale data 专门是客户机到主机、客户机到客户机的泄露路径,而 kvm.nx_huge_pages 是 KVM 自身内部针对 iTLB-multihit 的缓解措施。

在单租户机器上,如果每台客户机都和主机一样可信,这说得过去。在客户机不可信或属于不同租户的地方,说不过去。还要注意它会和 pcie_acs_override 叠加:同一行里拿掉了两项相互独立的隔离保证。要做就有意去做,别因为继承而做。

走 USB4 的 PCIe 会改变其中两项

如果你的 PCIe 设备是通过 USB4 或 Thunderbolt 接进来的,比如外置 GPU 或 NVMe 硬盘盒,上面有两个答案会变。

MPS 调优不再是白赚

在固定插槽上,pci=pcie_bus_perf 是一个白赚的小收益。内核对它的描述是:

Set device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.

问题在于它 在启动时 根据启动时存在的拓扑配置桥。走 USB4 时热插拔是常态,后来加入的设备支持的 MPS 可能比桥已经设定的值更小。

内核在宣传另一种策略的时候,把不便明说的话说了出来:

pcie_bus_peer2peer — Set every device’s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.

只有一种策略带着这个保证,而它恰恰是把一切钉死在 128 字节的那种,正是 MaxPayloadSize 调优 想要摆脱的东西。对于热插拔拓扑,pcie_bus_safe(根复合体下所有设备都支持的最大值)或者干脆保持 tune_off,是更安全的起点。隧道自己的交换芯片本来就会限制可达到的 MPS,所以这个上限从来就不由你来抬。

为什么热插拔改变了 MPS 策略的答案启动时,pcie_bus_perf 按它能看到的设备配置桥桥:MPS 512设备 A · 512设备 B · 512启动时在场热插入 · 只支持 256不匹配不会重新协商在机箱里这从不发生,启动时的拓扑就是永远的拓扑。在 USB4 端口上,这却是常态。四种策略,以及内核认定哪一种对热插拔安全pcie_bus_tune_off不动 BIOS 设的值pcie_bus_safe根复合体下所有设备都支持的最大值pcie_bus_perf逐设备取父总线允许的最大值,另加 MRRSpcie_bus_peer2peer处处 128 B,“guarantees that hot-added devices will work”只有一种策略带这个保证,而它恰恰扔掉了你正在调的负载大小。
桥只在启动时根据当时存在的设备配置一次。之后的一切都得接受这个决定,在机箱里没问题,在端口上就不行。

安全上的叠加变得严重

外接 PCIe 意味着有人可以把一个能做 DMA 的设备插进你的虚拟化主机。内核的 Thunderbolt 文档说得很直接:

…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.

IOMMU 是防线。现在数一数主机那一行对它做了什么。iommu=pt 让主机拥有的设备使用不做转换的恒等域,pcie_acs_override 声称了并不存在的隔离,mitigations=off 关掉了客户机隔离的缓解措施。每一项单独看都说得过去。放在一台 USB4 端口伸手可及的机器上,它们就叠加起来了。

看看你处在什么位置:

cat /sys/bus/thunderbolt/devices/domain*/security   # none | user | secure | dponly | usbonly

在那条启动行旁边看到 none,就是门户大开。如果端口能被你不会给 root 的人碰到,iommu=pt 是我会最先重新考虑的东西。

客户机那一行

这些参数属于虚拟机 内部,其中三个在这里的含义和在主机上不一样。

nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1

cpuidle.off=1 关闭 cpuidle 子系统。在客户机里这几乎没有代价:客户机的空闲状态是模拟出来的,没有物理核心可以让它睡眠,所以这个框架带给你的只有唤醒延迟。在主机上,同一个参数是实打实的功耗和加速余量的交换,而且和 processor.max_cstate=1 重叠。只用在客户机侧。

softlockup_panic=0 阻止软锁死让客户机 panic。这在虚拟机里确实有保护作用,因为那里的软锁死常常不是客户机的错。一个被调度出去的 vCPU,看上去和一个拒绝让出 CPU 的任务一模一样。这和 为什么虚拟机的时钟不可信 背后是同一个机制。不过先查一查你是否需要它。在大多数构建里它默认就是 0。

sysctl kernel.softlockup_panic

nmi_watchdog=0 是最有意思的那个,它值得的不只是一条规则。

看门狗问题

有两个检测器共用一个阈值:

watchdog_thresh= — Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.

硬锁死(nmi_watchdog)在一个 CPU 完全不再接收定时器中断时触发。软锁死在一个任务霸占 CPU 两倍时长而不发生调度时触发。

在客户机里,关掉硬锁死检测器是对的。 被调度出去的 vCPU 可能在自己毫无过错的情况下触发它,而检测器的性能计数器工作会为一个纯属噪音的信号引发虚拟机退出。

在主机上这需要判断,取决于你实际在追的是什么噪音。 超额分配饿着的是客户机,不是主机内核:无论虚拟机塞得多满,主机的物理 CPU 都在继续接收中断。所以繁忙的虚拟化主机打出来的日志噪音,绝大多数是 软锁死和 RCU stall 消息,而不是 NMI 硬锁死报告。如果噪音是这些,nmi_watchdog=0 让它安静不了,softlockup_panic=0 也不行:后者阻止的是 panic,不是消息。

有针对性的开关是:

watchdog_thresh=30        # hard 30s, soft 60s — scale to taste
nowatchdog                # honest single flag: disables both detectors
sysctl -w kernel.soft_watchdog=0   # runtime, keeps hard-lockup detection

在繁忙的主机上关闭硬锁死检测器,还有一个独立而且更好的理由,和噪音毫无关系:它在每个 CPU 上占用一个硬件性能计数器。 这就是为什么这个参数接受 rNNN 来配置一个原始 perf 事件。如果你在做基于 PMU 的性能剖析,或者运行一台刻意超额分配的机器,已经把延迟波动当作密度的代价接受下来,那么把这个计数器还回来是合理的交换,而你有意签下的那些小卡顿也算不上事故。

只是要为了这个理由做选择,而不是为了噪音的理由,因为两个理由只有一个是真的。

consoleblank=0 什么也不做。 内核文档对控制台空白超时的描述是“A value of 0 disables the blank timer. Defaults to 0.”它本来就是关的。无害,但它是常见流传参数里第二个毫无作用的,带着它,会让一条被抄来抄去的启动行看起来像是深思熟虑过。

速查:每个参数属于哪里

参数主机客户机说明
iommu=pt是否主机拥有 IOMMU。只有在客户机里用 vIOMMU 做嵌套直通时才适用
amd_iommu=pgtbl_v2是否主机的 DMA-API 域。确认你拿到的是 v2,而不是退回的 v1
amd_iommu=on——不是有效选项。 内核会记录“Unknown option - ‘on’”
pcie_acs_override=…是否Proxmox 补丁,只关乎主机拓扑。设计上就削弱隔离
pcie_aspm=off是否客户机里没有真实的 PCIe 链路;物理链路归主机
pci=pcie_bus_perf是不可靠主机在线路上设定 MPS。如果设备走 USB4 接入,改用 pcie_bus_safe
processor.max_cstate=1是否真实的空闲状态属于主机。Intel 上加 intel_idle.max_cstate=1
amd_pstate=disable是否客户机不控制 CPU 频率
cpuidle.off=1谨慎是在客户机里没有代价。在主机上会损失加速余量,并与 max_cstate 重叠
nmi_watchdog=0需判断是在客户机里是对的。在主机上,为了 PMU 计数器去做,而不是为了噪音
softlockup_panic=0否是客户机卡顿常常是主机调度器造成的。通常本来就是默认值
consoleblank=0——无操作。 内核默认值本来就是 0
mitigations=off两边两边两边都有效,风险算法不同:主机上是客户机到主机的泄露,客户机里是进程隔离
default_hugepagesz + hugepages=两边两边主机:为虚拟机内存提供后备。客户机:虚拟机里某个需要它的负载。目的不同,参数相同
watchdog_thresh= / nowatchdog两边两边主机:让你已经接受的卡顿安静下来。客户机:这个检测器从来就不可信

确实有三个属于两边,而且值得说清楚:“两边”并不意味着“出于同样的理由”:

  • 主机上的 mitigations=off 关乎客户机到主机、客户机到客户机的泄露。在客户机里,它关乎该虚拟机内部的进程隔离。你完全可以在一处关掉它,另一处不关。
  • 主机上的 大页 为客户机内存提供后备;在客户机里它们为某个应用提供后备。为同一块内存保留两次是浪费,所以要决定是哪一层需要它们。
  • 看门狗调优 在主机上是噪音问题,在客户机里是正确性问题。

其余的一切都只属于一边,而其中两个根本算不上选择。

两条启动行

主机,一台做直通的 AMD 机器,单租户:

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off"

如果有任何东西走 USB4 接入,把 pci=pcie_bus_perf 换成 pcie_bus_safe。如果客户机不全是你的,去掉 mitigations=off。在 Intel 上,intel_iommu=on 取代 AMD 的参数,intel_idle.max_cstate=1 加入 C 状态限制。

Linux 客户机:

GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1"

并且在客户机里别动 kvm-clock:不要强制使用 tsc 或 hpet。半虚拟化时钟之所以存在,正是因为那些计数器不归你。这就是 虚拟机计时那篇文章 的全部论点。

该删掉什么

如果你从论坛帖子里继承了一条启动行,最先该删的是这两个,因为删掉它们一分钱不花,而它们证明这条启动行从来没被测试过:

  • amd_iommu=on:不是有效选项;内核记录“Unknown option - ‘on’”然后照常运行
  • consoleblank=0:本来就是默认值

然后在重启后对照 /proc/cmdline 检查剩下的。那一行上的每个参数,都应该是你说得出理由的。

如果你说不出一个参数是干什么的,那就不是调优。那是迷信。而且它会被某个信任你的人抄进下一次构建。

参考资料