O problema das linhas de arranque copiadas

Pesquisa afinação do Proxmox e vais encontrar uma única linha GRUB_CMDLINE_LINUX comprida, apresentada como um todo, sem qualquer indicação de que flags se aplicam onde.

Isso importa mais do que parece. O hipervisor e o convidado estão a resolver problemas opostos.

O host quer acesso determinístico a hardware real: comportamento do IOMMU, estados das ligações PCIe, estados de inatividade físicos. O convidado quer deixar de fingir que tem hardware: os seus temporizadores são aproximações, os seus estados de inatividade são ficção, e os seus bloqueios são normalmente o escalonador de outra pessoa. Como tal, a mesma flag pode estar certa de um lado, ser inútil do outro, e de vez em quando ser prejudicial.

Abaixo fica onde cada uma realmente pertence.

Onde pertence cada flag de arranque do kernelSó hosto hardware real vive aquiiommu=ptamd_iommu=pgtbl_v2pcie_acs_override=…pcie_aspm=offpci=pcie_bus_perf→ pcie_bus_safe se USB4processor.max_cstate=1+ intel_idle.max_cstate na Intelamd_pstate=disabledefine também um governorO convidado não tem ligações PCIe,nem C-states, nem cpufreq.Só convidadodeixa de fingir que é hardwarecpuidle.off=1a inatividade do convidado é ficçãonmi_watchdog=0um vCPU sem escalonamento dispara-osoftlockup_panic=0o bloqueio foi culpa do hostDeixa o kvm-clock em paz.Não forces tsc nem hpet —os contadores não são teus.No host, estas trêssignificam outra coisa,e duas delas custam-tealgo real.Ambos — razões diferentesmesma flag, decisão separadamitigations=offhost: fugas convidado-hostconvidado: isolar processosdefault_hugepagesz + hugepageshost: RAM dos convidadosconvidado: uma aplicaçãoescolhe uma camada, não as duaswatchdog_thresh / nowatchdoghost: ruído que aceitasteconvidado: nunca fiável«Ambos» não quer dizer quea ponhas nos dois sítios.Quer dizer que a decisão tem deser tomada duas vezes.Nenhum — estas não fazem nadaamd_iommu=onnão é uma opção válida; o kernel regista «Unknown option - 'on'» e segue em frenteconsoleblank=0já é o valor por omissão do kernelSe uma linha de arranque copiada contém alguma destas, nunca foi conferida contra /proc/cmdline —a verificação mais barata que há, e a que apanha o erro do bootloader erradotambém.
As flags em circulação, ordenadas. Duas das mais populares não fazem nada em nenhum dos lados, e a linha do watchdog é uma verdadeira questão de critério e não uma regra.

Primeiro: estás sequer a editar o ficheiro certo?

Uma instalação Proxmox com raiz em ZFS arranca com systemd-boot, onde ninguém lê /etc/default/grub. Editá-lo e reiniciar não produz alteração nenhuma nem erro nenhum. É uma hora frustrante.

proxmox-boot-tool status          # tells you which bootloader is in use
# systemd-boot: edit /etc/kernel/cmdline, then
proxmox-boot-tool refresh

# GRUB: edit /etc/default/grub, then
update-grub

Seja como for, verifica em vez de supor:

cat /proc/cmdline

E do lado do GRUB, usa GRUB_CMDLINE_LINUX_DEFAULT, não GRUB_CMDLINE_LINUX. Esta última aplica-se a todas as entradas de arranque, incluindo a de recuperação, e a recuperação é exatamente quando queres o comportamento de origem, não as mitigações desligadas e os C-states fixados.

A linha do host

IOMMU e passthrough

iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction

iommu=pt põe o IOMMU em modo passthrough: os dispositivos atribuídos a VM são traduzidos, os dispositivos nativos do host contornam a tradução. É real e é tratado em arch/x86/kernel/pci-dma.c, que chama iommu_set_default_passthrough(true). O kernel documenta-o como equivalente a iommu.passthrough=1.

amd_iommu=on não existe. É o parâmetro inexistente mais copiado nos guias de Proxmox. A função parse_amd_iommu_options() do kernel aceita fullflush, force_enable, off, force_isolation, pgtbl_v1, pgtbl_v2, irtcachedis, nohugepages e v2_pgsizes_only. Tudo o resto vem parar aqui:

pr_notice("Unknown option - '%s'\n", str);

O AMD-Vi está ativo por omissão quando o firmware o anuncia. Verifica o teu próprio log e vais descobrir que o parâmetro nunca fez o trabalho que lhe atribuíam:

dmesg | grep -i "AMD-Vi\|Unknown option"

amd_iommu=pgtbl_v2 é válido: seleciona o formato de tabela de páginas DMA v2, que partilha a estrutura da tabela de páginas da CPU em vez de usar a da própria AMD. Duas coisas a saber: a documentação limita-o à DMA-API, ou seja, aos domínios de dispositivos do próprio host e não aos domínios VFIO usados para passthrough; e falha em segurança, com uma linha de log que deves procurar:

if (amd_iommu_pgtable == PD_MODE_V2) {
    if (!amd_iommu_v2_pgtbl_supported()) {
        pr_warn("Cannot enable v2 page table for DMA-API. Fallback to v1.\n");
        amd_iommu_pgtable = PD_MODE_V1;
    }
}

Por isso vale a pena medi-lo num nó com muito IO do lado do host, e vale a pena verificar que o obtiveste mesmo.

pcie_acs_override=downstream,multifunction é o patch fora da árvore do Proxmox. Divide os grupos IOMMU afirmando um isolamento que o hardware não anuncia, e é isso que torna o passthrough possível em placas de consumo. É também, exatamente, dizer ao kernel algo falso sobre a topologia. Aceitável numa máquina cujos convidados mereçam tanta confiança como o host. Não aceitável no resto dos casos. Há mais sobre o porquê no artigo sobre o imposto do IOMMU.

Latência e jitter

pcie_aspm=off processor.max_cstate=1 amd_pstate=disable

pcie_aspm=off mantém as ligações PCIe fora dos estados de baixo consumo, para que um IO que chega nunca tenha de esperar que uma acorde. Custa alguns watts por ligação e elimina uma cauda de latência difícil de diagnosticar. Vê PCIe ASPM e passthrough.

processor.max_cstate=1 limita a inatividade ACPI a C1. Repara no driver: este é o botão de processor/acpi_idle, por isso na Intel precisas também de intel_idle.max_cstate=1, porque o intel_idle tem precedência. Na AMD é este o certo.

Há um contra-argumento real. O sono profundo nos núcleos inativos é o que dá ao pacote margem térmica e de energia para fazer boost aos ocupados, por isso fixar tudo em C1 pode baixar a tua frequência máxima de thread única enquanto sobe o consumo em inatividade. Num host sensível à latência, essa troca costuma valer a pena. Num host à procura de débito, talvez não. Mede-a em vez de a herdar.

amd_pstate=disable recua para o acpi-cpufreq. Vale a pena conhecer as alternativas documentadas antes de recorrer a ele: passive (o driver pede um nível de desempenho), active (o driver EPP, com tendência para desempenho ou eficiência) e guided. active com tendência para desempenho, ou passive mais o governor performance, consegue muitas vezes a mesma latência mantendo o controlo mais fino do CPPC. E se o desativares, escolhe um governor de propósito: cair no acpi-cpufreq com schedutil pode ser um passo atrás.

Memória

default_hugepagesz=1G hugepages=64

default_hugepagesz=1G sozinho não reserva nada. O kernel documenta-o como definindo «the size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs»: uma unidade, não uma alocação. A alocação vem de hugepages=, documentado como «Number of HugeTLB pages to allocate at boot».

Isso importa muito mais para páginas de 1 GiB do que de 2 MiB, porque regiões contíguas de 1 GiB são, na prática, impossíveis de obter quando o host já está ligado há algum tempo e a memória fragmentada. O arranque é a tua única oportunidade fiável.

Depois o convidado tem de aderir (hugepages: 1024 na configuração da VM). Páginas reservadas que nada usa são apenas memória que não consegues recuperar, e perdes o ballooning e o KSM nas VM que as usam.

A troca de segurança

mitigations=off

Isto não é um interruptor. O kernel expande-o numa lista, e num hipervisor estas são as entradas que importam:

l1tf=off   mds=off   mmio_stale_data=off   kvm.nx_huge_pages=off
gather_data_sampling=off   retbleed=off   spec_rstack_overflow=off
nospectre_v2   nopti   indirect_target_selection=off

O resumo do próprio kernel é «improves system performance, but it may also expose users to several CPU vulnerabilities». L1TF, MDS e MMIO stale data são especificamente caminhos de fuga do convidado para o host e de convidado para convidado, e kvm.nx_huge_pages é a mitigação do iTLB-multihit dentro do próprio KVM.

Defensável numa máquina de um só inquilino em que todos os convidados merecem tanta confiança como o host. Não defensável onde os convidados não são de confiança ou pertencem a inquilinos diferentes. E repara que se soma ao pcie_acs_override: duas garantias de isolamento independentes retiradas na mesma linha. Vale a pena fazê-lo de propósito e não por herança.

O PCIe sobre USB4 muda duas destas

Se os teus dispositivos PCIe chegam por USB4 ou Thunderbolt (uma GPU externa ou uma caixa NVMe), duas das respostas acima mudam.

A afinação do MPS deixa de ser grátis

Em slots fixos, pci=pcie_bus_perf é um pequeno ganho grátis. O kernel descreve-o assim:

Set device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.

O senão é que configura as bridges no arranque, a partir da topologia presente no arranque. Sobre USB4, o hot-plug é o caso normal, e um dispositivo acrescentado mais tarde pode suportar um MPS mais pequeno do que aquele com que a bridge já ficou configurada.

O kernel diz em voz alta a parte que se costuma calar, ao anunciar outra política:

pcie_bus_peer2peer — Set every device’s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.

Só uma política traz essa garantia, e é a que fixa tudo em 128 bytes, exatamente aquilo de que a afinação do MaxPayloadSize pretende fugir. Para uma topologia com hot-plug, pcie_bus_safe (o maior valor suportado por todos os dispositivos abaixo do root complex) ou simplesmente deixar tune_off é o ponto de partida mais seguro. O switch do próprio túnel limita o MPS alcançável de qualquer forma, por isso o teto nunca foi teu para subir.

Porque é que o hot-plug muda a resposta sobre a política de MPSNo arranque, pcie_bus_perf configura a bridge a partir do que consegue verbridge — MPS 512dispositivo A · 512dispositivo B · 512presentes no arranqueligado a quente · só 256não correspondenada renegociadoNum chassis isso nunca acontece — a topologia no arranque é a topologia para sempre. Numa porta USB4é o caso normal.As quatro políticas, e qual o kernel diz ser segura para hot-plugpcie_bus_tune_offdeixa os valores da BIOS em pazpcie_bus_safemaior valor que todos os dispositivos abaixo do root complex suportampcie_bus_perfo maior que o bus pai permite, por dispositivo — mais MRRSpcie_bus_peer2peer128 B em todo o lado —«guarantees that hot-added devices will work»Só uma política traz essa garantia, e é a que deita fora o tamanho de payload queestavas a afinar.
A bridge é configurada uma vez, no arranque, a partir dos dispositivos então presentes. Tudo o que vem depois tem de viver com essa decisão, o que está bem num chassis e não está bem numa porta.

O empilhamento de segurança torna-se sério

PCIe externo significa que alguém pode ligar ao teu hipervisor um dispositivo capaz de DMA. A documentação do kernel sobre Thunderbolt é direta:

…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.

O IOMMU é a defesa. Agora conta o que a linha do host lhe faz. iommu=pt dá aos dispositivos do host domínios de identidade sem tradução, pcie_acs_override afirma um isolamento que não existe, e mitigations=off desliga as mitigações de isolamento dos convidados. Cada uma é defensável sozinha. Juntas, numa máquina com uma porta USB4 fisicamente acessível, acumulam-se.

Verifica onde estás:

cat /sys/bus/thunderbolt/devices/domain*/security   # none | user | secure | dponly | usbonly

none ao lado dessa linha de arranque é uma porta aberta. Se as portas estão ao alcance de pessoas a quem não darias root, iommu=pt é a primeira coisa que eu reconsideraria.

A linha do convidado

Estas são as que pertencem dentro da VM, e três delas significam aqui algo diferente do que significariam no host.

nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1

cpuidle.off=1 desativa o subsistema cpuidle. Num convidado isso quase não custa nada: os estados de inatividade do convidado são emulação, e não há núcleo físico para pôr a dormir, por isso tudo o que a framework te dá é latência ao acordar. No host, a mesma flag é uma troca real de energia e de margem de boost, e sobrepõe-se a processor.max_cstate=1. Só do lado do convidado.

softlockup_panic=0 impede que um soft lockup ponha o convidado em pânico. Numa VM isto protege de verdade, porque lá um soft lockup muitas vezes não é culpa do convidado. Um vCPU retirado do escalonamento parece exatamente uma tarefa que se recusou a ceder. É o mesmo mecanismo que explica porque não se pode confiar no relógio de uma VM. Mas verifica se precisas dela. Na maioria das builds é 0 por omissão.

sysctl kernel.softlockup_panic

nmi_watchdog=0 é a interessante, e merece mais do que uma regra.

A questão do watchdog

Há dois detetores a partilhar um limiar:

watchdog_thresh= — Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.

O hard lockup (nmi_watchdog) dispara quando uma CPU deixa de todo de receber interrupções do temporizador. O soft lockup dispara quando uma tarefa monopoliza uma CPU durante o dobro do tempo sem escalonar.

Num convidado, desativar o detetor de hard lockup está certo. Um vCPU retirado do escalonamento pode dispará-lo sem culpa nenhuma, e o trabalho do detetor com contadores de desempenho provoca saídas da VM por um sinal que não era mais do que ruído.

No host é uma questão de critério, e depende do ruído que estás realmente a perseguir. O sobreaprovisionamento deixa os convidados à fome, não o kernel do host: as CPU físicas do host continuam a receber interrupções por muito apinhadas que estejam as VM. Por isso o ruído de log que um hipervisor ocupado produz é esmagadoramente mensagens de soft lockup e RCU stall, não relatórios de hard lockup NMI. Se o ruído é esse, nmi_watchdog=0 não o cala, e softlockup_panic=0 também não: esse trava o pânico, não as mensagens.

Os botões certeiros são:

watchdog_thresh=30        # hard 30s, soft 60s — scale to taste
nowatchdog                # honest single flag: disables both detectors
sysctl -w kernel.soft_watchdog=0   # runtime, keeps hard-lockup detection

Há uma razão separada e melhor para desativar o detetor de hard lockup num host ocupado, que nada tem a ver com ruído: consome um contador de desempenho de hardware por CPU. É por isso que o parâmetro aceita rNNN para configurar um evento perf em bruto. Se estás a fazer profiling baseado na PMU, ou a correr uma máquina deliberadamente sobreaprovisionada em que já aceitaste a variação de latência como preço da densidade, devolver esse contador é uma troca razoável, e pequenos bloqueios que aceitaste conscientemente não são incidentes.

Só faz a escolha por essa razão e não pela razão do ruído, porque só uma delas é verdadeira.

consoleblank=0 não faz nada. O kernel documenta o tempo de apagamento da consola como «A value of 0 disables the blank timer. Defaults to 0.» Já está desligado. Inofensivo, mas é o segundo parâmetro em circulação comum que não tem efeito nenhum, e trazê-lo faz uma linha parecer ponderada quando é copiada.

Referência rápida: onde pertence cada flag

FlagHostConvidadoNotas
iommu=ptsimnãoO host é dono do IOMMU. Só se aplica num convidado se estiveres a correr passthrough aninhado com um vIOMMU
amd_iommu=pgtbl_v2simnãoDomínios DMA-API do host. Verifica que obtiveste o v2 e não o recurso ao v1
amd_iommu=on——Não é uma opção válida. O kernel regista «Unknown option - ‘on’»
pcie_acs_override=…simnãoPatch do Proxmox, só para a topologia do host. Enfraquece o isolamento por desenho
pcie_aspm=offsimnãoNão há ligações PCIe reais num convidado; o host é dono da ligação física
pci=pcie_bus_perfsimnão de forma fiávelO host define o MPS no fio. Usa antes pcie_bus_safe se os dispositivos chegarem por USB4
processor.max_cstate=1simnãoOs estados de inatividade reais são do host. Acrescenta intel_idle.max_cstate=1 na Intel
amd_pstate=disablesimnãoOs convidados não controlam a frequência da CPU
cpuidle.off=1com cuidadosimGrátis num convidado. No host custa margem de boost e sobrepõe-se a max_cstate
nmi_watchdog=0critériosimCerto num convidado. No host, fá-lo pelo contador da PMU, não pelo ruído
softlockup_panic=0nãosimOs bloqueios do convidado são muitas vezes o escalonador do host. Normalmente já é o valor por omissão
consoleblank=0——Não faz nada. O valor por omissão do kernel já é 0
mitigations=offambosambosVálido em qualquer um, com cálculo de risco diferente: fugas do convidado para o host no host, isolamento de processos no convidado
default_hugepagesz + hugepages=ambosambosHost: suportar a memória das VM. Convidado: uma carga dentro da VM que as queira. Propósitos diferentes, as mesmas flags
watchdog_thresh= / nowatchdogambosambosHost: calar bloqueios que aceitaste. Convidado: o detetor nunca foi de confiança

Três pertencem genuinamente aos dois lados, e vale a pena ser exato: «ambos» não quer dizer «pela mesma razão»:

  • mitigations=off no host tem a ver com fugas do convidado para o host e de convidado para convidado. Dentro de um convidado tem a ver com o isolamento de processos dentro dessa VM. Podes razoavelmente desativá-lo num sítio e não no outro.
  • As hugepages no host suportam a RAM dos convidados; num convidado suportam uma aplicação. Reservá-las duas vezes para a mesma memória é desperdício, por isso decide que camada as quer.
  • A afinação do watchdog é uma decisão de ruído no host e uma decisão de correção no convidado.

Tudo o resto é de um lado ou do outro, e duas delas nem sequer são escolhas.

As duas linhas

Host, numa máquina AMD a fazer passthrough, de um só inquilino:

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off"

Troca pci=pcie_bus_perf por pcie_bus_safe se alguma coisa chegar por USB4. Tira mitigations=off se os convidados não forem todos teus. Na Intel, intel_iommu=on substitui as flags AMD e intel_idle.max_cstate=1 junta-se ao limite de C-states.

Convidado Linux:

GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1"

E deixa o kvm-clock em paz no convidado: não forces tsc nem hpet. O relógio paravirtual existe precisamente porque os contadores não são teus. É o argumento todo do artigo sobre a medição do tempo nas VM.

O que apagar

Se herdaste uma linha de uma publicação num fórum, estas duas são as primeiras coisas a tirar, porque não te dão nada e provam que a linha nunca foi testada:

  • amd_iommu=on: não é uma opção válida; o kernel regista «Unknown option - ‘on’» e segue em frente
  • consoleblank=0: já é o valor por omissão

E confere o resto contra /proc/cmdline depois de reiniciar. Cada flag nessa linha deve ser uma para a qual consegues dar uma razão.

Se não consegues dizer o que uma flag faz, isso não é afinação. É superstição. E vai ser copiada para a próxima build por alguém que confia em ti.

Referências