O problema das linhas de arranque copiadas
Pesquisa afinação do Proxmox e vais encontrar uma única linha GRUB_CMDLINE_LINUX comprida, apresentada como um todo, sem qualquer indicação de que flags se aplicam onde.
Isso importa mais do que parece. O hipervisor e o convidado estão a resolver problemas opostos.
O host quer acesso determinístico a hardware real: comportamento do IOMMU, estados das ligações PCIe, estados de inatividade físicos. O convidado quer deixar de fingir que tem hardware: os seus temporizadores são aproximações, os seus estados de inatividade são ficção, e os seus bloqueios são normalmente o escalonador de outra pessoa. Como tal, a mesma flag pode estar certa de um lado, ser inútil do outro, e de vez em quando ser prejudicial.
Abaixo fica onde cada uma realmente pertence.
Primeiro: estás sequer a editar o ficheiro certo?
Uma instalação Proxmox com raiz em ZFS arranca com systemd-boot, onde ninguém lê /etc/default/grub. Editá-lo e reiniciar não produz alteração nenhuma nem erro nenhum. É uma hora frustrante.
proxmox-boot-tool status # tells you which bootloader is in use
# systemd-boot: edit /etc/kernel/cmdline, then
proxmox-boot-tool refresh
# GRUB: edit /etc/default/grub, then
update-grub
Seja como for, verifica em vez de supor:
cat /proc/cmdline
E do lado do GRUB, usa GRUB_CMDLINE_LINUX_DEFAULT, não GRUB_CMDLINE_LINUX. Esta última aplica-se a todas as entradas de arranque, incluindo a de recuperação, e a recuperação é exatamente quando queres o comportamento de origem, não as mitigações desligadas e os C-states fixados.
A linha do host
IOMMU e passthrough
iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction
iommu=pt põe o IOMMU em modo passthrough: os dispositivos atribuídos a VM são traduzidos, os dispositivos nativos do host contornam a tradução. É real e é tratado em arch/x86/kernel/pci-dma.c, que chama iommu_set_default_passthrough(true). O kernel documenta-o como equivalente a iommu.passthrough=1.
amd_iommu=on não existe. É o parâmetro inexistente mais copiado nos guias de Proxmox. A função parse_amd_iommu_options() do kernel aceita fullflush, force_enable, off, force_isolation, pgtbl_v1, pgtbl_v2, irtcachedis, nohugepages e v2_pgsizes_only. Tudo o resto vem parar aqui:
pr_notice("Unknown option - '%s'\n", str);
O AMD-Vi está ativo por omissão quando o firmware o anuncia. Verifica o teu próprio log e vais descobrir que o parâmetro nunca fez o trabalho que lhe atribuíam:
dmesg | grep -i "AMD-Vi\|Unknown option"
amd_iommu=pgtbl_v2 é válido: seleciona o formato de tabela de páginas DMA v2, que partilha a estrutura da tabela de páginas da CPU em vez de usar a da própria AMD. Duas coisas a saber: a documentação limita-o à DMA-API, ou seja, aos domínios de dispositivos do próprio host e não aos domínios VFIO usados para passthrough; e falha em segurança, com uma linha de log que deves procurar:
if (amd_iommu_pgtable == PD_MODE_V2) {
if (!amd_iommu_v2_pgtbl_supported()) {
pr_warn("Cannot enable v2 page table for DMA-API. Fallback to v1.\n");
amd_iommu_pgtable = PD_MODE_V1;
}
}
Por isso vale a pena medi-lo num nó com muito IO do lado do host, e vale a pena verificar que o obtiveste mesmo.
pcie_acs_override=downstream,multifunction é o patch fora da árvore do Proxmox. Divide os grupos IOMMU afirmando um isolamento que o hardware não anuncia, e é isso que torna o passthrough possível em placas de consumo. É também, exatamente, dizer ao kernel algo falso sobre a topologia. Aceitável numa máquina cujos convidados mereçam tanta confiança como o host. Não aceitável no resto dos casos. Há mais sobre o porquê no artigo sobre o imposto do IOMMU.
Latência e jitter
pcie_aspm=off processor.max_cstate=1 amd_pstate=disable
pcie_aspm=off mantém as ligações PCIe fora dos estados de baixo consumo, para que um IO que chega nunca tenha de esperar que uma acorde. Custa alguns watts por ligação e elimina uma cauda de latência difícil de diagnosticar. Vê PCIe ASPM e passthrough.
processor.max_cstate=1 limita a inatividade ACPI a C1. Repara no driver: este é o botão de processor/acpi_idle, por isso na Intel precisas também de intel_idle.max_cstate=1, porque o intel_idle tem precedência. Na AMD é este o certo.
Há um contra-argumento real. O sono profundo nos núcleos inativos é o que dá ao pacote margem térmica e de energia para fazer boost aos ocupados, por isso fixar tudo em C1 pode baixar a tua frequência máxima de thread única enquanto sobe o consumo em inatividade. Num host sensível à latência, essa troca costuma valer a pena. Num host à procura de débito, talvez não. Mede-a em vez de a herdar.
amd_pstate=disable recua para o acpi-cpufreq. Vale a pena conhecer as alternativas documentadas antes de recorrer a ele: passive (o driver pede um nível de desempenho), active (o driver EPP, com tendência para desempenho ou eficiência) e guided. active com tendência para desempenho, ou passive mais o governor performance, consegue muitas vezes a mesma latência mantendo o controlo mais fino do CPPC. E se o desativares, escolhe um governor de propósito: cair no acpi-cpufreq com schedutil pode ser um passo atrás.
Memória
default_hugepagesz=1G hugepages=64
default_hugepagesz=1G sozinho não reserva nada. O kernel documenta-o como definindo «the size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs»: uma unidade, não uma alocação. A alocação vem de hugepages=, documentado como «Number of HugeTLB pages to allocate at boot».
Isso importa muito mais para páginas de 1 GiB do que de 2 MiB, porque regiões contíguas de 1 GiB são, na prática, impossíveis de obter quando o host já está ligado há algum tempo e a memória fragmentada. O arranque é a tua única oportunidade fiável.
Depois o convidado tem de aderir (hugepages: 1024 na configuração da VM). Páginas reservadas que nada usa são apenas memória que não consegues recuperar, e perdes o ballooning e o KSM nas VM que as usam.
A troca de segurança
mitigations=off
Isto não é um interruptor. O kernel expande-o numa lista, e num hipervisor estas são as entradas que importam:
l1tf=off mds=off mmio_stale_data=off kvm.nx_huge_pages=off
gather_data_sampling=off retbleed=off spec_rstack_overflow=off
nospectre_v2 nopti indirect_target_selection=off
O resumo do próprio kernel é «improves system performance, but it may also expose users to several CPU vulnerabilities». L1TF, MDS e MMIO stale data são especificamente caminhos de fuga do convidado para o host e de convidado para convidado, e kvm.nx_huge_pages é a mitigação do iTLB-multihit dentro do próprio KVM.
Defensável numa máquina de um só inquilino em que todos os convidados merecem tanta confiança como o host. Não defensável onde os convidados não são de confiança ou pertencem a inquilinos diferentes. E repara que se soma ao pcie_acs_override: duas garantias de isolamento independentes retiradas na mesma linha. Vale a pena fazê-lo de propósito e não por herança.
O PCIe sobre USB4 muda duas destas
Se os teus dispositivos PCIe chegam por USB4 ou Thunderbolt (uma GPU externa ou uma caixa NVMe), duas das respostas acima mudam.
A afinação do MPS deixa de ser grátis
Em slots fixos, pci=pcie_bus_perf é um pequeno ganho grátis. O kernel descreve-o assim:
Set device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.
O senão é que configura as bridges no arranque, a partir da topologia presente no arranque. Sobre USB4, o hot-plug é o caso normal, e um dispositivo acrescentado mais tarde pode suportar um MPS mais pequeno do que aquele com que a bridge já ficou configurada.
O kernel diz em voz alta a parte que se costuma calar, ao anunciar outra política:
pcie_bus_peer2peer— Set every device’s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.
Só uma política traz essa garantia, e é a que fixa tudo em 128 bytes, exatamente aquilo de que a afinação do MaxPayloadSize pretende fugir. Para uma topologia com hot-plug, pcie_bus_safe (o maior valor suportado por todos os dispositivos abaixo do root complex) ou simplesmente deixar tune_off é o ponto de partida mais seguro. O switch do próprio túnel limita o MPS alcançável de qualquer forma, por isso o teto nunca foi teu para subir.
O empilhamento de segurança torna-se sério
PCIe externo significa que alguém pode ligar ao teu hipervisor um dispositivo capaz de DMA. A documentação do kernel sobre Thunderbolt é direta:
…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.
O IOMMU é a defesa. Agora conta o que a linha do host lhe faz. iommu=pt dá aos dispositivos do host domínios de identidade sem tradução, pcie_acs_override afirma um isolamento que não existe, e mitigations=off desliga as mitigações de isolamento dos convidados. Cada uma é defensável sozinha. Juntas, numa máquina com uma porta USB4 fisicamente acessível, acumulam-se.
Verifica onde estás:
cat /sys/bus/thunderbolt/devices/domain*/security # none | user | secure | dponly | usbonly
none ao lado dessa linha de arranque é uma porta aberta. Se as portas estão ao alcance de pessoas a quem não darias root, iommu=pt é a primeira coisa que eu reconsideraria.
A linha do convidado
Estas são as que pertencem dentro da VM, e três delas significam aqui algo diferente do que significariam no host.
nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1
cpuidle.off=1 desativa o subsistema cpuidle. Num convidado isso quase não custa nada: os estados de inatividade do convidado são emulação, e não há núcleo físico para pôr a dormir, por isso tudo o que a framework te dá é latência ao acordar. No host, a mesma flag é uma troca real de energia e de margem de boost, e sobrepõe-se a processor.max_cstate=1. Só do lado do convidado.
softlockup_panic=0 impede que um soft lockup ponha o convidado em pânico. Numa VM isto protege de verdade, porque lá um soft lockup muitas vezes não é culpa do convidado. Um vCPU retirado do escalonamento parece exatamente uma tarefa que se recusou a ceder. É o mesmo mecanismo que explica porque não se pode confiar no relógio de uma VM. Mas verifica se precisas dela. Na maioria das builds é 0 por omissão.
sysctl kernel.softlockup_panic
nmi_watchdog=0 é a interessante, e merece mais do que uma regra.
A questão do watchdog
Há dois detetores a partilhar um limiar:
watchdog_thresh=— Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.
O hard lockup (nmi_watchdog) dispara quando uma CPU deixa de todo de receber interrupções do temporizador. O soft lockup dispara quando uma tarefa monopoliza uma CPU durante o dobro do tempo sem escalonar.
Num convidado, desativar o detetor de hard lockup está certo. Um vCPU retirado do escalonamento pode dispará-lo sem culpa nenhuma, e o trabalho do detetor com contadores de desempenho provoca saídas da VM por um sinal que não era mais do que ruído.
No host é uma questão de critério, e depende do ruído que estás realmente a perseguir. O sobreaprovisionamento deixa os convidados à fome, não o kernel do host: as CPU físicas do host continuam a receber interrupções por muito apinhadas que estejam as VM. Por isso o ruído de log que um hipervisor ocupado produz é esmagadoramente mensagens de soft lockup e RCU stall, não relatórios de hard lockup NMI. Se o ruído é esse, nmi_watchdog=0 não o cala, e softlockup_panic=0 também não: esse trava o pânico, não as mensagens.
Os botões certeiros são:
watchdog_thresh=30 # hard 30s, soft 60s — scale to taste
nowatchdog # honest single flag: disables both detectors
sysctl -w kernel.soft_watchdog=0 # runtime, keeps hard-lockup detection
Há uma razão separada e melhor para desativar o detetor de hard lockup num host ocupado, que nada tem a ver com ruído: consome um contador de desempenho de hardware por CPU. É por isso que o parâmetro aceita rNNN para configurar um evento perf em bruto. Se estás a fazer profiling baseado na PMU, ou a correr uma máquina deliberadamente sobreaprovisionada em que já aceitaste a variação de latência como preço da densidade, devolver esse contador é uma troca razoável, e pequenos bloqueios que aceitaste conscientemente não são incidentes.
Só faz a escolha por essa razão e não pela razão do ruído, porque só uma delas é verdadeira.
consoleblank=0 não faz nada. O kernel documenta o tempo de apagamento da consola como «A value of 0 disables the blank timer. Defaults to 0.» Já está desligado. Inofensivo, mas é o segundo parâmetro em circulação comum que não tem efeito nenhum, e trazê-lo faz uma linha parecer ponderada quando é copiada.
Referência rápida: onde pertence cada flag
| Flag | Host | Convidado | Notas |
|---|---|---|---|
iommu=pt | sim | não | O host é dono do IOMMU. Só se aplica num convidado se estiveres a correr passthrough aninhado com um vIOMMU |
amd_iommu=pgtbl_v2 | sim | não | Domínios DMA-API do host. Verifica que obtiveste o v2 e não o recurso ao v1 |
amd_iommu=on | — | — | Não é uma opção válida. O kernel regista «Unknown option - ‘on’» |
pcie_acs_override=… | sim | não | Patch do Proxmox, só para a topologia do host. Enfraquece o isolamento por desenho |
pcie_aspm=off | sim | não | Não há ligações PCIe reais num convidado; o host é dono da ligação física |
pci=pcie_bus_perf | sim | não de forma fiável | O host define o MPS no fio. Usa antes pcie_bus_safe se os dispositivos chegarem por USB4 |
processor.max_cstate=1 | sim | não | Os estados de inatividade reais são do host. Acrescenta intel_idle.max_cstate=1 na Intel |
amd_pstate=disable | sim | não | Os convidados não controlam a frequência da CPU |
cpuidle.off=1 | com cuidado | sim | Grátis num convidado. No host custa margem de boost e sobrepõe-se a max_cstate |
nmi_watchdog=0 | critério | sim | Certo num convidado. No host, fá-lo pelo contador da PMU, não pelo ruído |
softlockup_panic=0 | não | sim | Os bloqueios do convidado são muitas vezes o escalonador do host. Normalmente já é o valor por omissão |
consoleblank=0 | — | — | Não faz nada. O valor por omissão do kernel já é 0 |
mitigations=off | ambos | ambos | Válido em qualquer um, com cálculo de risco diferente: fugas do convidado para o host no host, isolamento de processos no convidado |
default_hugepagesz + hugepages= | ambos | ambos | Host: suportar a memória das VM. Convidado: uma carga dentro da VM que as queira. Propósitos diferentes, as mesmas flags |
watchdog_thresh= / nowatchdog | ambos | ambos | Host: calar bloqueios que aceitaste. Convidado: o detetor nunca foi de confiança |
Três pertencem genuinamente aos dois lados, e vale a pena ser exato: «ambos» não quer dizer «pela mesma razão»:
mitigations=offno host tem a ver com fugas do convidado para o host e de convidado para convidado. Dentro de um convidado tem a ver com o isolamento de processos dentro dessa VM. Podes razoavelmente desativá-lo num sítio e não no outro.- As hugepages no host suportam a RAM dos convidados; num convidado suportam uma aplicação. Reservá-las duas vezes para a mesma memória é desperdício, por isso decide que camada as quer.
- A afinação do watchdog é uma decisão de ruído no host e uma decisão de correção no convidado.
Tudo o resto é de um lado ou do outro, e duas delas nem sequer são escolhas.
As duas linhas
Host, numa máquina AMD a fazer passthrough, de um só inquilino:
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off"
Troca pci=pcie_bus_perf por pcie_bus_safe se alguma coisa chegar por USB4. Tira mitigations=off se os convidados não forem todos teus. Na Intel, intel_iommu=on substitui as flags AMD e intel_idle.max_cstate=1 junta-se ao limite de C-states.
Convidado Linux:
GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1"
E deixa o kvm-clock em paz no convidado: não forces tsc nem hpet. O relógio paravirtual existe precisamente porque os contadores não são teus. É o argumento todo do artigo sobre a medição do tempo nas VM.
O que apagar
Se herdaste uma linha de uma publicação num fórum, estas duas são as primeiras coisas a tirar, porque não te dão nada e provam que a linha nunca foi testada:
amd_iommu=on: não é uma opção válida; o kernel regista «Unknown option - ‘on’» e segue em frenteconsoleblank=0: já é o valor por omissão
E confere o resto contra /proc/cmdline depois de reiniciar. Cada flag nessa linha deve ser uma para a qual consegues dar uma razão.
Se não consegues dizer o que uma flag faz, isso não é afinação. É superstição. E vai ser copiada para a próxima build por alguém que confia em ti.
Referências
- Linux kernel — the kernel’s command-line parameters —
mitigations=,default_hugepagesz=,hugepages=,watchdog_thresh=,nowatchdog,consoleblank=,processor.max_cstate=,amd_pstate=,amd_iommu=e as políticaspci=pcie_bus_* - Linux kernel source —
drivers/iommu/amd/init.c—parse_amd_iommu_options(), e a verificação da capacidade da tabela de páginas v2 que recua para v1 - Linux kernel source —
arch/x86/kernel/pci-dma.c—iommu=pta chamariommu_set_default_passthrough() - Linux kernel — Thunderbolt — níveis de segurança, e os dispositivos ligados como DMA masters
- Proxmox VE — System Administration —
proxmox-boot-tool status, editar a linha de comandos do kernel no systemd-boot face ao GRUB