Il problema delle righe di avvio copiate

Cerca tuning per Proxmox e troverai un’unica lunga riga GRUB_CMDLINE_LINUX, presentata come un blocco unico, senza alcuna indicazione di quale flag valga dove.

Conta più di quanto sembri. L’hypervisor e il guest risolvono problemi opposti.

L’host vuole un accesso deterministico all’hardware reale: comportamento dell’IOMMU, stati dei link PCIe, stati di idle fisici. Il guest vuole smettere di fingere di avere dell’hardware: i suoi timer sono approssimazioni, i suoi stati di idle sono finzione, e i suoi stalli sono di solito lo scheduler di qualcun altro. Per questo lo stesso flag può essere giusto su un lato, inutile sull’altro e, ogni tanto, dannoso.

Qui sotto trovi dove va davvero ciascuno.

Dove va ogni flag di avvio del kernelSolo hostqui vive l'hardware veroiommu=ptamd_iommu=pgtbl_v2pcie_acs_override=…pcie_aspm=offpci=pcie_bus_perf→ pcie_bus_safe se USB4processor.max_cstate=1+ intel_idle.max_cstate su Intelamd_pstate=disableimposta anche un governorIl guest non ha link PCIe,né C-state né cpufreq.Solo guestsmetti di fingere che sia hardwarecpuidle.off=1gli stati idle del guest sono fintinmi_watchdog=0una vCPU sospesa lo fa scattaresoftlockup_panic=0lo stallo era colpa dell'hostLascia stare kvm-clock.Non forzare tsc o hpet:i contatori non sono tuoi.Sull'host questi tresignificano altro,e due ti costanoqualcosa di reale.Entrambi, per motivi diversistesso flag, decisioni separatemitigations=offhost: fughe dal guest all'hostguest: isolamento dei processidefault_hugepagesz + hugepageshost: per la RAM del guestguest: per un'applicazionescegli un livello, non entrambiwatchdog_thresh / nowatchdoghost: rumore che hai accettatoguest: mai affidabile«Entrambi» non vuol direimpostarlo in tutti e due i posti.Vuol dire che la decisioneva presa due volte.Nessuno: questi non fanno nienteamd_iommu=onopzione non valida; il kernel scrive "Unknown option - 'on'" e va avanticonsoleblank=0è già il default del kernelSe una riga di avvio copiata contiene uno di questi, nessuno l'ha mai verificata su /proc/cmdline,che è il controllo più economico che ci sia, e quello che scopre anche l'errore delbootloader sbagliato.
I flag in circolazione, smistati. Due dei più popolari non fanno niente su nessuno dei due lati, e la riga del watchdog è una vera scelta di giudizio più che una regola.

Prima di tutto: stai modificando il file giusto?

Un’installazione di Proxmox con root su ZFS si avvia con systemd-boot, dove /etc/default/grub non lo legge nessuno. Lo modifichi, riavvii, e non succede niente e non compare nessun errore. È un’ora frustrante.

proxmox-boot-tool status          # tells you which bootloader is in use
# systemd-boot: edit /etc/kernel/cmdline, then
proxmox-boot-tool refresh

# GRUB: edit /etc/default/grub, then
update-grub

In entrambi i casi, verifica invece di dare per scontato:

cat /proc/cmdline

E sul lato GRUB usa GRUB_CMDLINE_LINUX_DEFAULT, non GRUB_CMDLINE_LINUX. Quest’ultima si applica a ogni voce di avvio, recovery compresa, e la recovery è esattamente il momento in cui vuoi il comportamento standard, non le mitigazioni disattivate e i C-state bloccati.

La riga dell’host

IOMMU e passthrough

iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction

iommu=pt mette l’IOMMU in modalità passthrough: i dispositivi assegnati alle VM vengono tradotti, quelli nativi dell’host saltano la traduzione. È reale ed è gestito in arch/x86/kernel/pci-dma.c, che chiama iommu_set_default_passthrough(true). Il kernel lo documenta come equivalente a iommu.passthrough=1.

amd_iommu=on non esiste. È il parametro inesistente più copiato nelle guide su Proxmox. La funzione parse_amd_iommu_options() del kernel accetta fullflush, force_enable, off, force_isolation, pgtbl_v1, pgtbl_v2, irtcachedis, nohugepages e v2_pgsizes_only. Tutto il resto finisce qui:

pr_notice("Unknown option - '%s'\n", str);

AMD-Vi è attivo di default quando il firmware lo annuncia. Controlla il tuo log e scoprirai che il parametro non ha mai fatto il lavoro che gli veniva attribuito:

dmesg | grep -i "AMD-Vi\|Unknown option"

amd_iommu=pgtbl_v2 è valido: seleziona il formato v2 delle page table DMA, che condivide la struttura delle page table della CPU invece di usare quella propria di AMD. Due cose da sapere: la documentazione lo limita alla DMA-API, cioè ai domini dei dispositivi propri dell’host e non ai domini VFIO usati per il passthrough; e se non è supportato torna indietro in modo sicuro, con una riga di log che conviene cercare:

if (amd_iommu_pgtable == PD_MODE_V2) {
    if (!amd_iommu_v2_pgtbl_supported()) {
        pr_warn("Cannot enable v2 page table for DMA-API. Fallback to v1.\n");
        amd_iommu_pgtable = PD_MODE_V1;
    }
}

Quindi vale la pena misurarlo su un nodo con molto IO lato host, e verificare di averlo ottenuto davvero.

pcie_acs_override=downstream,multifunction è la patch fuori albero di Proxmox. Divide i gruppi IOMMU dichiarando un isolamento che l’hardware non annuncia, ed è questo che rende possibile il passthrough sulle schede consumer. È anche, esattamente, dire al kernel qualcosa di falso sulla topologia. Va bene su una macchina i cui guest sono fidati quanto l’host. Altrimenti no. C’è di più sul perché nell’articolo sulla tassa dell’IOMMU.

Latenza e jitter

pcie_aspm=off processor.max_cstate=1 amd_pstate=disable

pcie_aspm=off tiene i link PCIe fuori dagli stati a basso consumo, così un IO in arrivo non aspetta mai che un link si risvegli. Costa qualche watt per link e toglie una coda di latenza difficile da diagnosticare. Vedi ASPM PCIe e passthrough.

processor.max_cstate=1 limita l’idle ACPI a C1. Attenzione al driver: questa è la manopola di processor/acpi_idle, quindi su Intel ti serve anche intel_idle.max_cstate=1, perché intel_idle ha la precedenza. Su AMD è quella giusta.

C’è un vero argomento contrario. Il sonno profondo dei core inattivi è ciò che dà al package il margine termico e di potenza per spingere in boost quelli occupati, quindi bloccare tutto a C1 può abbassare la frequenza di picco single-thread e alzare il consumo a riposo. Su un host sensibile alla latenza lo scambio di solito conviene. Su un host che punta al throughput forse no. Misuralo invece di ereditarlo.

amd_pstate=disable ripiega su acpi-cpufreq. Prima di usarlo conviene conoscere le alternative documentate: passive (il driver richiede un livello di prestazioni), active (il driver EPP, orientato a prestazioni o efficienza) e guided. active con orientamento alle prestazioni, oppure passive più il governor performance, spesso danno la stessa latenza mantenendo il controllo più fine di CPPC. E se lo disattivi, imposta un governor di proposito: finire su acpi-cpufreq con schedutil può essere un passo indietro.

Memoria

default_hugepagesz=1G hugepages=64

default_hugepagesz=1G da solo non riserva niente. Il kernel lo documenta come l’impostazione della «size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs»: un’unità, non un’allocazione. L’allocazione viene da hugepages=, documentato come «Number of HugeTLB pages to allocate at boot».

Questo conta molto di più per le pagine da 1 GiB che per quelle da 2 MiB, perché regioni contigue da 1 GiB sono di fatto introvabili quando l’host è acceso da un po’ e la memoria si è frammentata. L’avvio è la tua unica occasione affidabile.

Poi il guest deve aderire (hugepages: 1024 nella configurazione della VM). Pagine riservate che nessuno usa sono solo memoria che non puoi riavere, e sulle VM che le usano perdi ballooning e KSM.

Lo scambio sulla sicurezza

mitigations=off

Non è un solo interruttore. Il kernel lo espande in un elenco, e su un hypervisor queste sono le voci che contano:

l1tf=off   mds=off   mmio_stale_data=off   kvm.nx_huge_pages=off
gather_data_sampling=off   retbleed=off   spec_rstack_overflow=off
nospectre_v2   nopti   indirect_target_selection=off

Il riassunto del kernel stesso è «improves system performance, but it may also expose users to several CPU vulnerabilities». L1TF, MDS e MMIO stale data sono proprio percorsi di fuga da guest a host e da guest a guest, e kvm.nx_huge_pages è la mitigazione di iTLB multihit dentro KVM stesso.

Difendibile su una macchina con un solo tenant, dove ogni guest è fidato quanto l’host. Non difendibile dove i guest non sono fidati o appartengono a tenant diversi. E nota che si somma a pcie_acs_override: due garanzie di isolamento indipendenti tolte sulla stessa riga. Da fare di proposito, non per eredità.

PCIe su USB4 ne cambia due

Se i tuoi dispositivi PCIe arrivano via USB4 o Thunderbolt, come un box esterno per GPU o NVMe, due delle risposte sopra cambiano.

Il tuning di MPS smette di essere gratis

Sugli slot fissi, pci=pcie_bus_perf è un piccolo guadagno gratuito. Il kernel lo descrive così:

Set device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.

Il problema è che configura i bridge all’avvio, dalla topologia presente all’avvio. Su USB4 l’hot-plug è il caso normale, e un dispositivo aggiunto dopo può supportare un MPS più piccolo di quello già impostato sul bridge.

Il kernel lo dice chiaramente mentre pubblicizza un’altra policy:

pcie_bus_peer2peer — Set every device’s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.

Solo una policy offre quella garanzia, ed è quella che blocca tutto a 128 byte: esattamente ciò da cui il tuning di MaxPayloadSize vuole sfuggire. Per una topologia con hot-plug, pcie_bus_safe (il valore più grande supportato da tutti i dispositivi sotto il root complex), o semplicemente lasciare tune_off, è il punto di partenza più sicuro. Lo switch del tunnel limita comunque l’MPS raggiungibile, quindi quel tetto non è mai stato tuo da alzare.

Perché l'hot-plug cambia la risposta sulla policy MPSAll'avvio, pcie_bus_perf configura il bridge su ciò che vedebridge: MPS 512dispositivo A · 512dispositivo B · 512presenti all'avvioa caldo · solo 256non combacianessuna rinegoziazioneIn uno chassis non succede mai: la topologia all'avvio è quella per sempre. Su una porta USB4è il caso normale.Le quattro policy, e quale il kernel dice sicura per l'hot-plugpcie_bus_tune_offlascia stare i valori del BIOSpcie_bus_safeil massimo supportato da tutti sotto il root complexpcie_bus_perfil massimo che il bus padre consente, per dispositivo, più MRRSpcie_bus_peer2peer128 B ovunque:"guarantees that hot-added devices will work"Solo una policy dà quella garanzia, ed è quella che butta via la dimensione di payload chestavi cercando di ottimizzare.
Il bridge viene configurato una volta, all’avvio, dai dispositivi presenti in quel momento. Tutto quello che arriva dopo deve convivere con quella decisione: va bene in un case, non va bene su una porta.

Le debolezze di sicurezza si sommano sul serio

PCIe esterno significa che qualcuno può collegare un dispositivo capace di DMA al tuo hypervisor. La documentazione Thunderbolt del kernel è diretta:

…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.

L’IOMMU è la difesa. Ora conta cosa le fa la riga dell’host. iommu=pt dà ai dispositivi dell’host domini di identità non tradotti, pcie_acs_override dichiara un isolamento che non c’è, e mitigations=off disattiva le mitigazioni di isolamento dei guest. Ognuno è difendibile da solo. Insieme, su una macchina con una porta USB4 raggiungibile fisicamente, si sommano.

Controlla a che punto sei:

cat /sys/bus/thunderbolt/devices/domain*/security   # none | user | secure | dponly | usbonly

none insieme a quella riga di avvio è una porta aperta. Se le porte sono raggiungibili da persone a cui non daresti root, iommu=pt è la prima cosa che riconsidererei.

La riga del guest

Questi sono quelli che vanno dentro la VM, e tre di loro qui significano qualcosa di diverso rispetto all’host.

nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1

cpuidle.off=1 disattiva il sottosistema cpuidle. In un guest è quasi gratis: gli stati di idle del guest sono emulazione, e non c’è nessun core fisico da mettere a dormire, quindi l’unica cosa che il framework ti compra è latenza di risveglio. Sull’host lo stesso flag è un vero scambio tra consumo e margine di boost, e si sovrappone a processor.max_cstate=1. Solo lato guest.

softlockup_panic=0 impedisce che un soft lockup mandi in panic il guest. In una VM è davvero protettivo, perché lì un soft lockup spesso non è colpa del guest. Una vCPU tolta dallo scheduler sembra esattamente un task che si è rifiutato di cedere. È lo stesso meccanismo dietro al perché non ci si può fidare dell’orologio di una VM. Controlla però se ti serve. Sulla maggior parte delle build è già 0 di default.

sysctl kernel.softlockup_panic

nmi_watchdog=0 è quello interessante, e merita più di una regola.

La questione del watchdog

Ci sono due rilevatori che condividono una soglia:

watchdog_thresh= — Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.

Il rilevatore di hard lockup (nmi_watchdog) scatta quando una CPU smette del tutto di ricevere interrupt del timer. Quello di soft lockup scatta quando un task occupa una CPU per il doppio del tempo senza cedere allo scheduler.

In un guest, disattivare il rilevatore di hard lockup è giusto. Una vCPU tolta dallo scheduler può farlo scattare senza nessuna colpa, e il lavoro sui contatori perf del rilevatore causa uscite dalla VM per un segnale che non era altro che rumore.

Sull’host è una scelta di giudizio, e dipende da quale rumore stai davvero inseguendo. L’overprovisioning affama i guest, non il kernel dell’host: le CPU fisiche dell’host continuano a ricevere interrupt per quante VM ci siano stipate sopra. Quindi il rumore nei log di un hypervisor carico è in larghissima parte fatto di messaggi di soft lockup e stalli RCU, non di report NMI di hard lockup. Se il rumore è quello, nmi_watchdog=0 non lo zittisce, e nemmeno softlockup_panic=0: quello ferma il panic, non i messaggi.

Le manopole mirate sono:

watchdog_thresh=30        # hard 30s, soft 60s — scale to taste
nowatchdog                # honest single flag: disables both detectors
sysctl -w kernel.soft_watchdog=0   # runtime, keeps hard-lockup detection

C’è una ragione diversa e migliore per disattivare il rilevatore di hard lockup su un host carico, che col rumore non c’entra niente: consuma un contatore di prestazioni hardware per CPU. È per questo che il parametro accetta rNNN per configurare un evento perf raw. Se fai profiling basato sulla PMU, o hai una macchina volutamente in overprovisioning dove hai già accettato la variabilità della latenza come prezzo della densità, restituire quel contatore è uno scambio ragionevole, e piccoli stalli che hai accettato consapevolmente non sono incidenti.

Fai solo la scelta per quel motivo e non per il rumore, perché solo uno dei due è vero.

consoleblank=0 non fa niente. Il kernel documenta il timeout di oscuramento della console come «A value of 0 disables the blank timer. Defaults to 0.» È già spento. Innocuo, ma è il secondo parametro in circolazione che non ha alcun effetto, e portarselo dietro fa sembrare ragionata una riga quando viene copiata.

Riferimento rapido: dove va ciascun flag

FlagHostGuestNote
iommu=ptsìnoL’IOMMU è dell’host. Vale in un guest solo se fai passthrough annidato con un vIOMMU
amd_iommu=pgtbl_v2sìnoDomini DMA-API dell’host. Verifica di aver ottenuto v2 e non il ripiego su v1
amd_iommu=onnon validonon validoNon è un’opzione valida. Il kernel registra «Unknown option - ‘on’»
pcie_acs_override=…sìnoPatch di Proxmox, solo topologia dell’host. Indebolisce l’isolamento per costruzione
pcie_aspm=offsìnoIn un guest non ci sono link PCIe reali; il link fisico è dell’host
pci=pcie_bus_perfsìnon in modo affidabileL’host imposta l’MPS sul bus. Usa invece pcie_bus_safe se i dispositivi arrivano via USB4
processor.max_cstate=1sìnoGli stati di idle reali sono dell’host. Su Intel aggiungi intel_idle.max_cstate=1
amd_pstate=disablesìnoI guest non controllano la frequenza della CPU
cpuidle.off=1con cautelasìGratis in un guest. Sull’host costa margine di boost e si sovrappone a max_cstate
nmi_watchdog=0giudiziosìGiusto in un guest. Sull’host fallo per il contatore PMU, non per il rumore
softlockup_panic=0nosìGli stalli del guest sono spesso lo scheduler dell’host. Di solito è già il default
consoleblank=0inutileinutileNon fa niente. Il default del kernel è già 0
mitigations=offentrambientrambiValido su entrambi, con un calcolo del rischio diverso: fughe da guest a host sull’host, isolamento dei processi nel guest
default_hugepagesz + hugepages=entrambientrambiHost: memoria che sostiene le VM. Guest: un carico dentro la VM che le vuole. Scopi diversi, stessi flag
watchdog_thresh= / nowatchdogentrambientrambiHost: zittire stalli che hai accettato. Guest: il rilevatore non è mai stato affidabile

Tre vanno davvero su entrambi i lati, e conviene essere precisi: «entrambi» non vuol dire «per lo stesso motivo»:

  • mitigations=off sull’host riguarda le fughe da guest a host e da guest a guest. Dentro un guest riguarda l’isolamento dei processi in quella VM. Puoi ragionevolmente disattivarlo in un posto e non nell’altro.
  • Le hugepage sull’host sostengono la RAM dei guest; in un guest sostengono un’applicazione. Riservarle due volte per la stessa memoria è uno spreco, quindi decidi quale livello le vuole.
  • Il tuning del watchdog è una decisione sul rumore sull’host e una decisione di correttezza nel guest.

Tutto il resto sta su un lato o sull’altro, e due di loro non sono affatto delle scelte.

Le due righe

Host, su una macchina AMD che fa passthrough, con un solo tenant:

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off"

Sostituisci pci=pcie_bus_perf con pcie_bus_safe se qualcosa arriva via USB4. Togli mitigations=off se i guest non sono tutti tuoi. Su Intel, intel_iommu=on sostituisce i flag AMD e intel_idle.max_cstate=1 si aggiunge al limite dei C-state.

Guest Linux:

GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1"

E lascia stare kvm-clock nel guest: non forzare tsc né hpet. L’orologio paravirtuale esiste proprio perché i contatori non sono tuoi. È tutto l’argomento dell’articolo sul tempo nelle VM.

Cosa cancellare

Se hai ereditato una riga da un post su un forum, questi due sono le prime cose da togliere, perché non ti costano niente e dimostrano che la riga non è mai stata provata:

  • amd_iommu=on: non è un’opzione valida; il kernel registra «Unknown option - ‘on’» e va avanti
  • consoleblank=0: è già il default

E controlla il resto con /proc/cmdline dopo un riavvio. Ogni flag su quella riga dovrebbe essere uno per cui sai dire un motivo.

Se non sai dire cosa fa un flag, non è tuning. È superstizione. E verrà copiato nella prossima build da qualcuno che si fida di te.

Riferimenti