Il problema delle righe di avvio copiate
Cerca tuning per Proxmox e troverai un’unica lunga riga GRUB_CMDLINE_LINUX, presentata come un blocco unico, senza alcuna indicazione di quale flag valga dove.
Conta più di quanto sembri. L’hypervisor e il guest risolvono problemi opposti.
L’host vuole un accesso deterministico all’hardware reale: comportamento dell’IOMMU, stati dei link PCIe, stati di idle fisici. Il guest vuole smettere di fingere di avere dell’hardware: i suoi timer sono approssimazioni, i suoi stati di idle sono finzione, e i suoi stalli sono di solito lo scheduler di qualcun altro. Per questo lo stesso flag può essere giusto su un lato, inutile sull’altro e, ogni tanto, dannoso.
Qui sotto trovi dove va davvero ciascuno.
Prima di tutto: stai modificando il file giusto?
Un’installazione di Proxmox con root su ZFS si avvia con systemd-boot, dove /etc/default/grub non lo legge nessuno. Lo modifichi, riavvii, e non succede niente e non compare nessun errore. È un’ora frustrante.
proxmox-boot-tool status # tells you which bootloader is in use
# systemd-boot: edit /etc/kernel/cmdline, then
proxmox-boot-tool refresh
# GRUB: edit /etc/default/grub, then
update-grub
In entrambi i casi, verifica invece di dare per scontato:
cat /proc/cmdline
E sul lato GRUB usa GRUB_CMDLINE_LINUX_DEFAULT, non GRUB_CMDLINE_LINUX. Quest’ultima si applica a ogni voce di avvio, recovery compresa, e la recovery è esattamente il momento in cui vuoi il comportamento standard, non le mitigazioni disattivate e i C-state bloccati.
La riga dell’host
IOMMU e passthrough
iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction
iommu=pt mette l’IOMMU in modalità passthrough: i dispositivi assegnati alle VM vengono tradotti, quelli nativi dell’host saltano la traduzione. È reale ed è gestito in arch/x86/kernel/pci-dma.c, che chiama iommu_set_default_passthrough(true). Il kernel lo documenta come equivalente a iommu.passthrough=1.
amd_iommu=on non esiste. È il parametro inesistente più copiato nelle guide su Proxmox. La funzione parse_amd_iommu_options() del kernel accetta fullflush, force_enable, off, force_isolation, pgtbl_v1, pgtbl_v2, irtcachedis, nohugepages e v2_pgsizes_only. Tutto il resto finisce qui:
pr_notice("Unknown option - '%s'\n", str);
AMD-Vi è attivo di default quando il firmware lo annuncia. Controlla il tuo log e scoprirai che il parametro non ha mai fatto il lavoro che gli veniva attribuito:
dmesg | grep -i "AMD-Vi\|Unknown option"
amd_iommu=pgtbl_v2 è valido: seleziona il formato v2 delle page table DMA, che condivide la struttura delle page table della CPU invece di usare quella propria di AMD. Due cose da sapere: la documentazione lo limita alla DMA-API, cioè ai domini dei dispositivi propri dell’host e non ai domini VFIO usati per il passthrough; e se non è supportato torna indietro in modo sicuro, con una riga di log che conviene cercare:
if (amd_iommu_pgtable == PD_MODE_V2) {
if (!amd_iommu_v2_pgtbl_supported()) {
pr_warn("Cannot enable v2 page table for DMA-API. Fallback to v1.\n");
amd_iommu_pgtable = PD_MODE_V1;
}
}
Quindi vale la pena misurarlo su un nodo con molto IO lato host, e verificare di averlo ottenuto davvero.
pcie_acs_override=downstream,multifunction è la patch fuori albero di Proxmox. Divide i gruppi IOMMU dichiarando un isolamento che l’hardware non annuncia, ed è questo che rende possibile il passthrough sulle schede consumer. È anche, esattamente, dire al kernel qualcosa di falso sulla topologia. Va bene su una macchina i cui guest sono fidati quanto l’host. Altrimenti no. C’è di più sul perché nell’articolo sulla tassa dell’IOMMU.
Latenza e jitter
pcie_aspm=off processor.max_cstate=1 amd_pstate=disable
pcie_aspm=off tiene i link PCIe fuori dagli stati a basso consumo, così un IO in arrivo non aspetta mai che un link si risvegli. Costa qualche watt per link e toglie una coda di latenza difficile da diagnosticare. Vedi ASPM PCIe e passthrough.
processor.max_cstate=1 limita l’idle ACPI a C1. Attenzione al driver: questa è la manopola di processor/acpi_idle, quindi su Intel ti serve anche intel_idle.max_cstate=1, perché intel_idle ha la precedenza. Su AMD è quella giusta.
C’è un vero argomento contrario. Il sonno profondo dei core inattivi è ciò che dà al package il margine termico e di potenza per spingere in boost quelli occupati, quindi bloccare tutto a C1 può abbassare la frequenza di picco single-thread e alzare il consumo a riposo. Su un host sensibile alla latenza lo scambio di solito conviene. Su un host che punta al throughput forse no. Misuralo invece di ereditarlo.
amd_pstate=disable ripiega su acpi-cpufreq. Prima di usarlo conviene conoscere le alternative documentate: passive (il driver richiede un livello di prestazioni), active (il driver EPP, orientato a prestazioni o efficienza) e guided. active con orientamento alle prestazioni, oppure passive più il governor performance, spesso danno la stessa latenza mantenendo il controllo più fine di CPPC. E se lo disattivi, imposta un governor di proposito: finire su acpi-cpufreq con schedutil può essere un passo indietro.
Memoria
default_hugepagesz=1G hugepages=64
default_hugepagesz=1G da solo non riserva niente. Il kernel lo documenta come l’impostazione della «size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs»: un’unità, non un’allocazione. L’allocazione viene da hugepages=, documentato come «Number of HugeTLB pages to allocate at boot».
Questo conta molto di più per le pagine da 1 GiB che per quelle da 2 MiB, perché regioni contigue da 1 GiB sono di fatto introvabili quando l’host è acceso da un po’ e la memoria si è frammentata. L’avvio è la tua unica occasione affidabile.
Poi il guest deve aderire (hugepages: 1024 nella configurazione della VM). Pagine riservate che nessuno usa sono solo memoria che non puoi riavere, e sulle VM che le usano perdi ballooning e KSM.
Lo scambio sulla sicurezza
mitigations=off
Non è un solo interruttore. Il kernel lo espande in un elenco, e su un hypervisor queste sono le voci che contano:
l1tf=off mds=off mmio_stale_data=off kvm.nx_huge_pages=off
gather_data_sampling=off retbleed=off spec_rstack_overflow=off
nospectre_v2 nopti indirect_target_selection=off
Il riassunto del kernel stesso è «improves system performance, but it may also expose users to several CPU vulnerabilities». L1TF, MDS e MMIO stale data sono proprio percorsi di fuga da guest a host e da guest a guest, e kvm.nx_huge_pages è la mitigazione di iTLB multihit dentro KVM stesso.
Difendibile su una macchina con un solo tenant, dove ogni guest è fidato quanto l’host. Non difendibile dove i guest non sono fidati o appartengono a tenant diversi. E nota che si somma a pcie_acs_override: due garanzie di isolamento indipendenti tolte sulla stessa riga. Da fare di proposito, non per eredità.
PCIe su USB4 ne cambia due
Se i tuoi dispositivi PCIe arrivano via USB4 o Thunderbolt, come un box esterno per GPU o NVMe, due delle risposte sopra cambiano.
Il tuning di MPS smette di essere gratis
Sugli slot fissi, pci=pcie_bus_perf è un piccolo guadagno gratuito. Il kernel lo descrive così:
Set device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.
Il problema è che configura i bridge all’avvio, dalla topologia presente all’avvio. Su USB4 l’hot-plug è il caso normale, e un dispositivo aggiunto dopo può supportare un MPS più piccolo di quello già impostato sul bridge.
Il kernel lo dice chiaramente mentre pubblicizza un’altra policy:
pcie_bus_peer2peer— Set every device’s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.
Solo una policy offre quella garanzia, ed è quella che blocca tutto a 128 byte: esattamente ciò da cui il tuning di MaxPayloadSize vuole sfuggire. Per una topologia con hot-plug, pcie_bus_safe (il valore più grande supportato da tutti i dispositivi sotto il root complex), o semplicemente lasciare tune_off, è il punto di partenza più sicuro. Lo switch del tunnel limita comunque l’MPS raggiungibile, quindi quel tetto non è mai stato tuo da alzare.
Le debolezze di sicurezza si sommano sul serio
PCIe esterno significa che qualcuno può collegare un dispositivo capace di DMA al tuo hypervisor. La documentazione Thunderbolt del kernel è diretta:
…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.
L’IOMMU è la difesa. Ora conta cosa le fa la riga dell’host. iommu=pt dà ai dispositivi dell’host domini di identità non tradotti, pcie_acs_override dichiara un isolamento che non c’è, e mitigations=off disattiva le mitigazioni di isolamento dei guest. Ognuno è difendibile da solo. Insieme, su una macchina con una porta USB4 raggiungibile fisicamente, si sommano.
Controlla a che punto sei:
cat /sys/bus/thunderbolt/devices/domain*/security # none | user | secure | dponly | usbonly
none insieme a quella riga di avvio è una porta aperta. Se le porte sono raggiungibili da persone a cui non daresti root, iommu=pt è la prima cosa che riconsidererei.
La riga del guest
Questi sono quelli che vanno dentro la VM, e tre di loro qui significano qualcosa di diverso rispetto all’host.
nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1
cpuidle.off=1 disattiva il sottosistema cpuidle. In un guest è quasi gratis: gli stati di idle del guest sono emulazione, e non c’è nessun core fisico da mettere a dormire, quindi l’unica cosa che il framework ti compra è latenza di risveglio. Sull’host lo stesso flag è un vero scambio tra consumo e margine di boost, e si sovrappone a processor.max_cstate=1. Solo lato guest.
softlockup_panic=0 impedisce che un soft lockup mandi in panic il guest. In una VM è davvero protettivo, perché lì un soft lockup spesso non è colpa del guest. Una vCPU tolta dallo scheduler sembra esattamente un task che si è rifiutato di cedere. È lo stesso meccanismo dietro al perché non ci si può fidare dell’orologio di una VM. Controlla però se ti serve. Sulla maggior parte delle build è già 0 di default.
sysctl kernel.softlockup_panic
nmi_watchdog=0 è quello interessante, e merita più di una regola.
La questione del watchdog
Ci sono due rilevatori che condividono una soglia:
watchdog_thresh=— Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.
Il rilevatore di hard lockup (nmi_watchdog) scatta quando una CPU smette del tutto di ricevere interrupt del timer. Quello di soft lockup scatta quando un task occupa una CPU per il doppio del tempo senza cedere allo scheduler.
In un guest, disattivare il rilevatore di hard lockup è giusto. Una vCPU tolta dallo scheduler può farlo scattare senza nessuna colpa, e il lavoro sui contatori perf del rilevatore causa uscite dalla VM per un segnale che non era altro che rumore.
Sull’host è una scelta di giudizio, e dipende da quale rumore stai davvero inseguendo. L’overprovisioning affama i guest, non il kernel dell’host: le CPU fisiche dell’host continuano a ricevere interrupt per quante VM ci siano stipate sopra. Quindi il rumore nei log di un hypervisor carico è in larghissima parte fatto di messaggi di soft lockup e stalli RCU, non di report NMI di hard lockup. Se il rumore è quello, nmi_watchdog=0 non lo zittisce, e nemmeno softlockup_panic=0: quello ferma il panic, non i messaggi.
Le manopole mirate sono:
watchdog_thresh=30 # hard 30s, soft 60s — scale to taste
nowatchdog # honest single flag: disables both detectors
sysctl -w kernel.soft_watchdog=0 # runtime, keeps hard-lockup detection
C’è una ragione diversa e migliore per disattivare il rilevatore di hard lockup su un host carico, che col rumore non c’entra niente: consuma un contatore di prestazioni hardware per CPU. È per questo che il parametro accetta rNNN per configurare un evento perf raw. Se fai profiling basato sulla PMU, o hai una macchina volutamente in overprovisioning dove hai già accettato la variabilità della latenza come prezzo della densità, restituire quel contatore è uno scambio ragionevole, e piccoli stalli che hai accettato consapevolmente non sono incidenti.
Fai solo la scelta per quel motivo e non per il rumore, perché solo uno dei due è vero.
consoleblank=0 non fa niente. Il kernel documenta il timeout di oscuramento della console come «A value of 0 disables the blank timer. Defaults to 0.» È già spento. Innocuo, ma è il secondo parametro in circolazione che non ha alcun effetto, e portarselo dietro fa sembrare ragionata una riga quando viene copiata.
Riferimento rapido: dove va ciascun flag
| Flag | Host | Guest | Note |
|---|---|---|---|
iommu=pt | sì | no | L’IOMMU è dell’host. Vale in un guest solo se fai passthrough annidato con un vIOMMU |
amd_iommu=pgtbl_v2 | sì | no | Domini DMA-API dell’host. Verifica di aver ottenuto v2 e non il ripiego su v1 |
amd_iommu=on | non valido | non valido | Non è un’opzione valida. Il kernel registra «Unknown option - ‘on’» |
pcie_acs_override=… | sì | no | Patch di Proxmox, solo topologia dell’host. Indebolisce l’isolamento per costruzione |
pcie_aspm=off | sì | no | In un guest non ci sono link PCIe reali; il link fisico è dell’host |
pci=pcie_bus_perf | sì | non in modo affidabile | L’host imposta l’MPS sul bus. Usa invece pcie_bus_safe se i dispositivi arrivano via USB4 |
processor.max_cstate=1 | sì | no | Gli stati di idle reali sono dell’host. Su Intel aggiungi intel_idle.max_cstate=1 |
amd_pstate=disable | sì | no | I guest non controllano la frequenza della CPU |
cpuidle.off=1 | con cautela | sì | Gratis in un guest. Sull’host costa margine di boost e si sovrappone a max_cstate |
nmi_watchdog=0 | giudizio | sì | Giusto in un guest. Sull’host fallo per il contatore PMU, non per il rumore |
softlockup_panic=0 | no | sì | Gli stalli del guest sono spesso lo scheduler dell’host. Di solito è già il default |
consoleblank=0 | inutile | inutile | Non fa niente. Il default del kernel è già 0 |
mitigations=off | entrambi | entrambi | Valido su entrambi, con un calcolo del rischio diverso: fughe da guest a host sull’host, isolamento dei processi nel guest |
default_hugepagesz + hugepages= | entrambi | entrambi | Host: memoria che sostiene le VM. Guest: un carico dentro la VM che le vuole. Scopi diversi, stessi flag |
watchdog_thresh= / nowatchdog | entrambi | entrambi | Host: zittire stalli che hai accettato. Guest: il rilevatore non è mai stato affidabile |
Tre vanno davvero su entrambi i lati, e conviene essere precisi: «entrambi» non vuol dire «per lo stesso motivo»:
mitigations=offsull’host riguarda le fughe da guest a host e da guest a guest. Dentro un guest riguarda l’isolamento dei processi in quella VM. Puoi ragionevolmente disattivarlo in un posto e non nell’altro.- Le hugepage sull’host sostengono la RAM dei guest; in un guest sostengono un’applicazione. Riservarle due volte per la stessa memoria è uno spreco, quindi decidi quale livello le vuole.
- Il tuning del watchdog è una decisione sul rumore sull’host e una decisione di correttezza nel guest.
Tutto il resto sta su un lato o sull’altro, e due di loro non sono affatto delle scelte.
Le due righe
Host, su una macchina AMD che fa passthrough, con un solo tenant:
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off"
Sostituisci pci=pcie_bus_perf con pcie_bus_safe se qualcosa arriva via USB4. Togli mitigations=off se i guest non sono tutti tuoi. Su Intel, intel_iommu=on sostituisce i flag AMD e intel_idle.max_cstate=1 si aggiunge al limite dei C-state.
Guest Linux:
GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1"
E lascia stare kvm-clock nel guest: non forzare tsc né hpet. L’orologio paravirtuale esiste proprio perché i contatori non sono tuoi. È tutto l’argomento dell’articolo sul tempo nelle VM.
Cosa cancellare
Se hai ereditato una riga da un post su un forum, questi due sono le prime cose da togliere, perché non ti costano niente e dimostrano che la riga non è mai stata provata:
amd_iommu=on: non è un’opzione valida; il kernel registra «Unknown option - ‘on’» e va avanticonsoleblank=0: è già il default
E controlla il resto con /proc/cmdline dopo un riavvio. Ogni flag su quella riga dovrebbe essere uno per cui sai dire un motivo.
Se non sai dire cosa fa un flag, non è tuning. È superstizione. E verrà copiato nella prossima build da qualcuno che si fida di te.
Riferimenti
- Linux kernel — the kernel’s command-line parameters —
mitigations=,default_hugepagesz=,hugepages=,watchdog_thresh=,nowatchdog,consoleblank=,processor.max_cstate=,amd_pstate=,amd_iommu=e le policypci=pcie_bus_* - Linux kernel source —
drivers/iommu/amd/init.c—parse_amd_iommu_options(), e il controllo di capacità delle page table v2 che ripiega su v1 - Linux kernel source —
arch/x86/kernel/pci-dma.c—iommu=ptche chiamaiommu_set_default_passthrough() - Linux kernel — Thunderbolt — livelli di sicurezza, e i dispositivi collegati come DMA master
- Proxmox VE — System Administration —
proxmox-boot-tool status, come modificare la riga di comando del kernel con systemd-boot rispetto a GRUB