Y Broblem
Cododd hyn yn ystod gwaith gyda chwsmer lle roedden ni’n dylunio gosodiad Proxmox VE gyda passthrough NVMe ar gyfer llwyth gwaith sy’n sensitif i guddni.
Roedd y cwsmer wedi gwneud ei feincnodi ei hun cyn yr alwad.
Ar y gwesteiwr, roedd fio yn erbyn y gyriant NVMe yn adrodd 700K IOPS darllen ar hap gyda chuddni cwblhau o dan 10µs.
Y tu mewn i’r VM, gyda’r un gyriant a’r un prawf, roedden nhw’n cael tua hanner hynny.
Roedden nhw eisoes wedi gwirio’r pethau amlwg. Doedd y gyriant ddim wedi newid. Doedd y cadarnwedd ddim wedi newid. Doedd y slot PCIe ddim wedi symud. Roedden nhw’n dechrau meddwl tybed ai passthrough oedd y dull anghywir yn gyfan gwbl.
Nid felly. Yr hyn roedden nhw’n ei weld oedd treth yr IOMMU. Mae’n dal pobl allan oherwydd does neb yn sôn wrthot ti amdani cyn i ti ymrwymo i’r dyluniad passthrough. Y newyddion da yw bod modd adennill y rhan fwyaf o’r gorbenion unwaith rwyt ti’n deall o ble maen nhw’n dod.
Plymio’n Ddwfn
Y Problemau Roedd Rhaid eu Datrys
Mae rhoi mynediad uniongyrchol i VM at ddyfais PCIe ffisegol yn swnio’n syml. Yn ymarferol, mae’n un o’r problemau anoddaf ym maes rhithwiroli systemau. Mae ambell beth sy’n gweithio’n awtomatig ar fetel noeth yn troi’n beryglus pan fydd dyfais yn cael ei rhannu rhwng gwesteiwr a gwestai.
Ynysu DMA
Dyma’r broblem sylfaenol.
Dydy dyfeisiau PCIe ddim yn mynd drwy’r CPU i ddarllen ac ysgrifennu cof. Maen nhw’n defnyddio Direct Memory Access. Maen nhw’n ysgrifennu’n syth i gyfeiriadau RAM ffisegol. Ar fetel noeth, mae hynny’n iawn. Mae’r ddyfais a’r system weithredu’n ymddiried yn ei gilydd.
O dan rithwiroli, mae gan y VM gwestai ei olwg ei hun ar y cof ffisegol. Cyfeiriadau ffisegol y gwestai yw’r cyfeiriadau mae gyrrwr y gwestai’n eu rhoi i’r rheolydd NVMe. Dydyn nhw ddim yn mapio i’r un lleoliadau yn RAM y gwesteiwr. Os yw’r ddyfais yn eu defnyddio’n uniongyrchol, mae’n darllen ac yn ysgrifennu’r cof anghywir. Mae hynny’n llygru’r gwesteiwr, VMs eraill, neu’r ddau.
Gwaeth fyth, gallai gyrrwr gwestai maleisus neu fygiog raglennu’r ddyfais yn fwriadol i wneud DMA i unrhyw ran o gof y gwesteiwr. Mae hynny i bob pwrpas yn fynediad root i’r peiriant cyfan heb erioed fanteisio ar nam yn yr hypervisor.
Yr ateb yw’r IOMMU: uned gyfieithu caledwedd (Intel VT-d, AMD-Vi) sy’n eistedd rhwng pob dyfais PCIe a’r prif gof. Mae’n cynnal ei thablau tudalennau ei hun, ar wahân i rai’r CPU. Mae pob cais DMA o’r ddyfais yn mynd drwy’r IOMMU, sy’n cyfieithu cyfeiriadau ffisegol y gwestai i gyfeiriadau ffisegol y gwesteiwr ac yn rhwystro unrhyw fynediad y tu allan i ranbarthau cof y gwestai.
Heb yr IOMMU, mae passthrough diogel yn amhosibl. Gyda hi, mae’r ddyfais wedi’i chaethiwo.
Grwpio Dyfeisiau
Dydy’r IOMMU ddim yn ynysu dyfeisiau unigol. Mae’n ynysu grwpiau.
Mae manyleb PCIe yn diffinio Access Control Services (ACS), sy’n rheoli a all dyfeisiau ar yr un bws siarad â’i gilydd yn uniongyrchol (DMA cymar i gymar) heb fynd drwy’r root complex lle mae’r IOMMU yn eistedd. Os yw dwy ddyfais yn rhannu switsh PCIe nad yw’n gorfodi ACS, gall un ddyfais wneud DMA i ofod cof y llall, gan osgoi’r IOMMU yn llwyr.
Mae’r cnewyllyn yn grwpio dyfeisiau a allai gyrraedd ei gilydd heb orfodaeth IOMMU yn un grŵp IOMMU. Os yw dy reolydd NVMe yn rhannu grŵp gyda dyfais arall, mae pasio dim ond yr NVMe drwodd yn torri’r model ynysu. Gallai’r ddyfais arall yn y grŵp gael ei defnyddio o hyd fel sianel ochr o gwmpas yr IOMMU.
Mae caledwedd gradd gweinydd gyda chefnogaeth ACS iawn ar bob pont a switsh fel arfer yn rhoi ei grŵp ei hun i bob dyfais. Mae byrddau defnyddwyr a gweithfannau’n aml yn lympio sawl dyfais gyda’i gilydd oherwydd nad yw’r root complex PCIe yn gweithredu ACS ar bob porth.
Mae Proxmox yn cario clwt cnewyllyn, pcie_acs_override, sy’n dweud wrth y cnewyllyn am drin pob dyfais fel un ynysig waeth beth fo cefnogaeth ACS y caledwedd.
Mae’n gweithio’n ymarferol, ond mae’n dweud celwydd wrth y cnewyllyn am dopoleg y caledwedd.
Ar system gynhyrchu, mae grwpiau glân wedi’u cefnogi gan ACS caledwedd go iawn bob amser yn well.
Danfon Ymyriadau
Ar fetel noeth, pan fydd rheolydd NVMe yn cwblhau gweithrediad IO, mae’n tanio ymyriad MSI-X yn uniongyrchol i’r CPU. Mae’r CPU yn ei drin mewn ychydig gannoedd o nanoeiliadau.
O dan rithwiroli, mae’n rhaid i’r ymyriad hwnnw gyrraedd y gwestai, nid y gwesteiwr. Y dull naïf yw dal pob ymyriad yn yr hypervisor, sbarduno VM exit, chwistrellu’r ymyriad i’r gwestai, ac ailddechrau. Mae hynny’n gweithio, ond mae pob VM exit yn costio 5–20µs. Ar IOPS uchel, cannoedd o filoedd o ymyriadau yr eiliad, mae’r gorbenion yn sylweddol.
Yr ateb caledwedd yw posted interrupts. Mae APICv Intel ac AVIC AMD yn caniatáu i’r IOMMU ysgrifennu’r ymyriad yn uniongyrchol i dudalen APIC rithwir y gwestai heb achosi VM exit o gwbl. Mae’r gwestai’n gweld yr ymyriad fel petai wedi dod o galedwedd metel noeth. Mae’r gorbenion yn disgyn i ychydig gannoedd o nanoeiliadau.
Dydy pob platfform ddim yn cefnogi posted interrupts. Dydy CPUs hŷn, rhai chipsets gweithfan a rhai fersiynau BIOS ddim yn dangos y gallu. Pan nad ydyn nhw yno, mae pob ymyriad yn mynd drwy’r llwybr araf, a does dim ffordd o’i gwmpas mewn meddalwedd.
Ailosod Dyfais
Pan fydd VM yn cau neu’n chwalu, mae angen i’r ddyfais sydd wedi’i phasio drwodd ddychwelyd i gyflwr glân, hysbys. Fel arall, does dim modd ei hailneilltuo i VM arall na’i hadfer gan y gwesteiwr.
Ar fetel noeth, mae’r system weithredu’n cau gyrrwr y ddyfais yn drefnus. O dan passthrough, gallai’r gwestai chwalu, gallai’r defnyddiwr orfodi’r VM i stopio, neu gallai’r hypervisor ladd y broses. Gallai’r ddyfais fod ar ganol trosglwyddiad gyda gweithrediadau DMA ar y gweill.
Mae PCIe yn diffinio Function Level Reset (FLR) ar gyfer hyn: ffordd o ailosod un swyddogaeth dyfais heb effeithio ar weddill y bws. Mae rheolyddion NVMe yn gyffredinol yn cefnogi FLR ac yn ei drin yn dda. Mae GPUs yn enwog o wael am hyn, ond erthygl arall yw honno.
Os nad yw FLR yn cael ei gefnogi, y dewis wrth gefn yw secondary bus reset, sy’n ailosod popeth y tu ôl i’r bont PCIe honno. Os oes dyfeisiau eraill ar y bont, maen nhw i gyd yn cael eu hailosod hefyd. Yn yr achos gwaethaf, ailgychwyn y gwesteiwr yn llawn yw’r unig ffordd o adfer y ddyfais.
Gorbenion Cyfieithu Cyfeiriadau
Mae’r IOMMU yn datrys y broblem diogelwch. Felly, dydy hi ddim yn ddewisol. Ond mae’n cyflwyno problem perfformiad.
Mae pob gweithrediad DMA bellach yn mynd drwy lefel ychwanegol o gyfieithu cyfeiriadau. Mae gan yr IOMMU ei TLB ei hun, yr IOTLB, a phan fydd yn taro, mae’r gorbenion yn fach. Pan fydd yn methu, mae’n rhaid i’r IOMMU gerdded ei thablau tudalennau, ac mae hynny’n ychwanegu cuddni go iawn at bob gweithrediad IO sy’n cael ei effeithio.
Dyma dreth yr IOMMU. Mae gweddill yr erthygl hon yn ymwneud â deall o ble mae’n dod a sut i’w lleihau.
Mapio BAR a Gofod Cyfeiriadau
Mae pob dyfais PCIe yn dangos un neu fwy o Base Address Registers (BARs) sy’n mapio cofrestri a chof mewnol y ddyfais i ofod cyfeiriadau MMIO y gwesteiwr. Mae CPU y gwesteiwr yn cyrraedd y ddyfais drwy’r mapiau hyn. Er mwyn i passthrough weithio, mae’n rhaid i’r hypervisor gyflwyno’r mapiau hyn yn gywir i’r gwestai.
Yn draddodiadol, roedd meintiau BAR yn cael eu pennu wrth gychwyn gan y BIOS ac yn ffitio o fewn yr hen ffenestr MMIO 32-did o dan 4GB. Roedd hynny’n gweithio pan oedd BARs yn fach. Mae GPUs modern wedi newid y darlun. Mae framebuffer 24GB angen BAR 24GB, sydd ddim yn ffitio mewn gofod cyfeiriadau 32-did.
Mae Resizable BAR (ReBAR), sydd hefyd yn cael ei farchnata fel AMD Smart Access Memory (SAM), yn allu PCIe sy’n caniatáu ail-drafod maint y BAR ar ôl cychwyn. I GPUs, mae hon yn nodwedd arwyddocaol. Yn lle cyrraedd y framebuffer drwy ffenestr 256MB a thudalennu drwyddo fesul darn, mae’r gwesteiwr yn mapio’r VRAM cyfan ar unwaith.
I NVMe, mae’r effaith uniongyrchol yn llai. Mae BARs rheolyddion NVMe fel arfer yn 16KB i 64KB ar gyfer set gofrestri’r rheolydd (BAR0). Mae manyleb NVMe yn diffinio Controller Memory Buffer (CMB) a all ddangos BAR mwy ar gyfer ciwiau cyflwyno sy’n byw ar y gwesteiwr, ond dydy’r rhan fwyaf o yriannau ddim yn ei weithredu. Dydy ReBAR ddim yn newid trwybwn NVMe fel mae’n ei wneud i GPUs.
Y rheswm mae’n bwysig mewn cyd-destun passthrough NVMe yw’r amgylchedd PCIe a rennir. Os wyt ti’n pasio gyriant NVMe drwodd ochr yn ochr â GPU ar yr un gwesteiwr, mae BAR newydd ei faint y GPU angen gofod cyfeiriadau uwchben y ffin 4GB. Mae’n rhaid i’r BIOS, yr IOMMU a’r dopoleg PCIe rithwir i gyd wneud lle i hynny. Os wyt ti’n cael dyraniad y gofod cyfeiriadau’n anghywir, dydy dyfeisiau ddim yn cychwyn, ac mae’r passthrough NVMe yn methu ochr yn ochr â phopeth arall.
Agored i Golli Pŵer
Ar ddisg rithwir, yr hypervisor a’r haen storfa sy’n delio â threfn ysgrifennu a chysondeb ar ôl chwalfa. Gyda passthrough, mae’r gwestai’n siarad yn uniongyrchol â’r fflach. Os yw’r gwesteiwr yn colli pŵer ar ganol ysgrifennu, yr hyn mae cadarnwedd y rheolydd NVMe yn ei wneud, neu’n methu ei wneud, gyda’i gelc ysgrifennu sy’n penderfynu a wyt ti’n colli data.
Mae gyriannau NVMe menter yn cario cynwysorau diogelu rhag colli pŵer (PLP) sy’n gwagio’r celc ysgrifennu’n ddiogel yn ystod methiant pŵer. Efallai na fydd gyriannau defnyddwyr heb PLP yn gwneud hynny. Gyda passthrough, does dim rhwyd ddiogelwch hypervisor rhwng y gwestai a’r caledwedd.
I lwyth gwaith cynhyrchu, dydy gyriant menter gyda PLP ddim yn ddewisol.
Cyfaddawdau Gweithredol
Mae passthrough hefyd yn cael gwared ar alluoedd mae disgiau rhithwir yn eu darparu.
Mae dyfais sydd wedi’i phasio drwodd wedi’i bolltio’n ffisegol i westeiwr penodol. Does dim modd mudo’r VM yn fyw tra bo’r ddyfais ynghlwm. Mewn clwstwr Proxmox gyda HA, mae methiant nod yn golygu bod y VM yn mynd i lawr ac yn cychwyn yn oer ar nod arall. Does dim trosglwyddo di-dor.
Mae’r gyriant hefyd yn anweledig i vzdump a Proxmox Backup Server.
Fydd e ddim yn cael ei gynnwys mewn cipluniau VM na chopïau wrth gefn wedi’u hamserlennu.
Mae angen strategaeth wrth gefn ar wahân, ar lefel y gwestai, y system ffeiliau neu’r rhaglen, yn ei lle cyn i’r llwyth gwaith fynd yn fyw.
Sut Mae Passthrough VFIO yn Gweithio Mewn Gwirionedd
Pan fyddi di’n pasio dyfais PCIe drwodd i VM, mae’r hypervisor yn rhoi rheolaeth uniongyrchol i’r gwestai dros gofrestri MMIO y ddyfais. Mae gyrrwr y gwestai’n siarad â’r rheolydd NVMe fel petai’n rhedeg ar fetel noeth. Mae’r rhan honno bron yn frodorol. Mae mynediad at gofrestri MMIO yn mynd drwy Extended Page Tables (EPT ar Intel, NPT ar AMD) ac fel arfer yn cwblhau heb VM exit.
Y llwybr DMA yw lle mae’r gost yn ymddangos. Mae pob gweithrediad DMA yn mynd drwy’r IOMMU i gyfieithu cyfeiriadau, ac fel y disgrifiwyd uchod, mae pris i’r cyfieithu hwnnw. Yn enwedig pan fydd yr IOTLB yn methu.
Pam Mae’r Meincnodau’n Edrych yn Waeth Na’r Realiti
Dyma lle mae’r rhan fwyaf o bobl yn mynd o’i le gyda’u profi.
Roedd defnyddwyr mewn edefyn ar fforwm Proxmox a ysgogodd yr erthygl hon yn rhedeg fio gyda iodepth=1.
Ar y dyfnder ciw hwnnw, mae fio yn cyflwyno un IO, yn aros iddo gwblhau, ac yna’n cyflwyno’r nesaf.
Dim ond cuddni pob IO mae’r prawf yn ei fesur.
Mae pob microeiliad o orbenion IOMMU yn ymddangos yn llawn.
Mae’r rhifau o’r edefyn hwnnw’n adrodd y stori’n glir.
Roedd cuddni cwblhau metel noeth ar gyfartaledd tua 10µs.
Y tu mewn i’r VM, roedd ar gyfartaledd tua 28µs.
Yr ~18µs ychwanegol hwnnw ar bob IO yw gorbenion cyfieithu’r IOMMU.
Ar iodepth=1, mae’n haneru’r trwybwn yn uniongyrchol oherwydd bod trwybwn yn hafal i 1 / latency pan mai dim ond un IO sydd ar y gweill.
Coda’r dyfnder ciw i 32 neu 64, sef y ffordd mae gyriannau NVMe wedi’u cynllunio i weithredu, ac mae’r darlun yn newid. Gyda sawl IO ar y gweill, mae gorbenion yr IOMMU yn cael eu rhannu ar draws pob un ohonyn nhw. Mae’r rheolydd yn prosesu cwblhadau tra bo cyfieithiadau newydd yn digwydd. Mae’r trwybwn yn adfer i o fewn ychydig y cant o fetel noeth.
Y wers ymarferol yw hyn. Os yw dy lwyth gwaith yn rhedeg ar ddyfnderau ciw uwch na 4, mae cosb trwybwn yr IOMMU yn debygol o fod yn ddibwys. Mae hynny’n cynnwys y rhan fwyaf o lwythi gwaith cronfeydd data, rhithwiroli a storfa. Os yw dy lwyth gwaith yn sensitif i guddni ar ddyfnderau ciw isel, fel rhai rhaglenni amser real a gweithrediadau metadata cydamserol, byddi di’n ei deimlo.
Rheda dy feincnodau ar ddyfnderau ciw realistig cyn dod i’r casgliad bod passthrough yn rhy araf:
# Bare metal baseline — run on the host before binding to vfio-pci
fio --name=randread --ioengine=libaio --direct=1 --bs=4k \
--iodepth=32 --numjobs=4 --rw=randread --size=1G \
--filename=/dev/nvme0n1 --runtime=30 --time_based \
--group_reporting
# Same test inside the VM after passthrough
fio --name=randread --ioengine=libaio --direct=1 --bs=4k \
--iodepth=32 --numjobs=4 --rw=randread --size=1G \
--filename=/dev/nvme0n1 --runtime=30 --time_based \
--group_reporting
Cymhara’r canraddau clat (cuddni cwblhau) a’r ffigurau IOPS.
Ar iodepth=32 gyda phedair swydd, dylai’r bwlch fod yn bwyntiau canran un digid, nid 50%.
Aliniad NUMA
Mae gan hyn ei erthygl ei hun. Gweler Aliniad NUMA ar Proxmox VE: Pam Mae’n Bwysig a Sut i’w Gael yn Iawn.
Y fersiwn fer: ar systemau aml-soced, mae pob dyfais PCIe wedi’i gwifrio i soced benodol. Os yw’r gyriant NVMe ar nod NUMA 1 a vCPUs y VM wedi’u pinio i nod 0, mae pob cwblhad DMA yn croesi’r cyswllt rhwng y socedi. Mae hynny’n ychwanegu 50–100ns at bob gweithrediad. Ar IOPS uchel, mae’r gwahaniaeth trwybwn rhwng NUMA wedi’i alinio a NUMA heb ei alinio yn 20–30%.
Gwiria gyda cat /sys/bus/pci/devices/0000:XX:00.0/numa_node, yna pinia vCPUs y VM i greiddiau ar yr un nod gyda’r paramedr affinity yn ffurfweddiad y VM.
Ar systemau un soced, dydy hyn ddim yn bryder.
PCIe Active State Power Management (ASPM)
Mae gan hyn ei erthygl ei hun. Gweler PCIe ASPM a Pham y Dylet Ti Ei Analluogi ar gyfer Passthrough.
Y fersiwn fer: mae ASPM yn caniatáu i gysylltiadau PCIe fynd i gyflyrau pŵer isel pan fyddan nhw’n segur.
O dan passthrough, mae’r gwesteiwr yn dal i reoli’r cyswllt ffisegol ond y gwestai sy’n berchen ar y ddyfais.
Pan fydd y gwestai’n cyflwyno IO a’r cyswllt yn cysgu, mae’r amser deffro’n ychwanegu cuddni.
Y symptom yw lledaeniad eang yn dy ganraddau clat. Gallai’r p99 fod 5–10x yn uwch na’r cyfartaledd tra bo’r cymedr yn edrych yn iawn.
Analluoga fe ar y gwesteiwr gyda pcie_aspm=off yn llinell orchymyn y cnewyllyn.
Ychwanega hefyd disable_idle_d3=1 at opsiynau modiwl vfio-pci os oes gan dy reolydd NVMe broblemau adfer cyflwr pŵer. Mae’r Samsung 990 EVO Plus yn droseddwr hysbys.
MaxPayloadSize (MPS)
Mae gan hyn ei erthygl ei hun. Gweler PCIe MaxPayloadSize: Hwb Perfformiad am Ddim i Passthrough.
Y fersiwn fer: mae dyfeisiau PCIe yn trosglwyddo data mewn Transaction Layer Packets.
Mae root complex rhithwir QEMU yn defnyddio llwyth uchaf o 128 beit yn ddiofyn.
Mae’r rhan fwyaf o ddyfeisiau’n cefnogi 256 neu 512 beit.
Mae ychwanegu pci=pcie_bus_perf at linell orchymyn cnewyllyn y gwesteiwr yn gosod MPS i’r uchafswm mae bws rhiant pob dyfais yn ei ganiatáu.
Gwelliant trwybwn bach yw e, canran isel un digid, ond mae am ddim a heb anfantais.
Resizable BAR ac Agorfa MMIO
Mae camau ymarferol ar ochr y BIOS ac ochr y VM i’r broblem mapio BAR a ddisgrifiwyd yn gynharach.
Yn gyntaf, galluoga Above 4G Decoding yn y BIOS. Mae hyn yn caniatáu mapio BARs i ofod cyfeiriadau uwchben y ffin 4GB, sy’n angenrheidiol i unrhyw ddyfais â BARs mawr. Galluoga fe hyd yn oed ar gyfer passthrough NVMe yn unig. Does dim anfantais iddo ac mae’n osgoi problemau os wyt ti’n ychwanegu GPU neu ddyfais BAR mawr arall yn nes ymlaen.
Os yw ReBAR ar gael yn y BIOS, galluoga hwnnw hefyd. Fydd e ddim yn effeithio ar berfformiad NVMe yn uniongyrchol, ond mae’n caniatáu i GPUs ar yr un gwesteiwr ddefnyddio’u mapio framebuffer llawn.
Ar ochr y VM, mae root complex rhithwir Q35 QEMU angen ffenestr MMIO 64-did sy’n ddigon mawr i’r gwestai weld BARs newydd eu maint. Yn ddiofyn, mae OVMF yn dyrannu ffenestr gymharol fach. Ar gyfer passthrough NVMe yn unig, mae hyn yn iawn. Mae BARs NVMe yn ffitio’n gyfforddus. Ond os oes gan y VM NVMe a GPU wedi’u pasio drwodd, cynydda’r agorfa MMIO:
args: -fw_cfg name=opt/ovmf/X-PciMmio64Mb,string=65536
Mae hyn yn dweud wrth OVMF am ddyrannu 64GB o ofod MMIO 64-did, digon i’r rhan fwyaf o framebuffers GPU ochr yn ochr â BAR bach y rheolydd NVMe.
Mae cefnogaeth ReBAR QEMU wedi bod yn gwella ond dydy hi ddim yn ddi-dor eto. Mae rhai GPUs AMD (Vega a mwy newydd) yn sbarduno gwallau gyrrwr (Code 43 yn Windows) gyda ReBAR wedi’i alluogi o dan QEMU. Os wyt ti’n taro hynny, analluoga ReBAR yn y BIOS fel cam cyntaf. Fydd passthrough NVMe ddim yn cael ei effeithio’r naill ffordd na’r llall.
Am yr hyn mae Resizable BAR yn ei wneud ar ochr y GPU i’r ffens, a pham mae Intel yn ei drin yn orfodol ar Arc tra bo NVIDIA yn ei alluogi fesul gêm, gweler PCIe Resizable BAR a GPUs Modern.
Trin Ymyriadau
Mae cam tiwnio ymarferol i’r broblem danfon ymyriadau a ddisgrifiwyd yn gynharach. Efallai na fydd posted interrupts (APICv ar Intel, AVIC ar AMD) wedi’u galluogi yn ddiofyn.
Gwiria a ydyn nhw’n weithredol:
# Intel — look for "Posted-Interrupts" in dmesg
dmesg | grep -i "posted"
# AMD — check AVIC support
dmesg | grep -i "avic"
Ar systemau AMD EPYC, galluoga AVIC ym modiwl KVM os nad yw ymlaen yn ddiofyn:
# /etc/modprobe.d/kvm.conf
options kvm_amd avic=1
Ar systemau Intel, mae APICv gyda posted interrupts fel arfer yn cael ei alluogi’n awtomatig pan fydd VT-d yn weithredol.
Os nad yw dy blatfform yn cefnogi posted interrupts, does dim ffordd o’i gwmpas mewn meddalwedd. Gallu caledwedd yw e. Ond mae’n werth gwirio ei fod wedi’i droi ymlaen mewn gwirionedd cyn tybio na ellir osgoi’r llwybr araf.
Affinedd Ymyriadau ac Aliniad Ciwiau
Mae rheolyddion NVMe yn defnyddio sawl pâr o giwiau cyflwyno a chwblhau. Un i bob craidd CPU fel arfer. Pan nad yw vCPUs y VM yn cyd-fynd â’r creiddiau ffisegol sy’n trin ymyriadau’r NVMe, mae’n rhaid i gwblhadau groesi creiddiau drwy ymyriadau rhwng proseswyr. Mae hynny’n ychwanegu cuddni.
Y tu mewn i’r gwestai, gwiria faint o giwiau IO mae gyrrwr NVMe wedi’u creu a sut maen nhw wedi’u mapio:
# List NVMe IO queues
cat /proc/interrupts | grep nvme
# Check affinity
for irq in $(grep nvme /proc/interrupts | awk '{print $1}' | tr -d ':'); do
echo "IRQ $irq: $(cat /proc/irq/$irq/smp_affinity_list)"
done
Yn ddelfrydol, dylai ymyriad pob ciw IO NVMe fod wedi’i affineiddio i’r vCPU sy’n cyflwyno i’r ciw hwnnw. Mae’r rhan fwyaf o yrwyr NVMe modern yn trin hyn yn awtomatig. Ond mae’n werth ei wirio, yn enwedig os wyt ti wedi pinio vCPUs â llaw neu wedi lleihau nifer y vCPUs islaw nifer ciwiau’r rheolydd.
Defnyddia Q35 Bob Amser, Nid i440fx
Mae hyn yn haeddu ei erthygl ei hun. Gweler Defnyddia Q35 Bob Amser, Nid i440fx.
Y fersiwn fer: mae i440fx yn cyflwyno bws PCI etifeddol gwastad. Mae Q35 yn cyflwyno root complex PCIe iawn. Mae dyfeisiau passthrough ar i440fx yn ymddangos fel PCI etifeddol, sy’n torri danfon ymyriadau aml-giw MSI-X. Mae rheolyddion NVMe angen MSI-X ar gyfer eu pensaernïaeth ciw i bob craidd. Hebddo, mae pob cwblhad IO yn twndisio drwy un ymyriad ac rwyt ti’n cael tagfa ar IOPS uchel na wneith unrhyw faint o diwnio’r cnewyllyn ei thrwsio.
Yn Proxmox 8.x a mwy newydd, Q35 yw’r diofyn ar gyfer VMs newydd. Os wyt ti’n gwneud passthrough ar hen VM sy’n dal i fod yn i440fx, newidia fe. Mae RHEL 10 wedi anghymeradwyo i440fx yn ffurfiol, ac mae ecosystem ehangach KVM yn dilyn.
Rhoi’r Cyfan at Ei Gilydd
Dyma grynodeb o’r camau tiwnio yn nhrefn eu heffaith.
Aliniad NUMA: gwna’n siŵr bod y gyriant NVMe a vCPUs y VM ar yr un nod NUMA. Gall hyn ar ei ben ei hun gyfrif am wahaniaeth trwybwn o 20–30% ar systemau aml-soced.
ASPM i ffwrdd: ychwanega pcie_aspm=off at linell orchymyn cnewyllyn y gwesteiwr.
Mae’n cael gwared ar amrywiad cuddni o newidiadau cyflwr pŵer y cyswllt PCIe.
Dyfnderau ciw realistig: profa ar iodepth=32 neu uwch, nid iodepth=1.
Mae gorbenion yr IOMMU sy’n rheoli ar ddyfnderau ciw isel yn cael eu rhannu ar ddyfnderau realistig.
Posted interrupts: gwiria fod APICv (Intel) neu AVIC (AMD) yn weithredol. Mae’n lleihau’r gorbenion i bob ymyriad o ficroeiliadau i nanoeiliadau.
Optimeiddio MPS: ychwanega pci=pcie_bus_perf at linell orchymyn cnewyllyn y gwesteiwr.
Mae’n gosod MaxPayloadSize i’r uchafswm mae’r dopoleg yn ei gefnogi.
Rheoli pŵer vfio-pci: ychwanega disable_idle_d3=1 os oes gan dy reolydd NVMe broblemau cyflwr pŵer o dan passthrough.
Byddai llinell orchymyn cnewyllyn gyfun ar gyfer nod Proxmox sy’n gwneud passthrough NVMe ar system AMD EPYC yn edrych rhywbeth fel hyn:
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf"
Ar gyfer Intel:
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf"
Pan Nad Yw Passthrough yn Werth Chweil
Cyn mynd i lawr y llwybr hwn, mae’n werth gofyn a oes angen passthrough NVMe arnat ti o gwbl.
Mae VirtIO-SCSI a VirtIO-BLK gyda disg rithwir ar NVMe eisoes yn effeithlon iawn. Mae’r gorbenion o’u cymharu â passthrough fel arfer yn 5–10% ar guddni. Mae’r gwahaniaeth trwybwn yn ddibwys i’r rhan fwyaf o lwythi gwaith.
Mae passthrough yn gwneud synnwyr pan fydd angen i system weithredu’r gwestai reoli’r ddyfais yn uniongyrchol. Mae hynny’n cynnwys monitro SMART, diweddariadau cadarnwedd, rheoli TRIM/discard, a nodweddion NVMe penodol fel reservations. Mae hefyd yn gwneud synnwyr i lwythi gwaith sy’n sensitif i guddni lle mae hyd yn oed ychydig o ficroeiliadau’n bwysig. Mae rhai peiriannau cronfa ddata a llyncu data amser real yn perthyn i’r categori hwnnw.
I bopeth arall, mae’r cyfaddawdau gweithredol a drafodwyd yn gynharach, colli mudo byw, colli cipluniau ac integreiddio copïau wrth gefn, fel arfer yn drech na’r enillion perfformiad bach.
Does dim byd clyfar am ddewis y llwybr anoddaf pan fydd yr un hawsaf yn gwneud y gwaith.
Gwirio Dy Newidiadau
Ar ôl rhoi’r camau tiwnio ar waith, gwiria fod popeth yn gweithio fel y disgwyl:
# Host side — confirm IOMMU is in passthrough mode
dmesg | grep -i iommu
# Confirm ASPM is disabled
lspci -vv | grep -i "ASPM Disabled"
# Check MPS on the NVMe controller
lspci -vv -s XX:00.0 | grep MaxPayload
# Inside the VM — run the fio comparison
fio --name=randread --ioengine=libaio --direct=1 --bs=4k \
--iodepth=32 --numjobs=4 --rw=randread --size=1G \
--filename=/dev/nvme0n1 --runtime=30 --time_based \
--group_reporting
Cymhara ganlyniadau’r VM yn erbyn dy waelodlin metel noeth cynharach.
Ar iodepth=32, dylet ti weld trwybwn o fewn 5% i fetel noeth.
Dylai cyfartaleddau cuddni cwblhau fod o fewn 10–15µs i ffigurau’r gwesteiwr.
Os yw’r bwlch yn dal yn fawr, gwiria aliniad NUMA yn gyntaf.
Dyma’r ffactor sy’n cael ei anwybyddu amlaf.
Does dim cost iddo chwaith heblaw newid ffurfweddiad, sy’n ei wneud y math gorau o broblem i gael dy adael gyda hi.
Cyfeiriadau
- Linux kernel PCI documentation — MPS and MRRS tuning options — y ffynhonnell awdurdodol ar gyfer
pcie_bus_perf,pcie_bus_safea pharamedrau cysylltiedig - Proxmox VE Administration Guide — PCI(e) Passthrough — dogfennaeth swyddogol Proxmox ar ffurfweddu passthrough dyfeisiau VFIO
- Proxmox Forum — NVMe Passthrough Performance — y drafodaeth gymunedol a ysgogodd yr erthygl hon