Beth Mae ASPM yn Ei Wneud
Mae PCIe Active State Power Management (ASPM) yn caniatáu i gysylltiadau PCIe fynd i gyflyrau pŵer isel pan fyddan nhw’n segur. Mae manyleb PCIe yn diffinio sawl cyflwr cyswllt:
L0 yw’r cyflwr cwbl weithredol. Mae’r cyswllt i fyny, mae pŵer ar y ddau ben, a gall data lifo ar unwaith.
L0s yw cyflwr segur ysgafn. Mae’r cyswllt yn diffodd yn rhannol. Mae dychwelyd i L0 yn cymryd tua 1–4µs yn dibynnu ar y caledwedd. Gall y ddau ben fynd i L0s yn annibynnol.
L1 yw cyflwr segur dyfnach. Mae dau ben y cyswllt yn diffodd gyda’i gilydd. Mae dychwelyd i L0 yn cymryd mwy o amser: 2–32µs fel arfer, weithiau mwy. Mae’r union amser adfer yn dibynnu ar y ddyfais, cenhedlaeth PCIe a’r platfform.
L1.1 a L1.2 yw is-gyflyrau L1 a gyflwynwyd yn PCIe 3.0. Maen nhw’n lleihau’r pŵer ymhellach drwy ddiffodd cyfeirnod cloc y PLL. Gall adfer o L1.2 gymryd 32–100µs. I ddyfais storfa dydy hynny ddim yn gamgymeriad talgrynnu. Mae tua mor hir â’r darlleniad roeddet ti’n ceisio’i wneud yn y lle cyntaf.
Mae’r syniad yn syml. Os yw cyswllt PCIe yn segur am ychydig o ficroeiliadau, symuda fe i gyflwr pŵer is. Pan fydd traffig yn ailddechrau, deffra fe. Arbed ychydig o bŵer yn y cyfamser.
Ar liniadur neu beiriant bwrdd gwaith sy’n treulio’r rhan fwyaf o’i amser yn gwneud dim byd, mae ASPM yn arbed pŵer go iawn. Ychydig o watiau i bob cyswllt, yn adio ar draws holl ddyfeisiau PCIe y system. Ar weinydd sy’n rhedeg llwythi gwaith trwm o ran IO, anaml mae’r cysylltiadau’n segur yn ddigon hir i ASPM gael effaith ystyrlon.
Pam Mae’n Achosi Problemau o dan Passthrough
Ar fetel noeth, mae’r system weithredu a gyrrwr y ddyfais yn trafod rheoli pŵer gyda’i gilydd. Mae gyrrwr NVMe yn gwybod pryd mae’r cyswllt ar fin mynd yn segur a phryd mae ar fin cyflwyno IO newydd. Mae is-system PCIe y cnewyllyn yn cydlynu’r newidiadau cyflwr cyswllt gyda’r gyrrwr. Mae popeth mewn cytgord.
O dan passthrough VFIO, mae’r cydlynu hwnnw’n chwalu.
Mae cnewyllyn y gwesteiwr yn dal i reoli’r cyswllt PCIe ffisegol. Mae’r VM gwestai yn berchen ar y ddyfais drwy VFIO, ond dydy e ddim yn rheoli’r cyswllt ei hun. Mae is-system PCIe y gwesteiwr yn gweld y cyswllt yn mynd yn segur, oherwydd o safbwynt y gwesteiwr does dim gyrrwr ar ochr y gwesteiwr yn ei ddefnyddio. Mae’n symud y cyswllt i gyflwr pŵer isel. Pan fydd y gwestai’n cyflwyno IO, mae angen i’r ddyfais gael y cyswllt yn ôl yn L0. Mae’r amser adfer yn ymddangos fel cuddni ychwanegol ar y gweithrediad IO hwnnw.
Y canlyniad yw cuddni anghyson.
Mae’r rhan fwyaf o IOs yn cwblhau ar gyflymder arferol.
Mae rhai’n cymryd llawer mwy o amser oherwydd eu bod nhw’n taro cyswllt sydd yn L1 neu L1.2 ac sy’n gorfod deffro gyntaf.
Mae hyn yn ymddangos fel lledaeniad eang yn dy ganraddau clat (cuddni cwblhau).
Efallai y bydd y cyfartaledd yn edrych yn iawn.
Gallai’r p99 fod 5–10x yn uwch.
Mae hyn yn anodd ei weld oherwydd gall y rhifau trwybwn cyfartalog edrych yn iawn. Dim ond pan fyddi di’n edrych ar guddni’r gynffon y gweli di’r broblem. Dydy llawer o feincnodau ddim yn ei amlygu oni bai dy fod ti’n gofyn am allbwn canraddau.
Y Crych sy’n Benodol i VFIO
Mae crych yma sy’n mynd y tu hwnt i’r broblem sylfaenol o’r ‘gwesteiwr a’r gwestai’n ymladd dros gyflwr y cyswllt’.
Pan fydd dyfais wedi’i rhwymo i vfio-pci ar y gwesteiwr, mae cnewyllyn y gwesteiwr yn gwybod bod y ddyfais yn y modd passthrough.
Ond mae polisi PCIe ASPM yn cael ei gymhwyso ar lefel y cyswllt, nid ar lefel y ddyfais.
Mae polisi ASPM y gwesteiwr yn dal i fod yn berthnasol i’r cyswllt ffisegol oherwydd mai’r gwesteiwr sy’n dal i fod yn berchen ar dopoleg PCIe.
Dydy VFIO ddim yn rhyng-gipio nac yn diystyru newidiadau ASPM. Mae’n pasio gofod BAR ac ymyriadau’r ddyfais drwodd, ond mae rheoli pŵer y cyswllt yn aros dan reolaeth y gwesteiwr. Does gan y gwestai ddim ffordd o ddweud wrth y gwesteiwr ‘cadwa’r cyswllt hwn yn L0’.
Mae rhai caledweddau a fersiynau cnewyllyn mwy newydd yn delio â hyn yn well nag eraill. Felly, y dull mwyaf diogel yw tynnu ASPM allan o’r darlun yn llwyr.
Sut i’w Analluogi
Ychwanega pcie_aspm=off at linell orchymyn cnewyllyn y gwesteiwr:
# Edit /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"
# Update GRUB and reboot
update-grub
reboot
Mae hyn yn atal y gwesteiwr rhag rhoi unrhyw gyswllt PCIe mewn cyflwr pŵer isel. Mae’n berthnasol yn fyd-eang. Pob dyfais PCIe ar y gwesteiwr, nid dim ond yr un sy’n cael ei phasio drwodd.
Gwiria ar ôl ailgychwyn:
# Should show "ASPM Disabled" for all devices
lspci -vv | grep -i "ASPM"
Y Gost Pŵer
Mae analluogi ASPM yn cynyddu’r defnydd pŵer segur. Mae pob cyswllt PCIe a fyddai fel arall yn L1 yn aros yn L0, gan ddefnyddio ychydig gannoedd o filiwatiau yn rhagor. Ar draws system gyda deg neu bymtheg o ddyfeisiau PCIe, gallai hynny adio i 2–5 wat pan fydd yn segur.
I weinydd mewn canolfan ddata, mae 2–5 wat yn gamgymeriad talgrynnu ar fil trydan. I labordy cartref, mae’n ffracsiwn o’r hyn mae’r CPU a’r cof yn ei ddefnyddio. I liniadur, mae’n bwysig. Ond fyddet ti ddim yn gwneud passthrough VFIO ar fatri gliniadur.
Mae’r cyfaddawd yn glir. Ychydig o watiau o bŵer segur yn erbyn pigau cuddni anrhagweladwy ar y dyfeisiau rwyt ti’n eu pasio drwodd. Ar unrhyw system sy’n gwneud passthrough, dylai ASPM fod i ffwrdd.
Problemau Cyflwr Pŵer ar Lefel y Ddyfais
Mae ASPM yn rheoli cyflwr pŵer y cyswllt PCIe. Mae gan ddyfeisiau eu rheoli pŵer eu hunain hefyd: cyflyrau D PCIe (D0 hyd at D3).
Pan fydd dyfais yn D3 (wedi’i diffodd yn llwyr), nid dim ond y cyswllt sy’n cysgu. Mae’r ddyfais ei hun wedi stopio.
O dan passthrough VFIO, gall gyrrwr vfio-pci y gwesteiwr roi’r ddyfais yn D3 pan nad yw’r VM yn rhedeg neu pan fydd polisi rheoli pŵer y gwesteiwr yn penderfynu bod y ddyfais yn segur.
Dydy rhai rheolyddion NVMe ddim yn ymdopi’n lân â’r newid o D3 i D0. Dydyn nhw ddim yn dod yn ôl yn lân, mae’r gwestai’n colli’r ddyfais, a’r unig ffordd allan yw ailgychwyn y VM neu weithiau ailgychwyn y gwesteiwr.
Mae’r Samsung 990 EVO Plus yn droseddwr adnabyddus.
Y trwsiad yw’r opsiwn modiwl disable_idle_d3 ar gyfer vfio-pci:
# /etc/modprobe.d/vfio.conf
options vfio-pci disable_idle_d3=1
Mae hyn yn atal vfio-pci rhag rhoi unrhyw ddyfais sydd wedi’i rhwymo iddo yn D3 pan fydd yn segur.
Fel pcie_aspm=off, mae’n osodiad byd-eang. Mae pob dyfais sydd wedi’i rhwymo i vfio-pci yn aros yn D0.
Dyna fel arfer beth rwyt ti eisiau ar gyfer passthrough, lle dylai’r gwestai fod yr unig beth sy’n rheoli cyflwr pŵer y ddyfais.
Mae’r opsiwn disable_idle_d3 ar wahân i ASPM.
Mae ASPM yn rheoli’r cyswllt.
Mae D3 yn rheoli’r ddyfais.
Gall y ddau achosi problemau’n annibynnol.
Am ffurfweddiad passthrough glân, analluoga’r ddau.
Rheoli ASPM fesul Dyfais
Os nad wyt ti eisiau analluogi ASPM yn fyd-eang, efallai oherwydd bod gen ti ddyfeisiau PCIe eraill ar y gwesteiwr sy’n elwa o arbed pŵer, gelli di reoli ASPM fesul cyswllt drwy sysfs:
# Find the link's ASPM policy
cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
# Disable ASPM for a specific link
echo 0 > /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm
Mae hyn wedi’i dargedu’n well ond yn llai dibynadwy ar draws ailgychwyniadau a diweddariadau cnewyllyn.
I’r rhan fwyaf o setiau passthrough, mae baner cnewyllyn fyd-eang pcie_aspm=off yn symlach ac yn fwy rhagweladwy.
Pan Nad ASPM Yw’r Broblem
Nid ASPM yw pob problem amrywiad cuddni.
Os yw dy ganraddau clat yn uchel yn gyson (nid dim ond y gynffon), mae’r broblem yn fwy tebygol o fod yn orbenion cyfieithu IOMMU, NUMA heb ei alinio, neu MPS nad yw’n cyfateb.
Mae ASPM yn benodol yn achosi patrwm deufoddol, lle mae’r rhan fwyaf o IOs yn gyflym ac ychydig yn araf, oherwydd mai dim ond IOs sy’n digwydd cyrraedd pan fydd y cyswllt mewn cyflwr pŵer isel y mae’n effeithio arnyn nhw.
Gwiria am ASPM yn gyntaf pan weli di:
- cuddni p99 5x neu fwy yn uwch na’r cyfartaledd
- canlyniadau
fioanghyson rhwng rhediadau - cuddni sy’n gwella dan lwyth cyson ond yn dirywio yn ystod llwythi gwaith pyliog
Os yw’r cuddni’n wael yn gyson waeth beth fo patrwm y llwyth, edrych yn rhywle arall. Mae’n werth diystyru ASPM yn gynnar oherwydd ei fod yn rhad i’w brofi. Dydy e ddim yn ateb i bob cyswllt araf, chwaith, ac mae mynd ar ei ôl pan nad yw’r rhifau’n ffitio’r patrwm yn brynhawn na chei di mohono’n ôl.
Cyfeiriadau
- Linux kernel PCI documentation — ASPM parameters — cod ffynhonnell y cnewyllyn sy’n ymdrin â
pcie_aspm=offac opsiynau cysylltiedig - Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — edefyn cymunedol sy’n ymdrin â
disable_idle_d3ar gyfer rheolyddion NVMe Samsung - Proxmox VE Wiki — PCI(e) Passthrough — y ddogfennaeth swyddogol ar ffurfweddu passthrough