Beth Yw MPS
Mae dyfeisiau PCIe yn trosglwyddo data mewn pecynnau o’r enw Transaction Layer Packets (TLPs). Mae gan bob TLP bennyn a llwyth (payload). Uchafswm maint y llwyth hwnnw yw’r MaxPayloadSize (MPS).
Mae MPS yn cael ei drafod rhwng dyfais a’i phont i fyny’r ffrwd yn ystod hyfforddi’r cyswllt. Y gwerth y cytunir arno yw’r lleiaf o’r hyn mae’r ddyfais yn ei gefnogi a’r hyn mae’r bont yn ei ganiatáu. Mae gan bob pont a switsh yn y llwybr rhwng y ddyfais a’r root complex ei gallu MPS ei hun. Mae’r MPS terfynol ar gyfer unrhyw ddyfais yn cael ei osod gan y pwynt culaf yn y gadwyn.
Y gwerthoedd MPS cyffredin yw 128, 256 a 512 beit. Mae rhai dyfeisiau’n cefnogi 1024 neu hyd yn oed 4096 beit, ond yn ymarferol 256 neu 512 sy’n arferol ar gyfer rheolyddion NVMe a chardiau rhwydwaith. Mae GPUs yn aml yn cefnogi 256 beit.
Pam Mae’n Bwysig
Mae MPS mwy yn golygu llai o becynnau ar gyfer yr un faint o ddata. Mae IO 4KB sy’n cael ei drosglwyddo ar MPS 128 angen 32 TLP. Mae’r un trosglwyddiad ar MPS 512 angen 8 TLP.
Mae pob TLP yn cario gorbenion protocol: y pennyn, y CRC, y fframio. Mae llai o TLPs yn golygu llai o orbenion protocol i bob beit sy’n cael ei drosglwyddo. Ar drwybwn uchel, mae modd mesur y gwahaniaeth hwnnw. Nid yn ddramatig. Ond yn real. A’r un gorbenion yw e, wedi’i dalu ar bob pecyn.
Mae MPS hefyd yn effeithio ar ba mor dda mae’r cyswllt PCIe yn cael ei ddefnyddio. Mae llwythi llai yn golygu bod y cyswllt yn treulio mwy o amser ar benynnau o’i gymharu â data. Mae llwythi mwy yn symud y gymhareb tuag at ddata defnyddiol.
Mae’r effaith ar guddni’n llai na’r effaith ar drwybwn. Fydd un darlleniad 4KB ar MPS 128 yn erbyn 512 ddim yn dangos gwahaniaeth cuddni gwerth ei fesur, oherwydd bod y TLPs yn cael eu piblinellu. Ond gwthia IOPS uchel gyda llawer o drosglwyddiadau ar y gweill ac mae’r gorbenion llai o MPS mwy yn adio.
Y Broblem o dan Passthrough
Ar fetel noeth, mae’r BIOS yn gosod MPS yn ystod POST ar sail topoleg PCIe. Mae BIOS gweinydd modern fel arfer yn gosod MPS i’r uchafswm mae’r dopoleg yn ei gefnogi, 256 neu 512 beit fel arfer.
O dan QEMU, mae gan root complex y chipset rhithwir Q35 ei allu MPS ei hun.
Yn ddiofyn, mae’n cyflwyno MPS isel.
Mae polisi MPS diofyn cnewyllyn Linux (pcie_bus_default) yn gosod MPS pob dyfais i gyfateb i’w phont riant, sydd mewn topoleg rithwir yn golygu gwerth diofyn root complex QEMU. 128 beit yn aml.
Felly mae dyfais sy’n gallu gwneud llwythi 512 beit yn rhedeg ar 128 oherwydd mai’r root complex rhithwir osododd y nenfwd.
Sut i’w Drwsio: Ochr y Gwesteiwr
Dyweda wrth y cnewyllyn am osod MPS i’r uchafswm mae bws rhiant pob dyfais yn ei gefnogi:
# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub
pci=pcie_bus_perf
Mae hyn yn gosod MPS pob dyfais i’r gwerth mwyaf mae ei bws rhiant yn ei ganiatáu. Mae hefyd yn gosod MRRS (Max Read Request Size) yn unol â hynny. Mae cod ffynhonnell y cnewyllyn yn dweud ei fod yn sicrhau nad yw MPS dyfais yn fwy nag MPS ei rhiant. Mae hynny’n cadw’r gadwyn yn gyson tra’n cael y meintiau trosglwyddo gorau.
Ar ôl ailgychwyn, gwiria’r MPS newydd:
# Check MPS on a specific device
lspci -vv -s XX:00.0 | grep -i "MaxPayload"
Dylet ti weld MaxPayload 256 bytes neu MaxPayload 512 bytes yn lle’r 128 diofyn.
Opsiynau Eraill y Cnewyllyn
Mae’r cnewyllyn yn cynnig pum polisi MPS, pob un wedi’i osod drwy’r paramedr cychwyn pci=:
pcie_bus_tune_off: paid â chyffwrdd ag MPS o gwbl.
Defnyddia beth bynnag osododd y BIOS.
Ar fetel noeth gyda BIOS da, mae hyn yn aml yn iawn.
O dan QEMU, OVMF neu SeaBIOS yw’r BIOS, a dydyn nhw ddim o reidrwydd yn optimeiddio MPS.
pcie_bus_default: diofyn y cnewyllyn.
Yn gosod MPS pob dyfais i gyfateb i’w phont i fyny’r ffrwd.
Gochelgar a diogel, ond dydy e ddim yn gwneud y mwyaf o’r perfformiad.
pcie_bus_safe: yn gosod MPS i’r gwerth mwyaf sy’n cael ei gefnogi gan bob dyfais yn y system.
Defnyddiol ar gyfer systemau caeedig lle rwyt ti’n adnabod pob dyfais a fydd dim byd yn cael ei blygio i mewn yn boeth.
Ychydig yn fwy ymosodol na’r diofyn.
pcie_bus_perf: yn gosod MPS fesul dyfais i’r gwerth mwyaf mae’r bws rhiant yn ei ganiatáu.
Mae pob dyfais yn cael yr MPS gorau mae ei thopoleg leol yn ei gefnogi.
Dyma’r dewis cywir ar gyfer passthrough oherwydd ei fod yn optimeiddio pob llwybr yn annibynnol.
pcie_bus_peer2peer: yn gosod MPS i 128 beit ar bopeth.
Mae pob dyfais yn siarad ar y maint cyffredin isaf.
Yn cael ei ddefnyddio pan fydd angen i ddyfeisiau wneud DMA yn uniongyrchol i’w gilydd (GPU i GPU, GPU i NIC drwy RDMA).
Nid yw’n ddefnyddiol ar gyfer passthrough safonol.
pcie_bus_perf yw’r un cywir ar gyfer passthrough.
Sut i’w Drwsio: Ochr y Gwestai
Gelli di osod pci=pcie_bus_perf yn ffurfweddiad cychwyn cnewyllyn y gwestai hefyd.
Mae p’un a yw’n cael unrhyw effaith ymarferol yn dibynnu ar sut mae QEMU yn cyflwyno’r dopoleg PCIe rithwir.
Mae’r root complex rhithwir yn capio’r hyn y gall y gwestai ei drafod.
Wrth brofi, y trwsiad ar ochr y gwesteiwr yw’r un sy’n glynu. Y gwesteiwr sy’n berchen ar y ddyfais ffisegol, a’i osodiad MPS ef sy’n gosod maint gwirioneddol y TLP ar y wifren. Dim ond y dopoleg rithwir y tu mewn i’r VM y mae gosodiad y gwestai’n ei chyffwrdd, ac mae p’un a yw hynny’n newid ymddygiad go iawn yn dibynnu ar sut mae QEMU yn cyflwyno’r llwybr PCIe ar gyfer y ddyfais honno.
Gosoda fe ar y gwesteiwr. Wneith ei osod yn y gwestai hefyd ddim niwed, ond paid â dibynnu arno ar ei ben ei hun.
Beth Yw MRRS
Mae Max Read Request Size (MRRS) yn perthyn ond ar wahân. Mae MPS yn cyfyngu faint o ddata y gall dyfais ei anfon mewn un TLP. Mae MRRS yn cyfyngu faint o ddata y gall dyfais ofyn amdano mewn un cais darllen.
Gall dyfais gydag MRRS 4096 gyflwyno un cais darllen 4KB. Mae’r ymateb yn dod yn ôl mewn sawl TLP, pob un hyd at faint yr MPS. Mae MRRS uwch yn golygu y gall y ddyfais ofyn am fwy o ddata i bob trafodiad, gan leihau nifer y TLPs cais darllen ar y bws.
Mae pci=pcie_bus_perf yn gosod MPS ac MRRS i’w gwerthoedd gorau.
Does dim angen i ti eu tiwnio ar wahân.
Effaith o’i Chymharu â Thiwnio Arall
Mae effaith perfformiad y gwahaniaeth MPS rhwng 128 a 512 beit yn llai nag effaith aliniad NUMA neu ASPM. Fel arfer mae’n welliant canran isel, un digid, ar drwybwn. Weli di mohono mewn meincnodau cuddni ar ddyfnderau ciw isel.
Ond mae’n optimeiddiad am ddim. Un paramedr cnewyllyn, dim anfantais, dim risg cydnawsedd. Does dim rheswm i beidio â’i osod ar unrhyw system sy’n gwneud passthrough.
Mae’n costio dim byd, ac rwyt ti eisoes wedi talu am y caledwedd. Waeth i ti gael yr hyn a brynaist ti.
Cyfeiriadau
- Linux kernel PCI Kconfig — MPS and MRRS tuning options — y ffynhonnell awdurdodol ar gyfer y pum polisi MPS
- Linux Plumbers Conference 2017 — MPS vs MRRS (PDF) — cyflwyniad Sinan Kaya ar sut mae’r cnewyllyn yn trin MPS/MRRS