Beth Yw MPS

Mae dyfeisiau PCIe yn trosglwyddo data mewn pecynnau o’r enw Transaction Layer Packets (TLPs). Mae gan bob TLP bennyn a llwyth (payload). Uchafswm maint y llwyth hwnnw yw’r MaxPayloadSize (MPS).

Mae MPS yn cael ei drafod rhwng dyfais a’i phont i fyny’r ffrwd yn ystod hyfforddi’r cyswllt. Y gwerth y cytunir arno yw’r lleiaf o’r hyn mae’r ddyfais yn ei gefnogi a’r hyn mae’r bont yn ei ganiatáu. Mae gan bob pont a switsh yn y llwybr rhwng y ddyfais a’r root complex ei gallu MPS ei hun. Mae’r MPS terfynol ar gyfer unrhyw ddyfais yn cael ei osod gan y pwynt culaf yn y gadwyn.

Y gwerthoedd MPS cyffredin yw 128, 256 a 512 beit. Mae rhai dyfeisiau’n cefnogi 1024 neu hyd yn oed 4096 beit, ond yn ymarferol 256 neu 512 sy’n arferol ar gyfer rheolyddion NVMe a chardiau rhwydwaith. Mae GPUs yn aml yn cefnogi 256 beit.

Pam Mae’n Bwysig

Mae MPS mwy yn golygu llai o becynnau ar gyfer yr un faint o ddata. Mae IO 4KB sy’n cael ei drosglwyddo ar MPS 128 angen 32 TLP. Mae’r un trosglwyddiad ar MPS 512 angen 8 TLP.

Mae pob TLP yn cario gorbenion protocol: y pennyn, y CRC, y fframio. Mae llai o TLPs yn golygu llai o orbenion protocol i bob beit sy’n cael ei drosglwyddo. Ar drwybwn uchel, mae modd mesur y gwahaniaeth hwnnw. Nid yn ddramatig. Ond yn real. A’r un gorbenion yw e, wedi’i dalu ar bob pecyn.

Mae MPS hefyd yn effeithio ar ba mor dda mae’r cyswllt PCIe yn cael ei ddefnyddio. Mae llwythi llai yn golygu bod y cyswllt yn treulio mwy o amser ar benynnau o’i gymharu â data. Mae llwythi mwy yn symud y gymhareb tuag at ddata defnyddiol.

Mae’r un 4 KB o lwyth yn costio 32 pennyn pecyn ar MPS 128 ac 8 ar MPS 512MPS 128: mae trosglwyddiad 4 KB yn troi’n 32 TLP32 pennyn × ≈24 B: mae ≈16% o’r beitiau ar y wifren yn orbenion protocolMPS 512: mae’r un 4 KB yn troi’n 8 TLP8 pennyn × ≈24 B: mae ≈4% o’r beitiau ar y wifren yn orbenion protocolpennyn, rhif dilyniant, CRC a fframiollwythMae’r ddau stribed yn cario’r un 4 KB. Dydy llwythi mwy ddim yn symud mwy o ddata:maen nhw’n treulio llai o’r cyswllt yn ei ddisgrifio. Bach yw’r enillion trwybwn a fesurwyd.
Mae’r ddau stribed yn cario’r un 4 KB. Y barrau solet yw’r penynnau i bob pecyn: ar MPS 128 mae 32 ohonyn nhw, ar MPS 512 dim ond 8.

Mae’r effaith ar guddni’n llai na’r effaith ar drwybwn. Fydd un darlleniad 4KB ar MPS 128 yn erbyn 512 ddim yn dangos gwahaniaeth cuddni gwerth ei fesur, oherwydd bod y TLPs yn cael eu piblinellu. Ond gwthia IOPS uchel gyda llawer o drosglwyddiadau ar y gweill ac mae’r gorbenion llai o MPS mwy yn adio.

Y Broblem o dan Passthrough

Ar fetel noeth, mae’r BIOS yn gosod MPS yn ystod POST ar sail topoleg PCIe. Mae BIOS gweinydd modern fel arfer yn gosod MPS i’r uchafswm mae’r dopoleg yn ei gefnogi, 256 neu 512 beit fel arfer.

O dan QEMU, mae gan root complex y chipset rhithwir Q35 ei allu MPS ei hun. Yn ddiofyn, mae’n cyflwyno MPS isel. Mae polisi MPS diofyn cnewyllyn Linux (pcie_bus_default) yn gosod MPS pob dyfais i gyfateb i’w phont riant, sydd mewn topoleg rithwir yn golygu gwerth diofyn root complex QEMU. 128 beit yn aml.

Felly mae dyfais sy’n gallu gwneud llwythi 512 beit yn rhedeg ar 128 oherwydd mai’r root complex rhithwir osododd y nenfwd.

Y pwynt culaf yn y llwybr sy’n gosod MPS, ac o dan QEMU y root complex rhithwir yw hwnnwMetel noeth: mae’r BIOS yn gosod MPS o’r dopoleg go iawnNVMeyn cefnogi 512switsh PCIeyn caniatáu 512Root complexyn caniatáu 512MPS = 512 By lleiaf yn y llwybrWedi’i basio drwodd i VM: y root complex rhithwir yw’r pwynt culaf nawrNVMeyn cefnogi 512root complex rhithwir QEMU Q35yn cyflwyno 128 yn ddiofynMPS = 128 Bgallu’r ddyfais heb ei ddefnyddioCnewyllyn y gwesteiwr gyda pci=pcie_bus_perfNVMeyn cefnogi 512pob dyfais ar uchafswm ei bws rhiantMRRS wedi’i godi i gyfatebMPS = 512 Bar y gwesteiwr, nid y gwestai
MPS yw’r gwerth lleiaf yn y llwybr. Mae pasio dyfais drwodd yn gosod y root complex rhithwir yn y llwybr hwnnw, ac mae ei werth diofyn gochelgar yn troi’n nenfwd i bawb.

Sut i’w Drwsio: Ochr y Gwesteiwr

Dyweda wrth y cnewyllyn am osod MPS i’r uchafswm mae bws rhiant pob dyfais yn ei gefnogi:

# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub
pci=pcie_bus_perf

Mae hyn yn gosod MPS pob dyfais i’r gwerth mwyaf mae ei bws rhiant yn ei ganiatáu. Mae hefyd yn gosod MRRS (Max Read Request Size) yn unol â hynny. Mae cod ffynhonnell y cnewyllyn yn dweud ei fod yn sicrhau nad yw MPS dyfais yn fwy nag MPS ei rhiant. Mae hynny’n cadw’r gadwyn yn gyson tra’n cael y meintiau trosglwyddo gorau.

Ar ôl ailgychwyn, gwiria’r MPS newydd:

# Check MPS on a specific device
lspci -vv -s XX:00.0 | grep -i "MaxPayload"

Dylet ti weld MaxPayload 256 bytes neu MaxPayload 512 bytes yn lle’r 128 diofyn.

Opsiynau Eraill y Cnewyllyn

Mae’r cnewyllyn yn cynnig pum polisi MPS, pob un wedi’i osod drwy’r paramedr cychwyn pci=:

pcie_bus_tune_off: paid â chyffwrdd ag MPS o gwbl. Defnyddia beth bynnag osododd y BIOS. Ar fetel noeth gyda BIOS da, mae hyn yn aml yn iawn. O dan QEMU, OVMF neu SeaBIOS yw’r BIOS, a dydyn nhw ddim o reidrwydd yn optimeiddio MPS.

pcie_bus_default: diofyn y cnewyllyn. Yn gosod MPS pob dyfais i gyfateb i’w phont i fyny’r ffrwd. Gochelgar a diogel, ond dydy e ddim yn gwneud y mwyaf o’r perfformiad.

pcie_bus_safe: yn gosod MPS i’r gwerth mwyaf sy’n cael ei gefnogi gan bob dyfais yn y system. Defnyddiol ar gyfer systemau caeedig lle rwyt ti’n adnabod pob dyfais a fydd dim byd yn cael ei blygio i mewn yn boeth. Ychydig yn fwy ymosodol na’r diofyn.

pcie_bus_perf: yn gosod MPS fesul dyfais i’r gwerth mwyaf mae’r bws rhiant yn ei ganiatáu. Mae pob dyfais yn cael yr MPS gorau mae ei thopoleg leol yn ei gefnogi. Dyma’r dewis cywir ar gyfer passthrough oherwydd ei fod yn optimeiddio pob llwybr yn annibynnol.

pcie_bus_peer2peer: yn gosod MPS i 128 beit ar bopeth. Mae pob dyfais yn siarad ar y maint cyffredin isaf. Yn cael ei ddefnyddio pan fydd angen i ddyfeisiau wneud DMA yn uniongyrchol i’w gilydd (GPU i GPU, GPU i NIC drwy RDMA). Nid yw’n ddefnyddiol ar gyfer passthrough safonol.

pcie_bus_perf yw’r un cywir ar gyfer passthrough.

Sut i’w Drwsio: Ochr y Gwestai

Gelli di osod pci=pcie_bus_perf yn ffurfweddiad cychwyn cnewyllyn y gwestai hefyd. Mae p’un a yw’n cael unrhyw effaith ymarferol yn dibynnu ar sut mae QEMU yn cyflwyno’r dopoleg PCIe rithwir. Mae’r root complex rhithwir yn capio’r hyn y gall y gwestai ei drafod.

Wrth brofi, y trwsiad ar ochr y gwesteiwr yw’r un sy’n glynu. Y gwesteiwr sy’n berchen ar y ddyfais ffisegol, a’i osodiad MPS ef sy’n gosod maint gwirioneddol y TLP ar y wifren. Dim ond y dopoleg rithwir y tu mewn i’r VM y mae gosodiad y gwestai’n ei chyffwrdd, ac mae p’un a yw hynny’n newid ymddygiad go iawn yn dibynnu ar sut mae QEMU yn cyflwyno’r llwybr PCIe ar gyfer y ddyfais honno.

Gosoda fe ar y gwesteiwr. Wneith ei osod yn y gwestai hefyd ddim niwed, ond paid â dibynnu arno ar ei ben ei hun.

Beth Yw MRRS

Mae Max Read Request Size (MRRS) yn perthyn ond ar wahân. Mae MPS yn cyfyngu faint o ddata y gall dyfais ei anfon mewn un TLP. Mae MRRS yn cyfyngu faint o ddata y gall dyfais ofyn amdano mewn un cais darllen.

Gall dyfais gydag MRRS 4096 gyflwyno un cais darllen 4KB. Mae’r ymateb yn dod yn ôl mewn sawl TLP, pob un hyd at faint yr MPS. Mae MRRS uwch yn golygu y gall y ddyfais ofyn am fwy o ddata i bob trafodiad, gan leihau nifer y TLPs cais darllen ar y bws.

MRRS sy’n pennu maint y cais, MPS sy’n pennu maint pob pecyn yn yr atebrheolydd NVMeMRRS 4096 Bcof y gwesteiwrdrwy’r root complex1 × cais darllen: ‘anfona 4 KB ataf’mae MRRS yn capio faint y caiff un cais ofyn amdano8 × TLP cwblhau: 512 B yr unmae MPS yn capio maint pob pecyn yn yr atebUn cais, llawer o becynnau. pci=pcie_bus_perf yn codi’r ddau, felly does dim angen eu tiwnio ar wahân.
Mae’n hawdd drysu rhwng y ddau: mae MRRS yn cyfyngu faint y caiff dyfais ofyn amdano mewn un cais, mae MPS yn cyfyngu pa mor fawr y caiff pob pecyn yn yr ateb fod.

Mae pci=pcie_bus_perf yn gosod MPS ac MRRS i’w gwerthoedd gorau. Does dim angen i ti eu tiwnio ar wahân.

Effaith o’i Chymharu â Thiwnio Arall

Mae effaith perfformiad y gwahaniaeth MPS rhwng 128 a 512 beit yn llai nag effaith aliniad NUMA neu ASPM. Fel arfer mae’n welliant canran isel, un digid, ar drwybwn. Weli di mohono mewn meincnodau cuddni ar ddyfnderau ciw isel.

Ond mae’n optimeiddiad am ddim. Un paramedr cnewyllyn, dim anfantais, dim risg cydnawsedd. Does dim rheswm i beidio â’i osod ar unrhyw system sy’n gwneud passthrough.

Mae’n costio dim byd, ac rwyt ti eisoes wedi talu am y caledwedd. Waeth i ti gael yr hyn a brynaist ti.

Cyfeiriadau