Beth Yw BAR, a Pham Tyfodd GPUs yn Rhy Fawr Iddo

Mae pob dyfais PCIe yn dangos un neu fwy o Base Address Registers. Mae BAR yn dweud wrth y system faint o ofod cyfeiriadau mae’r ddyfais ei eisiau, ac mae’r cadarnwedd yn ei fapio i fap cof y gwesteiwr. Unwaith y mae wedi’i fapio, mae’r CPU yn cyrraedd cof y ddyfais gyda llwythi a storau cyffredin.

Roedd maint BAR yn arfer bod wedi’i bennu yn y silicon. Roedd y cadarnwedd yn ei ddarllen wrth droi’r pŵer ymlaen a dyna ddiwedd y sgwrs.

Roedd hynny’n iawn tra bod BARs yn fach. Mae cerdyn rhwydwaith eisiau ychydig ddegau o gilobeitiau ar gyfer ei gofrestri. Mae rheolydd NVMe eisiau 16KB i 64KB.

Cardiau graffeg dorrodd y drefn. Mae gan gerdyn modern 8, 12, 16 neu 24GB o gof fideo, a’r peth amlwg i’w wneud yw mapio’r cyfan fel y gall y CPU ysgrifennu i unrhyw ran ohono. Doedd BARs sefydlog ddim yn gallu mynegi hynny, felly daeth y confensiwn yn ffenestr fach, 256MB fel arfer, mae’r gyrrwr yn ei hailbwyntio dros y framebuffer, gan gopïo drwyddi fesul darn. Mae’n gweithio. Dim ond swm hurt o waith cadw cyfrifon yw e i gyrraedd cof rwyt ti eisoes wedi’i brynu a’i osod.

Mae agorfa sefydlog yn dangos un sleisen ar y tro; mae Resizable BAR yn mapio’r cyfanBAR sefydlog: ffenestr 256 MB24 GB o VRAM, wedi’i dynnu fel sleisysy ffenestrMae’r gyrrwr yn ailbwyntio’r ffenestr ac yn copïo drwyddi,un sleisen ar y tro. Darluniadol yw’r sleisys, nid wrth raddfa.Resizable BAR: y cyfanyr un 24 GB, wedi’i fapio unwaithun BAR yn cwmpasu’r cyfanMae’r CPU yn ysgrifennu lle mae’n bwriadu. Dim ffenestri’w symud.
Mae’r agorfa 256MB yn llai o gyfyngiad lled band nag o dreth cadw cyfrifon: mae’r gyrrwr yn treulio’i amser yn symud y ffenestr yn lle symud data.

Beth Mae Resizable BAR yn Ei Newid

Mae Resizable BAR yn allu PCIe sy’n gadael i faint BAR gael ei drafod yn lle bod yn sefydlog. Mae’r ddyfais yn hysbysebu’r meintiau y gall eu cefnogi, ac mae’r cadarnwedd neu’r system weithredu’n rhaglennu un ohonyn nhw.

I GPU, mae hynny’n golygu bod modd mapio’r framebuffer cyfan ar unwaith. Mae’r gyrrwr yn rhoi’r gorau i dudalennu drwy ffenestr ac yn ysgrifennu lle mae’n bwriadu ysgrifennu. Mae’r cnewyllyn yn adrodd y gallu fel Physical Resizable BAR, ac mae’n niwtral o ran gwerthwr. Mae cerdyn AMD yn gweithio gydag e ar blatfform Intel ac i’r gwrthwyneb.

Beth Mae’r Tri Gwerthwr yn Ei Wneud Mewn Gwirionedd

Y rhan ddiddorol yw nad yw’r gwerthwyr yn cytuno ar ba mor bwysig yw e.

Tri gwerthwr, un gallu, tri safbwynt gwahanolIntel Arc / Arc ProGORFODOL‘Required to get a goodexperience with Arc’O’i ddiffodd, mae’r pigau amserffrâm oedd yno eisoes yn tyfu.Platfformau: Core 10fed Gen amwy newydd, y rhan fwyaf o Ryzen3000, pob Ryzen 5000.NVIDIAFESUL GÊMCyfres RTX 30 ymlaen,Mawrth 2021‘A few percent, up to 12%’,ac mae rhai teitlau’n arafach, fellymae’r gyrrwr yn ei alluogi dim ondlle profodd yn gyflymach.Angen diweddaru VBIOS + SBIOS.AMD RadeonSMART ACCESS MEMORYYr un gallu, wedi’i werthudan enw brandLansiwyd gyda RX 6000 aRyzen 5000 fel nodwedd bâr, ondgallu PCIe safonol yw e, acmae’n gweithio ar draws gwerthwyr.Mwy tameidiog ar Vega a Polaris.Mae’r gallu yr un fath ym mhob achos. Y gwahaniaeth yw a yw’r gwerthwr yn ei drin fel rhagofyniad,fel optimeiddiad i’w gymhwyso’n ddetholus, neu fel nodwedd cynnyrch.
Yr un gallu, tri safbwynt gwahanol. Mae Intel yn ei drin fel rhagofyniad; mae NVIDIA yn ei gludo wedi’i droi ymlaen dim ond ar gyfer gemau mae wedi’u profi; mae AMD yn ei werthu fel nodwedd.

Intel Arc ac Arc Pro: Mae Intel yn Dweud Ei Fod yn Angenrheidiol

Intel yw’r un pendant. Mae eu canllawiau’n dweud bod Resizable BAR yn ‘required to get a good experience with Intel® Arc™ hardware.’ Mae honno’n iaith anarferol o gryf ar gyfer nodwedd platfform, ac mae’n dangos sut mae gyrrwr Arc wedi’i adeiladu yn hytrach na dewis marchnata.

Ar ochr y symptomau, mae Intel yn disgrifio effaith ei droi i ffwrdd o ran cysondeb yn hytrach na chyfartaleddau: gyda ‘ReBAR off’ fe ‘will generally result in spikes that were already there getting bigger.’ Dadl am sefydlogrwydd amser ffrâm yw honno, ac mae’r un siâp o broblem ag effaith ASPM ar gynffonnau cuddni. Mae’r cyfartaledd yn ei guddio.

Mae Intel yn rhestru proseswyr Intel Core 10fed Genhedlaeth a mwy newydd, y rhan fwyaf o gyfres Ryzen 3000 a phob CPU Ryzen 5000 fel platfformau a gefnogir, ac yn ei drin fel nodwedd BIOS y famfwrdd y mae’n rhaid i ti fynd i’w galluogi.

Mae’r canlyniad ymarferol i Arc ac Arc Pro yn syml. Os wyt ti wedi rhoi cerdyn Arc mewn peiriant a bod y perfformiad yn siomedig neu’n anwastad, gwiria hyn cyn i ti wirio dim byd arall. Felly, nid bwlyn tiwnio ar y cardiau hynny yw e gymaint â rhagofyniad.

NVIDIA: Ampere Ymlaen, a Dim Ond Lle Mae’n Helpu

Ychwanegodd NVIDIA gefnogaeth i gardiau a gliniaduron GeForce RTX 30 Series ym mis Mawrth 2021. Roedd ei gael i weithio’n gofyn am VBIOS a gefnogir, CPU a mamfwrdd cydnaws, diweddariad cadarnwedd i’r famfwrdd, a gyrrwr cyfredol. Daeth yr RTX 3060 gydag e o’r dechrau; gallai’r 3060 Ti, 3070, 3080 a 3090 fod angen diweddariad cadarnwedd i’w gael.

Mae fframio perfformiad NVIDIA ei hun yn braf o ddi-sglein. Fe welson nhw fod ‘some titles benefit from a few percent, up to 12%’ tra bo ‘there are also titles that see a decrease in performance.’

Eu hymateb i hynny yw’r manylyn sy’n werth ei wybod: yn lle ei adael ymlaen yn fyd-eang, mae NVIDIA yn profi teitlau ymlaen llaw ac yn defnyddio proffiliau fesul gêm i alluogi Resizable BAR dim ond lle mesurwyd ei fod yn ennill. Felly ar gerdyn NVIDIA, mae gan ‘ydy ReBAR ymlaen?’ ateb fesul rhaglen, a gallai meincnod sy’n dangos dim byd fod yn deitl y penderfynodd y gyrrwr ei adael yn llonydd.

AMD: Smart Access Memory Yw’r Un Peth

Brand AMD amdano yw Smart Access Memory, a gyflwynwyd ochr yn ochr â chyfres Radeon RX 6000 a CPUs Ryzen 5000. Mae’r marchnata’n awgrymu paru CPU AMD gyda GPU AMD, a dyna sut y lansiwyd e, ond y gallu PCIe safonol sydd oddi tano. Galluoga Resizable BAR yn y cadarnwedd gyda cherdyn Radeon mewn peiriant Intel ac rwyt ti’n cael yr un nodwedd heb y brandio.

Mae cardiau Radeon Pro cyfres W yn ei gefnogi hefyd. Ar bensaernïaethau hŷn, Vega a Polaris, mae’r gefnogaeth yn fwy tameidiog, a dyna hefyd lle mae trafferthion rhithwiroli’n byw.

Resizable BAR a Gwaith AI

Dyma lle mae’r nodwedd yn cael ei chamddeall, felly mae’n werth bod yn glir am yr hyn mae’n ei gyffwrdd.

Mae Resizable BAR yn newid sut mae’r CPU yn cyrraedd cof y GPU. Dyna’r llwybr trosglwyddo: llwyfannu pwysau’r model, gwthio sypiau, darllen canlyniadau’n ôl. Dydy e ddim yn cyffwrdd â lled band cof y GPU ei hun, a dydy e ddim yn gwneud lluosi matrics yn gyflymach.

Felly’r crynodeb gonest yw ei fod yn effeithio ar lwytho a bwydo model, nid ar y rhifyddeg. I fodel mawr, mae’r copi o’r gwesteiwr i’r ddyfais adeg llwytho yn gost go iawn, ac mae BAR maint llawn yn gadael i’r CPU ysgrifennu’n syth i gof y ddyfais yn lle gwennol drwy dwll 256MB. Yng nghyflwr sefydlog rhediad casglu (inference), lle mae’r pwysau eisoes yn eu lle a’r gwaith wedi’i gyfyngu gan gyfrifiant, paid â disgwyl dim byd.

Mae tri manylyn yn werth eu gwybod.

Mae Arc Pro ar gyfer AI yn etifeddu dyfarniad Intel. Os yw Intel yn dweud bod y cerdyn angen Resizable BAR am brofiad da, mae hynny’n berthnasol i gerdyn sy’n rhedeg oneAPI neu PyTorch gymaint ag i un sy’n rhedeg gêm. Dylai cardiau Arc ac Arc Pro sy’n gwneud casglu ei gael wedi’i alluogi, a dyna ddiwedd arni.

Ar NVIDIA, BAR1 yw’r rhif rwyt ti ei eisiau. BAR1 yw’r ffenestr sy’n weladwy i’r gwesteiwr ar gof y ddyfais, a dyna lle mae dyraniadau wedi’u mapio gan y gwesteiwr a GPUDirect RDMA yn mynd drwyddo:

# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"

Mae cerdyn canolfan ddata wedi’i adeiladu gyda BAR1 mawr yn barod. Ar gerdyn bwrdd gwaith, Resizable BAR sy’n gwneud y ffenestr honno’n fawr yn hytrach na phitw. Os wyt ti’n gwneud RDMA yn syth o NIC i gof y GPU, dydy hyn ddim yn foethusrwydd.

Paid â drysu hyn â gofyniad ROCm. Mae gofynion system ROCm AMD yn galw am CPUs sy’n cefnogi PCIe atomics, ‘modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell’, a dydyn nhw’n dweud dim am faint BAR. Dau ofyniad platfform gwahanol yw’r rheini sydd ill dau’n byw yn yr un ddewislen BIOS, ac mae pobl yn eu cymysgu drwy’r amser. Gwiria’r un sydd ei angen arnat ti mewn gwirionedd.

Nid perfformiad o gwbl yw’r methiant sy’n brathu adeiladau AI galetaf, ac mae’n cael ei drafod isod: gall sawl GPU BAR mawr mewn un peiriant ddihysbyddu’r gofod cyfeiriadau.

Beth Sydd Ei Angen iddo Weithio

Pedwar peth, ac maen nhw i gyd ar lefel y cadarnwedd:

  • Resizable BAR wedi’i alluogi yng nghadarnwedd y famfwrdd. I ffwrdd yn ddiofyn yn aml.
  • Above 4G Decoding wedi’i alluogi. Dydy BAR 24GB ddim yn gallu ffitio o dan y llinell 4GB, felly mae’n rhaid i’r platfform fod yn barod i ddyrannu gofod cyfeiriadau uwch ei phen. Troa hwn ymlaen hyd yn oed heb GPU yn bresennol. Does dim cost iddo.
  • Cychwyn UEFI, gyda CSM i ffwrdd. Dydy’r modd cydnawsedd etifeddol a BARs mawr ddim yn cymysgu.
  • Cadarnwedd a gyrwyr cyfredol, yn enwedig ar fyrddau a chardiau o gyfnod pontio 2020–2021, pan gyrhaeddodd y gefnogaeth drwy ddiweddariad yn hytrach nag adeg y lansio.
Dim ond uwchben 4GB mae BAR mawr yn ffitio, ac mae’n rhaid i agorfa’r gwestai fod yn ddigon mawr i’w ddalLle gall BAR newydd ei faint fyw mewn gwirioneddRAM y system0twll MMIO 32-did4 GBMMIO 64-diduchelGPU 0BAR 24 GBGPU 1: 24 GBGPU 2: 24 GBGPU 3: 24 GBGorlawn, a dim ond 4 GB o led i gydNi all BAR 24 GB fynd fan hyn. Prin y gallaiun 256 MB.Defnyddiadwy gydag Above 4G Decoding yn unigGosodiad cadarnwedd. I ffwrdd yn ddiofyn ar rai byrddau,a hebddo dydy BAR mawr byth yn cael ei ddyrannu.Mae angen ei le ei hun fan hyn ar bob cerdynMae pedwar cerdyn 24 GB eisiau 96 GB o MMIO 64-did,ynghyd â phopeth arall ar y bws. Fydd cadarnweddambell fwrdd defnyddiwr ddim yn gwneud hynny.Yr arwydd: iawn gyda dau gerdyn, un yn gwrthodcychwyn gyda phedwar, a dmesg yn adrodd dim lle i’r BAR.Nid wrth raddfa: mae’r rhanbarth 64-did yn aruthrol fwy na’r 4 GB oddi tano, a dyna’rpwynt, a dweud y gwir.
Above 4G Decoding sy’n gwneud y rhanbarth uchaf yn ddefnyddiadwy o gwbl, ac mae angen ei le ei hun i fyny fan’na ar bob cerdyn, a dyna lle mae adeiladau AI aml-GPU yn taro’r wal.

Sut i Wirio ar Linux

A oes gan y cerdyn y gallu, a pha feintiau mae’n eu cynnig:

# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"

Mae’r cnewyllyn hefyd yn dangos hyn yn sysfs, un ffeil i bob BAR y gellir newid ei faint:

cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

Didfap o’r meintiau a gefnogir yw’r gwerth hwnnw, nid maint. Mae did 0 yn golygu 1MB, did 1 yn golygu 2MB, did 2 yn golygu 4MB, a’r maint ar gyfer did penodol yw 2 ^ (bit + 20). Felly mae gan 00000000000001c0 ddidau 6, 7 ac 8 wedi’u gosod, sy’n golygu y gall y BAR fod yn 64MB, 128MB neu 256MB.

I weld beth sydd mewn grym mewn gwirionedd, darllena’r rhanbarthau a neilltuwyd:

lspci -vvs 0000:XX:00.0 | grep -i Region

Mae cerdyn sy’n rhedeg gyda’i framebuffer llawn wedi’i fapio yn dangos rhanbarth sy’n cyfateb i faint ei VRAM yn hytrach nag un 256MB.

Newid y Maint â Llaw

Gelli di ysgrifennu safle’r did dy hun:

# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize

Mae’r amodau sydd ynghlwm yn llym, ac yn werth eu darllen cyn rhoi cynnig arni ar beiriant sy’n bwysig i ti. Mae’n rhaid datrwymo pob gyrrwr o’r ddyfais yn gyntaf. Efallai y bydd angen tynnu dyfeisiau cymar o dan yr un bont riant drwy feddalwedd. Ar ddyfais VGA, mae ysgrifennu gwerth maint newydd yn datgymalu gyrwyr consol lefel isel. Mae’n rhaid i unrhyw beth sy’n dal y ffeiliau sysfs resourceN ar agor eu gollwng.

Mae dogfennaeth y cnewyllyn hefyd yn ddi-flewyn-ar-dafod am y canlyniad: does dim sicrwydd o lwyddiant. Mae newid y maint yn methu os nad oes gofod cyfeiriadau i osod y BAR mwy ynddo. Sy’n dy daflu’n syth yn ôl at Above 4G Decoding.

Pan Fydd Pethau’n Mynd o’i Le

Mae dmesg yn dweud na all neilltuo’r BAR. Mae negeseuon ar ffurf BAR 0: no space for [mem size ...] yn golygu bod y dyrannu wedi methu, nid bod y cerdyn yn ddiffygiol. Above 4G Decoding yw’r peth cyntaf i’w wirio.

Sawl GPU, a dydy un ohonyn nhw ddim yn cychwyn. Dyma’r methiant aml-GPU a rig AI. Mae pedwar cerdyn gyda BARs 24GB angen 96GB o ofod MMIO 64-did wedi’i ddyrannu, ynghyd â phopeth arall, a fydd cadarnwedd ambell fwrdd defnyddiwr ddim yn gwneud hynny. Y symptom yw bod y peiriant yn iawn gyda dau gerdyn ac yn syrthio drosodd gyda phedwar.

Aeth y perfformiad i lawr. Ar NVIDIA gallai hynny fod yn gasgliad y gyrrwr ei hun, gan eu bod nhw’n ei alluogi fesul teitl yn union oherwydd bod rhai llwythi gwaith yn gwaethygu. Ar y lleill, mesura’r ddwy ffordd yn hytrach na thybio.

Newidiodd dim byd o gwbl. Y canlyniad mwyaf tebygol i lwyth gwaith na chafodd erioed ei gyfyngu gan ffenestr y CPU i’r VRAM.

Pasio GPU BAR Mawr Drwodd i VM

Mae’n werth tynnu sylw ato oherwydd ei fod yn synnu pobl: dydy gwestai ddim yn etifeddu map cof y gwesteiwr. Mae cadarnwedd y VM yn adeiladu ei agorfa MMIO 64-did ei hun, ac mae diofyn OVMF yn llawer llai nag sydd ei angen ar GPU modern, felly mae’r cerdyn naill ai’n methu cychwyn neu’n syrthio’n ôl ar BAR bach. Pwnc Proxmox a QEMU yw hwnnw yn hytrach nag un GPU, ac mae’n byw yn yr erthygl ar dreth yr IOMMU ochr yn ochr â gofynion y math o beiriant o Defnyddia Q35 Bob Amser, Nid i440fx.

Cyfeiriadau