Beth Yw BAR, a Pham Tyfodd GPUs yn Rhy Fawr Iddo
Mae pob dyfais PCIe yn dangos un neu fwy o Base Address Registers. Mae BAR yn dweud wrth y system faint o ofod cyfeiriadau mae’r ddyfais ei eisiau, ac mae’r cadarnwedd yn ei fapio i fap cof y gwesteiwr. Unwaith y mae wedi’i fapio, mae’r CPU yn cyrraedd cof y ddyfais gyda llwythi a storau cyffredin.
Roedd maint BAR yn arfer bod wedi’i bennu yn y silicon. Roedd y cadarnwedd yn ei ddarllen wrth droi’r pŵer ymlaen a dyna ddiwedd y sgwrs.
Roedd hynny’n iawn tra bod BARs yn fach. Mae cerdyn rhwydwaith eisiau ychydig ddegau o gilobeitiau ar gyfer ei gofrestri. Mae rheolydd NVMe eisiau 16KB i 64KB.
Cardiau graffeg dorrodd y drefn. Mae gan gerdyn modern 8, 12, 16 neu 24GB o gof fideo, a’r peth amlwg i’w wneud yw mapio’r cyfan fel y gall y CPU ysgrifennu i unrhyw ran ohono. Doedd BARs sefydlog ddim yn gallu mynegi hynny, felly daeth y confensiwn yn ffenestr fach, 256MB fel arfer, mae’r gyrrwr yn ei hailbwyntio dros y framebuffer, gan gopïo drwyddi fesul darn. Mae’n gweithio. Dim ond swm hurt o waith cadw cyfrifon yw e i gyrraedd cof rwyt ti eisoes wedi’i brynu a’i osod.
Beth Mae Resizable BAR yn Ei Newid
Mae Resizable BAR yn allu PCIe sy’n gadael i faint BAR gael ei drafod yn lle bod yn sefydlog. Mae’r ddyfais yn hysbysebu’r meintiau y gall eu cefnogi, ac mae’r cadarnwedd neu’r system weithredu’n rhaglennu un ohonyn nhw.
I GPU, mae hynny’n golygu bod modd mapio’r framebuffer cyfan ar unwaith.
Mae’r gyrrwr yn rhoi’r gorau i dudalennu drwy ffenestr ac yn ysgrifennu lle mae’n bwriadu ysgrifennu.
Mae’r cnewyllyn yn adrodd y gallu fel Physical Resizable BAR, ac mae’n niwtral o ran gwerthwr. Mae cerdyn AMD yn gweithio gydag e ar blatfform Intel ac i’r gwrthwyneb.
Beth Mae’r Tri Gwerthwr yn Ei Wneud Mewn Gwirionedd
Y rhan ddiddorol yw nad yw’r gwerthwyr yn cytuno ar ba mor bwysig yw e.
Intel Arc ac Arc Pro: Mae Intel yn Dweud Ei Fod yn Angenrheidiol
Intel yw’r un pendant. Mae eu canllawiau’n dweud bod Resizable BAR yn ‘required to get a good experience with Intel® Arc™ hardware.’ Mae honno’n iaith anarferol o gryf ar gyfer nodwedd platfform, ac mae’n dangos sut mae gyrrwr Arc wedi’i adeiladu yn hytrach na dewis marchnata.
Ar ochr y symptomau, mae Intel yn disgrifio effaith ei droi i ffwrdd o ran cysondeb yn hytrach na chyfartaleddau: gyda ‘ReBAR off’ fe ‘will generally result in spikes that were already there getting bigger.’ Dadl am sefydlogrwydd amser ffrâm yw honno, ac mae’r un siâp o broblem ag effaith ASPM ar gynffonnau cuddni. Mae’r cyfartaledd yn ei guddio.
Mae Intel yn rhestru proseswyr Intel Core 10fed Genhedlaeth a mwy newydd, y rhan fwyaf o gyfres Ryzen 3000 a phob CPU Ryzen 5000 fel platfformau a gefnogir, ac yn ei drin fel nodwedd BIOS y famfwrdd y mae’n rhaid i ti fynd i’w galluogi.
Mae’r canlyniad ymarferol i Arc ac Arc Pro yn syml. Os wyt ti wedi rhoi cerdyn Arc mewn peiriant a bod y perfformiad yn siomedig neu’n anwastad, gwiria hyn cyn i ti wirio dim byd arall. Felly, nid bwlyn tiwnio ar y cardiau hynny yw e gymaint â rhagofyniad.
NVIDIA: Ampere Ymlaen, a Dim Ond Lle Mae’n Helpu
Ychwanegodd NVIDIA gefnogaeth i gardiau a gliniaduron GeForce RTX 30 Series ym mis Mawrth 2021. Roedd ei gael i weithio’n gofyn am VBIOS a gefnogir, CPU a mamfwrdd cydnaws, diweddariad cadarnwedd i’r famfwrdd, a gyrrwr cyfredol. Daeth yr RTX 3060 gydag e o’r dechrau; gallai’r 3060 Ti, 3070, 3080 a 3090 fod angen diweddariad cadarnwedd i’w gael.
Mae fframio perfformiad NVIDIA ei hun yn braf o ddi-sglein. Fe welson nhw fod ‘some titles benefit from a few percent, up to 12%’ tra bo ‘there are also titles that see a decrease in performance.’
Eu hymateb i hynny yw’r manylyn sy’n werth ei wybod: yn lle ei adael ymlaen yn fyd-eang, mae NVIDIA yn profi teitlau ymlaen llaw ac yn defnyddio proffiliau fesul gêm i alluogi Resizable BAR dim ond lle mesurwyd ei fod yn ennill. Felly ar gerdyn NVIDIA, mae gan ‘ydy ReBAR ymlaen?’ ateb fesul rhaglen, a gallai meincnod sy’n dangos dim byd fod yn deitl y penderfynodd y gyrrwr ei adael yn llonydd.
AMD: Smart Access Memory Yw’r Un Peth
Brand AMD amdano yw Smart Access Memory, a gyflwynwyd ochr yn ochr â chyfres Radeon RX 6000 a CPUs Ryzen 5000. Mae’r marchnata’n awgrymu paru CPU AMD gyda GPU AMD, a dyna sut y lansiwyd e, ond y gallu PCIe safonol sydd oddi tano. Galluoga Resizable BAR yn y cadarnwedd gyda cherdyn Radeon mewn peiriant Intel ac rwyt ti’n cael yr un nodwedd heb y brandio.
Mae cardiau Radeon Pro cyfres W yn ei gefnogi hefyd. Ar bensaernïaethau hŷn, Vega a Polaris, mae’r gefnogaeth yn fwy tameidiog, a dyna hefyd lle mae trafferthion rhithwiroli’n byw.
Resizable BAR a Gwaith AI
Dyma lle mae’r nodwedd yn cael ei chamddeall, felly mae’n werth bod yn glir am yr hyn mae’n ei gyffwrdd.
Mae Resizable BAR yn newid sut mae’r CPU yn cyrraedd cof y GPU. Dyna’r llwybr trosglwyddo: llwyfannu pwysau’r model, gwthio sypiau, darllen canlyniadau’n ôl. Dydy e ddim yn cyffwrdd â lled band cof y GPU ei hun, a dydy e ddim yn gwneud lluosi matrics yn gyflymach.
Felly’r crynodeb gonest yw ei fod yn effeithio ar lwytho a bwydo model, nid ar y rhifyddeg. I fodel mawr, mae’r copi o’r gwesteiwr i’r ddyfais adeg llwytho yn gost go iawn, ac mae BAR maint llawn yn gadael i’r CPU ysgrifennu’n syth i gof y ddyfais yn lle gwennol drwy dwll 256MB. Yng nghyflwr sefydlog rhediad casglu (inference), lle mae’r pwysau eisoes yn eu lle a’r gwaith wedi’i gyfyngu gan gyfrifiant, paid â disgwyl dim byd.
Mae tri manylyn yn werth eu gwybod.
Mae Arc Pro ar gyfer AI yn etifeddu dyfarniad Intel. Os yw Intel yn dweud bod y cerdyn angen Resizable BAR am brofiad da, mae hynny’n berthnasol i gerdyn sy’n rhedeg oneAPI neu PyTorch gymaint ag i un sy’n rhedeg gêm. Dylai cardiau Arc ac Arc Pro sy’n gwneud casglu ei gael wedi’i alluogi, a dyna ddiwedd arni.
Ar NVIDIA, BAR1 yw’r rhif rwyt ti ei eisiau. BAR1 yw’r ffenestr sy’n weladwy i’r gwesteiwr ar gof y ddyfais, a dyna lle mae dyraniadau wedi’u mapio gan y gwesteiwr a GPUDirect RDMA yn mynd drwyddo:
# How much device memory is actually host-visible
nvidia-smi -q | grep -A3 "BAR1 Memory Usage"
Mae cerdyn canolfan ddata wedi’i adeiladu gyda BAR1 mawr yn barod. Ar gerdyn bwrdd gwaith, Resizable BAR sy’n gwneud y ffenestr honno’n fawr yn hytrach na phitw. Os wyt ti’n gwneud RDMA yn syth o NIC i gof y GPU, dydy hyn ddim yn foethusrwydd.
Paid â drysu hyn â gofyniad ROCm. Mae gofynion system ROCm AMD yn galw am CPUs sy’n cefnogi PCIe atomics, ‘modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell’, a dydyn nhw’n dweud dim am faint BAR. Dau ofyniad platfform gwahanol yw’r rheini sydd ill dau’n byw yn yr un ddewislen BIOS, ac mae pobl yn eu cymysgu drwy’r amser. Gwiria’r un sydd ei angen arnat ti mewn gwirionedd.
Nid perfformiad o gwbl yw’r methiant sy’n brathu adeiladau AI galetaf, ac mae’n cael ei drafod isod: gall sawl GPU BAR mawr mewn un peiriant ddihysbyddu’r gofod cyfeiriadau.
Beth Sydd Ei Angen iddo Weithio
Pedwar peth, ac maen nhw i gyd ar lefel y cadarnwedd:
- Resizable BAR wedi’i alluogi yng nghadarnwedd y famfwrdd. I ffwrdd yn ddiofyn yn aml.
- Above 4G Decoding wedi’i alluogi. Dydy BAR 24GB ddim yn gallu ffitio o dan y llinell 4GB, felly mae’n rhaid i’r platfform fod yn barod i ddyrannu gofod cyfeiriadau uwch ei phen. Troa hwn ymlaen hyd yn oed heb GPU yn bresennol. Does dim cost iddo.
- Cychwyn UEFI, gyda CSM i ffwrdd. Dydy’r modd cydnawsedd etifeddol a BARs mawr ddim yn cymysgu.
- Cadarnwedd a gyrwyr cyfredol, yn enwedig ar fyrddau a chardiau o gyfnod pontio 2020–2021, pan gyrhaeddodd y gefnogaeth drwy ddiweddariad yn hytrach nag adeg y lansio.
Sut i Wirio ar Linux
A oes gan y cerdyn y gallu, a pha feintiau mae’n eu cynnig:
# Substitute your card's address from lspci
lspci -vvs 0000:XX:00.0 | grep -A6 "Physical Resizable BAR"
Mae’r cnewyllyn hefyd yn dangos hyn yn sysfs, un ffeil i bob BAR y gellir newid ei faint:
cat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
Didfap o’r meintiau a gefnogir yw’r gwerth hwnnw, nid maint.
Mae did 0 yn golygu 1MB, did 1 yn golygu 2MB, did 2 yn golygu 4MB, a’r maint ar gyfer did penodol yw 2 ^ (bit + 20).
Felly mae gan 00000000000001c0 ddidau 6, 7 ac 8 wedi’u gosod, sy’n golygu y gall y BAR fod yn 64MB, 128MB neu 256MB.
I weld beth sydd mewn grym mewn gwirionedd, darllena’r rhanbarthau a neilltuwyd:
lspci -vvs 0000:XX:00.0 | grep -i Region
Mae cerdyn sy’n rhedeg gyda’i framebuffer llawn wedi’i fapio yn dangos rhanbarth sy’n cyfateb i faint ei VRAM yn hytrach nag un 256MB.
Newid y Maint â Llaw
Gelli di ysgrifennu safle’r did dy hun:
# bit 7 -> 2 ^ (7 + 20) = 128MB
echo 7 > /sys/bus/pci/devices/0000:XX:00.0/resource1_resize
Mae’r amodau sydd ynghlwm yn llym, ac yn werth eu darllen cyn rhoi cynnig arni ar beiriant sy’n bwysig i ti.
Mae’n rhaid datrwymo pob gyrrwr o’r ddyfais yn gyntaf.
Efallai y bydd angen tynnu dyfeisiau cymar o dan yr un bont riant drwy feddalwedd.
Ar ddyfais VGA, mae ysgrifennu gwerth maint newydd yn datgymalu gyrwyr consol lefel isel.
Mae’n rhaid i unrhyw beth sy’n dal y ffeiliau sysfs resourceN ar agor eu gollwng.
Mae dogfennaeth y cnewyllyn hefyd yn ddi-flewyn-ar-dafod am y canlyniad: does dim sicrwydd o lwyddiant. Mae newid y maint yn methu os nad oes gofod cyfeiriadau i osod y BAR mwy ynddo. Sy’n dy daflu’n syth yn ôl at Above 4G Decoding.
Pan Fydd Pethau’n Mynd o’i Le
Mae dmesg yn dweud na all neilltuo’r BAR.
Mae negeseuon ar ffurf BAR 0: no space for [mem size ...] yn golygu bod y dyrannu wedi methu, nid bod y cerdyn yn ddiffygiol.
Above 4G Decoding yw’r peth cyntaf i’w wirio.
Sawl GPU, a dydy un ohonyn nhw ddim yn cychwyn. Dyma’r methiant aml-GPU a rig AI. Mae pedwar cerdyn gyda BARs 24GB angen 96GB o ofod MMIO 64-did wedi’i ddyrannu, ynghyd â phopeth arall, a fydd cadarnwedd ambell fwrdd defnyddiwr ddim yn gwneud hynny. Y symptom yw bod y peiriant yn iawn gyda dau gerdyn ac yn syrthio drosodd gyda phedwar.
Aeth y perfformiad i lawr. Ar NVIDIA gallai hynny fod yn gasgliad y gyrrwr ei hun, gan eu bod nhw’n ei alluogi fesul teitl yn union oherwydd bod rhai llwythi gwaith yn gwaethygu. Ar y lleill, mesura’r ddwy ffordd yn hytrach na thybio.
Newidiodd dim byd o gwbl. Y canlyniad mwyaf tebygol i lwyth gwaith na chafodd erioed ei gyfyngu gan ffenestr y CPU i’r VRAM.
Pasio GPU BAR Mawr Drwodd i VM
Mae’n werth tynnu sylw ato oherwydd ei fod yn synnu pobl: dydy gwestai ddim yn etifeddu map cof y gwesteiwr. Mae cadarnwedd y VM yn adeiladu ei agorfa MMIO 64-did ei hun, ac mae diofyn OVMF yn llawer llai nag sydd ei angen ar GPU modern, felly mae’r cerdyn naill ai’n methu cychwyn neu’n syrthio’n ôl ar BAR bach. Pwnc Proxmox a QEMU yw hwnnw yn hytrach nag un GPU, ac mae’n byw yn yr erthygl ar dreth yr IOMMU ochr yn ochr â gofynion y math o beiriant o Defnyddia Q35 Bob Amser, Nid i440fx.
Cyfeiriadau
- Intel — Resizable BAR and Intel Arc Graphics — datganiad Intel ei hun ei fod yn angenrheidiol am brofiad da ar Arc, a’r rhestr o blatfformau a gefnogir
- NVIDIA — Resizable BAR support for GeForce RTX 30 Series — y gofynion, yr ystod a fesurwyd, a’r dull proffil fesul gêm
- AMD — Smart Access Memory — brandio AMD a’r paru platfform
- Linux kernel sysfs-bus-pci ABI —
resourceN_resize— y didfap, y meintio2 ^ (bit + 20), a’r amodau datrwymo - ROCm system requirements — y gofyniad PCIe atomics sy’n cael ei ddrysu â’r un hwn