50 TOPS yn Gwneud Dim

Mae gan bob gliniadur Ryzen AI a werthwyd yn ystod y ddwy flynedd diwethaf Uned Prosesu Niwral (NPU) ynddo, darn o silicon sydd wedi’i adeiladu at ddim byd ond y fathemateg y tu ôl i fodelau AI. Ar fy un i, ThinkPad gyda Ryzen AI 7 PRO 350, mae AMD yn ei raddio ar hyd at 50 TOPS, triliynau o weithrediadau’r eiliad1. Ti dalodd amdano. Ar osodiad Linux safonol, nid yw’n gwneud dim.

Newidiodd hynny eleni. Unwaith y mae wedi’i osod, mae’r NPU yn rhedeg model iaith 4 biliwn paramedr y tu ôl i ffenest sgwrsio, a lleferydd i destun hefyd, i gyd ar y gliniadur, heb gyfrif, heb danysgrifiad a heb ddim yn gadael y peiriant. I unrhyw beth y byddai’n well gen ti beidio â’i deipio i wefan rhywun arall, dyna’r holl bwynt. Mae’r sglodyn cyfan yn tynnu tua 21 W tra mae’n ateb, ac yn segura ar lai na 9 W.

Beth sy’n rhedegBleCyfeiriad
Qwen 3.5 4B, cyd-destun 256k tocynNPU, mewn cynhwysyddhttp://[::1]:52625/v1
Lleferydd i destun: Whisper OpenAI, whisper-v3:turboNPU, yr un cynhwysyddyr un fath, /audio/transcriptions
Open WebUI, y dudalen sgwrsioCPU, mewn cynhwysyddhttp://[::1]:3000
gyrrwr cnewyllyn amdxdna, cadarnweddgwesteiwr/dev/accel/accel0

Dwy reol a luniodd yr adeiladu. Dim ond gyrrwr y cnewyllyn a’i gadarnwedd sy’n mynd ar y gwesteiwr; mae pob fframwaith model yn rhedeg mewn cynhwysydd podman rootless. Ac mae pob gwasanaeth yn gwrando ar loopback IPv6 yn unig, heb ddim ar IPv4 o gwbl. Roedd y ddwy yn llai o waith na’i wneud y ffordd flêr, a daliodd y ddwy broblemau y byddwn i wedi’u cludo fel arall.

Beth Sydd ei Angen ar Linux

Yr NPU yn y sglodyn hwn yw ail genhedlaeth AMD o’r cynllun, XDNA2. Mae hynny’n bwysig, oherwydd mae’r feddalwedd sy’n rhedeg modelau iaith arno yn cefnogi rhannau XDNA2 (cyfresi Ryzen AI 300 a 400, Strix Halo) ac nid y genhedlaeth gyntaf yn y Ryzen 7040 a’r 80402. Gwiria dy un di cyn dechrau:

$ lspci -nn | grep -i 'neural\|signal processing'
c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20)

Mae pedair haen rhwng y ddyfais honno ac ateb yn y sgwrs, a’r rhaniad rhwng y gwesteiwr a’r cynhwysydd yw’r cynllun cyfan:

HaenBeth yw hiYn byw ar
amdxdnagyrrwr cnewyllyn, yn creu /dev/accel/accel03gwesteiwr, drwy DKMS
Cadarnwedd yr NPUnpu_7.sbin, 1.1.2.64 ar y sglodyn hwngwesteiwr, o linux-firmware
XRT + ategyn amdxdnallyfrgell runtime AMD a’i backend NPUcynhwysydd
FastFlowLMy runtime LLM, gyda chnewyllyn yr NPU wedi’u cynnwyscynhwysydd
Beth sy’n byw ar y gwesteiwr a beth sydd mewn cynhwysyddPodman rootless, wedi’i ailadeiladu pryd bynnag y mynna iOpen WebUItudalen sgwrsio, ar y CPU[::1]:3000FastFlowLM[::1]:52625XRT + ategyn NPUyn cyfateb i commit y gyrrwrGwesteiwr: modiwl y cnewyllyn a’i gadarnwedd, dim arallDim XRT, dim runtime, dim modelau.Un nod dyfais yw’r unig bethsy’n croesi i’r cynhwysydd.modiwl amdxdna, wedi’i adeiladu gan DKMSnpu_7.sbinNPU XDNA2/dev/accel/accel0
Y rhaniad. Mae popeth sy’n newid yn aml yn byw mewn cynhwysydd; mae’r gwesteiwr yn cadw modiwl cnewyllyn a’i gadarnwedd, ac un nod dyfais yw’r unig beth sy’n cael ei basio ar draws.

Mae cnewyllyn 7.x yn cludo amdxdna yn y goeden, ond mae AMD yn ei ddatblygu’n gyntaf yn ei storfa ei hun, ac mae’n rhaid i’r ategyn userspace gyfateb i’r modiwl cnewyllyn y mae’n siarad ag ef4. Nid yw’r bwlch rhwng y ddau yn fach. Ar y gliniadur hwn:

Yn y goeden, 7.2.15 a 7.3.3 FedoraY tu allan i’r goeden, amd/xdna-driver yn 24dfd686
Rhyngwyneb y gyrrwr0.1050.19
Fersiwn y modiwldim2.27.0_20261113
IDs PCI NPU y mae’n eu rhwymo68
Ffeiliau cadarnwedd y mae’n gofyn amdanynt759
Cadarnwedd y mae’r sglodyn hwn yn ei llwytho17f0_10/npu_7.sbin, 1.1.2.64yr un ffeil

Naw fersiwn rhyngwyneb ar wahân, ac mae Linux 7.3, y rhyddhad diweddaraf, yn dal i gario 0.10. Yr unig beth y maen nhw’n cytuno arno yw’r gadarnwedd, a daw honno o linux-firmware Fedora, nid o’r naill yrrwr na’r llall. Felly rydw i’n adeiladu’r ddau hanner o un commit o amd/xdna-driver, yn rhoi’r modiwl ar y gwesteiwr, ac yn pobi’r userspace cyfatebol i mewn i’r ddelwedd.

Y Gyrrwr: Adeiladu’r Cyfan, Cadw Dim Ond Darn y Cnewyllyn

Mae amd/xdna-driver yn cario XRT fel is-fodiwl git, ac mae ei adeiladu yn cynhyrchu RPMs ar gyfer XRT a phecyn ategyn. Mae’r pecyn ategyn hefyd yn cario ffynhonnell y gyrrwr, y mae’n ei chofrestru gyda DKMS (Dynamic Kernel Module Support, y peth sy’n ailadeiladu modiwl ar gyfer pob cnewyllyn newydd). Does dim o hynny’n anodd:

git clone --recursive https://github.com/amd/xdna-driver.git && cd xdna-driver
sudo ./tools/amdxdna_deps.sh
(cd xrt/build && ./build.sh -npu -opt)    # XRT RPMs in xrt/build/Release/
(cd build && ./build.sh -release)         # plugin RPM, driver source inside

Ar Fedora 45 mae’r sgript dibyniaethau yn gorffen gyda gwall. Anwybydda fe:

Mae’n gofyn amBeth sy’n digwyddYdy e’n bwysig?
protobuf-develyn gwrthdaro â protobuf3-compiler sydd wedi’i osodna, dim ond hepgor offeryn olrhain y mae XRT hebddo
redhat-lsbdoes dim pecyn o’r fath, gollyngodd Fedora fena
popeth arallwedi’i osod yn barod

Mae’r rhyddhad tagiedig diwethaf yno o fis Chwefror, felly main yw’r sianel ryddhau. Es i o adeiladwaith mis Mai i un mis Tachwedd: 550 o commits, XRT 2.23 i 2.27.

Mae’r Uwchraddiad yn Dileu’r Gyrrwr Newydd ei Osod

Aeth fy nghynnig cyntaf ar uwchraddio â’r modiwl i ffwrdd yn llwyr. Mae RPM yn rhedeg sgript gosod y pecyn newydd, sy’n adeiladu ac yn cofrestru’r gyrrwr newydd gyda DKMS, ac yna’n rhedeg sgript dynnu’r hen becyn. Mae’r sgript dynnu honno’n darllen fersiwn y gyrrwr o ffeil y mae’r pecyn newydd eisoes wedi’i throsysgrifo, felly mae’n dadgofrestru’r fersiwn a gafodd ei gosod newydd. Mae allbwn dnf yn ei ddweud mewn dwy linell, y naill ar ôl y llall:

>>> Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0
>>> Removing driver source: xrt-amdxdna/2.27.0...

Fethodd dim byd, aeth dim byd yn goch, a byddai’r cychwyn nesaf wedi llwytho’n dawel beth bynnag a gludodd y cnewyllyn yn lle. Ga i ofyn pam mae sgript dynnu yn rhedeg ar uwchraddiad heb wirio ai uwchraddiad ydyw? Mae RPM yn rhoi’r ateb hwnnw i bob scriptlet fel ei ddadl gyntaf. Un if yw e.

Sut mae uwchraddiad RPM yn dadgofrestru’r gyrrwr newydd ei osodUn uwchraddiad dnf, yn y drefn y mae RPM yn ei redeg%post newyddyn adeiladu 2.27,yn ei gofrestru â DKMS2.27 yn DKMSffeiliau newydd yn glaniomae’r ffeil fersiwnnawr yn dweud 2.272.27 yn DKMShen %preunyn darllen y ffeil honno,yn dadgofrestru 2.272.27 wedi myndcychwyn nesafmodiwl y goedenyn llwytho, dim rhybuddnid dy adeiladwaith diYn DKMS:Un prawf yw’r ateb. Mae scriptlet %preun yn cael $1 = 1 wrth uwchraddio a $1 = 0 wrth dynnu.Dim ond tynnu ddylai ddadgofrestru unrhyw beth.
Y drefn y mae RPM yn rhedeg uwchraddiad ynddi. Mae’r pecyn newydd yn cofrestru ei yrrwr, yna mae’r hen becyn yn dadgofrestru beth bynnag y mae’r ffeil fersiwn a rennir yn ei enwi, sef yr un newydd erbyn hynny.

Dyna hefyd y rheswm nad yw’r gwesteiwr yn cael yr RPMs o gwbl bellach. Pelen tar y tu mewn i’r pecyn ategyn yw ffynhonnell y gyrrwr, felly rydw i’n ei chodi allan a’i rhoi i DKMS yn uniongyrchol:

T=$(mktemp -d) && rpm2cpio xrt_plugin*.rpm | (cd $T && cpio -idm --quiet)
D=$T/opt/xilinx/xrt/share/amdxdna
sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0
sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0
sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/
sudo dkms install xrt-amdxdna/2.27.0
sudo modprobe -r amdxdna; sudo modprobe amdxdna

Dim ailgychwyn. Linux yw e, a does dim byd â’r ddyfais ar agor ar y pwynt hwnnw, felly mae’r modiwl yn cyfnewid yn fyw. Yna mae DKMS yn ei ailadeiladu ar gyfer pob cnewyllyn y mae dnf yn ei osod; pan gyrhaeddodd 7.3.3 roedd wedi’i adeiladu cyn i mi ailgychwyn i mewn iddo.

Mae’r gyrrwr yn mynd yn syth i DKMSO’r pecyn i fodiwl wedi’i lwytho, heb osod y pecynRPM yr ategynffynhonnell y gyrrwryn belen tar ynddo/usr/srcpelen tar wedi’i dadbacio,dkms.conf wrth ei hymyldkms installyn adeiladu’r modiwlar gyfer y cnewyllyn hwnmodprobe -ryna modprobe:yn fyw, dim ailgychwyndnf yn gosod cnewyllyn newyddDKMS yn ailadeiladu cyn i ti ailgychwyn iddoMae rpm2cpio yn codi’r belen tar allan.Dyw’r gwesteiwr byth yn cael yr RPMs,felly does dim sgript pecyn yn rhedeg yno byth.
Mae’r gyrrwr yn mynd o’r pecyn i DKMS heb i’r pecyn gael ei osod erioed, felly does dim sgript becynnu’n rhedeg ar y gwesteiwr.

Gwiria mai adeiladwaith DKMS a lwythodd ac nid yr un yn y goeden, a bod y gadarnwedd yn ddigon newydd. Mae FastFlowLM eisiau 1.1.0.0 neu’n hwyrach2:

$ modinfo -F filename amdxdna
/lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz
$ cat /sys/bus/pci/drivers/amdxdna/*/fw_version
1.1.2.64
$ journalctl -k | grep 'Initialized amdxdna'
[drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0

Mae DKMS yn symud modiwl y cnewyllyn ei hun o’r ffordd yn hytrach na’i ddileu, i /var/lib/dkms/xrt-amdxdna/original_module/, felly mae tynnu adeiladwaith DKMS yn ei roi’n ôl.

Un peth arall i adael llonydd iddo: mae amd_iommu=off ar linell orchymyn y cnewyllyn yn analluogi’r NPU2.

FastFlowLM Mewn Cynhwysydd

FastFlowLM yw’r runtime sy’n gwneud yr NPU yn ddefnyddiol ar gyfer modelau iaith. Llinell orchymyn yn null Ollama a gweinydd sy’n gydnaws ag OpenAI ydyw, wedi’i ysgrifennu ar gyfer XDNA2, a symudodd o dan sefydliad ROCm AMD eleni6. Mae’r runtime o dan drwydded MIT. Mae’r cnewyllyn NPU y mae’n eu cludo yn ddeuaidd caeedig, yn rhydd i’w defnyddio a’u hailddosbarthu heb eu haddasu7. Byddai’n well gen i petaen nhw’n agored, a dyweda i hynny, ond maen nhw yn y storfa a does dim rhaid nôl dim o unman arall.

Mae’r ddelwedd yn dri cham ar Fedora 45: XRT o adeiladwaith y gyrrwr, FastFlowLM wedi’i grynhoi yn ei erbyn, yna runtime gyda dim ond yr hyn sydd ei angen arno. Y rhan sy’n bwysig:

FROM registry.fedoraproject.org/fedora:45 AS xrt
ARG XDNA_COMMIT
COPY dist/xdna-${XDNA_COMMIT}/ /rpms/
RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \
 && rpm -i --noscripts --nodeps --nosignature \
        --excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \
        /rpms/xrt_plugin*.rpm \
 && echo /opt/xilinx/xrt/lib64 > /etc/ld.so.conf.d/xrt.conf && ldconfig

Mae pob un o’r baneri hynny yno oherwydd i rywbeth dorri hebddo:

ProblemAteb
Mae sgriptiau’r ategyn yn adeiladu modiwl cnewyllyn, sy’n perthyn ar y gwesteiwr--noscripts, a ffynhonnell y gyrrwr a’r gadarnwedd wedi’u hepgor
Mae RPM 6 Fedora 45 yn gorfodi gwirio llofnodion yn ddiofyn8, ac mae RPM hunan-adeiledig heb ei lofnodi--nosignature: fi a’i hadeiladodd, rydw i’n gwybod o ble daeth
Mae llyfrgelloedd XRT yn lib64, nad yw ar lwybr y cysylltydd/etc/ld.so.conf.d/xrt.conf y tu mewn i’r ddelwedd
Mae FastFlowLM yn dod o hyd i XRT drwy pkg-config, ac nid yw setup.sh XRT yn gosod y llwybrPKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig yn y cam adeiladu

Mae’r ddelwedd orffenedig yn 609 MB, ac mae ei thag yn cario commit y gyrrwr, fastflowlm:v1.0.12-xdna24dfd686. Mae gwiriad iechyd yn cymharu hynny â’r commit y mae’r modiwl a lwythwyd yn ei adrodd, ac yn methu os ydyn nhw’n wahanol. Delwedd wedi’i hadeiladu ar gyfer y gyrrwr anghywir yw’r un nam yma sy’n wirioneddol ddryslyd i’w ddiagnosio, felly mae’n cael ei ddal cyn iddo gyrraedd mor bell.

Sut mae delwedd FastFlowLM yn cael ei hadeiladu a’i gwirioTri cham ar Fedora 45cam 1: xrtRPMs XRT a’r ategyn,dim sgriptiau, dim cadarnweddcam 2: buildFastFlowLM wedi’i grynhoiyn erbyn yr XRT hwnnwcam 3: runtimedim ond beth sydd ei angen,609 MBGwiriad iechyd: rhaid i’r ddelwedd a’r gwesteiwr gytunomae tag y ddelwedd yn dweudv1.0.12-xdna24dfd686=mae’r modiwl a lwythwyd yn dweud24dfd686Maen nhw’n wahanol: afiach, cyn i ddim fynd yn ddryslyd.
Tri cham adeiladu, a gwiriad iechyd sy’n clymu’r ddelwedd i’r gyrrwr y cafodd ei hadeiladu ar ei gyfer.

Mae’r cynhwysydd yn cael un ddyfais, yr NPU, a’r terfyn cloi cof sydd ei angen ar FastFlowLM i binio ei glustogau:

podman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \
  localhost/fastflowlm:v1.0.12-xdna24dfd686 validate
[Linux]  NPU: /dev/accel/accel0 with 8 columns
[Linux]  NPU FW Version: 1.1.2.64
[Linux]  Memlock Limit: infinity

Rhoddodd hunan-brawf AMD ei hun, xrt-smi validate, yr NPU ar 51 TOPS ar luosi matricsau. Dyna’r 50 ar y bocs, wedi’i gyflawni.

Cychwyn Gyda’r Peiriant, ar IPv6 yn Unig

Mae Quadlet yn troi ffeil .container fer yn wasanaeth systemd9. Fel uned defnyddiwr mae’n rhedeg yn rootless, fel fi, a gyda lingering ymlaen mae’n cychwyn gyda’r peiriant heb neb wedi mewngofnodi10:

[Unit]
Description=FastFlowLM NPU server
ConditionPathExists=/dev/accel/accel0

[Container]
Image=localhost/fastflowlm:v1.0.12-xdna24dfd686
AddDevice=/dev/accel/accel0
Ulimit=memlock=-1:-1
Network=host
Volume=%h/.config/flm:/models:Z
Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo
StopSignal=SIGINT

[Install]
WantedBy=default.target
loginctl enable-linger $USER
cp fastflowlm.container ~/.config/containers/systemd/
systemctl --user daemon-reload && systemctl --user start fastflowlm

Mae -c 262144 yn gosod y ffenest gyd-destun, ac mae’r prawf cyd-destun isod yn esbonio pam ei bod mor fawr. Mae -a whisper-v3:turbo yn llwytho ail fodel wrth ymyl y model sgwrsio, un sy’n troi lleferydd yn destun; mae’n cael ei adran ei hun.

Dysgwyd tair llinell yno’r ffordd galed:

LlinellHebddi
StopSignal=SIGINTmae FastFlowLM yn anwybyddu SIGTERM, signal stopio podman, ac yn cael ei ladd ddeg eiliad yn ddiweddarach
--host ::1mae’n gwrando ar 127.0.0.1, IPv4
::1, nid [::1]mae’r ffurf â chromfachau yn methu â’i dosrannu; mewn URL y mae cromfachau’n perthyn

Profa’r cyfeiriad yn hytrach na’i drystio:

$ ss -ltn 'sport = :52625'
LISTEN 0  4096  [::1]:52625  [::]:*
$ curl -s http://127.0.0.1:52625/v1/models || echo refused
refused

Mae localhost yn dal i weithio i unrhyw beth sy’n ei ddatrys i ::1 yn gyntaf, ac mae /etc/hosts Fedora a Chrome ill dau yn gwneud hynny.

Trefn cychwyn a’r unig gyfeiriadau sy’n atebYn cychwyn gyda’r peiriantrheolwr defnyddiwr wrth gychwynloginctl enable-lingerQuadletffeil .container yn wasanaethdau wasanaeth defnyddiwrfastflowlm, open-webuiPwy all ei gyrraeddporwrOpen WebUI[::1]:3000FastFlowLM[::1]:52625127.0.0.1wedi’i wrthodNPU
Mae lingering yn cychwyn rheolwr y defnyddiwr gyda’r peiriant, mae Quadlet yn creu’r gwasanaethau, ac mae pob cyfeiriad sy’n ateb ar loopback IPv6.

Beth Mae’n ei Wneud, Wedi’i Fesur

Naw model drwy feincnod FastFlowLM ei hun, a dadgodio yw’r cyflymder y mae’r ateb yn llifo arno:

ModelDadgodio, cyd-destun 1kDadgodio, cyd-destun 8kDarllen yr anogwr, 8k
llama3.2:1b77 tok/s56 tok/s2,009 tok/s
qwen3.5:2b32291,533
llama3.2:3b3020857
phi4-mini-it:4b2517744
qwen3:4b2315613
qwen3.5:4b1715657
gemma4-it:e4b1412642
qwen3:8b1310418
qwen3.5:9b1110451
Cyflymder dadgodio fesul model, yn erbyn cyflymder darllenDadgodio ar gyd-destun 1k, tocynnau’r eiliadcyflymder darllen, 5 i 8 tocyn yr eiliadllama3.2:1b77qwen3.5:2b32llama3.2:3b30phi4-mini-it:4b25qwen3:4b23qwen3.5:4b17 yr un rydw i’n ei redeggemma4-it:e4b14qwen3:8b13qwen3.5:9b11
Dadgodio ar gyd-destun 1k. Mae pob model yn gyflymach na chyflymder darllen; mae’r cyflymder yn haneru’n fras wrth i’r model ddyblu.

Mae cyflymder darllen yn bump i wyth tocyn yr eiliad, felly mae pob un o’r rhain yn cadw o dy flaen di. Mae dadgodio’n haneru’n fras bob tro y mae’r model yn dyblu, sef yr hyn rwyt ti’n ei ddisgwyl pan mai lled band y cof yw’r terfyn ac nid y gallu cyfrifo. Rydw i’n rhedeg qwen3.5:4b. Mae Phi-4 mini yn gyflymach, ond mae Qwen 3.5 yn dal ei gyflymder wrth i sgwrs dyfu, yn trin delweddau a galwadau offer, ac yn cadw storfa anogwyr sy’n arbed ailddarllen yr hanes cyfan ar bob tro. Dyna sy’n penderfynu.

256,000 o Docynnau Cyd-destun

Mae Qwen 3.5 wedi’i adeiladu ar gyfer ffenest o 262,144 tocyn11, ac mae FastFlowLM yn defnyddio 32,768 yn ddiofyn. Y tu hwnt i’r terfyn hwnnw mae’n gwneud rhywbeth sy’n werth gwybod amdano: mae’n cofnodi Max length reached, stopping prefilling ac yn cau’r cysylltiad heb ateb a heb wall, felly mae’r ffenest sgwrsio yn eistedd yno gydag ateb gwag a thithau’n gorfod dyfalu ai’r model, y gweinydd neu’r porwr a syrthiodd drosodd.

Felly codais e gyda -c 262144 a’i brofi’n iawn. Cod wedi’i guddio yn llinell gyntaf anogwr o 232,250 tocyn, tua 175,000 o eiriau, a gofyn amdano ar y diwedd:

Cyd-destun 8kCyd-destun 232k
Atebcywircywir, AMBER-FALCON-7731
Darllen yr anogwr657 tok/s210 tok/s
Aros am y gair cyntaf12 eiliad18.4 munud
Dadgodio15 tok/s2.4 tok/s
Cof wedi’i neilltuo~5 GB~12.7 GB

Mae’n gweithio. Mae’n araf. Ac mae’r cof wedi’i neilltuo p’un a wyt ti’n defnyddio’r ffenest ai peidio. Gyda 90 GB yn y peiriant, mi dala i hynny er mwyn cael ateb i ddarn hir wedi’i ludo yn hytrach na’i weld yn cael ei ollwng yn dawel.

All y GPU Helpu?

Mae gan yr un sglodyn Radeon 860M, felly’r cwestiwn amlwg yw a all gymryd peth o’r llwyth. Nid yw hollti un model ar draws yr NPU a’r GPU, darllen yr anogwr ar un ac ysgrifennu’r ateb ar y llall, yn rhywbeth y mae unrhyw runtime Linux yn ei wneud heddiw. Mae rhedeg ail runtime ar y GPU, felly mesurais hynny.

Mae ‘effeithlon’ yma’n golygu cyflymder ac ynni gyda’i gilydd. Mae gyrrwr amdgpu yn adrodd pŵer y pecyn ar gyfer y sglodyn cyfan heb root, ac mae gyrrwr amdxdna yn adrodd yr NPU ar ei ben ei hun, felly cafodd pob rhediad isod ei samplu bedair gwaith yr eiliad. Yr un model ar 4 did drwy gydol yr amser.

O’r runtimes GPU yr edrychais arnynt, gweithiodd un:

RuntimeCanlyniad ar yr 860M
llama.cpp, backend Vulkan12yn gweithio; delwedd 881 MB
llama.cpp, backend ROCmyn gweld y GPU, yna’n segfault ar y darn cyntaf o waith, gyda neu heb or-reolaeth fersiwn GPU; delwedd 23 GB
MLC-LLM, Vulkan13mae ei grynhoydd yn segfault wrth adeiladu pensaernïaeth Qwen 3.5
vLLM, SGLangheb eu trio: wedi’u hadeiladu ar gyfer GPUs canolfan ddata a llawer o ddefnyddwyr, nid iGPU 8 uned

A’r NPU yn erbyn yr un a weithiodd:

Qwen 3.5 4BNPU, FastFlowLMGPU, llama.cpp Vulkan
Segur, model wedi’i lwytho8.6 W16.0 W, yn erbyn 9.7 W gyda hi wedi’i stopio
Darllen yr anogwr, ~6k tocyn557 tok/s ar 23.8 W411 tok/s ar 46.1 W
Ynni fesul tocyn anogwr0.043 J0.112 J
Dadgodio18.2 tok/s ar 21.0 W23.5 tok/s ar 40.7 W
Ynni fesul tocyn a gynhyrchwyd1.16 J1.73 J
NPU yn erbyn GPU, yr un modelNPU, FastFlowLMGPU Radeon 860M, llama.cpp Vulkanynni fesul tocyn anogwris sy’n well0.043 J0.112 Jynni fesul tocyn atebis sy’n well1.16 J1.73 Jsegur, model wedi’i lwythois sy’n well8.6 W16.0 Wcyflymder dadgodiouwch sy’n well18.2 tok/s23.5 tok/s
Yr un model, y ddau gyflymydd, pob bar wedi’i raddio i’r mwyaf o’i bâr. Mae’r GPU yn ateb yn gyflymach; mae’r NPU yn defnyddio llai o ynni ar bopeth arall.

Mae’r GPU yn ysgrifennu atebion tua 29% yn gyflymach. Mae’n llosgi dwywaith y pŵer i wneud hynny. Mae’r NPU yn darllen anogwyr yn gyflymach ac ar lai na hanner yr ynni. Y rhif mwyaf yw’r un segur: mae gweinydd y GPU wedi’i lwytho a heb wneud dim yn costio 6.3 W yn fwy na’r un peiriant gydag ef wedi’i stopio, drwy’r dydd. Aeth rhedeg y ddau ar unwaith â’r NPU o 18.2 i 14.2 tocyn yr eiliad a’r GPU o 23.5 i 13.9, oherwydd eu bod yn rhannu’r un cof. O’r herwydd, mae cynhwysydd y GPU yn bodoli, ond rydw i’n ei gychwyn pan fydda i eisiau ail fodel, a dyw e ddim wedi’i alluogi i gychwyn gyda’r peiriant.

Tynnodd yr NPU ei hun lai na 2 W ym mhob rhediad. Y CPU a’r cof sy’n ei fwydo yw’r rhan fwyaf o’r 21 W. Dyna’r nenfwd sy’n werth cadw llygad arno yn rhyddhadau FastFlowLM y dyfodol.

Lleferydd i Destun ar yr NPU Hefyd

Whisper yw model adnabod lleferydd OpenAI: sain i mewn, testun allan, mewn 99 o ieithoedd, ac wedi’i ryddhau o dan drwydded MIT, felly mae’n rhedeg yn unrhyw le heb ofyn i neb14. Large-v3 yw’r fersiwn maint llawn presennol. Turbo yw’r un model gyda’i ddadgodiwr, yr hanner sy’n ysgrifennu’r testun allan, wedi’i dorri o 32 haen i 4. Mae cerdyn y model yn rhoi’r gyfnewid yn blaen: ‘way faster, at the expense of a minor quality degradation’. Ar 809 miliwn o baramedrau mae’n bumed maint y model sgwrsio.

Mae FastFlowLM yn ei gludo wedi’i drosi’n barod ar gyfer yr NPU fel whisper-v3:turbo, lawrlwythiad 623 MB, ac yn ei lwytho wrth ymyl y model sgwrsio gyda -a whisper-v3:turbo. Wnaiff e ddim gweini Whisper ar ei ben ei hun; rhaid i fodel sgwrsio fod wedi’i lwytho hefyd. Mae’r sain yn mynd i bwynt terfyn trawsgrifio safonol OpenAI ac mae’r testun yn dod yn ôl.

19.6 eiliad o leferydd
Cais cyntaf, yn llwytho Whisper6.2 s
Ar ôl hynny2.0 s, tua deg gwaith amser real
Pŵer y sglodyn cyfan~24.7 W
Cywirdebpob gair yn gywir

Wedi’i sillafu yn ôl sillafiadau Saesneg ffug America, cofia: ‘color’ a ‘program’. Mae API Whisper yn derbyn prompt, ac mae anogwr wedi’i ysgrifennu mewn sillafu Saesneg Prydeinig go iawn, Saesneg Lloegr lle mae’r iaith yn dod ohoni, yn ddigon i’w drwsio:

curl -s 'http://[::1]:52625/v1/audio/transcriptions' -F file=@speech.wav \
  -F model=whisper-v3:turbo -F language=en \
  -F 'prompt=British English spelling: colour, programme, organise, centre.'

Ddylen ni ddim gorfod cywiro’r modelau hyn o gwbl. Cafodd Whisper ei hyfforddi ar 99 o ieithoedd ac mae’n dal i ysgrifennu Saesneg y ffordd Americanaidd oni bai ei fod yn cael gwybod yn wahanol, oherwydd bod y bobl a’i hadeiladodd yn trin eu sillafu nhw fel y rhagosodiad a sillafu pawb arall fel dewis y mae’n rhaid gofyn amdano. Dyna’r rhagosodiaeth Americanaidd boenus y mae gweddill y byd yn ei chasáu, ac mae wedi’i phobi i mewn fel tuedd. Mae anogwr system y model sgwrsio yn cario’r un cyfarwyddyd, yn yr adran isod, am yr un rheswm.

Ffenest Sgwrsio, a 7,000 o Docynnau na Theipiaist Erioed

Open WebUI yw’r pen blaen yn y porwr15, yn ei gynhwysydd ei hun, wedi’i rwymo i [::1]:3000 yn yr un ffordd ac wedi’i gyfeirio at yr NPU. Mae ei fotwm meicroffon yn mynd i Whisper ar yr NPU yn lle ei ragosodiad ei hun, a fyddai wedi lawrlwytho model a’i redeg ar y CPU.

Ugain gair oedd y neges gyntaf a anfonais ato. Cyrhaeddodd yr NPU fel anogwr 7,223 tocyn, oherwydd bod Open WebUI 0.13 yn atodi diffiniadau ei holl offer adeiledig (cof, nodiadau, calendr, awtomeiddio, chwilio’r we) i bob neges, ac mae gweinyddwr yn cael pob un ohonyn nhw.

Yr un cwestiwn ugain gairAnogwr a anfonwyd i’r NPUAros am y gair cyntaf
Offer adeiledig ymlaen, y rhagosodiad7,223 tocyn~12 s
Offer adeiledig i ffwrdd ar gyfer y model127 tocynllai nag 1 s
O ble daeth 7,000 o docynnaurwyt ti’n teipiougain gairmae Open WebUI yn ychwanegudiffiniad pob offeryn adeiledigmae’r NPU yn darlleny cyfan, bob negesAnogwr a anfonwyd i’r NPUoffer ymlaen, y rhagosodiad7,223 tocyn, tua 12 s i’r gair cyntafoffer i ffwrdd127 tocyn, llai nag 1 s
Yr un cwestiwn ugain gair gydag offer adeiledig Open WebUI ymlaen ac i ffwrdd, wedi’i lunio i raddfa.

Ar gyfer model lleol dylai’r rhagosodiad hwnnw fod i ffwrdd. Deuddeg eiliad, bob ateb.

Dywedodd wrtha i hefyd, yn gwbl hyderus, ei fod yn ‘trained by Google’ ac yn rhedeg ‘on Google’s advanced infrastructure’. Model Qwen yw e, wedi’i wneud gan Alibaba, yn rhedeg ar liniadur. Mae hynny’n lol llwyr, ac ni ddylai ddigwydd.

Nid y gosodiad sydd ar fai. Dim ond y testun sy’n cael ei anfon ato y mae model yn ei weld, ac mae’r enw yn y gwymplen yn label ar gyfer y gweinydd, heb ei basio i’r model byth. Felly daeth yr ateb hwnnw o’r model yn unig, a chafodd yr un ffaith amdano’i hun na ddylai fyth fod yn amheus yn anghywir. Diffyg dylunio yw hynny, ac mae’n perthyn i bwy bynnag a gludodd y model.

Dyw’r enw yn y gwymplen byth yn cyrraedd y modelBeth rwyt ti’n ei weldenw’r model yn y gwymplenanogwr system, os gosodaist undy negeseuonlabel i’r gweinydd, byth yn cael ei anfonBeth mae’r model yn ei weldanogwr system, os gosodaist undy negeseuondim enw, dim gwneuthurwr, dim peiriantanfonirheb anogwr system mae’n dyfalu
Mae’r model yn cael anogwr y system a’r sgwrs. Mae’r enw yn y gwymplen yn aros gyda’r gweinydd.

Roedd Alibaba yn gwybod sut i’w atal. Roedd templed sgwrsio Qwen 2.5 yn agor pob sgwrs gyda ‘You are Qwen, created by Alibaba Cloud’ oni bai dy fod yn rhoi rhywbeth arall iddo16. Gollyngodd Qwen 3 y llinell honno17, ac mae Qwen 3.5 yn cael ei gludo hebddi hefyd18. Ddaeth dim byd yn ei lle, ac a barnu wrth yr ateb hwnnw chafodd y model erioed ei ddysgu’n ddigon da i ymdopi ar ei ben ei hun. Gofynna i fodel 4B ‘what are you?’ heb anogwr ac mae’n disgyn yn ôl ar yr ateb mwyaf cyffredin yn ei ddata hyfforddi, sef ateb rhywun arall.

Ai peth bach yw hynny? Na. Bydd model a fydd yn dweud wrthot ti, yn gwbl hyderus, pwy a’i hadeiladodd ac ym mha ganolfan ddata y mae’n rhedeg, a chael y ddau’n anghywir, yn gwneud yr un peth gydag unrhyw beth arall na all ei wirio. Yma rwyt ti’n gwybod yr ateb cywir. Y rhan fwyaf o’r amser fyddi di ddim.

Felly mae’n rhaid dweud wrtho, mewn anogwr system:

Wedi gofyn ‘what are you, and what are you running on?’Ateb
Dim anogwr system‘a large language model trained by Google… Google’s advanced infrastructure’
Gydag un‘Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350’s NPU via FastFlowLM’

Mae’r un anogwr yn dweud wrtho am ysgrifennu Saesneg Prydeinig, eto oherwydd y rhagosodiaeth Americanaidd sydd gan Whisper hefyd. O gael gwybod, mae’n gwneud hynny. Dyw e dal ddim yn gallu dweud wrthot ti pa ddiwrnod yw hi. Mae model heb galendr a heb y rhyngrwyd yn dyfalu dyddiadau a digwyddiadau diweddar, a fydd e ddim bob amser yn dweud hynny, beth bynnag mae’r anogwr yn ei ofyn.

Tair Blynedd i Redeg AI ar Linux

Rhoddodd AMD Ryzen AI ar y llwyfan ym mis Ionawr 2023 fel ‘the first dedicated artificial intelligence hardware in an x86 processor’19. Cyfrifa ymlaen o’r cyweirnod hwnnw:

PrydBeth ddigwyddodd ar LinuxAr ôl y cyweirnod
4 Ionawr 2023Ryzen AI yn cael ei gyhoeddi, yn y Ryzen 7040
25 Ionawr 2024amd/xdna-driver yn cael ei gyhoeddi ar GitHub41 flwyddyn
24 Mawrth 2025amdxdna yn Linux y brif linell, 6.14202 flynedd 2 fis
27 Mawrth 2025y sglodyn hwn, y Ryzen AI 7 PRO 350, yn cael ei lansio12 flynedd 2 fis
11 Mawrth 2026FastFlowLM 0.9.35, ei ryddhad Linux brodorol cyntaf213 blynedd 2 fis
11 Awst 2026FastFlowLM 1.0.0, bellach o dan ROCm AMD63 blynedd 7 mis
heddiwdal dim runtime LLM ar gyfer y 7040 a’r 804023 blynedd 10 mis

Tair blynedd a dau fis i redeg model iaith ar yr NPU o dan Linux o gwbl, ac nid meddalwedd AMD ei hun a wnaeth hynny. FastFlowLM a’i gwnaeth, prosiect a ddechreuodd y tu allan i’r cwmni ac a gafodd ei gymryd i mewn o dan ROCm eleni. Mae ei nodiadau rhyddhau Linux yn agor gyda ‘The wait is finally over’, yna’n dweud ei fod yn defnyddio ‘the exact same recipe you already know and love on Windows’21. Cafodd y Fisher-Price OS (Windows) e gyntaf, ac fe ddywedon nhw hynny. Mae Ryzen AI Software AMD ei hun yn dal i ddweud, yn ei nodiadau rhyddhau presennol, ‘Model generation is not supported on Linux in this release’22.

Mae’n waeth ar unrhyw un a brynodd y genhedlaeth gyntaf. Mae gan liniadur Ryzen 7040 o 2023 NPU na wnaiff yr un runtime model iaith ar Linux ei gyffwrdd, a does dim byd wedi’i gyhoeddi yn dweud bod un ar y ffordd. Yr un bathodyn.

Ga i ofyn pam? Nid pwy, pam. Beth ym mhroses AMD a ganiataodd i sglodyn gael ei werthu gydag AI yn ei enw tra cyrhaeddodd y feddalwedd i ddefnyddio’r AI honno ar Linux flynyddoedd yn ddiweddarach, o’r tu allan? Mae’r daflen fanyleb yn dweud ‘Up to 50 TOPS’1. Mae’r bathodyn yn dweud Ryzen AI. Mae’r ddau yn ddatganiadau a wnaed i’r person sy’n prynu’r gliniadur, ac am flwyddyn gyntaf y sglodyn hwn ar Linux roedd y ddau’n werth dim.

Wedi’i Anelu at Copilot, Nid y Ganolfan Ddata

Nid bod AMD yn gweld Linux yn anodd. Yn y ganolfan ddata mae Linux o’r radd flaenaf ac mae AMD yn gwybod hynny: proseswyr AMD EPYC a chyflymyddion AMD Instinct yw El Capitan yn Lawrence Livermore, hwn oedd cyfrifiadur cyflymaf y byd tan fis Mehefin eleni23, ac mae’n rhedeg TOSS, fersiwn Livermore ei hun o Red Hat Linux24. Elli di ddychmygu AMD yn gwerthu cyflymydd Instinct ac yn dweud wrth y prynwr y byddai’r feddalwedd Linux yn dilyn rywbryd, gan rywun arall? Byddai’n ‘na’. Ysgrifennodd AMD hyd yn oed yrrwr cnewyllyn yr NPU hwn a’i gael i mewn i’r brif linell. Yr haen olaf, yr un sy’n gwneud i’r caledwedd wneud y gwaith y cafodd ei werthu ar ei gyfer, oedd y darn a adawyd yn aros.

Ddylai hwn erioed fod wedi bod yn brosiect gliniadur o gwbl. Aeth yr un bensaernïaeth XDNA i mewn i gerdyn canolfan ddata yr un flwyddyn, yr Alveo V70, wedi’i werthu fel ‘the first Alveo production card leveraging AMD XDNA architecture with AI Engines’25. Adeiladu un pentwr meddalwedd ar gyfer yr AI Engine, Linux yn gyntaf fel gweddill y ganolfan ddata, ac mae’r gliniadur yn ei gael am ddim. Felly hefyd y gweinydd. Cyflymydd bach, cynnil yw’r union beth rwyt ti eisiau ei rannu rhwng peiriannau rhithwir, sleisen yr un, ar gyfer y modelau bach nad oes angen GPU cyfan arnyn nhw. Dim ond eleni y dysgodd y cnewyllyn wneud hynny, gan hollti NPU yn swyddogaethau rhithwir ar y rhannau AIE4 newydd26. Ar yr NPU yn y gliniadur hwn, all e ddim ei wneud o gwbl.

Yn lle hynny aeth yr ymdrech i’r Fisher-Price OS (Windows), ac i Copilot. Lansiodd AMD genhedlaeth y sglodyn hwn fel proseswyr sy’n ‘Unlock Transformational AI Experiences for Windows Copilot+ PCs’27. Prin fod neb wedi prynu i mewn. Roedd peiriannau Copilot+ yn 2.3% o’r cyfrifiaduron Fisher-Price OS (Windows) a werthwyd yn chwarter cyntaf 2025, ac mae nodweddion Copilot mwy newydd Microsoft yn rhedeg yn y cwmwl beth bynnag: ‘only one of its new AI capabilities actually requires an NPU’28. Mae Microsoft hefyd yn adrodd bod yr hyn y mae’n ei ennill gan wneuthurwyr PCs i lawr 7% oherwydd ‘lower PC market demand’, gyda ‘roughly 30% of the installed base still on Windows 10’29. Felly cafodd yr NPU ei anelu at system weithredu nad yw pobl yn uwchraddio iddi, i redeg cynorthwyydd na ofynnon nhw amdano, nad yw’n defnyddio’r NPU gan amlaf.

Ac nid dyna lle mae AI yn cael ei adeiladu chwaith. Mae’r bobl sy’n gwneud hyn fel bywoliaeth yn rhedeg Linux, oherwydd dyna lle mae eu hoffer yn rhedeg. Mae TensorFlow yn dweud yn blaen mai 2.10 ‘was the last TensorFlow release that supported GPU on native-Windows’30. Mae gweinydd modelau vLLM ‘does not support Windows natively’31. Mae JAX yn rhestru ei adeiladwaith Fisher-Price OS (Windows) fel arbrofol, a’i gefnogaeth AMD fel ‘AMD GPU (Linux)’32. Lle mae’r Fisher-Price OS (Windows) yn rhedeg yr offer hyn, mae’n gwneud hynny drwy WSL 2, sef, yn ôl disgrifiad Microsoft ei hun, ‘an actual Linux kernel inside a managed VM’33. Anelodd AMD ei sglodyn AI at yr un bwrdd gwaith nad yw’r proffesiwn AI yn ei ddefnyddio. Dyw cefnogi hynny’n rhannol ddim yn ddigon, AMD.

Yna mae AMD yn gwerthu ei hun i fuddsoddwyr fel cwmni AI. Ar 11 Tachwedd 2025 dywedodd ei gadeirydd a’i brif weithredwr fod AMD ‘is uniquely positioned to lead the next generation of high-performance and AI computing’, mewn datganiad sy’n brolio iddo dyfu ei ‘AI PC portfolio 2.5x since 2024’ ac sy’n gorffen gyda ‘full-stack AI solutions’34. Pentwr llawn. Ar y PC AI yn y post hwn, daeth brig y pentwr hwnnw o brosiect na ddechreuodd AMD, ac ar y genhedlaeth gyntaf ddaeth e byth. Cwmni AI y bu’n rhaid i’w sglodyn AI ei hun aros tair blynedd i redeg AI ar y system weithredu y mae ei fusnes canolfannau data wedi’i adeiladu arni? Chwerthinllyd.

Mae cefnogaeth o’r radd flaenaf yn syml i’w disgrifio. Mae’n gweithio ar y diwrnod rwyt ti’n prynu’r peiriant, ar y system weithredu rwyt ti’n ei rhedeg, gan y cwmni a werthodd y sglodyn i ti. Dyw’r NPU hwn ddim wedi cyrraedd hynny eto. Prynais y gliniadur am y gweddill ohono a daeth yr NPU gydag e, a dyna’r unig reswm mai adroddiad yw hwn ac nid cwyn. Prynodd unrhyw un a brynodd un am yr AI ar y bathodyn, ac sy’n rhedeg Linux, addewid a gadwyd yn hwyr, a chan rywun arall.

Bydd Berchen ar y Silicon y Talaist Amdano

Daeth yr NPU gyda’r gliniadur. Yn y ffordd y mae’n cael ei werthu, dyma’r darn sy’n gwneud y peiriant yn barod ar gyfer AI, a’r AI sydd ar gynnig yw un rhywun arall, yng nghanolfan ddata rhywun arall, yn darllen yr hyn rwyt ti’n ei deipio er mwyn i rywbeth arall dalu amdano. Does dim byd am y caledwedd angen y trefniant hwnnw. Mae model 4B ar 21 W yn ateb cwestiwn, yn darllen darn 175,000 o eiriau wedi’i ludo os rhoi di’r amser iddo, ac yn ysgrifennu’r hyn rwyt ti’n ei ddweud, a does dim ohono’n gadael y ddesg.

Nid meddalwedd orffenedig yw hon, a chostiodd pob ymyl garw uchod awr i’w ganfod a llinell neu ddwy i’w drwsio. Dyna mae cod agored yn ei gostio pan wyt ti’n ei redeg go iawn. Mae’n dal yn fargen well na rhentu’r un gallu yn ôl, ac mae’r awr yn prynu i ti wybod sut mae’n gweithio.

Mae’r cynwysyddion yn ei gadw’n onest. Dim byd ar y gwesteiwr ond modiwl cnewyllyn a’i gadarnwedd, un ddyfais wedi’i phasio i un cynhwysydd, cyfeiriad na all neb arall ei gyrraedd, a gwiriad sy’n methu’r eiliad y mae’r darnau’n stopio cyfateb. Cymerodd ddiwrnod. Bydd yn dal i weithio, oherwydd fy mod i’n gwybod pam mae pob llinell ynddo yno, a bydd y gwiriad yn dweud wrtha i y bore y mae un ohonyn nhw’n peidio â bod yn wir.


  1. AMD — Ryzen AI 7 PRO 350 — 8 craidd, 16 edau, Radeon 860M, ‘NPU TOPS: Up to 50 TOPS’, dyddiad lansio ‘3/27/2025’. ↩︎ ↩︎ ↩︎

  2. Lemonade — LLMs on Linux with FastFlowLM — XDNA2 yn unig (Ryzen AI 300/400, Strix Halo), nid XDNA1; cadarnwedd NPU 1.1.0.0 neu’n hwyrach; paid â gosod amd_iommu=off. ↩︎ ↩︎ ↩︎ ↩︎

  3. Linux kernel documentation — amdxdna — y gyrrwr cyflymydd yn y goeden ar gyfer NPUs AMD. ↩︎

  4. amd/xdna-driver — gyrrwr, is-fodiwl XRT ac ategyn; adeiladu pecyn sylfaen XRT o’r is-fodiwl sydd wedi’i gynnwys fel ei fod yn gweithio gyda’r ategyn; storfa wedi’i chreu 25 Ionawr 2024. ↩︎ ↩︎

  5. Linux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c — AMDXDNA_DRIVER_MAJOR 0, AMDXDNA_DRIVER_MINOR 10; yr un fath yn v7.2. ↩︎

  6. ROCm/FastFlowLM — runtime LLM NPU ar gyfer XDNA2, gweinydd sy’n gydnaws ag OpenAI, rhan o ROCm ers v1.0.0; y rhyddhad a ddefnyddiwyd yma yw v1.0.12. ↩︎ ↩︎

  7. FastFlowLM — LICENSE_BINARY.txt — telerau ar gyfer y deuaiddion cnewyllyn NPU sydd wedi’u cynnwys. ↩︎

  8. RPM 6.0.0 release notes — ‘RPM defaults to enforcing signature checking’. ↩︎

  9. podman-systemd.unit(5) — unedau .container Quadlet, gan gynnwys AddDevice=, Ulimit=, StopSignal= ac Exec=. ↩︎

  10. loginctl(1) — mae enable-linger yn cychwyn rheolwr defnyddiwr gyda’r peiriant ac yn ei gadw i redeg ar ôl allgofnodi. ↩︎

  11. Qwen/Qwen3.5-4B — ‘Context Length: 262,144 natively’; haenau hybrid Gated DeltaNet a gated attention. ↩︎

  12. ggml-org/llama.cpp — y ddelwedd cynhwysydd server-vulkan a ddefnyddiwyd ar gyfer rhediadau’r GPU, adeiladwaith 12352. ↩︎

  13. mlc-ai/mlc-llm — wedi’i brofi gyda phecynnau nightly 0.26. ↩︎

  14. openai/whisper-large-v3-turbo — ‘a state-of-the-art model for automatic speech recognition (ASR) and speech translation’; wedi’i docio o large-v3, ‘the number of decoding layers have reduced from 32 to 4’; 809M o baramedrau; trwydded MIT. ↩︎

  15. open-webui/open-webui — rhyddhad v0.13.3 a ddefnyddiwyd yma. ↩︎

  16. Qwen/Qwen2.5-7B-Instruct — tokenizer_config.json — neges system ddiofyn y templed sgwrsio: ‘You are Qwen, created by Alibaba Cloud. You are a helpful assistant.’ ↩︎

  17. Qwen/Qwen3-4B — tokenizer_config.json — templed sgwrsio heb neges system ddiofyn. ↩︎

  18. Qwen/Qwen3.5-4B — tokenizer_config.json — templed sgwrsio heb neges system ddiofyn. ↩︎

  19. AMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 4 Ionawr 2023: ‘AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.’ ↩︎

  20. Kernel Newbies — Linux 6.14 — rhyddhawyd dydd Llun 24 Mawrth 2025; ‘an amdxdna driver for AMD NPUs’. ↩︎

  21. FastFlowLM v0.9.35 release notes — 11 Mawrth 2026: ‘The wait is finally over… FastFlowLM is officially available natively on Linux!’ ↩︎ ↩︎

  22. AMD — Ryzen AI Software release notes — problemau hysbys: ‘Model generation is not supported on Linux in this release.’ ↩︎

  23. TOP500 — June 2026 — ‘LineShine debuts as the new No. 1 system, ending El Capitan’s run atop the list’; mae El Capitan ‘is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators’. ↩︎

  24. LLNL — TOSS: Speeding Up Commodity Cluster Computing — ‘a fully functional cluster operating system, based on Red Hat Linux’. ↩︎

  25. AMD — Alveo V70 — ‘the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency’. ↩︎

  26. Linux — accel/amdxdna: Add basic support for AIE4 devices — ‘Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement’. Mae tabl y gyrrwr yn rhoi cofnodion swyddogaeth rithwir i’r rhannau hynny yn unig; 17f0 yw NPU y gliniadur hwn. ↩︎

  27. AMD — AMD Unveils Next-Gen “Zen 5” Ryzen Processors to Power Advanced AI Experiences — Computex, 2 Mehefin 2024: ‘AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs’. ↩︎

  28. Engadget — Microsoft’s Copilot+ AI PC plan fizzled, but it still served a purpose — 5 Rhagfyr 2025: roedd systemau Copilot+ yn ‘made up just 2.3 percent of Windows machines sold in the first quarter of 2025’; ‘only one of its new AI capabilities actually requires an NPU’. ↩︎

  29. Windows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 31 Gorffennaf 2026, yn dyfynnu galwad canlyniadau Microsoft: ‘Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand’; ‘roughly 30% of the installed base still on Windows 10’. ↩︎

  30. TensorFlow — Install TensorFlow with pip — ‘TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.’ ↩︎

  31. vLLM — GPU installation — ‘vLLM does not support Windows natively’. ↩︎

  32. JAX — Installation — olwynion CPU ar gyfer ‘Windows, x86_64 (experimental)’; adrannau GPU ar gyfer NVIDIA, Google Cloud TPU, Mac ac ‘AMD GPU (Linux)’. ↩︎

  33. Microsoft — Comparing WSL versions — ‘the use of an actual Linux kernel inside a managed VM’. ↩︎

  34. AMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — Diwrnod Dadansoddwyr Ariannol, 11 Tachwedd 2025: ‘AMD is uniquely positioned to lead the next generation of high-performance and AI computing’; ‘AMD has expanded its AI PC portfolio 2.5x since 2024’; ‘AMD delivers full-stack AI solutions’. ↩︎