Rhedeg LLM ar NPU Ryzen AI, Mewn Cynhwysydd
Mae’r NPU mewn gliniadur Ryzen AI yn 50 TOPS sy’n segur ar y rhan fwyaf o osodiadau Linux. Mae hwn yn dangos sut i adeiladu gyrrwr amdxdna AMD a chadw dim ond modiwl y cnewyllyn ar y gwesteiwr, adeiladu FastFlowLM gyda runtime XRT AMD i mewn i gynhwysydd podman rootless sy’n cyfateb i’r gyrrwr hwnnw, rhwymo popeth i loopback IPv6 a’i gychwyn gyda’r peiriant drwy Quadlet. Yna beth mae’n ei wneud: naw model wedi’u meincnodi, prawf cyd-destun o 232,000 o docynnau, lleferydd i destun gyda Whisper ar ddeg gwaith amser real, Open WebUI a’r 7,000 o docynnau cudd yr oedd yn eu hychwanegu at bob neges, a chyflymder ac ynni’r NPU wedi’u mesur yn erbyn llama.cpp ar iGPU y Radeon 860M. Yn olaf, y llinell amser: tair blynedd o gyhoeddiad Ryzen AI gan AMD hyd at fodel iaith ar ei NPU o dan Linux, wedi’i gyflwyno gan brosiect na ddechreuodd AMD, tra aeth yr ymdrech i Copilot+ ar y Fisher-Price OS (Windows) yn lle’r ganolfan ddata a’r offer Linux y mae gweithwyr proffesiynol AI yn eu defnyddio go iawn.
