Ryzen AI NPU पर LLM, एक कंटेनर में
Ryzen AI लैपटॉप का NPU 50 TOPS है जो ज़्यादातर Linux इंस्टॉल पर खाली बैठा रहता है। यह पोस्ट AMD का amdxdna ड्राइवर बनाने और होस्ट पर सिर्फ़ कर्नेल मॉड्यूल रखने से शुरू होती है, फिर AMD के XRT रनटाइम के साथ FastFlowLM को उसी ड्राइवर से मेल खाते rootless podman कंटेनर में बनाती है, सब कुछ IPv6 loopback से बाँधती है और Quadlet से बूट पर शुरू करती है। फिर यह क्या करता है: नौ मॉडल का बेंचमार्क, 232,000 टोकन का कॉन्टेक्स्ट टेस्ट, रियल टाइम से दस गुना तेज़ Whisper स्पीच-टू-टेक्स्ट, Open WebUI और वे 7,000 छिपे टोकन जो वह हर मैसेज में जोड़ रहा था, और Radeon 860M iGPU पर llama.cpp के मुकाबले NPU की स्पीड और ऊर्जा, मापी हुई। आखिर में टाइमलाइन: AMD के Ryzen AI की घोषणा से Linux पर उसके NPU पर एक लैंग्वेज मॉडल चलने तक तीन साल, और वह भी एक ऐसे प्रोजेक्ट से जो AMD ने शुरू नहीं किया, जबकि मेहनत डेटा सेंटर और AI प्रोफ़ेशनल जिन Linux टूल्स का असल में इस्तेमाल करते हैं उन पर नहीं, बल्कि Fisher-Price OS (Windows) पर Copilot+ पर गई।