50 TOPS जो कुछ नहीं कर रहे
पिछले दो साल में बिका हर Ryzen AI लैपटॉप अपने अंदर एक Neural Processing Unit (NPU) रखता है, सिलिकॉन का एक ऐसा हिस्सा जो सिर्फ़ AI मॉडल के पीछे के गणित के लिए बना है। मेरे लैपटॉप में, Ryzen AI 7 PRO 350 वाले एक ThinkPad में, AMD इसे 50 TOPS तक बताता है, यानी हर सेकंड खरबों ऑपरेशन1। इसके पैसे आपने दिए हैं। एक सामान्य Linux इंस्टॉल पर यह कुछ नहीं करता।
इस साल यह बदला। एक बार सेट हो जाए तो NPU एक चैट विंडो के पीछे 4 अरब पैरामीटर का लैंग्वेज मॉडल चलाता है, साथ में स्पीच-टू-टेक्स्ट भी, सब लैपटॉप पर, बिना अकाउंट, बिना सब्सक्रिप्शन, और मशीन से कुछ भी बाहर नहीं जाता। जो बात आप किसी और की वेबसाइट में टाइप नहीं करना चाहेंगे, उसके लिए यही पूरा मकसद है। जवाब देते समय पूरी चिप करीब 21 W लेती है, और खाली बैठे 9 W से कम।
| क्या चलता है | कहाँ | एड्रेस |
|---|---|---|
| Qwen 3.5 4B, 256k-टोकन कॉन्टेक्स्ट | NPU, एक कंटेनर में | http://[::1]:52625/v1 |
स्पीच-टू-टेक्स्ट: OpenAI का Whisper, whisper-v3:turbo | NPU, वही कंटेनर | वही, /audio/transcriptions |
| Open WebUI, चैट पेज | CPU, एक कंटेनर में | http://[::1]:3000 |
| amdxdna कर्नेल ड्राइवर, फ़र्मवेयर | होस्ट | /dev/accel/accel0 |
दो नियमों ने इस बिल्ड को शक्ल दी। होस्ट पर सिर्फ़ कर्नेल ड्राइवर और उसका फ़र्मवेयर जाता है; हर मॉडल फ़्रेमवर्क एक rootless podman कंटेनर में चलता है। और हर सर्विस सिर्फ़ IPv6 loopback पर सुनती है, IPv4 पर कुछ भी नहीं। दोनों बातें गड़बड़ तरीके से करने से कम मेहनत निकलीं, और दोनों ने ऐसी समस्याएँ पकड़ीं जो वरना मैं वैसे ही छोड़ देता।
Linux पर इसके लिए क्या चाहिए
इस चिप का NPU AMD का दूसरी पीढ़ी का डिज़ाइन है, XDNA2। यह मायने रखता है, क्योंकि जो सॉफ़्टवेयर इस पर लैंग्वेज मॉडल चलाता है वह XDNA2 वाले पार्ट्स (Ryzen AI 300 और 400 सीरीज़, Strix Halo) को सपोर्ट करता है, Ryzen 7040 और 8040 वाली पहली पीढ़ी को नहीं2। शुरू करने से पहले अपना चेक कीजिए:
$ lspci -nn | grep -i 'neural\|signal processing'
c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20)
उस डिवाइस और एक चैट जवाब के बीच चार परतें हैं, और होस्ट और कंटेनर के बीच का बँटवारा ही पूरा डिज़ाइन है:
| परत | यह क्या है | कहाँ रहती है |
|---|---|---|
amdxdna | कर्नेल ड्राइवर, /dev/accel/accel0 बनाता है3 | होस्ट, DKMS के ज़रिए |
| NPU फ़र्मवेयर | npu_7.sbin, इस चिप पर 1.1.2.64 | होस्ट, linux-firmware से |
XRT + amdxdna प्लगइन | AMD की रनटाइम लाइब्रेरी और उसका NPU बैकएंड | कंटेनर |
| FastFlowLM | LLM रनटाइम, NPU kernels समेत | कंटेनर |
Kernel 7.x में amdxdna in-tree आता है, लेकिन AMD इसे पहले अपनी रिपॉज़िटरी में डेवलप करता है, और userspace प्लगइन को उसी कर्नेल मॉड्यूल से मेल खाना पड़ता है जिससे वह बात करता है4। दोनों के बीच का फ़ासला छोटा नहीं है। इस लैपटॉप पर:
| In-tree, Fedora का 7.2.15 और 7.3.3 | Out-of-tree, amd/xdna-driver 24dfd686 पर | |
|---|---|---|
| ड्राइवर इंटरफ़ेस | 0.105 | 0.19 |
| मॉड्यूल वर्ज़न | कोई नहीं | 2.27.0_20261113 |
| कितने NPU PCI ID से जुड़ता है | 6 | 8 |
| कितनी फ़र्मवेयर फ़ाइलें माँगता है | 7 | 59 |
| यह चिप कौन सा फ़र्मवेयर लोड करती है | 17f0_10/npu_7.sbin, 1.1.2.64 | वही फ़ाइल |
इंटरफ़ेस में नौ वर्ज़न का फ़र्क, और Linux 7.3, सबसे नई रिलीज़, अब भी 0.10 पर है। दोनों जिस एक चीज़ पर सहमत हैं वह फ़र्मवेयर है, और वह Fedora के linux-firmware से आता है, किसी ड्राइवर से नहीं। इसलिए मैं दोनों हिस्से amd/xdna-driver के एक ही commit से बनाता हूँ, मॉड्यूल होस्ट पर रखता हूँ, और मेल खाता userspace इमेज में पका देता हूँ।
ड्राइवर: सब बनाइए, रखिए सिर्फ़ कर्नेल वाला हिस्सा
amd/xdna-driver XRT को git submodule के तौर पर साथ रखता है, और इसे बनाने पर XRT के RPM और एक प्लगइन पैकेज निकलते हैं। प्लगइन पैकेज में ड्राइवर का सोर्स भी होता है, जिसे वह DKMS (Dynamic Kernel Module Support, वह चीज़ जो हर नए कर्नेल के लिए मॉड्यूल दोबारा बनाती है) के साथ रजिस्टर करता है। इसमें कुछ भी मुश्किल नहीं:
git clone --recursive https://github.com/amd/xdna-driver.git && cd xdna-driver
sudo ./tools/amdxdna_deps.sh
(cd xrt/build && ./build.sh -npu -opt) # XRT RPMs in xrt/build/Release/
(cd build && ./build.sh -release) # plugin RPM, driver source inside
Fedora 45 पर dependency स्क्रिप्ट एक एरर पर खत्म होती है। उसे अनदेखा कीजिए:
| यह क्या माँगती है | क्या होता है | फ़र्क पड़ता है? |
|---|---|---|
protobuf-devel | पहले से इंस्टॉल protobuf3-compiler से टकराता है | नहीं, इसके बिना XRT बस एक tracing टूल छोड़ देता है |
redhat-lsb | ऐसा कोई पैकेज नहीं, Fedora ने इसे हटा दिया | नहीं |
| बाकी सब | पहले से इंस्टॉल है |
वहाँ आखिरी टैग की हुई रिलीज़ फ़रवरी की है, इसलिए main ही रिलीज़ चैनल है। मैं मई के बिल्ड से नवंबर वाले पर गया: 550 commits, XRT 2.23 से 2.27।
अपग्रेड वही ड्राइवर मिटा देता है जो उसने अभी इंस्टॉल किया
अपग्रेड की मेरी पहली कोशिश ने मॉड्यूल को पूरी तरह हटा दिया। RPM नए पैकेज की इंस्टॉल स्क्रिप्ट चलाता है, जो नया ड्राइवर बनाकर DKMS में रजिस्टर करती है, और फिर पुराने पैकेज की removal स्क्रिप्ट चलाता है। वह removal स्क्रिप्ट ड्राइवर वर्ज़न एक ऐसी फ़ाइल से पढ़ती है जिसे नया पैकेज पहले ही ओवरराइट कर चुका है, इसलिए वह उसी वर्ज़न को अनरजिस्टर कर देती है जो अभी-अभी इंस्टॉल हुआ था। dnf का आउटपुट यह दो लाइनों में, एक के बाद एक, कहता है:
>>> Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0
>>> Removing driver source: xrt-amdxdna/2.27.0...
कुछ फ़ेल नहीं हुआ, कुछ लाल नहीं हुआ, और अगला बूट चुपचाप वही लोड कर देता जो कर्नेल के साथ आया था। क्या मैं पूछ सकता हूँ कि एक removal स्क्रिप्ट अपग्रेड पर यह जाँचे बिना क्यों चलती है कि यह अपग्रेड है या नहीं? RPM हर scriptlet को यह जवाब उसके पहले argument के रूप में देता है। बस एक if है।
यही वजह है कि अब होस्ट को RPM बिल्कुल नहीं मिलते। ड्राइवर का सोर्स प्लगइन पैकेज के अंदर एक tarball है, इसलिए मैं उसे निकालकर सीधे DKMS को दे देता हूँ:
T=$(mktemp -d) && rpm2cpio xrt_plugin*.rpm | (cd $T && cpio -idm --quiet)
D=$T/opt/xilinx/xrt/share/amdxdna
sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0
sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0
sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/
sudo dkms install xrt-amdxdna/2.27.0
sudo modprobe -r amdxdna; sudo modprobe amdxdna
रीबूट नहीं। यह Linux है, और उस वक्त किसी ने डिवाइस खोला नहीं है, इसलिए मॉड्यूल चलते-चलते बदल जाता है। इसके बाद DKMS इसे dnf से आने वाले हर कर्नेल के लिए दोबारा बनाता है; जब 7.3.3 आया तो उसमें रीबूट करने से पहले ही यह बन चुका था।
जाँचिए कि लोड हुआ मॉड्यूल DKMS वाला है, in-tree वाला नहीं, और फ़र्मवेयर काफ़ी नया है। FastFlowLM को 1.1.0.0 या उसके बाद का चाहिए2:
$ modinfo -F filename amdxdna
/lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz
$ cat /sys/bus/pci/drivers/amdxdna/*/fw_version
1.1.2.64
$ journalctl -k | grep 'Initialized amdxdna'
[drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0
DKMS कर्नेल के अपने मॉड्यूल को मिटाता नहीं, उसे /var/lib/dkms/xrt-amdxdna/original_module/ में हटाकर रख देता है, इसलिए DKMS बिल्ड हटाने पर वह वापस आ जाता है।
एक और चीज़ को मत छेड़िए: कर्नेल कमांड लाइन पर amd_iommu=off NPU को बंद कर देता है2।
कंटेनर में FastFlowLM
FastFlowLM वह रनटाइम है जो NPU को लैंग्वेज मॉडल के लिए काम का बनाता है। यह Ollama जैसी कमांड लाइन और एक OpenAI-compatible सर्वर है, XDNA2 के लिए लिखा हुआ, और इस साल यह AMD के ROCm संगठन के तहत आ गया6। रनटाइम MIT लाइसेंस में है। जो NPU kernels यह साथ भेजता है वे बंद बाइनरी हैं, बिना बदले इस्तेमाल करने और आगे बाँटने के लिए मुफ़्त7। मैं चाहता कि वे खुले होते, और यह कहूँगा भी, लेकिन वे रिपॉज़िटरी में हैं और कहीं और से कुछ लाना नहीं पड़ता।
इमेज Fedora 45 पर तीन स्टेज की है: ड्राइवर बिल्ड से XRT, उसके ख़िलाफ़ कंपाइल हुआ FastFlowLM, फिर एक रनटाइम जिसमें सिर्फ़ उतना जितना चाहिए। जो हिस्सा मायने रखता है:
FROM registry.fedoraproject.org/fedora:45 AS xrt
ARG XDNA_COMMIT
COPY dist/xdna-${XDNA_COMMIT}/ /rpms/
RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \
&& rpm -i --noscripts --nodeps --nosignature \
--excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \
/rpms/xrt_plugin*.rpm \
&& echo /opt/xilinx/xrt/lib64 > /etc/ld.so.conf.d/xrt.conf && ldconfig
इनमें से हर flag इसलिए है क्योंकि उसके बिना कुछ टूटा:
| समस्या | इलाज |
|---|---|
| प्लगइन की स्क्रिप्ट एक कर्नेल मॉड्यूल बनाती हैं, जिसकी जगह होस्ट पर है | --noscripts, और ड्राइवर सोर्स व फ़र्मवेयर बाहर रखे गए |
| Fedora 45 का RPM 6 डिफ़ॉल्ट रूप से signature checking लागू करता है8, और खुद बनाया RPM unsigned होता है | --nosignature: मैंने बनाया है, मुझे पता है कहाँ से आया |
XRT की लाइब्रेरी lib64 में हैं, जो linker path पर नहीं है | इमेज के अंदर /etc/ld.so.conf.d/xrt.conf |
FastFlowLM XRT को pkg-config से ढूँढता है, और XRT का setup.sh वह path सेट नहीं करता | बिल्ड स्टेज में PKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig |
तैयार इमेज 609 MB की है, और उसके टैग में ड्राइवर commit है, fastflowlm:v1.0.12-xdna24dfd686। एक health check उसे लोड हुए मॉड्यूल के बताए commit से मिलाता है और फ़र्क होने पर फ़ेल होता है। गलत ड्राइवर के लिए बनी इमेज यहाँ की वह एक गड़बड़ी है जिसे डायग्नोज़ करना सच में उलझाऊ है, इसलिए उसे वहाँ तक पहुँचने से पहले ही पकड़ लिया जाता है।
कंटेनर को एक डिवाइस मिलता है, NPU, और memory-lock की वह लिमिट जो FastFlowLM को अपने buffers पिन करने के लिए चाहिए:
podman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \
localhost/fastflowlm:v1.0.12-xdna24dfd686 validate
[Linux] NPU: /dev/accel/accel0 with 8 columns
[Linux] NPU FW Version: 1.1.2.64
[Linux] Memlock Limit: infinity
AMD के अपने self-test, xrt-smi validate, ने एक matrix multiply पर NPU को 51 TOPS पर रखा। डिब्बे पर लिखा 50, पूरा मिला।
बूट पर शुरू, सिर्फ़ IPv6 पर
Quadlet एक छोटी .container फ़ाइल को systemd सर्विस में बदल देता है9। user unit के तौर पर यह rootless चलता है, मेरे नाम से, और lingering चालू हो तो बिना किसी के लॉग इन किए बूट पर शुरू होता है10:
[Unit]
Description=FastFlowLM NPU server
ConditionPathExists=/dev/accel/accel0
[Container]
Image=localhost/fastflowlm:v1.0.12-xdna24dfd686
AddDevice=/dev/accel/accel0
Ulimit=memlock=-1:-1
Network=host
Volume=%h/.config/flm:/models:Z
Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo
StopSignal=SIGINT
[Install]
WantedBy=default.target
loginctl enable-linger $USER
cp fastflowlm.container ~/.config/containers/systemd/
systemctl --user daemon-reload && systemctl --user start fastflowlm
-c 262144 कॉन्टेक्स्ट विंडो सेट करता है, और नीचे वाला कॉन्टेक्स्ट टेस्ट बताता है कि यह इतना बड़ा क्यों है। -a whisper-v3:turbo चैट मॉडल के बगल में एक दूसरा मॉडल लोड करता है, जो बोली को टेक्स्ट में बदलता है; उसका अपना सेक्शन है।
इसमें तीन लाइनें मुश्किल से सीखी गईं:
| लाइन | इसके बिना |
|---|---|
StopSignal=SIGINT | FastFlowLM SIGTERM को, जो podman का stop signal है, अनदेखा करता है और दस सेकंड बाद मार दिया जाता है |
--host ::1 | यह 127.0.0.1 पर सुनता है, IPv4 |
::1, [::1] नहीं | ब्रैकेट वाला रूप parse नहीं होता; ब्रैकेट URL के अंदर के लिए हैं |
एड्रेस पर भरोसा मत कीजिए, उसे साबित कीजिए:
$ ss -ltn 'sport = :52625'
LISTEN 0 4096 [::1]:52625 [::]:*
$ curl -s http://127.0.0.1:52625/v1/models || echo refused
refused
localhost अब भी हर उस चीज़ के लिए काम करता है जो उसे पहले ::1 पर resolve करती है, और Fedora का /etc/hosts और Chrome दोनों यही करते हैं।
यह क्या करता है, मापकर
FastFlowLM के अपने बेंचमार्क से नौ मॉडल; decode वह स्पीड है जिस पर जवाब आता है:
| मॉडल | Decode, 1k कॉन्टेक्स्ट | Decode, 8k कॉन्टेक्स्ट | प्रॉम्प्ट पढ़ना, 8k |
|---|---|---|---|
llama3.2:1b | 77 tok/s | 56 tok/s | 2,009 tok/s |
qwen3.5:2b | 32 | 29 | 1,533 |
llama3.2:3b | 30 | 20 | 857 |
phi4-mini-it:4b | 25 | 17 | 744 |
qwen3:4b | 23 | 15 | 613 |
qwen3.5:4b | 17 | 15 | 657 |
gemma4-it:e4b | 14 | 12 | 642 |
qwen3:8b | 13 | 10 | 418 |
qwen3.5:9b | 11 | 10 | 451 |
पढ़ने की रफ़्तार पाँच से आठ टोकन प्रति सेकंड है, इसलिए इनमें से हर एक आपसे आगे रहता है। मॉडल हर बार दोगुना होने पर decode लगभग आधा होता है, जो तब होता है जब सीमा memory bandwidth की हो, compute की नहीं। मैं qwen3.5:4b चलाता हूँ। Phi-4 mini तेज़ है, लेकिन बातचीत बढ़ने पर Qwen 3.5 अपनी स्पीड बनाए रखता है, इमेज और tool calls संभालता है, और एक prompt cache रखता है जो हर बार पूरी हिस्ट्री दोबारा पढ़ने से बचाता है। फ़ैसला इसी से होता है।
256,000 टोकन का कॉन्टेक्स्ट
Qwen 3.5 262,144 टोकन की विंडो के लिए बना है11, और FastFlowLM का डिफ़ॉल्ट 32,768 है। उस सीमा के पार यह कुछ ऐसा करता है जो जानने लायक है: यह Max length reached, stopping prefilling लॉग करता है और बिना जवाब और बिना एरर के कनेक्शन बंद कर देता है, तो चैट विंडो खाली जवाब के साथ बैठी रहती है और आप अंदाज़ा लगाते रहते हैं कि मॉडल गिरा, सर्वर या ब्राउज़र।
इसलिए मैंने -c 262144 से इसे बढ़ाया और ठीक से टेस्ट किया। 232,250 टोकन के प्रॉम्प्ट की पहली लाइन में एक कोड छिपाया, मोटे तौर पर 175,000 शब्द, और आखिर में वह माँगा:
| 8k कॉन्टेक्स्ट | 232k कॉन्टेक्स्ट | |
|---|---|---|
| जवाब | सही | सही, AMBER-FALCON-7731 |
| प्रॉम्प्ट पढ़ना | 657 tok/s | 210 tok/s |
| पहले शब्द का इंतज़ार | 12 सेकंड | 18.4 मिनट |
| Decode | 15 tok/s | 2.4 tok/s |
| रिज़र्व मेमोरी | ~5 GB | ~12.7 GB |
यह काम करता है। धीमा है। और मेमोरी रिज़र्व होती है चाहे आप विंडो इस्तेमाल करें या नहीं। मशीन में 90 GB के साथ, मैं यह कीमत देने को तैयार हूँ ताकि एक लंबा पेस्ट चुपचाप गिराए जाने के बजाय जवाब पाए।
क्या GPU मदद कर सकता है?
उसी चिप में एक Radeon 860M है, तो सीधा सवाल यह है कि क्या वह कुछ बोझ उठा सकता है। एक मॉडल को NPU और GPU में बाँटना, प्रॉम्प्ट एक पर पढ़ना और जवाब दूसरे पर लिखना, आज कोई Linux रनटाइम नहीं करता। GPU पर एक दूसरा रनटाइम चलाना हो सकता है, इसलिए मैंने वह मापा।
यहाँ “efficient” का मतलब है स्पीड और ऊर्जा दोनों साथ। amdgpu ड्राइवर पूरी चिप की package power बिना root के बताता है, और amdxdna ड्राइवर अकेले NPU की, इसलिए नीचे का हर रन सेकंड में चार बार सैंपल किया गया। हर जगह वही मॉडल, 4-bit पर।
जिन GPU रनटाइम को मैंने देखा, उनमें से एक चला:
| रनटाइम | 860M पर नतीजा |
|---|---|
| llama.cpp, Vulkan बैकएंड12 | चलता है; 881 MB इमेज |
| llama.cpp, ROCm बैकएंड | GPU को देखता है, फिर पहले ही काम पर segfault, GPU-version override के साथ या बिना; 23 GB इमेज |
| MLC-LLM, Vulkan13 | Qwen 3.5 आर्किटेक्चर बनाते समय इसका कंपाइलर segfault करता है |
| vLLM, SGLang | आज़माया नहीं: डेटा सेंटर GPU और बहुत सारे यूज़र्स के लिए बने हैं, 8-यूनिट के iGPU के लिए नहीं |
और NPU, उस एक के मुकाबले जो चला:
| Qwen 3.5 4B | NPU, FastFlowLM | GPU, llama.cpp Vulkan |
|---|---|---|
| खाली, मॉडल लोड | 8.6 W | 16.0 W, बंद होने पर 9.7 W के मुकाबले |
| प्रॉम्प्ट पढ़ना, ~6k टोकन | 557 tok/s, 23.8 W पर | 411 tok/s, 46.1 W पर |
| हर प्रॉम्प्ट टोकन की ऊर्जा | 0.043 J | 0.112 J |
| Decode | 18.2 tok/s, 21.0 W पर | 23.5 tok/s, 40.7 W पर |
| हर बने टोकन की ऊर्जा | 1.16 J | 1.73 J |
GPU जवाब करीब 29% तेज़ लिखता है। ऐसा करते हुए वह दोगुनी पावर जलाता है। NPU प्रॉम्प्ट तेज़ पढ़ता है और आधी से कम ऊर्जा में। बड़ा आँकड़ा खाली बैठे वाला है: GPU सर्वर लोड होकर कुछ न करते हुए, उसी मशीन पर उसे बंद रखने के मुकाबले 6.3 W ज़्यादा लेता है, पूरे दिन। दोनों को एक साथ चलाने पर NPU 18.2 से 14.2 टोकन प्रति सेकंड पर आ गया और GPU 23.5 से 13.9 पर, क्योंकि दोनों एक ही मेमोरी बाँटते हैं। इसलिए GPU कंटेनर मौजूद है, लेकिन वह तब शुरू होता है जब मुझे दूसरा मॉडल चाहिए, और बूट पर चालू नहीं है।
हर रन में NPU ने खुद 2 W से कम लिया। 21 W का ज़्यादातर हिस्सा उसे खिलाने वाले CPU और मेमोरी का है। आने वाली FastFlowLM रिलीज़ में यही सीमा देखने लायक है।
NPU पर स्पीच-टू-टेक्स्ट भी
Whisper OpenAI का speech-recognition मॉडल है: ऑडियो अंदर, टेक्स्ट बाहर, 99 भाषाओं में, और MIT लाइसेंस में जारी, इसलिए यह किसी से पूछे बिना कहीं भी चलता है14। Large-v3 मौजूदा पूरे साइज़ का वर्ज़न है। Turbo वही मॉडल है जिसका decoder, यानी वह आधा हिस्सा जो टेक्स्ट लिखता है, 32 परतों से घटाकर 4 कर दिया गया है। मॉडल कार्ड यह सौदा साफ़ कहता है: “way faster, at the expense of a minor quality degradation”। 809 मिलियन पैरामीटर के साथ यह चैट मॉडल का पाँचवाँ हिस्सा है।
FastFlowLM इसे NPU के लिए पहले से कन्वर्ट करके whisper-v3:turbo नाम से देता है, 623 MB का डाउनलोड, और -a whisper-v3:turbo से इसे चैट मॉडल के बगल में लोड करता है। यह अकेले Whisper सर्व नहीं करेगा; साथ में एक चैट मॉडल लोड होना ज़रूरी है। ऑडियो स्टैंडर्ड OpenAI transcription endpoint पर जाता है और टेक्स्ट वापस आता है।
| 19.6 सेकंड की बोली | |
|---|---|
| पहली रिक्वेस्ट, Whisper लोड होते हुए | 6.2 s |
| उसके बाद | 2.0 s, रियल टाइम से करीब दस गुना |
| पूरी चिप की पावर | ~24.7 W |
| सटीकता | हर शब्द सही |
लेकिन वर्तनी अमेरिकी नकली अंग्रेज़ी वाली: “color” और “program”। Whisper का API एक prompt लेता है, और असली ब्रिटिश अंग्रेज़ी वर्तनी में लिखा प्रॉम्प्ट, इंग्लैंड की अंग्रेज़ी, जहाँ से यह भाषा आती है, इसे ठीक करने के लिए काफ़ी है:
curl -s 'http://[::1]:52625/v1/audio/transcriptions' -F file=@speech.wav \
-F model=whisper-v3:turbo -F language=en \
-F 'prompt=British English spelling: colour, programme, organise, centre.'
हमें इन मॉडलों को सुधारना ही नहीं पड़ना चाहिए। Whisper 99 भाषाओं पर ट्रेन हुआ है और फिर भी, जब तक कहा न जाए, अंग्रेज़ी अमेरिकी तरीके से लिखता है, क्योंकि जिन्होंने इसे बनाया वे अपनी वर्तनी को डिफ़ॉल्ट मानते हैं और बाकी सबकी को एक ऐसा विकल्प जो माँगना पड़े। यही वह चिढ़ाने वाला अमेरिकी डिफ़ॉल्टवाद है जिससे बाकी दुनिया नफ़रत करती है, और यह एक पूर्वाग्रह के तौर पर अंदर पका हुआ है। चैट मॉडल का system prompt भी, नीचे वाले सेक्शन में, इसी वजह से यही निर्देश रखता है।
एक चैट विंडो, और 7,000 टोकन जो आपने कभी टाइप नहीं किए
Open WebUI ब्राउज़र वाला फ़्रंट एंड है15, अपने कंटेनर में, उसी तरह [::1]:3000 से बँधा और NPU की ओर इशारा करता हुआ। इसका माइक्रोफ़ोन बटन अपने डिफ़ॉल्ट के बजाय NPU पर Whisper के पास जाता है, जो वरना एक मॉडल डाउनलोड करके उसे CPU पर चलाता।
मैंने इसे जो पहला मैसेज भेजा वह बीस शब्दों का था। NPU तक वह 7,223 टोकन के प्रॉम्प्ट के रूप में पहुँचा, क्योंकि Open WebUI 0.13 अपने सभी built-in tools (memory, notes, calendar, automations, web search) की परिभाषाएँ हर मैसेज के साथ लगा देता है, और एक admin को इनमें से हर एक मिलता है।
| वही बीस शब्दों का सवाल | NPU को भेजा गया प्रॉम्प्ट | पहले शब्द का इंतज़ार |
|---|---|---|
| Built-in tools चालू, डिफ़ॉल्ट | 7,223 टोकन | ~12 s |
| मॉडल के लिए built-in tools बंद | 127 टोकन | 1 s से कम |
लोकल मॉडल के लिए वह डिफ़ॉल्ट बंद होना चाहिए। बारह सेकंड, हर जवाब पर।
इसने मुझे पूरे आत्मविश्वास से यह भी बताया कि यह “trained by Google” है और “on Google’s advanced infrastructure” चल रहा है। यह एक Qwen मॉडल है, Alibaba का बनाया, एक लैपटॉप पर चलता हुआ। यह पूरी बकवास है, और ऐसा होना ही नहीं चाहिए।
यह सेटअप की गलती नहीं है। मॉडल सिर्फ़ वही टेक्स्ट देखता है जो उसे भेजा जाता है, और ड्रॉप-डाउन में दिखने वाला नाम सर्वर के लिए एक लेबल है, मॉडल तक कभी नहीं जाता। तो वह जवाब अकेले मॉडल से आया, और उसने अपने बारे में वही एक बात गलत बताई जिस पर कभी शक नहीं होना चाहिए। यह एक डिज़ाइन की खामी है, और इसकी ज़िम्मेदारी उसकी है जिसने मॉडल भेजा।
Alibaba जानता था कि इसे कैसे रोकना है। Qwen 2.5 का chat template हर बातचीत “You are Qwen, created by Alibaba Cloud” से शुरू करता था, जब तक आप कुछ और न दें16। Qwen 3 ने वह लाइन हटा दी17, और Qwen 3.5 भी इसके बिना आता है18। उसकी जगह कुछ नहीं आया, और उस जवाब से लगता है कि मॉडल को यह कभी इतना अच्छे से सिखाया ही नहीं गया कि वह अपने दम पर संभाल ले। किसी 4B मॉडल से बिना प्रॉम्प्ट के “what are you?” पूछिए और वह अपने ट्रेनिंग डेटा के सबसे आम जवाब पर गिर जाता है, जो किसी और का है।
क्या यह छोटी बात है? नहीं। जो मॉडल पूरे आत्मविश्वास से बताएगा कि उसे किसने बनाया और वह किसके डेटा सेंटर में चलता है, और दोनों गलत बताएगा, वह किसी भी ऐसी चीज़ के साथ यही करेगा जिसे वह जाँच नहीं सकता। यहाँ आपको सही जवाब पता है। ज़्यादातर समय नहीं पता होगा।
इसलिए इसे एक system prompt में बताना पड़ता है:
| पूछा गया “what are you, and what are you running on?” | जवाब |
|---|---|
| कोई system prompt नहीं | “a large language model trained by Google… Google’s advanced infrastructure” |
| एक के साथ | “Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350’s NPU via FastFlowLM” |
वही प्रॉम्प्ट इसे ब्रिटिश अंग्रेज़ी लिखने को कहता है, फिर से उसी अमेरिकी डिफ़ॉल्टवाद की वजह से जो Whisper में भी है। बताने पर यह करता है। फिर भी यह नहीं बता सकता कि आज कौन सा दिन है। बिना कैलेंडर और बिना इंटरनेट का मॉडल तारीखें और हाल की घटनाएँ अंदाज़े से बताता है, और प्रॉम्प्ट जो भी कहे, यह हमेशा मानेगा नहीं कि अंदाज़ा है।
Linux पर AI चलाने में तीन साल
AMD ने जनवरी 2023 में Ryzen AI को मंच पर “the first dedicated artificial intelligence hardware in an x86 processor” के तौर पर पेश किया19। उस keynote से आगे गिनिए:
| कब | Linux पर क्या हुआ | keynote के बाद |
|---|---|---|
| 4 जनवरी 2023 | Ryzen AI की घोषणा, Ryzen 7040 में | |
| 25 जनवरी 2024 | amd/xdna-driver GitHub पर प्रकाशित4 | 1 साल |
| 24 मार्च 2025 | amdxdna mainline Linux में, 6.1420 | 2 साल 2 महीने |
| 27 मार्च 2025 | यह चिप, Ryzen AI 7 PRO 350, लॉन्च1 | 2 साल 2 महीने |
| 11 मार्च 2026 | FastFlowLM 0.9.35, इसकी पहली नेटिव Linux रिलीज़21 | 3 साल 2 महीने |
| 11 अगस्त 2026 | FastFlowLM 1.0.0, अब AMD के ROCm के तहत6 | 3 साल 7 महीने |
| आज | 7040 और 8040 के लिए अब भी कोई LLM रनटाइम नहीं2 | 3 साल 10 महीने |
Linux पर NPU पर एक लैंग्वेज मॉडल चलाने में ही तीन साल दो महीने, और वह भी AMD के अपने सॉफ़्टवेयर ने नहीं किया। FastFlowLM ने किया, एक प्रोजेक्ट जो कंपनी के बाहर शुरू हुआ और इस साल ROCm के तहत लिया गया। इसके Linux release notes “The wait is finally over” से शुरू होते हैं, फिर कहते हैं कि यह “the exact same recipe you already know and love on Windows” इस्तेमाल करता है21। Fisher-Price OS (Windows) को यह पहले मिला, और उन्होंने यह कहा भी। AMD का अपना Ryzen AI Software अब भी, अपने मौजूदा release notes में, कहता है “Model generation is not supported on Linux in this release”22।
जिसने पहली पीढ़ी खरीदी उसका हाल और बुरा है। 2023 के Ryzen 7040 लैपटॉप में एक ऐसा NPU है जिसे Linux पर कोई language-model रनटाइम छूएगा नहीं, और कहीं कुछ प्रकाशित नहीं कि कोई आ रहा है। वही बैज।
क्या मैं पूछ सकता हूँ क्यों? कौन नहीं, क्यों। AMD की प्रक्रिया में ऐसा क्या था जिसने एक चिप को नाम में AI के साथ बिकने दिया, जबकि Linux पर उस AI को इस्तेमाल करने का सॉफ़्टवेयर सालों बाद आया, और बाहर से? स्पेक शीट कहती है “Up to 50 TOPS”1। बैज कहता है Ryzen AI। दोनों लैपटॉप खरीदने वाले से किए गए बयान हैं, और Linux पर इस चिप के पहले साल में दोनों की कीमत कुछ भी नहीं थी।
निशाना Copilot पर, डेटा सेंटर पर नहीं
ऐसा नहीं है कि AMD को Linux मुश्किल लगता है। डेटा सेंटर में Linux पहले दर्जे का है और AMD यह जानता है: Lawrence Livermore का El Capitan AMD EPYC प्रोसेसर और AMD Instinct accelerators है, यह इस साल जून तक दुनिया का सबसे तेज़ कंप्यूटर था23, और यह TOSS चलाता है, Livermore का अपना Red Hat Linux बिल्ड24। क्या आप सोच सकते हैं कि AMD एक Instinct accelerator बेचे और खरीदार से कहे कि Linux सॉफ़्टवेयर बाद में आएगा, किसी और से? जवाब ना होता। AMD ने तो इस NPU का कर्नेल ड्राइवर भी लिखा और उसे mainline में पहुँचाया। आखिरी परत, वह जो हार्डवेयर से वह काम करवाती है जिसके लिए वह बेचा गया, वही इंतज़ार में छोड़ दी गई।
इसे कभी लैपटॉप प्रोजेक्ट होना ही नहीं चाहिए था। वही XDNA आर्किटेक्चर उसी साल एक डेटा सेंटर कार्ड में गया, Alveo V70, जिसे “the first Alveo production card leveraging AMD XDNA architecture with AI Engines” के तौर पर बेचा गया25। AI Engine के लिए एक सॉफ़्टवेयर स्टैक बनाइए, बाकी डेटा सेंटर की तरह पहले Linux, और लैपटॉप को यह मुफ़्त मिल जाता है। सर्वर को भी। एक छोटा, किफ़ायती accelerator ठीक वही है जो आप virtual machines में बाँटना चाहेंगे, हर एक को एक टुकड़ा, उन छोटे मॉडलों के लिए जिन्हें पूरा GPU नहीं चाहिए। कर्नेल ने यह इसी साल सीखा, नए AIE4 पार्ट्स पर NPU को virtual functions में बाँटना26। इस लैपटॉप के NPU पर यह बिल्कुल नहीं हो सकता।
इसके बजाय मेहनत Fisher-Price OS (Windows) पर गई, और Copilot पर। AMD ने इस चिप की पीढ़ी ऐसे प्रोसेसर के रूप में लॉन्च की जो “Unlock Transformational AI Experiences for Windows Copilot+ PCs”27। लगभग किसी ने नहीं खरीदा। 2025 की पहली तिमाही में बिके Fisher-Price OS (Windows) PC में Copilot+ मशीनें 2.3% थीं, और Microsoft के नए Copilot फ़ीचर वैसे भी क्लाउड में चलते हैं: “only one of its new AI capabilities actually requires an NPU”28। Microsoft यह भी बताता है कि PC बनाने वालों से उसकी कमाई “lower PC market demand” पर 7% गिरी, और “roughly 30% of the installed base still on Windows 10”29। तो NPU का निशाना एक ऐसा ऑपरेटिंग सिस्टम था जिसे लोग अपग्रेड नहीं कर रहे, एक ऐसा असिस्टेंट चलाने के लिए जो उन्होंने माँगा नहीं, और जो ज़्यादातर NPU इस्तेमाल ही नहीं करता।
और AI वहाँ बनता भी नहीं। जो लोग यह काम रोज़ी-रोटी के लिए करते हैं वे Linux चलाते हैं, क्योंकि उनके टूल वहीं चलते हैं। TensorFlow साफ़ कहता है कि 2.10 “was the last TensorFlow release that supported GPU on native-Windows”30। vLLM मॉडल सर्वर “does not support Windows natively”31। JAX अपने Fisher-Price OS (Windows) बिल्ड को experimental बताता है, और अपने AMD सपोर्ट को “AMD GPU (Linux)”32। जहाँ Fisher-Price OS (Windows) ये टूल चलाता भी है, वहाँ WSL 2 के ज़रिए, जो Microsoft के अपने शब्दों में “an actual Linux kernel inside a managed VM” है33। AMD ने अपनी AI चिप का निशाना उसी एक डेस्कटॉप पर लगाया जिसे AI पेशा इस्तेमाल नहीं करता। उसे आधा-अधूरा सपोर्ट करना काफ़ी नहीं है, AMD।
फिर AMD निवेशकों के सामने खुद को AI कंपनी बताता है। 11 नवंबर 2025 को इसकी चेयर और CEO ने कहा कि AMD “is uniquely positioned to lead the next generation of high-performance and AI computing”, एक ऐसी रिलीज़ में जो अपने “AI PC portfolio 2.5x since 2024” बढ़ाने की शेखी बघारती है और “full-stack AI solutions” पर खत्म होती है34। Full stack। इस पोस्ट वाले AI PC पर उस स्टैक का ऊपरी हिस्सा एक ऐसे प्रोजेक्ट से आया जो AMD ने शुरू नहीं किया, और पहली पीढ़ी पर वह कभी आया ही नहीं। एक AI कंपनी जिसकी अपनी AI चिप को उसी ऑपरेटिंग सिस्टम पर AI चलाने के लिए तीन साल इंतज़ार करना पड़ा जिस पर उसका डेटा सेंटर कारोबार टिका है? हास्यास्पद।
पहले दर्जे का सपोर्ट बताना आसान है। यह उसी दिन काम करता है जिस दिन आप मशीन खरीदते हैं, उसी ऑपरेटिंग सिस्टम पर जो आप चलाते हैं, उसी कंपनी से जिसने आपको चिप बेची। यह NPU अभी तक उस पर खरा नहीं उतरा। मैंने लैपटॉप बाकी चीज़ों के लिए खरीदा था और NPU साथ में आ गया, और सिर्फ़ इसी वजह से यह एक write-up है, शिकायत नहीं। जिसने भी इसे बैज पर लिखे AI के लिए खरीदा, और Linux चलाता है, उसने एक ऐसा वादा खरीदा जो देर से निभाया गया, और किसी और ने निभाया।
जिस सिलिकॉन के पैसे दिए, उसके मालिक बनिए
NPU लैपटॉप के साथ आया। जिस तरह इसे बेचा जाता है, यह वह हिस्सा है जो मशीन को AI के लिए तैयार बनाता है, और जो AI पेश किया जाता है वह किसी और का है, किसी और के डेटा सेंटर में, जो आपका टाइप किया पढ़ता है ताकि उसका भुगतान किसी और तरीके से हो सके। हार्डवेयर में ऐसा कुछ नहीं जिसे इस इंतज़ाम की ज़रूरत हो। 21 W पर एक 4B मॉडल सवाल का जवाब देता है, अगर आप समय दें तो 175,000 शब्दों का पेस्ट पढ़ लेता है, और जो आप बोलते हैं वह लिख देता है, और इसमें से कुछ भी मेज़ से बाहर नहीं जाता।
यह तैयार सॉफ़्टवेयर नहीं है, और ऊपर का हर खुरदरा किनारा ढूँढने में एक घंटा और ठीक करने में एक-दो लाइनें लगीं। ओपन सोर्स को सच में चलाने की यही कीमत है। फिर भी यह वही क्षमता किराए पर वापस लेने से बेहतर सौदा है, और वह घंटा आपको यह समझ देता है कि यह काम कैसे करता है।
कंटेनर इसे ईमानदार रखते हैं। होस्ट पर एक कर्नेल मॉड्यूल और उसके फ़र्मवेयर के सिवा कुछ नहीं, एक कंटेनर को एक डिवाइस, एक ऐसा एड्रेस जिस तक कोई और नहीं पहुँच सकता, और एक जाँच जो उसी पल फ़ेल होती है जब टुकड़े मेल खाना बंद कर दें। इसमें एक दिन लगा। यह चलता रहेगा, क्योंकि मुझे पता है इसकी हर लाइन वहाँ क्यों है, और जिस सुबह इनमें से कोई सच होना बंद होगा, जाँच मुझे बता देगी।
AMD — Ryzen AI 7 PRO 350 — 8 कोर, 16 थ्रेड, Radeon 860M, “NPU TOPS: Up to 50 TOPS”, लॉन्च तारीख “3/27/2025”। ↩︎ ↩︎ ↩︎
Lemonade — LLMs on Linux with FastFlowLM — सिर्फ़ XDNA2 (Ryzen AI 300/400, Strix Halo), XDNA1 नहीं; NPU फ़र्मवेयर 1.1.0.0 या उसके बाद;
amd_iommu=offसेट न करें। ↩︎ ↩︎ ↩︎ ↩︎Linux kernel documentation — amdxdna — AMD NPU के लिए in-tree accelerator ड्राइवर। ↩︎
amd/xdna-driver — ड्राइवर, XRT submodule और प्लगइन; XRT base पैकेज साथ आए submodule से बनाइए ताकि वह प्लगइन के साथ चले; रिपॉज़िटरी 25 जनवरी 2024 को बनी। ↩︎ ↩︎
Linux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c —
AMDXDNA_DRIVER_MAJOR 0,AMDXDNA_DRIVER_MINOR 10; v7.2 में भी यही। ↩︎ROCm/FastFlowLM — XDNA2 के लिए NPU LLM रनटाइम, OpenAI-compatible सर्वर, v1.0.0 से ROCm का हिस्सा; यहाँ इस्तेमाल की गई रिलीज़ v1.0.12 है। ↩︎ ↩︎
FastFlowLM — LICENSE_BINARY.txt — साथ आने वाली NPU kernel बाइनरी की शर्तें। ↩︎
RPM 6.0.0 release notes — “RPM defaults to enforcing signature checking”। ↩︎
podman-systemd.unit(5) — Quadlet
.containerunits, जिनमेंAddDevice=,Ulimit=,StopSignal=औरExec=शामिल हैं। ↩︎loginctl(1) —
enable-lingerबूट पर एक user manager शुरू करता है और लॉगआउट के बाद भी उसे चलता रखता है। ↩︎Qwen/Qwen3.5-4B — “Context Length: 262,144 natively”; hybrid Gated DeltaNet और gated attention परतें। ↩︎
ggml-org/llama.cpp — GPU रन के लिए इस्तेमाल हुई
server-vulkanकंटेनर इमेज, बिल्ड 12352। ↩︎mlc-ai/mlc-llm — 0.26 nightly पैकेज के साथ टेस्ट किया। ↩︎
openai/whisper-large-v3-turbo — “a state-of-the-art model for automatic speech recognition (ASR) and speech translation”; large-v3 से छाँटा गया, “the number of decoding layers have reduced from 32 to 4”; 809M पैरामीटर; MIT लाइसेंस। ↩︎
open-webui/open-webui — यहाँ रिलीज़ v0.13.3 इस्तेमाल हुई। ↩︎
Qwen/Qwen2.5-7B-Instruct — tokenizer_config.json — chat template का डिफ़ॉल्ट system message: “You are Qwen, created by Alibaba Cloud. You are a helpful assistant.” ↩︎
Qwen/Qwen3-4B — tokenizer_config.json — बिना डिफ़ॉल्ट system message वाला chat template। ↩︎
Qwen/Qwen3.5-4B — tokenizer_config.json — बिना डिफ़ॉल्ट system message वाला chat template। ↩︎
AMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 4 जनवरी 2023: “AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.” ↩︎
Kernel Newbies — Linux 6.14 — सोमवार 24 मार्च 2025 को रिलीज़; “an amdxdna driver for AMD NPUs”। ↩︎
FastFlowLM v0.9.35 release notes — 11 मार्च 2026: “The wait is finally over… FastFlowLM is officially available natively on Linux!” ↩︎ ↩︎
AMD — Ryzen AI Software release notes — known issues: “Model generation is not supported on Linux in this release.” ↩︎
TOP500 — June 2026 — “LineShine debuts as the new No. 1 system, ending El Capitan’s run atop the list”; El Capitan “is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators”। ↩︎
LLNL — TOSS: Speeding Up Commodity Cluster Computing — “a fully functional cluster operating system, based on Red Hat Linux”। ↩︎
AMD — Alveo V70 — “the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency”। ↩︎
Linux — accel/amdxdna: Add basic support for AIE4 devices — “Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement”। ड्राइवर की टेबल virtual-function एंट्री सिर्फ़ उन्हीं पार्ट्स को देती है; इस लैपटॉप का NPU
17f0है। ↩︎AMD — AMD Unveils Next-Gen “Zen 5” Ryzen Processors to Power Advanced AI Experiences — Computex, 2 जून 2024: “AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs”। ↩︎
Engadget — Microsoft’s Copilot+ AI PC plan fizzled, but it still served a purpose — 5 दिसंबर 2025: Copilot+ सिस्टम “made up just 2.3 percent of Windows machines sold in the first quarter of 2025”; “only one of its new AI capabilities actually requires an NPU”। ↩︎
Windows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 31 जुलाई 2026, Microsoft की results call को उद्धृत करते हुए: “Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand”; “roughly 30% of the installed base still on Windows 10”। ↩︎
TensorFlow — Install TensorFlow with pip — “TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.” ↩︎
vLLM — GPU installation — “vLLM does not support Windows natively”। ↩︎
JAX — Installation — “Windows, x86_64 (experimental)” के लिए CPU wheels; NVIDIA, Google Cloud TPU, Mac और “AMD GPU (Linux)” के लिए GPU सेक्शन। ↩︎
Microsoft — Comparing WSL versions — “the use of an actual Linux kernel inside a managed VM”। ↩︎
AMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — Financial Analyst Day, 11 नवंबर 2025: “AMD is uniquely positioned to lead the next generation of high-performance and AI computing”; “AMD has expanded its AI PC portfolio 2.5x since 2024”; “AMD delivers full-stack AI solutions”। ↩︎