NUMA क्या है
NUMA का मतलब है Non-Uniform Memory Access। सिंगल-सॉकेट सिस्टम पर हर CPU कोर सिस्टम की पूरी RAM तक एक ही memory controller से पहुँचता है। कोई भी कोर अनुरोध करे और डेटा फ़िज़िकल मेमोरी में कहीं भी हो, पहुँचने में उतना ही समय लगता है।
मल्टी-सॉकेट सिस्टम पर हर CPU सॉकेट का अपना memory controller और अपनी RAM होती है। सॉकेट 0 का कोर सॉकेट 0 से जुड़ी RAM तक जल्दी पहुँचता है: यह local memory है। वह सॉकेट 1 से जुड़ी RAM तक भी पहुँच सकता है, लेकिन उस अनुरोध को इंटर-सॉकेट लिंक (Intel UPI, AMD Infinity Fabric) पार करना पड़ता है। यह remote memory है, और यह धीमी है।
kernel हर सॉकेट और उसकी local memory को एक NUMA नोड कहता है। डुअल-सॉकेट AMD EPYC सिस्टम में कम से कम दो NUMA नोड होते हैं। कुछ EPYC प्रोसेसर हर सॉकेट पर चार NUMA नोड दिखाते हैं (हर CCD का एक), यानी डुअल-सॉकेट बोर्ड पर आठ नोड।
local और remote memory access के बीच परफ़ॉर्मेंस का फ़र्क मामूली नहीं है। local access लगभग 80–100ns का होता है। remote access लगभग 130–200ns का। यानी हर memory operation पर 50–100% का नुकसान। अपने आप में यह बहुत छोटी संख्या है। पर VM की पूरी ज़िंदगी में हर memory access पर चुकाई जाए, तो यह छोटी नहीं रहती।
वर्चुअलाइज़ेशन के लिए यह क्यों मायने रखता है
जब Proxmox कोई VM बनाता है, तो वह vCPU और RAM देता है। डिफ़ॉल्ट रूप से वे vCPU किसी भी सॉकेट के किसी भी फ़िज़िकल कोर पर शेड्यूल हो सकते हैं। VM की RAM किसी भी NUMA नोड के memory pool से आ सकती है।
अगर scheduler किसी vCPU को सॉकेट 0 पर रखे और VM की RAM सॉकेट 1 पर हो, तो उस vCPU का हर memory access इंटर-सॉकेट लिंक पार करता है। अगर vCPU सॉकेटों के बीच उछलते रहें, और pin न होने पर वे उछलेंगे ही, तो memory access का पैटर्न गड़बड़ हो जाता है। कुछ access local होते हैं, कुछ remote, और VM की परफ़ॉर्मेंस उसी हिसाब से डगमगाती है।
आम workload के लिए, जैसे वेब सर्वर, फ़ाइल सर्वर या डेस्कटॉप VM, यह अक्सर चल जाता है। overhead रहता है, पर बहुत सारे operations में बँट जाता है और हावी नहीं होता।
IO-भारी workload के लिए, जैसे डेटाबेस, स्टोरेज सर्वर या भारी डिस्क या नेटवर्क IO करने वाली कोई भी चीज़, यह नुकसान बढ़ता जाता है। हर DMA completion, हर interrupt delivery, हर buffer copy में memory access होता है। अगर वे access सॉकेट पार कर रहे हैं, तो overhead तेज़ी से जुड़ता है।
पासथ्रू के लिए यह क्यों मायने रखता है
PCIe डिवाइस फ़िज़िकल रूप से किसी खास CPU सॉकेट से जुड़े होते हैं। हर सॉकेट का अपना PCIe root complex होता है। स्लॉट 3 की NVMe ड्राइव सॉकेट 0 की PCIe lanes पर हो सकती है। स्लॉट 5 का GPU सॉकेट 1 की lanes पर हो सकता है।
जब कोई डिवाइस DMA करता है, तो डेटा उस NUMA नोड से जुड़ी मेमोरी में जाता है जिस पर IOMMU उसे मैप करता है। अगर VM की RAM डिवाइस के local नोड से ली गई है, तो DMA write सीधे local memory में जाता है। अगर RAM दूसरे नोड पर है, तो हर DMA operation इंटर-सॉकेट लिंक पार करता है।
लाखों IOPS करती NVMe ड्राइव के लिए हर operation पर 50–100ns का नुकसान जुड़ता जाता है।
4KB random reads के साथ iodepth=32 पर, सही और गलत NUMA अलाइनमेंट के बीच throughput का फ़र्क 20–30% हो सकता है।
और यह IOMMU overhead, ASPM, MPS या किसी और चीज़ को देखने से पहले की बात है।
यही बात नेटवर्क कार्ड, GPU और पासथ्रू किए गए किसी भी दूसरे डिवाइस पर लागू होती है। डिवाइस का DMA ट्रैफ़िक local memory में पहुँचना चाहिए, और उस ट्रैफ़िक को प्रोसेस करने वाले vCPU भी उसी नोड पर होने चाहिए।
अपनी topology कैसे जाँचें
डिवाइस किस NUMA नोड पर है
# Replace 0000:XX:00.0 with your device's PCI address from lspci
cat /sys/bus/pci/devices/0000:XX:00.0/numa_node
यह NUMA नोड का नंबर लौटाता है।
अगर यह -1 लौटाए, तो kernel नोड तय नहीं कर पाया। कुछ PCIe स्विच के पीछे लगे डिवाइसों के साथ कभी-कभी ऐसा होता है।
उस हालत में lspci -tv से PCIe topology हाथ से देखें और root port को सॉकेट से मिलाएँ।
अपना पूरा NUMA लेआउट देखें
numactl --hardware
यह आपको हर NUMA नोड दिखाता है: उस पर कितने CPU कोर हैं, कितनी मेमोरी जुड़ी है, और नोडों के बीच की दूरी (सापेक्ष लागत)।
डुअल-सॉकेट EPYC सिस्टम का उदाहरण आउटपुट:
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
node 0 size: 131072 MB
node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
node 1 size: 131072 MB
node distances:
node 0 1
0: 10 32
1: 32 10
दूरी वाली तालिका सापेक्ष लागत बताती है। 10 local है। 32 remote है। बड़ी संख्या का मतलब ज़्यादा hops। हर सॉकेट पर चार नोड वाले EPYC सेटअप में कुछ नोड-जोड़ों की दूरी 32 होती है और कुछ की 16, यह इस पर निर्भर है कि वे किस CCD पर हैं।
डिवाइसों को नोडों से मिलाएँ
# List all PCI devices and their NUMA nodes
for dev in /sys/bus/pci/devices/*; do
node=$(cat "$dev/numa_node" 2>/dev/null)
echo "$(basename $dev) node=$node $(lspci -s $(basename $dev) 2>/dev/null | cut -d' ' -f2-)"
done
इससे आपको पूरी तस्वीर मिल जाती है कि कौन सा डिवाइस किस नोड पर है। अपने NVMe controller, नेटवर्क कार्ड और पासथ्रू किए जा रहे GPU देखें।
Proxmox में VM को अलाइन कैसे करें
vCPU को सही नोड पर pin करें
VM की config फ़ाइल (/etc/pve/qemu-server/<vmid>.conf) में:
numa: 1
affinity: 0-15 # Adjust to match cores on the correct NUMA node
affinity पैरामीटर VM के vCPU को खास फ़िज़िकल कोरों पर pin करता है।
इसे उन कोरों की रेंज पर सेट करें जो आपके पासथ्रू किए गए डिवाइस वाले NUMA नोड पर हैं।
अगर आपकी NVMe नोड 1 पर है और नोड 1 के कोर 16–31 हैं, तो affinity: 16-31 सेट करें।
अगर VM को सिर्फ़ 8 vCPU चाहिए, तो उनके एक हिस्से पर pin करें: affinity: 16-23।
मेमोरी सही नोड से लें
VM config में numa: 1 चालू करने से Proxmox VM को NUMA topology दिखाता है।
QEMU कोशिश करेगा कि VM की मेमोरी उसी NUMA नोड से आए जहाँ vCPU pin हैं।
पूरे नियंत्रण के लिए आप VM config में NUMA topology खुद सेट कर सकते हैं:
numa0: cpus=0-7,hostnodes=0,memory=16384,policy=bind
यह QEMU को बताता है कि VM के पहले NUMA नोड (guest की नज़र से नोड 0) को host के NUMA नोड 0 से बाँधे, कोर 0–7 और 16GB मेमोरी के साथ।
policy=bind पक्का करता है कि मेमोरी सख्ती से उसी नोड से ली जाए, न कि local pool पर दबाव पड़ने पर दूसरे नोडों से।
pinning की जाँच करें
VM शुरू करने के बाद देखें कि vCPU सचमुच वहीं चल रहे हैं जहाँ आप उम्मीद करते हैं:
# Find the QEMU process
pgrep -a qemu | grep <vmid>
# Check CPU affinity of the process
taskset -cp <pid>
# Or check per-vCPU thread affinity
for tid in $(ls /proc/<pid>/task/); do
echo "Thread $tid: $(taskset -cp $tid 2>/dev/null)"
done
आम गलतियाँ
pin ही न करना
अगर आप affinity सेट नहीं करते, तो VM के vCPU किसी भी कोर पर शेड्यूल हो सकते हैं।
kernel का scheduler load balancing के हिसाब से उन्हें नोडों के बीच ले जाएगा।
हर बार जब कोई vCPU एक नोड से दूसरे पर जाता है, तो पुराने नोड के cache में जिस डेटा पर वह काम कर रहा था, वह remote हो जाता है।
आम VM के लिए यह ठीक है। भारी IO करने वाले पासथ्रू VM के लिए नहीं।
गलत नोड पर pin करना
pin करने से पहले डिवाइस का NUMA नोड जाँचें।
मान कर न चलें।
कुछ मदरबोर्ड पर फ़िज़िकल स्लॉट की नंबरिंग NUMA नोड से किसी साफ़ तरीके से मेल नहीं खाती।
हमेशा cat /sys/bus/pci/devices/.../numa_node से पुष्टि करें।
एक नोड पर ज़रूरत से ज़्यादा भार
अगर आप एक ही NUMA नोड पर बहुत सारे VM pin कर दें, तो उस नोड के कोरों पर ज़रूरत से ज़्यादा भार पड़ता है और local memory pool खत्म हो जाता है। जब मेमोरी remote नोड पर चली जाती है, तो आपको दोनों का सबसे बुरा हिस्सा मिलता है: pin किए गए vCPU और remote memory।
अपने VM नोडों में बराबर बाँटें। अगर आपके पास दो NUMA नोड और चार VM हैं, तो उन्हें बराबर फैलाएँ।
memory allocation भूल जाना
memory allocation को नियंत्रित किए बिना सिर्फ़ vCPU pin करने से आधा ही फ़ायदा मिलता है।
vCPU सही नोड पर हैं, पर मेमोरी शायद नहीं।
policy=bind इस्तेमाल करें, या कम से कम numa: 1 चालू करें ताकि QEMU का allocation CPU pinning के पीछे चले।
सिंगल-सॉकेट सिस्टम
सिंगल-सॉकेट सिस्टम पर सब कुछ NUMA नोड 0 पर है। एक ही memory controller है और PCIe lanes का एक ही सेट। NUMA अलाइनमेंट कोई चिंता नहीं है।
आप तब भी VM config में numa: 1 सेट कर सकते हैं, इससे कुछ बिगड़ेगा नहीं, पर कुछ सुधरेगा भी नहीं।
एक सॉकेट, एक memory controller, अलाइन करने को कुछ नहीं।
यह मेहनत उस मशीन के लिए बचा कर रखें जिसमें दो हों।
इसलिए यहाँ बताए गए परफ़ॉर्मेंस फ़ायदे सिर्फ़ उन मल्टी-सॉकेट सिस्टम पर लागू होते हैं जिनमें इंटर-सॉकेट लिंक होता है।
संदर्भ
- Proxmox VE Administration Guide — CPU and NUMA Configuration — vCPU pinning और NUMA विकल्पों पर आधिकारिक दस्तावेज़
- Linux kernel NUMA documentation — kernel की memory policy का संदर्भ
- AMD EPYC 7003 Series — BIOS & Workload Tuning Guide (doc 58002) — NUMA-per-socket और CCD/CCX topology पर AMD का दस्तावेज़