NUMA क्या है

NUMA का मतलब है Non-Uniform Memory Access। सिंगल-सॉकेट सिस्टम पर हर CPU कोर सिस्टम की पूरी RAM तक एक ही memory controller से पहुँचता है। कोई भी कोर अनुरोध करे और डेटा फ़िज़िकल मेमोरी में कहीं भी हो, पहुँचने में उतना ही समय लगता है।

मल्टी-सॉकेट सिस्टम पर हर CPU सॉकेट का अपना memory controller और अपनी RAM होती है। सॉकेट 0 का कोर सॉकेट 0 से जुड़ी RAM तक जल्दी पहुँचता है: यह local memory है। वह सॉकेट 1 से जुड़ी RAM तक भी पहुँच सकता है, लेकिन उस अनुरोध को इंटर-सॉकेट लिंक (Intel UPI, AMD Infinity Fabric) पार करना पड़ता है। यह remote memory है, और यह धीमी है।

kernel हर सॉकेट और उसकी local memory को एक NUMA नोड कहता है। डुअल-सॉकेट AMD EPYC सिस्टम में कम से कम दो NUMA नोड होते हैं। कुछ EPYC प्रोसेसर हर सॉकेट पर चार NUMA नोड दिखाते हैं (हर CCD का एक), यानी डुअल-सॉकेट बोर्ड पर आठ नोड।

local और remote memory access के बीच परफ़ॉर्मेंस का फ़र्क मामूली नहीं है। local access लगभग 80–100ns का होता है। remote access लगभग 130–200ns का। यानी हर memory operation पर 50–100% का नुकसान। अपने आप में यह बहुत छोटी संख्या है। पर VM की पूरी ज़िंदगी में हर memory access पर चुकाई जाए, तो यह छोटी नहीं रहती।

वर्चुअलाइज़ेशन के लिए यह क्यों मायने रखता है

जब Proxmox कोई VM बनाता है, तो वह vCPU और RAM देता है। डिफ़ॉल्ट रूप से वे vCPU किसी भी सॉकेट के किसी भी फ़िज़िकल कोर पर शेड्यूल हो सकते हैं। VM की RAM किसी भी NUMA नोड के memory pool से आ सकती है।

अगर scheduler किसी vCPU को सॉकेट 0 पर रखे और VM की RAM सॉकेट 1 पर हो, तो उस vCPU का हर memory access इंटर-सॉकेट लिंक पार करता है। अगर vCPU सॉकेटों के बीच उछलते रहें, और pin न होने पर वे उछलेंगे ही, तो memory access का पैटर्न गड़बड़ हो जाता है। कुछ access local होते हैं, कुछ remote, और VM की परफ़ॉर्मेंस उसी हिसाब से डगमगाती है।

आम workload के लिए, जैसे वेब सर्वर, फ़ाइल सर्वर या डेस्कटॉप VM, यह अक्सर चल जाता है। overhead रहता है, पर बहुत सारे operations में बँट जाता है और हावी नहीं होता।

IO-भारी workload के लिए, जैसे डेटाबेस, स्टोरेज सर्वर या भारी डिस्क या नेटवर्क IO करने वाली कोई भी चीज़, यह नुकसान बढ़ता जाता है। हर DMA completion, हर interrupt delivery, हर buffer copy में memory access होता है। अगर वे access सॉकेट पार कर रहे हैं, तो overhead तेज़ी से जुड़ता है।

पासथ्रू के लिए यह क्यों मायने रखता है

PCIe डिवाइस फ़िज़िकल रूप से किसी खास CPU सॉकेट से जुड़े होते हैं। हर सॉकेट का अपना PCIe root complex होता है। स्लॉट 3 की NVMe ड्राइव सॉकेट 0 की PCIe lanes पर हो सकती है। स्लॉट 5 का GPU सॉकेट 1 की lanes पर हो सकता है।

जब कोई डिवाइस DMA करता है, तो डेटा उस NUMA नोड से जुड़ी मेमोरी में जाता है जिस पर IOMMU उसे मैप करता है। अगर VM की RAM डिवाइस के local नोड से ली गई है, तो DMA write सीधे local memory में जाता है। अगर RAM दूसरे नोड पर है, तो हर DMA operation इंटर-सॉकेट लिंक पार करता है।

लाखों IOPS करती NVMe ड्राइव के लिए हर operation पर 50–100ns का नुकसान जुड़ता जाता है। 4KB random reads के साथ iodepth=32 पर, सही और गलत NUMA अलाइनमेंट के बीच throughput का फ़र्क 20–30% हो सकता है। और यह IOMMU overhead, ASPM, MPS या किसी और चीज़ को देखने से पहले की बात है।

गलत NUMA अलाइनमेंट हर DMA को इंटर-सॉकेट लिंक के पार भेजता है; सही अलाइनमेंट उसे local रखता हैगलत अलाइनमेंट: VM नोड 0 पर, ड्राइव नोड 1 परNUMA नोड 0कोर 0–15RAM 128 GBVM: vCPU 0–15 पर pin, RAM यहीं सेNUMA नोड 1कोर 16–31RAM 128 GBNVMe: root complex 1UPI / IFहर DMA लिंक पार करता है: 130–200 nsसही अलाइनमेंट: vCPU, RAM और ड्राइव सब नोड 1 परNUMA नोड 0कोर 0–15RAM 128 GBदूसरे VM के लिए खालीNUMA नोड 1कोर 16–31RAM 128 GBNVMe: root complex 1VM: affinity 16-31, numa0 hostnodes=1, policy=bindखाली80–100 nsiodepth=32 और 4 KB random reads पर इन दोनों के बीच throughput का अंतर 20–30% है,IOMMU overhead, ASPM या MPS के आने से पहले ही।सिंगल-सॉकेट सिस्टम पर न दूसरा नोड है, न इंटर-सॉकेट लिंक, इसलिए इसमें से कुछ भीलागू नहीं होता।
दोनों ओर हार्डवेयर वही है। फ़र्क बस इतना है कि VM किस नोड पर pin हुआ, और क्या ड्राइव के DMA को VM की मेमोरी तक पहुँचने के लिए लिंक पार करना पड़ता है।

यही बात नेटवर्क कार्ड, GPU और पासथ्रू किए गए किसी भी दूसरे डिवाइस पर लागू होती है। डिवाइस का DMA ट्रैफ़िक local memory में पहुँचना चाहिए, और उस ट्रैफ़िक को प्रोसेस करने वाले vCPU भी उसी नोड पर होने चाहिए।

अपनी topology कैसे जाँचें

डिवाइस किस NUMA नोड पर है

# Replace 0000:XX:00.0 with your device's PCI address from lspci
cat /sys/bus/pci/devices/0000:XX:00.0/numa_node

यह NUMA नोड का नंबर लौटाता है। अगर यह -1 लौटाए, तो kernel नोड तय नहीं कर पाया। कुछ PCIe स्विच के पीछे लगे डिवाइसों के साथ कभी-कभी ऐसा होता है। उस हालत में lspci -tv से PCIe topology हाथ से देखें और root port को सॉकेट से मिलाएँ।

अपना पूरा NUMA लेआउट देखें

numactl --hardware

यह आपको हर NUMA नोड दिखाता है: उस पर कितने CPU कोर हैं, कितनी मेमोरी जुड़ी है, और नोडों के बीच की दूरी (सापेक्ष लागत)।

डुअल-सॉकेट EPYC सिस्टम का उदाहरण आउटपुट:

available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
node 0 size: 131072 MB
node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
node 1 size: 131072 MB
node distances:
node   0   1
  0:  10  32
  1:  32  10
numactl --hardware की नोड दूरी तालिका पढ़नादूरी की तालिका, स्रोत: numactl --hardwareडुअल सॉकेट, हर सॉकेट पर 2 NUMA नोड। सापेक्ष लागत, नैनोसेकंड नहीं।नोड 0नोड 1नोड 2नोड 3नोड 0नोड 1नोड 2नोड 310163232161032323232101632321610सॉकेट 0सॉकेट 110: वही नोड, local memory16: वही सॉकेट, दूसरा नोड32: इंटर-सॉकेट लिंक के पारVM और उसके डिवाइस को एक ही 10 में pin करें,और उसकी मेमोरी को कभी 32 पर न जाने दें।2-नोड बोर्ड सिर्फ़ 10 और 32 दिखाता है;16 तब दिखते हैं जब एक सॉकेट कई नोडदिखाता है।
ये संख्याएँ सापेक्ष लागत हैं, नैनोसेकंड नहीं। VM और उसके डिवाइस को एक ही 10 के अंदर रखें, और उसकी मेमोरी को कभी 32 पर न जाने दें।

दूरी वाली तालिका सापेक्ष लागत बताती है। 10 local है। 32 remote है। बड़ी संख्या का मतलब ज़्यादा hops। हर सॉकेट पर चार नोड वाले EPYC सेटअप में कुछ नोड-जोड़ों की दूरी 32 होती है और कुछ की 16, यह इस पर निर्भर है कि वे किस CCD पर हैं।

डिवाइसों को नोडों से मिलाएँ

# List all PCI devices and their NUMA nodes
for dev in /sys/bus/pci/devices/*; do
    node=$(cat "$dev/numa_node" 2>/dev/null)
    echo "$(basename $dev) node=$node $(lspci -s $(basename $dev) 2>/dev/null | cut -d' ' -f2-)"
done

इससे आपको पूरी तस्वीर मिल जाती है कि कौन सा डिवाइस किस नोड पर है। अपने NVMe controller, नेटवर्क कार्ड और पासथ्रू किए जा रहे GPU देखें।

Proxmox में VM को अलाइन कैसे करें

vCPU को सही नोड पर pin करें

VM की config फ़ाइल (/etc/pve/qemu-server/<vmid>.conf) में:

numa: 1
affinity: 0-15    # Adjust to match cores on the correct NUMA node

affinity पैरामीटर VM के vCPU को खास फ़िज़िकल कोरों पर pin करता है। इसे उन कोरों की रेंज पर सेट करें जो आपके पासथ्रू किए गए डिवाइस वाले NUMA नोड पर हैं।

अगर आपकी NVMe नोड 1 पर है और नोड 1 के कोर 16–31 हैं, तो affinity: 16-31 सेट करें। अगर VM को सिर्फ़ 8 vCPU चाहिए, तो उनके एक हिस्से पर pin करें: affinity: 16-23।

मेमोरी सही नोड से लें

VM config में numa: 1 चालू करने से Proxmox VM को NUMA topology दिखाता है। QEMU कोशिश करेगा कि VM की मेमोरी उसी NUMA नोड से आए जहाँ vCPU pin हैं।

पूरे नियंत्रण के लिए आप VM config में NUMA topology खुद सेट कर सकते हैं:

numa0: cpus=0-7,hostnodes=0,memory=16384,policy=bind

यह QEMU को बताता है कि VM के पहले NUMA नोड (guest की नज़र से नोड 0) को host के NUMA नोड 0 से बाँधे, कोर 0–7 और 16GB मेमोरी के साथ। policy=bind पक्का करता है कि मेमोरी सख्ती से उसी नोड से ली जाए, न कि local pool पर दबाव पड़ने पर दूसरे नोडों से।

pinning की जाँच करें

VM शुरू करने के बाद देखें कि vCPU सचमुच वहीं चल रहे हैं जहाँ आप उम्मीद करते हैं:

# Find the QEMU process
pgrep -a qemu | grep <vmid>

# Check CPU affinity of the process
taskset -cp <pid>

# Or check per-vCPU thread affinity
for tid in $(ls /proc/<pid>/task/); do
    echo "Thread $tid: $(taskset -cp $tid 2>/dev/null)"
done

आम गलतियाँ

pin ही न करना

अगर आप affinity सेट नहीं करते, तो VM के vCPU किसी भी कोर पर शेड्यूल हो सकते हैं। kernel का scheduler load balancing के हिसाब से उन्हें नोडों के बीच ले जाएगा। हर बार जब कोई vCPU एक नोड से दूसरे पर जाता है, तो पुराने नोड के cache में जिस डेटा पर वह काम कर रहा था, वह remote हो जाता है।

आम VM के लिए यह ठीक है। भारी IO करने वाले पासथ्रू VM के लिए नहीं।

गलत नोड पर pin करना

pin करने से पहले डिवाइस का NUMA नोड जाँचें। मान कर न चलें। कुछ मदरबोर्ड पर फ़िज़िकल स्लॉट की नंबरिंग NUMA नोड से किसी साफ़ तरीके से मेल नहीं खाती। हमेशा cat /sys/bus/pci/devices/.../numa_node से पुष्टि करें।

एक नोड पर ज़रूरत से ज़्यादा भार

अगर आप एक ही NUMA नोड पर बहुत सारे VM pin कर दें, तो उस नोड के कोरों पर ज़रूरत से ज़्यादा भार पड़ता है और local memory pool खत्म हो जाता है। जब मेमोरी remote नोड पर चली जाती है, तो आपको दोनों का सबसे बुरा हिस्सा मिलता है: pin किए गए vCPU और remote memory।

अपने VM नोडों में बराबर बाँटें। अगर आपके पास दो NUMA नोड और चार VM हैं, तो उन्हें बराबर फैलाएँ।

memory allocation भूल जाना

memory allocation को नियंत्रित किए बिना सिर्फ़ vCPU pin करने से आधा ही फ़ायदा मिलता है। vCPU सही नोड पर हैं, पर मेमोरी शायद नहीं। policy=bind इस्तेमाल करें, या कम से कम numa: 1 चालू करें ताकि QEMU का allocation CPU pinning के पीछे चले।

सिंगल-सॉकेट सिस्टम

सिंगल-सॉकेट सिस्टम पर सब कुछ NUMA नोड 0 पर है। एक ही memory controller है और PCIe lanes का एक ही सेट। NUMA अलाइनमेंट कोई चिंता नहीं है।

आप तब भी VM config में numa: 1 सेट कर सकते हैं, इससे कुछ बिगड़ेगा नहीं, पर कुछ सुधरेगा भी नहीं। एक सॉकेट, एक memory controller, अलाइन करने को कुछ नहीं। यह मेहनत उस मशीन के लिए बचा कर रखें जिसमें दो हों। इसलिए यहाँ बताए गए परफ़ॉर्मेंस फ़ायदे सिर्फ़ उन मल्टी-सॉकेट सिस्टम पर लागू होते हैं जिनमें इंटर-सॉकेट लिंक होता है।

संदर्भ