Beth Yw NUMA
Ystyr NUMA yw Non-Uniform Memory Access, sef mynediad anghyson at y cof. Ar system un soced, mae pob craidd CPU yn cyrraedd holl RAM y system drwy’r un rheolydd cof. Mae’r amser mynediad yr un fath ni waeth pa graidd sy’n gwneud y cais na lle mae’r data’n eistedd yn y cof ffisegol.
Ar system aml-soced, mae gan bob soced CPU ei rheolydd cof ei hun a’i banc RAM ei hun. Gall craidd ar soced 0 gyrraedd y RAM sydd ynghlwm wrth soced 0 yn gyflym. Dyna’r cof lleol. Gall hefyd gyrraedd y RAM sydd ynghlwm wrth soced 1, ond mae’n rhaid i’r cais hwnnw groesi’r cyswllt rhwng y socedi (Intel UPI, AMD Infinity Fabric). Dyna’r cof pell, ac mae’n arafach.
Mae’r cnewyllyn yn galw pob soced a’i chof lleol yn nod NUMA. Mae gan system AMD EPYC dwy soced o leiaf ddau nod NUMA. Mae rhai proseswyr EPYC yn dangos pedwar nod NUMA i bob soced (un i bob CCD), sy’n rhoi wyth nod ar fwrdd dwy soced.
Dydy’r gwahaniaeth perfformiad rhwng mynediad lleol a mynediad pell ddim yn gynnil. Mae mynediad lleol tua 80–100ns. Mae mynediad pell tua 130–200ns. Dyna gosb o 50–100% ar bob gweithrediad cof. Ar ei ben ei hun mae’n rhif bach iawn. O’i dalu ar bob mynediad cof drwy gydol oes y VM, mae’n peidio â bod yn fach.
Pam Mae’n Bwysig i Rithwiroli
Pan fydd Proxmox yn creu VM, mae’n dyrannu vCPUs a RAM. Yn ddiofyn, gellir amserlennu’r vCPUs hynny ar unrhyw graidd ffisegol ar unrhyw soced. Gellir dyrannu RAM y VM o gronfa gof unrhyw nod NUMA.
Os yw’r amserlennydd yn rhoi vCPU ar soced 0 a RAM y VM ar soced 1, mae pob mynediad cof y mae’r vCPU hwnnw’n ei wneud yn croesi’r cyswllt rhwng y socedi. Os yw’r vCPUs yn neidio rhwng socedi, a byddan nhw os nad ydyn nhw wedi’u pinio, mae patrwm y mynediad cof yn mynd yn llanast. Mae rhai mynediadau’n lleol, rhai’n bell, ac mae perfformiad y VM yn siglo i gyd-fynd.
Ar gyfer llwythi gwaith cyffredinol, fel gweinydd gwe, gweinydd ffeiliau neu VM bwrdd gwaith, mae modd byw gyda hyn yn aml. Mae’r gorbenion yno ond maen nhw wedi’u gwasgaru dros lawer o weithrediadau a dydyn nhw ddim yn rheoli’r darlun.
Ar gyfer llwythi gwaith trwm o ran IO, fel cronfeydd data, gweinyddion storfa ac unrhyw beth sy’n gwneud IO disg neu rwydwaith trwm, mae’r gosb yn cronni. Mae pob cwblhad DMA, pob ymyriad sy’n cael ei ddanfon a phob copi byffer yn golygu mynediad cof. Os yw’r mynediadau hynny’n croesi socedi, mae’r gorbenion yn adio’n gyflym.
Pam Mae’n Bwysig i Passthrough
Mae dyfeisiau PCIe wedi’u gwifrio’n ffisegol i soced CPU benodol. Mae gan bob soced ei root complex PCIe ei hun. Gallai’r gyriant NVMe yn slot 3 fod ar lonydd PCIe soced 0. Gallai’r GPU yn slot 5 fod ar rai soced 1.
Pan fydd dyfais yn gwneud DMA, mae’r data’n mynd i’r cof sydd ynghlwm wrth ba bynnag nod NUMA y mae’r IOMMU yn ei fapio iddo. Os yw RAM y VM wedi’i ddyrannu o nod lleol y ddyfais, mae’r ysgrifiad DMA yn mynd yn syth i’r cof lleol. Os yw’r RAM ar y nod arall, mae pob gweithrediad DMA yn croesi’r cyswllt rhwng y socedi.
I yriant NVMe sy’n gwneud cannoedd o filoedd o IOPS, mae’r gosb o 50–100ns ar bob gweithrediad yn adio.
Ar iodepth=32 gyda darlleniadau ar hap 4KB, gall y gwahaniaeth trwybwn rhwng NUMA wedi’i alinio a NUMA heb ei alinio fod yn 20–30%.
Mae hynny cyn i ti edrych ar orbenion IOMMU, ASPM, MPS na dim byd arall.
Mae’r un peth yn wir am gardiau rhwydwaith, GPUs ac unrhyw ddyfais arall sy’n cael ei phasio drwodd. Dylai traffig DMA y ddyfais lanio yn y cof lleol, a dylai’r vCPUs sy’n prosesu’r traffig hwnnw fod ar yr un nod.
Sut i Wirio Dy Dopoleg
Darganfod Pa Nod NUMA Mae Dyfais Arno
# Replace 0000:XX:00.0 with your device's PCI address from lspci
cat /sys/bus/pci/devices/0000:XX:00.0/numa_node
Mae hyn yn dychwelyd rhif y nod NUMA.
Os yw’n dychwelyd -1, doedd y cnewyllyn ddim yn gallu pennu’r nod. Mae hynny’n digwydd weithiau gyda dyfeisiau y tu ôl i rai switshis PCIe.
Os felly, dilyna dopoleg PCIe â llaw gyda lspci -tv a chyfateba’r root port i’r soced.
Gweld Dy Gynllun NUMA Llawn
numactl --hardware
Mae hyn yn dangos pob nod NUMA i ti, faint o greiddiau CPU sydd arno, faint o gof sydd ynghlwm wrtho, a’r pellter (y gost gymharol) rhwng nodau.
Allbwn enghreifftiol o system EPYC dwy soced:
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
node 0 size: 131072 MB
node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
node 1 size: 131072 MB
node distances:
node 0 1
0: 10 32
1: 32 10
Mae’r tabl pellter yn dweud y gost gymharol wrthot ti. Mae 10 yn lleol. Mae 32 yn bell. Mae rhifau uwch yn golygu mwy o hopiau. Ar setiau EPYC â phedwar nod i bob soced, mae gan rai parau o nodau bellter o 32 ac eraill 16, yn dibynnu ar ba CCD maen nhw arno.
Mapio Dyfeisiau i Nodau
# List all PCI devices and their NUMA nodes
for dev in /sys/bus/pci/devices/*; do
node=$(cat "$dev/numa_node" 2>/dev/null)
echo "$(basename $dev) node=$node $(lspci -s $(basename $dev) 2>/dev/null | cut -d' ' -f2-)"
done
Mae hyn yn rhoi darlun cyflawn i ti o ba ddyfeisiau sydd ar ba nodau. Chwilia am dy reolyddion NVMe, dy gardiau rhwydwaith ac unrhyw GPUs rwyt ti’n eu pasio drwodd.
Sut i Alinio VM yn Proxmox
Pinio vCPUs i’r Nod Cywir
Yn ffeil ffurfweddu’r VM (/etc/pve/qemu-server/<vmid>.conf):
numa: 1
affinity: 0-15 # Adjust to match cores on the correct NUMA node
Mae’r paramedr affinity yn pinio vCPUs y VM i greiddiau ffisegol penodol.
Gosoda fe i ystod y creiddiau ar yr un nod NUMA â’r ddyfais rwyt ti’n ei phasio drwodd.
Os yw dy NVMe ar nod 1 a bod gan nod 1 greiddiau 16–31, gosoda affinity: 16-31.
Os mai dim ond 8 vCPU sydd eu hangen ar y VM, pinia i is-set: affinity: 16-23.
Dyrannu Cof o’r Nod Cywir
Mae galluogi numa: 1 yn ffurfweddiad y VM yn dweud wrth Proxmox am gyflwyno topoleg NUMA i’r VM.
Bydd QEMU yn ceisio dyrannu cof y VM o’r nod NUMA lle mae’r vCPUs wedi’u pinio.
Am reolaeth benodol, gelli di osod y dopoleg NUMA yn ffurfweddiad y VM:
numa0: cpus=0-7,hostnodes=0,memory=16384,policy=bind
Mae hyn yn dweud wrth QEMU am rwymo nod NUMA cyntaf y VM (nod 0 o safbwynt y gwestai) i nod NUMA 0 y gwesteiwr, gan ddefnyddio creiddiau 0–7 ac 16GB o gof.
Mae policy=bind yn sicrhau bod y cof yn cael ei ddyrannu o’r nod hwnnw’n unig, yn hytrach na syrthio’n ôl ar nodau eraill os yw’r gronfa leol dan bwysau.
Gwirio’r Pinio
Ar ôl cychwyn y VM, gwiria fod y vCPUs yn rhedeg lle rwyt ti’n ei ddisgwyl mewn gwirionedd:
# Find the QEMU process
pgrep -a qemu | grep <vmid>
# Check CPU affinity of the process
taskset -cp <pid>
# Or check per-vCPU thread affinity
for tid in $(ls /proc/<pid>/task/); do
echo "Thread $tid: $(taskset -cp $tid 2>/dev/null)"
done
Camgymeriadau Cyffredin
Peidio â Phinio o Gwbl
Os nad wyt ti’n gosod affinity, gellir amserlennu vCPUs y VM ar unrhyw graidd.
Bydd amserlennydd y cnewyllyn yn eu symud rhwng nodau ar sail cydbwyso llwyth.
Bob tro y bydd vCPU yn mudo o un nod i un arall, mae unrhyw ddata roedd yn gweithio arno yng nghelc yr hen nod yn troi’n bell.
I VMs cyffredinol mae hyn yn dderbyniol. I VMs passthrough sy’n gwneud IO trwm, dydy e ddim.
Pinio i’r Nod Anghywir
Gwiria nod NUMA y ddyfais cyn i ti binio.
Paid â thybio.
Ar rai mamfyrddau, dydy rhifo’r slotiau ffisegol ddim yn cyfateb i aseiniad y nodau NUMA mewn ffordd amlwg.
Gwiria bob tro gyda cat /sys/bus/pci/devices/.../numa_node.
Gor-danysgrifio Nod
Os wyt ti’n pinio gormod o VMs i’r un nod NUMA, mae creiddiau’r nod hwnnw’n cael eu gor-danysgrifio ac mae’r gronfa gof leol yn rhedeg allan. Pan fydd y cof yn gorlifo i’r nod pell, rwyt ti’n cael y gwaethaf o’r ddau fyd: vCPUs wedi’u pinio gyda chof pell.
Cydbwysa leoliad dy VMs ar draws nodau. Os oes gen ti ddau nod NUMA a phedwar VM, rhanna nhw’n gyfartal.
Anghofio Dyrannu’r Cof
Mae pinio vCPUs heb reoli dyraniad y cof hefyd yn rhoi hanner y budd i ti.
Mae’r vCPUs ar y nod cywir ond efallai nad yw’r cof.
Defnyddia policy=bind neu o leiaf galluoga numa: 1 fel bod dyraniad QEMU yn dilyn pinio’r CPU.
Systemau Un Soced
Ar system un soced, mae popeth ar nod NUMA 0. Dim ond un rheolydd cof ac un set o lonydd PCIe sydd. Dydy aliniad NUMA ddim yn bryder.
Gelli di osod numa: 1 yn ffurfweddiad y VM o hyd, wneith e ddim niwed, ond wneith e ddim helpu chwaith.
Un soced, un rheolydd cof, dim byd i’w alinio.
Cadwa’r ymdrech ar gyfer bocs sydd â dwy.
Felly dim ond i systemau aml-soced, lle mae’r cyswllt rhwng y socedi’n bodoli, y mae’r enillion perfformiad a ddisgrifir yma’n berthnasol.
Cyfeiriadau
- Proxmox VE Administration Guide — CPU and NUMA Configuration — y ddogfennaeth swyddogol ar binio vCPUs ac opsiynau NUMA
- Linux kernel NUMA documentation — cyfeirlyfr polisi cof y cnewyllyn
- AMD EPYC 7003 Series — BIOS & Workload Tuning Guide (doc 58002) — dogfennaeth AMD ar NUMA i bob soced a thopoleg CCD/CCX