Beth Yw NUMA

Ystyr NUMA yw Non-Uniform Memory Access, sef mynediad anghyson at y cof. Ar system un soced, mae pob craidd CPU yn cyrraedd holl RAM y system drwy’r un rheolydd cof. Mae’r amser mynediad yr un fath ni waeth pa graidd sy’n gwneud y cais na lle mae’r data’n eistedd yn y cof ffisegol.

Ar system aml-soced, mae gan bob soced CPU ei rheolydd cof ei hun a’i banc RAM ei hun. Gall craidd ar soced 0 gyrraedd y RAM sydd ynghlwm wrth soced 0 yn gyflym. Dyna’r cof lleol. Gall hefyd gyrraedd y RAM sydd ynghlwm wrth soced 1, ond mae’n rhaid i’r cais hwnnw groesi’r cyswllt rhwng y socedi (Intel UPI, AMD Infinity Fabric). Dyna’r cof pell, ac mae’n arafach.

Mae’r cnewyllyn yn galw pob soced a’i chof lleol yn nod NUMA. Mae gan system AMD EPYC dwy soced o leiaf ddau nod NUMA. Mae rhai proseswyr EPYC yn dangos pedwar nod NUMA i bob soced (un i bob CCD), sy’n rhoi wyth nod ar fwrdd dwy soced.

Dydy’r gwahaniaeth perfformiad rhwng mynediad lleol a mynediad pell ddim yn gynnil. Mae mynediad lleol tua 80–100ns. Mae mynediad pell tua 130–200ns. Dyna gosb o 50–100% ar bob gweithrediad cof. Ar ei ben ei hun mae’n rhif bach iawn. O’i dalu ar bob mynediad cof drwy gydol oes y VM, mae’n peidio â bod yn fach.

Pam Mae’n Bwysig i Rithwiroli

Pan fydd Proxmox yn creu VM, mae’n dyrannu vCPUs a RAM. Yn ddiofyn, gellir amserlennu’r vCPUs hynny ar unrhyw graidd ffisegol ar unrhyw soced. Gellir dyrannu RAM y VM o gronfa gof unrhyw nod NUMA.

Os yw’r amserlennydd yn rhoi vCPU ar soced 0 a RAM y VM ar soced 1, mae pob mynediad cof y mae’r vCPU hwnnw’n ei wneud yn croesi’r cyswllt rhwng y socedi. Os yw’r vCPUs yn neidio rhwng socedi, a byddan nhw os nad ydyn nhw wedi’u pinio, mae patrwm y mynediad cof yn mynd yn llanast. Mae rhai mynediadau’n lleol, rhai’n bell, ac mae perfformiad y VM yn siglo i gyd-fynd.

Ar gyfer llwythi gwaith cyffredinol, fel gweinydd gwe, gweinydd ffeiliau neu VM bwrdd gwaith, mae modd byw gyda hyn yn aml. Mae’r gorbenion yno ond maen nhw wedi’u gwasgaru dros lawer o weithrediadau a dydyn nhw ddim yn rheoli’r darlun.

Ar gyfer llwythi gwaith trwm o ran IO, fel cronfeydd data, gweinyddion storfa ac unrhyw beth sy’n gwneud IO disg neu rwydwaith trwm, mae’r gosb yn cronni. Mae pob cwblhad DMA, pob ymyriad sy’n cael ei ddanfon a phob copi byffer yn golygu mynediad cof. Os yw’r mynediadau hynny’n croesi socedi, mae’r gorbenion yn adio’n gyflym.

Pam Mae’n Bwysig i Passthrough

Mae dyfeisiau PCIe wedi’u gwifrio’n ffisegol i soced CPU benodol. Mae gan bob soced ei root complex PCIe ei hun. Gallai’r gyriant NVMe yn slot 3 fod ar lonydd PCIe soced 0. Gallai’r GPU yn slot 5 fod ar rai soced 1.

Pan fydd dyfais yn gwneud DMA, mae’r data’n mynd i’r cof sydd ynghlwm wrth ba bynnag nod NUMA y mae’r IOMMU yn ei fapio iddo. Os yw RAM y VM wedi’i ddyrannu o nod lleol y ddyfais, mae’r ysgrifiad DMA yn mynd yn syth i’r cof lleol. Os yw’r RAM ar y nod arall, mae pob gweithrediad DMA yn croesi’r cyswllt rhwng y socedi.

I yriant NVMe sy’n gwneud cannoedd o filoedd o IOPS, mae’r gosb o 50–100ns ar bob gweithrediad yn adio. Ar iodepth=32 gyda darlleniadau ar hap 4KB, gall y gwahaniaeth trwybwn rhwng NUMA wedi’i alinio a NUMA heb ei alinio fod yn 20–30%. Mae hynny cyn i ti edrych ar orbenion IOMMU, ASPM, MPS na dim byd arall.

Mae NUMA heb ei alinio’n anfon pob DMA ar draws y cyswllt rhwng y socedi; mae NUMA wedi’i alinio’n ei gadw’n lleolHeb alinio: mae’r VM ar nod 0, a’r gyriant ar nod 1Nod NUMA 0creiddiau 0–15RAM 128 GBVM: vCPUs wedi’u pinio 0–15, RAM ymaNod NUMA 1creiddiau 16–31RAM 128 GBNVMe: root complex 1UPI / IFmae pob DMA yn croesi’r cyswllt: 130–200 nsWedi alinio: vCPUs, RAM a’r gyriant i gyd ar nod 1Nod NUMA 0creiddiau 0–15RAM 128 GByn rhydd i VMs eraillNod NUMA 1creiddiau 16–31RAM 128 GBNVMe: root complex 1VM: affinity 16-31, numa0 hostnodes=1, policy=bindsegur80–100 nsAr iodepth=32 gyda darlleniadau ar hap 4 KB, mae’r bwlch rhwng y ddau yn 20–30% o’r trwybwn,cyn i orbenion IOMMU, ASPM neu MPS ddod i’r darlun.Ar system un soced does dim ail nod a dim cyswllt rhwng socedi, felly dydy dim o hynyn berthnasol.
Yr un caledwedd y naill ffordd neu’r llall. Yr unig wahaniaeth yw pa nod y piniwyd y VM iddo, ac a oes rhaid i DMA y gyriant groesi’r cyswllt i gyrraedd cof y VM.

Mae’r un peth yn wir am gardiau rhwydwaith, GPUs ac unrhyw ddyfais arall sy’n cael ei phasio drwodd. Dylai traffig DMA y ddyfais lanio yn y cof lleol, a dylai’r vCPUs sy’n prosesu’r traffig hwnnw fod ar yr un nod.

Sut i Wirio Dy Dopoleg

Darganfod Pa Nod NUMA Mae Dyfais Arno

# Replace 0000:XX:00.0 with your device's PCI address from lspci
cat /sys/bus/pci/devices/0000:XX:00.0/numa_node

Mae hyn yn dychwelyd rhif y nod NUMA. Os yw’n dychwelyd -1, doedd y cnewyllyn ddim yn gallu pennu’r nod. Mae hynny’n digwydd weithiau gyda dyfeisiau y tu ôl i rai switshis PCIe. Os felly, dilyna dopoleg PCIe â llaw gyda lspci -tv a chyfateba’r root port i’r soced.

Gweld Dy Gynllun NUMA Llawn

numactl --hardware

Mae hyn yn dangos pob nod NUMA i ti, faint o greiddiau CPU sydd arno, faint o gof sydd ynghlwm wrtho, a’r pellter (y gost gymharol) rhwng nodau.

Allbwn enghreifftiol o system EPYC dwy soced:

available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
node 0 size: 131072 MB
node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
node 1 size: 131072 MB
node distances:
node   0   1
  0:  10  32
  1:  32  10
Darllen y tabl pellter nodau o numactl --hardwareY tabl pellter o numactl --hardwareDwy soced, 2 nod NUMA i bob soced. Cost gymharol, nid nanoeiliadau.nod 0nod 1nod 2nod 3nod 0nod 1nod 2nod 310163232161032323232101632321610soced 0soced 110: y nod ei hun, cof lleol16: yr un soced, y nod arall32: ar draws y cyswllt rhwng socediPinia VM a’i ddyfais o fewn un 10,a phaid byth â gadael i’w gof lanio ar 32.Dim ond 10 a 32 sydd ar fwrdd 2 nod;mae’r 16au’n ymddangos pan fydd soced yndangos sawl nod.
Costau cymharol yw’r rhifau, nid nanoeiliadau. Cadwa VM a’i ddyfais o fewn un 10, a phaid byth â gadael i’w gof lanio ar 32.

Mae’r tabl pellter yn dweud y gost gymharol wrthot ti. Mae 10 yn lleol. Mae 32 yn bell. Mae rhifau uwch yn golygu mwy o hopiau. Ar setiau EPYC â phedwar nod i bob soced, mae gan rai parau o nodau bellter o 32 ac eraill 16, yn dibynnu ar ba CCD maen nhw arno.

Mapio Dyfeisiau i Nodau

# List all PCI devices and their NUMA nodes
for dev in /sys/bus/pci/devices/*; do
    node=$(cat "$dev/numa_node" 2>/dev/null)
    echo "$(basename $dev) node=$node $(lspci -s $(basename $dev) 2>/dev/null | cut -d' ' -f2-)"
done

Mae hyn yn rhoi darlun cyflawn i ti o ba ddyfeisiau sydd ar ba nodau. Chwilia am dy reolyddion NVMe, dy gardiau rhwydwaith ac unrhyw GPUs rwyt ti’n eu pasio drwodd.

Sut i Alinio VM yn Proxmox

Pinio vCPUs i’r Nod Cywir

Yn ffeil ffurfweddu’r VM (/etc/pve/qemu-server/<vmid>.conf):

numa: 1
affinity: 0-15    # Adjust to match cores on the correct NUMA node

Mae’r paramedr affinity yn pinio vCPUs y VM i greiddiau ffisegol penodol. Gosoda fe i ystod y creiddiau ar yr un nod NUMA â’r ddyfais rwyt ti’n ei phasio drwodd.

Os yw dy NVMe ar nod 1 a bod gan nod 1 greiddiau 16–31, gosoda affinity: 16-31. Os mai dim ond 8 vCPU sydd eu hangen ar y VM, pinia i is-set: affinity: 16-23.

Dyrannu Cof o’r Nod Cywir

Mae galluogi numa: 1 yn ffurfweddiad y VM yn dweud wrth Proxmox am gyflwyno topoleg NUMA i’r VM. Bydd QEMU yn ceisio dyrannu cof y VM o’r nod NUMA lle mae’r vCPUs wedi’u pinio.

Am reolaeth benodol, gelli di osod y dopoleg NUMA yn ffurfweddiad y VM:

numa0: cpus=0-7,hostnodes=0,memory=16384,policy=bind

Mae hyn yn dweud wrth QEMU am rwymo nod NUMA cyntaf y VM (nod 0 o safbwynt y gwestai) i nod NUMA 0 y gwesteiwr, gan ddefnyddio creiddiau 0–7 ac 16GB o gof. Mae policy=bind yn sicrhau bod y cof yn cael ei ddyrannu o’r nod hwnnw’n unig, yn hytrach na syrthio’n ôl ar nodau eraill os yw’r gronfa leol dan bwysau.

Gwirio’r Pinio

Ar ôl cychwyn y VM, gwiria fod y vCPUs yn rhedeg lle rwyt ti’n ei ddisgwyl mewn gwirionedd:

# Find the QEMU process
pgrep -a qemu | grep <vmid>

# Check CPU affinity of the process
taskset -cp <pid>

# Or check per-vCPU thread affinity
for tid in $(ls /proc/<pid>/task/); do
    echo "Thread $tid: $(taskset -cp $tid 2>/dev/null)"
done

Camgymeriadau Cyffredin

Peidio â Phinio o Gwbl

Os nad wyt ti’n gosod affinity, gellir amserlennu vCPUs y VM ar unrhyw graidd. Bydd amserlennydd y cnewyllyn yn eu symud rhwng nodau ar sail cydbwyso llwyth. Bob tro y bydd vCPU yn mudo o un nod i un arall, mae unrhyw ddata roedd yn gweithio arno yng nghelc yr hen nod yn troi’n bell.

I VMs cyffredinol mae hyn yn dderbyniol. I VMs passthrough sy’n gwneud IO trwm, dydy e ddim.

Pinio i’r Nod Anghywir

Gwiria nod NUMA y ddyfais cyn i ti binio. Paid â thybio. Ar rai mamfyrddau, dydy rhifo’r slotiau ffisegol ddim yn cyfateb i aseiniad y nodau NUMA mewn ffordd amlwg. Gwiria bob tro gyda cat /sys/bus/pci/devices/.../numa_node.

Gor-danysgrifio Nod

Os wyt ti’n pinio gormod o VMs i’r un nod NUMA, mae creiddiau’r nod hwnnw’n cael eu gor-danysgrifio ac mae’r gronfa gof leol yn rhedeg allan. Pan fydd y cof yn gorlifo i’r nod pell, rwyt ti’n cael y gwaethaf o’r ddau fyd: vCPUs wedi’u pinio gyda chof pell.

Cydbwysa leoliad dy VMs ar draws nodau. Os oes gen ti ddau nod NUMA a phedwar VM, rhanna nhw’n gyfartal.

Anghofio Dyrannu’r Cof

Mae pinio vCPUs heb reoli dyraniad y cof hefyd yn rhoi hanner y budd i ti. Mae’r vCPUs ar y nod cywir ond efallai nad yw’r cof. Defnyddia policy=bind neu o leiaf galluoga numa: 1 fel bod dyraniad QEMU yn dilyn pinio’r CPU.

Systemau Un Soced

Ar system un soced, mae popeth ar nod NUMA 0. Dim ond un rheolydd cof ac un set o lonydd PCIe sydd. Dydy aliniad NUMA ddim yn bryder.

Gelli di osod numa: 1 yn ffurfweddiad y VM o hyd, wneith e ddim niwed, ond wneith e ddim helpu chwaith. Un soced, un rheolydd cof, dim byd i’w alinio. Cadwa’r ymdrech ar gyfer bocs sydd â dwy. Felly dim ond i systemau aml-soced, lle mae’r cyswllt rhwng y socedi’n bodoli, y mae’r enillion perfformiad a ddisgrifir yma’n berthnasol.

Cyfeiriadau