Pam Byddet Ti Eisiau Un

Gall QEMU efelychu rheolydd NVMe go iawn: nid dyfais baravirtual sydd angen gyrrwr rwyt ti’n ei gyflenwi, ond rheolydd NVMe PCIe mae gwestai’n ei adnabod fel SSD arferol ac yn ei yrru gyda’r gefnogaeth NVMe sydd ganddo’n barod.

Dyna’r holl apêl, ac mae’n werth mwy nag mae’n swnio.

Mae gan Linux yrrwr nvme mewnol ers blynyddoedd. Mae Windows wedi cludo stornvme ers Windows 8.1 a Server 2012 R2. Felly mae gwestai’n cychwyn, yn rhifo rheolydd NVMe PCIe, yn llwytho’i yrrwr ei hun ac yn dod o hyd i ddisg. Dim ISO VirtIO, dim chwistrellu gyrwyr adeg gosod, a dim sgrin ‘no drives found’ hanner ffordd drwy osodwr Windows.

Bydd unrhyw un sydd wedi eistedd yn edrych ar y sgrin honno, gyda’r ISO VirtIO wedi’i osod a’r gosodwr yn dal i fynnu nad oes disgiau, yn gweld yr apêl ar unwaith.

Yr ail reswm yw ei fod yn ymddwyn fel NVMe yr holl ffordd i fyny. Mae nvme-cli yn gweithio. Mae gofodau enwau’n real. Mae fformatau LBA, beitiau metadata a gwybodaeth amddiffyn i gyd yn ffurfweddadwy. Sy’n ei wneud yn lle da iawn i ymarfer y gweithrediadau na ddylet ti fod yn eu hymarfer ar galedwedd sy’n dal data.

Sut i Ychwanegu Un

Does gan Proxmox ddim blwch ticio GUI nac allwedd ffurfweddu ar gyfer hyn. Dyfais QEMU amrwd yw hi, felly mae’n mynd yn args: yn /etc/pve/qemu-server/<vmid>.conf.

Mae dogfennaeth QEMU yn rhoi’r pâr lleiaf: gyriant cefn heb ryngwyneb, a’r rheolydd sy’n ei ddefnyddio. Wedi’i olygu’n syth i mewn i /etc/pve/qemu-server/<vmid>.conf, heb ddyfynodau:

args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier

Mae if=none yn bwysig: mae’n dweud wrth QEMU am beidio â chysylltu’r gyriant â rheolydd rhagosodedig, oherwydd mae’r llinell -device nvme yn mynd i’w hawlio. Mae’n rhaid i’r id= ar y gyriant a’r drive= ar y ddyfais gyfateb. Y paru hwnnw sy’n uno’r ddau hanner.

Mae’r serial= yn orfodol; mae QEMU yn gwrthod cychwyn y VM hebddo. Dewisa rywbeth y byddi di’n ei adnabod, oherwydd dyna’n union mae’r gwestai’n ei adrodd yn ôl yn nvme list a smartctl, ac mae ‘pa un o’r pedwar gyriant rhithwir unfath hyn yw pa un’ yn gwestiwn y byddi di’n ei ofyn yn y pen draw.

Dyfynodau: Y Darn Sy’n Dal Pawb

Mae p’un a wyt ti’n dyfynnu’r llinyn hwnnw’n dibynnu ar ble rwyt ti’n ei deipio, a’i gael y ffordd anghywir rownd yw’r rheswm mwyaf cyffredin i un o’r rhain fethu ar y cynnig cyntaf.

Mae Proxmox yn storio gwerth args: ac yn ei hollti’n ddiweddarach gyda Text::ParseWords::shellwords. Felly yn y ffeil ffurfweddu, mae dyfynodau’n cael eu parchu a’u tynnu. Mae llinyn wedi’i ddyfynnu’n llawn yn dod yn ddadl sengl:

# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"

Wedi’i redeg drwy shellwords, mae hynny’n rhoi un elfen yn union. Heb ddyfynodau, mae’r un llinell yn rhoi’r pedair sydd eu hangen ar QEMU go iawn: -drive, ei swp paramedrau, -device, ei swp paramedrau.

Ar y llinell orchymyn mae’n groes, oherwydd yno rwyt ti’n dyfynnu ar gyfer dy gragen, nid ar gyfer Proxmox. Yma mae angen y dyfynodau, a’r gwerth heb ddyfynodau yw’r hyn sy’n cael ei storio yn y ffurfweddiad:

qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"

Mae’r ddau yna’n gywir. Dydyn nhw jyst ddim yn gyfnewidiol. Os wyt ti’n adeiladu’r llinell gyda qm set, gwiria’r canlyniad gyda qm config 100 wedyn a byddi di’n ei weld wedi’i storio’n noeth. Dyna’r ffurf mae’r ffeil ffurfweddu ei heisiau.

Crea’r ddelwedd gefn yn gyntaf os nad yw’n bodoli:

qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G

Mwy nag Un Gofod Enwau

Ar gyfer unrhyw beth y tu hwnt i un ddisg, holla’r rheolydd oddi wrth ei ofodau enwau:

-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1

Mae dynodwyr gofodau enwau’n cael eu dyrannu o 1 i fyny’n awtomatig. Dyma’r ffurfweddiad sy’n gwneud y ddyfais yn wirioneddol ddefnyddiol ar gyfer dysgu, oherwydd rheoli gofodau enwau yw’r rhan o NVMe nad yw’r rhan fwyaf o bobl byth yn cael ei chyffwrdd.

Gofod Enwau Rhithwir 4Kn

Mae’r gofod enwau’n cymryd y priodweddau maint bloc arferol, ac mae QEMU yn deillio maint data’r LBA yn uniongyrchol ohonyn nhw. Mae hw/nvme/ns.c yn cyfrifo esbonydd y fformat fel ds = 31 - clz32(ns->blkconf.logical_block_size). Felly mae hyn yn rhoi gofod enwau 4K-brodorol iawn i ti:

-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096

Mae dyfais y gofod enwau hefyd yn derbyn ms ar gyfer beitiau metadata i bob LBA, mset ar gyfer LBAs estynedig, a pi a pif ar gyfer math gwybodaeth amddiffyn a fformat y gard.

Dyna labordy cyflawn ar gyfer popeth yn yr erthygl 4Kn a 512e: blociau rhesymegol 512 beit yn erbyn 4096 beit, fformatau sy’n cario metadata, T10-PI, ar ddyfais y gelli di ei dinistrio mor aml ag y mynni di.

Gwiria Ei Fod Wedi Glanio

O’r tu mewn i’r gwestai:

lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"

Dylet ti weld gofod enwau NVMe go iawn, gyda’r meintiau bloc y gofynnaist amdanyn nhw.

Beth Rwyt Ti’n ei Golli

Tri pheth, a dydy’r ddau gyntaf ddim yn gyfaddawdau perfformiad. Tynnu galluoedd ydyn nhw. Gwybydda amdanyn nhw cyn i ti roi unrhyw beth ar y ddyfais.

Beth mae Proxmox yn ei reoli, a’r hyn mae dyfais drwy args y tu allan iddoYn ffurfweddiad y VM, fel gyriantscsi0: local-zfs:vm-100-disk-0,iothread=1Proxmox biau’r gyfrol ac mae’n gwybod ei bod yn bodoliWedi’i chynnwys yng nghopïau wrth gefn vzdump / PBSieCipluniau PVEieMudo bywieNewid maint a Move Disk yn y GUIieWedi’i chyfrif yng ngolwg y storioieWedi’i chysylltu drwy args:-device nvme,drive=nvm1,serial=…dyfais QEMU amrwd: dydy PVE yn gwybod dim amdaniWedi’i chynnwys mewn copïau wrth gefnnaCipluniau PVEnaMudo bywnaNewid maint a Move DisknaWedi’i chyfrif yng ngolwg y storionaDim ond un o’r ‘na’ hynny sy’n cyhoeddi ei hun. Mae mudo byw yn methu gyda gwall, oherwydd mae QEMUyn marcio’r ddyfais yn amhosibl ei mudo. Mae’r copi wrth gefn yn llwyddo heb y ddisg ynddo, a dyna pammae hyn yn perthyn yn dy lyfr rhedeg, nid dim ond yn dy gof.
Mae Proxmox yn rheoli’r hyn sydd yn ffurfweddiad y VM fel gyriant. Mae rheolydd wedi’i gysylltu drwy args y tu allan i hynny, felly dydy pob nodwedd sydd wedi’i hadeiladu ar yr haen storio ddim yn berthnasol iddo o gwbl.

1. Mae Mudo Byw i Ffwrdd

Nid cyfyngiad Proxmox na diffyg sylw yw hyn. Mae QEMU yn datgan bod y ddyfais yn amhosibl ei mudo ym model y ddyfais ei hun. O hw/nvme/ctrl.c yn QEMU 10.2:

static const VMStateDescription nvme_vmstate = {
    .name = "nvme",
    .unmigratable = 1,
};

Tair llinell, a’r un ganol yw’r stori gyfan. Does gan y rheolydd ddim cyflwr mudo, felly mae QEMU yn gwrthod y mudo yn hytrach na’i drio. Dyna’r methiant cywir. Rwyt ti’n cael gwall, nid gwestai sy’n ailddechrau ar nod arall gyda disg ddryslyd.

Mae ail reswm, annibynnol, pam na all weithio: dydy Proxmox ddim yn gwybod bod y ddisg yn bodoli. Hyd yn oed pe gallai QEMU symud cyflwr y ddyfais, fyddai dim byd yn rhesymeg mudo PVE yn trefnu i’r gyfrol gefn fod ar gael ar y nod targed.

Mae’n werth cadw llygad, serch hynny: mae cangen ddatblygu QEMU wedi disodli’r faner gyffredinol â swyddogaeth nvme_set_migration_blockers() sy’n caniatáu mudo ac yn ei rwystro ar gyfer nodweddion penodol yn unig. Mwy nag un gofod enwau, er enghraifft, lle mae’r sylw’n nodi ‘we don’t handle this in migration code yet’. Dydy hynny ddim wedi ymddangos mewn rhyddhad hyd at a chan gynnwys 10.2, felly dydy e ddim yn dy helpu heddiw, ond mae’n edrych yn debygol y bydd y cyfyngiad hwn yn llacio. Gwiria dy fersiwn QEMU dy hun yn hytrach nag ymddiried mewn erthygl.

2. Fydd Copïau Wrth Gefn Proxmox Ddim yn ei Weld

Mae vzdump a Proxmox Backup Server yn gwneud copi wrth gefn o’r cyfrolau sy’n ymddangos yn ffurfweddiad y VM fel gyriannau: scsi0, virtio0, ac yn y blaen. Dydy disg wedi’i chysylltu drwy args: ddim yn un o’r rheiny. Dyfais QEMU amrwd yw hi nad yw PVE yn gwybod dim byd amdani.

Felly mae’r copi wrth gefn yn rhedeg, yn adrodd llwyddiant, a dydy e ddim yn cynnwys y ddyfais.

Mae’r ffordd honno o fethu’n waeth na gwall, oherwydd does dim byd yn dweud wrthot ti. Mae’r un peth yn wir ym mhob man: dim cipluniau PVE, dim newid maint disg o’r GUI, dim Move Disk, dim cyfrifo yng ngolwg y storio. Os creaist ti’r gyfrol drwy PVE ac yna’i datgysylltu, efallai na fydd PVE yn ei glanhau chwaith. Amddifad yn aros i ddrysu rhywun yn nes ymlaen.

Os yw data’n mynd i fyw ar un o’r rhain, gwna gopi wrth gefn ohono o’r tu mewn i’r gwestai, ac ysgrifenna i lawr yn rhywle nad yw’r hypervisor yn ei gwmpasu.

3. Dydy e Ddim yn Gyflymach na VirtIO SCSI

Mae hwn yn synnu pobl, oherwydd mae ‘NVMe’ yn darllen fel nodwedd perfformiad. Yma dydy e ddim.

Mae VirtIO SCSI a VirtIO block yn baravirtual: mae gyrrwr y gwestai a’r hypervisor yn rhannu byffer cylch wedi’i ddylunio ar gyfer yr union waith hwn, ac mae’r gwestai’n gwybod ei fod yn siarad â hypervisor.

Mae’r rheolydd NVMe wedi’i efelychu i’r gwrthwyneb o ran dyluniad. Mae’n cyflwyno cofrestri NVMe go iawn, felly mae’r gwestai’n ei raglennu fel petai’n galedwedd. Mae pob ysgrifiad doorbell yn fynediad MMIO sy’n trapio i mewn i’r hypervisor. Cywir, ac yn ddrutach i bob IO na rhoi disgrifydd ar gylch.

Cylch a rennir yn erbyn cofrestri wedi’u hefelychugwestai │ hypervisorVirtIO SCSI: paravirtualgyrrwr y gwestaiyn gwybod mai VM yw ecylch a rennirmae’r ddau ben yn ei ddeallhaen bloc y gwesteiwr1 hysbysuMae disgrifydd yn mynd ar y cylch ac mae’r gwesteiwr yn cael ei hysbysu. Mae’r cylch yn pontio’r ffin yn fwriadol.NVMe wedi’i efelychu: cofrestri go iawngyrrwr y gwestaiyn tybio’i fod yn galedweddcofrestri NVMedoorbells, ciwiau, MMIOhaen bloc y gwesteiwrmae pob ysgrifiad doorbell yn trapiotrap + efelychu, i bob IOMae’r gwestai’n gwneud yn union beth fyddai’n ei wneud i reolydd ffisegol, a dyna’r pwynt: mae eiyrrwr ei hun yn gweithio heb ei newid. Dyna hefyd pam mai nodwedd cydnawsedd yw hon, nid un perfformiad.Dydy cyfuno ymyriadau ddim yn cael ei gefnogi ac mae i ffwrdd yn ddiofyn: ymddygiad caledwedd cywir,am gost efelychu caledwedd.
Cylch mae’r gwestai a’r gwesteiwr ill dau’n ei ddeall yw’r llwybr paravirtual. Mae’r llwybr wedi’i efelychu’n gwneud i’r gwestai yrru cofrestri, ac mae pob ysgrifiad doorbell yn drap: ymddygiad caledwedd cywir, am gost efelychu caledwedd.

Mae dogfennaeth QEMU ei hun yn onest am ymylon garw’r ddyfais hefyd: mae cyfuno ymyriadau’n ‘is not supported and is disabled by default’, ac mae rhifau cyfrifo yn nhudalen log SMART/Health yn ‘are reset when the device is power cycled’.

Dydy dim o hynny’n ei wneud yn araf mewn termau absoliwt. Mae’n berffaith ddefnyddiadwy. Mae’n golygu na ddylet ti byth ei ddewis yn y gobaith o gael mwy o drwybwn nag mae VirtIO SCSI yn ei roi i ti. Dewisa fe am y gyrrwr, neu am semanteg NVMe.

Lle Mae’n Ennill ei Le Go Iawn

  • Gosod gwestai heb gyfryngau VirtIO. Bydd gosodwr Windows na all weld disg VirtIO SCSI yn gweld un NVMe, oherwydd mae’r gyrrwr yn y ddelwedd yn barod. Gosoda arni, yna penderfyna a wyt ti am newid i VirtIO wedyn.
  • Offer a delweddau nad wyt ti’n eu rheoli. Unrhyw beth sy’n cael ei gludo fel delwedd sefydlog heb yrwyr VirtIO, ac y byddai’n well gen ti beidio â’i ailadeiladu.
  • Dysgu a gwaith labordy. nvme format --lbaf, creu a chysylltu gofodau enwau, metadata a gwybodaeth amddiffyn: mae’r gweithrediadau sy’n ddinistriol ac yn dibynnu ar y gwerthwr ar galedwedd go iawn yn rhad ac am ddim yma. Dyma’r ffordd fwyaf diogel o fagu cof cyhyrau cyn cyffwrdd â gyriant sy’n bwysig.
  • Atgynhyrchu topoleg rhywun arall. Os wyt ti’n dadfygio cynllun NVMe cwsmer, mae rheolydd wedi’i efelychu gyda gofodau enwau a meintiau bloc sy’n cyfateb yn ddolen lawer cyflymach na benthyg eu caledwedd.

Beth i’w Ddefnyddio Yn Lle Hynny Mewn Cynhyrchiad

Ar gyfer VM sydd angen perfformiad, nodweddion PVE, a bywyd tawel: VirtIO SCSI single, gyda iothread=1, discard=on a ssd=1, ar cache=none. Dyna’r trefniant sy’n cadw mudo byw, copïau wrth gefn, cipluniau a golwg y storio i gyd yn gweithio.

Ar gyfer VM sydd angen yr ychydig y cant olaf ac sy’n gallu ildio’r nodweddion hynny’n fwriadol, nid dyfais NVMe wedi’i hefelychu yw’r ateb. Passthrough go iawn yw e, gyda’i gyfaddawdau caled ei hun, wedi’u trafod yn yr erthygl ar dreth yr IOMMU.

Dydy’r ddyfais NVMe wedi’i hefelychu ddim yn eistedd yn y naill wersyll na’r llall. Fel y cyfryw, offeryn cydnawsedd a labordy yw hi, ac mae’n dda iawn am fod yn hynny.

Defnyddia hi ar gyfer y gwaith mae’n dda amdano a wnaiff hi ddim dy siomi. Gofyn iddi fod yn nodwedd perfformiad a bydd hi’n dy siomi’n brydlon iawn.

Cyfeiriadau