Pam Byddet Ti Eisiau Un
Gall QEMU efelychu rheolydd NVMe go iawn: nid dyfais baravirtual sydd angen gyrrwr rwyt ti’n ei gyflenwi, ond rheolydd NVMe PCIe mae gwestai’n ei adnabod fel SSD arferol ac yn ei yrru gyda’r gefnogaeth NVMe sydd ganddo’n barod.
Dyna’r holl apêl, ac mae’n werth mwy nag mae’n swnio.
Mae gan Linux yrrwr nvme mewnol ers blynyddoedd. Mae Windows wedi cludo stornvme ers Windows 8.1 a Server 2012 R2. Felly mae gwestai’n cychwyn, yn rhifo rheolydd NVMe PCIe, yn llwytho’i yrrwr ei hun ac yn dod o hyd i ddisg. Dim ISO VirtIO, dim chwistrellu gyrwyr adeg gosod, a dim sgrin ‘no drives found’ hanner ffordd drwy osodwr Windows.
Bydd unrhyw un sydd wedi eistedd yn edrych ar y sgrin honno, gyda’r ISO VirtIO wedi’i osod a’r gosodwr yn dal i fynnu nad oes disgiau, yn gweld yr apêl ar unwaith.
Yr ail reswm yw ei fod yn ymddwyn fel NVMe yr holl ffordd i fyny. Mae nvme-cli yn gweithio. Mae gofodau enwau’n real. Mae fformatau LBA, beitiau metadata a gwybodaeth amddiffyn i gyd yn ffurfweddadwy. Sy’n ei wneud yn lle da iawn i ymarfer y gweithrediadau na ddylet ti fod yn eu hymarfer ar galedwedd sy’n dal data.
Sut i Ychwanegu Un
Does gan Proxmox ddim blwch ticio GUI nac allwedd ffurfweddu ar gyfer hyn. Dyfais QEMU amrwd yw hi, felly mae’n mynd yn args: yn /etc/pve/qemu-server/<vmid>.conf.
Mae dogfennaeth QEMU yn rhoi’r pâr lleiaf: gyriant cefn heb ryngwyneb, a’r rheolydd sy’n ei ddefnyddio. Wedi’i olygu’n syth i mewn i /etc/pve/qemu-server/<vmid>.conf, heb ddyfynodau:
args: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier
Mae if=none yn bwysig: mae’n dweud wrth QEMU am beidio â chysylltu’r gyriant â rheolydd rhagosodedig, oherwydd mae’r llinell -device nvme yn mynd i’w hawlio. Mae’n rhaid i’r id= ar y gyriant a’r drive= ar y ddyfais gyfateb. Y paru hwnnw sy’n uno’r ddau hanner.
Mae’r serial= yn orfodol; mae QEMU yn gwrthod cychwyn y VM hebddo. Dewisa rywbeth y byddi di’n ei adnabod, oherwydd dyna’n union mae’r gwestai’n ei adrodd yn ôl yn nvme list a smartctl, ac mae ‘pa un o’r pedwar gyriant rhithwir unfath hyn yw pa un’ yn gwestiwn y byddi di’n ei ofyn yn y pen draw.
Dyfynodau: Y Darn Sy’n Dal Pawb
Mae p’un a wyt ti’n dyfynnu’r llinyn hwnnw’n dibynnu ar ble rwyt ti’n ei deipio, a’i gael y ffordd anghywir rownd yw’r rheswm mwyaf cyffredin i un o’r rhain fethu ar y cynnig cyntaf.
Mae Proxmox yn storio gwerth args: ac yn ei hollti’n ddiweddarach gyda Text::ParseWords::shellwords. Felly yn y ffeil ffurfweddu, mae dyfynodau’n cael eu parchu a’u tynnu. Mae llinyn wedi’i ddyfynnu’n llawn yn dod yn ddadl sengl:
# WRONG in the config file — collapses to one argv element QEMU cannot parse
args: "-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier"
Wedi’i redeg drwy shellwords, mae hynny’n rhoi un elfen yn union. Heb ddyfynodau, mae’r un llinell yn rhoi’r pedair sydd eu hangen ar QEMU go iawn: -drive, ei swp paramedrau, -device, ei swp paramedrau.
Ar y llinell orchymyn mae’n groes, oherwydd yno rwyt ti’n dyfynnu ar gyfer dy gragen, nid ar gyfer Proxmox. Yma mae angen y dyfynodau, a’r gwerth heb ddyfynodau yw’r hyn sy’n cael ei storio yn y ffurfweddiad:
qm set 100 --args "-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier"
Mae’r ddau yna’n gywir. Dydyn nhw jyst ddim yn gyfnewidiol. Os wyt ti’n adeiladu’r llinell gyda qm set, gwiria’r canlyniad gyda qm config 100 wedyn a byddi di’n ei weld wedi’i storio’n noeth. Dyna’r ffurf mae’r ffeil ffurfweddu ei heisiau.
Crea’r ddelwedd gefn yn gyntaf os nad yw’n bodoli:
qemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G
Mwy nag Un Gofod Enwau
Ar gyfer unrhyw beth y tu hwnt i un ddisg, holla’r rheolydd oddi wrth ei ofodau enwau:
-device nvme,id=nvme-ctrl-0,serial=deadbeef
-drive file=nvm-1.img,if=none,id=nvm-1
-device nvme-ns,drive=nvm-1
Mae dynodwyr gofodau enwau’n cael eu dyrannu o 1 i fyny’n awtomatig. Dyma’r ffurfweddiad sy’n gwneud y ddyfais yn wirioneddol ddefnyddiol ar gyfer dysgu, oherwydd rheoli gofodau enwau yw’r rhan o NVMe nad yw’r rhan fwyaf o bobl byth yn cael ei chyffwrdd.
Gofod Enwau Rhithwir 4Kn
Mae’r gofod enwau’n cymryd y priodweddau maint bloc arferol, ac mae QEMU yn deillio maint data’r LBA yn uniongyrchol ohonyn nhw. Mae hw/nvme/ns.c yn cyfrifo esbonydd y fformat fel ds = 31 - clz32(ns->blkconf.logical_block_size). Felly mae hyn yn rhoi gofod enwau 4K-brodorol iawn i ti:
-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096
Mae dyfais y gofod enwau hefyd yn derbyn ms ar gyfer beitiau metadata i bob LBA, mset ar gyfer LBAs estynedig, a pi a pif ar gyfer math gwybodaeth amddiffyn a fformat y gard.
Dyna labordy cyflawn ar gyfer popeth yn yr erthygl 4Kn a 512e: blociau rhesymegol 512 beit yn erbyn 4096 beit, fformatau sy’n cario metadata, T10-PI, ar ddyfais y gelli di ei dinistrio mor aml ag y mynni di.
Gwiria Ei Fod Wedi Glanio
O’r tu mewn i’r gwestai:
lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC
nvme list
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"
Dylet ti weld gofod enwau NVMe go iawn, gyda’r meintiau bloc y gofynnaist amdanyn nhw.
Beth Rwyt Ti’n ei Golli
Tri pheth, a dydy’r ddau gyntaf ddim yn gyfaddawdau perfformiad. Tynnu galluoedd ydyn nhw. Gwybydda amdanyn nhw cyn i ti roi unrhyw beth ar y ddyfais.
1. Mae Mudo Byw i Ffwrdd
Nid cyfyngiad Proxmox na diffyg sylw yw hyn. Mae QEMU yn datgan bod y ddyfais yn amhosibl ei mudo ym model y ddyfais ei hun. O hw/nvme/ctrl.c yn QEMU 10.2:
static const VMStateDescription nvme_vmstate = {
.name = "nvme",
.unmigratable = 1,
};
Tair llinell, a’r un ganol yw’r stori gyfan. Does gan y rheolydd ddim cyflwr mudo, felly mae QEMU yn gwrthod y mudo yn hytrach na’i drio. Dyna’r methiant cywir. Rwyt ti’n cael gwall, nid gwestai sy’n ailddechrau ar nod arall gyda disg ddryslyd.
Mae ail reswm, annibynnol, pam na all weithio: dydy Proxmox ddim yn gwybod bod y ddisg yn bodoli. Hyd yn oed pe gallai QEMU symud cyflwr y ddyfais, fyddai dim byd yn rhesymeg mudo PVE yn trefnu i’r gyfrol gefn fod ar gael ar y nod targed.
Mae’n werth cadw llygad, serch hynny: mae cangen ddatblygu QEMU wedi disodli’r faner gyffredinol â swyddogaeth nvme_set_migration_blockers() sy’n caniatáu mudo ac yn ei rwystro ar gyfer nodweddion penodol yn unig. Mwy nag un gofod enwau, er enghraifft, lle mae’r sylw’n nodi ‘we don’t handle this in migration code yet’. Dydy hynny ddim wedi ymddangos mewn rhyddhad hyd at a chan gynnwys 10.2, felly dydy e ddim yn dy helpu heddiw, ond mae’n edrych yn debygol y bydd y cyfyngiad hwn yn llacio. Gwiria dy fersiwn QEMU dy hun yn hytrach nag ymddiried mewn erthygl.
2. Fydd Copïau Wrth Gefn Proxmox Ddim yn ei Weld
Mae vzdump a Proxmox Backup Server yn gwneud copi wrth gefn o’r cyfrolau sy’n ymddangos yn ffurfweddiad y VM fel gyriannau: scsi0, virtio0, ac yn y blaen. Dydy disg wedi’i chysylltu drwy args: ddim yn un o’r rheiny. Dyfais QEMU amrwd yw hi nad yw PVE yn gwybod dim byd amdani.
Felly mae’r copi wrth gefn yn rhedeg, yn adrodd llwyddiant, a dydy e ddim yn cynnwys y ddyfais.
Mae’r ffordd honno o fethu’n waeth na gwall, oherwydd does dim byd yn dweud wrthot ti. Mae’r un peth yn wir ym mhob man: dim cipluniau PVE, dim newid maint disg o’r GUI, dim Move Disk, dim cyfrifo yng ngolwg y storio. Os creaist ti’r gyfrol drwy PVE ac yna’i datgysylltu, efallai na fydd PVE yn ei glanhau chwaith. Amddifad yn aros i ddrysu rhywun yn nes ymlaen.
Os yw data’n mynd i fyw ar un o’r rhain, gwna gopi wrth gefn ohono o’r tu mewn i’r gwestai, ac ysgrifenna i lawr yn rhywle nad yw’r hypervisor yn ei gwmpasu.
3. Dydy e Ddim yn Gyflymach na VirtIO SCSI
Mae hwn yn synnu pobl, oherwydd mae ‘NVMe’ yn darllen fel nodwedd perfformiad. Yma dydy e ddim.
Mae VirtIO SCSI a VirtIO block yn baravirtual: mae gyrrwr y gwestai a’r hypervisor yn rhannu byffer cylch wedi’i ddylunio ar gyfer yr union waith hwn, ac mae’r gwestai’n gwybod ei fod yn siarad â hypervisor.
Mae’r rheolydd NVMe wedi’i efelychu i’r gwrthwyneb o ran dyluniad. Mae’n cyflwyno cofrestri NVMe go iawn, felly mae’r gwestai’n ei raglennu fel petai’n galedwedd. Mae pob ysgrifiad doorbell yn fynediad MMIO sy’n trapio i mewn i’r hypervisor. Cywir, ac yn ddrutach i bob IO na rhoi disgrifydd ar gylch.
Mae dogfennaeth QEMU ei hun yn onest am ymylon garw’r ddyfais hefyd: mae cyfuno ymyriadau’n ‘is not supported and is disabled by default’, ac mae rhifau cyfrifo yn nhudalen log SMART/Health yn ‘are reset when the device is power cycled’.
Dydy dim o hynny’n ei wneud yn araf mewn termau absoliwt. Mae’n berffaith ddefnyddiadwy. Mae’n golygu na ddylet ti byth ei ddewis yn y gobaith o gael mwy o drwybwn nag mae VirtIO SCSI yn ei roi i ti. Dewisa fe am y gyrrwr, neu am semanteg NVMe.
Lle Mae’n Ennill ei Le Go Iawn
- Gosod gwestai heb gyfryngau VirtIO. Bydd gosodwr Windows na all weld disg VirtIO SCSI yn gweld un NVMe, oherwydd mae’r gyrrwr yn y ddelwedd yn barod. Gosoda arni, yna penderfyna a wyt ti am newid i VirtIO wedyn.
- Offer a delweddau nad wyt ti’n eu rheoli. Unrhyw beth sy’n cael ei gludo fel delwedd sefydlog heb yrwyr VirtIO, ac y byddai’n well gen ti beidio â’i ailadeiladu.
- Dysgu a gwaith labordy.
nvme format --lbaf, creu a chysylltu gofodau enwau, metadata a gwybodaeth amddiffyn: mae’r gweithrediadau sy’n ddinistriol ac yn dibynnu ar y gwerthwr ar galedwedd go iawn yn rhad ac am ddim yma. Dyma’r ffordd fwyaf diogel o fagu cof cyhyrau cyn cyffwrdd â gyriant sy’n bwysig. - Atgynhyrchu topoleg rhywun arall. Os wyt ti’n dadfygio cynllun NVMe cwsmer, mae rheolydd wedi’i efelychu gyda gofodau enwau a meintiau bloc sy’n cyfateb yn ddolen lawer cyflymach na benthyg eu caledwedd.
Beth i’w Ddefnyddio Yn Lle Hynny Mewn Cynhyrchiad
Ar gyfer VM sydd angen perfformiad, nodweddion PVE, a bywyd tawel: VirtIO SCSI single, gyda iothread=1, discard=on a ssd=1, ar cache=none. Dyna’r trefniant sy’n cadw mudo byw, copïau wrth gefn, cipluniau a golwg y storio i gyd yn gweithio.
Ar gyfer VM sydd angen yr ychydig y cant olaf ac sy’n gallu ildio’r nodweddion hynny’n fwriadol, nid dyfais NVMe wedi’i hefelychu yw’r ateb. Passthrough go iawn yw e, gyda’i gyfaddawdau caled ei hun, wedi’u trafod yn yr erthygl ar dreth yr IOMMU.
Dydy’r ddyfais NVMe wedi’i hefelychu ddim yn eistedd yn y naill wersyll na’r llall. Fel y cyfryw, offeryn cydnawsedd a labordy yw hi, ac mae’n dda iawn am fod yn hynny.
Defnyddia hi ar gyfer y gwaith mae’n dda amdano a wnaiff hi ddim dy siomi. Gofyn iddi fod yn nodwedd perfformiad a bydd hi’n dy siomi’n brydlon iawn.
Cyfeiriadau
- QEMU — NVMe Emulation — cystrawen
-drive/-device nvme,nvme-nsar gyfer gofodau enwau lluosog, paramedrau gofod enwaums/mset/pi/pif, a’r cyfyngiadau datganedig ar gyfuno ymyriadau a chyfrifo SMART - QEMU source —
hw/nvme/ctrl.c— datganiadnvme_vmstategyda.unmigratable = 1yn rhyddhad 10.2 - QEMU source —
hw/nvme/ns.c— y gofod enwau’n deillio ei fformat LBA ological_block_size - Proxmox VE — Backup and Restore — beth mae
vzdumpyn ei gwmpasu, a’r opsiynau copi wrth gefn i bob cyfrol sy’n bodoli ar gyfer gyriannau mae PVE yn eu rheoli - Proxmox VE — Qemu/KVM Virtual Machines — VirtIO SCSI,
iothread,discarda’r opsiynau disg a gefnogir