Y cwestiwn y mae pob gwerthusiad Proxmox yn dechrau ag ef

‘Ydy Proxmox o safon menter go iawn?’

Mae’n codi ym mron pob sgwrs am fudo, a bron byth y rhyngwyneb gwe yw’r pryder sydd oddi tano. Does neb o ddifrif yn ofni y bydd dangosfwrdd mewn porwr yn llygru ei ddata. Yr hyn mae pobl yn ei ofyn yw a yw’r peth sy’n sefyll rhwng peiriant rhithwir a’r caledwedd, y gydran sy’n gorfod cadw un tenant allan o gof tenant arall, am byth, heb un camgymeriad, yn ddarn difrifol o beirianneg neu’n brosiect cymunedol a ddaeth yn boblogaidd.

Dyna’n union y peth iawn i fod yn nerfus amdano. Dim ond ei fod wedi’i anelu at yr haen anghywir, oherwydd does dim hypervisor yn Proxmox VE.

KVM yw’r hypervisor. Mae’n rhan o Linux, mae wedi bod yno ers 2007, ac os yw dy sefydliad yn defnyddio EC2, Google Cloud, Oracle Cloud, Alibaba Cloud, DigitalOcean neu Nutanix, rwyt ti eisoes yn ei redeg mewn cynhyrchiad heddiw. Dim ond nad wyt ti erioed wedi gorfod meddwl amdano, oherwydd rhywun arall oedd piau’r haenau uwch ei ben.

Mae’r post hwn yn ymwneud â’r hyn y mae’r sylfaen a rennir honno’n ei olygu mewn gwirionedd. Y ddau hanner: y rhan o’r ddadl sy’n dal dŵr go iawn, a’r rhan sy’n cael ei gor-hawlio ar sleidiau gwerthwyr.

Haen reoli yw Proxmox VE

Pedair haen ar wahân yw rhithwiroli ar Linux, wedi’u hadeiladu a’u cynnal gan bedwar grŵp gwahanol o bobl.

1. Estyniadau rhithwiroli caledwedd. Intel VT-x gydag EPT, neu AMD-V gydag NPT. Silicon. Dyma sy’n galluogi gwestai i redeg ei gnewyllyn ei hun ar gyflymder brodorol gyda’i dablau tudalennau ei hun, heb i ddim byd efelychu cyfarwyddiadau.

2. KVM: yr hypervisor. Modiwlau cnewyllyn: kvm.ko ar gyfer y craidd sy’n annibynnol ar bensaernïaeth, ynghyd â kvm-intel.ko neu kvm-amd.ko ar gyfer estyniadau’r gwneuthurwr. Dyma’r gydran sy’n berchen ar y ffin ynysu. Mae’n gosod strwythurau rheoli peiriant rhithwir y gwestai, yn trin VM exits, yn rheoli’r tablau tudalennau ail lefel, ac yn danfon ymyriadau.

3. Y VMM: y monitor peiriant rhithwir, yng ngofod defnyddiwr. Ar Proxmox VE, QEMU yw hwn. Mae’n adeiladu’r famfwrdd rithwir: chipset, topoleg PCIe, disgiau, NICs, porthladdoedd cyfresol, cadarnwedd. KVM sy’n rhedeg y CPU; QEMU sy’n penderfynu pa galedwedd y mae’r gwestai’n credu sydd ganddo.

4. Yr haen reoli. Dyma Proxmox VE: pve-manager a pveproxy ar gyfer yr API a’r rhyngwyneb, qemu-server i droi ffeil ffurfweddu VM yn llinell orchymyn QEMU, pve-container ar gyfer LXC, pmxcfs ar ben Corosync ar gyfer ffurfweddiad y clwstwr sy’n cael ei atgynhyrchu, pve-ha-manager ar gyfer ffensio ac ailgychwyn, ynghyd â’r wal dân a phentwr SDN.

Mae’r pedair haen hynny’n bodoli ar y platfform rwyt ti’n mudo ohono hefyd, yn gwneud yr un pedair swydd: vCenter yw haen 4, VMkernel yw haen 2. Dof yn ôl at y gymhariaeth honno unwaith y bydd y darnau i gyd ar y bwrdd.

Yr un pedair haen ar Proxmox VE ac ar vSphereProxmox VEVMware vSphere4 · rheoliProxmox VEpve-manager · pveproxy · qemu-serverpmxcfs ar Corosync · pve-ha-manager · SDNvCenter Serverteclyn ar wahân i’w faintioli, ei drwyddedu,ei glytio a’i gopïo wrth gefn3 · model dyfeisiaupve-qemu, yng ngofod defnyddiwry famfwrdd rithwir: chipset, PCIe, disgiau, NICsQEMU i fyny’r afon + 78 clyt Proxmox2 · hypervisor · y ffin ynysuKVM: kvm.ko + kvm-intel.ko / kvm-amd.komynediad ac allanfa vCPU · EPT/NPT · ymyriadauLinux i fyny’r afon, mewn cnewyllyn wedi’i adeiladu gan Proxmoxuserworld VMX, un i bob VMI/O dyfeisiau, cipluniau, consol pellgofod defnyddiwr, nid y tu mewn i’r cnewyllynVMkernel, ynghyd â VMM i bob vCPUcyfarwyddiadau a chof y gwestaigeiriau VMware ei hun am VMkernel:“a POSIX-like operating system”1 · siliconIntel VT-x + EPT · AMD-V + NPTyr un silicon
Yr un pedair haen ar y ddwy ochr. Mae Proxmox yn ysgrifennu haen 4, yn clytio haen 3 yn drwm, yn adeiladu cnewyllyn haen 2 ac yn cymryd KVM ei hun o i fyny’r afon. Mae VMware yn ysgrifennu’r pedair ac yn gadael i ti ddarllen dim un ohonyn nhw.

Beth mae Proxmox yn ei gynnal mewn gwirionedd

Proxmox VE sy’n berchen ar haen 4 yn llwyr. Byddai’n anghywir dweud ei fod yn ddim ond pecynnu haenau 2 a 3, serch hynny, a dyna’r camddealltwriaeth mwyaf cyffredin o’r hyn y mae’r cwmni’n ei wneud.

Mae pve-qemu yn cario 78 clyt yn erbyn QEMU i fyny’r afon yn ei ffeil series ar adeg ysgrifennu:

Beth mae Proxmox yn ei ychwanegu at QEMU: 78 clyt, wrth raddfaextra/bitmap-mirror/pve/78 clyt, wrth raddfa26646Atgyweiriadau wedi’u hôl-borthi o i fyny’r afon. Mae nifer drawiadol yn atgyweiriadaudiogelwch yn y model dyfeisiau: dilysu stride qxl a virtio-gpu, erthyliadintel_iommu y gall gwestai ei sbarduno, DMA ail-fynediadol yn lsi53c895a a virtio-net.Moddau cysoni dirty-bitmap ar gyfer drive-mirror.Gwaith Proxmox ei hun: savevm-async, fformat VMA, gyrrwr bloc PBS,pbs-restore, alloc-track, backup fleecing.
Wedi’i luniadu wrth raddfa o debian/patches/series. Peirianneg Proxmox ei hun yw’r rhan fwyaf o’r ciw, ac mae’r cyfan ohono yn haen 3: does dim un o’r clytiau hyn yn cyffwrdd â kvm.ko.

Maen nhw’n adeiladu eu cnewyllyn eu hunain hefyd, ac yn cynnal pecynnu neu glytiau ar gyfer y rhan fwyaf o’r pentwr o’i gwmpas: pve-edk2-firmware ar gyfer OVMF, ynghyd ag lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve, lvm a ceph.

Felly dyma’r ffin go iawn: y cyfan o haen 4, peirianneg sylweddol y tu mewn i haen 3, a chnewyllyn maen nhw’n ei grynhoi. Yr hyn nad ydyn nhw wedi’i wneud yw ysgrifennu hypervisor. Linux i fyny’r afon yw cod KVM haen 2.

A dydy dim o hyn yn feirniadaeth ar Proxmox. Fel y cyfryw, dyma’r rheswm y gellir ymddiried y gwaith i gwmni maint Proxmox o gwbl. Wnaeth cwmni bach yn Fienna ddim eistedd i lawr ac ysgrifennu hypervisor o’r dechrau; fe adeiladon nhw ar un yr oedd Intel, AMD, Red Hat, Google, Amazon ac IBM eisoes yn talu peirianwyr i’w gynnal, a gwario eu hymdrech eu hunain ar yr haen uwch ei ben a’r gwaith integreiddio sydd ei angen ar yr haen honno. Dyna lle gall tîm o’r maint hwnnw wneud gwahaniaeth, ac mae’r ciw clytiau’n dangos eu bod nhw’n ei wneud.

Beth yw KVM mewn gwirionedd

Ystyr KVM yw Kernel-based Virtual Machine, ac mae’r enw’n fanwl gywir: nodwedd cnewyllyn yw e, nid rhaglen.

Llwytha’r modiwlau ac mae Linux yn cael dyfais nodau, /dev/kvm, ynghyd â set fach o alwadau ioctl arni: KVM_CREATE_VM, KVM_CREATE_VCPU, KVM_SET_USER_MEMORY_REGION, KVM_RUN. Y rhyngwyneb hwnnw yw API cyfan yr hypervisor. Gall unrhyw beth sy’n gallu agor disgrifydd ffeil a galw ioctl greu peiriannau rhithwir.

Cafodd ei ysgrifennu gan Avi Kivity yn Qumranet a’i uno i Linux 2.6.20, a ryddhawyd ym mis Chwefror 2007, bedair blynedd ar bymtheg yn ôl. Prynodd Red Hat Qumranet yn 2008, ac mae KVM wedi bod ym mhob rhyddhad cnewyllyn ers hynny, ar gylch arferol y cnewyllyn o naw i ddeg wythnos. Mae wedi’i borthi ymhell y tu hwnt i x86: arm64, POWER, s390 ar IBM Z, a RISC-V.

Y pwynt pensaernïol pwysig yw pam mae’n fach.

Does gan KVM ddim amserlennydd, oherwydd mae gan Linux un. Edefyn gwesteiwr cyffredin yw vCPU, ac mae’r completely fair scheduler yn ei roi ar graidd fel unrhyw edefyn arall. Does ganddo ddim rheolwr cof, oherwydd mae gan Linux un. Mapio gofod defnyddiwr arferol yw RAM y gwestai, felly gellir ei dudalennu, ei gefnogi â hugepages, neu ei osod ar nod NUMA gan ddefnyddio’r un peirianwaith ag unrhyw broses arall. Does ganddo ddim pentwr gyrwyr, haen bloc, pentwr rhwydwaith na system ffeiliau, oherwydd roedd y rheini i gyd gan Linux yn barod, a dyna’r rhai y mae gwneuthurwr dy galedwedd yn profi yn eu herbyn.

Dyna’r ddadl aeddfedrwydd go iawn, ac mae’n llawer cryfach na rhif fersiwn. Mae pob gwelliant i gydbwyso NUMA, pob newid i io_uring, pob gyrrwr rhwydwaith, pob ffordd newydd o osgoi gwallau CPU sy’n glanio yn Linux yn glanio o dan dy beiriannau rhithwir, oherwydd does dim cnewyllyn hypervisor ar wahân i neb ei borthi iddo.

Mae dadl math 1 yn tynnu’r llinell yn y lle anghywir

Y gwrthwynebiad sy’n dilyn hyn, yn ddi-ffael, yw mai ‘dim ond hypervisor math 2’ yw KVM. Mae’n rhedeg ar OS gwesteiwr, yn wahanol i ESXi, sy’n rhedeg ar fetel moel.

Mae’r dacsonomeg honno’n hŷn na rhithwiroli caledwedd o dri degawd, a dydy’r peth yr oedd hi’n tynnu llinell o’i gwmpas ddim bellach lle mae neb yn meddwl ei fod.

Beth sy’n digwydd go iawn pan fydd vCPU yn rhedeg

Mae QEMU yn galw ioctl(vcpu_fd, KVM_RUN). Mae rheolaeth yn pasio i mewn i kvm.ko, sy’n llwytho cyflwr CPU y gwestai ac yn gweithredu VMLAUNCH. O’r cyfarwyddyd hwnnw hyd at y VM exit nesaf, mae’r gwestai’n gweithredu’n uniongyrchol ar y craidd ffisegol, yn y modd gwestai, gyda’i dablau tudalennau ei hun yn weithredol drwy EPT, ar gyflymder llawn y caledwedd. Does dim byd oddi tano yn dehongli dim. Dydy’r ‘OS gwesteiwr’ ddim yn y llwybr. Dydy e ddim hyd yn oed yn rhedeg ar y craidd hwnnw.

Pan fydd y gwestai’n gwneud rhywbeth sydd angen ei drin, mae’r CPU yn gadael i’r gwesteiwr, ac yn glanio yn kvm.ko, yn y cnewyllyn, ar yr union lefel braint y mae VMkernel ESXi yn ei meddiannu. Mae’r rhan fwyaf o exits yn cael eu datrys yn y fan a’r lle a’u hailfynediad heb i ofod defnyddiwr fod yn rhan o’r peth o gwbl.

Y llwybr y mae vCPU yn ei gymryd o QEMU i’r modd gwestai, a lle mae ei exits yn stopiogofod defnyddiwrcnewyllyn: ring 0modd gwesteiwrmodd gwestai: VMX non-rootQEMU: edefyn y vCPUun edefyn gwesteiwr cyffredin i bob vCPUkvm.komynediad VM · trin exits · EPT · ymyriadauy gwestai, ar y craidd ffisegolei gnewyllyn ei hun, ei dablau tudalennau ei hun drwy EPTyn rhedeg ar gyflymder llawn y caledweddioctl(KVM_RUN)VMLAUNCHVM exitdatrys ymaexit i ofod defnyddiwrDoes dim yn dehongli’r gwestai, a dydy’r gwesteiwr ddim ar y craidd hwnnw.Lle mae exit yn stopioWedi’i datrys yn y cnewyllyn· tramgwydd EPT/NPT· ysgrifennu APIC lleol: gydag APICv, dim exit yn aml· ymyriad rhwng proseswyr, wedi’i bostio mewn caledwedd· cloch drws virtio-net, wedi’i chymryd gan vhost-netYn cyrraedd QEMU· mynediad cofrestr ar e1000 neu IDE wedi’i efelychu· ysgrifennu i ofod ffurfweddu PCI· unrhyw beth mai dim ond QEMU sy’n gwybod sut i’w atebDim ond yr ail restr sy’n talu am daithgron i ofod defnyddiwr,a dyna’r rhestr sy’n crebachu os defnyddi didyfeisiau virtioa math peiriant nad yw’n cario dimcaledwedd etifeddol.
Y llwybr y mae vCPU yn ei gymryd. Mae popeth uwchben y llinell doredig yn edefyn gwesteiwr; mae popeth oddi tani yn westai ar silicon moel. Yr unig exits sy’n cyrraedd QEMU yw’r rhai y mae’n rhaid i QEMU eu hateb.

Mae gan ESXi yr un rhaniad

Nawr edrycha ar y platfform sydd i fod i brofi’r gwahaniaeth.

Mae dogfennaeth bensaernïaeth VMware ei hun yn disgrifio VMkernel fel “a POSIX-like operating system” sy’n darparu “process creation and control, signals, file system, and process threads”. System weithredu yw honno, yn ôl disgrifiad ei hawdur. A dydy VM sy’n rhedeg ar ESXi ddim yn beth y tu mewn i’r cnewyllyn: grŵp o brosesau userworld ydy e: VMM ar gyfer pob CPU rhithwir, sy’n rhithwiroli cyfarwyddiadau’r gwestai ac yn rheoli ei gof, a phroses VMX ar gyfer pob VM, sy’n trin I/O i’r dyfeisiau nad ydynt yn hanfodol i berfformiad ac yn siarad â’r rheolwr cipluniau a’r consol pell.

Darllena hynny gyda QEMU mewn cof. Cyd-destun gweithredu ar gyfer pob vCPU yn y cnewyllyn, proses gofod defnyddiwr ar gyfer pob VM yn efelychu dyfeisiau ac yn rheoli. Rhannodd VMware y peth am yr un rheswm â phawb arall.

Dydy Hyper-V ddim yn wahanol. Mae dogfennaeth Microsoft yn ddiamwys mai “a user mode component of the virtualization stack” yw’r Virtual Machine Worker Process, vmwp.exe, wedi’i silio ar gyfer pob VM, a bod pob dyfais wedi’i hefelychu yn cael ei gweithredu ynddo, gan redeg yn y rhaniad gwraidd, sef Windows. Mae angen Linux cyffredinol yn dom0 hyd yn oed ar Xen, y bensaernïaeth y mae’r dacsonomeg yn ei ffitio orau, er mwyn gweithio, ac mae’n cael ei fodel dyfeisiau ar gyfer gwesteion wedi’u rhithwiroli’n llawn gan QEMU.

Felly ble mae’r llinell?

Nid ‘ydy e’n defnyddio gofod defnyddiwr’ oedd y maen prawf erioed. Mae tacsonomeg Goldberg, o ddechrau’r 1970au, yn gofyn ai rhaglen sy’n rhedeg ar system weithredu sy’n bodoli eisoes, sydd eisoes yn berchen ar y caledwedd ac yn gwneud yr amserlennu yw’r hypervisor. Dyna hypervisor math 2, wedi’i letya: VMware Workstation, VirtualBox, Parallels Desktop, QEMU plaen heb gyflymu. Rwyt ti’n gosod OS cyffredinol, wedyn rwyt ti’n gosod rhaglen arno, ac mae’r rhaglen honno’n gofyn i’r OS am gof ac amser CPU fel unrhyw raglen arall.

Nid dyna beth yw KVM. Dydy kvm.ko ddim yn rhaglen ar ben Linux. Mae’n rhan o Linux, yn gweithredu ar yr un lefel braint â’r cod sy’n berchen ar y caledwedd, a phan fydd gwestai’n gadael mae’n glanio yno’n uniongyrchol. Does dim OS gwesteiwr o dan yr hypervisor. Y cnewyllyn yw’r hypervisor. Mae Proxmox VE yn cyflenwi’r cnewyllyn hwnnw fel y system, yn union fel y mae ESXi yn cyflenwi VMkernel fel y system.

A does dim achub ar y fersiwn ‘mae angen gofod defnyddiwr arno, felly math 2 yw e’, oherwydd o’i chymhwyso’n gyson mae’n dal popeth. Does dim VM yn rhedeg ar ESXi heb ei broses VMX, dim un ar Hyper-V heb vmwp.exe, dim un ar Xen fel gwestai HVM heb QEMU. Dydy prawf sy’n rhoi pob hypervisor sydd ar y farchnad yn yr un bwced ddim yn gwahaniaethu dim byd.

Cnewyllyn sy’n berchen ar rithwiroli’r CPU a’r cofModel dyfeisiau gofod defnyddiwr ar gyfer pob VMAngen OS gwesteiwr sy’n bodoli eisoes?
VMware ESXiVMkernelVMX ar gyfer pob VMNa
Microsoft Hyper-Vhypervisor ynghyd â rhaniad gwraidd Windowsvmwp.exeNa
Xenhypervisor Xen ynghyd â Linux dom0QEMU, yn dom0 neu mewn stub domainNa
KVMkvm.koQEMUNa
VirtualBox, VMware Workstationcnewyllyn y gwesteiwr, drwy yrrwr wedi’i osody rhaglen ei hunOes

Pedwar cynnyrch, un siâp, ac wedyn pumed rhes sy’n wirioneddol wahanol. Y rhes olaf honno yw’r hyn y bathwyd ‘math 2’ i’w ddisgrifio, a dyma’r unig un lle’r oedd rhywbeth arall eisoes yn rheoli’r caledwedd.

Felly mae’r dacsonomeg yn dal i dynnu llinell. Dim ond nad yw’n ei thynnu yn agos at lle mae’r ddadl yn tybio: mae KVM ac ESXi ar yr un ochr iddi. Mae galw KVM yn fath 2 yn benthyca gair o gategori VirtualBox a’i gymhwyso at rywbeth sydd, o ran pensaernïaeth, yng nghategori ESXi.

Mae hynny’n gadael y label yn gwneud dim gwaith defnyddiol mewn gwerthusiad, oherwydd mae’r ddau gynnyrch rwyt ti’n dewis rhyngddyn nhw yn yr un bocs. Nid y rhif math sy’n wahanol. Y gwahaniaeth yw bod un gwerthwr hefyd wedi ysgrifennu’r cnewyllyn ac na fydd yn gadael i ti ei ddarllen: gwahaniaeth trwyddedu a thryloywder yn gwisgo dillad diagram pensaernïaeth. Mae Nutanix yn dangos y pwynt yn fasnachol: mae’n cyflenwi’r un cod KVM ag y mae Proxmox yn ei gyflenwi ac yn disgrifio AHV fel hypervisor math 1 ar fetel moel. Yr un cod, label croes, adran farchnata wahanol.

Mae pryder go iawn yn cuddio y tu mewn i’r cyhuddiad, ac mae’n haeddu enw gwell: mae cnewyllyn cyffredinol yn gwneud mil o swyddi nad yw un pwrpasol yn eu gwneud, sy’n golygu mwy o god a mwy o arwyneb ymosod wrth ymyl y ffin ynysu. Mae hynny’n deg ac yn fesuradwy, a dof yn ôl ato tua’r diwedd.

Ble mae’r gwaith yn digwydd mewn gwirionedd

Yr un lle y mae gan y reddf ‘mae ar OS gwesteiwr’ bwynt go iawn yw trin exits, felly mae’n werth bod yn glir pa exits sy’n mynd i ble.

Mae’r gwestai’n gwneud hynYn cael ei drin ganCost
Yn cyffwrdd â thudalen sydd heb ei mapio eto yn EPT/NPTkvm.ko, yn y cnewyllynUn exit, microeiliadau
Yn ysgrifennu i’w APIC lleolY CPU ei hun, drwy APICv/AVICYn aml dim exit o gwbl
Yn anfon ymyriad rhwng proseswyrPosted interrupts yn y caledweddYn aml dim exit
Yn trosglwyddo ar giw virtio-net gyda vhost-netEdefyn cnewyllyn, dim naid i ofod defnyddiwrUn doorbell
Yn darllen cofrestr ar reolydd e1000 neu IDE wedi’i efelychuYr holl ffordd allan i QEMUExit ynghyd â thaith gron i ofod defnyddiwr

Dim ond y rhes olaf sy’n edrych o gwbl fel y gwawdlun math 2, a dyma hefyd y rhes rwyt ti’n ei pheiriannu i ffwrdd, drwy ddefnyddio dyfeisiau virtio a pheidio â chyflwyno caledwedd etifeddol wedi’i efelychu nad oes ei angen arnat ti. Dyna’r un rhesymeg sydd y tu ôl i ddewis Q35 yn lle i440fx: llai o fynediadau cofrestr wedi’u dal, llai o ddyfeisiau etifeddol i’w cerdded.

Nodwedd yw’r OS gwesteiwr, nid baich

Dydy hanner arall y cyfrif hwnnw byth yn cyrraedd y ddadl, felly dyma fe: mae nod Proxmox yn beiriant y gelli di weithio arno go iawn. Debian ydy e, felly mae archif gyfan Debian un apt install i ffwrdd.

  • Monitro rwyt ti’n ei redeg yn barod, fel Prometheus node exporter, smartmontools neu dy asiant presennol, yn hytrach na beth bynnag y mae’r teclyn yn dewis ei ddangos.
  • Diagnosteg pan fydd rhywbeth yn araf: fio, iperf3, nvme-cli, perf, bpftrace.
  • Asiantau copi wrth gefn gan unrhyw werthwr sy’n cyflenwi deuaidd Linux.
  • Rheoli ffurfweddiad, fel bod yr hypervisor yn yr un inventory Ansible â phopeth arall yn lle bod yn achos arbennig.
  • fwupd ar gyfer cadarnwedd, ar galedwedd y mae ei wneuthurwr yn cefnogi LVFS.

Does dim angen fformat ategyn, bwndel wedi’i lofnodi na bendith gwerthwr ar ddim o hynny. Cymhara hynny â model ESXi, lle mae’r gragen wedi’i chyfyngu’n fwriadol, cod trydydd parti’n cyrraedd fel VIB, a does dim rheolwr pecynnau i estyn amdano o gwbl.

Mae’n cyrraedd i mewn i’r pentwr storio

Asiantau monitro yw’r fersiwn ddiflas o hyn. Mae dogfennaeth storio Proxmox ei hun yn rhestru’r ategion brodorol: dir, NFS, CIFS, CephFS, ZFS, BTRFS, LVM, LVM-thin, iSCSI, FC/SAS, RBD, ZFS-over-iSCSI, PBS. Wedyn mae’n ychwanegu brawddeg sy’n werth ei chymryd yn llythrennol:

you may use all storage technologies available for Debian Linux

Datganiad am ble mae’r ffin yw hwnnw, ac mae’r mecanwaith y tu ôl iddo yn generig: cael dyfais bloc ar bob nod, rhoi LVM arni, a’i hychwanegu fel storfa LVM gyda shared wedi’i alluogi. Dyna’n union sut mae’r llwybrau Fibre Channel ac iSCSI a gefnogir yn gweithio, felly gall unrhyw beth sy’n gallu cynhyrchu dyfais bloc a rennir ddefnyddio’r un llwybr.

Pedwar cludiant, un llwybr i storio Proxmox a renniry cludiantbeth mae Linux yn ei roibeth mae Proxmox yn ei weldFibre Channel / SASategyn brodoroliSCSIategyn brodorolNVMe/TCP neu RDMAdim ategyn: nvme-cliATA dros Ethernetdim ategyn: aoetoolsdyfais blocar bob nod/dev/sdX · /dev/nvme0n1grŵp cyfrolau LVMshared: 1math storio: lvmmudo bywar draws y clwstwrDim ond y ddau focs ar y dde y mae’n rhaid i Proxmox VE eu hadnabod.Haen bloc Linux yw popeth i’r chwith ohonyn nhw, a does dimots ganddi sut y cyrhaeddodd y ddyfais.
Mae gan ddau o’r cludiannau hyn ategyn Proxmox a does gan ddau ddim byd o gwbl, a dydy hynny’n gwneud dim gwahaniaeth y tu hwnt i’r ail focs. Yr haen LVM yw lle mae LUN a rennir yn dod yn storfa clwstwr, beth bynnag a’i danfonodd.

NVMe dros TCP neu RDMA yw’r achos sy’n werth gwybod amdano, oherwydd mae’n gyflym, yn gyfredol, ac yn absennol o’r rhestr ategion honno. Gyrwyr gwesteiwr Linux yn y goeden yw nvme-tcp a nvme-rdma (mae NVMe/TCP wedi bod yn y brif linell ers 5.0), felly does dim i’w grynhoi. Pecyn Debian yw nvme-cli (nvme discover, wedyn nvme connect), ac mae nvmetcli yn ffurfweddu’r targed nvmet yn y cnewyllyn yn y pen arall. Mae namespace sydd wedi’i gysylltu yn ymddangos fel /dev/nvmeXnY, ac o’r fan honno dyfais bloc gyffredin yw hi.

ATA dros Ethernet sy’n gwneud yr un pwynt o ben arall y sbectrwm: hynafol, aneglur, ac yr un mor ddigefnogaeth fel ategyn. Mae’r gyrrwr aoe yn y brif linell; mae aoetools yn rhoi aoe-discover ac aoe-stat i ti; mae vblade yn troi unrhyw ffeil neu ddyfais bloc ar beiriant arall yn darged. Yr un llwybr, yr un canlyniad.

Dydy’r naill na’r llall ddim yn API ategion, yn SDK nac yn rhaglen ardystio. Dyma beth sy’n digwydd pan yw haen storio’r hypervisor yn haen bloc Linux.

Y cafeatau gonest, oherwydd mae hyn yn darllen fel tric parti nes ei bod hi’n 3 y bore. Dydy’r naill gludiant na’r llall ddim yn fath storio Proxmox sydd wedi’i brofi, felly yr integreiddio a’i ddulliau methu (ymddygiad ailgysylltu, multipath, terfynau amser dan lwyth) yw dy gyfrifoldeb di i’w perchnogi ac i’w profi cyn i ddim byd pwysig fyw arno. Ac mae AoE yn brotocol Haen 2 moel, heb fod yn llwybradwy a heb ddilysu, felly ar VLAN storio ynysig y mae ei le a nunlle arall. Mae gan NVMe/TCP o leiaf fodel darganfod a gellir ei lwybro, a dyna ran fawr o’r rheswm mai dyna’r un i estyn amdano nawr.

Pwy arall sy’n rhedeg KVM

Dyma o ble daw’r honiad ‘rwyt ti’n ei redeg yn barod’. Mae pob platfform isod yn rhedeg yr un modiwl cnewyllyn.

PlatfformLle rwyt ti’n dod ar ei drawsY rhan KVMY VMM yng ngofod defnyddiwr
Amazon EC2 (Nitro)Cwmwl cyhoeddusModiwl craidd KVMPwrpasol: QEMU wedi’i dynnu, model dyfeisiau yng nghardiau Nitro
AWS Lambda, FargateDi-weinydd/dev/kvmFirecracker: monitor microVM lleiaf posibl yn Rust
Google Compute EngineCwmwl cyhoeddusKVM ers y lansioVMM Google ei hun, yn fwriadol nid QEMU
Alibaba Cloud ECSCwmwl cyhoeddusKVM wedi’i symleiddio (X-Dragon)Pwrpasol, gyda rhwydwaith a storio wedi’u dadlwytho i gerdyn MoC
Oracle Cloud (OCI)Cwmwl cyhoeddusOracle Linux KVM: yr un pentwr ag y mae Oracle yn ei gludo ar y safleLlinach QEMU
DigitalOcean, Linode/Akamai, Vultr, Hetzner, OVHcloud, Scaleway, UpCloudCwmwl cyhoeddusKVM stocQEMU
Nutanix AHVHCI ar y safleKVM stocQEMU gyda libvirt ac Open vSwitch
OpenStack (Nova)Cwmwl preifatKVM stocQEMU drwy libvirt: y gyrrwr diofyn a’r un sydd wedi’i brofi orau
Apache CloudStack, OpenNebula, oVirtAr y safleKVM stocQEMU drwy libvirt
OpenShift Virtualisation, SUSE HarvesterKubernetesKVM stocQEMU y tu mewn i pod, drwy KubeVirt
Proxmox VEAr y safleKVM stocQEMU, gydag LXC ochr yn ochr ar gyfer cynwysyddion

Mae pawb yn cadw hanner y cnewyllyn ac yn ailysgrifennu hanner gofod defnyddiwr

Wnaeth yr hyperscalers ddim fforcio KVM. Fe fforcion nhw swydd QEMU.

Symudodd AWS EC2 oddi ar Xen i hypervisor Nitro, sydd wedi’i adeiladu ar fodiwl cnewyllyn craidd KVM gyda QEMU wedi’i daflu allan yn llwyr. Mae’r model dyfeisiau’n byw mewn cardiau Nitro pwrpasol yn lle hynny, a dyna sut maen nhw’n cael perfformiad na ellir ei wahaniaethu oddi wrth fetel moel. Mae pob math o enghraifft EC2 o’r genhedlaeth gyfredol yn rhedeg hwn. Ar wahân i hynny, mae Lambda a Fargate yn rhedeg Firecracker, VMM wedi’i adeiladu i’r pwrpas yn Rust sy’n siarad â’r un /dev/kvm.

Mae Google wedi rhedeg pob VM Compute Engine ar KVM ers i Compute Engine lansio, ac fe ysgrifennodd ei VMM ei hun yng ngofod defnyddiwr yn lle defnyddio QEMU, yn benodol er mwyn osgoi matrics enfawr QEMU o westeion, dyfeisiau a moddau. Fe aethon nhw’r ffordd arall hefyd a chaledu’r modiwl cnewyllyn i fyny’r afon, gan dynnu dyfeisiau wedi’u hefelychu nad oedd neb eu hangen a chulhau’r set o gyfarwyddiadau sy’n cael eu hefelychu. Mae’r gwaith hwnnw yn y KVM rwyt ti’n ei redeg.

Gwnaeth Alibaba yr un siâp o beth gydag X-Dragon: hypervisor KVM wedi’i dynnu’n ôl i’r esgyrn, gyda rhithwiroli’r rhwydwaith a’r storio wedi’i ddadlwytho i gerdyn MoC sy’n seiliedig ar FPGA.

KVM ynghyd â libvirt ynghyd â QEMU ynghyd ag Open vSwitch ynghyd â cherddorfaeth Nutanix yw Nutanix AHV. O bob cynnyrch masnachol ar y rhestr honno, dyma’r perthynas agosaf sydd gan Proxmox VE. Haen 4 wahanol, ac anfoneb wahanol iawn.

Pum platfform, pum model dyfeisiau, un KVMAmazon EC2NitroGoogle CloudCompute EngineAlibaba CloudECS, X-DragonNutanixAHVProxmox VEar Debianrheolimodel dyfeisiauhypervisorcaledweddplân rheoli EC2consol ac APIfesul awr enghraifftplân rheoli GCEconsol ac APIfesul awr enghraifftconsol ECSac APIfesul awr enghraifftPrism ac AOSar bob nodfesul nod, y flwyddynpve-managerpveproxy, HA, SDNar bob nodtanysgrifiad dewisolVMM pwrpasol,dim QEMU o gwblmae’r dyfeisiauar gardiau NitroVMM Google ei hunyng ngofoddefnyddiwr, ynfwriadol nid QEMUVMM wedi’i symleiddio,rhwydwaith a storiowedi’u dadlwytho igerdyn MoCQEMU, libvirtac Open vSwitchQEMU, gydag LXCochr yn ochrKVM: kvm.ko, kvm-intel.ko / kvm-amd.koy ffin ynysu, a’r un cod yw hi ym mhob colofnIntel VT-x + EPT · AMD-V + NPT
Yr un modiwl cnewyllyn ym mhob colofn. Wrth fynd i fyny’r pentwr, y model dyfeisiau sy’n newid gyntaf, yna’r haen reoli, yna’r trwyddedu, a dyna hefyd y drefn y mae’r platfformau hyn yn gwahaniaethu go iawn.

Mae Proxmox VE yn cadw QEMU yn fwriadol

Mae’n demtasiwn darllen y tabl fel rhestr detholion, gydag AWS a Google ar y brig am fod wedi disodli QEMU. Dyna’r darlleniad anghywir, oherwydd nid eu cyfyngiad nhw yw dy un di.

Mae AWS a Google yn rhedeg un proffil caledwedd, ar raddfa lle mae un nam efelychu dyfais yn ddigwyddiad ar draws y fflyd gyfan, ac maen nhw’n rheoli pob ffin delwedd gwestai sy’n bwysig iddyn nhw. Yn y byd hwnnw, atebolrwydd yw ehangder QEMU bron yn llwyr, felly mae ei ddileu yn amlwg gywir.

Dwyt ti ddim yn y byd hwnnw. Mae gen ti ddelwedd teclyn o 2013 sydd eisiau e1000. Mae gen ti VM Windows y mae’n rhaid i’w fath peiriant aros wedi’i binio am weddill ei oes. Mae gen ti GPU i’w basio drwodd, rheolydd SAS wedi’i efelychu i fodloni gosodwr, storfa newidynnau UEFI i’w chadw. QEMU yw’r union beth sy’n gadael i blatfform pwrpas cyffredinol ddweud ie i hynny i gyd.

Yr hyn y mae AWS yn ei alw’n arwyneb ymosod yw’r hyn rwyt ti’n ei alw’n fatrics cydnawsedd. Mae’r ddau ddisgrifiad yn gywir; y gwahaniaeth yw a wyt ti’n cael dewis dy lwythi gwaith.

Mae hefyd yn esbonio siâp y ciw clytiau hwnnw. Datrysodd AWS a Google gopïau wrth gefn a chipluniau y tu allan i’r VMM, yn eu gwasanaethau storio eu hunain. Doedd gan Proxmox ddim gwasanaeth storio i’w ddatrys ynddo, felly fe’u rhoddon nhw yn QEMU, a dyna pam mae savevm-async a gyrrwr bloc PBS yn bodoli fel clytiau yn hytrach nag fel cynhyrchion.

Ac mae’n werth gwybod hynny am reswm ymarferol: y rhannau o Proxmox VE y byddet ti’n gweld eu heisiau fwyaf yw’r rhannau nad ydyn nhw i fyny’r afon. Testun plaen yw ffurfweddiadau dy VMs a fformatau safonol yw delweddau dy ddisgiau, felly bydd peiriant yn symud. Ond mae ciplun sy’n cynnwys cyflwr y RAM, a chadwyn gynyddrannol Proxmox Backup Server, yn dibynnu ar fforc QEMU Proxmox. Mae honno’n ddibyniaeth lawer ysgafnach na hypervisor perchnogol (mae’r fforc yn gyhoeddus, yn AGPL, a gelli di ddarllen pob clyt ynddo), ond dydy hi ddim yn sero, a dylai ‘dim cloi i mewn ar lefel y feddalwedd’ gario’r troednodyn hwnnw.

Felly, ydy e o safon menter?

Dydy fersiwn ddiog y ddadl hon ddim yn gweithio, ac mae’n werth dweud hynny’n blaen. Mae ‘mae AWS yn defnyddio KVM, felly mae Proxmox VE o safon menter’ yn non sequitur: mae’n cymryd honiad am un haen ac yn ei gymhwyso’n dawel i gynnyrch cyfan.

Dyma’r fersiwn sy’n dal dŵr.

Yr hyn sy’n cael ei rannu yw’r haen anoddaf i’w chael yn iawn a’r fwyaf peryglus i’w chael yn anghywir. Rhithwiroli’r CPU a’r cof, a’r ffin ynysu rhwng tenantiaid, yw’r rhan lle mae nam yn dor-diogelwch yn hytrach na thoriad gwasanaeth. Mae’r cod hwnnw’n cael ei adolygu gan beirianwyr sy’n cael eu talu gan Amazon, Google, Red Hat, Intel, AMD, IBM ac Alibaba, ac mae ei namau’n cael eu darganfod gan y cwmnïau sy’n rhedeg y fflydoedd mwyaf sy’n bodoli, fel arfer cyn i’r cnewyllyn dy gyrraedd di. Pan fydd bregusrwydd dianc o’r gwestai yn glanio, mae’r atgyweiriad yn cyrraedd drwy’r diweddariad cnewyllyn arferol yr oeddet ti’n mynd i’w osod beth bynnag. Dwyt ti ddim yn aros ar gylch rhyddhau un gwerthwr am hypervisor nad oes neb ond y gwerthwr hwnnw’n gallu ei weld.

Yr hyn nad yw’n cael ei rannu yw popeth uwchben y ffin. Sy’n golygu bod y cwestiwn yn cwympo’n ddau gwestiwn llawer haws eu hateb:

  1. Ydy’r haen reoli’n ddigon da ar gyfer y ffordd rwyt ti’n gweithredu?
  2. Alli di brynu cymorth ar ei chyfer ar delerau y gelli di fyw gyda nhw?

Gellir profi’r ddau mewn prawf cysyniad a’u hysgrifennu i mewn i gontract. Does dim angen ffydd mewn hypervisor ar y naill na’r llall.

Mae hynny’n safle llawer gwell na’r un y mae’r cwestiwn gwreiddiol yn ei dybio, sef bod gofyn i ti ymddiried mewn hypervisor newydd gan werthwr bach. Dydy hi ddim. Haen reoli yw’r cod sy’n benodol i Proxmox, y rhan fwyaf ohono yn Perl a mwy a mwy ohono yn Rust, ynghyd â’r ciw clytiau hwnnw yn erbyn QEMU. A sylwa ble mae’r clytiau’n glanio: y model dyfeisiau a’r llwybr copi wrth gefn, nid y ffin ynysu.

Mae hefyd yn werth gwybod beth mae methiant yr haen sy’n benodol i Proxmox yn ei gostio i ti. Prosesau annibynnol cyffredin ar y gwesteiwr yw prosesau QEMU, felly dydy pveproxy yn syrthio drosodd ddim yn atal un peiriant rhithwir. Mae hwnnw’n radiws ffrwydrad gwahanol iawn i golli’r gydran sy’n berchen ar y ffin ynysu.

Beth nad yw ‘yr un hypervisor’ yn ei brynu i ti

Dyma lle mae dogfennau hyder gwerthwyr yn tueddu i stopio, sy’n dweud rhywbeth wrthot ti am bwy maen nhw wedi’u hysgrifennu ar eu cyfer. Dyma’r hanner mwyaf defnyddiol.

Dydy e ddim yn prynu dibynadwyedd AWS i ti. Ychydig iawn sydd gan argaeledd Nitro i’w wneud â KVM. Daw o’r plân rheoli, ffabrig y rhwydwaith, y gwasanaeth storio, rheoli capasiti a’r arfer gweithredol o’u cwmpas. Daw dibynadwyedd dy glwstwr di o gynllun cworwm Corosync, ffurfweddiad dy ffensio, dy ddewis storio a diswyddiant dy rwydwaith. Does gan KVM ddim barn ar ddim un o’r rheini. Dydy rhannu hypervisor gyda hyperscaler ddim yn etifeddu eu gweithrediadau nhw.

Dydy e ddim yn prynu arwyneb ymosod Nitro i ti, a dyma lle mae hanner dilys cyhuddiad math 2 yn glanio. Rwyt ti’n rhedeg QEMU ar gnewyllyn pwrpas cyffredinol, ac yn hanesyddol model dyfeisiau QEMU yw lle’r oedd y dihangfeydd VM cofiadwy’n byw. VENOM, mewn rheolydd disg hyblyg wedi’i efelychu nad oedd neb yn ei ddefnyddio, yw’r enghraifft glasurol. Gallai Google nodi ar y pryd nad effeithiwyd ar Compute Engine yn union am nad yw’n rhedeg QEMU. Rwyt ti yn ei redeg, felly ti piau’r rheolaethau cydbwyso: dewisa virtio dros galedwedd wedi’i efelychu, paid â chyflwyno dyfeisiau nad oes eu hangen arnat ti, gad lonydd i broffiliau AppArmor, a chlytia QEMU gyda’r un ddisgyblaeth â’r cnewyllyn. Clytiau extra/ Proxmox yw nhw’n gwneud yn union hynny ar dy ran, ac mae’n beth rhesymol gwirio eu bod nhw’n dal i’w wneud.

Dydy e ddim yn gwneud ymddygiad VM yn gludadwy rhwng platfformau. Mae dewis model CPU, fersiynu math peiriant, cydnawsedd mudo byw ac ymddygiad clociau i gyd yn cael eu penderfynu yn haenau 3 a 4, ac maen nhw’n wahanol ym mhobman. Bydd clwstwr o genedlaethau CPU cymysg yn dal i dy gosbi am osod y math CPU i host, ac mae clociau gwesteion yn dal i grwydro beth bynnag yw’r logo ar y platfform. Dydy’r un hypervisor ddim yn golygu’r un ymddygiad.

Dydy e ddim yn ateb y cwestiwn cymorth, sef yr un y mae caffael yn poeni amdano go iawn, a hynny’n gwbl briodol. Mae Proxmox VE yn AGPLv3 ac yn rhad ac am ddim i’w redeg mewn cynhyrchu. Mae’r tanysgrifiad yn prynu’r ystorfa sydd wedi’i phrofi i fenter a chymorth y gwerthwr, gan ddechrau ar €120 y soced y flwyddyn. Mae cymorth Proxmox ei hun yn cael ei ddarparu yn ystod oriau busnes Awstria, felly daw cymorth rownd y cloc gan bartneriaid yn hytrach nag o Fienna. Mae croit, lle rwy’n gweithio, yn un o’r partneriaid hynny, ac yn darparu 24/7, 365 diwrnod y flwyddyn. Trafodaeth fasnachol yw honno, nid risg dechnegol, a’r ffaith mai trafodaeth fasnachol yw hi yw pwynt popeth uchod.

Beth i’w werthuso yn lle hynny

Os yw’r hypervisor wedi’i setlo, dylai prawf cysyniad dreulio’i amser ar yr haen sy’n wirioneddol benodol i Proxmox VE:

  • Ffensio ac HA. Tynna’r pŵer ar nod sydd â gwesteion HA yn rhedeg arno ac amsera’r ailgychwyn. Yna gwna hynny i ddau nod a chadarnha fod y rhai sy’n weddill yn ymddwyn fel rwyt ti’n ei ddisgwyl pan gollir cworwm.
  • Mudo byw ar draws cenedlaethau CPU. Gyda’r model CPU rwyt ti wir yn bwriadu safoni arno, nid host.
  • Copi wrth gefn ac, yn bwysicach, adfer. Amseroedd adfer dan lwyth, nid amseroedd copi wrth gefn. Does neb erioed wedi cael diolch am gopi wrth gefn cyflym.
  • Y model caniatâd. A elli di roi consol a rheolaeth pŵer i dîm cymwysiadau dros eu VMs eu hunain a dim byd arall, yn ddigon manwl i fodloni archwilydd.
  • Yr API. Galwad API yw popeth y mae’r rhyngwyneb gwe yn ei wneud; os na all dy awtomeiddio ei yrru, fydd y platfform ddim yn ffitio’r ffordd rwyt ti’n gweithio.
  • Y llwybr uwchraddio. Uwchraddiad fersiwn fawr ar glwstwr y PoC, cyn bod gen ti 400 VM arno.

Dydy dim un o’r rheini’n gwestiynau am KVM. Dyna’r pwynt, braidd.

Yr hypervisor yw’r rhan sydd wedi’i setlo. Gwaria’r prawf cysyniad ar y rhannau sydd heb eu setlo.

Cyfeiriadau

KVM ei hun

Sut mae’r hypervisors eraill wedi’u hadeiladu

Pwy sy’n rhedeg KVM, a sut y gwnaethon nhw ei newid

Beth mae Proxmox yn ei gynnal

Datgeliad: rwy’n gweithio i croit, Partner Aur Proxmox. Mae’r honiadau technegol uchod wedi’u cyrchu a gellir eu gwirio; y paragraff masnachol yw’r rhan lle mae gen i fuddiant, felly trin hi felly.