Y cwestiwn y mae pob gwerthusiad Proxmox yn dechrau ag ef
‘Ydy Proxmox o safon menter go iawn?’
Mae’n codi ym mron pob sgwrs am fudo, a bron byth y rhyngwyneb gwe yw’r pryder sydd oddi tano. Does neb o ddifrif yn ofni y bydd dangosfwrdd mewn porwr yn llygru ei ddata. Yr hyn mae pobl yn ei ofyn yw a yw’r peth sy’n sefyll rhwng peiriant rhithwir a’r caledwedd, y gydran sy’n gorfod cadw un tenant allan o gof tenant arall, am byth, heb un camgymeriad, yn ddarn difrifol o beirianneg neu’n brosiect cymunedol a ddaeth yn boblogaidd.
Dyna’n union y peth iawn i fod yn nerfus amdano. Dim ond ei fod wedi’i anelu at yr haen anghywir, oherwydd does dim hypervisor yn Proxmox VE.
KVM yw’r hypervisor. Mae’n rhan o Linux, mae wedi bod yno ers 2007, ac os yw dy sefydliad yn defnyddio EC2, Google Cloud, Oracle Cloud, Alibaba Cloud, DigitalOcean neu Nutanix, rwyt ti eisoes yn ei redeg mewn cynhyrchiad heddiw. Dim ond nad wyt ti erioed wedi gorfod meddwl amdano, oherwydd rhywun arall oedd piau’r haenau uwch ei ben.
Mae’r post hwn yn ymwneud â’r hyn y mae’r sylfaen a rennir honno’n ei olygu mewn gwirionedd. Y ddau hanner: y rhan o’r ddadl sy’n dal dŵr go iawn, a’r rhan sy’n cael ei gor-hawlio ar sleidiau gwerthwyr.
Haen reoli yw Proxmox VE
Pedair haen ar wahân yw rhithwiroli ar Linux, wedi’u hadeiladu a’u cynnal gan bedwar grŵp gwahanol o bobl.
1. Estyniadau rhithwiroli caledwedd. Intel VT-x gydag EPT, neu AMD-V gydag NPT. Silicon. Dyma sy’n galluogi gwestai i redeg ei gnewyllyn ei hun ar gyflymder brodorol gyda’i dablau tudalennau ei hun, heb i ddim byd efelychu cyfarwyddiadau.
2. KVM: yr hypervisor.
Modiwlau cnewyllyn: kvm.ko ar gyfer y craidd sy’n annibynnol ar bensaernïaeth, ynghyd â kvm-intel.ko neu kvm-amd.ko ar gyfer estyniadau’r gwneuthurwr. Dyma’r gydran sy’n berchen ar y ffin ynysu. Mae’n gosod strwythurau rheoli peiriant rhithwir y gwestai, yn trin VM exits, yn rheoli’r tablau tudalennau ail lefel, ac yn danfon ymyriadau.
3. Y VMM: y monitor peiriant rhithwir, yng ngofod defnyddiwr. Ar Proxmox VE, QEMU yw hwn. Mae’n adeiladu’r famfwrdd rithwir: chipset, topoleg PCIe, disgiau, NICs, porthladdoedd cyfresol, cadarnwedd. KVM sy’n rhedeg y CPU; QEMU sy’n penderfynu pa galedwedd y mae’r gwestai’n credu sydd ganddo.
4. Yr haen reoli.
Dyma Proxmox VE: pve-manager a pveproxy ar gyfer yr API a’r rhyngwyneb, qemu-server i droi ffeil ffurfweddu VM yn llinell orchymyn QEMU, pve-container ar gyfer LXC, pmxcfs ar ben Corosync ar gyfer ffurfweddiad y clwstwr sy’n cael ei atgynhyrchu, pve-ha-manager ar gyfer ffensio ac ailgychwyn, ynghyd â’r wal dân a phentwr SDN.
Mae’r pedair haen hynny’n bodoli ar y platfform rwyt ti’n mudo ohono hefyd, yn gwneud yr un pedair swydd: vCenter yw haen 4, VMkernel yw haen 2. Dof yn ôl at y gymhariaeth honno unwaith y bydd y darnau i gyd ar y bwrdd.
Beth mae Proxmox yn ei gynnal mewn gwirionedd
Proxmox VE sy’n berchen ar haen 4 yn llwyr. Byddai’n anghywir dweud ei fod yn ddim ond pecynnu haenau 2 a 3, serch hynny, a dyna’r camddealltwriaeth mwyaf cyffredin o’r hyn y mae’r cwmni’n ei wneud.
Mae pve-qemu yn cario 78 clyt yn erbyn QEMU i fyny’r afon yn ei ffeil series ar adeg ysgrifennu:
debian/patches/series. Peirianneg Proxmox ei hun yw’r rhan fwyaf o’r ciw, ac mae’r cyfan ohono yn haen 3: does dim un o’r clytiau hyn yn cyffwrdd â kvm.ko.Maen nhw’n adeiladu eu cnewyllyn eu hunain hefyd, ac yn cynnal pecynnu neu glytiau ar gyfer y rhan fwyaf o’r pentwr o’i gwmpas: pve-edk2-firmware ar gyfer OVMF, ynghyd ag lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve, lvm a ceph.
Felly dyma’r ffin go iawn: y cyfan o haen 4, peirianneg sylweddol y tu mewn i haen 3, a chnewyllyn maen nhw’n ei grynhoi. Yr hyn nad ydyn nhw wedi’i wneud yw ysgrifennu hypervisor. Linux i fyny’r afon yw cod KVM haen 2.
A dydy dim o hyn yn feirniadaeth ar Proxmox. Fel y cyfryw, dyma’r rheswm y gellir ymddiried y gwaith i gwmni maint Proxmox o gwbl. Wnaeth cwmni bach yn Fienna ddim eistedd i lawr ac ysgrifennu hypervisor o’r dechrau; fe adeiladon nhw ar un yr oedd Intel, AMD, Red Hat, Google, Amazon ac IBM eisoes yn talu peirianwyr i’w gynnal, a gwario eu hymdrech eu hunain ar yr haen uwch ei ben a’r gwaith integreiddio sydd ei angen ar yr haen honno. Dyna lle gall tîm o’r maint hwnnw wneud gwahaniaeth, ac mae’r ciw clytiau’n dangos eu bod nhw’n ei wneud.
Beth yw KVM mewn gwirionedd
Ystyr KVM yw Kernel-based Virtual Machine, ac mae’r enw’n fanwl gywir: nodwedd cnewyllyn yw e, nid rhaglen.
Llwytha’r modiwlau ac mae Linux yn cael dyfais nodau, /dev/kvm, ynghyd â set fach o alwadau ioctl arni: KVM_CREATE_VM, KVM_CREATE_VCPU, KVM_SET_USER_MEMORY_REGION, KVM_RUN.
Y rhyngwyneb hwnnw yw API cyfan yr hypervisor. Gall unrhyw beth sy’n gallu agor disgrifydd ffeil a galw ioctl greu peiriannau rhithwir.
Cafodd ei ysgrifennu gan Avi Kivity yn Qumranet a’i uno i Linux 2.6.20, a ryddhawyd ym mis Chwefror 2007, bedair blynedd ar bymtheg yn ôl. Prynodd Red Hat Qumranet yn 2008, ac mae KVM wedi bod ym mhob rhyddhad cnewyllyn ers hynny, ar gylch arferol y cnewyllyn o naw i ddeg wythnos. Mae wedi’i borthi ymhell y tu hwnt i x86: arm64, POWER, s390 ar IBM Z, a RISC-V.
Y pwynt pensaernïol pwysig yw pam mae’n fach.
Does gan KVM ddim amserlennydd, oherwydd mae gan Linux un. Edefyn gwesteiwr cyffredin yw vCPU, ac mae’r completely fair scheduler yn ei roi ar graidd fel unrhyw edefyn arall. Does ganddo ddim rheolwr cof, oherwydd mae gan Linux un. Mapio gofod defnyddiwr arferol yw RAM y gwestai, felly gellir ei dudalennu, ei gefnogi â hugepages, neu ei osod ar nod NUMA gan ddefnyddio’r un peirianwaith ag unrhyw broses arall. Does ganddo ddim pentwr gyrwyr, haen bloc, pentwr rhwydwaith na system ffeiliau, oherwydd roedd y rheini i gyd gan Linux yn barod, a dyna’r rhai y mae gwneuthurwr dy galedwedd yn profi yn eu herbyn.
Dyna’r ddadl aeddfedrwydd go iawn, ac mae’n llawer cryfach na rhif fersiwn. Mae pob gwelliant i gydbwyso NUMA, pob newid i io_uring, pob gyrrwr rhwydwaith, pob ffordd newydd o osgoi gwallau CPU sy’n glanio yn Linux yn glanio o dan dy beiriannau rhithwir, oherwydd does dim cnewyllyn hypervisor ar wahân i neb ei borthi iddo.
Mae dadl math 1 yn tynnu’r llinell yn y lle anghywir
Y gwrthwynebiad sy’n dilyn hyn, yn ddi-ffael, yw mai ‘dim ond hypervisor math 2’ yw KVM. Mae’n rhedeg ar OS gwesteiwr, yn wahanol i ESXi, sy’n rhedeg ar fetel moel.
Mae’r dacsonomeg honno’n hŷn na rhithwiroli caledwedd o dri degawd, a dydy’r peth yr oedd hi’n tynnu llinell o’i gwmpas ddim bellach lle mae neb yn meddwl ei fod.
Beth sy’n digwydd go iawn pan fydd vCPU yn rhedeg
Mae QEMU yn galw ioctl(vcpu_fd, KVM_RUN). Mae rheolaeth yn pasio i mewn i kvm.ko, sy’n llwytho cyflwr CPU y gwestai ac yn gweithredu VMLAUNCH. O’r cyfarwyddyd hwnnw hyd at y VM exit nesaf, mae’r gwestai’n gweithredu’n uniongyrchol ar y craidd ffisegol, yn y modd gwestai, gyda’i dablau tudalennau ei hun yn weithredol drwy EPT, ar gyflymder llawn y caledwedd. Does dim byd oddi tano yn dehongli dim. Dydy’r ‘OS gwesteiwr’ ddim yn y llwybr. Dydy e ddim hyd yn oed yn rhedeg ar y craidd hwnnw.
Pan fydd y gwestai’n gwneud rhywbeth sydd angen ei drin, mae’r CPU yn gadael i’r gwesteiwr, ac yn glanio yn kvm.ko, yn y cnewyllyn, ar yr union lefel braint y mae VMkernel ESXi yn ei meddiannu. Mae’r rhan fwyaf o exits yn cael eu datrys yn y fan a’r lle a’u hailfynediad heb i ofod defnyddiwr fod yn rhan o’r peth o gwbl.
Mae gan ESXi yr un rhaniad
Nawr edrycha ar y platfform sydd i fod i brofi’r gwahaniaeth.
Mae dogfennaeth bensaernïaeth VMware ei hun yn disgrifio VMkernel fel “a POSIX-like operating system” sy’n darparu “process creation and control, signals, file system, and process threads”. System weithredu yw honno, yn ôl disgrifiad ei hawdur. A dydy VM sy’n rhedeg ar ESXi ddim yn beth y tu mewn i’r cnewyllyn: grŵp o brosesau userworld ydy e: VMM ar gyfer pob CPU rhithwir, sy’n rhithwiroli cyfarwyddiadau’r gwestai ac yn rheoli ei gof, a phroses VMX ar gyfer pob VM, sy’n trin I/O i’r dyfeisiau nad ydynt yn hanfodol i berfformiad ac yn siarad â’r rheolwr cipluniau a’r consol pell.
Darllena hynny gyda QEMU mewn cof. Cyd-destun gweithredu ar gyfer pob vCPU yn y cnewyllyn, proses gofod defnyddiwr ar gyfer pob VM yn efelychu dyfeisiau ac yn rheoli. Rhannodd VMware y peth am yr un rheswm â phawb arall.
Dydy Hyper-V ddim yn wahanol. Mae dogfennaeth Microsoft yn ddiamwys mai “a user mode component of the virtualization stack” yw’r Virtual Machine Worker Process, vmwp.exe, wedi’i silio ar gyfer pob VM, a bod pob dyfais wedi’i hefelychu yn cael ei gweithredu ynddo, gan redeg yn y rhaniad gwraidd, sef Windows. Mae angen Linux cyffredinol yn dom0 hyd yn oed ar Xen, y bensaernïaeth y mae’r dacsonomeg yn ei ffitio orau, er mwyn gweithio, ac mae’n cael ei fodel dyfeisiau ar gyfer gwesteion wedi’u rhithwiroli’n llawn gan QEMU.
Felly ble mae’r llinell?
Nid ‘ydy e’n defnyddio gofod defnyddiwr’ oedd y maen prawf erioed. Mae tacsonomeg Goldberg, o ddechrau’r 1970au, yn gofyn ai rhaglen sy’n rhedeg ar system weithredu sy’n bodoli eisoes, sydd eisoes yn berchen ar y caledwedd ac yn gwneud yr amserlennu yw’r hypervisor. Dyna hypervisor math 2, wedi’i letya: VMware Workstation, VirtualBox, Parallels Desktop, QEMU plaen heb gyflymu. Rwyt ti’n gosod OS cyffredinol, wedyn rwyt ti’n gosod rhaglen arno, ac mae’r rhaglen honno’n gofyn i’r OS am gof ac amser CPU fel unrhyw raglen arall.
Nid dyna beth yw KVM. Dydy kvm.ko ddim yn rhaglen ar ben Linux. Mae’n rhan o Linux, yn gweithredu ar yr un lefel braint â’r cod sy’n berchen ar y caledwedd, a phan fydd gwestai’n gadael mae’n glanio yno’n uniongyrchol. Does dim OS gwesteiwr o dan yr hypervisor. Y cnewyllyn yw’r hypervisor. Mae Proxmox VE yn cyflenwi’r cnewyllyn hwnnw fel y system, yn union fel y mae ESXi yn cyflenwi VMkernel fel y system.
A does dim achub ar y fersiwn ‘mae angen gofod defnyddiwr arno, felly math 2 yw e’, oherwydd o’i chymhwyso’n gyson mae’n dal popeth. Does dim VM yn rhedeg ar ESXi heb ei broses VMX, dim un ar Hyper-V heb vmwp.exe, dim un ar Xen fel gwestai HVM heb QEMU. Dydy prawf sy’n rhoi pob hypervisor sydd ar y farchnad yn yr un bwced ddim yn gwahaniaethu dim byd.
| Cnewyllyn sy’n berchen ar rithwiroli’r CPU a’r cof | Model dyfeisiau gofod defnyddiwr ar gyfer pob VM | Angen OS gwesteiwr sy’n bodoli eisoes? | |
|---|---|---|---|
| VMware ESXi | VMkernel | VMX ar gyfer pob VM | Na |
| Microsoft Hyper-V | hypervisor ynghyd â rhaniad gwraidd Windows | vmwp.exe | Na |
| Xen | hypervisor Xen ynghyd â Linux dom0 | QEMU, yn dom0 neu mewn stub domain | Na |
| KVM | kvm.ko | QEMU | Na |
| VirtualBox, VMware Workstation | cnewyllyn y gwesteiwr, drwy yrrwr wedi’i osod | y rhaglen ei hun | Oes |
Pedwar cynnyrch, un siâp, ac wedyn pumed rhes sy’n wirioneddol wahanol. Y rhes olaf honno yw’r hyn y bathwyd ‘math 2’ i’w ddisgrifio, a dyma’r unig un lle’r oedd rhywbeth arall eisoes yn rheoli’r caledwedd.
Felly mae’r dacsonomeg yn dal i dynnu llinell. Dim ond nad yw’n ei thynnu yn agos at lle mae’r ddadl yn tybio: mae KVM ac ESXi ar yr un ochr iddi. Mae galw KVM yn fath 2 yn benthyca gair o gategori VirtualBox a’i gymhwyso at rywbeth sydd, o ran pensaernïaeth, yng nghategori ESXi.
Mae hynny’n gadael y label yn gwneud dim gwaith defnyddiol mewn gwerthusiad, oherwydd mae’r ddau gynnyrch rwyt ti’n dewis rhyngddyn nhw yn yr un bocs. Nid y rhif math sy’n wahanol. Y gwahaniaeth yw bod un gwerthwr hefyd wedi ysgrifennu’r cnewyllyn ac na fydd yn gadael i ti ei ddarllen: gwahaniaeth trwyddedu a thryloywder yn gwisgo dillad diagram pensaernïaeth. Mae Nutanix yn dangos y pwynt yn fasnachol: mae’n cyflenwi’r un cod KVM ag y mae Proxmox yn ei gyflenwi ac yn disgrifio AHV fel hypervisor math 1 ar fetel moel. Yr un cod, label croes, adran farchnata wahanol.
Mae pryder go iawn yn cuddio y tu mewn i’r cyhuddiad, ac mae’n haeddu enw gwell: mae cnewyllyn cyffredinol yn gwneud mil o swyddi nad yw un pwrpasol yn eu gwneud, sy’n golygu mwy o god a mwy o arwyneb ymosod wrth ymyl y ffin ynysu. Mae hynny’n deg ac yn fesuradwy, a dof yn ôl ato tua’r diwedd.
Ble mae’r gwaith yn digwydd mewn gwirionedd
Yr un lle y mae gan y reddf ‘mae ar OS gwesteiwr’ bwynt go iawn yw trin exits, felly mae’n werth bod yn glir pa exits sy’n mynd i ble.
| Mae’r gwestai’n gwneud hyn | Yn cael ei drin gan | Cost |
|---|---|---|
| Yn cyffwrdd â thudalen sydd heb ei mapio eto yn EPT/NPT | kvm.ko, yn y cnewyllyn | Un exit, microeiliadau |
| Yn ysgrifennu i’w APIC lleol | Y CPU ei hun, drwy APICv/AVIC | Yn aml dim exit o gwbl |
| Yn anfon ymyriad rhwng proseswyr | Posted interrupts yn y caledwedd | Yn aml dim exit |
Yn trosglwyddo ar giw virtio-net gyda vhost-net | Edefyn cnewyllyn, dim naid i ofod defnyddiwr | Un doorbell |
| Yn darllen cofrestr ar reolydd e1000 neu IDE wedi’i efelychu | Yr holl ffordd allan i QEMU | Exit ynghyd â thaith gron i ofod defnyddiwr |
Dim ond y rhes olaf sy’n edrych o gwbl fel y gwawdlun math 2, a dyma hefyd y rhes rwyt ti’n ei pheiriannu i ffwrdd, drwy ddefnyddio dyfeisiau virtio a pheidio â chyflwyno caledwedd etifeddol wedi’i efelychu nad oes ei angen arnat ti. Dyna’r un rhesymeg sydd y tu ôl i ddewis Q35 yn lle i440fx: llai o fynediadau cofrestr wedi’u dal, llai o ddyfeisiau etifeddol i’w cerdded.
Nodwedd yw’r OS gwesteiwr, nid baich
Dydy hanner arall y cyfrif hwnnw byth yn cyrraedd y ddadl, felly dyma fe: mae nod Proxmox yn beiriant y gelli di weithio arno go iawn. Debian ydy e, felly mae archif gyfan Debian un apt install i ffwrdd.
- Monitro rwyt ti’n ei redeg yn barod, fel Prometheus node exporter,
smartmontoolsneu dy asiant presennol, yn hytrach na beth bynnag y mae’r teclyn yn dewis ei ddangos. - Diagnosteg pan fydd rhywbeth yn araf:
fio,iperf3,nvme-cli,perf,bpftrace. - Asiantau copi wrth gefn gan unrhyw werthwr sy’n cyflenwi deuaidd Linux.
- Rheoli ffurfweddiad, fel bod yr hypervisor yn yr un inventory Ansible â phopeth arall yn lle bod yn achos arbennig.
fwupdar gyfer cadarnwedd, ar galedwedd y mae ei wneuthurwr yn cefnogi LVFS.
Does dim angen fformat ategyn, bwndel wedi’i lofnodi na bendith gwerthwr ar ddim o hynny. Cymhara hynny â model ESXi, lle mae’r gragen wedi’i chyfyngu’n fwriadol, cod trydydd parti’n cyrraedd fel VIB, a does dim rheolwr pecynnau i estyn amdano o gwbl.
Mae’n cyrraedd i mewn i’r pentwr storio
Asiantau monitro yw’r fersiwn ddiflas o hyn. Mae dogfennaeth storio Proxmox ei hun yn rhestru’r ategion brodorol: dir, NFS, CIFS, CephFS, ZFS, BTRFS, LVM, LVM-thin, iSCSI, FC/SAS, RBD, ZFS-over-iSCSI, PBS. Wedyn mae’n ychwanegu brawddeg sy’n werth ei chymryd yn llythrennol:
you may use all storage technologies available for Debian Linux
Datganiad am ble mae’r ffin yw hwnnw, ac mae’r mecanwaith y tu ôl iddo yn generig: cael dyfais bloc ar bob nod, rhoi LVM arni, a’i hychwanegu fel storfa LVM gyda shared wedi’i alluogi. Dyna’n union sut mae’r llwybrau Fibre Channel ac iSCSI a gefnogir yn gweithio, felly gall unrhyw beth sy’n gallu cynhyrchu dyfais bloc a rennir ddefnyddio’r un llwybr.
NVMe dros TCP neu RDMA yw’r achos sy’n werth gwybod amdano, oherwydd mae’n gyflym, yn gyfredol, ac yn absennol o’r rhestr ategion honno. Gyrwyr gwesteiwr Linux yn y goeden yw nvme-tcp a nvme-rdma (mae NVMe/TCP wedi bod yn y brif linell ers 5.0), felly does dim i’w grynhoi. Pecyn Debian yw nvme-cli (nvme discover, wedyn nvme connect), ac mae nvmetcli yn ffurfweddu’r targed nvmet yn y cnewyllyn yn y pen arall. Mae namespace sydd wedi’i gysylltu yn ymddangos fel /dev/nvmeXnY, ac o’r fan honno dyfais bloc gyffredin yw hi.
ATA dros Ethernet sy’n gwneud yr un pwynt o ben arall y sbectrwm: hynafol, aneglur, ac yr un mor ddigefnogaeth fel ategyn. Mae’r gyrrwr aoe yn y brif linell; mae aoetools yn rhoi aoe-discover ac aoe-stat i ti; mae vblade yn troi unrhyw ffeil neu ddyfais bloc ar beiriant arall yn darged. Yr un llwybr, yr un canlyniad.
Dydy’r naill na’r llall ddim yn API ategion, yn SDK nac yn rhaglen ardystio. Dyma beth sy’n digwydd pan yw haen storio’r hypervisor yn haen bloc Linux.
Y cafeatau gonest, oherwydd mae hyn yn darllen fel tric parti nes ei bod hi’n 3 y bore. Dydy’r naill gludiant na’r llall ddim yn fath storio Proxmox sydd wedi’i brofi, felly yr integreiddio a’i ddulliau methu (ymddygiad ailgysylltu, multipath, terfynau amser dan lwyth) yw dy gyfrifoldeb di i’w perchnogi ac i’w profi cyn i ddim byd pwysig fyw arno. Ac mae AoE yn brotocol Haen 2 moel, heb fod yn llwybradwy a heb ddilysu, felly ar VLAN storio ynysig y mae ei le a nunlle arall. Mae gan NVMe/TCP o leiaf fodel darganfod a gellir ei lwybro, a dyna ran fawr o’r rheswm mai dyna’r un i estyn amdano nawr.
Pwy arall sy’n rhedeg KVM
Dyma o ble daw’r honiad ‘rwyt ti’n ei redeg yn barod’. Mae pob platfform isod yn rhedeg yr un modiwl cnewyllyn.
| Platfform | Lle rwyt ti’n dod ar ei draws | Y rhan KVM | Y VMM yng ngofod defnyddiwr |
|---|---|---|---|
| Amazon EC2 (Nitro) | Cwmwl cyhoeddus | Modiwl craidd KVM | Pwrpasol: QEMU wedi’i dynnu, model dyfeisiau yng nghardiau Nitro |
| AWS Lambda, Fargate | Di-weinydd | /dev/kvm | Firecracker: monitor microVM lleiaf posibl yn Rust |
| Google Compute Engine | Cwmwl cyhoeddus | KVM ers y lansio | VMM Google ei hun, yn fwriadol nid QEMU |
| Alibaba Cloud ECS | Cwmwl cyhoeddus | KVM wedi’i symleiddio (X-Dragon) | Pwrpasol, gyda rhwydwaith a storio wedi’u dadlwytho i gerdyn MoC |
| Oracle Cloud (OCI) | Cwmwl cyhoeddus | Oracle Linux KVM: yr un pentwr ag y mae Oracle yn ei gludo ar y safle | Llinach QEMU |
| DigitalOcean, Linode/Akamai, Vultr, Hetzner, OVHcloud, Scaleway, UpCloud | Cwmwl cyhoeddus | KVM stoc | QEMU |
| Nutanix AHV | HCI ar y safle | KVM stoc | QEMU gyda libvirt ac Open vSwitch |
| OpenStack (Nova) | Cwmwl preifat | KVM stoc | QEMU drwy libvirt: y gyrrwr diofyn a’r un sydd wedi’i brofi orau |
| Apache CloudStack, OpenNebula, oVirt | Ar y safle | KVM stoc | QEMU drwy libvirt |
| OpenShift Virtualisation, SUSE Harvester | Kubernetes | KVM stoc | QEMU y tu mewn i pod, drwy KubeVirt |
| Proxmox VE | Ar y safle | KVM stoc | QEMU, gydag LXC ochr yn ochr ar gyfer cynwysyddion |
Mae pawb yn cadw hanner y cnewyllyn ac yn ailysgrifennu hanner gofod defnyddiwr
Wnaeth yr hyperscalers ddim fforcio KVM. Fe fforcion nhw swydd QEMU.
Symudodd AWS EC2 oddi ar Xen i hypervisor Nitro, sydd wedi’i adeiladu ar fodiwl cnewyllyn craidd KVM gyda QEMU wedi’i daflu allan yn llwyr. Mae’r model dyfeisiau’n byw mewn cardiau Nitro pwrpasol yn lle hynny, a dyna sut maen nhw’n cael perfformiad na ellir ei wahaniaethu oddi wrth fetel moel. Mae pob math o enghraifft EC2 o’r genhedlaeth gyfredol yn rhedeg hwn. Ar wahân i hynny, mae Lambda a Fargate yn rhedeg Firecracker, VMM wedi’i adeiladu i’r pwrpas yn Rust sy’n siarad â’r un /dev/kvm.
Mae Google wedi rhedeg pob VM Compute Engine ar KVM ers i Compute Engine lansio, ac fe ysgrifennodd ei VMM ei hun yng ngofod defnyddiwr yn lle defnyddio QEMU, yn benodol er mwyn osgoi matrics enfawr QEMU o westeion, dyfeisiau a moddau. Fe aethon nhw’r ffordd arall hefyd a chaledu’r modiwl cnewyllyn i fyny’r afon, gan dynnu dyfeisiau wedi’u hefelychu nad oedd neb eu hangen a chulhau’r set o gyfarwyddiadau sy’n cael eu hefelychu. Mae’r gwaith hwnnw yn y KVM rwyt ti’n ei redeg.
Gwnaeth Alibaba yr un siâp o beth gydag X-Dragon: hypervisor KVM wedi’i dynnu’n ôl i’r esgyrn, gyda rhithwiroli’r rhwydwaith a’r storio wedi’i ddadlwytho i gerdyn MoC sy’n seiliedig ar FPGA.
KVM ynghyd â libvirt ynghyd â QEMU ynghyd ag Open vSwitch ynghyd â cherddorfaeth Nutanix yw Nutanix AHV. O bob cynnyrch masnachol ar y rhestr honno, dyma’r perthynas agosaf sydd gan Proxmox VE. Haen 4 wahanol, ac anfoneb wahanol iawn.
Mae Proxmox VE yn cadw QEMU yn fwriadol
Mae’n demtasiwn darllen y tabl fel rhestr detholion, gydag AWS a Google ar y brig am fod wedi disodli QEMU. Dyna’r darlleniad anghywir, oherwydd nid eu cyfyngiad nhw yw dy un di.
Mae AWS a Google yn rhedeg un proffil caledwedd, ar raddfa lle mae un nam efelychu dyfais yn ddigwyddiad ar draws y fflyd gyfan, ac maen nhw’n rheoli pob ffin delwedd gwestai sy’n bwysig iddyn nhw. Yn y byd hwnnw, atebolrwydd yw ehangder QEMU bron yn llwyr, felly mae ei ddileu yn amlwg gywir.
Dwyt ti ddim yn y byd hwnnw.
Mae gen ti ddelwedd teclyn o 2013 sydd eisiau e1000. Mae gen ti VM Windows y mae’n rhaid i’w fath peiriant aros wedi’i binio am weddill ei oes. Mae gen ti GPU i’w basio drwodd, rheolydd SAS wedi’i efelychu i fodloni gosodwr, storfa newidynnau UEFI i’w chadw. QEMU yw’r union beth sy’n gadael i blatfform pwrpas cyffredinol ddweud ie i hynny i gyd.
Yr hyn y mae AWS yn ei alw’n arwyneb ymosod yw’r hyn rwyt ti’n ei alw’n fatrics cydnawsedd. Mae’r ddau ddisgrifiad yn gywir; y gwahaniaeth yw a wyt ti’n cael dewis dy lwythi gwaith.
Mae hefyd yn esbonio siâp y ciw clytiau hwnnw. Datrysodd AWS a Google gopïau wrth gefn a chipluniau y tu allan i’r VMM, yn eu gwasanaethau storio eu hunain. Doedd gan Proxmox ddim gwasanaeth storio i’w ddatrys ynddo, felly fe’u rhoddon nhw yn QEMU, a dyna pam mae savevm-async a gyrrwr bloc PBS yn bodoli fel clytiau yn hytrach nag fel cynhyrchion.
Ac mae’n werth gwybod hynny am reswm ymarferol: y rhannau o Proxmox VE y byddet ti’n gweld eu heisiau fwyaf yw’r rhannau nad ydyn nhw i fyny’r afon. Testun plaen yw ffurfweddiadau dy VMs a fformatau safonol yw delweddau dy ddisgiau, felly bydd peiriant yn symud. Ond mae ciplun sy’n cynnwys cyflwr y RAM, a chadwyn gynyddrannol Proxmox Backup Server, yn dibynnu ar fforc QEMU Proxmox. Mae honno’n ddibyniaeth lawer ysgafnach na hypervisor perchnogol (mae’r fforc yn gyhoeddus, yn AGPL, a gelli di ddarllen pob clyt ynddo), ond dydy hi ddim yn sero, a dylai ‘dim cloi i mewn ar lefel y feddalwedd’ gario’r troednodyn hwnnw.
Felly, ydy e o safon menter?
Dydy fersiwn ddiog y ddadl hon ddim yn gweithio, ac mae’n werth dweud hynny’n blaen. Mae ‘mae AWS yn defnyddio KVM, felly mae Proxmox VE o safon menter’ yn non sequitur: mae’n cymryd honiad am un haen ac yn ei gymhwyso’n dawel i gynnyrch cyfan.
Dyma’r fersiwn sy’n dal dŵr.
Yr hyn sy’n cael ei rannu yw’r haen anoddaf i’w chael yn iawn a’r fwyaf peryglus i’w chael yn anghywir. Rhithwiroli’r CPU a’r cof, a’r ffin ynysu rhwng tenantiaid, yw’r rhan lle mae nam yn dor-diogelwch yn hytrach na thoriad gwasanaeth. Mae’r cod hwnnw’n cael ei adolygu gan beirianwyr sy’n cael eu talu gan Amazon, Google, Red Hat, Intel, AMD, IBM ac Alibaba, ac mae ei namau’n cael eu darganfod gan y cwmnïau sy’n rhedeg y fflydoedd mwyaf sy’n bodoli, fel arfer cyn i’r cnewyllyn dy gyrraedd di. Pan fydd bregusrwydd dianc o’r gwestai yn glanio, mae’r atgyweiriad yn cyrraedd drwy’r diweddariad cnewyllyn arferol yr oeddet ti’n mynd i’w osod beth bynnag. Dwyt ti ddim yn aros ar gylch rhyddhau un gwerthwr am hypervisor nad oes neb ond y gwerthwr hwnnw’n gallu ei weld.
Yr hyn nad yw’n cael ei rannu yw popeth uwchben y ffin. Sy’n golygu bod y cwestiwn yn cwympo’n ddau gwestiwn llawer haws eu hateb:
- Ydy’r haen reoli’n ddigon da ar gyfer y ffordd rwyt ti’n gweithredu?
- Alli di brynu cymorth ar ei chyfer ar delerau y gelli di fyw gyda nhw?
Gellir profi’r ddau mewn prawf cysyniad a’u hysgrifennu i mewn i gontract. Does dim angen ffydd mewn hypervisor ar y naill na’r llall.
Mae hynny’n safle llawer gwell na’r un y mae’r cwestiwn gwreiddiol yn ei dybio, sef bod gofyn i ti ymddiried mewn hypervisor newydd gan werthwr bach. Dydy hi ddim. Haen reoli yw’r cod sy’n benodol i Proxmox, y rhan fwyaf ohono yn Perl a mwy a mwy ohono yn Rust, ynghyd â’r ciw clytiau hwnnw yn erbyn QEMU. A sylwa ble mae’r clytiau’n glanio: y model dyfeisiau a’r llwybr copi wrth gefn, nid y ffin ynysu.
Mae hefyd yn werth gwybod beth mae methiant yr haen sy’n benodol i Proxmox yn ei gostio i ti. Prosesau annibynnol cyffredin ar y gwesteiwr yw prosesau QEMU, felly dydy pveproxy yn syrthio drosodd ddim yn atal un peiriant rhithwir. Mae hwnnw’n radiws ffrwydrad gwahanol iawn i golli’r gydran sy’n berchen ar y ffin ynysu.
Beth nad yw ‘yr un hypervisor’ yn ei brynu i ti
Dyma lle mae dogfennau hyder gwerthwyr yn tueddu i stopio, sy’n dweud rhywbeth wrthot ti am bwy maen nhw wedi’u hysgrifennu ar eu cyfer. Dyma’r hanner mwyaf defnyddiol.
Dydy e ddim yn prynu dibynadwyedd AWS i ti. Ychydig iawn sydd gan argaeledd Nitro i’w wneud â KVM. Daw o’r plân rheoli, ffabrig y rhwydwaith, y gwasanaeth storio, rheoli capasiti a’r arfer gweithredol o’u cwmpas. Daw dibynadwyedd dy glwstwr di o gynllun cworwm Corosync, ffurfweddiad dy ffensio, dy ddewis storio a diswyddiant dy rwydwaith. Does gan KVM ddim barn ar ddim un o’r rheini. Dydy rhannu hypervisor gyda hyperscaler ddim yn etifeddu eu gweithrediadau nhw.
Dydy e ddim yn prynu arwyneb ymosod Nitro i ti, a dyma lle mae hanner dilys cyhuddiad math 2 yn glanio.
Rwyt ti’n rhedeg QEMU ar gnewyllyn pwrpas cyffredinol, ac yn hanesyddol model dyfeisiau QEMU yw lle’r oedd y dihangfeydd VM cofiadwy’n byw. VENOM, mewn rheolydd disg hyblyg wedi’i efelychu nad oedd neb yn ei ddefnyddio, yw’r enghraifft glasurol. Gallai Google nodi ar y pryd nad effeithiwyd ar Compute Engine yn union am nad yw’n rhedeg QEMU. Rwyt ti yn ei redeg, felly ti piau’r rheolaethau cydbwyso: dewisa virtio dros galedwedd wedi’i efelychu, paid â chyflwyno dyfeisiau nad oes eu hangen arnat ti, gad lonydd i broffiliau AppArmor, a chlytia QEMU gyda’r un ddisgyblaeth â’r cnewyllyn. Clytiau extra/ Proxmox yw nhw’n gwneud yn union hynny ar dy ran, ac mae’n beth rhesymol gwirio eu bod nhw’n dal i’w wneud.
Dydy e ddim yn gwneud ymddygiad VM yn gludadwy rhwng platfformau.
Mae dewis model CPU, fersiynu math peiriant, cydnawsedd mudo byw ac ymddygiad clociau i gyd yn cael eu penderfynu yn haenau 3 a 4, ac maen nhw’n wahanol ym mhobman. Bydd clwstwr o genedlaethau CPU cymysg yn dal i dy gosbi am osod y math CPU i host, ac mae clociau gwesteion yn dal i grwydro beth bynnag yw’r logo ar y platfform. Dydy’r un hypervisor ddim yn golygu’r un ymddygiad.
Dydy e ddim yn ateb y cwestiwn cymorth, sef yr un y mae caffael yn poeni amdano go iawn, a hynny’n gwbl briodol. Mae Proxmox VE yn AGPLv3 ac yn rhad ac am ddim i’w redeg mewn cynhyrchu. Mae’r tanysgrifiad yn prynu’r ystorfa sydd wedi’i phrofi i fenter a chymorth y gwerthwr, gan ddechrau ar €120 y soced y flwyddyn. Mae cymorth Proxmox ei hun yn cael ei ddarparu yn ystod oriau busnes Awstria, felly daw cymorth rownd y cloc gan bartneriaid yn hytrach nag o Fienna. Mae croit, lle rwy’n gweithio, yn un o’r partneriaid hynny, ac yn darparu 24/7, 365 diwrnod y flwyddyn. Trafodaeth fasnachol yw honno, nid risg dechnegol, a’r ffaith mai trafodaeth fasnachol yw hi yw pwynt popeth uchod.
Beth i’w werthuso yn lle hynny
Os yw’r hypervisor wedi’i setlo, dylai prawf cysyniad dreulio’i amser ar yr haen sy’n wirioneddol benodol i Proxmox VE:
- Ffensio ac HA. Tynna’r pŵer ar nod sydd â gwesteion HA yn rhedeg arno ac amsera’r ailgychwyn. Yna gwna hynny i ddau nod a chadarnha fod y rhai sy’n weddill yn ymddwyn fel rwyt ti’n ei ddisgwyl pan gollir cworwm.
- Mudo byw ar draws cenedlaethau CPU. Gyda’r model CPU rwyt ti wir yn bwriadu safoni arno, nid
host. - Copi wrth gefn ac, yn bwysicach, adfer. Amseroedd adfer dan lwyth, nid amseroedd copi wrth gefn. Does neb erioed wedi cael diolch am gopi wrth gefn cyflym.
- Y model caniatâd. A elli di roi consol a rheolaeth pŵer i dîm cymwysiadau dros eu VMs eu hunain a dim byd arall, yn ddigon manwl i fodloni archwilydd.
- Yr API. Galwad API yw popeth y mae’r rhyngwyneb gwe yn ei wneud; os na all dy awtomeiddio ei yrru, fydd y platfform ddim yn ffitio’r ffordd rwyt ti’n gweithio.
- Y llwybr uwchraddio. Uwchraddiad fersiwn fawr ar glwstwr y PoC, cyn bod gen ti 400 VM arno.
Dydy dim un o’r rheini’n gwestiynau am KVM. Dyna’r pwynt, braidd.
Yr hypervisor yw’r rhan sydd wedi’i setlo. Gwaria’r prawf cysyniad ar y rhannau sydd heb eu setlo.
Cyfeiriadau
KVM ei hun
- KVM API documentation — rhyngwyneb ioctl
/dev/kvm, sef holl gontract yr hypervisor - Linux 2.6.20 release notes — y rhyddhad yr unwyd KVM iddo, Chwefror 2007
- Some KVM developments — LWN, Ionawr 2007, ar KVM yn y dyddiau ar ôl iddo lanio yn y brif linell
Sut mae’r hypervisors eraill wedi’u hadeiladu
- Interpreting virtual machine monitor and executable failures — disgrifiad Broadcom ei hun o VM ESXi sy’n rhedeg fel “several processes or userworlds”, gydag un VMM i bob vCPU ac un VMX i bob VM
- The Architecture of VMware ESXi (PDF) — y papur gwyn sy’n galw VMkernel yn “a POSIX-like operating system” gyda phrosesau, signalau, system ffeiliau ac edafedd. Wedi’i gysylltu drwy ddrych am na oroesodd URL gwreiddiol VMware ad-drefnu Broadcom, sy’n sylw bach ynddo’i hun ar barhad gwerthwyr
- Hyper-V architecture — Microsoft ar y Virtual Machine Worker Process fel cydran modd defnyddiwr, un i bob VM, lle mae pob dyfais wedi’i hefelychu’n byw
- The Nutanix Bible — AHV architecture — AHV wedi’i ddisgrifio fel KVM gyda libvirt, QEMU ac Open vSwitch
Pwy sy’n rhedeg KVM, a sut y gwnaethon nhw ei newid
- 7 ways we harden our KVM hypervisor at Google Cloud — Google ar redeg KVM heb QEMU, a’r caledu a wnaethon nhw i fyny’r afon
- The AWS Nitro System — pa fathau o enghreifftiau EC2 sy’n rhedeg hypervisor Nitro
- AWS EC2 Virtualization 2017: Introducing Nitro — adroddiad Brendan Gregg ar y newid o Xen i KVM, y disgrifiad cliriaf ohono o hyd
- Firecracker — VMM lleiaf posibl AWS sy’n seiliedig ar KVM, y tu ôl i Lambda a Fargate
- Alibaba Cloud’s sixth-generation ECS instances — hypervisor X-Dragon a dadlwytho MoC
- KubeVirt — y model QEMU/KVM-mewn-pod y tu ôl i OpenShift Virtualisation a Harvester
- OpenStack Nova hypervisor support matrix — KVM fel y gyrrwr cyfeirio
Beth mae Proxmox yn ei gynnal
- The Proxmox GitHub organisation — 89 ystorfa, gan gynnwys
pve-qemu,pve-kernel,pve-edk2-firmwarea phecynnu ar gyferlxc,zfsonlinux,openvswitch,libiscsi,corosync-pveaceph pve-qemupatch series — y 78 clyt a gyfrifwyd uchod, a’r ffordd gyflymaf o weld yn union beth mae Proxmox yn ei ychwanegu at QEMU- Proxmox VE storage documentation — y rhestr ategion brodorol, pa fathau storio sy’n cael eu rhannu, a’r llinell am ddefnyddio pob technoleg storio sydd ar gael i Debian Linux
nvme-clianvmetcli— offer gwesteiwr a tharged NVMe-oF;aoetoolsavbladear gyfer y cyfwerth ATA dros Ethernet. Y cyfan yn Debian trixie, sef sylfaen Proxmox VE 9- Proxmox VE pricing and subscription tiers — beth mae’r tanysgrifiad yn ei gynnwys
Datgeliad: rwy’n gweithio i croit, Partner Aur Proxmox. Mae’r honiadau technegol uchod wedi’u cyrchu a gellir eu gwirio; y paragraff masnachol yw’r rhan lle mae gen i fuddiant, felly trin hi felly.