Y rhagdybiaeth mae Ansible fel arfer yn cael ei gwneud

Mae bron pob modiwl Ansible rwyt ti wedi’i ddefnyddio yn gweithio fel hyn: mae Ansible yn cysylltu â’r gwesteiwr sydd wedi’i enwi yn yr inventory, yn copïo rhaglen Python fach iddo, yn ei rhedeg, ac yn darllen y canlyniad yn ôl. Y gwesteiwr yw’r peth sy’n cael ei newid a’r peth sy’n gwneud y gwaith.

Mae creu peiriant rhithwir yn torri hynny yn y ffordd fwyaf sylfaenol bosibl. Dydy’r gwesteiwr rwyt ti’n ei adeiladu ddim yn bodoli. Does ganddo ddim IP, dim daemon SSH, dim Python, a dim system weithredu. Does dim byd i gysylltu ag ef.

Felly dydy community.proxmox ddim yn asiant ffurfweddu. Cleient API ydy e sy’n digwydd cael ei ddosbarthu fel casgliad Ansible. Fel y cyfryw, mae popeth yn y post hwn yn deillio o’r un ffaith honno: lle mae’r tasgau’n rhedeg, sut rwyt ti’n cael manylion mewngofnodi i mewn, pam nad yw ail-redeg yn gwneud yr hyn rwyt ti’n ei ddisgwyl, a pham nad yw --check yn dweud y gwir wrthot ti.

Mae’r enghreifftiau yma wedi’u tocio o playbook sy’n adeiladu VMs Windows a Linux o gofnodion NetBox: proxmox-create-vms.yml. Dw i wedi gwneud enwau’r nod, y storfa a’r bont yn generig er mwyn eu darllen yn haws. Mae’r peth go iawn yn y storfa god honno.

Cafodd popeth dw i’n ei honni am ymddygiad modiwlau isod ei wirio yn erbyn community.proxmox 1.6.0, sef y fersiwn sydd gen i wedi’i gosod:

$ ansible-galaxy collection list community.proxmox
# /home/damien/.ansible/collections/ansible_collections
Collection        Version
----------------- -------
community.proxmox 1.6.0

Yn gyntaf: mae’r casgliad wedi symud

Os wyt ti’n darllen playbook hŷn neu ateb hŷn, roedd y modiwlau’n cael eu galw’n community.general.proxmox_kvm. Maen nhw bellach yn byw mewn casgliad pwrpasol, a dyna lle mae’r datblygu’n digwydd. Mae fersiwn 1.6.0 yn cynnwys 47 modiwl, yn cwmpasu Ceph, SDN, wal dân, rheolau HA ac ymuno â chlwstwr, a doedd dim un o’r rheini’n bodoli yng nghyfnod community.general.

ansible-galaxy collection install community.proxmox
pip install 'proxmoxer>=2.0' requests

Dydy’r ddibyniaeth Python ddim yn ddewisol a dydy hi ddim wedi’i chynnwys: mae’r casgliad yn datgan requirements: ["proxmoxer >= 2.0", "requests"], ac mae angen gosod y rheini lle bynnag mae’r modiwl yn rhedeg mewn gwirionedd, a dydy hynny ddim, fel mae’r adran nesaf yn esbonio, ar nod Proxmox.

requirements.yml, os byddai’n well gen ti ei binio:

---
collections:
  - name: community.proxmox
    version: ">=1.6.0"

Mae’r casgliad wedi’i brofi yn erbyn ansible-core 2.17 hyd at 2.20. Ailenwi dy dasgau community.general.proxmox_* yn community.proxmox.proxmox_* yw’r rhan fwyaf o’r mudo.

Mae pob tasg Proxmox yn rhedeg ar localhost

Mae dwy linell ar frig y play yn gwneud y gwaith trwm, ac mae’r ddwy’n edrych fel petaen nhw’n analluogi rhywbeth defnyddiol:

- name: Create Proxmox virtual machines
  hosts: "{{ target_hosts | default('cluster_pve:&status_planned') }}"
  gather_facts: false
  serial: 1

Dydy gather_facts: false ddim yn optimeiddio. Mae casglu ffeithiau’n cysylltu â gwesteiwr yr inventory, a VM sydd heb ei adeiladu eto yw gwesteiwr yr inventory. Gad e ymlaen ac mae’r play yn methu cyn y dasg gyntaf.

Wedyn mae pob tasg Proxmox yn cario delegate_to: localhost:

- name: Create Proxmox VM
  delegate_to: localhost
  register: created_vm
  community.proxmox.proxmox_kvm:
    api_user: "{{ proxmox_user }}"
    api_password: "{{ proxmox_password }}"
    api_host: "{{ proxmox_api_ip }}"
    name: "{{ inventory_hostname }}"
    node: "{{ proxmox_api_host }}"
    ...

Dim ond enw a bag o newidynnau yw gwesteiwr yr inventory bellach. Mae inventory_hostname yn troi’n enw’r VM; mae ei newidynnau’n disgrifio’r peiriant rwyt ti ei eisiau. Does dim byd yn cysylltu ag ef. Mae’r dasg yn rhedeg ar y nod rheoli, sy’n agor sesiwn HTTPS i api_host ac yn postio diffiniad VM.

Byddi di hefyd yn gweld hyn wedi’i ysgrifennu fel local_action:, sef y gystrawen hŷn ar gyfer yr un peth. Mae’r playbook datgymalu yn y storfa god honno’n ei ddefnyddio drwyddo draw. Maen nhw’n gyfwerth. delegate_to yw’r sillafiad cyfredol.

Mae’r drws cefn yn pwyntio at y nod

Mae rhai pethau wir yn gorfod digwydd ar westeiwr Proxmox, ac mae’r tasgau hynny’n dirprwyo i rywle arall yn gyfan gwbl:

- name: Fail if no ISO file exists for the OS
  delegate_to: "{{ proxmox_api_host }}"
  ansible.builtin.stat:
    path: "{{ iso | replace('isos:', '/mnt/pve/isos/template/') }}"
  register: iso_file
  failed_when: not iso_file.stat.exists

Cysylltiad SSH go iawn â nod go iawn yw hwnna, yn gwirio llwybr go iawn ar storfa a rennir, oherwydd bydd yr API yn hapus i dderbyn cyfeiriad ISO nad yw’n arwain at ffeil, a byddai’n well gen ti ganfod hynny nawr nag wrth gychwyn. Sylwa ar y llawdriniaeth llinyn sy’n troi cyfeiriad storfa PVE (isos:iso/debian.iso) yn llwybr system ffeiliau. Dydy haen haniaethol y storfa ddim ar gael i stat.

Felly mae gan un play dasgau’n rhedeg mewn tri lle gwahanol, a’u cymysgu yw’r ffordd fwyaf cyffredin i’r playbooks hyn fethu:

Lle mae pob tasg mewn playbook adeiladu Proxmox yn rhedeg mewn gwirioneddNod rheoli Ansibledelegate_to: localhostproxmox_kvmproxmox_vm_infoproxmox_diskproxmox_access_aclmae pob un yn gleientHTTPS, nid yn asiantproxmoxer ≥ 2.0 + requestswedi’u gosod yma, nid ar y nodgather_facts: falseNod Proxmox: pve1pvedaemon, REST APIar borth 8006qm, /etc/pve, storfamae diffiniad y VM yn glanio ymay VM rwyt ti’n ei greudim IP · dim SSH · dim Pythondim system weithreduyn yr inventory, dim ondenw a bag o vars yw eAPISSHqm setstatdim byd i gysylltu ag efddim tan play diweddarach
Tri chyd-destun gweithredu mewn un play. Dydy modiwlau Proxmox byth yn cyffwrdd â’r nod na’r gwestai: cleientiaid HTTPS ydyn nhw sy’n rhedeg wrth ochr y playbook. Y drws cefn qm yw’r unig ran sydd angen SSH i hypervisor.

Manylion mewngofnodi, a rhagosodiad sydd ar fin newid

Mae pob modiwl yn y casgliad yn rhannu’r opsiynau dilysu drwy ddarn dogfennaeth, felly maen nhw’r un fath ym mhobman: api_host, api_user, ac yna naill ai api_password neu’r pâr api_token_id / api_token_secret. Mae pob un ohonyn nhw’n disgyn yn ôl ar newidynnau amgylchedd, sef PROXMOX_HOST, PROXMOX_USER, PROXMOX_PASSWORD, PROXMOX_TOKEN_ID, PROXMOX_TOKEN_SECRET, PROXMOX_VALIDATE_CERTS, a dyna’r ffordd lanaf o gadw cyfrinachau allan o’r play yn llwyr.

Tocyn API yw’r rhagosodiad gorau. Mae ganddo gwmpas penodol, mae modd ei ddirymu heb newid cyfrinair person, a gellir rhoi iddo’r union freintiau mae’r playbook eu hangen yn hytrach na’r rhai sydd gan berson digwydd bod:

- name: Create Proxmox VM
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    api_host: "{{ proxmox_api_ip }}"
    api_user: ansible@pve
    api_token_id: automation
    api_token_secret: "{{ proxmox_token_secret }}"
    validate_certs: true
    ca_path: /etc/ssl/certs/pve-cluster-ca.pem

Gosod validate_certs yn benodol, heddiw. Mae dogfennaeth y casgliad ei hun yn ei ddweud yn blaen:

Currently defaults to false and changes default to true with community.proxmox 2.0.0.

Sy’n golygu nad yw playbook sydd byth yn sôn amdano’n dilysu TLS ar hyn o bryd, ac y bydd yn dechrau dilysu, ac felly’n dechrau methu yn erbyn y dystysgrif hunan-lofnodedig sy’n dod gyda phob gosodiad Proxmox newydd, yr eiliad mae rhywun yn rhedeg --upgrade. Gwell gwneud y penderfyniad hwnnw’n fwriadol na’i gael yn glanio ar ganol adeiladu. Os wyt ti’n cadw’r dystysgrif hunan-lofnodedig, dywed validate_certs: false a derbyn y canfyddiad; os oes gen ti gadwyn iawn, pwyntia ca_path ati. Y naill ffordd neu’r llall, mae wedi’i ysgrifennu.

Y creu lleiaf posibl

Tynna’r dasg gynhyrchu i lawr i’r hyn sydd wir yn diffinio peiriant ac mae’n ddarllenadwy:

- name: Create Proxmox VM
  delegate_to: localhost
  register: created_vm
  community.proxmox.proxmox_kvm:
    api_host: "{{ proxmox_api_ip }}"
    api_user: ansible@pve
    api_token_id: automation
    api_token_secret: "{{ proxmox_token_secret }}"
    validate_certs: true

    node: pve1
    name: "{{ inventory_hostname }}"
    cores: "{{ vcpus | int }}"
    memory: "{{ memory }}"
    machine: q35
    bios: ovmf
    ostype: l26
    scsihw: virtio-scsi-single
    scsi:
      scsi0: "vmdata:32,format=qcow2,discard=on,ssd=1"
    sata:
      sata0: "isos:iso/debian-13-netinst.iso,media=cdrom"
    net:
      net0: "virtio,bridge=vmbr0"
    efidisk0:
      storage: vmdata
      format: raw
      efitype: 4m
      pre_enrolled_keys: true
    boot: "order=scsi0;sata0"
    agent: "enabled=1,fstrim_cloned_disks=1"
    onboot: true
    tags:
      - production

Mae ambell beth am y siâp hwnnw’n werth ei wybod cyn i ti ysgrifennu dy un dy hun.

Cystrawen PVE y tu mewn i YAML yw opsiynau’r dyfeisiau. Mae scsi, sata, net, virtio, ide i gyd o fath dict, gydag allweddi scsi0, net0 ac ati, a’r gwerthoedd yw’r llinynnau opsiwn wedi’u gwahanu gan atalnodau yn syth o man qm: <storage>:<size>,option=value ar gyfer disg, [model=]<enum>,option=value ar gyfer NIC. Dydy’r modiwl ddim yn eu modelu; mae’n eu hanfon ymlaen. Pan fydd rhywbeth yn cael ei wrthod, mae’r ateb yn cyfeirlyfr opsiynau PVE, nid yn nogfennaeth Ansible.

Byddi di hefyd yn gweld y rhain wedi’u hysgrifennu fel llinyn JSON yn hytrach na mapio YAML:

    net: '{"net0":"virtio,bridge={{ vlan_bridge }}"}'

Mae’r ddau’n gweithio. Mae Ansible yn trosi’r llinyn ar gyfer paramedr o fath dict. Mae’r ffurf JSON yn bodoli oherwydd ei bod yn haws templedu strwythur cyfan mewn un mynegiad Jinja. Mae’r ffurf mapio’n haws ei darllen chwe mis yn ddiweddarach.

Mae gan boot ddwy genhedlaeth o gystrawen. Mae’r modiwl yn derbyn yr hen lythrennau, lle mae boot: "cdn" yn golygu ‘rho gynnig ar y ddisg, wedyn CD-ROM, wedyn y rhwydwaith’. Mae PVE cyfredol eisiau rhestr drefnus benodol, boot: "order=scsi0;sata0;net0", sy’n ddiamwys ynglŷn â pha ddisg. Mae’r hen ffurf yn dal i weithio. Y ffurf benodol yw’r hyn rwyt ti ei eisiau mewn gwaith newydd. Un fagl go iawn wedi’i chladdu yn nogfennaeth y modiwl: mae cychwyn dros y rhwydwaith angen gosod rng0 ers PVE 8.3.5.

Mae numa a numa_enabled yn baramedrau gwahanol. numa_enabled yw’r boolean sy’n troi NUMA ymlaen. Mae numa yn dict sy’n disgrifio topoleg (cpus, hostnodes, memory, policy). Gwall math yw gosod numa: true, ac mae’n awr hawdd ei cholli. Os oes ots gen ti pam mae dim o hyn yn bwysig, mae NUMA alignment on Proxmox yn trafod y broblem sylfaenol.

machine: q35 a bios: ovmf yw’r rhagosodiadau cywir, nid addurn: y ddadl honno’n llawn.

Mae hepgor vmid yn golygu bod y modiwl yn gofyn i’r API am yr ID rhydd nesaf. Cyfleus, a’r achos uniongyrchol dros y peth nesaf.

Pam serial: 1

Dwy alwad API gyda bwlch yn y canol yw ‘nôl yr ID nesaf sydd ar gael, wedyn creu VM ag ef’. Gall dau weithiwr sy’n gwneud hynny ar yr un pryd ddarllen yr un ID rhydd, ac mae’r collwr yn cael gwall neu, yn waeth, syrpréis.

Mae serial: 1 yn gwneud y cam creu un gwesteiwr ar y tro. Dydy e ddim yn gyflym a does dim angen iddo fod. Mae’r rhan ddrud o adeiladu VM yn digwydd ar ôl i’r playbook hwn drosglwyddo’r gwaith. Mae’r play cyfatebol sy’n cychwyn y VMs gorffenedig yn defnyddio serial: 5, oherwydd does gan gychwyn ddim cownter a rennir i rasio arno.

Os byddai’n well gen ti gael y gwaith cyfochrog, dyrannu’r VMID dy hun o dy ffynhonnell wirionedd a’i basio’n benodol. Wedyn does dim darllen-addasu-ysgrifennu a dim ras.

Dydy idempotency ddim yr hyn rwyt ti’n ei ddisgwyl

Dyma’r adran i’w darllen ddwywaith, oherwydd dydy proxmox_kvm ddim yn ymddwyn fel ansible.builtin.package.

Dydy name ddim yn hunaniaeth. Dydy enwau VM ddim yn unigryw ar draws clwstwr Proxmox, ac mae’r modiwl yn dweud hynny. Gyda state: present a dim vmid, os oes VM â’r enw hwnnw’n bodoli’n barod, mae’r modiwl yn gadael gyda changed=false a msg: "VM with name <x> already exists" ac yn gwneud dim byd. Dydy e ddim yn cymharu dy baramedrau â’r realiti. Dydy e ddim yn cydgyfeirio. Mae’n gwrthod.

Mae update yn rhagosod i false. Felly mae golygu memory: yn dy playbook ac ail-redeg yn gwneud dim. Mae’r VM yn cadw’r cof y cafodd ei adeiladu ag ef, mae’r dasg yn adrodd llwyddiant, a does dim byd yn unman yn dweud wrthot ti fod y ddau wedi ymwahanu.

Mae update: true yn dal i wrthod y paramedrau diddorol. O ddogfennaeth y modiwl:

Because of the operations of the API and security reasons, I have disabled the update of the following parameters net, virtio, ide, sata, scsi. Per example updating net update the MAC address and virtio create always new disk…

Mae update_unsafe: true yn codi’r cyfyngiad hwnnw, a dydy’r rhybudd ddim yno i’w ddangos:

Use this option with caution because an improper configuration might result in a permanent loss of data (for example disk recreated).

Felly gall y ddisg roeddet ti’n meddwl dy fod yn newid ei maint gael ei disodli gan un newydd wag. Paid â chydio yn hwn: mae gan y paramedrau sy’n cael eu gwrthod eu modiwlau eu hunain, a dyna’r adran nesaf.

A dydy --check ddim yn cwmpasu dim o hyn. Mae’r casgliad yn datgan cefnogaeth check mode fesul modiwl, ac mae’n anghyson yn union i’r cyfeiriad anghywir:

Modiwlcheck_modediff_mode
proxmox_kvmdimdim
proxmox_diskdimdim
proxmox_templatedimdim
proxmox_snapllawndim
proxmox_nicllawndim
proxmox_poolllawndim

Nid ‘gall modiwlau darllen yn unig, all modiwlau ysgrifennu ddim’ yw’r rhaniad: mae proxmox_nic yn creu ac yn dileu rhyngwynebau ac yn parchu check mode yn berffaith. Y rhaniad yw nad yw’r tri modiwl sy’n delio â storfa a chylch bywyd VM yn gwneud hynny. Mae rhediad --check o playbook adeiladu’n hepgor creu’r VM yn dawel ac yna’n adrodd ar fyd lle na chafodd y VM erioed ei wneud, felly mae pob tasg ar ei ôl yn rhesymu am y cyflwr anghywir. Ar playbook adeiladu, dydy --check ddim yn rhwyd ddiogelwch, ac mae ei drin fel un yn waeth na pheidio â’i redeg.

Beth mae ail rediad o proxmox_kvm yn ei wneud mewn gwirioneddail rediad: state: present, ac mae VM â’r enw hwnnw’n bodolidydy’r modiwl byth yn cymharu dy baramedrau â’r VM sy’n rhedegupdate: falsey rhagosodiadchanged = false“VM with name <x>already exists”golygu’r cof yn y play,ail-redeg, a does dim bydyn unman yn dweud wrthot tiupdate: truecydgyfeirio’r rhan fwyafcreiddiau, cof, tagiau,asiant, onboot yn cael eu gosodnet, virtio, ide, sata,scsi, efidisk0, tpmstate0wedi’u gwrthod yn fwriadoldefnyddia proxmox_disk aproxmox_nic ar gyfer y rheiniupdate_unsafe: truecydgyfeirio’r cyfanmae’r paramedrau a wrthodwydyn cael eu gosod hefydgall paramedr disgail-greu’r ddisgcolli data’n barhaolyw’r risg a ddogfennwyd--checkyn dweud dim wrthot ticheck_mode: nonemae’r dasg yn cael ei hepgormae pob tasg wedynyn rhesymu am fydlle na chafodd y VMerioed ei greuDim ond dau o’r pedwar sy’n cydgyfeirio unrhyw beth, a’r unsy’n cwmpasu disgiau yw’r un sy’n gallu eu dinistrio.Felly gwna fodolaeth yn giât dy hun, a thrin creu feldigwyddiad un tro.
Beth mae ail rediad yn ei wneud mewn gwirionedd. Dim ond dau o’r pedwar llwybr sy’n cydgyfeirio unrhyw beth o gwbl, a’r unig un sy’n cwmpasu disgiau yw’r un sy’n gallu eu dinistrio.

Felly gwna fodolaeth yn giât

O ystyried hynny i gyd, y patrwm ymarferol yw rhoi’r gorau i ofyn i’r modiwl fod yn idempotent a phenderfynu drosot dy hun a ddylid adeiladu. Mae’r playbook cynhyrchu’n ei wneud fel hyn:

- name: Check if VM is present or manually built
  delegate_to: localhost
  community.proxmox.proxmox_vm_info:
    api_host: "{{ proxmox_api_ip }}"
    api_user: "{{ proxmox_user }}"
    api_password: "{{ proxmox_password }}"
    name: "{{ inventory_hostname }}"
    config: current
  register: existing_vm
  ignore_errors: true
  failed_when: (existing_vm.proxmox_vms | length) == 0

- name: Configure Proxmox VM
  when: existing_vm is failed
  block:
    - name: Create Proxmox VM
      ...

Mae proxmox_vm_info gyda config: current yn dychwelyd y VM a’i ffurfweddiad byw, neu restr wag. Mae failed_when yn troi ‘rhestr wag’ yn fethiant, mae ignore_errors: true yn atal y methiant hwnnw rhag dod â’r play i ben, ac mae when: existing_vm is failed yn troi’n ‘dydy’r VM ddim yno, adeilada fe’.

Mae defnyddio tasg sy’n methu’n fwriadol fel boolean yn darllen yn wael, a dw i ddim yn mynd i esgus fel arall. Y dewis arall yw when: (existing_vm.proxmox_vms | default([]) | length) == 0, sy’n onest am fod yn wiriad hyd a does dim angen ignore_errors arno. Mae’r ddau’n gweithio. Y fersiwn uchod sydd mewn cynhyrchu, a’i un fantais go iawn yw bod y canlyniad cofrestredig yn cario’r ffurfweddiad presennol i dasgau diweddarach ei ddarllen.

Y siâp sy’n bwysig, nid y sillafu: gwirio, yna canghennu, a thrin creu fel digwyddiad un tro. Mae ffurfweddiad parhaus VM yn broblem wahanol i fodolaeth VM, a dim ond yr ail sy’n dda gan y modiwl hwn.

Mae gan ddisgiau a NICs eu modiwlau eu hunain

Dyma’r peth wnes i ei frysio heibio uchod, ac mae’n newid y darlun cyfan: dydy’r paramedrau mae proxmox_kvm yn gwrthod eu diweddaru ddim yn fwlch yn y casgliad. Maen nhw wedi’u dirprwyo. Mae community.proxmox.proxmox_disk a community.proxmox.proxmox_nic yn ychwanegu, newid a dileu’r union bethau na fydd y modiwl creu yn eu cyffwrdd, gydag allweddi’r un enwau scsi0 a net0 a ddefnyddiaist wrth adeiladu’r VM.

Mae’r ddau’n ymddwyn yn well na proxmox_kvm, ac un ohonyn nhw yw’r unig fodiwl yn y llif gwaith hwn y gellir rhoi rhediad sych iddo.

proxmox_nic: ychwanegu, ail-dagio neu ddileu rhyngwyneb

- name: Move the VM's primary NIC to a new bridge and VLAN
  delegate_to: localhost
  community.proxmox.proxmox_nic:
    api_host: "{{ proxmox_api_ip }}"
    api_user: ansible@pve
    api_token_id: automation
    api_token_secret: "{{ proxmox_token_secret }}"
    vmid: "{{ created_vm.vmid }}"
    interface: net0
    bridge: vmbr1
    tag: 120
    model: virtio
    mtu: 1
    queues: 4
    firewall: true
    state: present

interface yw’r unig opsiwn gofynnol y tu hwnt i ddilysu, sef net[n] lle mae n rhwng 0 a 31, ac mae state: present neu absent yn rhoi ychwanegu a dileu i ti. Mae model yn rhagosod i virtio, sef yr ateb cywir oni bai na all gwestai ymdopi.

Y cyfeiriad MAC yw’r rheswm mae’r modiwl hwn yn bodoli. Cofia pam mae proxmox_kvm yn gwrthod diweddaru net: ‘updating net update the MAC address’. Mae proxmox_nic yn trwsio hynny’n benodol:

When not specified this module will keep the MAC address the same when changing an existing interface.

Felly gelli di ail-dagio VLAN, symud pont, newid yr MTU neu droi’r wal dân ymlaen heb i hunaniaeth NIC y gwestai newid oddi tano. Mae hynny’n bwysicach nag mae’n swnio: mae MAC newydd yn annilysu neilltuadau DHCP, yn torri unrhyw beth sydd wedi’i drwyddedu i NIC, ac yn dad-gydamseru’r cofnod rhyngwyneb NetBox a ysgrifennodd y playbook creu mor ofalus. Dyma’r modiwl sy’n gadael i newid rhwydwaith ar ddiwrnod 2 fod yn ddiflas.

Ambell opsiwn sy’n werth ei wybod cyn i ti ei angen:

  • Mae rate mewn MBps, MegaBeitiau yr eiliad, nid didau. Mae’r ddogfennaeth yn glir ac mae’n hawdd iawn gwneud y camgymeriad ffactor o wyth.
  • Mae link_down: true yn datgysylltu’r rhyngwyneb, a ddisgrifir yn y ddogfennaeth fel ‘like pulling the plug’. Ffordd lân o ynysu VM amheus heb ei stopio na chyffwrdd â’r gwestai.
  • Mae trunks yn cymryd rhestr o IDs VLAN i’w pasio drwodd, ar gyfer gwestai sy’n gwneud ei dagio ei hun.
  • Dydy mtu: 1 ddim yn gamgymeriad teipio a dydy e ddim yn MTU o 1 beit: mae’n golygu ‘etifeddu MTU y bont’, a dim ond i virtio mae’n berthnasol.
  • Mae queues yn gosod multiqueue, 0 i 16. Gwerth ei baru â nifer y vCPUs ar unrhyw beth sy’n gwthio traffig go iawn.

Ac mae’n cefnogi check mode yn llawn. Mae --check ar dasg proxmox_nic yn dweud y gwir wrthot ti, sy’n ei gwneud yr un rhan o’r llif gwaith hwn y gelli di ei hymarfer yn ddiogel. Mae ei negeseuon yn idempotent iawn hefyd. Mae rhyngwyneb heb ei newid yn adrodd Nic net0 unchanged on VM with vmid 103 yn hytrach na honni newid.

proxmox_disk: cylch bywyd cyfan y ddisg

proxmox_disk yw’r modiwl mwyaf o’r tri, ac mae ei state yn gwneud pum swydd wahanol:

stateBeth sy’n digwyddModd ei wrthdroi?
presentcreu’r ddisg, neu ddiweddaru opsiynau ar un sy’n bodoliamherthnasol
resizedei thyfu: all PVE ddim crebachu, ac mae’r ddogfennaeth yn dweud gwna hynny â llawna
detachedyn troi’n unused[n]; mae’r gyfrol a’i data’n arosie
movednewid y storfa gefn, neu roi’r ddisg i VM arally gwreiddiol yn cael ei gadw oni bai am delete_moved
absentwedi’i thynnu o’r storfa gefnna

Y bwlch rhwng detached ac absent yw’r rhwyd ddiogelwch nad yw proxmox_kvm byth yn ei rhoi i ti. Newid ffurfweddiad yw datgysylltu; mae dileu’n dinistrio data. Dau air gwahanol, dau ganlyniad gwahanol.

Ychwanegu ail ddisg at VM sy’n bodoli’n barod:

- name: Add a data disk
  delegate_to: localhost
  community.proxmox.proxmox_disk:
    api_host: "{{ proxmox_api_ip }}"
    api_user: ansible@pve
    api_token_id: automation
    api_token_secret: "{{ proxmox_token_secret }}"
    vmid: "{{ created_vm.vmid }}"
    disk: scsi1
    storage: vmdata
    size: 200
    format: qcow2
    iothread: true
    aio: io_uring
    discard: "on"
    ssd: true
    backup: true
    state: present

create yw’r bwlyn y dylai proxmox_kvm fod wedi’i gael. Mae’n rheoli beth mae state: present yn cael ei wneud:

  • regular (y rhagosodiad): creu’r ddisg os yw ar goll, fel arall diweddaru ei hopsiynau.
  • disabled: diweddaru opsiynau’n unig, a byth creu. Dyma’r un i gydio ynddo pan fyddi di’n newid cache neu iothread ar ddisg sy’n gorfod bodoli’n barod. All e ddim dy synnu drwy greu cyfrol newydd o ddim oherwydd bod allwedd wedi’i chamsillafu.
  • forced: creu bob amser. Mae disg sy’n bodoli’n cael ei datgysylltu a’i gadael heb ei defnyddio, nid ei dileu.

Yr ymddygiad olaf hwnnw yw’r manylyn pwysig. create: forced yw’r opsiwn sy’n edrych yn ddinistriol, a dydy e dal ddim yn dinistrio dim byd: mae’r hen gyfrol yn goroesi fel unusedN a gelli di ei hailgysylltu. Cymhara hynny â proxmox_kvm gyda update_unsafe, a’i ddull methu wedi’i ddogfennu yw disg wedi’i hail-greu. Tua’r un weithred, radiws ffrwydrad llawer gwell.

Tyfu disg:

- name: Grow the data disk by 100 GiB
  delegate_to: localhost
  community.proxmox.proxmox_disk:
    api_host: "{{ proxmox_api_ip }}"
    api_user: ansible@pve
    api_token_id: automation
    api_token_secret: "{{ proxmox_token_secret }}"
    vmid: "{{ created_vm.vmid }}"
    disk: scsi1
    size: "+100G"
    state: resized

Gwylia’r unedau, oherwydd mae ystyr size yn newid gyda state. Gyda state: present mae’n GiB fel rhif noeth (size: 200). Gyda state: resized mae’n cymryd ôl-ddodiad: +100G i ychwanegu at y maint presennol, neu 500G fel targed absoliwt. Un paramedr, dau gonfensiwn, ac mae’r methiant yn dawel os wyt ti’n dyfalu’n anghywir.

Symud disg i storfa wahanol, sef achos mudo byw un gyfrol:

- name: Move the disk to NVMe storage
  delegate_to: localhost
  community.proxmox.proxmox_disk:
    api_host: "{{ proxmox_api_ip }}"
    api_user: ansible@pve
    api_token_id: automation
    api_token_secret: "{{ proxmox_token_secret }}"
    vmid: "{{ created_vm.vmid }}"
    disk: scsi1
    target_storage: nvme-pool
    bwlimit: 200000
    delete_moved: true
    timeout: 3600
    state: moved

Mae target_storage yn symud o fewn un VM; mae target_vmid yn rhoi’r ddisg i VM gwahanol ac mae angen yr un storfa ar y ddau. Maen nhw’n annibynnol ar ei gilydd. Mae delete_moved yn rhagosod i false, felly yn ddiofyn rwyt ti’n gorffen gyda dau gopi a’r gwreiddiol yn eistedd yno heb ei ddefnyddio: diogel, a ffordd dda o lenwi pwll storfa os nad wyt ti byth yn dod yn ôl ato.

Mae timeout yn rhagosod i 600 yma, yn erbyn 30 yn proxmox_kvm. Paramedr sy’n edrych yr un fath, gwahaniaeth ugain gwaith, oherwydd mae’r gweithrediadau hyn yn copïo data. Coda fe ar gyfer delweddau mawr neu storfa araf: mae’r ddogfennaeth yn dweud hynny ar gyfer moved ac import_from.

Sy’n dod â ni at yr opsiwn sy’n gwneud y modiwl hwn yn llwybr V2V a delweddau cwmwl:

    import_from: "vmdata:9000/base-debian13.qcow2"

Mae import_from yn adeiladu’r ddisg o gyfrol sy’n bodoli yn hytrach na dyrannu un wag: <STORAGE>:<VMID>/<NAME>, neu <STORAGE>:import/<NAME> gan ddefnyddio cyfeiriadur mewnforio’r storfa ar PVE 9.x ac yn ddiweddarach. Mae’n annibynnol ar size, a dim ond root sy’n gallu defnyddio llwybrau system ffeiliau absoliwt.

Gweddill y rhestr baramedrau yw’r rheswm dros gysylltu disgiau gyda’r modiwl hwn yn hytrach nag yn yr alwad creu: cache, aio, iothread, discard, ssd, backup, detect_zeroes, a’r teulu sbardunu cyfan, sef iops, iops_rd, iops_wr, eu hamrywiadau _max a _max_length, a rheolyddion pyliau bps_*_max_length. Does dim o hynny ar gael drwy proxmox_kvm ar ôl creu.

Dau gafeat, y ddau o ddogfennaeth y modiwl ei hun:

  • Mae rhai newidiadau opsiwn angen ailgychwyn. ‘Some updates on options (like cache) are not being applied instantly and require VM restart.’ Mae tasg werdd yn golygu bod y ffurfweddiad wedi’i ysgrifennu, nid bod y VM sy’n rhedeg yn ymddwyn yn wahanol.
  • Dydy e ddim yn cefnogi check mode. check_mode: none, yr un fath â proxmox_kvm. Felly mae’r casgliad yn hollti i lawr y canol: gellir ymarfer newidiadau NIC gyda --check, ond nid newidiadau disg.

Rhannu’r gwaith

I wneud hynDefnyddia
Creu’r VMproxmox_kvm, unwaith, gyda bodolaeth yn giât
Newid creiddiau, cof, tagiau, asiant, onbootproxmox_kvm gyda update: true
Ychwanegu, ail-dagio, datgysylltu neu ddileu NICproxmox_nic
Ychwanegu, tyfu, symud, datgysylltu neu ddileu disgproxmox_disk
Ciplunproxmox_snap (check mode llawn hefyd)
Unrhyw beth nad yw’r un ohonyn nhw’n ei ddatgeluqm set dros SSH
Newid disg neu NIC drwy proxmox_kvmdim: dyma beth yw pwrpas update_unsafe, a dyna pam na ddylet ti ei ddefnyddio

Adeilada’r VM gydag alwad proxmox_kvm fach, wedyn cysyllta’r disgiau a’r rhyngwynebau gyda’u modiwlau eu hunain. Mae’n fwy o dasgau, a dyma’r fersiwn lle mae gan newidiadau diwrnod 2 lwybr nad yw’n cynnwys opsiwn a’i risg wedi’i ddogfennu yw colli disg.

Lle mae’r modiwl yn stopio

Mae gan proxmox_kvm restr baramedrau enfawr a dydy e dal ddim yn cwmpasu popeth y gall qm ei wneud. Yn hytrach nag aros, mae’r playbook cynhyrchu’n disgyn i’r CLI ar y nod:

- name: Set RNG source and better SPICE quality
  delegate_to: "{{ proxmox_api_host }}"
  become: true
  ansible.builtin.command:
    cmd: >-
      /usr/sbin/qm set {{ created_vm.vmid }}
      --rng0 source=/dev/urandom
      --spice_enhancements videostreaming=all

Does dim byd o’i le ar hyn. Dydy e ddim yn idempotent mewn unrhyw ystyr ystyrlon, gan mai ysgrifennu yw qm set a bydd yn adrodd changed bob rhediad, ond mae’n benodol, mae’n ddarllenadwy, a dydy e ddim yn esgus. Os bydd modiwl yn cael y paramedr yn nes ymlaen, rwyt ti’n dileu’r dasg.

Mae pethau eraill angen ail bàs drwy’r modiwl gyda update: true, oherwydd allan nhw ddim cael eu gosod yn yr un alwad sy’n creu’r VM:

- name: Add SPICE-compatible USB device
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    api_host: "{{ proxmox_api_ip }}"
    api_user: "{{ proxmox_user }}"
    api_password: "{{ proxmox_password }}"
    node: "{{ proxmox_api_host }}"
    vmid: "{{ created_vm.vmid }}"
    usb:
      usb0: "spice,usb3=1"
    update: true
  when: spice_usb | default(false)

Sylwa ei fod yn pasio vmid, nid name. Unwaith y bydd gen ti’r ID, defnyddia fe. Dyma’r unig ddynodwr mae’r API yn ei drin fel un unigryw.

Ac ar gyfer y pethau y gall QEMU eu gwneud nad oes gan PVE opsiwn ar eu cyfer, mae args, sy’n cael ei basio i linell orchymyn QEMU air am air:

    args: >-
      -global scsi-hd.physical_block_size=4k
      -global scsi-hd.logical_block_size=4096

Mae’r un yna’n cyflwyno’r ddisg rithwir fel 4Kn yn hytrach na 512e, sy’n bwysicach nag mae’n swnio: block sizes, 4Kn and 512e. Mae’r modiwl yn labelu args yn ‘for experts only’, a’r rheswm yw nad yw PVE yn ei ddilysu ac mae baner wael yn atal y VM rhag cychwyn gyda gwall sy’n dod o QEMU yn hytrach nag o Proxmox.

Dydy’r clwstwr ddim yn gyson ar unwaith

- name: Let registration complete on cluster
  ansible.builtin.pause:
    seconds: 5
  when: created_vm.changed

Mae pause mewn playbook fel arfer yn arogl drwg, ac mae’r un yma’n cynnal llwyth. Mae’r alwad creu’n dychwelyd pan fydd yr API wedi derbyn y diffiniad, a dydy hynny ddim yr un peth â bod pob nod yn cytuno bod y VM yn bodoli, ac mae’r dasg nesaf un eisiau gosod ACL ar /vms/<vmid>. Mae pum eiliad o amynedd yn rhatach na dolen ailgeisio o gwmpas gwall sydd ond yn ymddangos dan lwyth.

Mae gan y playbook datgymalu yr un siâp am yr un rheswm: stopio, aros, wedyn dileu.

Darllen yn ôl yr hyn a adeiladaist

Mae proxmox_kvm yn dogfennu tri gwerth dychwelyd: vmid, status a msg. Yn ymarferol byddi di eisiau pedwerydd, a dydy e ddim yn y ddogfennaeth.

- name: Get MAC address of VM
  ansible.builtin.set_fact:
    primary_mac_addr: "{{ created_vm.mac.net0 }}"

Mae created_vm.mac yn real: mae’r modiwl yn ei adeiladu yn get_vminfo() ac yn ei daenu i’r canlyniad, ond mae ar goll o’r bloc RETURN wedi’i ddogfennu, sy’n golygu nad oes dim byd yn addo y bydd yn dal i weithio. Gwerth gwybod yn union sut mae’n ymddwyn, oherwydd mae dwy fagl ynddo:

  1. Dim ond pan wnaeth y modiwl greu’r VM mewn gwirionedd mae’n ymddangos. Dim ond ar y llwybr creu-a-defnyddio mae mac yn cael ei gydosod. Cymer y gangen ‘yn bodoli’n barod’ ac mae gan y canlyniad vmid a msg a dim byd arall.
  2. Dim ond y rhyngwynebau a basiaist i mewn mae’n eu cynnwys. Mae’r cod yn cerdded drwy’r paramedrau a roddaist ti ac yn dewis y rhai sy’n cyfateb i net[0-9], yna’n darllen ffurfweddiad cadw pob un yn ôl o’r API. Dim paramedr net, dim allwedd mac.

Dyna pam mae’r playbook cynhyrchu angen y ddau hanner, ac mae’r ail yn hyll:

- name: Get MAC address of VM
  ansible.builtin.set_fact:
    primary_mac_addr: >-
      {{ created_vm.mac.net0 if created_vm is defined and created_vm.changed
         else ((existing_vm.proxmox_vms[0].config.net0 | split(','))[0] | split('='))[1] }}

Pan oedd y VM yn bodoli’n barod, does dim mac, felly mae’n rhaid cloddio’r MAC allan o’r llinyn ffurfweddiad crai. Mae net0 yn dod yn ôl o’r API fel virtio=AE:AE:5C:A8:89:85,bridge=vmbr0, felly: hollti ar atalnodau, cymryd y maes cyntaf, hollti ar =, cymryd yr ail hanner. Llawdriniaeth llinyn ar ymateb API yw hi, a dyna gost onest modiwl y mae siâp ei ddychweliad yn dibynnu ar ba gangen a gymerodd.

Os wyt ti angen y MAC yn ddibynadwy yn y ddau achos, cymer e o proxmox_vm_info bob tro a dosrannu un siâp yn hytrach na dau.

Ei yrru o ffynhonnell wirionedd

Edrych eto ar y llinell sy’n agor y play:

hosts: "{{ target_hosts | default('cluster_pve:&status_planned') }}"

Dyna’r bensaernïaeth go iawn, ac mae’n werth ei datgan yn blaen: dydy’r VMs i’w hadeiladu ddim yn rhestr mewn ffeil vars. Nhw yw’r gwesteiwyr yn dy inventory y mae eu statws cofnodedig yn dweud y dylen nhw fodoli a dydyn nhw ddim yn bodoli eto.

NetBox yw’r inventory yma. Mae VM yn cael ei gais drwy greu cofnod NetBox gyda statws planned, yn cario ei CPU, cof, disg, VLAN, perchennog a phlatfform. Mae’r playbook yn dewis peiriannau planned, yn eu hadeiladu, yn dyrannu IP, yn ysgrifennu DNS, ac yna’n gosod y cofnod i staged, ac ar y pwynt hwnnw dydy’r gwesteiwr hwnnw ddim yn cyfateb i batrwm gwesteiwyr y play mwyach, ac mae handler yn adnewyddu’r inventory fel bod y play nesaf yn gweld y cyflwr newydd:

handlers:
  - name: Refresh inventory
    ansible.builtin.meta: refresh_inventory

Peiriant cyflwr yw’r maes statws, un trawsnewidiad ynddo yw’r playbook, ac mae’r cyfan yn bosibl ei ail-redeg oherwydd dydy gwesteiwr sydd wedi symud ymlaen yn barod ddim yn cael ei ddewis mwyach. Mae hynny’n nodwedd llawer gwell nag unrhyw faint o idempotency ar lefel modiwl, a dyna’r rheswm y gall y dasg creu lwyddo i fod yn un ergyd.

Mae community.proxmox hefyd yn cynnwys ei ategyn inventory ei hun, sy’n adeiladu inventory o’r clwstwr, sef y dewis cywir pan mai Proxmox yw’r ffynhonnell wirionedd. Yma mae’r ffordd arall rownd: NetBox sy’n awdurdodol a Proxmox yw lle mae ei fwriad yn cael ei wireddu. Mae hynny’n bost cyfan ynddo’i hun a bydda i’n ei ysgrifennu ar wahân.

Ei dynnu i ffwrdd eto

Hanner cylch bywyd yw creu heb ddatgymalu, ac mae gan y llwybr dileu ei fagl ei hun: alli di ddim dileu VM sy’n rhedeg:

- name: Force stop the VM if it is running
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    api_host: "{{ proxmox_api_ip }}"
    api_user: "{{ proxmox_user }}"
    api_password: "{{ proxmox_password }}"
    name: "{{ inventory_hostname }}"
    state: stopped
    force: true
    timeout: 10

- name: Allow the cluster to stop the VM before removing it
  ansible.builtin.pause:
    seconds: 10

- name: Remove the VM from the cluster
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    api_host: "{{ proxmox_api_ip }}"
    api_user: "{{ proxmox_user }}"
    api_password: "{{ proxmox_password }}"
    name: "{{ inventory_hostname }}"
    state: absent
    force: true
    timeout: 10

Cau i lawr graslon yw state: stopped, ac mae’r rhyngweithio â timeout wedi’i ddogfennu ac yn werth ei gofio: os cyrhaeddir y terfyn amser gyda force: true mae’r VM yn cael ei ddiffodd yn galed; gyda force: false mae’r dasg yn methu yn lle hynny. Mae ffenestr raslon o ddeg eiliad ac yna tynnu’r plwg yn bolisi rhesymol ar gyfer peiriant sy’n cael ei ddatgymalu, ac yn un ofnadwy ar gyfer unrhyw beth arall.

Mae’r datgymalu llawn (proxmox-remove-vms.yml) wedyn yn dadweindio gweddill y cofnod: DNS, yr IP a ddyrannwyd, rhyngwynebau NetBox, VM NetBox, a’r cofnodion hen yn known_hosts. Mae’n lapio’r bloc yn ignore_errors: true, sy’n amddiffynadwy mewn datgymalu. Rwyt ti’n tynnu pethau a allai fod wedi mynd yn barod, ac mae peiriant hanner-dilëedig yn waeth na log swnllyd.

Beth fyddwn i’n ei newid mewn adeilad newydd

Ar ôl darllen cod ffynhonnell y modiwl yn hytrach na dim ond ei ddogfennaeth, pum peth:

  • Defnyddia docyn API, nid api_user gyda api_password. Cwmpas penodol, modd ei ddirymu, a dydy e byth yn perthyn i berson.
  • Gosod validate_certs yn benodol, cyn i 2.0.0 ei newid oddi tanat ti.
  • Dyrannu’r VMID dy hun o’r ffynhonnell wirionedd. Mae’n cael gwared ar y ras darllen-addasu-ysgrifennu, yn gadael i ti ollwng serial: 1, ac yn rhoi dynodwr sefydlog i bob tasg ddiweddarach yn lle enw nad yw’n unigryw.
  • Creu’r VM yn noeth, wedyn cysylltu ei ddisgiau a’i NICs gyda proxmox_disk a proxmox_nic. Mwy o dasgau, ond wedyn mae gan bob disg a rhyngwyneb fodiwl sy’n gallu ei newid yn nes ymlaen, gan gynnwys create: disabled ar gyfer golygiadau opsiwn yn unig a state: detached yn lle dileu, yn hytrach na ffurfweddiad y gellir ei newid drwy update_unsafe yn unig.
  • Cymer y MAC o proxmox_vm_info mewn un lle, fel bod un siâp i’w ddosrannu yn lle amod ar draws gwerth dychwelyd wedi’i ddogfennu ac un heb ei ddogfennu.

A phaid â chydio yn --check ar playbook adeiladu. All y modiwl sy’n bwysig ddim ei barchu.

Mae rhediad sych sydd bob amser yn dweud ie yn waeth na dim rhediad sych o gwbl, oherwydd byddi di’n ei gredu.

Cyfeiriadau