Mae’r gwesteiwr yn bodoli y tro hwn. Mae jyst ar yr hypervisor anghywir

Y tro diwethaf y broblem oedd nad oedd y peiriant a enwyd yn yr inventory yn bodoli eto: dim IP, dim SSH, dim Python, dim byd i gysylltu ag ef. Roedd yn rhaid dirprwyo pob tasg i ffwrdd oddi wrtho.

Mae mudo VMware yn troi hynny ben i waered ac yn newid dim byd. Mae’r peiriant yn bodoli, mae’n rhedeg, mae pobl yn ei ddefnyddio. Dwyt ti dal byth yn cysylltu ag ef. Enw a bag o newidynnau yw e sy’n disgrifio rhywbeth i’w ailadeiladu yn rhywle arall. Mae pob tasg yn dal i redeg ar y nod rheoli, a bellach mae dau API ar y pen arall yn lle un.

Nodyn ar beth yw hwn. Y dyluniad a’r playbook yw’r post hwn, nid stori ryfel. Dw i ddim wedi’i redeg yn erbyn ystâd gynhyrchu o’r dechrau i’r diwedd eto. Cafodd popeth dw i’n ei ddweud am ymddygiad modiwlau isod ei ddarllen allan o’r cod a ddosbarthwyd a’i wirio, a dw i wedi dweud yn blaen lle mae honiad yn dod o’r cod ffynhonnell yn hytrach nag o rediad. Pan fydda i wedi gwneud mudo go iawn ag ef, bydd y ffigurau a’r syrpreisys yn cael eu post eu hunain.

Y fersiynau y cafodd hyn ei wirio yn eu herbyn:

$ ansible --version | head -1
ansible [core 2.20.7]

$ ansible-galaxy collection list | grep -E 'vmware|proxmox'
community.proxmox 1.6.0
community.vmware  6.2.1
vmware.vmware     2.9.0

Mae’r darnau isod wedi’u torri o un playbook, sef migrate.yml, inventory deinamig vSphere yn inventory/vmware.vms.yml, ac un group_vars/all.yml. Dw i wedi gwneud enwau’r ganolfan ddata, y nod a’r storfa yn generig er mwyn eu darllen yn haws.

Siâp y gwaith

Pum cam, a dim ond yr olaf sy’n costio unrhyw beth.

gwesteion i fyny, dim mewn perygly toriaddiscoverdarllen y portgroupsdosbarthedig a’utagiau VLANsdnun parth VLAN,un VNet i bob VLANar Proxmoxbuildcregyn heb ddisg,CPU, RAM,cadarnwedd a MACs iawnrelocatestorage vMotion yVMDKs i NFS,tra maen nhw’n rhedegcutoverdiffodd, mewnforio’rdisgiau, gosod trefncychwyn a chychwyn y gwestaiMae popeth y gellir ei wrthdroi wedi’i wneud cyn diffodd dimY rhan araf yw’r symud, ac mae’n costio dim amser segur o gwbl. Erbyn i’r ffenestr agor mae’rdisgiau ar storfa mae Proxmox yn ei mowntio, felly mewnforio lleol yw’r newid, nid copi.Mae cragen heb ddisg yn rhad i’w dileu, felly mae camgymeriad cyn y newid yn costio amser yn unig.Mae rhoi’r gorau i’r mudo hanner ffordd yn gadael pob gwestai’n rhedeg ar VMware, heb ei gyffwrdd.
Mae popeth y gellir ei wrthdroi yn digwydd yn gyntaf. Mae’r cam araf am ddim, ac mae’r cam drud yn fyr, oherwydd erbyn hynny mae’r disgiau eisoes lle mae angen iddyn nhw fod.

Y drefn yw’r dyluniad cyfan. Dydy canfod ddim yn newid dim. Dim ond Proxmox mae adeiladu’r rhwydwaith yn ei newid. Dim ond Proxmox mae adeiladu’r cregyn yn ei newid, ac mae cragen heb ddisg yn rhad i’w dileu. Mae symud y disgiau’n araf ond yn fyw. Dim ond y play olaf sy’n diffodd unrhyw beth.

Cerdda i ffwrdd hanner ffordd drwodd ac mae pob gwestai’n dal i redeg ar VMware, heb ei gyffwrdd.

Dau gasgliad, ac mae un ohonyn nhw’n cael ei ymddeol

Rwyt ti angen y ddau, ac nid am y rheswm y byddet ti’n ei ddyfalu.

collections:
  - name: community.vmware
    version: ">=6.2.1"
  - name: vmware.vmware
    version: ">=2.5.0"
  - name: community.proxmox
    version: ">=1.6.0"

community.vmware yw’r hen gasgliad eang ac mae’n cael ei ddatgymalu. Mae ei MANIFEST.json yn datgan {"vmware.vmware": ">=2.5.0"} fel dibyniaeth gaeth, felly mae gosod y cyntaf yn tynnu’r ail i mewn p’un a wnest ti ofyn amdano ai peidio. Mae modiwlau’n symud ar draws un ar y tro, ac mae’r rhai rwyt ti’n cydio ynddyn nhw mewn mudo ar wahanol gamau o’r symud hwnnw:

  • vmware_dvs_portgroup_info: dim ond yn community.vmware o hyd, a dyma sy’n darllen dy VLANs.
  • vmware_vmotion: dim ond yn community.vmware o hyd.
  • vmware_guest_powerstate: wedi’i anghymeradwyo, wedi’i dynnu yn community.vmware 7.0.0. Defnyddia vmware.vmware.vm_powerstate.
  • vmware_vm_inventory: wedi’i anghymeradwyo, wedi’i dynnu yn 7.0.0. Defnyddia vmware.vmware.vms.

Mae Ansible yn dweud wrthot ti am anghymeradwyo’r modiwlau ar y rhediad cyntaf, sy’n deg ohono:

[DEPRECATION WARNING]: community.vmware.vmware_guest_powerstate has been deprecated.
Use vmware.vmware.vm_powerstate instead. This feature will be removed from
collection 'community.vmware' version 7.0.0.

Dydy e ddim yn dy rybuddio am yr ategyn inventory, oherwydd mae ategion inventory yn cael eu dosrannu cyn i’r peirianwaith hwnnw redeg. Mae’n rhaid i ti fynd i ddarllen yr ategyn.

Mae trydedd fagl yn y rhaniad. Mae vmware.vmware.vm_portgroup_info yn edrych fel yr union beth mae mudo rhwydwaith ei eisiau: fesul VM, fesul NIC, yn rhoi’r portgroup a’r VLAN i ti. Ond mae wedi’i adeiladu ar ModuleRestBase ac yn mewnforio com.vmware.vapi, sy’n golygu bod angen y vSphere Automation SDK arno ar y nod rheoli, nid dim ond pyVmomi. Mae ei werth dychwelyd wedi’i ddogfennu hefyd yn hen: mae’r bloc RETURN yn addo name a vlan_id, tra bod y cod mewn gwirionedd yn adeiladu portgroup_name a dict vlan_info ar gyfer yr achos dosbarthedig. Es i ffordd wahanol, isod, a doedd dim angen y naill na’r llall arna i.

Yr inventory yw’r canfod

Does dim play ‘dos i ddod o hyd i’r VMs’ yn y playbook hwn, oherwydd erbyn i’r dasg gyntaf redeg mae’r inventory wedi’i wneud yn barod, mewn un ymholiad property-collector yn hytrach na dolen fesul VM.

# inventory/vmware.vms.yml
plugin: vmware.vmware.vms

hostname: "{{ lookup('ansible.builtin.env', 'VMWARE_HOST') }}"
username: "{{ lookup('ansible.builtin.env', 'VMWARE_USER') }}"
password: "{{ lookup('ansible.builtin.env', 'VMWARE_PASSWORD') }}"
validate_certs: false

search_paths:
  - /Datacenter-1

properties:
  - name
  - config.name
  - config.uuid
  - config.guestId
  - config.firmware
  - config.template
  - config.hardware.numCPU
  - config.hardware.numCoresPerSocket
  - config.hardware.memoryMB
  - config.hardware.device
  - summary.runtime.powerState

gather_compute_objects: true
hostnames: ['name']
filter_expressions:
  - 'config.template'

Mae enw’r ffeil yn bwysig. Dim ond ffeiliau sy’n gorffen gyda vms.yml, vms.yaml, vmware_vms.yml neu vmware_vms.yaml mae verify_file yr ategyn yn eu hawlio. Galwa hi’n vcenter.yml a dydy hi ddim yn dy inventory, yn dawel.

Mae search_paths yn hidlo cyn yr ymholiad, nid ar ei ôl. Ar ystâd fawr dyna’r gwahaniaeth rhwng eiliadau a munudau, yn wahanol i filter_expressions, y mae’r ddogfennaeth yn glir amdano: mae’n rhedeg ar ôl casglu ac yn ‘does not affect the speed of the inventory plugin’.

Mae filter_expressions yn gollwng gwesteiwr pan fydd y mynegiad yn wir. Felly mae config.template yn tynnu templedi, sy’n darllen tuag yn ôl y tro cyntaf.

A’r llinell bwysig yw config.hardware.device, sydd ddim mewn unrhyw restr briodweddau ddiofyn yn unman. Dyma inventory caledwedd cyfan y VM, ac mae’n cario tri pheth na all y mudo hwn fynd yn ei flaen hebddyn nhw: MAC pob NIC, yr allwedd dvportgroup mae pob NIC wedi’i chysylltu â hi, a llwybr datastore pob disg. Hebddo rwyt ti’n ôl at ddolen vmware_guest_info, un daith gron fesul VM.

Mae’r dyfeisiau’n dod yn ôl fel JSON gyda’u math vSphere wedi’i gadw yn _vimtype. Mae hynny’n werth ei wybod oherwydd dyna sut rwyt ti’n gwahaniaethu NIC oddi wrth ddisg. Fe wnes i wirio’r amgodiwr yn hytrach na dyfalu:

{
  "_vimtype": "vim.vm.device.VirtualVmxnet3",
  "macAddress": "00:50:56:87:a5:9a",
  "backing": {
    "_vimtype": "...DistributedVirtualPortBackingInfo",
    "port": {
      "_vimtype": "vim.dvs.PortConnection",
      "portgroupKey": "dvportgroup-1014"
    }
  }
}

Felly gall bloc compose dynnu’r llwybrau lletchwith i fyny i hostvars gwastad:

compose:
  vm_moid: moid
  vm_firmware: config.firmware
  vm_memory_mb: config.hardware.memoryMB
  vm_num_cpu: config.hardware.numCPU

  # A virtual NIC is any device with a MAC. Filtering on _vimtype does not
  # work cleanly here, because VMXNET3, E1000 and SR-IOV cards are all
  # different types with no shared substring.
  vm_nics: >-
    config.hardware.device
    | selectattr('macAddress', 'defined')
    | selectattr('macAddress', 'ne', None) | list

  # Disks are one exact type, so this one can match on it.
  vm_disks: >-
    config.hardware.device
    | selectattr('_vimtype', 'eq', 'vim.vm.device.VirtualDisk') | list

Mae’r anghymesuredd hwnnw’n real ac mae’n dal pobl. Does dim math VirtualEthernetCard i’w baru. Dyna’r dosbarth sylfaen haniaethol, a’r hyn mae vCenter yn ei roi i ti mewn gwirionedd yw VirtualVmxnet3, VirtualE1000, VirtualE1000e, VirtualPCNet32 neu VirtualSriovEthernetCard. Does dim is-linyn sy’n gyffredin i bob un. Ond mae cael MAC yn beth dim ond NIC sy’n ei wneud.

Mae pob modiwl info yn cuddio’r maes rwyt ti ei angen

Dyma’r edau sy’n rhedeg drwy’r gwaith cyfan, ac unwaith y byddi di wedi’i weld dair gwaith rwyt ti’n dechrau gwirio pob rhagosodiad cyn ysgrifennu’r dasg.

Mae gan vmware_dvs_portgroup_info chwe opsiwn show_*. Mae pump yn rhagosod i true. show_vlan_info yw’r chweched, ac mae’n rhagosod i false.

show_mac_learning=dict(type='bool', default=True),
show_network_policy=dict(type='bool', default=True),
show_teaming_policy=dict(type='bool', default=True),
show_uplinks=dict(type='bool', default=True),
show_port_policy=dict(type='bool', default=True),
show_vlan_info=dict(type='bool', default=False),

Gad lonydd iddo ac rwyt ti’n cael polisi dysgu MAC, polisi teaming, trefn uplinks a pholisi porth ar gyfer pob portgroup yn yr ystâd. Popeth ond y tag VLAN, sef yr unig faes mae mudo rhwydwaith yn gofyn amdano mewn gwirionedd. Felly mae’r dasg tu chwith allan o’r hyn y byddet ti’n ei ysgrifennu wrth reddf: troi’r un peth ymlaen, troi’r pump arall i ffwrdd.

- name: Read the distributed portgroups
  community.vmware.vmware_dvs_portgroup_info:
    datacenter: "{{ vcenter_datacenter }}"
    show_vlan_info: true
    show_network_policy: false
    show_teaming_policy: false
    show_port_policy: false
    show_mac_learning: false
    show_uplinks: false
  register: dvs_pgs

Dydy e ddim yn achos unigol. Mae gan vmware.vmware.vms gather_compute_objects, sy’n llenwi cluster ac esxi_host: rhagosodiad false. Mae gan community.vmware.vmware_vm_info show_allocated, sef y bloc sy’n dal CPU a chof: rhagosodiad false. Ym mhob un o’r tri achos, y maes sy’n ddrud i’w gasglu yw’r un mae’r mudo ei angen, ac mae’r rhagosodiad yn diogelu achos defnydd adrodd darllen yn unig nad yw’n un rwyt ti ynddo.

Mae vlan_id yn dri math gwahanol

Wedyn rwyt ti’n cael y tagiau VLAN ac yn canfod nad ydyn nhw o un siâp. Yn syth o get_vlan_info:

if isinstance(vlan_obj, vim...TrunkVlanSpec):
    ...
    return dict(trunk=True, pvlan=False, vlan_id=vlan_id_list)
elif isinstance(vlan_obj, vim...PvlanSpec):
    return dict(trunk=False, pvlan=True, vlan_id=str(vlan_obj.pvlanId))
else:
    return dict(trunk=False, pvlan=False, vlan_id=str(vlan_obj.vlanId))

Mae portgroup mynediad yn rhoi’r llinyn "100" i ti. Mae PVLAN yn rhoi llinyn i ti. Mae trunk yn rhoi rhestr o linynnau i ti, pob un naill ai’n "20" neu’n "20-30". Ac mae gan bob switsh dosbarthedig o leiaf un trunk arno p’un a wnest ti greu un ai peidio, oherwydd mae’r portgroup uplink yn trunk sy’n cario "0-4094".

Felly dydy | int ddim ar gael i ti nes dy fod wedi taflu’r ddau siâp arall i ffwrdd:

access_pgs: >-
  {{ dvs_pgs.dvs_portgroup_info | dict2items | map(attribute='value') | flatten
     | rejectattr('vlan_info.trunk') | rejectattr('vlan_info.pvlan')
     | rejectattr('vlan_info.vlan_id', 'in', ['0', 0])
     | list }}

Tri gwrthodiad, yn y drefn honno. Mae trunks yn mynd, mae PVLANs yn mynd, ac yna mae portgroups heb dag yn mynd, sydd hefyd yn cael gwared ar y grwpiau uplink ac unrhyw beth ar VLAN 0.

Dw i ddim yn trosi trunks na PVLANs yn awtomatig a byddwn i’n gwthio’n ôl ar unrhyw un a wnaeth. Mae trunk VMware sy’n glanio ar Proxmox angen naill ai parth Q-in-Q neu VNet sy’n ymwybodol o VLAN, ac mae p’un sy’n gywir yn dibynnu ar beth mae’r gwestai’n disgwyl ei weld. Penderfyniad yw hynny, nid mapio. Mae’r playbook yn eu hargraffu ac yn symud ymlaen:

TASK [Report what was found]
ok: [localhost] => {
    "msg": "3 access portgroups -> [100, 200]. Not translated:
            ['dvs_001-uplink'] (trunks), ['isolated'] (PVLANs)."
}

Adlewyrchu’r VLANs yn SDN

Un parth VLAN wedi’i rwymo i bont, yna un VNet i bob VLAN gyda’r tag arno.

- name: Create the VLAN zone
  community.proxmox.proxmox_zone:
    zone: "{{ sdn_zone }}"
    type: vlan
    bridge: "{{ sdn_bridge }}"
    mtu: "{{ sdn_mtu }}"
    state: present

- name: Create one VNet per VMware VLAN
  community.proxmox.proxmox_vnet:
    vnet: "{{ sdn_vnet_prefix }}{{ item.vlan_info.vlan_id | int }}"
    zone: "{{ sdn_zone }}"
    tag: "{{ item.vlan_info.vlan_id | int }}"
    alias: "{{ item.portgroup_name }}"
    state: present
  loop: "{{ access_pgs | unique(attribute='vlan_info.vlan_id') }}"
  throttle: 1

Mae enwau VNet yn fyr ac yn gyfyngedig, a dydy enwau portgroup VMware ddim. Mae Production-Web-Tier-VLAN100 yn enw portgroup cwbl gyffredin ac yn enw VNet amhosibl. Felly mae’r enw’n cael ei gynhyrchu, v100, o’r tag, ac mae’r gwreiddiol darllenadwy’n mynd yn alias, lle mae’n aros yn weladwy yn y rhyngwyneb ac yn allbwn pvesh. Mae deillio’r enw o’r VLAN yn hytrach nag o’r portgroup hefyd yn golygu bod modd gwrthdroi’r mapio drwy edrych arno chwe mis yn ddiweddarach.

Mae dau bortgroup ar yr un VLAN yn cwympo i un VNet. Mae hynny’n gywir, gan mai’r un parth darlledu oedden nhw yn VMware hefyd, ond dylet ti ei weld yn digwydd, a dyna mae unique(attribute='vlan_info.vlan_id') yn ei wneud. Mae dau bortgroup o’r enw prod-web a prod-web-b, y ddau ar VLAN 100, yn cynhyrchu un v100.

Dydy throttle: 1 ddim yn bwyll, y modiwl yw e. Mae pob ysgrifennu SDN yn community.proxmox yn cymryd clo clwstwr byd-eang, yn gosod y ffurfweddiad sy’n aros ac yn ei ryddhau: get_global_sdn_lock(), yna apply_sdn_changes_and_release_lock(). Rheda nhw ochr yn ochr ac maen nhw’n ciwio ar y clo beth bynnag; mae’r sbardun yn dy atal rhag esgus fel arall, dyna i gyd. Gwerth gwybod hefyd fod dychwelyd yn ôl ar fethiant yn dibynnu ar y fersiwn: mae’r modiwl yn gwirio is_lock_and_rollback_supported ac, ar PVE hŷn, yn dweud wrthot ti na allai ddychwelyd yn ôl yn hytrach na’i wneud.

Un peth cosmetig a fydd yn gwneud i ti amau dy hun. Ar 1.6.0 mae proxmox_vnet yn allyrru ei ddict paramedrau cyfan fel rhybudd Ansible ar bob creu unigol:

self.module.warn(f"{vnet_params}")
self.proxmox_api.cluster().sdn().vnets().post(**vnet_params)

Llinell ddadfygio a adawodd rhywun i mewn yw honna. Sŵn yw e, nid nam.

Adeilada’r cregyn, heb ddisgiau

Nawr y VMs, a dyma lle mae’r dyluniad yn profi ei werth. Mae pob VM yn cael ei adeiladu yn Proxmox gyda’r nifer cywir o CPUs, y cof cywir, y cadarnwedd cywir a’r NICs cywir ar y VLANs cywir. Dim disgiau o gwbl.

Mae cragen heb ddisg yn gyflym i’w chreu, am ddim i’w dileu, ac yn cychwyn i anogwr PXE os bydd rhywun yn ei chychwyn drwy ddamwain. Gelli di adeiladu pedwar cant ohonyn nhw mewn prynhawn, edrych ar y canlyniad, penderfynu ei fod yn anghywir, dileu’r cyfan a’i wneud eto. Does dim byd wedi’i gopïo, does dim byd wedi’i ddiffodd, a does neb wedi sylwi.

Datganiadau yw’r gwerthoedd deilliedig, nid tasgau. Mae Ansible yn eu gwerthuso’n ddiog yn erbyn pa westeiwr bynnag sydd mewn cwmpas, felly mae pob VM yn cael ei rai ei hun heb un set_fact:

# group_vars/all.yml
pve_vmid: "{{ vmid_base | int + (vm_moid | regex_replace('^vm-', '') | int) }}"
pve_bios: "{{ 'ovmf' if vm_firmware == 'efi' else 'seabios' }}"
pve_cores: "{{ vm_cores_per_socket | int }}"
pve_sockets: "{{ ((vm_num_cpu | int) / (vm_cores_per_socket | int)) | round(0, 'ceil') | int }}"

Mae’r VMID yn dod o MoID vCenter. Mae vm-42 yn troi’n 20042. Mae hynny’n bwysicach nag mae’n edrych: mae’n rhaid i’r play newid drosodd ddod o hyd i’r VM a greodd y play adeiladu, ac mae’n rhaid i ail-redeg lanio ar yr un un yn hytrach nag adeiladu ail un yn dawel. Mae gadael i’r API ddyrannu’r ID rhydd nesaf, sef yr hyn sy’n digwydd os wyt ti’n hepgor vmid, ac y gwnes i ysgrifennu amdano’r tro diwethaf, yn gwneud hynny’n amhosibl.

Does dim angen trosi’r cof. Mae VMware yn adrodd config.hardware.memoryMB ac mae Proxmox eisiau MB. Mae angen trosi socedi: mae VMware yn rhoi cyfanswm y vCPUs a’r creiddiau fesul soced i ti, mae Proxmox eisiau socedi a chreiddiau.

- name: Create the VM shell
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    node: "{{ proxmox_node }}"
    vmid: "{{ pve_vmid }}"
    name: "{{ inventory_hostname }}"
    cores: "{{ pve_cores }}"
    sockets: "{{ pve_sockets }}"
    memory: "{{ vm_memory_mb }}"
    ostype: "{{ pve_ostype }}"
    bios: "{{ pve_bios }}"
    scsihw: "{{ default_scsihw }}"
    efidisk0: "{{ {'storage': pve_target_storage, 'efitype': '4m',
                   'pre_enrolled_keys': false}
                  if pve_bios == 'ovmf' else omit }}"
    agent: "enabled=1"
    onboot: false
    state: present

onboot: false yn fwriadol. Ddylai dim byd gychwyn ar ei ben ei hun ar ganol mudo, yn enwedig peiriant y mae hypervisor arall yn dal i ysgrifennu i’w ddisgiau.

Dydy cael y cadarnwedd yn iawn ddim yn ddewisol. Bydd gwestai UEFI sy’n cael ei fewnforio i VM SeaBIOS yn mewnforio’n berffaith ac yna’n gwrthod cychwyn, a byddi di’n treulio awr arno. Mae config.firmware yn efi neu’n bios ac yn mapio’n syth i ovmf a seabios. Mae gwestai UEFI hefyd angen disg newidynnau EFI, y mae’n rhaid ei chreu gyda’r VM: gweler isod am y rheswm.

Wnaiff proxmox_kvm ddim trwsio NIC, a wnaiff e ddim dweud wrthot ti

Y tro diwethaf ysgrifennais fod proxmox_kvm yn gwrthod cydgyfeirio yn hytrach na diweddaru. Dyma’r fersiwn fwy miniog o hynny, a wnaeth fy nghnoi wrth ysgrifennu hwn ac sy’n werth bod yn fanwl amdani.

Mae update yn rhagosod i false, felly mae ail-redeg yn erbyn VM sy’n bodoli’n barod yn gwneud dim. Iawn, ac wedi’i ddogfennu. Ond gosod update: true ac mae’r modiwl yn dal i wrthod cyffwrdd â rhai paramedrau:

# If update, don't update disk (virtio, efidisk0, tpmstate0, ide, sata, scsi)
# and network interface, unless update_unsafe=True
if update_unsafe is False:
    ...
    if "efidisk0" in kwargs:
        del kwargs["efidisk0"]

Mae’n eu dileu o’r cais ac yn bwrw ymlaen. Felly rwyt ti’n cywiro NIC yn dy fapio inventory, yn ail-redeg gyda update: true, yn gwylio Ansible yn adrodd changed, ac mae’r NIC yn union mor anghywir ag yr oedd. Mae’r changed yn wir, gan fod rhywbeth arall yn y llwyth wedi’i ddiweddaru, ond nid y peth roeddet ti’n ei drwsio.

Mae update_unsafe: true yn codi’r cyfyngiad, ac mae’r enw’n onest. Mae’r un gard yn cwmpasu disgiau, felly ar VM sydd â disgiau, mae diweddariad anniogel yn ffordd dda o gael ail gopi o un. Dydy hwnnw ddim yn switsh i gydio ynddo yn ystod mudo.

Y ffordd allan yw peidio â defnyddio net o gwbl. Mae NICs yn mynd ymlaen gyda proxmox_nic, modiwl a’i holl swydd yw un rhyngwyneb ac sy’n cydgyfeirio’n iawn:

- name: Attach each NIC to its VNet
  delegate_to: localhost
  community.proxmox.proxmox_nic:
    vmid: "{{ pve_vmid }}"
    interface: "net{{ idx }}"
    bridge: "{{ sdn_vnet_prefix }}{{ pg_vlan[item.backing.port.portgroupKey] }}"
    mac: "{{ item.macAddress }}"
    model: "{{ default_net_model }}"
    state: present
  loop: "{{ vm_nics }}"
  loop_control:
    index_var: idx

Dyna’r un rhaniad y gorffennais i arno’r tro diwethaf: proxmox_kvm i ddiffinio’r peiriant, proxmox_disk a proxmox_nic ar gyfer y pethau sy’n newid wedyn. mac yw’r paramedr, nid mac_addr.

All efidisk0 ddim cael ei symud allan yr un ffordd, gan nad oes gan proxmox_disk efitype na pre_enrolled_keys, felly mae’n rhaid iddi fynd ymlaen wrth greu a bod yn gywir y tro cyntaf.

Cario’r MAC ar draws. Mae VMware yn dosbarthu MACs o 00:50:56:... a bydd Proxmox yn eu cymryd heb gwyno. Mae eu cadw’n golygu bod neilltuadau DHCP yn dal i gyfateb, bod trwyddedau wedi’u cloi i MAC yn dal i ddilysu, a bod unrhyw reol wal dân a ysgrifennwyd yn erbyn MAC yn dal i danio. Mae eu newid yn golygu diwrnod o ddirgelion bach. Mae proxmox_nic hefyd yn derbyn model: vmxnet3 os wyt ti angen i’r gwestai weld yr un NIC ag a welodd o’r blaen, ond ar KVM, virtio yw’r cerdyn gorau, a bydd gwestai Windows eisiau gyrwyr newydd y naill ffordd neu’r llall.

Gwrthod yn hytrach na dyfalu

Does gan NIC ar bortgroup safonol ddim backing.port o gwbl. NetworkBackingInfo gyda deviceName yw ei gefn. Fydd e ddim yn y map, a’r peth iawn i’w wneud yw stopio:

- name: Every NIC must sit on a distributed portgroup with a VNet
  ansible.builtin.assert:
    that:
      - vm_nics | rejectattr('backing.port.portgroupKey', 'defined') | list | length == 0
      - vm_nics | map(attribute='backing.port.portgroupKey')
          | reject('in', pg_vlan.keys() | list) | list | length == 0
    fail_msg: >-
      {{ inventory_hostname }} has NICs that do not map to a Proxmox VNet.
      Attaching it to the wrong network is worse than not building it.

Dau amod yn hytrach nag un, oherwydd mae’n rhaid i’r cyntaf redeg cyn yr ail: byddai map(attribute=...) dros NIC heb port yn ffrwydro ar yr edrych i fyny heb ei ddiffinio. Gwrthod y rhai heb siâp yn gyntaf, yna gwirio’r gweddill yn erbyn y map.

Un allforiad, wedi’i fowntio ddwywaith

Dyma’r rhan sy’n gwneud y cyfan yn rhad.

Rho allforiad NFS lle gall y ddau hypervisor ei fowntio. Mae vCenter yn gweld datastore o’r enw nfs-migration; mae nodau Proxmox yn mowntio’r un allforiad ac yn gweld /mnt/pve/nfs-migration. Nawr defnyddia storage vMotion i symud y VMDKs arno.

Mae storage vMotion yn fyw. Mae’r gwestai’n dal i weini traffig drwy’r amser. Does dim byd yn newid drosodd, does dim angen ffenestr, a gellir rhoi’r gorau iddo hanner ffordd heb ganlyniad y tu hwnt i I/O wedi’i wastraffu. Dyma’r cam arafaf o bell ffordd ac mae’n costio dim byd.

- name: Relocate to the NFS datastore
  delegate_to: localhost
  throttle: 2
  community.vmware.vmware_vmotion:
    moid: "{{ vm_moid }}"
    destination_datastore: "{{ nfs_datastore_vmware }}"
    timeout: "{{ vmotion_timeout }}"

Mae timeout yn rhagosod i 3600, un awr. Wnaiff VMDK 2 TB ddim llwyddo, ac mae’r ffordd mae’n methu’n gas mewn ffordd dawel: mae’r dasg Ansible yn methu tra bod y vMotion yn dal i redeg yn vCenter. Bellach mae gen ti playbook sy’n dweud ei fod wedi methu ac ystâd sy’n dal yn brysur. Gosod e i rywbeth sy’n adlewyrchu dy storfa go iawn.

throttle: 2, oherwydd nid y nod rheoli yw’r dagfa. Mae storage vMotion wedi’i gyfyngu gan yr arae a’r rhwydwaith. Dydy chwech ar unwaith ddim yn rhoi chwe gwaith y trwybwn i ti; mae’n rhoi chwe mudo araf a thîm storfa blin i ti.

Mae’r modiwl yn idempotent yn y ffordd rwyt ti ei eisiau, gan ei fod yn gosod storage_vmotion_needed = False os yw’r VM ar y datastore targed yn barod, felly mae ail-redeg i ddal y rhai ar ôl yn ddiogel.

Erbyn i hyn orffen, mae’r beitiau’n eistedd ar storfa mae Proxmox eisoes yn ei mowntio. Fel y cyfryw, does dim byd arall angen eu copïo. Byth.

Y newid drosodd

Dyma’r unig play sy’n costio amser segur, a dydy’r drefn y tu mewn iddo ddim yn agored i drafodaeth.

Yn gyntaf, problem sy’n hawdd ei cholli: mae’r inventory bellach yn hen. Cafodd ei gasglu cyn y vMotion, felly mae vm_disks yn dal i ddal hen lwybrau’r datastore. Mewnforia o’r rheini ac rwyt ti’n pwyntio Proxmox at lwybr na all ei weld.

- name: Re-read the inventory now the disks have moved
  ansible.builtin.meta: refresh_inventory

Dyna hefyd pam mae storfa dros dro wedi’i diffodd yn ffurfweddiad yr inventory. Byddai storfa dros dro gynnes yn rhoi’n ôl i refresh_inventory yr union ddata hen y cafodd ei alw i’w ddisodli. Mae hynny’n gyfaddawd go iawn, gan nad yw vCenter yn gyflym, ond mae llwybr anghywir yma’n newid drosodd aflwyddiannus mewn ffenestr, ac mae’r daith gron yn rhad mewn cymhariaeth.

Wedyn diffodd. Mae mewnforio VMDK sydd gan westeiwr ESXi ar agor o hyd yn rhoi copi sy’n gyson â chwalfa i ti ar y gorau:

- name: Shut the guest down in VMware
  delegate_to: localhost
  vmware.vmware.vm_powerstate:
    moid: "{{ vm_moid }}"
    state: "{{ 'shutdown-guest' if vm_power_state == 'poweredOn' else 'powered-off' }}"
    timeout: 600
    force: true

Cau i lawr graslon drwy VMware Tools yw shutdown-guest; mae force: true yn stopio’n galed unrhyw beth na fydd yn mynd o fewn y terfyn amser. Ar y modiwl newydd y paramedr yw timeout, nid state_change_timeout fel yr oedd ar yr un a anghymeradwywyd.

Yna’r mewnforio, sef y colyn:

- name: Import each VMDK onto its VM
  delegate_to: localhost
  throttle: 2
  community.proxmox.proxmox_disk:
    vmid: "{{ pve_vmid }}"
    disk: "scsi{{ idx }}"
    storage: "{{ pve_target_storage }}"
    import_from: >-
      {{ item.backing.fileName
         | regex_replace('^\[[^\]]+\]\s*', '/mnt/pve/' ~ nfs_storage_pve ~ '/') }}
    format: "{{ pve_target_format }}"
    timeout: "{{ import_timeout }}"
    create: regular
    state: present
  loop: "{{ vm_disks }}"
  loop_control:
    index_var: idx

Mae’r regex_replace yn gwneud y cyfieithu rhwng y ddau fyd. Mae vCenter yn enwi disg yn [nfs-migration] app01/app01.vmdk; mae Proxmox yn cyrraedd yr un ffeil yn /mnt/pve/nfs-migration/app01/app01.vmdk. Yr un allforiad, yr un beitiau, dim ail gopi. Rwyt ti’n cadw’r disgrifydd .vmdk ac yn anwybyddu’r -flat.vmdk wrth ei ochr: mae qemu-img yn darllen y disgrifydd ac yn ei ddilyn i’r extent.

Tri pheth am import_from sydd i gyd yn y modiwl ac i gyd yn werth eu gwybod cyn i’r ffenestr agor.

Dim ond wrth greu mae’n tanio. Yn y gangen ddiweddaru:

# 'import_from' fails on disk updates
playbook_config = self.get_create_attributes()
playbook_config.pop("import_from", None)

Os yw scsi0 yn bodoli’n barod ar y VM hwnnw, mae’r paramedr yn cael ei ollwng ac rwyt ti’n cael diweddariad cyffredin. Felly dydy ail-redeg ar ôl mewnforio gwael ddim yn ail-fewnforio. Mae’n gwneud dim byd o gwbl, yn dawel, ac yn adrodd llwyddiant. Os aiff mewnforio o’i le, dilea’r ddisg cyn rhoi cynnig arall arni.

Mae timeout yn rhagosod i 600 eiliad. Deg munud, i fewnforio a throsi disg peiriant rhithwir. Mae dogfennaeth y modiwl ei hun yn dweud wrthot ti am ei godi; cymer y cyngor.

Ac mae llwybr absoliwt angen root. Mae’r ddogfennaeth yn ddi-flewyn-ar-dafod amdano:

<STORAGE>:<VMID>/<FULL_NAME> or <ABSOLUTE_PATH>/<FULL_NAME>. <STORAGE>:import/<FULL_NAME> for PVE 9.x and later, to use storage’s import directory. Attention! Only root can use absolute paths.

Sy’n glanio’n lletchwith yn erbyn y cyngor a roddais y tro diwethaf, ac rydw i’n dal i sefyll wrtho: defnyddia docyn API â chwmpas penodol, nid root. Mae’r cyngor hwnnw’n dal ar gyfer pob cam arall yma: mae canfod, SDN, adeiladu cregyn a gosod trefn cychwyn i gyd yn gweithio’n iawn gyda thocyn. Dydy’r un dasg hon ddim, ac ni fydd unrhyw faint o freintiau ar y rôl yn newid hynny, oherwydd mae’r cyfyngiad ar y defnyddiwr yn bod yn root yn hytrach nag ar ganiatâd.

Mae tair ffordd onest allan, a dim pedwaredd glyfar:

  1. PVE 9.x: defnyddia <storage>:import/<file> ac aros ar y tocyn.
  2. PVE 8.x: gwna’r un dasg hon fel root@pam, a dim ond hon.
  3. PVE 8.x, dim root dros yr API: rheda qm importdisk dros SSH yn lle hynny.

Mae’r playbook yn cymryd y ddwy gyntaf drwy faner, oherwydd byddai esgus fel arall ond yn symud y broblem i bwy bynnag sy’n ei redeg.

Yn olaf y drefn cychwyn, sy’n ddiweddariad cyffredin ac felly heb ei gyffwrdd gan gyfyngiad update_unsafe:

- name: Boot from the first imported disk
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    node: "{{ proxmox_node }}"
    vmid: "{{ pve_vmid }}"
    boot: "order=scsi0"
    update: true

Does dim byd yn cychwyn y gwestai. Mae hynny’n fwriadol. Cychwyn e â llaw, gwylia fe’n codi, a dim ond wedyn meddylia am ddileu unrhyw beth yn VMware.

Ei redeg

Un playbook yw’r cyfan, wedi’i dagio fesul cam, oherwydd dydy’r rhain ddim yn gamau rwyt ti eisiau eu rhedeg gyda’i gilydd:

ansible-playbook migrate.yml --tags discover   # look, change nothing
ansible-playbook migrate.yml --tags sdn        # build the VLANs
ansible-playbook migrate.yml --tags build      # build the diskless shells
ansible-playbook migrate.yml --tags relocate   # storage vMotion, live
ansible-playbook migrate.yml --tags cutover    # power off and import

--limit yw dy ffrind drwy’r cyfan. Gwna un VM yn gyntaf. Gwna un clwstwr. Does gan y playbook ddim barn ynglŷn â faint rwyt ti’n ei gnoi, ac mae’r inventory yn rhoi grwpiau i ti am ddim: power_poweredOn, cluster_<name>, a vmware_windows a vmware_linux o’r bloc groups.

Gwiria beth rwyt ti’n pwyntio ato cyn i ti bwyntio ato:

ansible-inventory --graph
ansible-inventory --host some-vm

Beth fyddwn i’n dal i wylio amdano

Pethau dw i’n disgwyl eu canfod pan fydd hyn yn cwrdd ag ystâd go iawn, wedi’u hysgrifennu nawr fel na alla i honni wedyn fy mod wedi’u gweld yn dod:

  • Fydd gwesteion Windows ddim yn cychwyn yn lân oddi ar reolydd VirtIO SCSI heb i’r gyrrwr fod yn bresennol yn gyntaf. virtio-scsi-single yw’r rheolydd cywir a’r un anghywir i’w roi i VM Windows sydd erioed wedi’i weld. Mae honno’n broblem gyfan ynddi’i hun a dydy dim byd uchod yn ei datrys.
  • Dylai VMware Tools ddod i ffwrdd cyn y symud, nid ar ei ôl.
  • Cipluniau. Mae gan VM gyda chadwyn cipluniau fwy nag un .vmdk fesul disg ac mae mewnforio’r sylfaen yn rhoi’r cyflwr cyn y ciplun i ti. Cyfuna’n gyntaf.
  • Trefn config.hardware.device sy’n penderfynu pa ddisg sy’n troi’n scsi0. Mae wedi cyfateb i drefn y gwestai ei hun ym mhobman dw i wedi edrych, ond byddwn i’n ei gwirio ar weinydd cronfa ddata aml-ddisg cyn ymddiried ynddi mewn ffenestr.
  • Fydd disgiau annibynnol ac RDM ddim yn symud drwy storage vMotion fel rhai cyffredin.

Dydy dim o hynny’n newid y siâp. Adeilada’r cregyn yn gyntaf, symuda’r disgiau tra bod popeth yn dal i redeg, a chadw’r toriad i’r un play sydd ei angen.