Tym razem host istnieje. Tylko na złym hiperwizorze

Ostatnio problem polegał na tym, że maszyna nazwana w inwentarzu jeszcze nie istniała: ani IP, ani SSH, ani Pythona, nic, z czym można się połączyć. Każde zadanie trzeba było delegować gdzie indziej.

Migracja z VMware odwraca to i nie zmienia niczego. Maszyna istnieje, działa, ludzie z niej korzystają. A ty i tak nigdy się z nią nie łączysz. To nazwa i worek zmiennych opisujących coś, co trzeba odbudować gdzie indziej. Każde zadanie nadal działa na węźle sterującym, tyle że po drugiej stronie są teraz dwa API zamiast jednego.

Słowo o tym, czym to jest. Ten wpis to projekt i playbook, a nie opowieść z frontu. Nie puściłem go jeszcze od początku do końca na produkcyjnym środowisku. Wszystko, co niżej mówię o zachowaniu modułów, wyczytałem z dostarczanego kodu i sprawdziłem, a tam, gdzie twierdzenie pochodzi ze źródeł, a nie z uruchomienia, mówię to wprost. Kiedy zrobię nim prawdziwą migrację, liczby i niespodzianki dostaną własny wpis.

Wersje, na których to sprawdzałem:

$ ansible --version | head -1
ansible [core 2.20.7]

$ ansible-galaxy collection list | grep -E 'vmware|proxmox'
community.proxmox 1.6.0
community.vmware  6.2.1
vmware.vmware     2.9.0

Poniższe fragmenty są wycięte z jednego playbooka: migrate.yml, dynamicznego inwentarza vSphere w inventory/vmware.vms.yml i jednego group_vars/all.yml. Nazwy centrum danych, węzłów i magazynów uogólniłem dla czytelności.

Kształt roboty

Pięć kroków, a kosztuje tylko ostatni.

goście działają, nic nie jest zagrożoneprzestójrozpoznanieodczyt rozproszonychportgroup i ichtagów VLANsdnjedna strefa VLAN,jeden VNet na VLANw Proxmoxbudowaskorupy bez dysków,dobre CPU, RAM,firmware i MAC-iprzeniesieniestorage vMotionVMDK-ów na NFS,w trakcie pracyprzełączeniewyłączenie, importdysków, kolejność rozruchui start gościaWszystko, co odwracalne, dzieje się, zanim cokolwiek zostanie wyłączoneWolna część to przeniesienie i nie kosztuje żadnego przestoju. Gdy otwiera się okno, dyskijuż są na magazynie montowanym przez Proxmox, więc przełączenie to lokalny import, a nie kopia.Skorupę bez dysku tanio usunąć, więc błąd przed przełączeniem kosztuje tylko czas.Porzucenie migracji w połowie zostawia każdego gościa działającego na VMware, nietkniętego.
Wszystko, co odwracalne, dzieje się najpierw. Wolny etap jest darmowy, a drogi jest krótki, bo do tego czasu dyski są już tam, gdzie mają być.

Kolejność to cały projekt. Rozpoznanie niczego nie zmienia. Budowa sieci zmienia tylko Proxmox. Budowa skorup zmienia tylko Proxmox, a skorupę bez dysku tanio usunąć. Przenoszenie dysków jest wolne, ale odbywa się na żywo. Dopiero ostatni play cokolwiek wyłącza.

Odejdź w połowie, a każdy gość nadal działa na VMware, nietknięty.

Dwie kolekcje, a jedna z nich idzie na emeryturę

Potrzebujesz obu, i to nie z powodu, który byś zgadł.

collections:
  - name: community.vmware
    version: ">=6.2.1"
  - name: vmware.vmware
    version: ">=2.5.0"
  - name: community.proxmox
    version: ">=1.6.0"

community.vmware to stara, szeroka kolekcja i właśnie jest rozbierana. Jej MANIFEST.json deklaruje {"vmware.vmware": ">=2.5.0"} jako twardą zależność, więc instalacja pierwszej ściąga drugą, czy o to prosiłeś, czy nie. Moduły przechodzą po jednym, a te, po które sięgasz przy migracji, są na różnych etapach tej przeprowadzki:

  • vmware_dvs_portgroup_info: nadal tylko w community.vmware, a to on czyta twoje VLAN-y.
  • vmware_vmotion: nadal tylko w community.vmware.
  • vmware_guest_powerstate: przestarzały, usunięty w community.vmware 7.0.0. Użyj vmware.vmware.vm_powerstate.
  • vmware_vm_inventory: przestarzały, usunięty w 7.0.0. Użyj vmware.vmware.vms.

Ansible mówi ci o przestarzałych modułach przy pierwszym uruchomieniu, co jest z jego strony przyzwoite:

[DEPRECATION WARNING]: community.vmware.vmware_guest_powerstate has been deprecated.
Use vmware.vmware.vm_powerstate instead. This feature will be removed from
collection 'community.vmware' version 7.0.0.

Nie ostrzega cię jednak o wtyczce inwentarza, bo wtyczki inwentarza są parsowane, zanim ta maszyneria w ogóle ruszy. Musisz sam pójść i przeczytać wtyczkę.

W tym podziale jest trzecia pułapka. vmware.vmware.vm_portgroup_info wygląda dokładnie na to, czego chce migracja sieci: per VM, per karta, daje portgroup i VLAN. Ale jest zbudowany na ModuleRestBase i importuje com.vmware.vapi, co znaczy, że na węźle sterującym potrzebuje vSphere Automation SDK, a nie samego pyVmomi. Jego udokumentowany zwrot jest też nieaktualny: blok RETURN obiecuje name i vlan_id, a kod w rzeczywistości buduje portgroup_name i słownik vlan_info dla przypadku rozproszonego. Poszedłem inną drogą, opisaną niżej, i nie potrzebowałem żadnego z nich.

Inwentarz jest rozpoznaniem

W tym playbooku nie ma playa „idź i znajdź VM-y”, bo zanim ruszy pierwsze zadanie, inwentarz już to zrobił, i to jednym zapytaniem property collectora, a nie pętlą po każdej VM.

# inventory/vmware.vms.yml
plugin: vmware.vmware.vms

hostname: "{{ lookup('ansible.builtin.env', 'VMWARE_HOST') }}"
username: "{{ lookup('ansible.builtin.env', 'VMWARE_USER') }}"
password: "{{ lookup('ansible.builtin.env', 'VMWARE_PASSWORD') }}"
validate_certs: false

search_paths:
  - /Datacenter-1

properties:
  - name
  - config.name
  - config.uuid
  - config.guestId
  - config.firmware
  - config.template
  - config.hardware.numCPU
  - config.hardware.numCoresPerSocket
  - config.hardware.memoryMB
  - config.hardware.device
  - summary.runtime.powerState

gather_compute_objects: true
hostnames: ['name']
filter_expressions:
  - 'config.template'

Nazwa pliku ma znaczenie. verify_file wtyczki przyjmuje tylko pliki kończące się na vms.yml, vms.yaml, vmware_vms.yml lub vmware_vms.yaml. Nazwij go vcenter.yml, a po cichu przestaje być twoim inwentarzem.

search_paths filtruje przed zapytaniem, a nie po nim. W dużym środowisku to różnica między sekundami a minutami. Inaczej niż filter_expressions, o którym dokumentacja mówi jasno: działa po zebraniu danych i „does not affect the speed of the inventory plugin”.

filter_expressions odrzuca hosta, gdy wyrażenie jest prawdziwe. config.template usuwa więc szablony, co za pierwszym razem czyta się na odwrót.

A ważna linia to config.hardware.device, której nie ma na żadnej domyślnej liście właściwości. To cały inwentarz sprzętowy VM i niesie trzy rzeczy, bez których ta migracja nie ruszy: MAC każdej karty sieciowej, klucz dvportgroup, do którego każda karta jest podpięta, i ścieżkę datastore każdego dysku. Bez tego wracasz do pętli vmware_guest_info, jedna wymiana z serwerem na każdą VM.

Urządzenia wracają jako JSON z zachowanym typem vSphere w _vimtype. Warto to wiedzieć, bo tak odróżniasz kartę sieciową od dysku. Sprawdziłem enkoder, zamiast zgadywać:

{
  "_vimtype": "vim.vm.device.VirtualVmxnet3",
  "macAddress": "00:50:56:87:a5:9a",
  "backing": {
    "_vimtype": "...DistributedVirtualPortBackingInfo",
    "port": {
      "_vimtype": "vim.dvs.PortConnection",
      "portgroupKey": "dvportgroup-1014"
    }
  }
}

Blok compose może więc wyciągnąć niewygodne ścieżki do płaskich hostvars:

compose:
  vm_moid: moid
  vm_firmware: config.firmware
  vm_memory_mb: config.hardware.memoryMB
  vm_num_cpu: config.hardware.numCPU

  # A virtual NIC is any device with a MAC. Filtering on _vimtype does not
  # work cleanly here, because VMXNET3, E1000 and SR-IOV cards are all
  # different types with no shared substring.
  vm_nics: >-
    config.hardware.device
    | selectattr('macAddress', 'defined')
    | selectattr('macAddress', 'ne', None) | list

  # Disks are one exact type, so this one can match on it.
  vm_disks: >-
    config.hardware.device
    | selectattr('_vimtype', 'eq', 'vim.vm.device.VirtualDisk') | list

Ta asymetria jest prawdziwa i łapie ludzi. Nie ma typu VirtualEthernetCard, do którego można dopasować. To abstrakcyjna klasa bazowa, a vCenter faktycznie podaje ci VirtualVmxnet3, VirtualE1000, VirtualE1000e, VirtualPCNet32 albo VirtualSriovEthernetCard. Nie mają wspólnego podciągu. Za to MAC ma tylko karta sieciowa.

Każdy moduł info ukrywa pole, którego potrzebujesz

To nić przewodnia całej roboty, a kiedy zobaczysz to trzy razy, zaczynasz sprawdzać każdą wartość domyślną, zanim napiszesz zadanie.

vmware_dvs_portgroup_info ma sześć opcji show_*. Pięć ma domyślnie true. Szósta to show_vlan_info i domyślnie ma false.

show_mac_learning=dict(type='bool', default=True),
show_network_policy=dict(type='bool', default=True),
show_teaming_policy=dict(type='bool', default=True),
show_uplinks=dict(type='bool', default=True),
show_port_policy=dict(type='bool', default=True),
show_vlan_info=dict(type='bool', default=False),

Zostaw to w spokoju, a dostaniesz politykę uczenia MAC, politykę teamingu, kolejność uplinków i politykę portów dla każdej portgroupy w środowisku. Wszystko poza tagiem VLAN, który jest jedynym polem, o które migracja sieci naprawdę pyta. Zadanie jest więc na lewą stronę wobec tego, co napisałbyś odruchowo: włącz tę jedną rzecz, wyłącz pozostałe pięć.

- name: Read the distributed portgroups
  community.vmware.vmware_dvs_portgroup_info:
    datacenter: "{{ vcenter_datacenter }}"
    show_vlan_info: true
    show_network_policy: false
    show_teaming_policy: false
    show_port_policy: false
    show_mac_learning: false
    show_uplinks: false
  register: dvs_pgs

To nie jest jednorazowy wybryk. vmware.vmware.vms ma gather_compute_objects, które wypełnia cluster i esxi_host: domyślnie false. community.vmware.vmware_vm_info ma show_allocated, blok z CPU i pamięcią: domyślnie false. We wszystkich trzech przypadkach pole drogie do zebrania jest tym, którego migracja potrzebuje, a wartość domyślna chroni zastosowanie raportowe tylko do odczytu, a nie to, w którym jesteś.

vlan_id ma trzy różne typy

Potem dostajesz tagi VLAN i okazuje się, że nie mają jednego kształtu. Prosto z get_vlan_info:

if isinstance(vlan_obj, vim...TrunkVlanSpec):
    ...
    return dict(trunk=True, pvlan=False, vlan_id=vlan_id_list)
elif isinstance(vlan_obj, vim...PvlanSpec):
    return dict(trunk=False, pvlan=True, vlan_id=str(vlan_obj.pvlanId))
else:
    return dict(trunk=False, pvlan=False, vlan_id=str(vlan_obj.vlanId))

Portgroup dostępowa daje ci napis "100". PVLAN daje napis. Trunk daje listę napisów, każdy w postaci "20" albo "20-30". A każdy przełącznik rozproszony ma na sobie co najmniej jeden trunk, czy go zrobiłeś, czy nie, bo portgroup uplinków jest trunkiem niosącym "0-4094".

| int jest więc dla ciebie niedostępne, dopóki nie wyrzucisz dwóch pozostałych kształtów:

access_pgs: >-
  {{ dvs_pgs.dvs_portgroup_info | dict2items | map(attribute='value') | flatten
     | rejectattr('vlan_info.trunk') | rejectattr('vlan_info.pvlan')
     | rejectattr('vlan_info.vlan_id', 'in', ['0', 0])
     | list }}

Trzy odrzucenia, w tej kolejności. Wylatują trunki, wylatują PVLAN-y, a potem portgroupy nietagowane, co załatwia też grupy uplinków i wszystko na VLAN 0.

Nie tłumaczę trunków ani PVLAN-ów automatycznie i postawiłbym się każdemu, kto by to robił. Trunk VMware lądujący na Proxmox potrzebuje albo strefy Q-in-Q, albo VNetu świadomego VLAN-ów, a który jest właściwy, zależy od tego, co gość spodziewa się widzieć. To decyzja, a nie mapowanie. Playbook je wypisuje i idzie dalej:

TASK [Report what was found]
ok: [localhost] => {
    "msg": "3 access portgroups -> [100, 200]. Not translated:
            ['dvs_001-uplink'] (trunks), ['isolated'] (PVLANs)."
}

Odwzorowanie VLAN-ów w SDN

Jedna strefa VLAN przypięta do mostu, potem jeden VNet na każdy VLAN, z tagiem.

- name: Create the VLAN zone
  community.proxmox.proxmox_zone:
    zone: "{{ sdn_zone }}"
    type: vlan
    bridge: "{{ sdn_bridge }}"
    mtu: "{{ sdn_mtu }}"
    state: present

- name: Create one VNet per VMware VLAN
  community.proxmox.proxmox_vnet:
    vnet: "{{ sdn_vnet_prefix }}{{ item.vlan_info.vlan_id | int }}"
    zone: "{{ sdn_zone }}"
    tag: "{{ item.vlan_info.vlan_id | int }}"
    alias: "{{ item.portgroup_name }}"
    state: present
  loop: "{{ access_pgs | unique(attribute='vlan_info.vlan_id') }}"
  throttle: 1

Nazwy VNetów są krótkie i ograniczone, a nazwy portgroup VMware nie. Production-Web-Tier-VLAN100 to zupełnie zwyczajna nazwa portgroupy i niemożliwa nazwa VNetu. Nazwa jest więc generowana, v100 z tagu, a czytelny oryginał trafia do alias, gdzie pozostaje widoczny w interfejsie i w wyjściu pvesh. Wyprowadzanie nazwy z VLAN-u, a nie z portgroupy, oznacza też, że mapowanie da się odwrócić na oko pół roku później.

Dwie portgroupy na tym samym VLAN-ie zlewają się w jeden VNet. To poprawne, bo w VMware też były tą samą domeną rozgłoszeniową, ale powinieneś zobaczyć, że tak się dzieje, i to właśnie robi unique(attribute='vlan_info.vlan_id'). Dwie portgroupy o nazwach prod-web i prod-web-b, obie na VLAN 100, dają jeden v100.

throttle: 1 to nie ostrożność, tylko moduł. Każdy zapis SDN w community.proxmox bierze globalną blokadę klastra, stosuje oczekującą konfigurację i zwalnia blokadę: get_global_sdn_lock(), potem apply_sdn_changes_and_release_lock(). Puść je równolegle, a i tak ustawią się w kolejce na blokadzie; throttle po prostu przestaje udawać, że jest inaczej. Warto też wiedzieć, że wycofanie zmian przy błędzie zależy od wersji: moduł sprawdza is_lock_and_rollback_supported i na starszym PVE mówi ci, że nie mógł wycofać, zamiast to zrobić.

Jedna kosmetyczna rzecz, przez którą zwątpisz w siebie. W 1.6.0 proxmox_vnet wypluwa cały swój słownik parametrów jako ostrzeżenie Ansible przy każdym jednym tworzeniu:

self.module.warn(f"{vnet_params}")
self.proxmox_api.cluster().sdn().vnets().post(**vnet_params)

To linia debugowa, którą ktoś zostawił. To szum, a nie usterka.

Zbuduj skorupy, bez dysków

Teraz maszyny wirtualne i tu projekt na siebie zarabia. Każda VM powstaje w Proxmox z właściwą liczbą CPU, właściwą pamięcią, właściwym firmware i właściwymi kartami sieciowymi na właściwych VLAN-ach. Bez żadnych dysków.

Skorupa bez dysku powstaje szybko, usuwa się ją za darmo, a jak ktoś ją przypadkiem uruchomi, staje na monicie PXE. Możesz zbudować ich czterysta w jedno popołudnie, obejrzeć wynik, uznać, że jest zły, usunąć wszystko i zrobić od nowa. Nic nie zostało skopiowane, nic nie zostało wyłączone i nikt niczego nie zauważył.

Wartości pochodne są deklaracjami, a nie zadaniami. Ansible wylicza je leniwie względem hosta, który akurat jest w zasięgu, więc każda VM dostaje własne bez jednego set_fact:

# group_vars/all.yml
pve_vmid: "{{ vmid_base | int + (vm_moid | regex_replace('^vm-', '') | int) }}"
pve_bios: "{{ 'ovmf' if vm_firmware == 'efi' else 'seabios' }}"
pve_cores: "{{ vm_cores_per_socket | int }}"
pve_sockets: "{{ ((vm_num_cpu | int) / (vm_cores_per_socket | int)) | round(0, 'ceil') | int }}"

VMID pochodzi z MoID vCenter. vm-42 staje się 20042. To ważniejsze, niż wygląda: play przełączenia musi znaleźć VM, którą stworzył play budowy, a ponowne uruchomienie musi trafić w tę samą, zamiast po cichu budować drugą. Pozwolenie API na przydzielenie następnego wolnego ID, co dzieje się, gdy pominiesz vmid, i o czym pisałem ostatnio, czyni to niemożliwym.

Pamięć nie wymaga przeliczania. VMware raportuje config.hardware.memoryMB, a Proxmox chce MB. Gniazda wymagają: VMware daje łączną liczbę vCPU i rdzeni na gniazdo, Proxmox chce gniazd i rdzeni.

- name: Create the VM shell
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    node: "{{ proxmox_node }}"
    vmid: "{{ pve_vmid }}"
    name: "{{ inventory_hostname }}"
    cores: "{{ pve_cores }}"
    sockets: "{{ pve_sockets }}"
    memory: "{{ vm_memory_mb }}"
    ostype: "{{ pve_ostype }}"
    bios: "{{ pve_bios }}"
    scsihw: "{{ default_scsihw }}"
    efidisk0: "{{ {'storage': pve_target_storage, 'efitype': '4m',
                   'pre_enrolled_keys': false}
                  if pve_bios == 'ovmf' else omit }}"
    agent: "enabled=1"
    onboot: false
    state: present

onboot: false celowo. W środku migracji nic nie powinno startować samo, a już najmniej maszyna, na której dyski wciąż pisze inny hiperwizor.

Firmware musi być dobrze, nie ma wyboru. Gość UEFI zaimportowany na VM z SeaBIOS zaimportuje się idealnie, a potem odmówi startu, i stracisz na tym godzinę. config.firmware to efi albo bios i mapuje się wprost na ovmf i seabios. Gość UEFI potrzebuje też dysku zmiennych EFI, który trzeba utworzyć razem z VM; dlaczego, piszę niżej.

proxmox_kvm nie naprawi karty sieciowej i ci o tym nie powie

Ostatnio pisałem, że proxmox_kvm odmawia zbieżności, zamiast aktualizować. Oto ostrzejsza wersja tego samego, która ugryzła mnie przy pisaniu tego wpisu i w której warto być dokładnym.

update ma domyślnie false, więc ponowne uruchomienie na VM, która już istnieje, nic nie robi. W porządku i udokumentowane. Ale ustaw update: true, a moduł i tak odmówi ruszenia niektórych parametrów:

# If update, don't update disk (virtio, efidisk0, tpmstate0, ide, sata, scsi)
# and network interface, unless update_unsafe=True
if update_unsafe is False:
    ...
    if "efidisk0" in kwargs:
        del kwargs["efidisk0"]

Usuwa je z żądania i jedzie dalej. Poprawiasz więc kartę sieciową w mapowaniu inwentarza, uruchamiasz ponownie z update: true, patrzysz, jak Ansible raportuje changed, a karta jest dokładnie tak samo zła jak była. changed jest prawdą, bo coś innego w ładunku zostało zaktualizowane, ale nie to, co naprawiałeś.

update_unsafe: true znosi ograniczenie, a nazwa jest uczciwa. Ta sama osłona obejmuje dyski, więc na VM, która ma dyski, niebezpieczna aktualizacja to dobry sposób, żeby dorobić się drugiej kopii jednego z nich. Po ten przełącznik nie sięga się w trakcie migracji.

Wyjście jest takie, żeby w ogóle nie używać net. Karty sieciowe zakłada się przez proxmox_nic, moduł, którego całą robotą jest jeden interfejs i który zbiega się porządnie:

- name: Attach each NIC to its VNet
  delegate_to: localhost
  community.proxmox.proxmox_nic:
    vmid: "{{ pve_vmid }}"
    interface: "net{{ idx }}"
    bridge: "{{ sdn_vnet_prefix }}{{ pg_vlan[item.backing.port.portgroupKey] }}"
    mac: "{{ item.macAddress }}"
    model: "{{ default_net_model }}"
    state: present
  loop: "{{ vm_nics }}"
  loop_control:
    index_var: idx

To ten sam podział, do którego doszedłem ostatnio: proxmox_kvm do zdefiniowania maszyny, proxmox_disk i proxmox_nic do rzeczy, które zmieniają się potem. Parametr nazywa się mac, nie mac_addr.

efidisk0 nie da się wynieść w ten sam sposób, bo proxmox_disk nie ma efitype ani pre_enrolled_keys, więc musi trafić na VM przy tworzeniu i być dobrze za pierwszym razem.

Przenieś MAC. VMware rozdaje MAC-i z 00:50:56:..., a Proxmox przyjmie je bez narzekania. Zachowanie ich oznacza, że rezerwacje DHCP nadal pasują, licencje przypięte do MAC nadal się weryfikują, a każda reguła zapory napisana pod MAC nadal działa. Zmiana oznacza dzień drobnych zagadek. proxmox_nic przyjmuje też model: vmxnet3, jeśli gość ma widzieć tę samą kartę co wcześniej, ale na KVM virtio jest lepszą kartą, a gość Windows i tak będzie chciał nowych sterowników.

Odmów, zamiast zgadywać

Karta sieciowa na standardowej portgroupie w ogóle nie ma backing.port. Jej backing to NetworkBackingInfo z deviceName. Nie będzie jej w mapie, a właściwe, co można zrobić, to się zatrzymać:

- name: Every NIC must sit on a distributed portgroup with a VNet
  ansible.builtin.assert:
    that:
      - vm_nics | rejectattr('backing.port.portgroupKey', 'defined') | list | length == 0
      - vm_nics | map(attribute='backing.port.portgroupKey')
          | reject('in', pg_vlan.keys() | list) | list | length == 0
    fail_msg: >-
      {{ inventory_hostname }} has NICs that do not map to a Proxmox VNet.
      Attaching it to the wrong network is worse than not building it.

Dwa warunki zamiast jednego, bo pierwszy musi zadziałać przed drugim: map(attribute=...) po karcie bez port wybuchłoby na niezdefiniowanym odwołaniu. Najpierw odrzuć te bez kształtu, potem sprawdź resztę względem mapy.

Jeden eksport, zamontowany dwa razy

Oto część, dzięki której całość jest tania.

Postaw eksport NFS tam, gdzie oba hiperwizory mogą go zamontować. vCenter widzi datastore o nazwie nfs-migration; węzły Proxmox montują ten sam eksport i widzą /mnt/pve/nfs-migration. Teraz przenieś VMDK-i na niego przez storage vMotion.

Storage vMotion działa na żywo. Gość obsługuje ruch przez cały czas. Nic nie jest przełączane, okno nie jest potrzebne, a całość można porzucić w połowie bez skutków poza zmarnowanym I/O. To zdecydowanie najwolniejszy etap i nic nie kosztuje.

- name: Relocate to the NFS datastore
  delegate_to: localhost
  throttle: 2
  community.vmware.vmware_vmotion:
    moid: "{{ vm_moid }}"
    destination_datastore: "{{ nfs_datastore_vmware }}"
    timeout: "{{ vmotion_timeout }}"

timeout ma domyślnie 3600, czyli godzinę. VMDK o rozmiarze 2 TB nie zdąży, a tryb awarii jest paskudny w cichy sposób: zadanie Ansible zawodzi, a vMotion w vCenter jedzie dalej. Masz teraz playbook, który mówi, że się nie udało, i środowisko, które wciąż jest zajęte. Ustaw coś, co odpowiada twojemu prawdziwemu magazynowi.

throttle: 2, bo wąskim gardłem nie jest węzeł sterujący. Storage vMotion ogranicza macierz i sieć. Sześć naraz nie daje sześć razy większej przepustowości; daje sześć wolnych migracji i wściekły zespół od storage’u.

Moduł jest idempotentny tak, jak chcesz: ustawia storage_vmotion_needed = False, jeśli VM już jest na docelowym datastore, więc ponowne uruchomienie, żeby zebrać maruderów, jest bezpieczne.

Gdy to się skończy, bajty leżą na magazynie, który Proxmox już montuje. W związku z tym nic innego nie musi ich kopiować. Nigdy.

Przełączenie

To jedyny play, który kosztuje przestój, a kolejność w nim nie podlega negocjacjom.

Najpierw problem, który łatwo przeoczyć: inwentarz jest teraz nieaktualny. Zebrano go przed vMotion, więc vm_disks nadal trzyma stare ścieżki datastore. Importuj z nich, a wskażesz Proxmoxowi ścieżkę, której nie widzi.

- name: Re-read the inventory now the disks have moved
  ansible.builtin.meta: refresh_inventory

Dlatego też cache jest wyłączony w konfiguracji inwentarza. Ciepły cache oddałby refresh_inventory dokładnie te nieaktualne dane, które miało zastąpić. To prawdziwy kompromis, bo vCenter nie jest szybki, ale zła ścieżka tutaj to nieudane przełączenie w oknie serwisowym, a dodatkowe zapytanie jest przy tym tanie.

Potem wyłączenie. Import VMDK, który host ESXi wciąż ma otwarty, daje w najlepszym razie kopię spójną jak po awarii:

- name: Shut the guest down in VMware
  delegate_to: localhost
  vmware.vmware.vm_powerstate:
    moid: "{{ vm_moid }}"
    state: "{{ 'shutdown-guest' if vm_power_state == 'poweredOn' else 'powered-off' }}"
    timeout: 600
    force: true

shutdown-guest to łagodne wyłączenie przez VMware Tools; force: true twardo zatrzymuje wszystko, co nie zejdzie w limicie czasu. W nowym module parametr nazywa się timeout, a nie state_change_timeout, jak w przestarzałym.

Potem import, który jest osią całości:

- name: Import each VMDK onto its VM
  delegate_to: localhost
  throttle: 2
  community.proxmox.proxmox_disk:
    vmid: "{{ pve_vmid }}"
    disk: "scsi{{ idx }}"
    storage: "{{ pve_target_storage }}"
    import_from: >-
      {{ item.backing.fileName
         | regex_replace('^\[[^\]]+\]\s*', '/mnt/pve/' ~ nfs_storage_pve ~ '/') }}
    format: "{{ pve_target_format }}"
    timeout: "{{ import_timeout }}"
    create: regular
    state: present
  loop: "{{ vm_disks }}"
  loop_control:
    index_var: idx

regex_replace tłumaczy między dwoma światami. vCenter nazywa dysk [nfs-migration] app01/app01.vmdk; Proxmox dociera do tego samego pliku pod /mnt/pve/nfs-migration/app01/app01.vmdk. Ten sam eksport, te same bajty, bez drugiej kopii. Bierzesz deskryptor .vmdk i ignorujesz -flat.vmdk obok niego: qemu-img czyta deskryptor i idzie za nim do extentu.

Trzy rzeczy o import_from, wszystkie w module i wszystkie warte poznania przed otwarciem okna.

Działa tylko przy tworzeniu. W gałęzi aktualizacji:

# 'import_from' fails on disk updates
playbook_config = self.get_create_attributes()
playbook_config.pop("import_from", None)

Jeśli scsi0 już istnieje na tej VM, parametr jest porzucany i dostajesz zwykłą aktualizację. Ponowne uruchomienie po złym imporcie nie importuje więc ponownie. Po cichu nie robi zupełnie nic i raportuje sukces. Jeśli import pójdzie źle, usuń dysk, zanim spróbujesz jeszcze raz.

timeout ma domyślnie 600 sekund. Dziesięć minut na import i konwersję dysku maszyny wirtualnej. Własna dokumentacja modułu mówi, żeby to podnieść; posłuchaj rady.

A ścieżka bezwzględna wymaga roota. Dokumentacja mówi to bez ogródek:

<STORAGE>:<VMID>/<FULL_NAME> or <ABSOLUTE_PATH>/<FULL_NAME>. <STORAGE>:import/<FULL_NAME> for PVE 9.x and later, to use storage’s import directory. Attention! Only root can use absolute paths.

Co ląduje niezręcznie obok rady, którą dałem ostatnio i której nadal się trzymam: używaj tokenu API o ograniczonym zakresie, a nie roota. Ta rada obowiązuje na każdym innym etapie: rozpoznanie, SDN, budowa skorup, ustawianie kolejności rozruchu, wszystko działa dobrze z tokenem. To jedno zadanie nie działa i żadna ilość uprawnień w roli tego nie zmieni, bo ograniczenie dotyczy tego, czy użytkownik jest rootem, a nie uprawnienia.

Są trzy uczciwe wyjścia i nie ma sprytnego czwartego:

  1. PVE 9.x: użyj <storage>:import/<file> i zostań przy tokenie.
  2. PVE 8.x: zrób to jedno zadanie jako root@pam, i tylko to jedno.
  3. PVE 8.x, bez roota przez API: uruchom zamiast tego qm importdisk przez SSH.

Playbook obsługuje dwa pierwsze przez flagę, bo udawanie, że jest inaczej, przerzuciłoby tylko problem na tego, kto go uruchamia.

Na koniec kolejność rozruchu, która jest zwykłą aktualizacją i dlatego ograniczenie update_unsafe jej nie dotyczy:

- name: Boot from the first imported disk
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    node: "{{ proxmox_node }}"
    vmid: "{{ pve_vmid }}"
    boot: "order=scsi0"
    update: true

Nic nie uruchamia gościa. To celowe. Uruchom go ręcznie, popatrz, jak wstaje, i dopiero wtedy myśl o usuwaniu czegokolwiek w VMware.

Uruchamianie

Całość to jeden playbook, otagowany etapami, bo to nie są kroki, które chcesz puszczać razem:

ansible-playbook migrate.yml --tags discover   # look, change nothing
ansible-playbook migrate.yml --tags sdn        # build the VLANs
ansible-playbook migrate.yml --tags build      # build the diskless shells
ansible-playbook migrate.yml --tags relocate   # storage vMotion, live
ansible-playbook migrate.yml --tags cutover    # power off and import

--limit jest twoim przyjacielem przez cały czas. Zrób najpierw jedną VM. Zrób jeden klaster. Playbook nie ma zdania o tym, ile odgryzasz naraz, a inwentarz daje ci grupy za darmo: power_poweredOn, cluster_<name>, a do tego vmware_windows i vmware_linux z bloku groups.

Sprawdź, w co celujesz, zanim wycelujesz:

ansible-inventory --graph
ansible-inventory --host some-vm

Na co jeszcze bym uważał

Rzeczy, które spodziewam się znaleźć, gdy to spotka prawdziwe środowisko, zapisane teraz, żebym nie mógł potem twierdzić, że je przewidziałem:

  • Goście Windows nie wystartują czysto z kontrolera VirtIO SCSI, jeśli sterownik nie będzie obecny wcześniej. virtio-scsi-single to właściwy kontroler i zły kontroler do podania VM z Windows, która nigdy go nie widziała. To osobny, cały problem i nic powyżej go nie rozwiązuje.
  • VMware Tools powinny zejść przed przeprowadzką, a nie po niej.
  • Migawki. VM z łańcuchem migawek ma więcej niż jeden .vmdk na dysk, a import bazowego daje ci stan sprzed migawki. Najpierw skonsoliduj.
  • Kolejność w config.hardware.device decyduje, który dysk zostaje scsi0. Wszędzie, gdzie patrzyłem, pokrywała się z kolejnością samego gościa, ale sprawdziłbym ją na wielodyskowym serwerze bazodanowym, zanim zaufałbym jej w oknie.
  • Dyski niezależne i RDM nie przejdą storage vMotion jak zwykłe.

Nic z tego nie zmienia kształtu. Zbuduj najpierw skorupy, przenieś dyski, póki wszystko jeszcze działa, i ogranicz przestój do jednego playa, który go potrzebuje.