इस बार होस्ट मौजूद है। बस गलत हाइपरवाइज़र पर है
पिछली बार दिक्कत यह थी कि inventory में जिस मशीन का नाम था वह अभी मौजूद ही नहीं थी: न IP, न SSH, न Python, कनेक्ट करने को कुछ नहीं। हर task को उससे दूर delegate करना पड़ता था।
VMware माइग्रेशन इसे उलट देता है और कुछ नहीं बदलता। मशीन मौजूद है, चल रही है, लोग उसे इस्तेमाल कर रहे हैं। फिर भी आप उससे कभी कनेक्ट नहीं करते। वह एक नाम है और variables का एक थैला, जो किसी ऐसी चीज़ का वर्णन करता है जिसे कहीं और दोबारा बनाना है। हर task अब भी control node पर चलता है, और अब दूसरी तरफ़ एक के बजाय दो API हैं।
यह क्या है, इस पर एक बात। यह पोस्ट डिज़ाइन और playbook है, कोई युद्ध की कहानी नहीं। मैंने इसे अभी तक किसी production एस्टेट पर शुरू से आखिर तक नहीं चलाया है। नीचे मॉड्यूल के व्यवहार के बारे में जो कुछ भी मैं कहता हूँ वह शिप किए गए कोड से पढ़ा और जाँचा गया है, और जहाँ कोई दावा किसी रन से नहीं बल्कि सोर्स से आता है, वहाँ मैंने साफ़ कह दिया है। जब मैं इससे असली माइग्रेशन कर लूँगा, तो उसके आँकड़ों और हैरानियों को अपनी अलग पोस्ट मिलेगी।
जिन वर्ज़न पर यह जाँचा गया:
$ ansible --version | head -1
ansible [core 2.20.7]
$ ansible-galaxy collection list | grep -E 'vmware|proxmox'
community.proxmox 1.6.0
community.vmware 6.2.1
vmware.vmware 2.9.0
नीचे के टुकड़े एक ही playbook से काटे गए हैं: migrate.yml, inventory/vmware.vms.yml में एक vSphere डायनेमिक
inventory, और एक group_vars/all.yml। पढ़ने में आसानी के लिए मैंने datacenter, node और storage के नाम
सामान्य कर दिए हैं।
काम का ढाँचा
पाँच कदम, और सिर्फ़ आखिरी वाले की कोई कीमत है।
पूरा डिज़ाइन इसी क्रम में है। Discovery कुछ नहीं बदलती। नेटवर्क बनाना सिर्फ़ Proxmox को बदलता है। शेल बनाना सिर्फ़ Proxmox को बदलता है, और बिना डिस्क वाला शेल मिटाना सस्ता है। डिस्क ले जाना धीमा है, पर live है। सिर्फ़ आखिरी play किसी चीज़ को बंद करता है।
आधे रास्ते में छोड़कर चले जाइए, और हर गेस्ट अब भी VMware पर चल रहा होगा, बिना छुए।
दो collections, और उनमें से एक रिटायर हो रहा है
आपको दोनों चाहिए, और उस वजह से नहीं जो आप अंदाज़ा लगाएँगे।
collections:
- name: community.vmware
version: ">=6.2.1"
- name: vmware.vmware
version: ">=2.5.0"
- name: community.proxmox
version: ">=1.6.0"
community.vmware पुराना, बड़ा collection है और उसे टुकड़ों में खोला जा रहा है। उसका MANIFEST.json {"vmware.vmware": ">=2.5.0"} को पक्की dependency के रूप में घोषित करता है, तो पहला install करने पर दूसरा अपने-आप आ जाता है, आपने माँगा हो या नहीं। मॉड्यूल एक-एक करके दूसरी तरफ़ जा रहे हैं, और माइग्रेशन में आप जिन तक हाथ बढ़ाते हैं वे इस सफ़र के अलग-अलग पड़ाव पर हैं:
vmware_dvs_portgroup_info: अब भी सिर्फ़community.vmwareमें है, और यही आपके VLANs पढ़ता है।vmware_vmotion: अब भी सिर्फ़community.vmwareमें।vmware_guest_powerstate: deprecated,community.vmware7.0.0 में हटा दिया जाएगा।vmware.vmware.vm_powerstateइस्तेमाल कीजिए।vmware_vm_inventory: deprecated, 7.0.0 में हटा दिया जाएगा।vmware.vmware.vmsइस्तेमाल कीजिए।
मॉड्यूल के deprecation के बारे में Ansible पहले ही रन पर बता देता है, जो उसकी भलमनसाहत है:
[DEPRECATION WARNING]: community.vmware.vmware_guest_powerstate has been deprecated.
Use vmware.vmware.vm_powerstate instead. This feature will be removed from
collection 'community.vmware' version 7.0.0.
Inventory plugin के बारे में वह चेतावनी नहीं देता, क्योंकि inventory plugins उस मशीनरी के चलने से पहले parse हो जाते हैं। आपको जाकर plugin पढ़ना पड़ता है।
इस बँटवारे में तीसरा जाल भी है। vmware.vmware.vm_portgroup_info देखने में ठीक वही लगता है जो नेटवर्क माइग्रेशन चाहता है: हर VM, हर NIC के लिए, portgroup और VLAN देता है। पर यह ModuleRestBase पर बना है और com.vmware.vapi import करता है, यानी control node पर इसे सिर्फ़ pyVmomi नहीं, vSphere Automation SDK भी चाहिए। इसका दस्तावेज़ी return भी पुराना है: RETURN block name और vlan_id का वादा करता है, जबकि कोड distributed वाले मामले के लिए असल में portgroup_name और एक vlan_info dict बनाता है। मैं नीचे दूसरा रास्ता चला, और मुझे इन दोनों में से किसी की ज़रूरत नहीं पड़ी।
Inventory ही discovery है
इस playbook में “जाओ VMs ढूँढ़ो” वाला कोई play नहीं है, क्योंकि पहला task चलने तक inventory यह काम कर चुकी होती है, और वह भी हर VM पर loop के बजाय एक property-collector query में।
# inventory/vmware.vms.yml
plugin: vmware.vmware.vms
hostname: "{{ lookup('ansible.builtin.env', 'VMWARE_HOST') }}"
username: "{{ lookup('ansible.builtin.env', 'VMWARE_USER') }}"
password: "{{ lookup('ansible.builtin.env', 'VMWARE_PASSWORD') }}"
validate_certs: false
search_paths:
- /Datacenter-1
properties:
- name
- config.name
- config.uuid
- config.guestId
- config.firmware
- config.template
- config.hardware.numCPU
- config.hardware.numCoresPerSocket
- config.hardware.memoryMB
- config.hardware.device
- summary.runtime.powerState
gather_compute_objects: true
hostnames: ['name']
filter_expressions:
- 'config.template'
फ़ाइल का नाम मायने रखता है। Plugin का verify_file सिर्फ़ उन्हीं फ़ाइलों को अपनाता है जिनके नाम vms.yml, vms.yaml, vmware_vms.yml या vmware_vms.yaml पर खत्म होते हैं। इसे vcenter.yml कहिए और यह चुपचाप आपकी inventory नहीं रहती।
search_paths query से पहले फ़िल्टर करता है, बाद में नहीं। बड़े एस्टेट पर यह सेकंड और मिनट का फ़र्क है, filter_expressions के उलट, जिसके बारे में docs साफ़ हैं: यह collection के बाद चलता है और “does not affect the speed of the inventory plugin”।
जब expression true होता है तब filter_expressions होस्ट को हटा देता है। इसलिए config.template templates को हटाता है, जो पहली बार उल्टा पढ़ने में आता है।
और अहम लाइन config.hardware.device है, जो किसी भी default property list में कहीं नहीं है। यह VM की पूरी hardware inventory है, और इसमें तीन चीज़ें हैं जिनके बिना यह माइग्रेशन आगे नहीं बढ़ सकता: हर NIC का MAC, हर NIC जिस dvportgroup key से जुड़ा है वह, और हर डिस्क का datastore path। इसके बिना आप वापस vmware_guest_info loop पर हैं, हर VM के लिए एक round trip।
Devices JSON के रूप में आते हैं, उनका vSphere टाइप _vimtype में सुरक्षित रहता है। यह जानने लायक है, क्योंकि इसी से आप NIC और डिस्क में फ़र्क करते हैं। मैंने अंदाज़ा लगाने के बजाय encoder जाँचा:
{
"_vimtype": "vim.vm.device.VirtualVmxnet3",
"macAddress": "00:50:56:87:a5:9a",
"backing": {
"_vimtype": "...DistributedVirtualPortBackingInfo",
"port": {
"_vimtype": "vim.dvs.PortConnection",
"portgroupKey": "dvportgroup-1014"
}
}
}
तो एक compose block उलझे हुए paths को खींचकर सपाट hostvars में ला सकता है:
compose:
vm_moid: moid
vm_firmware: config.firmware
vm_memory_mb: config.hardware.memoryMB
vm_num_cpu: config.hardware.numCPU
# A virtual NIC is any device with a MAC. Filtering on _vimtype does not
# work cleanly here, because VMXNET3, E1000 and SR-IOV cards are all
# different types with no shared substring.
vm_nics: >-
config.hardware.device
| selectattr('macAddress', 'defined')
| selectattr('macAddress', 'ne', None) | list
# Disks are one exact type, so this one can match on it.
vm_disks: >-
config.hardware.device
| selectattr('_vimtype', 'eq', 'vim.vm.device.VirtualDisk') | list
यह असमानता असली है और लोगों को फँसाती है। मैच करने के लिए कोई VirtualEthernetCard टाइप नहीं है। वह abstract base class है, और vCenter असल में आपको VirtualVmxnet3, VirtualE1000, VirtualE1000e, VirtualPCNet32 या VirtualSriovEthernetCard देता है। इन सबमें कोई साझा substring नहीं है। पर MAC होना ऐसी चीज़ है जो सिर्फ़ NIC करता है।
हर info मॉड्यूल वही फ़ील्ड छिपाता है जो आपको चाहिए
पूरे काम में यही धागा चलता है, और तीन बार देख लेने के बाद आप task लिखने से पहले हर default जाँचने लगते हैं।
vmware_dvs_portgroup_info में छह show_* options हैं। पाँच का default true है। छठा show_vlan_info है, और उसका default false है।
show_mac_learning=dict(type='bool', default=True),
show_network_policy=dict(type='bool', default=True),
show_teaming_policy=dict(type='bool', default=True),
show_uplinks=dict(type='bool', default=True),
show_port_policy=dict(type='bool', default=True),
show_vlan_info=dict(type='bool', default=False),
इसे छोड़ दीजिए और आपको एस्टेट के हर portgroup की MAC learning policy, teaming policy, uplink ordering और port policy मिलती है। VLAN tag को छोड़कर सब कुछ, जबकि नेटवर्क माइग्रेशन असल में सिर्फ़ उसी फ़ील्ड के बारे में पूछ रहा है। तो task उससे उल्टा है जो आप सहज रूप से लिखेंगे: एक चीज़ चालू कीजिए, बाकी पाँच बंद कीजिए।
- name: Read the distributed portgroups
community.vmware.vmware_dvs_portgroup_info:
datacenter: "{{ vcenter_datacenter }}"
show_vlan_info: true
show_network_policy: false
show_teaming_policy: false
show_port_policy: false
show_mac_learning: false
show_uplinks: false
register: dvs_pgs
यह इकलौता मामला नहीं है। vmware.vmware.vms में gather_compute_objects है, जो cluster और esxi_host भरता है: default false। community.vmware.vmware_vm_info में show_allocated है, जो CPU और memory वाला block है: default false। तीनों मामलों में जिस फ़ील्ड को इकट्ठा करना महँगा है वही माइग्रेशन को चाहिए, और default एक read-only reporting वाले इस्तेमाल को बचाता है, जो आपका इस्तेमाल नहीं है।
vlan_id तीन अलग टाइप का है
फिर आपको VLAN tags मिलते हैं और पता चलता है कि उनकी शक्ल एक नहीं है। सीधे get_vlan_info से:
if isinstance(vlan_obj, vim...TrunkVlanSpec):
...
return dict(trunk=True, pvlan=False, vlan_id=vlan_id_list)
elif isinstance(vlan_obj, vim...PvlanSpec):
return dict(trunk=False, pvlan=True, vlan_id=str(vlan_obj.pvlanId))
else:
return dict(trunk=False, pvlan=False, vlan_id=str(vlan_obj.vlanId))
Access portgroup आपको string "100" देता है। PVLAN आपको string देता है। Trunk आपको strings की list देता है, हर एक या तो "20" या "20-30"। और हर distributed switch पर कम से कम एक trunk होता ही है, चाहे आपने बनाया हो या नहीं, क्योंकि uplink portgroup एक trunk है जो "0-4094" ले जाता है।
तो | int आपके हाथ में तब तक नहीं है जब तक आप बाकी दो शक्लें फेंक न दें:
access_pgs: >-
{{ dvs_pgs.dvs_portgroup_info | dict2items | map(attribute='value') | flatten
| rejectattr('vlan_info.trunk') | rejectattr('vlan_info.pvlan')
| rejectattr('vlan_info.vlan_id', 'in', ['0', 0])
| list }}
तीन reject, इसी क्रम में। Trunks जाते हैं, PVLANs जाते हैं, और फिर untagged portgroups जाते हैं, जिससे uplink groups और VLAN 0 पर जो कुछ भी है वह भी निपट जाता है।
मैं trunks या PVLANs को अपने-आप translate नहीं कर रहा, और जो ऐसा करे उसका मैं विरोध करूँगा। Proxmox पर उतरने वाले VMware trunk को या तो Q-in-Q zone चाहिए या VLAN-aware VNet, और कौन-सा सही है यह इस पर निर्भर है कि गेस्ट क्या देखने की उम्मीद करता है। यह एक फ़ैसला है, mapping नहीं। Playbook उन्हें print करके आगे बढ़ जाता है:
TASK [Report what was found]
ok: [localhost] => {
"msg": "3 access portgroups -> [100, 200]. Not translated:
['dvs_001-uplink'] (trunks), ['isolated'] (PVLANs)."
}
VLANs को SDN में उतारना
एक bridge से बँधा एक VLAN zone, फिर हर VLAN के लिए एक VNet जिस पर उसका tag हो।
- name: Create the VLAN zone
community.proxmox.proxmox_zone:
zone: "{{ sdn_zone }}"
type: vlan
bridge: "{{ sdn_bridge }}"
mtu: "{{ sdn_mtu }}"
state: present
- name: Create one VNet per VMware VLAN
community.proxmox.proxmox_vnet:
vnet: "{{ sdn_vnet_prefix }}{{ item.vlan_info.vlan_id | int }}"
zone: "{{ sdn_zone }}"
tag: "{{ item.vlan_info.vlan_id | int }}"
alias: "{{ item.portgroup_name }}"
state: present
loop: "{{ access_pgs | unique(attribute='vlan_info.vlan_id') }}"
throttle: 1
VNet के नाम छोटे और बंधे हुए होते हैं, VMware portgroup के नाम नहीं। Production-Web-Tier-VLAN100 एक बिल्कुल आम portgroup नाम है और एक नामुमकिन VNet नाम। इसलिए नाम generate होता है, tag से v100, और इंसानों के पढ़ने लायक असली नाम alias में जाता है, जहाँ वह UI में और pvesh के output में दिखता रहता है। नाम को portgroup के बजाय VLAN से निकालने का मतलब यह भी है कि छह महीने बाद mapping को देखकर ही उलटा पढ़ा जा सकता है।
एक ही VLAN पर दो portgroups मिलकर एक VNet बन जाते हैं। यह सही है, VMware में भी वे एक ही broadcast domain थे, पर आपको यह होते हुए दिखना चाहिए, और unique(attribute='vlan_info.vlan_id') यही कर रहा है। prod-web और prod-web-b नाम के दो portgroups, दोनों VLAN 100 पर, एक v100 बनाते हैं।
throttle: 1 सावधानी नहीं है, यह मॉड्यूल की बनावट है। community.proxmox में हर SDN write एक global cluster lock लेता है, pending config लागू करता है और lock छोड़ देता है: get_global_sdn_lock(), फिर apply_sdn_changes_and_release_lock()। इन्हें parallel में चलाइए, वे वैसे भी lock पर कतार लगाएँगे; throttle बस आपको यह दिखावा करने से रोकता है कि ऐसा नहीं है। यह भी जानने लायक है कि failure पर rollback वर्ज़न पर निर्भर है: मॉड्यूल is_lock_and_rollback_supported जाँचता है और पुराने PVE पर rollback करने के बजाय बताता है कि वह rollback नहीं कर सका।
एक दिखावटी बात जो आपको खुद पर शक करवाएगी। 1.6.0 पर proxmox_vnet हर एक create पर अपनी पूरी params dict को Ansible warning के रूप में निकालता है:
self.module.warn(f"{vnet_params}")
self.proxmox_api.cluster().sdn().vnets().post(**vnet_params)
यह debug लाइन है जो कोई छोड़ गया। यह शोर है, खराबी नहीं।
शेल बनाइए, बिना डिस्क के
अब VM, और यहीं यह डिज़ाइन अपनी कीमत साबित करता है। हर VM Proxmox में सही CPU संख्या, सही मेमोरी, सही फ़र्मवेयर और सही VLAN पर सही NIC के साथ बनता है। डिस्क बिल्कुल नहीं।
बिना डिस्क वाला शेल बनाने में तेज़ है, मिटाने में मुफ़्त है, और अगर कोई गलती से उसे चालू कर दे तो PXE प्रॉम्प्ट पर बूट होता है। आप एक दोपहर में चार सौ बना सकते हैं, नतीजा देख सकते हैं, तय कर सकते हैं कि यह गलत है, सबको मिटाकर फिर से बना सकते हैं। कुछ भी कॉपी नहीं हुआ, कुछ भी बंद नहीं हुआ, और किसी को पता भी नहीं चला।
निकाली गई वैल्यू घोषणाएँ हैं, टास्क नहीं। Ansible उन्हें आलस्य से (lazily) उस होस्ट के हिसाब से evaluate करता है जो उस समय scope में है, इसलिए हर VM को एक भी set_fact के बिना अपनी वैल्यू मिल जाती है:
# group_vars/all.yml
pve_vmid: "{{ vmid_base | int + (vm_moid | regex_replace('^vm-', '') | int) }}"
pve_bios: "{{ 'ovmf' if vm_firmware == 'efi' else 'seabios' }}"
pve_cores: "{{ vm_cores_per_socket | int }}"
pve_sockets: "{{ ((vm_num_cpu | int) / (vm_cores_per_socket | int)) | round(0, 'ceil') | int }}"
VMID vCenter MoID से आता है। vm-42 बन जाता है 20042। यह जितना दिखता है उससे ज़्यादा मायने रखता है: कटओवर play को वही VM ढूँढना है जो build play ने बनाया था, और दोबारा चलाने पर उसी पर पहुँचना चाहिए, चुपचाप दूसरा बनाने के बजाय। अगर API को अगला खाली ID देने दिया जाए, जो vmid छोड़ देने पर होता है और जिसके बारे में मैंने पिछली बार लिखा था, तो यह नामुमकिन हो जाता है।
मेमोरी को बदलने की ज़रूरत नहीं। VMware config.hardware.memoryMB बताता है और Proxmox को MB चाहिए। Sockets को बदलना पड़ता है: VMware आपको कुल vCPU और cores-per-socket देता है, Proxmox को sockets और cores चाहिए।
- name: Create the VM shell
delegate_to: localhost
community.proxmox.proxmox_kvm:
node: "{{ proxmox_node }}"
vmid: "{{ pve_vmid }}"
name: "{{ inventory_hostname }}"
cores: "{{ pve_cores }}"
sockets: "{{ pve_sockets }}"
memory: "{{ vm_memory_mb }}"
ostype: "{{ pve_ostype }}"
bios: "{{ pve_bios }}"
scsihw: "{{ default_scsihw }}"
efidisk0: "{{ {'storage': pve_target_storage, 'efitype': '4m',
'pre_enrolled_keys': false}
if pve_bios == 'ovmf' else omit }}"
agent: "enabled=1"
onboot: false
state: present
onboot: false जानबूझकर। माइग्रेशन के बीच कुछ भी अपने आप शुरू नहीं होना चाहिए, खासकर वह मशीन जिसकी डिस्क पर अभी कोई दूसरा हाइपरवाइज़र लिख रहा है।
फ़र्मवेयर सही करना वैकल्पिक नहीं है। SeaBIOS वाले VM पर import किया गया UEFI गेस्ट पूरी तरह import हो जाएगा और फिर बूट होने से मना कर देगा, और आप उस पर एक घंटा खपा देंगे। config.firmware या तो efi है या bios, और सीधे ovmf और seabios पर मैप होता है। UEFI गेस्ट को एक EFI vars डिस्क भी चाहिए, जिसे VM के साथ ही बनाना पड़ता है; क्यों, यह नीचे देखिए।
proxmox_kvm NIC ठीक नहीं करेगा, और आपको बताएगा भी नहीं
पिछली बार मैंने लिखा था कि proxmox_kvm अपडेट करने की बजाय converge करने से मना कर देता है। यहाँ उसका और तीखा रूप है, जो यह लिखते समय मुझे लगा और जिसके बारे में सटीक होना ज़रूरी है।
update का डिफ़ॉल्ट false है, इसलिए पहले से मौजूद VM पर दोबारा चलाने से कुछ नहीं होता। ठीक है, और documented है। लेकिन update: true सेट कीजिए, फिर भी मॉड्यूल कुछ पैरामीटर छूने से मना करता है:
# If update, don't update disk (virtio, efidisk0, tpmstate0, ide, sata, scsi)
# and network interface, unless update_unsafe=True
if update_unsafe is False:
...
if "efidisk0" in kwargs:
del kwargs["efidisk0"]
यह उन्हें request से हटा देता है और आगे बढ़ जाता है। तो आप अपनी inventory mapping में एक NIC ठीक करते हैं, update: true के साथ दोबारा चलाते हैं, Ansible को changed बताते देखते हैं, और NIC ठीक उतना ही गलत है जितना पहले था। changed सच है, payload में कुछ और अपडेट हुआ, लेकिन वह चीज़ नहीं जिसे आप ठीक कर रहे थे।
update_unsafe: true यह पाबंदी हटा देता है, और नाम ईमानदार है। यही guard डिस्क पर भी लागू है, इसलिए जिस VM पर डिस्क हैं, उस पर unsafe update किसी डिस्क की दूसरी कॉपी पाने का अच्छा तरीका है। माइग्रेशन के दौरान यह वह स्विच नहीं है जिसकी ओर हाथ बढ़ाया जाए।
बाहर निकलने का रास्ता है net का इस्तेमाल ही न करना। NIC proxmox_nic से लगते हैं, जो एक ऐसा मॉड्यूल है जिसका पूरा काम एक इंटरफ़ेस है और जो ठीक से converge करता है:
- name: Attach each NIC to its VNet
delegate_to: localhost
community.proxmox.proxmox_nic:
vmid: "{{ pve_vmid }}"
interface: "net{{ idx }}"
bridge: "{{ sdn_vnet_prefix }}{{ pg_vlan[item.backing.port.portgroupKey] }}"
mac: "{{ item.macAddress }}"
model: "{{ default_net_model }}"
state: present
loop: "{{ vm_nics }}"
loop_control:
index_var: idx
यह वही बँटवारा है जिस पर मैं पिछली बार पहुँचा था: मशीन परिभाषित करने के लिए proxmox_kvm, और बाद में बदलने वाली चीज़ों के लिए proxmox_disk और proxmox_nic। पैरामीटर mac है, mac_addr नहीं।
efidisk0 को इसी तरह बाहर नहीं ले जाया जा सकता, क्योंकि proxmox_disk में न efitype है न pre_enrolled_keys, इसलिए इसे create के समय ही लगाना पड़ता है और पहली बार में ही सही होना चाहिए।
MAC साथ ले जाइए। VMware 00:50:56:... से MAC बाँटता है और Proxmox उन्हें बिना शिकायत ले लेगा। उन्हें बनाए रखने का मतलब है कि DHCP reservation अब भी मेल खाते हैं, MAC से बँधे लाइसेंस अब भी validate होते हैं, और MAC पर लिखा कोई भी firewall नियम अब भी लागू होता है। उन्हें बदलने का मतलब है एक दिन भर की छोटी-छोटी पहेलियाँ। अगर आपको गेस्ट को वही NIC दिखाना है जो पहले दिखता था तो proxmox_nic model: vmxnet3 भी लेता है, लेकिन KVM पर virtio बेहतर कार्ड है, और Windows गेस्ट को किसी भी हाल में नए ड्राइवर चाहिए होंगे।
अंदाज़ा लगाने से बेहतर है मना करना
standard portgroup पर लगे NIC में backing.port होता ही नहीं। उसका backing एक NetworkBackingInfo है जिसमें deviceName होता है। वह map में नहीं होगा, और सही काम है रुक जाना:
- name: Every NIC must sit on a distributed portgroup with a VNet
ansible.builtin.assert:
that:
- vm_nics | rejectattr('backing.port.portgroupKey', 'defined') | list | length == 0
- vm_nics | map(attribute='backing.port.portgroupKey')
| reject('in', pg_vlan.keys() | list) | list | length == 0
fail_msg: >-
{{ inventory_hostname }} has NICs that do not map to a Proxmox VNet.
Attaching it to the wrong network is worse than not building it.
एक की बजाय दो शर्तें, क्योंकि पहली को दूसरी से पहले चलना है: बिना port वाले NIC पर map(attribute=...) undefined lookup पर फट जाएगा। पहले बेढंगे वालों को खारिज कीजिए, फिर बाकी को map से जाँचिए।
एक export, दो बार माउंट
यह वह हिस्सा है जो पूरे काम को सस्ता बनाता है।
एक NFS export ऐसी जगह रखिए जहाँ दोनों हाइपरवाइज़र उसे माउंट कर सकें। vCenter को nfs-migration नाम का datastore दिखता है; Proxmox नोड वही export माउंट करते हैं और उन्हें /mnt/pve/nfs-migration दिखता है। अब VMDK को storage-vMotion से उस पर ले जाइए।
Storage vMotion लाइव है। गेस्ट पूरे समय ट्रैफ़िक सर्व करता रहता है। कुछ भी cut over नहीं होता, कोई window नहीं चाहिए, और इसे बीच में छोड़ा जा सकता है, बर्बाद हुए I/O के अलावा कोई नतीजा नहीं। यह सबसे धीमा चरण है, बड़े अंतर से, और इसकी कोई कीमत नहीं।
- name: Relocate to the NFS datastore
delegate_to: localhost
throttle: 2
community.vmware.vmware_vmotion:
moid: "{{ vm_moid }}"
destination_datastore: "{{ nfs_datastore_vmware }}"
timeout: "{{ vmotion_timeout }}"
timeout का डिफ़ॉल्ट 3600 है, यानी एक घंटा। 2 TB का VMDK इसमें नहीं पहुँचेगा, और विफलता का तरीका चुपचाप बुरा है: Ansible टास्क फ़ेल हो जाता है जबकि vMotion vCenter में चलता रहता है। अब आपके पास एक playbook है जो कहता है कि वह फ़ेल हुआ और एक एस्टेट जो अब भी व्यस्त है। इसे ऐसी वैल्यू पर सेट कीजिए जो आपके असली स्टोरेज को दर्शाए।
throttle: 2, क्योंकि bottleneck कंट्रोल नोड नहीं है। Storage vMotion array और नेटवर्क से बँधा है। एक साथ छह चलाने से छह गुना throughput नहीं मिलता; आपको छह धीमे माइग्रेशन और एक नाराज़ स्टोरेज टीम मिलती है।
मॉड्यूल उसी तरह idempotent है जैसा आप चाहते हैं: अगर VM पहले से target datastore पर है तो यह storage_vmotion_needed = False सेट कर देता है, इसलिए बचे हुओं को उठाने के लिए दोबारा चलाना सुरक्षित है।
जब तक यह पूरा होता है, बाइट ऐसे स्टोरेज पर बैठे हैं जिसे Proxmox पहले से माउंट करता है। इसलिए उन्हें किसी और को कॉपी करने की ज़रूरत नहीं। कभी नहीं।
कटओवर
यही एकमात्र play है जिसमें downtime लगता है, और इसके अंदर का क्रम बदला नहीं जा सकता।
पहले, एक समस्या जो आसानी से छूट जाती है: inventory अब पुरानी हो चुकी है। इसे vMotion से पहले इकट्ठा किया गया था, इसलिए vm_disks में अब भी पुराने datastore path हैं। उनसे import कीजिए और आप Proxmox को ऐसे path की ओर इशारा कर रहे हैं जो उसे दिखता ही नहीं।
- name: Re-read the inventory now the disks have moved
ansible.builtin.meta: refresh_inventory
यही वजह है कि inventory config में caching बंद है। गर्म cache refresh_inventory को ठीक वही पुराना डेटा लौटा देगा जिसे बदलने के लिए इसे बुलाया गया था। यह असली सौदा है, vCenter तेज़ नहीं है, लेकिन यहाँ गलत path का मतलब है window के अंदर फ़ेल हुआ कटओवर, और उसकी तुलना में round trip सस्ता है।
फिर power off। ऐसा VMDK import करना जिसे कोई ESXi होस्ट अब भी खोले बैठा है, आपको ज़्यादा से ज़्यादा एक crash-consistent कॉपी देता है:
- name: Shut the guest down in VMware
delegate_to: localhost
vmware.vmware.vm_powerstate:
moid: "{{ vm_moid }}"
state: "{{ 'shutdown-guest' if vm_power_state == 'poweredOn' else 'powered-off' }}"
timeout: 600
force: true
shutdown-guest VMware Tools के ज़रिए एक साफ़-सुथरा shutdown है; force: true timeout के अंदर न रुकने वाली किसी भी चीज़ को ज़बरदस्ती रोक देता है। नए मॉड्यूल पर पैरामीटर timeout है, state_change_timeout नहीं जैसा deprecated वाले पर था।
फिर import, जो धुरी है:
- name: Import each VMDK onto its VM
delegate_to: localhost
throttle: 2
community.proxmox.proxmox_disk:
vmid: "{{ pve_vmid }}"
disk: "scsi{{ idx }}"
storage: "{{ pve_target_storage }}"
import_from: >-
{{ item.backing.fileName
| regex_replace('^\[[^\]]+\]\s*', '/mnt/pve/' ~ nfs_storage_pve ~ '/') }}
format: "{{ pve_target_format }}"
timeout: "{{ import_timeout }}"
create: regular
state: present
loop: "{{ vm_disks }}"
loop_control:
index_var: idx
regex_replace दोनों दुनियाओं के बीच अनुवाद का काम कर रहा है। vCenter डिस्क को [nfs-migration] app01/app01.vmdk नाम देता है; Proxmox उसी फ़ाइल तक /mnt/pve/nfs-migration/app01/app01.vmdk पर पहुँचता है। वही export, वही बाइट, कोई दूसरी कॉपी नहीं। आप descriptor .vmdk रखते हैं और उसके बगल वाले -flat.vmdk को अनदेखा करते हैं; qemu-img descriptor पढ़ता है और उसके पीछे extent तक जाता है।
import_from के बारे में तीन बातें, जो सब मॉड्यूल में हैं और सब window खुलने से पहले जानने लायक हैं।
यह सिर्फ़ create पर चलता है। update वाली शाखा में:
# 'import_from' fails on disk updates
playbook_config = self.get_create_attributes()
playbook_config.pop("import_from", None)
अगर उस VM पर scsi0 पहले से मौजूद है, तो पैरामीटर हटा दिया जाता है और आपको साधारण update मिलता है। तो खराब import के बाद दोबारा चलाने से दोबारा import नहीं होता। यह चुपचाप कुछ भी नहीं करता और सफलता की रिपोर्ट देता है। अगर import गलत हो जाए, तो फिर से कोशिश करने से पहले डिस्क मिटाइए।
timeout का डिफ़ॉल्ट 600 सेकंड है। एक वर्चुअल मशीन की डिस्क import और convert करने के लिए दस मिनट। मॉड्यूल का अपना डॉक्यूमेंटेशन इसे बढ़ाने को कहता है; सलाह मानिए।
और absolute path के लिए root चाहिए। डॉक्यूमेंटेशन इस बारे में साफ़ है:
<STORAGE>:<VMID>/<FULL_NAME>or<ABSOLUTE_PATH>/<FULL_NAME>.<STORAGE>:import/<FULL_NAME>for PVE 9.x and later, to use storage’s import directory. Attention! Only root can use absolute paths.
यह उस सलाह से अटपटे ढंग से टकराता है जो मैंने पिछली बार दी थी और जिस पर अब भी कायम हूँ: root नहीं, एक सीमित API token इस्तेमाल कीजिए। वह सलाह यहाँ के हर दूसरे चरण पर लागू है: discovery, SDN, शेल बनाना, boot order सेट करना, सब token के साथ ठीक काम करते हैं। यह एक टास्क नहीं करता, और role पर कितने भी अधिकार दें इसे नहीं बदलेंगे, क्योंकि पाबंदी किसी permission पर नहीं, user के root होने पर है।
बाहर निकलने के तीन ईमानदार रास्ते हैं, और कोई चतुर चौथा नहीं:
- PVE 9.x:
<storage>:import/<file>इस्तेमाल कीजिए और token पर ही रहिए। - PVE 8.x: यह एक टास्क
root@pamके रूप में कीजिए, और सिर्फ़ यही एक। - PVE 8.x, API पर root के बिना: इसकी बजाय SSH पर
qm importdiskचलाइए।
Playbook पहले दो को एक flag के ज़रिए लेता है, क्योंकि कुछ और दिखावा करना समस्या को बस उस व्यक्ति तक खिसका देगा जो इसे चलाता है।
आखिर में boot order, जो एक साधारण update है और इसलिए update_unsafe वाली पाबंदी से अछूता है:
- name: Boot from the first imported disk
delegate_to: localhost
community.proxmox.proxmox_kvm:
node: "{{ proxmox_node }}"
vmid: "{{ pve_vmid }}"
boot: "order=scsi0"
update: true
गेस्ट को कुछ भी शुरू नहीं करता। यह जानबूझकर है। इसे हाथ से शुरू कीजिए, इसे उठते हुए देखिए, और तभी VMware में कुछ भी मिटाने के बारे में सोचिए।
इसे चलाना
पूरा काम एक playbook है, चरण के हिसाब से tag किया हुआ, क्योंकि ये ऐसे कदम नहीं हैं जिन्हें आप एक साथ चलाना चाहें:
ansible-playbook migrate.yml --tags discover # look, change nothing
ansible-playbook migrate.yml --tags sdn # build the VLANs
ansible-playbook migrate.yml --tags build # build the diskless shells
ansible-playbook migrate.yml --tags relocate # storage vMotion, live
ansible-playbook migrate.yml --tags cutover # power off and import
--limit पूरे समय आपका दोस्त है। पहले एक VM कीजिए। एक cluster कीजिए। Playbook की इस पर कोई राय नहीं कि आप कितना उठाते हैं, और inventory आपको groups मुफ़्त में देती है: power_poweredOn, cluster_<name>, और groups block से vmware_windows और vmware_linux।
जिस पर निशाना साध रहे हैं, निशाना साधने से पहले उसे जाँचिए:
ansible-inventory --graph
ansible-inventory --host some-vm
मैं अब भी किन बातों पर नज़र रखूँगा
जो चीज़ें मैं उम्मीद करता हूँ कि असली एस्टेट से मिलने पर सामने आएँगी, अभी लिख दी हैं ताकि बाद में यह दावा न कर सकूँ कि मुझे पहले से पता था:
- Windows गेस्ट VirtIO SCSI controller से साफ़ बूट नहीं होंगे जब तक ड्राइवर पहले से मौजूद न हो।
virtio-scsi-singleसही controller है और उस Windows VM को देने के लिए गलत, जिसने इसे कभी देखा नहीं। यह अपने आप में पूरी समस्या है और ऊपर की किसी चीज़ से हल नहीं होती। - VMware Tools माइग्रेशन से पहले हटने चाहिए, बाद में नहीं।
- Snapshots। snapshot chain वाले VM में हर डिस्क पर एक से ज़्यादा
.vmdkहोते हैं, और base को import करने से आपको snapshot से पहले की स्थिति मिलती है। पहले consolidate कीजिए। config.hardware.deviceका क्रम तय करता है कि कौन सी डिस्कscsi0बनेगी। जहाँ भी मैंने देखा, यह गेस्ट के अपने क्रम से मेल खाता रहा है, लेकिन window में भरोसा करने से पहले मैं इसे multi-disk डेटाबेस सर्वर पर जाँच लूँगा।- Independent और RDM डिस्क साधारण डिस्क की तरह storage-vMotion नहीं होंगी।
इनमें से कुछ भी आकार नहीं बदलता। पहले शेल बनाइए, सब कुछ चालू रहते हुए डिस्क खिसकाइए, और outage को उस एक play तक सीमित रखिए जिसे इसकी ज़रूरत है।