这次主机是存在的,只是在错误的虚拟化平台上
上一次的问题是,清单里点名的那台机器还不存在:没有 IP,没有 SSH,没有 Python,没有任何东西可以连接。每个任务都得委派到别处去执行。
VMware 迁移把这一点倒了过来,却什么也没改变。机器存在,在运行,有人在用。你仍然从不连接它。它是一个名字加一包变量,描述一个要在别处重建的东西。每个任务仍然在控制节点上运行,只是现在另一端有两个 API,而不是一个。
先说明这是什么。 本文是设计和 playbook,不是实战故事。我还没有在生产环境上把它从头到尾跑过一遍。下文关于模块行为的每一句话,都是从发布的代码里读出来并核实过的;凡是某个说法来自源代码而不是实际运行,我都明说了。等我用它做过一次真实迁移,那些数字和意外会单独写一篇。
核对时所用的版本:
$ ansible --version | head -1
ansible [core 2.20.7]
$ ansible-galaxy collection list | grep -E 'vmware|proxmox'
community.proxmox 1.6.0
community.vmware 6.2.1
vmware.vmware 2.9.0
下面的片段都摘自同一个 playbook:migrate.yml、位于 inventory/vmware.vms.yml 的 vSphere 动态清单,以及一个 group_vars/all.yml。为了便于阅读,我把数据中心、节点和存储的名字都做了通用化处理。
这活的整体形状
五个步骤,只有最后一步有代价。
顺序就是整个设计。发现阶段什么都不改。构建网络只改 Proxmox。构建外壳也只改 Proxmox,而一个没有磁盘的外壳删起来很便宜。搬磁盘慢,但是在线进行。只有最后一个 play 会关掉任何东西的电源。
做到一半走开,每个客户机仍然在 VMware 上运行,原封未动。
两个集合,其中一个正在退役
两个你都需要,而且原因和你猜的不一样。
collections:
- name: community.vmware
version: ">=6.2.1"
- name: vmware.vmware
version: ">=2.5.0"
- name: community.proxmox
version: ">=1.6.0"
community.vmware 是那个老的、大而全的集合,正在被拆散。它的 MANIFEST.json 把 {"vmware.vmware": ">=2.5.0"} 声明为硬依赖,所以装第一个就会把第二个拉进来,不管你要没要。模块正一个一个地搬过去,而迁移中你要用到的那些,正处在这次搬迁的不同阶段:
vmware_dvs_portgroup_info:仍然只在community.vmware里,读取你的 VLAN 靠的就是它。vmware_vmotion:仍然只在community.vmware里。vmware_guest_powerstate:已弃用,在community.vmware7.0.0 中移除。 改用vmware.vmware.vm_powerstate。vmware_vm_inventory:已弃用,在 7.0.0 中移除。 改用vmware.vmware.vms。
Ansible 会在第一次运行时告诉你模块弃用的事,这一点它做得挺厚道:
[DEPRECATION WARNING]: community.vmware.vmware_guest_powerstate has been deprecated.
Use vmware.vmware.vm_powerstate instead. This feature will be removed from
collection 'community.vmware' version 7.0.0.
它不会就清单插件警告你,因为清单插件在那套机制运行之前就被解析了。你得自己去读插件。
这次拆分里还有第三个陷阱。vmware.vmware.vm_portgroup_info 看上去正是网络迁移想要的东西:按虚拟机、按网卡,给你端口组和 VLAN。但它构建在 ModuleRestBase 之上,并导入 com.vmware.vapi,这意味着控制节点上需要 vSphere Automation SDK,而不只是 pyVmomi。它文档里的返回值也过时了:RETURN 块承诺有 name 和 vlan_id,而代码在分布式交换机的情况下实际构建的是 portgroup_name 和一个 vlan_info 字典。我在下文走了另一条路,两样都没用上。
清单就是发现
这个 playbook 里没有“去把虚拟机找出来”的 play,因为在第一个任务运行之前,清单已经做完了这件事:用一次属性收集器查询,而不是逐台虚拟机循环。
# inventory/vmware.vms.yml
plugin: vmware.vmware.vms
hostname: "{{ lookup('ansible.builtin.env', 'VMWARE_HOST') }}"
username: "{{ lookup('ansible.builtin.env', 'VMWARE_USER') }}"
password: "{{ lookup('ansible.builtin.env', 'VMWARE_PASSWORD') }}"
validate_certs: false
search_paths:
- /Datacenter-1
properties:
- name
- config.name
- config.uuid
- config.guestId
- config.firmware
- config.template
- config.hardware.numCPU
- config.hardware.numCoresPerSocket
- config.hardware.memoryMB
- config.hardware.device
- summary.runtime.powerState
gather_compute_objects: true
hostnames: ['name']
filter_expressions:
- 'config.template'
文件名很要紧。 插件的 verify_file 只认领以 vms.yml、vms.yaml、vmware_vms.yml 或 vmware_vms.yaml 结尾的文件。叫它 vcenter.yml,它就悄无声息地不是你的清单。
search_paths 在查询之前过滤,而不是之后。 在大型环境里,这就是几秒和几分钟的差别。filter_expressions 则不同,文档对它说得很明白:它在收集之后运行,并且 “does not affect the speed of the inventory plugin”。
表达式为真时,filter_expressions 会丢弃该主机。 因此 config.template 会去掉模板,第一次读的时候感觉是反的。
而最重要的一行是 config.hardware.device,它不在任何地方的任何默认属性列表里。它是虚拟机的完整硬件清单,带着这次迁移缺了就无法进行的三样东西:每块网卡的 MAC、每块网卡所连接的 dvportgroup 键,以及每块磁盘的数据存储路径。没有它,你就回到了 vmware_guest_info 循环,每台虚拟机一次往返。
设备以 JSON 形式返回,其 vSphere 类型保存在 _vimtype 里。这值得知道,因为你正是靠它来区分网卡和磁盘的。我核查了编码器,而不是靠猜:
{
"_vimtype": "vim.vm.device.VirtualVmxnet3",
"macAddress": "00:50:56:87:a5:9a",
"backing": {
"_vimtype": "...DistributedVirtualPortBackingInfo",
"port": {
"_vimtype": "vim.dvs.PortConnection",
"portgroupKey": "dvportgroup-1014"
}
}
}
于是一个 compose 块就能把那些别扭的路径提升为扁平的主机变量:
compose:
vm_moid: moid
vm_firmware: config.firmware
vm_memory_mb: config.hardware.memoryMB
vm_num_cpu: config.hardware.numCPU
# A virtual NIC is any device with a MAC. Filtering on _vimtype does not
# work cleanly here, because VMXNET3, E1000 and SR-IOV cards are all
# different types with no shared substring.
vm_nics: >-
config.hardware.device
| selectattr('macAddress', 'defined')
| selectattr('macAddress', 'ne', None) | list
# Disks are one exact type, so this one can match on it.
vm_disks: >-
config.hardware.device
| selectattr('_vimtype', 'eq', 'vim.vm.device.VirtualDisk') | list
这种不对称是真实存在的,而且会坑人。没有 VirtualEthernetCard 这个类型可供匹配。那是抽象基类,vCenter 实际给你的是 VirtualVmxnet3、VirtualE1000、VirtualE1000e、VirtualPCNet32 或 VirtualSriovEthernetCard。它们之间没有公共子串。不过,带 MAC 是只有网卡才会做的事。
每个 info 模块都藏起了你需要的字段
这是贯穿整件活的主线,一旦你见过三次,就会在写任务之前先检查每一个默认值。
vmware_dvs_portgroup_info 有六个 show_* 选项。五个默认为 true。第六个是 show_vlan_info,默认是 false。
show_mac_learning=dict(type='bool', default=True),
show_network_policy=dict(type='bool', default=True),
show_teaming_policy=dict(type='bool', default=True),
show_uplinks=dict(type='bool', default=True),
show_port_policy=dict(type='bool', default=True),
show_vlan_info=dict(type='bool', default=False),
不去管它,你会拿到环境里每个端口组的 MAC 学习策略、绑定策略、上行链路顺序和端口策略。除了 VLAN 标签什么都有,而 VLAN 标签恰恰是网络迁移真正在问的唯一字段。所以这个任务和你凭直觉会写的正好里外相反:打开那一个,关掉另外五个。
- name: Read the distributed portgroups
community.vmware.vmware_dvs_portgroup_info:
datacenter: "{{ vcenter_datacenter }}"
show_vlan_info: true
show_network_policy: false
show_teaming_policy: false
show_port_policy: false
show_mac_learning: false
show_uplinks: false
register: dvs_pgs
这不是个例。vmware.vmware.vms 有 gather_compute_objects,用来填充 cluster 和 esxi_host,默认 false。community.vmware.vmware_vm_info 有 show_allocated,即存放 CPU 和内存的那一块,默认 false。三种情况下,收集成本高的字段都正是迁移需要的那个,而默认值保护的是一个只读报表的用例,不是你所处的这个。
vlan_id 有三种不同的类型
接着你拿到了 VLAN 标签,却发现它们不是同一种形状。直接取自 get_vlan_info:
if isinstance(vlan_obj, vim...TrunkVlanSpec):
...
return dict(trunk=True, pvlan=False, vlan_id=vlan_id_list)
elif isinstance(vlan_obj, vim...PvlanSpec):
return dict(trunk=False, pvlan=True, vlan_id=str(vlan_obj.pvlanId))
else:
return dict(trunk=False, pvlan=False, vlan_id=str(vlan_obj.vlanId))
接入端口组给你字符串 "100"。PVLAN 给你一个字符串。trunk 给你一个字符串列表,每项要么是 "20",要么是 "20-30"。而且每个分布式交换机上都至少有一个 trunk,不管你建没建过,因为上行端口组就是一个承载 "0-4094" 的 trunk。
所以在你把另外两种形状扔掉之前,| int 是用不了的:
access_pgs: >-
{{ dvs_pgs.dvs_portgroup_info | dict2items | map(attribute='value') | flatten
| rejectattr('vlan_info.trunk') | rejectattr('vlan_info.pvlan')
| rejectattr('vlan_info.vlan_id', 'in', ['0', 0])
| list }}
三次 reject,按这个顺序。trunk 去掉,PVLAN 去掉,然后不带标签的端口组去掉,这一步也顺带处理掉了上行端口组和 VLAN 0 上的任何东西。
我不会自动转换 trunk 或 PVLAN,谁这么做我都会提出异议。一个落到 Proxmox 上的 VMware trunk,需要的要么是 Q-in-Q 区域,要么是支持 VLAN 的 VNet,哪个对取决于客户机期望看到什么。这是一个决定,不是一个映射。playbook 把它们打印出来,然后继续:
TASK [Report what was found]
ok: [localhost] => {
"msg": "3 access portgroups -> [100, 200]. Not translated:
['dvs_001-uplink'] (trunks), ['isolated'] (PVLANs)."
}
把 VLAN 镜像到 SDN
一个绑定到网桥的 VLAN 区域,然后每个 VLAN 一个带标签的 VNet。
- name: Create the VLAN zone
community.proxmox.proxmox_zone:
zone: "{{ sdn_zone }}"
type: vlan
bridge: "{{ sdn_bridge }}"
mtu: "{{ sdn_mtu }}"
state: present
- name: Create one VNet per VMware VLAN
community.proxmox.proxmox_vnet:
vnet: "{{ sdn_vnet_prefix }}{{ item.vlan_info.vlan_id | int }}"
zone: "{{ sdn_zone }}"
tag: "{{ item.vlan_info.vlan_id | int }}"
alias: "{{ item.portgroup_name }}"
state: present
loop: "{{ access_pgs | unique(attribute='vlan_info.vlan_id') }}"
throttle: 1
VNet 名称短且受限,VMware 端口组名称则不然。 Production-Web-Tier-VLAN100 是一个再普通不过的端口组名称,却是一个不可能的 VNet 名称。所以名称是生成的,v100,取自标签,而人类可读的原名放进 alias,在界面和 pvesh 输出里都看得见。从 VLAN 而不是从端口组推导名称,也意味着六个月后看一眼就能把映射反推回去。
同一 VLAN 上的两个端口组会合并成一个 VNet。 这是对的,在 VMware 里它们本来就是同一个广播域,但你应该看到这件事发生,这正是 unique(attribute='vlan_info.vlan_id') 在做的。两个叫 prod-web 和 prod-web-b 的端口组,都在 VLAN 100 上,只产生一个 v100。
throttle: 1 不是谨慎,而是模块本身的要求。 community.proxmox 里的每次 SDN 写入都会拿一把全局集群锁,应用待定配置,然后释放:先 get_global_sdn_lock(),再 apply_sdn_changes_and_release_lock()。并行运行它们,反正也会在锁上排队;throttle 只是让你别自欺欺人。还值得知道的是,失败时能否回滚取决于版本:模块会检查 is_lock_and_rollback_supported,在较老的 PVE 上,它会告诉你没法回滚,而不是去回滚。
有一个纯外观上的问题会让你怀疑自己。在 1.6.0 中,proxmox_vnet 每次创建都会把整个参数字典作为一条 Ansible 警告输出:
self.module.warn(f"{vnet_params}")
self.proxmox_api.cluster().sdn().vnets().post(**vnet_params)
那是有人忘了删的调试输出。是噪音,不是故障。
建好外壳,不带磁盘
现在轮到虚拟机,这也是这个设计证明自己价值的地方。每台虚拟机都在 Proxmox 里建好,CPU 数对,内存对,固件对,网卡对,接在正确的 VLAN 上。一块磁盘都没有。
没有磁盘的外壳创建得快,删除不花钱,如果有人不小心启动了它,它会启动到 PXE 提示符。你可以一个下午建四百个,看一看结果,觉得不对,全部删掉再来一遍。什么都没复制,什么都没关机,也没人察觉。
派生值是声明,不是任务。Ansible 会针对当前作用域内的主机惰性求值,所以每台虚拟机都能拿到自己的值,一个 set_fact 都不用:
# group_vars/all.yml
pve_vmid: "{{ vmid_base | int + (vm_moid | regex_replace('^vm-', '') | int) }}"
pve_bios: "{{ 'ovmf' if vm_firmware == 'efi' else 'seabios' }}"
pve_cores: "{{ vm_cores_per_socket | int }}"
pve_sockets: "{{ ((vm_num_cpu | int) / (vm_cores_per_socket | int)) | round(0, 'ceil') | int }}"
VMID 来自 vCenter 的 MoID。 vm-42 变成 20042。这比看上去更要紧:切换 play 必须找到构建 play 创建的那台虚拟机,而重跑必须落在同一台上,而不是悄悄再建第二台。让 API 分配下一个空闲 ID(省略 vmid 时就会这样,我上次写过)会让这一点无法实现。
内存不需要换算。 VMware 报告 config.hardware.memoryMB,Proxmox 要的也是 MB。插槽数则需要:VMware 给你的是 vCPU 总数和每插槽核数,Proxmox 要的是插槽数和核数。
- name: Create the VM shell
delegate_to: localhost
community.proxmox.proxmox_kvm:
node: "{{ proxmox_node }}"
vmid: "{{ pve_vmid }}"
name: "{{ inventory_hostname }}"
cores: "{{ pve_cores }}"
sockets: "{{ pve_sockets }}"
memory: "{{ vm_memory_mb }}"
ostype: "{{ pve_ostype }}"
bios: "{{ pve_bios }}"
scsihw: "{{ default_scsihw }}"
efidisk0: "{{ {'storage': pve_target_storage, 'efitype': '4m',
'pre_enrolled_keys': false}
if pve_bios == 'ovmf' else omit }}"
agent: "enabled=1"
onboot: false
state: present
故意设 onboot: false。 迁移进行到一半时,什么都不该自己启动,尤其是一台磁盘还在被另一个虚拟化平台写入的机器。
固件必须弄对,没得商量。 一个 UEFI 客户机导入到 SeaBIOS 虚拟机上,会导入得完美无缺,然后拒绝启动,而你会在上面耗掉一个小时。config.firmware 是 efi 或 bios,直接对应 ovmf 和 seabios。UEFI 客户机还需要一块 EFI 变量盘,它必须和虚拟机一起创建,原因见下文。
proxmox_kvm 不会修正网卡,也不会告诉你
上次我写过,proxmox_kvm 宁可不收敛也不去更新。这里是更尖锐的版本,写本文时它咬了我一口,值得说得精确些。
update 默认为 false,所以对一台已存在的虚拟机重跑什么都不做。这没问题,文档里也写了。但设置了 update: true,模块仍然拒绝碰某些参数:
# If update, don't update disk (virtio, efidisk0, tpmstate0, ide, sata, scsi)
# and network interface, unless update_unsafe=True
if update_unsafe is False:
...
if "efidisk0" in kwargs:
del kwargs["efidisk0"]
它把这些参数从请求里删掉,然后继续执行。于是你在清单映射里改正了一块网卡,带 update: true 重跑,看着 Ansible 报告 changed,而网卡和之前错得一模一样。changed 是真的,载荷里别的东西被更新了,但不是你要修的那个。
update_unsafe: true 解除了这个限制,而这个名字很诚实。同一道防护也覆盖磁盘,所以在有磁盘的虚拟机上,一次不安全的更新是凭空多出一份磁盘副本的好办法。这不是迁移期间该去伸手碰的开关。
出路是根本不用 net。网卡用 proxmox_nic 来加,这个模块的全部工作就是一个接口,而且能正确收敛:
- name: Attach each NIC to its VNet
delegate_to: localhost
community.proxmox.proxmox_nic:
vmid: "{{ pve_vmid }}"
interface: "net{{ idx }}"
bridge: "{{ sdn_vnet_prefix }}{{ pg_vlan[item.backing.port.portgroupKey] }}"
mac: "{{ item.macAddress }}"
model: "{{ default_net_model }}"
state: present
loop: "{{ vm_nics }}"
loop_control:
index_var: idx
这和我上次最终得出的分工一样:proxmox_kvm 用来定义机器,proxmox_disk 和 proxmox_nic 负责之后会变的东西。参数名是 mac,不是 mac_addr。
efidisk0 没法用同样的方式移出去:proxmox_disk 没有 efitype 或 pre_enrolled_keys,所以它必须在创建时加上,而且第一次就得对。
把 MAC 带过去。 VMware 从 00:50:56:... 分配 MAC,Proxmox 照单全收,毫无怨言。保留它们意味着 DHCP 预留仍然匹配,绑定 MAC 的许可证仍然有效,任何针对 MAC 写的防火墙规则仍然生效。改掉它们则意味着一整天的小谜团。proxmox_nic 也接受 model: vmxnet3,如果你需要客户机看到和以前一样的网卡;但在 KVM 上,virtio 是更好的网卡,而 Windows 客户机无论哪种都会需要新驱动。
宁可拒绝,也不去猜
标准端口组上的网卡根本没有 backing.port。它的 backing 是一个带 deviceName 的 NetworkBackingInfo。它不会在映射里,正确的做法是停下来:
- name: Every NIC must sit on a distributed portgroup with a VNet
ansible.builtin.assert:
that:
- vm_nics | rejectattr('backing.port.portgroupKey', 'defined') | list | length == 0
- vm_nics | map(attribute='backing.port.portgroupKey')
| reject('in', pg_vlan.keys() | list) | list | length == 0
fail_msg: >-
{{ inventory_hostname }} has NICs that do not map to a Proxmox VNet.
Attaching it to the wrong network is worse than not building it.
两个条件而不是一个,因为第一个必须先于第二个运行:对一个没有 port 的网卡做 map(attribute=...),会在未定义的查找上炸掉。先把没有形状的拒掉,再拿剩下的去对照映射。
一个导出,挂载两次
让整件事变便宜的就是这一部分。
把一个 NFS 导出放在两个虚拟化平台都能挂载的地方。vCenter 看到的是一个叫 nfs-migration 的数据存储;Proxmox 节点挂载同一个导出,看到的是 /mnt/pve/nfs-migration。然后用存储 vMotion 把 VMDK 迁到上面。
存储 vMotion 是在线的。客户机全程照常提供服务。什么都没切换,不需要维护窗口,半路放弃也只是浪费了些 I/O,没有别的后果。它是迄今为止最慢的阶段,却不花任何代价。
- name: Relocate to the NFS datastore
delegate_to: localhost
throttle: 2
community.vmware.vmware_vmotion:
moid: "{{ vm_moid }}"
destination_datastore: "{{ nfs_datastore_vmware }}"
timeout: "{{ vmotion_timeout }}"
timeout 默认为 3600,也就是一小时。 一个 2 TB 的 VMDK 赶不上,而失败的方式阴险得不声不响:Ansible 任务失败了,vMotion 却在 vCenter 里继续运行。你现在有一个说自己失败了的 playbook,和一个仍在忙碌的环境。把它设成符合你实际存储情况的值。
throttle: 2,因为瓶颈不在控制节点。 存储 vMotion 受限于存储阵列和网络。同时跑六个不会给你六倍吞吐量;它给你的是六个慢吞吞的迁移和一个怒气冲冲的存储团队。
这个模块的幂等性正合你意:如果虚拟机已经在目标数据存储上,它会设置 storage_vmotion_needed = False,所以重跑一遍来收拾掉队的虚拟机是安全的。
等这一步结束,数据就躺在 Proxmox 已经挂载的存储上了。因此,再也不需要任何东西去复制它们。永远不需要。
切换
这是唯一一个要付出停机代价的 play,其内部顺序没有商量余地。
首先,一个很容易漏掉的问题:清单现在已经过时了。 它是在 vMotion 之前收集的,所以 vm_disks 里存的还是旧的数据存储路径。从那些路径导入,你就是在让 Proxmox 指向一个它看不到的路径。
- name: Re-read the inventory now the disks have moved
ansible.builtin.meta: refresh_inventory
这也是清单配置里关掉缓存的原因。热缓存会把它本该替换掉的过时数据原样交还给 refresh_inventory。这是一个实打实的取舍,vCenter 不快,但这里路径一错,就是窗口内的一次失败切换,相比之下多一次往返很便宜。
然后关机。导入一个 ESXi 主机还开着的 VMDK,最多只能得到一个崩溃一致的副本:
- name: Shut the guest down in VMware
delegate_to: localhost
vmware.vmware.vm_powerstate:
moid: "{{ vm_moid }}"
state: "{{ 'shutdown-guest' if vm_power_state == 'poweredOn' else 'powered-off' }}"
timeout: 600
force: true
shutdown-guest 是通过 VMware Tools 进行的正常关机;force: true 会硬停止任何在超时时间内关不掉的机器。在新模块里,参数叫 timeout,而不是弃用模块里的 state_change_timeout。
然后是导入,这是关键转折:
- name: Import each VMDK onto its VM
delegate_to: localhost
throttle: 2
community.proxmox.proxmox_disk:
vmid: "{{ pve_vmid }}"
disk: "scsi{{ idx }}"
storage: "{{ pve_target_storage }}"
import_from: >-
{{ item.backing.fileName
| regex_replace('^\[[^\]]+\]\s*', '/mnt/pve/' ~ nfs_storage_pve ~ '/') }}
format: "{{ pve_target_format }}"
timeout: "{{ import_timeout }}"
create: regular
state: present
loop: "{{ vm_disks }}"
loop_control:
index_var: idx
regex_replace 承担了两个世界之间的翻译。vCenter 把磁盘命名为 [nfs-migration] app01/app01.vmdk;Proxmox 则在 /mnt/pve/nfs-migration/app01/app01.vmdk 访问同一个文件。同一个导出,同样的字节,没有第二份副本。你保留描述符 .vmdk,忽略它旁边的 -flat.vmdk:qemu-img 会读取描述符并顺着它找到数据区。
关于 import_from 有三件事,都写在模块里,都值得在窗口打开之前知道。
它只在创建时生效。 在更新分支里:
# 'import_from' fails on disk updates
playbook_config = self.get_create_attributes()
playbook_config.pop("import_from", None)
如果那台虚拟机上已经有 scsi0,这个参数就会被丢掉,你得到的只是一次普通更新。所以一次失败的导入之后重跑,并不会重新导入。它悄无声息地什么都不做,然后报告成功。如果导入出了问题,先删掉磁盘再试。
timeout 默认为 600 秒。 十分钟,用来导入并转换一台虚拟机的磁盘。模块自己的文档都说要调高它;听它的。
而且绝对路径需要 root。 文档对此说得很直白:
<STORAGE>:<VMID>/<FULL_NAME>or<ABSOLUTE_PATH>/<FULL_NAME>.<STORAGE>:import/<FULL_NAME>for PVE 9.x and later, to use storage’s import directory. Attention! Only root can use absolute paths.
这和我上次给出、至今仍坚持的建议撞得很别扭:用限定范围的 API 令牌,不要用 root。这条建议对这里其他每个阶段都成立:发现、SDN、构建外壳、设置启动顺序,用令牌都没问题。唯独这一个任务不行,而且无论给角色多少权限都改变不了,因为限制针对的是用户是不是 root,而不是某项权限。
老老实实的出路有三条,没有什么巧妙的第四条:
- PVE 9.x:用
<storage>:import/<file>,继续用令牌。 - PVE 8.x:这一个任务以
root@pam执行,仅此一个。 - PVE 8.x,不允许通过 API 用 root:改为通过 SSH 运行
qm importdisk。
playbook 通过一个开关支持前两种,因为假装不是这样,只会把问题转嫁给运行它的人。
最后是启动顺序,这是一次普通更新,因此不受 update_unsafe 限制的影响:
- name: Boot from the first imported disk
delegate_to: localhost
community.proxmox.proxmox_kvm:
node: "{{ proxmox_node }}"
vmid: "{{ pve_vmid }}"
boot: "order=scsi0"
update: true
什么都不会启动客户机。这是故意的。手工启动它,看着它起来,然后才去考虑删除 VMware 里的任何东西。
运行它
整件事是一个 playbook,按阶段打标签,因为这些步骤你不会想一起跑:
ansible-playbook migrate.yml --tags discover # look, change nothing
ansible-playbook migrate.yml --tags sdn # build the VLANs
ansible-playbook migrate.yml --tags build # build the diskless shells
ansible-playbook migrate.yml --tags relocate # storage vMotion, live
ansible-playbook migrate.yml --tags cutover # power off and import
--limit 自始至终都是你的朋友。先做一台虚拟机。再做一个集群。playbook 对你一口咬多少没有意见,而清单免费给了你分组:power_poweredOn、cluster_<name>,以及来自 groups 块的 vmware_windows 和 vmware_linux。
在指向某个目标之前,先确认你指向的是什么:
ansible-inventory --graph
ansible-inventory --host some-vm
我仍然会留意的事
当这套东西碰上真实环境时我预计会遇到的问题,现在就写下来,免得事后我说自己早就料到了:
- Windows 客户机不会从 VirtIO SCSI 控制器干净地启动,除非事先装好驱动。
virtio-scsi-single是正确的控制器,却是交给一台从没见过它的 Windows 虚拟机的错误控制器。那本身就是一整个问题,上面的任何内容都解决不了它。 - VMware Tools 应该在迁移之前卸掉,而不是之后。
- 快照。 带快照链的虚拟机每块磁盘不止一个
.vmdk,导入基础盘得到的是快照之前的状态。先合并。 config.hardware.device的顺序决定了哪块磁盘成为scsi0。在我看过的每个地方,它都和客户机自己的顺序一致,但在一台多磁盘的数据库服务器上,我会先核实,再在窗口里信任它。- 独立磁盘和 RDM 磁盘不能像普通磁盘那样做存储 vMotion。
这些都不改变整体形状。先建好外壳,在一切仍在运行时搬磁盘,把停机限制在唯一需要它的那个 play 里。