这次主机是存在的,只是在错误的虚拟化平台上

上一次的问题是,清单里点名的那台机器还不存在:没有 IP,没有 SSH,没有 Python,没有任何东西可以连接。每个任务都得委派到别处去执行。

VMware 迁移把这一点倒了过来,却什么也没改变。机器存在,在运行,有人在用。你仍然从不连接它。它是一个名字加一包变量,描述一个要在别处重建的东西。每个任务仍然在控制节点上运行,只是现在另一端有两个 API,而不是一个。

先说明这是什么。 本文是设计和 playbook,不是实战故事。我还没有在生产环境上把它从头到尾跑过一遍。下文关于模块行为的每一句话,都是从发布的代码里读出来并核实过的;凡是某个说法来自源代码而不是实际运行,我都明说了。等我用它做过一次真实迁移,那些数字和意外会单独写一篇。

核对时所用的版本:

$ ansible --version | head -1
ansible [core 2.20.7]

$ ansible-galaxy collection list | grep -E 'vmware|proxmox'
community.proxmox 1.6.0
community.vmware  6.2.1
vmware.vmware     2.9.0

下面的片段都摘自同一个 playbook:migrate.yml、位于 inventory/vmware.vms.yml 的 vSphere 动态清单,以及一个 group_vars/all.yml。为了便于阅读,我把数据中心、节点和存储的名字都做了通用化处理。

这活的整体形状

五个步骤,只有最后一步有代价。

客户机在运行,毫无风险停机发现读取分布式端口组及其VLAN 标签sdn一个 VLAN 区域,每 VLAN 一个 VNet在 Proxmox 上构建无磁盘外壳,CPU、内存、固件和 MAC 都对迁移存储用存储 vMotion把 VMDK 迁到 NFS,运行中进行切换关机,导入磁盘,设置启动顺序,然后启动客户机一切可逆的事都在关掉任何东西之前做完慢的部分是迁移存储,而它完全不需要停机。到窗口打开时,磁盘已经在Proxmox 挂载的存储上了,所以切换是一次本地导入,而不是一次复制。没有磁盘的外壳删起来很便宜,所以切换之前犯的错,除了时间什么都不花。迁移做到一半放弃,每个客户机仍然在 VMware 上运行,原封未动。
一切可逆的事情都先做。慢的阶段不花代价,而昂贵的阶段很短,因为到那时磁盘已经在它们需要在的地方了。

顺序就是整个设计。发现阶段什么都不改。构建网络只改 Proxmox。构建外壳也只改 Proxmox,而一个没有磁盘的外壳删起来很便宜。搬磁盘慢,但是在线进行。只有最后一个 play 会关掉任何东西的电源。

做到一半走开,每个客户机仍然在 VMware 上运行,原封未动。

两个集合,其中一个正在退役

两个你都需要,而且原因和你猜的不一样。

collections:
  - name: community.vmware
    version: ">=6.2.1"
  - name: vmware.vmware
    version: ">=2.5.0"
  - name: community.proxmox
    version: ">=1.6.0"

community.vmware 是那个老的、大而全的集合,正在被拆散。它的 MANIFEST.json 把 {"vmware.vmware": ">=2.5.0"} 声明为硬依赖,所以装第一个就会把第二个拉进来,不管你要没要。模块正一个一个地搬过去,而迁移中你要用到的那些,正处在这次搬迁的不同阶段:

  • vmware_dvs_portgroup_info:仍然只在 community.vmware 里,读取你的 VLAN 靠的就是它。
  • vmware_vmotion:仍然只在 community.vmware 里。
  • vmware_guest_powerstate:已弃用,在 community.vmware 7.0.0 中移除。 改用 vmware.vmware.vm_powerstate。
  • vmware_vm_inventory:已弃用,在 7.0.0 中移除。 改用 vmware.vmware.vms。

Ansible 会在第一次运行时告诉你模块弃用的事,这一点它做得挺厚道:

[DEPRECATION WARNING]: community.vmware.vmware_guest_powerstate has been deprecated.
Use vmware.vmware.vm_powerstate instead. This feature will be removed from
collection 'community.vmware' version 7.0.0.

它不会就清单插件警告你,因为清单插件在那套机制运行之前就被解析了。你得自己去读插件。

这次拆分里还有第三个陷阱。vmware.vmware.vm_portgroup_info 看上去正是网络迁移想要的东西:按虚拟机、按网卡,给你端口组和 VLAN。但它构建在 ModuleRestBase 之上,并导入 com.vmware.vapi,这意味着控制节点上需要 vSphere Automation SDK,而不只是 pyVmomi。它文档里的返回值也过时了:RETURN 块承诺有 name 和 vlan_id,而代码在分布式交换机的情况下实际构建的是 portgroup_name 和一个 vlan_info 字典。我在下文走了另一条路,两样都没用上。

清单就是发现

这个 playbook 里没有“去把虚拟机找出来”的 play,因为在第一个任务运行之前,清单已经做完了这件事:用一次属性收集器查询,而不是逐台虚拟机循环。

# inventory/vmware.vms.yml
plugin: vmware.vmware.vms

hostname: "{{ lookup('ansible.builtin.env', 'VMWARE_HOST') }}"
username: "{{ lookup('ansible.builtin.env', 'VMWARE_USER') }}"
password: "{{ lookup('ansible.builtin.env', 'VMWARE_PASSWORD') }}"
validate_certs: false

search_paths:
  - /Datacenter-1

properties:
  - name
  - config.name
  - config.uuid
  - config.guestId
  - config.firmware
  - config.template
  - config.hardware.numCPU
  - config.hardware.numCoresPerSocket
  - config.hardware.memoryMB
  - config.hardware.device
  - summary.runtime.powerState

gather_compute_objects: true
hostnames: ['name']
filter_expressions:
  - 'config.template'

文件名很要紧。 插件的 verify_file 只认领以 vms.yml、vms.yaml、vmware_vms.yml 或 vmware_vms.yaml 结尾的文件。叫它 vcenter.yml,它就悄无声息地不是你的清单。

search_paths 在查询之前过滤,而不是之后。 在大型环境里,这就是几秒和几分钟的差别。filter_expressions 则不同,文档对它说得很明白:它在收集之后运行,并且 “does not affect the speed of the inventory plugin”。

表达式为真时,filter_expressions 会丢弃该主机。 因此 config.template 会去掉模板,第一次读的时候感觉是反的。

而最重要的一行是 config.hardware.device,它不在任何地方的任何默认属性列表里。它是虚拟机的完整硬件清单,带着这次迁移缺了就无法进行的三样东西:每块网卡的 MAC、每块网卡所连接的 dvportgroup 键,以及每块磁盘的数据存储路径。没有它,你就回到了 vmware_guest_info 循环,每台虚拟机一次往返。

设备以 JSON 形式返回,其 vSphere 类型保存在 _vimtype 里。这值得知道,因为你正是靠它来区分网卡和磁盘的。我核查了编码器,而不是靠猜:

{
  "_vimtype": "vim.vm.device.VirtualVmxnet3",
  "macAddress": "00:50:56:87:a5:9a",
  "backing": {
    "_vimtype": "...DistributedVirtualPortBackingInfo",
    "port": {
      "_vimtype": "vim.dvs.PortConnection",
      "portgroupKey": "dvportgroup-1014"
    }
  }
}

于是一个 compose 块就能把那些别扭的路径提升为扁平的主机变量:

compose:
  vm_moid: moid
  vm_firmware: config.firmware
  vm_memory_mb: config.hardware.memoryMB
  vm_num_cpu: config.hardware.numCPU

  # A virtual NIC is any device with a MAC. Filtering on _vimtype does not
  # work cleanly here, because VMXNET3, E1000 and SR-IOV cards are all
  # different types with no shared substring.
  vm_nics: >-
    config.hardware.device
    | selectattr('macAddress', 'defined')
    | selectattr('macAddress', 'ne', None) | list

  # Disks are one exact type, so this one can match on it.
  vm_disks: >-
    config.hardware.device
    | selectattr('_vimtype', 'eq', 'vim.vm.device.VirtualDisk') | list

这种不对称是真实存在的,而且会坑人。没有 VirtualEthernetCard 这个类型可供匹配。那是抽象基类,vCenter 实际给你的是 VirtualVmxnet3、VirtualE1000、VirtualE1000e、VirtualPCNet32 或 VirtualSriovEthernetCard。它们之间没有公共子串。不过,带 MAC 是只有网卡才会做的事。

每个 info 模块都藏起了你需要的字段

这是贯穿整件活的主线,一旦你见过三次,就会在写任务之前先检查每一个默认值。

vmware_dvs_portgroup_info 有六个 show_* 选项。五个默认为 true。第六个是 show_vlan_info,默认是 false。

show_mac_learning=dict(type='bool', default=True),
show_network_policy=dict(type='bool', default=True),
show_teaming_policy=dict(type='bool', default=True),
show_uplinks=dict(type='bool', default=True),
show_port_policy=dict(type='bool', default=True),
show_vlan_info=dict(type='bool', default=False),

不去管它,你会拿到环境里每个端口组的 MAC 学习策略、绑定策略、上行链路顺序和端口策略。除了 VLAN 标签什么都有,而 VLAN 标签恰恰是网络迁移真正在问的唯一字段。所以这个任务和你凭直觉会写的正好里外相反:打开那一个,关掉另外五个。

- name: Read the distributed portgroups
  community.vmware.vmware_dvs_portgroup_info:
    datacenter: "{{ vcenter_datacenter }}"
    show_vlan_info: true
    show_network_policy: false
    show_teaming_policy: false
    show_port_policy: false
    show_mac_learning: false
    show_uplinks: false
  register: dvs_pgs

这不是个例。vmware.vmware.vms 有 gather_compute_objects,用来填充 cluster 和 esxi_host,默认 false。community.vmware.vmware_vm_info 有 show_allocated,即存放 CPU 和内存的那一块,默认 false。三种情况下,收集成本高的字段都正是迁移需要的那个,而默认值保护的是一个只读报表的用例,不是你所处的这个。

vlan_id 有三种不同的类型

接着你拿到了 VLAN 标签,却发现它们不是同一种形状。直接取自 get_vlan_info:

if isinstance(vlan_obj, vim...TrunkVlanSpec):
    ...
    return dict(trunk=True, pvlan=False, vlan_id=vlan_id_list)
elif isinstance(vlan_obj, vim...PvlanSpec):
    return dict(trunk=False, pvlan=True, vlan_id=str(vlan_obj.pvlanId))
else:
    return dict(trunk=False, pvlan=False, vlan_id=str(vlan_obj.vlanId))

接入端口组给你字符串 "100"。PVLAN 给你一个字符串。trunk 给你一个字符串列表,每项要么是 "20",要么是 "20-30"。而且每个分布式交换机上都至少有一个 trunk,不管你建没建过,因为上行端口组就是一个承载 "0-4094" 的 trunk。

所以在你把另外两种形状扔掉之前,| int 是用不了的:

access_pgs: >-
  {{ dvs_pgs.dvs_portgroup_info | dict2items | map(attribute='value') | flatten
     | rejectattr('vlan_info.trunk') | rejectattr('vlan_info.pvlan')
     | rejectattr('vlan_info.vlan_id', 'in', ['0', 0])
     | list }}

三次 reject,按这个顺序。trunk 去掉,PVLAN 去掉,然后不带标签的端口组去掉,这一步也顺带处理掉了上行端口组和 VLAN 0 上的任何东西。

我不会自动转换 trunk 或 PVLAN,谁这么做我都会提出异议。一个落到 Proxmox 上的 VMware trunk,需要的要么是 Q-in-Q 区域,要么是支持 VLAN 的 VNet,哪个对取决于客户机期望看到什么。这是一个决定,不是一个映射。playbook 把它们打印出来,然后继续:

TASK [Report what was found]
ok: [localhost] => {
    "msg": "3 access portgroups -> [100, 200]. Not translated:
            ['dvs_001-uplink'] (trunks), ['isolated'] (PVLANs)."
}

把 VLAN 镜像到 SDN

一个绑定到网桥的 VLAN 区域,然后每个 VLAN 一个带标签的 VNet。

- name: Create the VLAN zone
  community.proxmox.proxmox_zone:
    zone: "{{ sdn_zone }}"
    type: vlan
    bridge: "{{ sdn_bridge }}"
    mtu: "{{ sdn_mtu }}"
    state: present

- name: Create one VNet per VMware VLAN
  community.proxmox.proxmox_vnet:
    vnet: "{{ sdn_vnet_prefix }}{{ item.vlan_info.vlan_id | int }}"
    zone: "{{ sdn_zone }}"
    tag: "{{ item.vlan_info.vlan_id | int }}"
    alias: "{{ item.portgroup_name }}"
    state: present
  loop: "{{ access_pgs | unique(attribute='vlan_info.vlan_id') }}"
  throttle: 1

VNet 名称短且受限,VMware 端口组名称则不然。 Production-Web-Tier-VLAN100 是一个再普通不过的端口组名称,却是一个不可能的 VNet 名称。所以名称是生成的,v100,取自标签,而人类可读的原名放进 alias,在界面和 pvesh 输出里都看得见。从 VLAN 而不是从端口组推导名称,也意味着六个月后看一眼就能把映射反推回去。

同一 VLAN 上的两个端口组会合并成一个 VNet。 这是对的,在 VMware 里它们本来就是同一个广播域,但你应该看到这件事发生,这正是 unique(attribute='vlan_info.vlan_id') 在做的。两个叫 prod-web 和 prod-web-b 的端口组,都在 VLAN 100 上,只产生一个 v100。

throttle: 1 不是谨慎,而是模块本身的要求。 community.proxmox 里的每次 SDN 写入都会拿一把全局集群锁,应用待定配置,然后释放:先 get_global_sdn_lock(),再 apply_sdn_changes_and_release_lock()。并行运行它们,反正也会在锁上排队;throttle 只是让你别自欺欺人。还值得知道的是,失败时能否回滚取决于版本:模块会检查 is_lock_and_rollback_supported,在较老的 PVE 上,它会告诉你没法回滚,而不是去回滚。

有一个纯外观上的问题会让你怀疑自己。在 1.6.0 中,proxmox_vnet 每次创建都会把整个参数字典作为一条 Ansible 警告输出:

self.module.warn(f"{vnet_params}")
self.proxmox_api.cluster().sdn().vnets().post(**vnet_params)

那是有人忘了删的调试输出。是噪音,不是故障。

建好外壳,不带磁盘

现在轮到虚拟机,这也是这个设计证明自己价值的地方。每台虚拟机都在 Proxmox 里建好,CPU 数对,内存对,固件对,网卡对,接在正确的 VLAN 上。一块磁盘都没有。

没有磁盘的外壳创建得快,删除不花钱,如果有人不小心启动了它,它会启动到 PXE 提示符。你可以一个下午建四百个,看一看结果,觉得不对,全部删掉再来一遍。什么都没复制,什么都没关机,也没人察觉。

派生值是声明,不是任务。Ansible 会针对当前作用域内的主机惰性求值,所以每台虚拟机都能拿到自己的值,一个 set_fact 都不用:

# group_vars/all.yml
pve_vmid: "{{ vmid_base | int + (vm_moid | regex_replace('^vm-', '') | int) }}"
pve_bios: "{{ 'ovmf' if vm_firmware == 'efi' else 'seabios' }}"
pve_cores: "{{ vm_cores_per_socket | int }}"
pve_sockets: "{{ ((vm_num_cpu | int) / (vm_cores_per_socket | int)) | round(0, 'ceil') | int }}"

VMID 来自 vCenter 的 MoID。 vm-42 变成 20042。这比看上去更要紧:切换 play 必须找到构建 play 创建的那台虚拟机,而重跑必须落在同一台上,而不是悄悄再建第二台。让 API 分配下一个空闲 ID(省略 vmid 时就会这样,我上次写过)会让这一点无法实现。

内存不需要换算。 VMware 报告 config.hardware.memoryMB,Proxmox 要的也是 MB。插槽数则需要:VMware 给你的是 vCPU 总数和每插槽核数,Proxmox 要的是插槽数和核数。

- name: Create the VM shell
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    node: "{{ proxmox_node }}"
    vmid: "{{ pve_vmid }}"
    name: "{{ inventory_hostname }}"
    cores: "{{ pve_cores }}"
    sockets: "{{ pve_sockets }}"
    memory: "{{ vm_memory_mb }}"
    ostype: "{{ pve_ostype }}"
    bios: "{{ pve_bios }}"
    scsihw: "{{ default_scsihw }}"
    efidisk0: "{{ {'storage': pve_target_storage, 'efitype': '4m',
                   'pre_enrolled_keys': false}
                  if pve_bios == 'ovmf' else omit }}"
    agent: "enabled=1"
    onboot: false
    state: present

故意设 onboot: false。 迁移进行到一半时,什么都不该自己启动,尤其是一台磁盘还在被另一个虚拟化平台写入的机器。

固件必须弄对,没得商量。 一个 UEFI 客户机导入到 SeaBIOS 虚拟机上,会导入得完美无缺,然后拒绝启动,而你会在上面耗掉一个小时。config.firmware 是 efi 或 bios,直接对应 ovmf 和 seabios。UEFI 客户机还需要一块 EFI 变量盘,它必须和虚拟机一起创建,原因见下文。

proxmox_kvm 不会修正网卡,也不会告诉你

上次我写过,proxmox_kvm 宁可不收敛也不去更新。这里是更尖锐的版本,写本文时它咬了我一口,值得说得精确些。

update 默认为 false,所以对一台已存在的虚拟机重跑什么都不做。这没问题,文档里也写了。但设置了 update: true,模块仍然拒绝碰某些参数:

# If update, don't update disk (virtio, efidisk0, tpmstate0, ide, sata, scsi)
# and network interface, unless update_unsafe=True
if update_unsafe is False:
    ...
    if "efidisk0" in kwargs:
        del kwargs["efidisk0"]

它把这些参数从请求里删掉,然后继续执行。于是你在清单映射里改正了一块网卡,带 update: true 重跑,看着 Ansible 报告 changed,而网卡和之前错得一模一样。changed 是真的,载荷里别的东西被更新了,但不是你要修的那个。

update_unsafe: true 解除了这个限制,而这个名字很诚实。同一道防护也覆盖磁盘,所以在有磁盘的虚拟机上,一次不安全的更新是凭空多出一份磁盘副本的好办法。这不是迁移期间该去伸手碰的开关。

出路是根本不用 net。网卡用 proxmox_nic 来加,这个模块的全部工作就是一个接口,而且能正确收敛:

- name: Attach each NIC to its VNet
  delegate_to: localhost
  community.proxmox.proxmox_nic:
    vmid: "{{ pve_vmid }}"
    interface: "net{{ idx }}"
    bridge: "{{ sdn_vnet_prefix }}{{ pg_vlan[item.backing.port.portgroupKey] }}"
    mac: "{{ item.macAddress }}"
    model: "{{ default_net_model }}"
    state: present
  loop: "{{ vm_nics }}"
  loop_control:
    index_var: idx

这和我上次最终得出的分工一样:proxmox_kvm 用来定义机器,proxmox_disk 和 proxmox_nic 负责之后会变的东西。参数名是 mac,不是 mac_addr。

efidisk0 没法用同样的方式移出去:proxmox_disk 没有 efitype 或 pre_enrolled_keys,所以它必须在创建时加上,而且第一次就得对。

把 MAC 带过去。 VMware 从 00:50:56:... 分配 MAC,Proxmox 照单全收,毫无怨言。保留它们意味着 DHCP 预留仍然匹配,绑定 MAC 的许可证仍然有效,任何针对 MAC 写的防火墙规则仍然生效。改掉它们则意味着一整天的小谜团。proxmox_nic 也接受 model: vmxnet3,如果你需要客户机看到和以前一样的网卡;但在 KVM 上,virtio 是更好的网卡,而 Windows 客户机无论哪种都会需要新驱动。

宁可拒绝,也不去猜

标准端口组上的网卡根本没有 backing.port。它的 backing 是一个带 deviceName 的 NetworkBackingInfo。它不会在映射里,正确的做法是停下来:

- name: Every NIC must sit on a distributed portgroup with a VNet
  ansible.builtin.assert:
    that:
      - vm_nics | rejectattr('backing.port.portgroupKey', 'defined') | list | length == 0
      - vm_nics | map(attribute='backing.port.portgroupKey')
          | reject('in', pg_vlan.keys() | list) | list | length == 0
    fail_msg: >-
      {{ inventory_hostname }} has NICs that do not map to a Proxmox VNet.
      Attaching it to the wrong network is worse than not building it.

两个条件而不是一个,因为第一个必须先于第二个运行:对一个没有 port 的网卡做 map(attribute=...),会在未定义的查找上炸掉。先把没有形状的拒掉,再拿剩下的去对照映射。

一个导出,挂载两次

让整件事变便宜的就是这一部分。

把一个 NFS 导出放在两个虚拟化平台都能挂载的地方。vCenter 看到的是一个叫 nfs-migration 的数据存储;Proxmox 节点挂载同一个导出,看到的是 /mnt/pve/nfs-migration。然后用存储 vMotion 把 VMDK 迁到上面。

存储 vMotion 是在线的。客户机全程照常提供服务。什么都没切换,不需要维护窗口,半路放弃也只是浪费了些 I/O,没有别的后果。它是迄今为止最慢的阶段,却不花任何代价。

- name: Relocate to the NFS datastore
  delegate_to: localhost
  throttle: 2
  community.vmware.vmware_vmotion:
    moid: "{{ vm_moid }}"
    destination_datastore: "{{ nfs_datastore_vmware }}"
    timeout: "{{ vmotion_timeout }}"

timeout 默认为 3600,也就是一小时。 一个 2 TB 的 VMDK 赶不上,而失败的方式阴险得不声不响:Ansible 任务失败了,vMotion 却在 vCenter 里继续运行。你现在有一个说自己失败了的 playbook,和一个仍在忙碌的环境。把它设成符合你实际存储情况的值。

throttle: 2,因为瓶颈不在控制节点。 存储 vMotion 受限于存储阵列和网络。同时跑六个不会给你六倍吞吐量;它给你的是六个慢吞吞的迁移和一个怒气冲冲的存储团队。

这个模块的幂等性正合你意:如果虚拟机已经在目标数据存储上,它会设置 storage_vmotion_needed = False,所以重跑一遍来收拾掉队的虚拟机是安全的。

等这一步结束,数据就躺在 Proxmox 已经挂载的存储上了。因此,再也不需要任何东西去复制它们。永远不需要。

切换

这是唯一一个要付出停机代价的 play,其内部顺序没有商量余地。

首先,一个很容易漏掉的问题:清单现在已经过时了。 它是在 vMotion 之前收集的,所以 vm_disks 里存的还是旧的数据存储路径。从那些路径导入,你就是在让 Proxmox 指向一个它看不到的路径。

- name: Re-read the inventory now the disks have moved
  ansible.builtin.meta: refresh_inventory

这也是清单配置里关掉缓存的原因。热缓存会把它本该替换掉的过时数据原样交还给 refresh_inventory。这是一个实打实的取舍,vCenter 不快,但这里路径一错,就是窗口内的一次失败切换,相比之下多一次往返很便宜。

然后关机。导入一个 ESXi 主机还开着的 VMDK,最多只能得到一个崩溃一致的副本:

- name: Shut the guest down in VMware
  delegate_to: localhost
  vmware.vmware.vm_powerstate:
    moid: "{{ vm_moid }}"
    state: "{{ 'shutdown-guest' if vm_power_state == 'poweredOn' else 'powered-off' }}"
    timeout: 600
    force: true

shutdown-guest 是通过 VMware Tools 进行的正常关机;force: true 会硬停止任何在超时时间内关不掉的机器。在新模块里,参数叫 timeout,而不是弃用模块里的 state_change_timeout。

然后是导入,这是关键转折:

- name: Import each VMDK onto its VM
  delegate_to: localhost
  throttle: 2
  community.proxmox.proxmox_disk:
    vmid: "{{ pve_vmid }}"
    disk: "scsi{{ idx }}"
    storage: "{{ pve_target_storage }}"
    import_from: >-
      {{ item.backing.fileName
         | regex_replace('^\[[^\]]+\]\s*', '/mnt/pve/' ~ nfs_storage_pve ~ '/') }}
    format: "{{ pve_target_format }}"
    timeout: "{{ import_timeout }}"
    create: regular
    state: present
  loop: "{{ vm_disks }}"
  loop_control:
    index_var: idx

regex_replace 承担了两个世界之间的翻译。vCenter 把磁盘命名为 [nfs-migration] app01/app01.vmdk;Proxmox 则在 /mnt/pve/nfs-migration/app01/app01.vmdk 访问同一个文件。同一个导出,同样的字节,没有第二份副本。你保留描述符 .vmdk,忽略它旁边的 -flat.vmdk:qemu-img 会读取描述符并顺着它找到数据区。

关于 import_from 有三件事,都写在模块里,都值得在窗口打开之前知道。

它只在创建时生效。 在更新分支里:

# 'import_from' fails on disk updates
playbook_config = self.get_create_attributes()
playbook_config.pop("import_from", None)

如果那台虚拟机上已经有 scsi0,这个参数就会被丢掉,你得到的只是一次普通更新。所以一次失败的导入之后重跑,并不会重新导入。它悄无声息地什么都不做,然后报告成功。如果导入出了问题,先删掉磁盘再试。

timeout 默认为 600 秒。 十分钟,用来导入并转换一台虚拟机的磁盘。模块自己的文档都说要调高它;听它的。

而且绝对路径需要 root。 文档对此说得很直白:

<STORAGE>:<VMID>/<FULL_NAME> or <ABSOLUTE_PATH>/<FULL_NAME>. <STORAGE>:import/<FULL_NAME> for PVE 9.x and later, to use storage’s import directory. Attention! Only root can use absolute paths.

这和我上次给出、至今仍坚持的建议撞得很别扭:用限定范围的 API 令牌,不要用 root。这条建议对这里其他每个阶段都成立:发现、SDN、构建外壳、设置启动顺序,用令牌都没问题。唯独这一个任务不行,而且无论给角色多少权限都改变不了,因为限制针对的是用户是不是 root,而不是某项权限。

老老实实的出路有三条,没有什么巧妙的第四条:

  1. PVE 9.x:用 <storage>:import/<file>,继续用令牌。
  2. PVE 8.x:这一个任务以 root@pam 执行,仅此一个。
  3. PVE 8.x,不允许通过 API 用 root:改为通过 SSH 运行 qm importdisk。

playbook 通过一个开关支持前两种,因为假装不是这样,只会把问题转嫁给运行它的人。

最后是启动顺序,这是一次普通更新,因此不受 update_unsafe 限制的影响:

- name: Boot from the first imported disk
  delegate_to: localhost
  community.proxmox.proxmox_kvm:
    node: "{{ proxmox_node }}"
    vmid: "{{ pve_vmid }}"
    boot: "order=scsi0"
    update: true

什么都不会启动客户机。这是故意的。手工启动它,看着它起来,然后才去考虑删除 VMware 里的任何东西。

运行它

整件事是一个 playbook,按阶段打标签,因为这些步骤你不会想一起跑:

ansible-playbook migrate.yml --tags discover   # look, change nothing
ansible-playbook migrate.yml --tags sdn        # build the VLANs
ansible-playbook migrate.yml --tags build      # build the diskless shells
ansible-playbook migrate.yml --tags relocate   # storage vMotion, live
ansible-playbook migrate.yml --tags cutover    # power off and import

--limit 自始至终都是你的朋友。先做一台虚拟机。再做一个集群。playbook 对你一口咬多少没有意见,而清单免费给了你分组:power_poweredOn、cluster_<name>,以及来自 groups 块的 vmware_windows 和 vmware_linux。

在指向某个目标之前,先确认你指向的是什么:

ansible-inventory --graph
ansible-inventory --host some-vm

我仍然会留意的事

当这套东西碰上真实环境时我预计会遇到的问题,现在就写下来,免得事后我说自己早就料到了:

  • Windows 客户机不会从 VirtIO SCSI 控制器干净地启动,除非事先装好驱动。virtio-scsi-single 是正确的控制器,却是交给一台从没见过它的 Windows 虚拟机的错误控制器。那本身就是一整个问题,上面的任何内容都解决不了它。
  • VMware Tools 应该在迁移之前卸掉,而不是之后。
  • 快照。 带快照链的虚拟机每块磁盘不止一个 .vmdk,导入基础盘得到的是快照之前的状态。先合并。
  • config.hardware.device 的顺序决定了哪块磁盘成为 scsi0。在我看过的每个地方,它都和客户机自己的顺序一致,但在一台多磁盘的数据库服务器上,我会先核实,再在窗口里信任它。
  • 独立磁盘和 RDM 磁盘不能像普通磁盘那样做存储 vMotion。

这些都不改变整体形状。先建好外壳,在一切仍在运行时搬磁盘,把停机限制在唯一需要它的那个 play 里。