Jedna konsola, wielu klientów

Jeśli opiekujesz się Proxmoksem dla innych, każdy nowy węzeł to ta sama robota, za każdym razem odrobinę inaczej. Każdy klient ma własny kraj, strefę czasową, klucze roota, układ dysków, nazewnictwo hostów i klucz subskrypcji. Pomyl jedno z nich na świeżym węźle, a dowiesz się przy pierwszym logowaniu albo przy pierwszym audycie, który zapyta, dlaczego zegar spieszy się o godzinę.

Zbudowałem to dla klienta, który miał dokładnie ten problem, a to, o co prosił, było odświeżająco proste. Każda lokalizacja buduje się z własnym nazewnictwem, własnym hasłem roota i własnymi kluczami SSH. Nikt na miejscu nie robi niczego sprytnego: montuje serwer w szafie, wpina go do właściwego VLAN-u i włącza zasilanie. Nikt nie zbiera numerów seryjnych i nikt nie pisze pliku odpowiedzi dla każdej maszyny. A serwer dodany w ten sposób trafia do istniejącego klastra lokalizacji.

Czego chcieliCo to tutaj zapewnia
własne nazewnictwo, hasło i klucze lokalizacjijedna przygotowana odpowiedź na lokalizację, wybierana tokenem tej lokalizacji
wpiąć do właściwego VLAN-u, włączyć, odejśćwykrywanie przez DNS, iPXE i Caddy wybierający token po podsieci źródłowej
bez numerów seryjnych, bez plików odpowiedzi per maszynaodpowiedzi filtrują tylko po produkcie; lokalizacja wynika z sieci
nowy serwer dołącza do istniejącego klastranie w tym wpisie: PDM nie ma hooka pierwszego startu, patrz niżej

Ten wpis obejmuje pierwsze trzy: doprowadzenie gołego serwera od włączenia zasilania do zainstalowanego węzła Proxmoksa z ustawieniami właściwej lokalizacji. Ta połowa dotyczy niemal każdego, kto ma więcej niż jedną lokalizację, MSP czy nie, więc warto ją mieć osobno. Dołączanie do klastra to osobna robota, a sekcja o brakującym hooku pierwszego startu wyjaśnia, dlaczego PDM nie może jeszcze zrobić tego za ciebie.

Proxmox Datacenter Manager (PDM) 1.1 dodał brakujący element1. Może teraz działać jako serwer odpowiedzi dla automatycznego instalatora Proxmoksa, więc goła maszyna startuje, wysyła informację, czym jest, dostaje z powrotem przygotowaną odpowiedź i instaluje się sama, bez nikogo przy konsoli. Dla dostawcy usług zarządzanych (MSP), który już używa PDM jako konsoli zarządzania, to oczywiste miejsce na ustawienia instalacyjne każdego klienta.

Czego nie chcesz, to serwera PXE dla każdego klienta. Każdy z nich to serwer Trivial File Transfer Protocol (TFTP), konfiguracja DHCP, zestaw plików rozruchowych i ISO do przebudowania przy każdym wydaniu poprawkowym Proxmoksa. Dziesięciu klientów to dziesięć takich zestawów do utrzymania w aktualności. To się nie skaluje. Cel jest tu taki: jedno środowisko PXE, jeden obraz rozruchowy, jeden rekord DNS i jeden PDM, a każda lokalizacja i tak dostaje własną odpowiedź.

Jedno środowisko PXE dla każdej lokalizacjisite110.10.50.0/24site210.20.50.0/24site310.30.50.0/24Caddy na 443catch token wchodzitoken lokalizacji wychodzi,wybrany po podsieciPDModpowiedzi ograniczonetokenem8443 na pętli zwrotnejJeden obraz rozruchowy, jeden rekord DNS i jedna usługa DHCP dla każdej lokalizacji
Gotowy projekt. Każda lokalizacja uruchamia ten sam obraz. Caddy ustala po podsieci, z której lokalizacji przyszło żądanie, i podaje PDM token tej lokalizacji, a PDM oferuje tylko odpowiedzi przypisane do tego tokenu.

PDM 1.1 dochodzi tam w większości sam. Nie dociera w dwóch miejscach i oba warto znać, zanim zaplanujesz wokół niego wdrożenie: nie ma sposobu, żeby dopasować odpowiedź do lokalizacji, i nie ma sposobu, żeby dać nowemu węzłowi skrypt pierwszego startu. Ten wpis dowodzi obu rzeczy na podstawie kodu źródłowego PDM, obchodzi pierwszą i buduje całość na moim laboratoryjnym PDM w wersji 1.1.9, z proxy utwardzonym tak, żeby części trzymające sekrety pozostały zamknięte.

Co daje PDM 1.1

Funkcja mieszka pod Remotes → Automated Installations i ma trzy części: instalacje, przygotowane odpowiedzi i tokeny uwierzytelniające2. Przygotowana odpowiedź to wersja PDM instalatorowego answer.toml, wypełniana przez formularz, a nie pisana ręcznie.

CzęśćCo robiSzczegół, który się liczy
Przygotowane odpowiedzikraj, klawiatura, strefa czasowa, skrót hasła roota, klucze SSH, sieć, układ dysków, klucz subskrypcji, akcja po instalacjirenderowane od nowa przy każdym żądaniu
Filtry docelowedecydują, która maszyna dostaje którą odpowiedźJSON Pointer do informacji o systemie z instalatora, glob dla wartości3
SzablonyMiniJinja w polach FQDN, e-mail administratora, IP, brama i DNSliczniki takie jak installation_nr rosną przy każdym wydaniu odpowiedzi4
Tokeny uwierzytelniająceinstalator wysyła Authorization: Bearer <name>:<secret>osobny typ tokenu niż tokeny API PDM; każda odpowiedź wymienia tokeny, które akceptuje2
Instalacjejeden rekord na żądanie, z pełną informacją o systemieprzechodzi z „w toku” do „zakończona”, gdy webhook poinstalacyjny odpowie
UprawnieniaSys.Audit, żeby patrzeć, Sys.Modify, żeby zmieniaćoba na /system/auto-installation4

Strona instalatora jest dostępna od jakiegoś czasu. Polecenie proxmox-auto-install-assistant prepare-iso buduje ISO, które pobiera swoją odpowiedź przez HTTP, a od ISO Proxmox VE 9.2 potrafi też wytworzyć jądro, initrd, ISO i boot.ipxe, których iPXE potrzebuje, żeby uruchomić całość przez sieć5.

Liczniki to część, do której samodzielny answer.toml nie ma nic podobnego. Jedna przygotowana odpowiedź numeruje każdy host, który buduje, podczas gdy statyczny plik trzeba by kopiować dla każdej maszyny. To realny krok naprzód i wciąż pierwsze podejście. Formularz nie dorównuje jeszcze samodzielnemu plikowi odpowiedzi6, a jednego obszaru brakuje zupełnie: w 1.1 nie ma skryptu pierwszego startu w żadnej postaci7. Ta luka i lokalizacja, której nie potrafi dopasować, to dwie następne sekcje.

Nie potrafi dopasować lokalizacji

PDM wybiera odpowiedź, porównując filtry z informacją o systemie, którą wysyła instalator. Pytanie brzmi więc, co jest w tym dokumencie, bo czego w nim nie ma, tego nie da się dopasować.

KluczCo zawieraCzy mógłby wskazać lokalizację?
productfullname, product (pve, pbs, pmg), enable_btrfsnie
isorelease, isoreleasenie
dmisystem, płyta główna i obudowa: nazwa, numer seryjny, UUID, SKU, asset tagtylko jeśli ktoś wpisał lokalizację do asset tagu
network_interfaceslista {link, mac}tylko przez inwentarz, który prowadzisz sam

To wszystko8,9. Nie ma adresu, nazwy hosta, opcji DHCP, niczego o tym, gdzie skrzynka jest wpięta.

Pola Desktop Management Interface (DMI) wyglądają obiecująco, dopóki nie przeczytasz prawdziwych. Każda z moich laboratoryjnych instalacji wróciła z nazwą systemu Standard PC (Q35 + ICH9, 2009) i pustym numerem seryjnym i asset tagiem. Prawdziwe serwery je wypełniają, ale tym, co wpisał producent, a nie nazwą twojego klienta, a dopasowanie po numerach seryjnych albo adresach MAC działa tylko wtedy, gdy prowadzisz listę każdej obudowy, jaką kiedykolwiek zainstalujesz, czyli dokładnie tę buchalterię, którą miało to usunąć. Per host tak. Per lokalizacja nie.

Więc do której sieci jest wpięta skrzynka? PDM nigdy się tego nie dowiaduje. Instalator ma w ręku swoją dzierżawę DHCP, gdy wysyła żądanie, a jedyny fakt, który MSP zna na pewno o nowym węźle, to ten, który on zostawia za sobą. Dopasowanie po adresie źródłowym, IPv4 lub IPv6, to otwarte zgłoszenie funkcji i sam je złożyłem jako bug 826310.

W regułach wyboru kryje się drugie ograniczenie i moje laboratorium wpadło prosto na nie.

Jak PDM wybiera odpowiedź1. Token ważny?włączony, niewygasłynie401 po około pół sekundyniezapisane2. Odpowiedzi na tym tokeniew kolejności pliku, nic poza nimi3. Wszystkie filtry pasują?tylko łańcuchy, globy dozwolonepierwszaodpowiedź wyrenderowanakażdy jej licznik rośnie o 1żadna4. Domyślna na tym tokenie?jedna domyślna w całym PDMnie400: no answer file foundzapisane w Installations
Wybór w PDM, według kodu źródłowego. Token jest sprawdzany jako pierwszy i ogranicza wszystko po nim, łącznie z odpowiedzią domyślną.

Token jest sprawdzany jako pierwszy i w ogóle brane są pod uwagę tylko odpowiedzi autoryzowane dla tego tokenu, łącznie z domyślną4. PDM pozwala na dokładnie jedną odpowiedź domyślną w całym systemie. Nie możesz więc dać każdej lokalizacji własnej odpowiedzi awaryjnej flagą domyślności. Moje laboratorium miało odpowiedź domyślną o nazwie fallback na jej własnym tokenie i nie została wydana ani razu, bo nic nigdy nie wysyła tego tokenu. Każda lokalizacja potrzebuje zamiast tego filtra łapiącego wszystko na własnym tokenie, takiego jak /product/product=*, umieszczonego na końcu pliku.

Dwie kolejne rzeczy z tego samego kodu warto mieć w głowie przy debugowaniu:

  • Wygrywa pierwsze dopasowanie, w kolejności pliku, a drugie dopasowanie tylko loguje ostrzeżenie. Taka jest reguła od 1.1.111.
  • Filtr dopasowuje tylko łańcuchy znaków. /product/enable_btrfs to wartość logiczna i nigdy niczego nie dopasuje, a tablica wymaga indeksu, jak w /network_interfaces/0/mac.

W 1.1.9 nieznany lub wygasły token dostaje 401 po celowym opóźnieniu około pół sekundy i nie zostawia żadnego rekordu. Dobry token bez dopasowania dostaje 400 z treścią no answer file found, a ta próba jest zapisywana, z pełną informacją o systemie. Ten rekord to najszybszy sposób, żeby odczytać prawdziwe numery seryjne i adresy MAC nowej obudowy, zanim napiszesz dla niej filtr.

Nie potrafi uruchomić skryptu pierwszego startu

Sam instalator obsługuje hook pierwszego startu. Odpowiedź może zawierać sekcję [first-boot] z source = "from-iso" albo "from-url", kolejnością before-network, network-online lub fully-up i opcjonalnym odciskiem certyfikatu9. prepare-iso --on-first-boot osadza skrypt w ISO dla przypadku from-iso.

PDM nigdy nie wysyła tej sekcji. Ani razu. Własny typ odpowiedzi instalatora ma to pole, first_boot: Option<FirstBootHookInfo>12. Przygotowana odpowiedź PDM w ogóle nie ma na nie pola, a kod, który z niej buduje odpowiedź, bezwarunkowo zapisuje first_boot: None4. Nie ma tego w formularzu, nie ma w API i nie ma niczego w pliku konfiguracyjnym, co dałoby się dopisać ręcznie. To otwarte zgłoszenie funkcji, bug 7699, złożone w czerwcu 2026 i wciąż nieprzypisane w chwili pisania7. Po niemal pięciu miesiącach nie doczekało się żadnej odpowiedzi od Proxmoksa, podobnie jak 8263. To milczenie jest niepokojące. Ktoś, kto poświęcił czas, żeby opisać, jak twój produkt mógłby być lepszy, zasługuje na odpowiedź, nawet jeśli ta odpowiedź brzmi „nie”, i to jest zwykła zawodowa uprzejmość. Tym bardziej, gdy piszą płacący klienci i partnerzy, którzy już wkładają w produkt pieniądze, zanim jeszcze włożą w niego swój czas.

A skrypt na ISO cię nie ratuje. Instalator ustawia usługę pierwszego startu tylko if let Some(first_boot) = &answer.first_boot, i to jedyna ścieżka, która kiedykolwiek czyta osadzony plik13. prepare-iso nie ostrzega, gdy osadzasz skrypt, o który żadna odpowiedź nigdy nie poprosi. Leży na ISO i nic nie robi.

Luka pierwszego startuSkrypt na ISOprepare-iso --on-first-bootOdpowiedź z PDMfirst_boot: None, zawszeInstalatorustawia hook pierwszego startutylko gdy odpowiedź ma[first-boot]skrypt zostaje na ISOi nigdy się nie uruchamia, bez ostrzeżenia
Obie połowy docierają do instalatora, a połowa z PDM nigdy nie prosi o hook. Skrypt na ISO to martwy balast.

To ma większe znaczenie dla MSP niż dla kogokolwiek innego. Węzeł z instalatora to goły system ze skrótem hasła roota i kilkoma kluczami SSH. Nie jest remote’em PDM, nie jest w klastrze i nie ma na sobie niczego z twojego monitoringu, repozytoriów ani storage’u. W moim laboratorium wszystkie trzy węzły się zakończyły i zameldowały, a remote SITEA w PDM i tak trzeba było potem dodać ręcznie.

Więc czegokolwiek używasz do dokończenia węzła, czy to Ansible, czy czegoś innego, musi to być wyzwalane z zewnątrz: z webhooka poinstalacyjnego, z zadania, które obserwuje listę Installations, albo przez człowieka. Na tym poprzestaję. Ten wpis jest o tym, jak sprawić, żeby jedno środowisko PXE obsłużyło każdą lokalizację, a luka pierwszego startu to ograniczenie, wokół którego trzeba planować, a nie coś, co zamierzam tu zaklejać.

Token jest lokalizacją

PDM nie widzi lokalizacji, ale ogranicza odpowiedzi tokenem, a token to tylko nagłówek. Kto ustawia nagłówek, ten wybiera, który zestaw odpowiedzi instalator może dostać. Na tym polega cały trik.

Więc postaw przed PDM coś, co wie, skąd przyszło żądanie:

  1. Obraz rozruchowy niesie catch token, catch-all:not-a-secret, który jest taki sam w każdym obrazie i jest opublikowany właśnie tutaj. To nie jest token PDM i sam niczego nie otwiera.
  2. Reverse proxy Caddy przed PDM patrzy na podsieć źródłową żądania odpowiedzi, które niesie catch token, i zastępuje nagłówek prawdziwym tokenem tej lokalizacji.
  3. PDM widzi site2-2026q4:<secret> i oferuje tylko odpowiedzi site2.

Sekret nigdy nie zbliża się do obrazu rozruchowego, więc zgubiony pendrive albo skopiowane ISO nikomu nic nie dają. Rotacja tokenu lokalizacji to zmiana w Caddy, nie przebudowa obrazu. A dodanie lokalizacji to jedna linia konfiguracji Caddy i jeden nowy token w PDM.

To opiera się na tym, że adres źródłowy jest uczciwy, a to właściwość twojej sieci, nie proxy. Ten kompromis i pozostałe są opisane niżej w „Co zostaje do rozstrzygnięcia”.

Jak instalator znajduje PDM bez wpisanego na stałe URL-a

Jeden obraz dla każdej lokalizacji działa tylko wtedy, gdy obraz nie niesie też adresu PDM. Instalator szuka URL-a swojej odpowiedzi w trzech miejscach, w tej kolejności14:

Skąd instalator bierze URL odpowiedzi1. URL wpisany w ISO?prepare-iso --urltakużyty, DHCP i DNS nie są pytanejeden obraz na PDM: tu unikamynie2. Opcja DHCP 250?czytana z dzierżawy instalatoratakużyta, z opcją 251 dlaodcisku: tu niewysyłananie albo dowolny błąd DHCP3. Zapytanie DNS TXTdomena wyszukiwania z resolv.confproxmox-auto-installer.example.docURL i odcisk, oba z DNS
Kolejność, którą stosuje instalator. Pomiń URL w obrazie, nie wysyłaj opcji 250, a każda lokalizacja spadnie do DNS.
RegułaCo robi kodCo to dla ciebie znaczy
KolejnośćURL w ISO wygrywa; w przeciwnym razie DHCP; każda porażka DHCP spada do DNS14zbuduj obraz bez --url i nigdzie nie wysyłaj opcji 250
Nazwy rekordówproxmox-auto-installer.<search domain> dla URL-a, proxmox-auto-installer-cert-fingerprint.<search domain> dla odciskujedna strefa, dwa rekordy TXT
Domena wyszukiwaniapierwsza linia search z /etc/resolv.conf, dzielona po pojedynczej spacjirozdawaj dokładnie jedną domenę; dwie stają się jedną nieprawidłową nazwą
Brak domenykończy się błędem Could not find search domain in resolv.conf.sprawdź, czy wysyłana jest opcja DHCP 15 lub 119
Wartość TXTdig txt +short, każdy " usunięty, potem przyciętewartość TXT podzielona na kilka łańcuchów zostawia spację w URL-u; trzymaj ją jako jeden łańcuch
Odciskbrany z DNS tylko wtedy, gdy URL też przyszedł z DNS i żaden nie jest wpisany na stałeopublikuj odcisk certyfikatu PDM, który serwuje też Caddy
Tokenwysyłany jako Authorization: Bearer <token>, przechowywany otwartym tekstem na ISO9dlatego obraz niesie tylko catch token

Certyfikat, który sprawdza instalator, to ten, który odpowiada na 443. W tym projekcie Caddy serwuje tam własny certyfikat PDM, więc klient widzi na 443 ten sam certyfikat, który PDM ma na 8443, i jest jeden odcisk do opublikowania.

Budowa: PDM, pliki rozruchowe i DNS

Przykłady używają domeny example.doc i trzech lokalizacji, 10.10.50.0/24, 10.20.50.0/24 i 10.30.50.0/24. .doc nie jest prawdziwą domeną najwyższego poziomu, więc podstaw własną. PDM, Caddy, dnsmasq i pliki rozruchowe mieszkają na jednym hoście, pdm.example.doc pod 10.10.50.10, a zdalne lokalizacje docierają do niego przez przekaźnik DHCP na swoich bramach. Zarządzanie mieszka w 10.99.0.0/24 i tym samym jest jedyną siecią, która kiedykolwiek widzi interfejs WWW PDM.

Tokeny i odpowiedzi w PDM

W Remotes → Automated Installations → Authentication Tokens dodaj jeden token na lokalizację i nadaj mu datę wygaśnięcia zgodną z oknem wdrożenia. Nazwa nie jest sekretem i zobaczysz ją w logach, więc niech coś mówi: site1-2026q4. Skopiuj sekret, gdy zostanie pokazany.

Potem dodaj przygotowaną odpowiedź na lokalizację i produkt, autoryzowaną tylko na tokenie tej lokalizacji:

Polesite1, Proxmox VE
Autoryzowany tokensite1-2026q4
Filtr docelowy/product/product=pve
Kraj, klawiatura, strefa czasowagb, en-gb, Europe/London
Dostęp rootaklucze SSH plus hasło ustawione przez formularz, które PDM przechowuje i wysyła wyłącznie jako skrót4
SiećDHCP, nazwy interfejsów przypięte
FQDN{{ product.product }}-site1-{{ installation_nr }}.example.doc
Dysktwój układ, na przykład lustro ZFS na dwóch nazwanych dyskach
Webhook poinstalacyjnybazowy URL https://pdm.example.doc, z odciskiem certyfikatu PDM

Licznik rośnie przy każdym wydaniu odpowiedzi, łącznie z ponowieniami, więc nazwy mogą przeskakiwać numery. Mój laboratoryjny licznik stoi na 4 po trzech zakończonych instalacjach. Jeśli potrzebujesz przewidywalnych nazw, użyj FQDN from DHCP i wpisz nazwę hosta do rezerwacji DHCP.

Bazowy URL webhooka to jedyne ustawienie, które w tym projekcie musi się zmienić. Naturalne jest skierowanie go na sam PDM na porcie 8443, tak miało to moje laboratorium, a 8443 zaraz zostanie zamknięty. Skieruj go na Caddy.

Pliki rozruchowe

Na dowolnym hoście Proxmox VE lub Debian z repozytorium Proxmoksa:

apt install proxmox-auto-install-assistant xorriso
mkdir -p /srv/www/pve-9.2
proxmox-auto-install-assistant prepare-iso proxmox-ve_9.2-1.iso \
  --fetch-from http \
  --answer-auth-token 'catch-all:not-a-secret' \
  --pxe-loader ipxe \
  --output /srv/www/pve-9.2/

Bez --url, bo dostarcza go DNS. --pxe-loader ipxe implikuje --pxe, a z --pxe wyjście musi być katalogiem, który już istnieje15. Dostajesz cztery pliki: vmlinuz, initrd.img przepakowany z zstd na gzip, bo iPXE nie potrafi załadować initrd w zstd, przygotowane ISO z usuniętym /boot i menu boot.ipxe, które po dziesięciu sekundach domyślnie uruchamia instalację automatyczną i odwołuje się do pozostałych po nazwie względnej15. Trzymaj wszystkie cztery w jednym katalogu.

Każda maszyna docelowa potrzebuje dość pamięci, żeby pomieścić jądro, initrd i całe ISO. Informacje o wydaniu Proxmox VE 9.2 mówią o „at least 6 GiB of available memory on the host”5. Te same informacje wymieniają znany problem z jądrem ISO 9.2 na kontrolerach megaraid_sas i niektórych dyskach NVMe w trybie JBOD (just a bunch of disks), z radą, żeby instalować z ISO 9.1 i zaktualizować5. Przetestuj swój sprzęt, zanim powierzysz go ścieżce sieciowej.

Rekordy DNS

W strefie odpowiadającej tej jednej domenie wyszukiwania, którą rozdaje DHCP:

$ORIGIN example.doc.
pdm                                      IN A    10.10.50.10
proxmox-auto-installer                   IN TXT  "https://pdm.example.doc/api2/json/auto-install/answer"
proxmox-auto-installer-cert-fingerprint  IN TXT  "63:C4:D6:...:85:07"

Odcisk to własny certyfikat PDM:

openssl x509 -in /etc/proxmox-datacenter-manager/auth/api.pem -noout -fingerprint -sha256

Sprawdź je tak, jak zrobi to instalator:

dig txt +short proxmox-auto-installer.example.doc @10.10.50.10
# one quoted string, nothing split

Caddy, jedyne drzwi do PDM

API PDM nasłuchuje na [::]:8443, a to stała wkompilowana w binarkę, nie ustawienie16. Nie da się go przypiąć do pętli zwrotnej. Więc Caddy staje się jedyną drogą do środka, a zapora tego pilnuje.

Ścieżki Caddy przed PDMŻĄDANIECO SIĘ DZIEJEPOST odpowiedzi, podsieć lokalizacji, catch tokenpodmieniony na token tej lokalizacjiPOST post-hook, podsieć lokalizacjiAuthorization usunięty, przekazanyinterfejs WWW lub API, podsieć zarządzaniaprzekazany nietknięty, logowanie PDMwszystko inne, skądkolwiekprzerwany, nigdy nie dociera do PDMport 8443, spoza skrzynkiodrzucony przez nftables
Każde żądanie, które widzi Caddy, kończy w jednym z pięciu miejsc. Tylko pierwsze trzy w ogóle docierają do PDM.

PDM ma dokładnie dwie ścieżki, które działają bez logowania do PDM: POST /api2/json/auto-install/answer z tokenem instalatora i POST …/installations/{uuid}/post-hook z jednorazowym tokenem w treści4. To jedyne dwie, do których sieć provisioningu powinna kiedykolwiek docierać.

Użyj Caddy 2.11.1 lub nowszego. 2.11.1 naprawił obejście dopasowania ścieżek, CVE-2026-27587, a to dokładnie ten rodzaj bramkowania po ścieżce, na którym to się opiera17. Własny pakiet Debiana 13 to 2.6.2, więc weź go z trixie-backports, gdzie jest 2.11.2, albo z repozytorium Caddy18.

Caddyfile, /etc/caddy/Caddyfile:

{
	# the admin API on a socket only root can open, never on TCP
	admin unix//run/caddy/admin.sock|0600
	auto_https disable_redirects
	servers {
		protocols h1 h2
	}
}

# PDM itself, on the loopback, trusted by its own certificate
(pdm_upstream) {
	reverse_proxy https://[::1]:8443 {
		transport http {
			tls_trust_pool file /etc/proxmox-datacenter-manager/auth/api.pem
			tls_server_name pdm.example.doc
		}
	}
	log_append pdm_status {http.reverse_proxy.status_code}
}

# one site: name, subnet, PDM token name, PDM token secret
(site) {
	@{args[0]} {
		method POST
		path /api2/json/auto-install/answer
		remote_ip {args[1]}
		header Authorization "Bearer catch-all:not-a-secret"
	}
	handle @{args[0]} {
		log_append site {args[0]}
		log_append pdm_token {args[2]}
		request_header Authorization "Bearer {args[2]}:{args[3]}"
		import pdm_upstream
	}
}

pdm.example.doc, 10.10.50.10 {
	tls /etc/proxmox-datacenter-manager/auth/api.pem /etc/proxmox-datacenter-manager/auth/api.key

	import site site1 10.10.50.0/24 site1-2026q4 {env.PDM_SECRET_SITE1}
	import site site2 10.20.50.0/24 site2-2026q4 {env.PDM_SECRET_SITE2}
	import site site3 10.30.50.0/24 site3-2026q4 {env.PDM_SECRET_SITE3}

	@post_hook {
		method POST
		path /api2/json/auto-install/installations/*/post-hook
		remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24
	}
	handle @post_hook {
		request_header -Authorization
		import pdm_upstream
	}

	# the PDM web UI and API, from the management network only
	@mgmt remote_ip 10.99.0.0/24
	handle @mgmt {
		import pdm_upstream
	}

	# anything else, from anywhere, never reaches PDM
	handle {
		abort
	}

	log {
		output file /var/log/caddy/pdm.log
		format filter {
			request>headers>Csrfpreventiontoken replace REDACTED
		}
	}
}

# boot files, to the sites and management only
http://:80 {
	@hidden path_regexp /\.
	handle @hidden {
		abort
	}
	@boot remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 10.99.0.0/24
	handle @boot {
		root * /srv/www
		file_server
	}
	handle {
		abort
	}
}

Części, które wykonują pracę związaną z bezpieczeństwem, i po co każda jest:

LiniaDlaczego
header Authorization "Bearer catch-all:not-a-secret" w matcherze lokalizacjibez tego każdy POST z podsieci lokalizacji dostaje prawdziwy token; żądanie musi przyjść z właściwej podsieci i nieść catch token
request_header Authorization …ustawia nagłówek, nadpisując to, co wysłał klient, więc podrobiony token zostaje zastąpiony, nigdy przekazany dalej19
remote_ipbezpośredni sąsiad; nie stawiaj NAT-u ani load balancera między instalatorami a Caddy20
nazwane bloki handletrzymane w kolejności zapisu i wzajemnie wykluczające się, więc goły handle { abort } ma ostatnie słowo21
@mgmtpełny interfejs i API PDM, nietknięte, więc własne logowanie PDM, tokeny API i ciasteczka działają normalnie; podsieć lokalizacji nie dostaje z tego nic
admin unix//…|0600API administracyjne domyślnie słucha na TCP localhost:2019, bez uwierzytelniania22
protocols h1 h2Caddy domyślnie słucha na UDP 443 dla HTTP/322; to go wyłącza, zamiast zostawiać port, którego nikt nie chciał otwierać
@hiddenfile_server serwuje każdy plik pod swoim katalogiem głównym, łącznie z plikami z kropką, a hide jest udokumentowane jako niebędące granicą bezpieczeństwa23
Csrfpreventiontoken replace REDACTEDCaddy domyślnie redaguje w logu dostępu Authorization i Cookie, ale nie nagłówek CSRF PDM24

Matcher ścieżek jest bardziej wyrozumiały niż PDM, i to jest właściwa kolejność. Caddy czyści ścieżkę, dekoduje kodowanie procentowe, scala powtórzone ukośniki i ignoruje wielkość liter, zanim dopasuje20. Więc //answer, %61nswer i ANSWER liczą się jako ścieżka odpowiedzi, a wariant /api2/extjs/… albo końcowy ukośnik nie pasuje do ścieżki lokalizacji i spada do abort.

Dwa wybory w tym pliku wymagają wyjaśnienia.

Caddy serwuje certyfikat PDM, prosto z plików PDM. Caddy czyta api.pem i api.key tam, gdzie trzyma je PDM, więc instalatory, webhook i przeglądarka widzą ten certyfikat, który PDM przedstawia na 8443, i nie ma drugiej kopii, która mogłaby się rozjechać. Oczywistym sposobem dania mu tego dostępu jest dodanie użytkownika caddy do www-data. W laboratorium sprawdziłem, do czego to członkostwo w grupie faktycznie sięga, testując każdy plik jako użytkownik caddy:

Plik pod /etc/proxmox-datacenter-manager/Czytelny dla caddy w www-data
remotes.shadow, poświadczenia każdego zarządzanego remote’atak
autoinst/tokens.shadow, każdy sekret tokenu instalatoratak
auth/api.key, auth/csrf.keytak
access/user.cfg, subscriptions/tak

Nic z tej listy nie powinno się znaleźć choćby w pobliżu webowego proxy. Błąd w proxy byłby wtedy kompromitacją każdego klastra, którym zarządza PDM.

Więc Caddy zostaje poza www-data i dostaje ACL na dokładnie dwa pliki, których potrzebuje, plus prawo przejścia przez dwa katalogi nad nimi bez ich listowania:

#!/bin/sh
# /usr/local/sbin/pdm-cert-acl
# let Caddy read PDM's certificate and key in place, and nothing else of PDM's
set -e
D=/etc/proxmox-datacenter-manager; A=$D/auth
setfacl -m u:caddy:x "$D" "$A"
setfacl -m u:caddy:r "$A/api.pem" "$A/api.key"

Przetestowane jako użytkownik caddy w laboratorium po uruchomieniu:

Ścieżkacaddy
auth/api.pem, auth/api.keymoże czytać
auth/csrf.key, auth/authkey.key, auth/authkey.pubnie może czytać
remotes.shadow, remotes.cfg, autoinst/tokens.shadow, access/user.cfgnie może czytać
listowanie auth/odmowa

Haczyk to odnowienie. PDM zapisuje odnowiony certyfikat do nowego pliku i przemianowuje go na miejsce starego, a nowy plik nie niesie ACL starego. Więc gdy PDM odnawia certyfikat, systemd przywraca ACL i przeładowuje Caddy, bez niczyjego udziału.

Sprawdzenie, że certyfikat i klucz do siebie pasują, bo odnowienie zapisuje je po jednym:

#!/bin/sh
# /usr/local/sbin/pdm-cert-pair-ok
# exit 0 only when PDM's certificate and key belong together
d=/etc/proxmox-datacenter-manager/auth
c=$(openssl x509 -noout -pubkey -in "$d/api.pem") || exit 1
k=$(openssl pkey -pubout -in "$d/api.key") || exit 1
[ "$c" = "$k" ]

Unit path obserwujący oba pliki i usługa, którą uruchamia:

# /etc/systemd/system/caddy-pdm-cert.path
[Unit]
Description=Watch the PDM certificate and key for renewal

[Path]
PathChanged=/etc/proxmox-datacenter-manager/auth/api.pem
PathChanged=/etc/proxmox-datacenter-manager/auth/api.key
Unit=caddy-pdm-cert.service

[Install]
WantedBy=multi-user.target

# /etc/systemd/system/caddy-pdm-cert.service
[Unit]
Description=Let Caddy read the renewed PDM certificate in place, then reload Caddy

[Service]
Type=oneshot
ExecCondition=/usr/local/sbin/pdm-cert-pair-ok
ExecStart=/usr/local/sbin/pdm-cert-acl
ExecStart=/usr/bin/systemctl try-reload-or-restart caddy.service
apt install acl
systemctl daemon-reload
systemctl enable --now caddy-pdm-cert.path

Override opisany dalej uruchamia ten sam skrypt ACL przed każdym startem Caddy, więc odnowienie w czasie, gdy Caddy był zatrzymany, nigdy nie umknie.

Szczegóły, dzięki którym to działa, każdy sprawdzony:

ElementDlaczego
obserwowane oba plikipierwszy zapis wyzwala unit; warunek go pomija, dopóki para się nie zgadza, a drugi zapis wyzwala go znowu z pasującą parą
ExecConditionniespełniony warunek pomija uruchomienie zamiast oznaczać je jako błąd, więc w połowie zapisane odnowienie nigdy nie dociera do Caddy25
PathChangedwyzwala się, gdy obserwowany plik, który był otwarty do zapisu, zostaje zamknięty26; w laboratorium wyzwolił się też, gdy nowy plik został przemianowany na miejsce starego
skrypt ACL przy każdym uruchomieniuprzemianowany plik nie ma ACL, więc Caddy nie mógł go czytać, dopóki skrypt nie zadziała znowu
try-reload-or-restartprzeładowuje Caddy, jeśli działa, i nic nie robi, jeśli nie
reload --force w unicie Caddybez --force Caddy widzi tę samą konfigurację i dalej serwuje stary certyfikat

Ten ostatni wiersz to nie domysł. W jednorazowym kontenerze z Caddy 2.11.7 podmieniłem plik certyfikatu pod działającym serwerem: zwykłe caddy reload dalej serwowało stary certyfikat, a caddy reload --force serwowało nowy. Dostarczony unit już przeładowuje z --force27, więc zachowaj tę linię, jeśli nadpisujesz ExecReload.

W laboratorium podmieniłem api.key i api.pem PDM tak, jak robi to odnowienie: zapisując nowe pliki i przemianowując je na miejsce starych. Zaraz po przemianowaniu api.key nie miał wpisu ACL dla caddy. W ciągu czterech sekund unit path się wyzwolił, ACL wrócił na oba pliki, a Caddy przeładował się w miejscu, z tym samym identyfikatorem procesu.

Nazwa tokenu i sekret są trzymane osobno. Nazwa idzie do Caddyfile, gdzie jest logowana. Sekret idzie do pliku środowiskowego, który może czytać tylko root, a Caddy czyta go przez {env.*} w momencie żądania.

Loguj, który token został użyty, nigdy sekret

Pierwsza wersja tego w moim laboratorium przeciekała. Dostarczony unit Caddy uruchamia go jako caddy run --environ, a --environ drukuje całe środowisko przed startem28,27. Każdy restart wrzucał token lokalizacji do dziennika otwartym tekstem: osiem linii, zanim to policzyłem. Nic w logu dostępu, nic we własnych logach PDM, wszystko z tej jednej flagi.

Dokąd idą sekret i nazwa tokenuSEKRETpdm-secrets.envtylko root, 0600środowisko Caddy{env.PDM_SECRET_SITE1}nagłówek Authorizationtylko odcinek do PDM na pętliNAZWAlinia importw Caddyfilelog dostępu, każde żądanie odpowiedzi"pdm_token":"site1-2026q4"NIGDY NIE TRAFIA DOdziennika--environ usunięteAPI administracyjnegogniazdo unix, 0600zrzutu konfiguracjitylko placeholder
Sekret ma jedno zadanie i jedną ścieżkę. Logujesz nazwę.

Więc plik z sekretami trzyma sekrety i nic więcej:

install -m 0600 /dev/null /etc/caddy/pdm-secrets.env
printf 'PDM_SECRET_SITE1=%s\nPDM_SECRET_SITE2=%s\nPDM_SECRET_SITE3=%s\n' \
  '<secret1>' '<secret2>' '<secret3>' > /etc/caddy/pdm-secrets.env

a override unitu usuwa --environ i daje gniazdu administracyjnemu dom:

# systemctl edit caddy
[Service]
EnvironmentFile=/etc/caddy/pdm-secrets.env
RuntimeDirectory=caddy
RuntimeDirectoryMode=0700
# PDM's certificate and key, read where PDM keeps them
ExecStartPre=+/usr/local/sbin/pdm-cert-acl
# the access log directory and its files belong to Caddy
ExecStartPre=+/usr/bin/install -d -o caddy -g caddy -m 0750 /var/log/caddy
ExecStartPre=+/usr/bin/chown -R caddy:caddy /var/log/caddy
ExecStart=
ExecStart=/usr/bin/caddy run --config /etc/caddy/Caddyfile
ExecReload=
ExecReload=/usr/bin/caddy reload --config /etc/caddy/Caddyfile --force

+ uruchamia te linie jako root, zanim Caddy wystartuje jako własny użytkownik. Linie dotyczące logów mają znaczenie, gdy tylko coś innego dotknie /var/log/caddy: log zrotowany przez roota albo plik utworzony ręcznie podczas testów zostawia Caddy bez możliwości otwarcia własnego logu dostępu. W laboratorium ustawiłem pdm.log na root:root i zrestartowałem Caddy; wrócił jako caddy:caddy, a Caddy nie zalogował żadnych błędów uprawnień.

Po edycji restartuj, a nie przeładowuj, bo przeładowanie nie czyta środowiska od nowa. Używaj {env.NAME}, nigdy {$NAME}: druga forma jest podstawiana, gdy Caddyfile jest adaptowany, więc sekret ląduje w konfiguracji JSON, w pliku autozapisu i we wszystkim, co je zrzuca29. Gniazdo administracyjne też ma tu znaczenie. {env.*} rozwiązuje wszystko, co jest w środowisku procesu, bez listy dozwolonych, więc każdy, kto może załadować konfigurację przez API administracyjne na TCP, może kazać Caddy odczytać mu sekret30.

Każda linia odpowiedzi w logu dostępu wskazuje teraz lokalizację i token, a sam nagłówek jest zredagowany. Z laboratorium, gdzie oba nazywają się siteA:

{"site":"siteA","pdm_token":"siteA","pdm_status":400,"status":400,
 "request":{"headers":{"Authorization":["REDACTED"]}}}

Sprawdziłem to, zamiast w to wierzyć. Na kopii tej konfiguracji w podmanie z fikcyjnymi sekretami, a potem w laboratorium, wysłałem odpowiedzi każdą ścieżką, jaka przyszła mi do głowy: normalnie, z włączonym logowaniem debug, z wyłączonym upstreamem dla 502, z przeładowaniem i z restartem. Potem policzyłem każdy sekret w dzienniku, logu dostępu, katalogach konfiguracji i danych Caddy oraz w zaadaptowanym JSON-ie. Każdy wynik był zerem. Przebieg kontrolny, ta sama konfiguracja uruchomiona z --environ, wydrukował sekret dwa razy.

Dwa zastrzeżenia z tego testu. Z włączonym debug Caddy loguje całą zaadaptowaną konfigurację, więc catch token i placeholdery {env.*} się tam pojawiają; wartości za nimi nie. I tak trzymaj debug wyłączony na produkcji. A jeśli sekret już przeszedł przez dziennik, jak mój, wygeneruj go na nowo w PDM i zaktualizuj plik; usuwanie linii logu to nie jest poprawka.

Zapora: 8443 nigdy nie opuszcza skrzynki

Moje laboratorium nie miało żadnej zapory, więc 8443 odpowiadał każdemu hostowi w sieci provisioningu i każdą regułę w Caddyfile dało się obejść. Zamknij go. nftables, z domyślnym drop:

#!/usr/sbin/nft -f
flush ruleset

define SITES = { 10.10.50.0/24, 10.20.50.0/24, 10.30.50.0/24 }
define MGMT  = { 10.99.0.0/24 }

table inet filter {
	chain input {
		type filter hook input priority filter; policy drop;

		iifname "lo" accept
		ct state established,related accept
		ct state invalid drop
		meta l4proto { icmp, ipv6-icmp } accept

		# PDM's API listens on [::]:8443 and cannot be rebound
		tcp dport 8443 counter drop

		ip saddr $MGMT tcp dport { 22, 80, 443 } accept

		udp dport { 67, 69 } accept
		ip saddr $SITES meta l4proto { tcp, udp } th dport 53 accept
		ip saddr $SITES tcp dport { 80, 443 } accept
	}
	chain forward {
		type filter hook forward priority filter; policy drop;
	}
}

Połączenia PDM do jego remote’ów są wychodzące, więc zamknięcie 8443 na wejściu niczego tam nie zmienia. Za pierwszym razem ładuj nowy zestaw reguł z czasowym wycofaniem, żeby pomyłka kosztowała cię dziewięćdziesiąt sekund, a nie wyprawę do konsoli:

systemd-run --unit=nft-rollback --on-active=90 /usr/sbin/nft flush ruleset
nft -f /etc/nftables.conf
# still connected? then:
systemctl stop nft-rollback.timer && systemctl enable nftables

W laboratorium, po tym wszystkim:

SprawdzenieWynik
8443 z sieci zarządzaniabrak połączenia; licznik drop rośnie
interfejs WWW PDM przez Caddy na 443, z sieci zarządzanialoguje się i działa
interfejs WWW PDM z adresu lokalizacjiprzerwane
POST odpowiedzi z lokalizacji z catch tokenemdociera do PDM z tokenem lokalizacji: celowo niedopasowana sonda dostała 400 no answer file found
ta sama sonda prosto do PDM ze zmyślonym tokenem401
POST odpowiedzi bez catch tokenu albo jako /api2/extjs/…przerwane
pliki, w których mieszkają sekrety PDM, czytane jako caddyżaden nie jest czytelny
sekret lokalizacji w dzienniku, logu dostępu lub danych Caddy od zmiany0

DHCP, iPXE i pętla

Firmware serwera potrafi pobrać swój pierwszy plik tylko przez TFTP, więc TFTP serwuje mały loader iPXE, a iPXE pobiera całą resztę przez HTTP. Pułapka polega na tym, że iPXE wysyła własne żądanie DHCP, a serwer, który odpowiada na nie znowu ipxe.efi, puszcza maszynę w kółko w nieskończoność. Serwer DHCP musi odróżniać firmware od iPXE.

Dlaczego zwykła odpowiedź DHCP się zapętlaZwykła odpowiedź: pętlafirmware prosi o plik rozruchowyodpowiedź: ipxe.efiiPXE startuje i pyta ponownieta sama odpowiedź: ipxe.efiserwer nie odróżnia firmware'uod iPXE, więc nigdy nie idzie dalejŚwiadoma iPXE: działafirmware prosi o plik rozruchowynie iPXE: ipxe.efi przez TFTPiPXE pyta znowu, opcja 175 ustawionaodpowiedź: URL boot.ipxe, przez HTTPjądro, initrd i ISO, potem instalacja
To samo żądanie dwa razy dostaje dwa razy tę samą odpowiedź. Opcja 175, którą wysyła tylko iPXE, pozwala serwerowi odróżnić drugie żądanie od pierwszego.
Serwer DHCPJak przerywa pętlę
dnsmasqoznacza tagiem żądania z opcją 175, którą wysyła tylko iPXE, i podaje im URL HTTP31
ISC dhcpdif exists user-class and option user-class = "iPXE"32
FortiGatepole filename przyjmuje jedną wartość, więc zbuduj loader iPXE z osadzonym URL-em i serwuj go wszystkim

dnsmasq, obsługujący własną sieć i dwie pozostałe przez przekaźniki, tylko z rezerwacjami:

# /etc/dnsmasq.d/pxe.conf
local=/example.doc/
domain=example.doc
address=/pdm.example.doc/10.10.50.10
txt-record=proxmox-auto-installer.example.doc,"https://pdm.example.doc/api2/json/auto-install/answer"
txt-record=proxmox-auto-installer-cert-fingerprint.example.doc,"63:C4:D6:...:85:07"

dhcp-authoritative
dhcp-range=set:site1,10.10.50.0,static,255.255.255.0,1h
dhcp-range=set:site2,10.20.50.0,static,255.255.255.0,1h
dhcp-range=set:site3,10.30.50.0,static,255.255.255.0,1h
dhcp-option=tag:site1,option:router,10.10.50.1
dhcp-option=tag:site2,option:router,10.20.50.1
dhcp-option=tag:site3,option:router,10.30.50.1
dhcp-option=option:dns-server,10.10.50.10
dhcp-option=option:domain-search,example.doc

dhcp-match=set:ipxe,175
dhcp-match=set:efi64,option:client-arch,7
dhcp-match=set:efi64,option:client-arch,9
dhcp-boot=tag:efi64,tag:!ipxe,ipxe.efi
dhcp-boot=tag:ipxe,http://pdm.example.doc/pve-9.2/boot.ipxe
# no option 250 anywhere: DNS discovery depends on it

enable-tftp
tftp-root=/srv/tftp
tftp-secure
# TFTP block-size ceiling: lower it for an IPsec or other tunnel in the path
tftp-mtu=1500

# dhcp-host=<mac>,<ip inside that site's /24>,<hostname>
dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01
dhcp-host=aa:bb:cc:dd:ee:02,10.20.50.21,pve01

static oznacza brak puli: adres dostają tylko zarezerwowane maszyny, co trzyma obcych z dala od ścieżki instalatora. Adres każdej rezerwacji musi leżeć w /24 jej własnej lokalizacji, bo to po tym adresie Caddy wybiera token. Węzeł zarezerwowany w złej podsieci dostaje odpowiedź złej lokalizacji albo nic.

Rezerwacje to lista adresów MAC, a to buchalteria per maszyna dokładnie tego rodzaju, jakiego klient nie chciał. Jeśli „wpiąć i uruchomić” to naprawdę wymaganie, daj każdemu VLAN-owi provisioningu zamiast tego mały zakres dynamiczny, na przykład dhcp-range=set:site1,10.10.50.100,10.10.50.150,255.255.255.0,1h. Lokalizacja nadal wynika z podsieci, więc Caddy nadal wybiera właściwy token, a szablon FQDN z installation_nr nadaje węzłowi nazwę. Ceną jest pierwszy wiersz „Co zostaje do rozstrzygnięcia”: wszystko, co zostanie wpięte do tego VLAN-u, może teraz pobrać odpowiedź lokalizacji, więc bramką staje się sam VLAN.

dnsmasq negocjuje z klientem rozmiar bloku TFTP. Zostawiony sam sobie ogranicza go do MTU własnego interfejsu31, co działa, dopóki ścieżka do lokalizacji nie jest mniejsza niż łącze, na którym siedzi dnsmasq. Dlatego konfiguracja podaje sufit jako tftp-mtu=1500, zamiast go dziedziczyć. To stawia liczbę przed oczami tego, kto opiekuje się lokalizacją za tunelem IPsec albo czymkolwiek innym, co zjada część pakietu, i ten ktoś obniża ją do tego, co ścieżka naprawdę przenosi, zamiast dowiadywać się z transferu, który staje w połowie. Jeśli jakiś ROM karty sieciowej źle się zachowuje, gdy opcja w ogóle zostanie przyznana, tftp-no-blocksize wyłącza negocjację.

Skopiuj ipxe.efi z pakietu ipxe Debiana do /srv/tftp, z właścicielem dnsmasq, bo tftp-secure odrzuca wszystko inne. Wybieraj UEFI. Secure Boot wymaga podpisanego iPXE, więc albo to skonfiguruj, albo wyłącz Secure Boot na czas instalacji i włącz go potem.

Rozruch, obserwacja i co się psuje

Testuj jedną maszyną wirtualną w sieci lokalizacji, zanim dotkniesz sprzętu: firmware UEFI, 8 GiB pamięci i karta sieciowa w tym VLAN-ie odtwarzają cały łańcuch.

Co dzieje się przy rozruchuSerwer docelowyrozruch sieciowy UEFI6 GiB lub więcej1. DHCP i TFTPdzierżawa, jedna domena wyszukiwania, potem ipxe.efi2. HTTP na porcie 80boot.ipxe, vmlinuz, initrd.img i ISO, do pamięci3. DNSdwa rekordy TXT: URL odpowiedzi i odcisk PDM4. Caddy na 443, potem PDModpowiedź teraz, webhook po restarcie
Cztery osobne rozmowy, każda z własnym miejscem, w które trzeba zajrzeć, gdy coś zawiedzie.

A całość po kolei, od włączenia zasilania do instalacji, którą PDM oznacza jako Finished:

Od włączenia do pełnej instalacjiCeldnsmasq, :80Caddy :443PDMDHCP: dzierżawaTFTP: ipxe.efiiPXE pyta ponownieHTTP: jądro, initrd, ISOinstalator: jedna domenaDNS: dwa rekordy TXTPOST, catch tokentoken lokalizacjiw tokuwyrenderowana odpowiedź, przez Caddyinstaluje na dyskwebhook, token jednorazowyAuthorization usuniętyFinishedrestart; pierwszy startaktywuje klucz
Każdy krok, po kolei. Webhook jest wysyłany z instalatora przed restartem, więc Finished znaczy zainstalowany, nie uruchomiony; klucz subskrypcji jest aktywowany później, przy pierwszym starcie.
KrokCo się dziejeGdzie patrzeć
1firmware dostaje ipxe.efi przez TFTP, iPXE dostaje boot.ipxe przez HTTPjournalctl -u dnsmasq, log Caddy
2po dziesięciu sekundach menu uruchamia wpis automatyczny; pobierają się jądro, initrd i ISOcztery GET-y, jeden z nich około 1,6 GB
3instalator bierze dzierżawę, czyta domenę wyszukiwania, odpytuje oba rekordy TXT/tmp/fetch_answer.log na maszynie docelowej
4POST do Caddy, token podmieniony, PDM wybiera odpowiedźlog Caddy wskazuje token; PDM pokazuje nową instalację
5instalacja przebiega/tmp/auto_installer.log, /tmp/install-low-level-start-session.log
6jeszcze w instalatorze webhook odpowiada przez Caddy, potem maszyna się restartuje33instalacja przechodzi do Finished z dołączonymi dyskami, kartami sieciowymi i kluczami hosta SSH

Przy błędzie instalator spada do powłoki, chyba że odpowiedź ustawia Reboot on Error, więc podczas testów zostaw to wyłączone.

ObjawPrawdopodobna przyczyna
Could not find search domain in resolv.conf.DHCP nie wysłał domeny
zapytanie TXT o nazwę ze spacją w środkuwięcej niż jedna domena wyszukiwania
Got empty response.brak rekordu, zła strefa albo opcja 6 wskazuje na inny serwer DNS
URL ze spacją w środkuwartość TXT podzielona na kilka łańcuchów
log mówi, że URL przyszedł z DHCPopcja 250 jest gdzieś w sieci
błąd TLS przy POSTodcisk w DNS to nie bieżący certyfikat Caddy
połączenie zamknięte bez odpowiedziCaddy je przerwał: zła podsieć, brak catch tokenu albo ścieżka, która nie jest jedną z dwóch
400 no answer file foundtoken zadziałał; żaden filtr nie pasował i na tym tokenie nie ma domyślnej
zła odpowiedźnakładające się filtry; wygrywa pierwszy w pliku
status zostaje w tokubazowy URL webhooka wciąż wskazuje na 8443
iPXE ładuje się w kółkoserwer DHCP nie odróżnia iPXE od firmware’u
przekroczenie czasu TFTP PXE-E32zły next-server albo zablokowany UDP 69

Dodanie Proxmox Backup Server

Nic w tej ścieżce nie jest specyficzne dla Proxmox VE. Zbuduj drugi zestaw plików rozruchowych z ISO PBS 4 z tym samym catch tokenem, do /srv/www/pbs-4/, i dodaj jedną odpowiedź PBS na lokalizację z filtrem /product/product=pbs, autoryzowaną na tokenie tej lokalizacji. Rekordy DNS, Caddy, tokeny i zapora się nie zmieniają.

Dla lokalizacji z oboma coś musi decydować, który produkt dostaje maszyna, a menu to zła rzecz do podejmowania tej decyzji. choose w iPXE bez --timeout czeka przy konsoli na naciśnięcie klawisza w nieskończoność, a to przeciwieństwo instalacji nienadzorowanej.

Niech zamiast tego decyduje rezerwacja DHCP. I tak rezerwujesz każdy węzeł po adresie MAC, więc otaguj te od PBS i wyślij każdemu tagowi jego własny boot.ipxe:

# /etc/dnsmasq.d/pxe.conf, replacing the single iPXE dhcp-boot line
dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01
dhcp-host=aa:bb:cc:dd:ee:31,set:pbs,10.10.50.31,pbs01

dhcp-boot=tag:ipxe,tag:!pbs,http://pdm.example.doc/pve-9.2/boot.ipxe
dhcp-boot=tag:ipxe,tag:pbs,http://pdm.example.doc/pbs-4/boot.ipxe

set:pbs na rezerwacji taguje tę jedną maszynę31, a tag:!pbs sprawia, że obie linie rozruchowe wzajemnie się wykluczają, więc nie ma pytania, która wygrywa. Własny boot.ipxe każdego produktu już po dziesięciu sekundach uruchamia wpis automatyczny, bez nikogo przy klawiaturze15.

Te linie przechodzą dnsmasq --test w wersji 2.91, tej z mojego laboratorium, i trzymają się udokumentowanej składni dhcp-host i tagów. Nie uruchomiłem jeszcze przez nie węzła PBS po PXE, więc spróbuj jedną otagowaną maszynę, zanim zaczniesz na tym polegać.

Dalej to ta sama ścieżka co dla Proxmox VE. Instalator PBS wysyła "product": "pbs", Caddy podstawia token lokalizacji, a PDM wybiera odpowiedź PBS tej lokalizacji. W żadnym momencie nic nie jest wybierane ręcznie, a to, jakim produktem stanie się węzeł, jest zapisane w jednym miejscu, w rezerwacji, obok jego adresu.

Co decydujeGdzie to mieszka
które ISO się uruchamiatag set:pbs na rezerwacji DHCP
odpowiedzi której lokalizacji obowiązująpodsieć źródłowa, przez podmianę tokenu w Caddy
która odpowiedź w obrębie lokalizacjifiltr /product/product=pbs w PDM

Instalator kładzie tylko system operacyjny. Datastore, na storage’u oddzielonym od dysku systemowego, to kolejne zadanie dla tego, co dokańcza węzeł, i to sprowadza nas z powrotem do brakującego hooka pierwszego startu.

Co zostaje do rozstrzygnięcia

Żadna z tych rzeczy nie przeszkadza w użyciu tego projektu. Każda potrzebuje kogoś, kto weźmie ją na siebie.

KompromisDlaczego to ważneCo zrobić
adres źródłowy jest bramkąwszystko w VLAN-ie provisioningu albo zdolne podszyć się pod adres w nim może pobrać odpowiedź tej lokalizacji: skrót hasła roota, klucze SSH, klucz subskrypcjiizolować VLAN, port security, tylko rezerwacje, wygasanie tokenów, wyłączanie tokenów między wdrożeniami
catch token nie jest sekretemjest w każdym obrazie i na tej stronieodsiewa tylko przypadkowe żądania; bramką są podsieć i prawdziwy token trzymany w Caddy
Caddy może czytać klucz PDMserwowanie certyfikatu PDM oznacza, że proxy czyta ten jeden klucz prywatnyACL tylko na api.pem i api.key, nic innego z PDM nieczytelne, host zamknięty na głucho; klucz nigdy go nie opuszcza
DNS jest zaufanypodrobiony rekord TXT wysyła instalator gdzie indziej, a jeśli odcisk też przychodzi z DNS, fałszerz kontroluje jedno i drugiechronić DNS provisioningu albo wpisać odcisk PDM na stałe przez --cert-fingerprint i przebudowywać, gdy się zmieni
pliki rozruchowe idą zwykłym HTTPmożna je odczytać lub podmienić w drodzetrzymać sieć odizolowaną; iPXE przez HTTPS, jeśli twoja kompilacja to obsługuje
token webhooka16 losowych bajtów, jednorazowy, czyszczony po wywołaniu zwrotnym, ale bez limitu czasu4usuwać stare rekordy instalacji
klucz subskrypcjiaktywowany raz, gdy sieć wstanie; przy błędzie klucz jest usuwany, a unit kończy się błędem, bez ponowienia34sprawdzać systemctl --failed na nowych węzłach
PDM to pojedynczy punktdziś nie jest wysoko dostępnyawaria zatrzymuje nowe instalacje, nie działające klastry
jedna karta sieciowa zarządzaniaodpowiedź nie ma opcji bondingu, VLAN-u ani mostka9to robota poinstalacyjna, z tym samym problemem pierwszego startu

Pierwsze podejście, zbudowane porządnie

To pierwsze wydanie tej funkcji i jak na pierwsze wydanie jest dobre. Formularz odpowiedzi jest rozsądny, reguły wyboru są jasne, gdy się je przeczyta, webhook działa, a kod jest otwarty, co jest jedynym powodem, dla którego wszystko powyżej dało się udowodnić, a nie zgadywać. Seria łatek przeszła cztery rundy na publicznej liście dyskusyjnej, zanim trafiła do kodu35, i to widać.

Luki to dwie rzeczy, które zamieniają serwer instalacyjny w system provisioningu. Lokalizacja to jednostka, w której myśli MSP, a instalator na niej stoi, kiedy pyta. Hook pierwszego startu to różnica między węzłem zainstalowanym a węzłem skończonym. Obie są już w połowie na miejscu: instalator ma hook, a PDM ma token. Spodziewam się, że obie przyjdą, a kiedy przyjdą, Caddy w środku tego projektu raczej się uprości, niż zniknie, bo proxy, które trzyma sekrety PDM poza zasięgiem, a 8443 z dala od sieci, i tak warto mieć.

Powód, żeby robić to w ten sposób w międzyczasie, jest ten z samej góry. Dziesięć serwerów PXE to dziesięć rzeczy, które rozjeżdżają się z aktualnością w dziesięciu różnych tempach, a każda dostaje uwagę dopiero wtedy, gdy zawiedzie w dniu, w którym jej potrzebujesz. Jedno środowisko, aktualizowane raz, z lokalizacją ustalaną przez sieć i sekretami trzymanymi w jednym miejscu, to mniej do utrzymania. Mniej do utrzymania to mniej do zepsucia, a to jest większość tej roboty.


  1. Proxmox — Proxmox Datacenter Manager 1.1 press release — instalacje automatyczne, z nową zakładką pod Remotes, która śledzi postęp instalacji. ↩︎

  2. Proxmox Datacenter Manager documentation — Automated Installations — przygotowane odpowiedzi, filtry docelowe, szablony i „a dedicated token mechanism, separate from the normal API tokens”. ↩︎ ↩︎

  3. proxmox-datacenter-manager, lib/pdm-api-types/src/auto_installer.rs — klucze filtrów docelowych „are JSON Pointers as per [RFC6901], the values globs”; tylko jedna odpowiedź domyślna. ↩︎

  4. proxmox-datacenter-manager, server/src/api/auto_installer/mod.rs — sprawdzenie tokenu przed odpowiedzią domyślną, pierwsze dopasowanie w kolejności pliku, first_boot: None, inkrementacja liczników, jednorazowy token post-hook, dwie ścieżki dostępne bez logowania do PDM i uprawnienia Sys.Audit/Sys.Modify na /system/auto-installation. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  5. Proxmox VE Roadmap — Proxmox VE 9.2 — przygotowanie PXE i iPXE, „at least 6 GiB of available memory on the host” oraz znany problem z megaraid_sas i NVMe w trybie JBOD. ↩︎ ↩︎ ↩︎

  6. Proxmox Bugzilla 8078 — „prepared answer disk setup does not allow to specify multiple udev filters with same name”, otwarte 26 września 2026, status NEW 7 listopada 2026. ↩︎

  7. Proxmox Bugzilla 7699 — „Add on-first-boot parameter to the PDM remote installation”, otwarte 12 czerwca 2026, status NEW 7 listopada 2026. ↩︎ ↩︎

  8. proxmox, proxmox-installer-types/src/lib.rs — SystemInfo: produkt, ISO, DMI i interfejsy sieciowe. ↩︎

  9. Proxmox VE wiki — Automated Installation — opcje [first-boot] i [network], wysyłana informacja o systemie i to, że token uwierzytelniający „is stored in plain text inside the prepared ISO”. ↩︎ ↩︎ ↩︎ ↩︎

  10. Proxmox Bugzilla 8263 — „[Feature Request] auto-installer: client source IP (or X-Forwarded-For) for answer selection and templating”, otwarte 31 października 2026, status NEW 7 listopada 2026. ↩︎

  11. proxmox-datacenter-manager, debian/changelog — 1.1.1: „match prepared answers in the configuration’s stable order and let the first match win”. ↩︎

  12. proxmox, proxmox-installer-types/src/answer.rs — AutoInstallerConfig zawiera first_boot: Option<FirstBootHookInfo>. ↩︎

  13. pve-installer, proxmox-auto-installer/src/bin/proxmox-auto-installer.rs — plik wykonywalny pierwszego startu jest ustawiany tylko wtedy, gdy odpowiedź ma sekcję first_boot. ↩︎

  14. pve-installer, proxmox-fetch-answer/src/fetch_plugins/http.rs — najpierw URL z ISO, potem DHCP, potem DNS; nazwy TXT; parsowanie resolv.conf; dig txt +short z usuniętymi cudzysłowami; nagłówek Bearer. ↩︎ ↩︎

  15. pve-installer, proxmox-auto-install-assistant/src/main.rs — --pxe-loader implikuje --pxe, katalog wyjściowy, initrd w gzip, /boot usunięty z ISO i generowany boot.ipxe. ↩︎ ↩︎ ↩︎

  16. proxmox-datacenter-manager, server/src/bin/proxmox-datacenter-api/main.rs — PDM_LISTEN_ADDR to nieokreślony adres IPv6 na PDM_PORT, 8443, ustalony w czasie kompilacji. ↩︎

  17. Caddy releases — 2.11.1 naprawił CVE-2026-27587, obejście matchera ścieżek przez sekwencje ucieczki. ↩︎

  18. Debian sources — caddy — 2.6.2-12+deb13u1 w trixie, 2.11.2-1~bpo13+1 w trixie-backports. ↩︎

  19. Caddy — request_header — „With no prefix, the field is set (overwritten).” ↩︎

  20. Caddy — Request matchers — remote_ip to bezpośredni sąsiad; dopasowania ścieżek ignorują wielkość liter, są dekodowane z URL, czyszczone, z powtórzonymi ukośnikami scalonymi. ↩︎ ↩︎

  21. Caddy — handle — „only the first matching handle block will be evaluated”. ↩︎

  22. Caddy — Global options — admin domyślnie na localhost:2019; protocols domyślnie h1 h2 h3. ↩︎ ↩︎

  23. Caddy — file_server — hide nie powinno być traktowane jako granica bezpieczeństwa. ↩︎

  24. Caddy — log — Cookie, Set-Cookie, Authorization i Proxy-Authorization są logowane jako REDACTED. ↩︎

  25. systemd.service — ExecCondition= — przy kodzie wyjścia od 1 do 254 „the remaining commands are skipped and the unit is not marked as failed”. ↩︎

  26. systemd.path — PathChanged= — „activated if the file which was open for writing gets closed”. ↩︎

  27. caddyserver/dist, init/caddy.service — ExecStart=/usr/bin/caddy run --environ --config /etc/caddy/Caddyfile. ↩︎ ↩︎

  28. Caddy — Command line — --environ drukuje środowisko przed startem. ↩︎

  29. Caddy — Caddyfile concepts, environment variables — {$NAME} jest podstawiane przed parsowaniem Caddyfile. ↩︎

  30. caddyserver/caddy, replacer.go — każdy klucz zaczynający się od env. trafia do os.Getenv. ↩︎

  31. dnsmasq manual page — dhcp-match, dhcp-boot, dhcp-host z set:<tag>, enable-tftp, tftp-secure, tftp-mtu, tftp-no-blocksize i zakresy static. ↩︎ ↩︎ ↩︎

  32. iPXE — Configuring ISC dhcpd — if exists user-class and option user-class = "iPXE" podaje iPXE skrypt, a firmware’owi loader. ↩︎

  33. pve-installer, unconfigured.sh — proxmox-post-hook uruchamia się zaraz po udanym proxmox-auto-installer, przed restartem. ↩︎

  34. pve-installer, proxmox-first-boot/proxmox-first-boot-subscription — „always drop the staged key, regardless of whether activation succeeded”. ↩︎

  35. pdm-devel — “add auto-installer integration”, v4, 40 patches — seria, która dodała tę funkcję, z notatkami o zmianach od v3 do v4. ↩︎