Jedna konsola, wielu klientów
Jeśli opiekujesz się Proxmoksem dla innych, każdy nowy węzeł to ta sama robota, za każdym razem odrobinę inaczej. Każdy klient ma własny kraj, strefę czasową, klucze roota, układ dysków, nazewnictwo hostów i klucz subskrypcji. Pomyl jedno z nich na świeżym węźle, a dowiesz się przy pierwszym logowaniu albo przy pierwszym audycie, który zapyta, dlaczego zegar spieszy się o godzinę.
Zbudowałem to dla klienta, który miał dokładnie ten problem, a to, o co prosił, było odświeżająco proste. Każda lokalizacja buduje się z własnym nazewnictwem, własnym hasłem roota i własnymi kluczami SSH. Nikt na miejscu nie robi niczego sprytnego: montuje serwer w szafie, wpina go do właściwego VLAN-u i włącza zasilanie. Nikt nie zbiera numerów seryjnych i nikt nie pisze pliku odpowiedzi dla każdej maszyny. A serwer dodany w ten sposób trafia do istniejącego klastra lokalizacji.
| Czego chcieli | Co to tutaj zapewnia |
|---|---|
| własne nazewnictwo, hasło i klucze lokalizacji | jedna przygotowana odpowiedź na lokalizację, wybierana tokenem tej lokalizacji |
| wpiąć do właściwego VLAN-u, włączyć, odejść | wykrywanie przez DNS, iPXE i Caddy wybierający token po podsieci źródłowej |
| bez numerów seryjnych, bez plików odpowiedzi per maszyna | odpowiedzi filtrują tylko po produkcie; lokalizacja wynika z sieci |
| nowy serwer dołącza do istniejącego klastra | nie w tym wpisie: PDM nie ma hooka pierwszego startu, patrz niżej |
Ten wpis obejmuje pierwsze trzy: doprowadzenie gołego serwera od włączenia zasilania do zainstalowanego węzła Proxmoksa z ustawieniami właściwej lokalizacji. Ta połowa dotyczy niemal każdego, kto ma więcej niż jedną lokalizację, MSP czy nie, więc warto ją mieć osobno. Dołączanie do klastra to osobna robota, a sekcja o brakującym hooku pierwszego startu wyjaśnia, dlaczego PDM nie może jeszcze zrobić tego za ciebie.
Proxmox Datacenter Manager (PDM) 1.1 dodał brakujący element1. Może teraz działać jako serwer odpowiedzi dla automatycznego instalatora Proxmoksa, więc goła maszyna startuje, wysyła informację, czym jest, dostaje z powrotem przygotowaną odpowiedź i instaluje się sama, bez nikogo przy konsoli. Dla dostawcy usług zarządzanych (MSP), który już używa PDM jako konsoli zarządzania, to oczywiste miejsce na ustawienia instalacyjne każdego klienta.
Czego nie chcesz, to serwera PXE dla każdego klienta. Każdy z nich to serwer Trivial File Transfer Protocol (TFTP), konfiguracja DHCP, zestaw plików rozruchowych i ISO do przebudowania przy każdym wydaniu poprawkowym Proxmoksa. Dziesięciu klientów to dziesięć takich zestawów do utrzymania w aktualności. To się nie skaluje. Cel jest tu taki: jedno środowisko PXE, jeden obraz rozruchowy, jeden rekord DNS i jeden PDM, a każda lokalizacja i tak dostaje własną odpowiedź.
PDM 1.1 dochodzi tam w większości sam. Nie dociera w dwóch miejscach i oba warto znać, zanim zaplanujesz wokół niego wdrożenie: nie ma sposobu, żeby dopasować odpowiedź do lokalizacji, i nie ma sposobu, żeby dać nowemu węzłowi skrypt pierwszego startu. Ten wpis dowodzi obu rzeczy na podstawie kodu źródłowego PDM, obchodzi pierwszą i buduje całość na moim laboratoryjnym PDM w wersji 1.1.9, z proxy utwardzonym tak, żeby części trzymające sekrety pozostały zamknięte.
Co daje PDM 1.1
Funkcja mieszka pod Remotes → Automated Installations i ma trzy części: instalacje, przygotowane odpowiedzi i tokeny uwierzytelniające2.
Przygotowana odpowiedź to wersja PDM instalatorowego answer.toml, wypełniana przez formularz, a nie pisana ręcznie.
| Część | Co robi | Szczegół, który się liczy |
|---|---|---|
| Przygotowane odpowiedzi | kraj, klawiatura, strefa czasowa, skrót hasła roota, klucze SSH, sieć, układ dysków, klucz subskrypcji, akcja po instalacji | renderowane od nowa przy każdym żądaniu |
| Filtry docelowe | decydują, która maszyna dostaje którą odpowiedź | JSON Pointer do informacji o systemie z instalatora, glob dla wartości3 |
| Szablony | MiniJinja w polach FQDN, e-mail administratora, IP, brama i DNS | liczniki takie jak installation_nr rosną przy każdym wydaniu odpowiedzi4 |
| Tokeny uwierzytelniające | instalator wysyła Authorization: Bearer <name>:<secret> | osobny typ tokenu niż tokeny API PDM; każda odpowiedź wymienia tokeny, które akceptuje2 |
| Instalacje | jeden rekord na żądanie, z pełną informacją o systemie | przechodzi z „w toku” do „zakończona”, gdy webhook poinstalacyjny odpowie |
| Uprawnienia | Sys.Audit, żeby patrzeć, Sys.Modify, żeby zmieniać | oba na /system/auto-installation4 |
Strona instalatora jest dostępna od jakiegoś czasu.
Polecenie proxmox-auto-install-assistant prepare-iso buduje ISO, które pobiera swoją odpowiedź przez HTTP, a od ISO Proxmox VE 9.2 potrafi też wytworzyć jądro, initrd, ISO i boot.ipxe, których iPXE potrzebuje, żeby uruchomić całość przez sieć5.
Liczniki to część, do której samodzielny answer.toml nie ma nic podobnego.
Jedna przygotowana odpowiedź numeruje każdy host, który buduje, podczas gdy statyczny plik trzeba by kopiować dla każdej maszyny.
To realny krok naprzód i wciąż pierwsze podejście.
Formularz nie dorównuje jeszcze samodzielnemu plikowi odpowiedzi6, a jednego obszaru brakuje zupełnie: w 1.1 nie ma skryptu pierwszego startu w żadnej postaci7.
Ta luka i lokalizacja, której nie potrafi dopasować, to dwie następne sekcje.
Nie potrafi dopasować lokalizacji
PDM wybiera odpowiedź, porównując filtry z informacją o systemie, którą wysyła instalator. Pytanie brzmi więc, co jest w tym dokumencie, bo czego w nim nie ma, tego nie da się dopasować.
| Klucz | Co zawiera | Czy mógłby wskazać lokalizację? |
|---|---|---|
product | fullname, product (pve, pbs, pmg), enable_btrfs | nie |
iso | release, isorelease | nie |
dmi | system, płyta główna i obudowa: nazwa, numer seryjny, UUID, SKU, asset tag | tylko jeśli ktoś wpisał lokalizację do asset tagu |
network_interfaces | lista {link, mac} | tylko przez inwentarz, który prowadzisz sam |
To wszystko8,9. Nie ma adresu, nazwy hosta, opcji DHCP, niczego o tym, gdzie skrzynka jest wpięta.
Pola Desktop Management Interface (DMI) wyglądają obiecująco, dopóki nie przeczytasz prawdziwych.
Każda z moich laboratoryjnych instalacji wróciła z nazwą systemu Standard PC (Q35 + ICH9, 2009) i pustym numerem seryjnym i asset tagiem.
Prawdziwe serwery je wypełniają, ale tym, co wpisał producent, a nie nazwą twojego klienta, a dopasowanie po numerach seryjnych albo adresach MAC działa tylko wtedy, gdy prowadzisz listę każdej obudowy, jaką kiedykolwiek zainstalujesz, czyli dokładnie tę buchalterię, którą miało to usunąć.
Per host tak. Per lokalizacja nie.
Więc do której sieci jest wpięta skrzynka? PDM nigdy się tego nie dowiaduje. Instalator ma w ręku swoją dzierżawę DHCP, gdy wysyła żądanie, a jedyny fakt, który MSP zna na pewno o nowym węźle, to ten, który on zostawia za sobą. Dopasowanie po adresie źródłowym, IPv4 lub IPv6, to otwarte zgłoszenie funkcji i sam je złożyłem jako bug 826310.
W regułach wyboru kryje się drugie ograniczenie i moje laboratorium wpadło prosto na nie.
Token jest sprawdzany jako pierwszy i w ogóle brane są pod uwagę tylko odpowiedzi autoryzowane dla tego tokenu, łącznie z domyślną4.
PDM pozwala na dokładnie jedną odpowiedź domyślną w całym systemie.
Nie możesz więc dać każdej lokalizacji własnej odpowiedzi awaryjnej flagą domyślności.
Moje laboratorium miało odpowiedź domyślną o nazwie fallback na jej własnym tokenie i nie została wydana ani razu, bo nic nigdy nie wysyła tego tokenu.
Każda lokalizacja potrzebuje zamiast tego filtra łapiącego wszystko na własnym tokenie, takiego jak /product/product=*, umieszczonego na końcu pliku.
Dwie kolejne rzeczy z tego samego kodu warto mieć w głowie przy debugowaniu:
- Wygrywa pierwsze dopasowanie, w kolejności pliku, a drugie dopasowanie tylko loguje ostrzeżenie. Taka jest reguła od 1.1.111.
- Filtr dopasowuje tylko łańcuchy znaków.
/product/enable_btrfsto wartość logiczna i nigdy niczego nie dopasuje, a tablica wymaga indeksu, jak w/network_interfaces/0/mac.
W 1.1.9 nieznany lub wygasły token dostaje 401 po celowym opóźnieniu około pół sekundy i nie zostawia żadnego rekordu.
Dobry token bez dopasowania dostaje 400 z treścią no answer file found, a ta próba jest zapisywana, z pełną informacją o systemie.
Ten rekord to najszybszy sposób, żeby odczytać prawdziwe numery seryjne i adresy MAC nowej obudowy, zanim napiszesz dla niej filtr.
Nie potrafi uruchomić skryptu pierwszego startu
Sam instalator obsługuje hook pierwszego startu.
Odpowiedź może zawierać sekcję [first-boot] z source = "from-iso" albo "from-url", kolejnością before-network, network-online lub fully-up i opcjonalnym odciskiem certyfikatu9.
prepare-iso --on-first-boot osadza skrypt w ISO dla przypadku from-iso.
PDM nigdy nie wysyła tej sekcji.
Ani razu.
Własny typ odpowiedzi instalatora ma to pole, first_boot: Option<FirstBootHookInfo>12.
Przygotowana odpowiedź PDM w ogóle nie ma na nie pola, a kod, który z niej buduje odpowiedź, bezwarunkowo zapisuje first_boot: None4.
Nie ma tego w formularzu, nie ma w API i nie ma niczego w pliku konfiguracyjnym, co dałoby się dopisać ręcznie.
To otwarte zgłoszenie funkcji, bug 7699, złożone w czerwcu 2026 i wciąż nieprzypisane w chwili pisania7.
Po niemal pięciu miesiącach nie doczekało się żadnej odpowiedzi od Proxmoksa, podobnie jak 8263.
To milczenie jest niepokojące. Ktoś, kto poświęcił czas, żeby opisać, jak twój produkt mógłby być lepszy, zasługuje na odpowiedź, nawet jeśli ta odpowiedź brzmi „nie”, i to jest zwykła zawodowa uprzejmość.
Tym bardziej, gdy piszą płacący klienci i partnerzy, którzy już wkładają w produkt pieniądze, zanim jeszcze włożą w niego swój czas.
A skrypt na ISO cię nie ratuje.
Instalator ustawia usługę pierwszego startu tylko if let Some(first_boot) = &answer.first_boot, i to jedyna ścieżka, która kiedykolwiek czyta osadzony plik13.
prepare-iso nie ostrzega, gdy osadzasz skrypt, o który żadna odpowiedź nigdy nie poprosi.
Leży na ISO i nic nie robi.
To ma większe znaczenie dla MSP niż dla kogokolwiek innego.
Węzeł z instalatora to goły system ze skrótem hasła roota i kilkoma kluczami SSH.
Nie jest remote’em PDM, nie jest w klastrze i nie ma na sobie niczego z twojego monitoringu, repozytoriów ani storage’u.
W moim laboratorium wszystkie trzy węzły się zakończyły i zameldowały, a remote SITEA w PDM i tak trzeba było potem dodać ręcznie.
Więc czegokolwiek używasz do dokończenia węzła, czy to Ansible, czy czegoś innego, musi to być wyzwalane z zewnątrz: z webhooka poinstalacyjnego, z zadania, które obserwuje listę Installations, albo przez człowieka. Na tym poprzestaję. Ten wpis jest o tym, jak sprawić, żeby jedno środowisko PXE obsłużyło każdą lokalizację, a luka pierwszego startu to ograniczenie, wokół którego trzeba planować, a nie coś, co zamierzam tu zaklejać.
Token jest lokalizacją
PDM nie widzi lokalizacji, ale ogranicza odpowiedzi tokenem, a token to tylko nagłówek. Kto ustawia nagłówek, ten wybiera, który zestaw odpowiedzi instalator może dostać. Na tym polega cały trik.
Więc postaw przed PDM coś, co wie, skąd przyszło żądanie:
- Obraz rozruchowy niesie catch token,
catch-all:not-a-secret, który jest taki sam w każdym obrazie i jest opublikowany właśnie tutaj. To nie jest token PDM i sam niczego nie otwiera. - Reverse proxy Caddy przed PDM patrzy na podsieć źródłową żądania odpowiedzi, które niesie catch token, i zastępuje nagłówek prawdziwym tokenem tej lokalizacji.
- PDM widzi
site2-2026q4:<secret>i oferuje tylko odpowiedzi site2.
Sekret nigdy nie zbliża się do obrazu rozruchowego, więc zgubiony pendrive albo skopiowane ISO nikomu nic nie dają. Rotacja tokenu lokalizacji to zmiana w Caddy, nie przebudowa obrazu. A dodanie lokalizacji to jedna linia konfiguracji Caddy i jeden nowy token w PDM.
To opiera się na tym, że adres źródłowy jest uczciwy, a to właściwość twojej sieci, nie proxy. Ten kompromis i pozostałe są opisane niżej w „Co zostaje do rozstrzygnięcia”.
Jak instalator znajduje PDM bez wpisanego na stałe URL-a
Jeden obraz dla każdej lokalizacji działa tylko wtedy, gdy obraz nie niesie też adresu PDM. Instalator szuka URL-a swojej odpowiedzi w trzech miejscach, w tej kolejności14:
| Reguła | Co robi kod | Co to dla ciebie znaczy |
|---|---|---|
| Kolejność | URL w ISO wygrywa; w przeciwnym razie DHCP; każda porażka DHCP spada do DNS14 | zbuduj obraz bez --url i nigdzie nie wysyłaj opcji 250 |
| Nazwy rekordów | proxmox-auto-installer.<search domain> dla URL-a, proxmox-auto-installer-cert-fingerprint.<search domain> dla odcisku | jedna strefa, dwa rekordy TXT |
| Domena wyszukiwania | pierwsza linia search z /etc/resolv.conf, dzielona po pojedynczej spacji | rozdawaj dokładnie jedną domenę; dwie stają się jedną nieprawidłową nazwą |
| Brak domeny | kończy się błędem Could not find search domain in resolv.conf. | sprawdź, czy wysyłana jest opcja DHCP 15 lub 119 |
| Wartość TXT | dig txt +short, każdy " usunięty, potem przycięte | wartość TXT podzielona na kilka łańcuchów zostawia spację w URL-u; trzymaj ją jako jeden łańcuch |
| Odcisk | brany z DNS tylko wtedy, gdy URL też przyszedł z DNS i żaden nie jest wpisany na stałe | opublikuj odcisk certyfikatu PDM, który serwuje też Caddy |
| Token | wysyłany jako Authorization: Bearer <token>, przechowywany otwartym tekstem na ISO9 | dlatego obraz niesie tylko catch token |
Certyfikat, który sprawdza instalator, to ten, który odpowiada na 443. W tym projekcie Caddy serwuje tam własny certyfikat PDM, więc klient widzi na 443 ten sam certyfikat, który PDM ma na 8443, i jest jeden odcisk do opublikowania.
Budowa: PDM, pliki rozruchowe i DNS
Przykłady używają domeny example.doc i trzech lokalizacji, 10.10.50.0/24, 10.20.50.0/24 i 10.30.50.0/24.
.doc nie jest prawdziwą domeną najwyższego poziomu, więc podstaw własną.
PDM, Caddy, dnsmasq i pliki rozruchowe mieszkają na jednym hoście, pdm.example.doc pod 10.10.50.10, a zdalne lokalizacje docierają do niego przez przekaźnik DHCP na swoich bramach.
Zarządzanie mieszka w 10.99.0.0/24 i tym samym jest jedyną siecią, która kiedykolwiek widzi interfejs WWW PDM.
Tokeny i odpowiedzi w PDM
W Remotes → Automated Installations → Authentication Tokens dodaj jeden token na lokalizację i nadaj mu datę wygaśnięcia zgodną z oknem wdrożenia.
Nazwa nie jest sekretem i zobaczysz ją w logach, więc niech coś mówi: site1-2026q4.
Skopiuj sekret, gdy zostanie pokazany.
Potem dodaj przygotowaną odpowiedź na lokalizację i produkt, autoryzowaną tylko na tokenie tej lokalizacji:
| Pole | site1, Proxmox VE |
|---|---|
| Autoryzowany token | site1-2026q4 |
| Filtr docelowy | /product/product=pve |
| Kraj, klawiatura, strefa czasowa | gb, en-gb, Europe/London |
| Dostęp roota | klucze SSH plus hasło ustawione przez formularz, które PDM przechowuje i wysyła wyłącznie jako skrót4 |
| Sieć | DHCP, nazwy interfejsów przypięte |
| FQDN | {{ product.product }}-site1-{{ installation_nr }}.example.doc |
| Dysk | twój układ, na przykład lustro ZFS na dwóch nazwanych dyskach |
| Webhook poinstalacyjny | bazowy URL https://pdm.example.doc, z odciskiem certyfikatu PDM |
Licznik rośnie przy każdym wydaniu odpowiedzi, łącznie z ponowieniami, więc nazwy mogą przeskakiwać numery. Mój laboratoryjny licznik stoi na 4 po trzech zakończonych instalacjach. Jeśli potrzebujesz przewidywalnych nazw, użyj FQDN from DHCP i wpisz nazwę hosta do rezerwacji DHCP.
Bazowy URL webhooka to jedyne ustawienie, które w tym projekcie musi się zmienić. Naturalne jest skierowanie go na sam PDM na porcie 8443, tak miało to moje laboratorium, a 8443 zaraz zostanie zamknięty. Skieruj go na Caddy.
Pliki rozruchowe
Na dowolnym hoście Proxmox VE lub Debian z repozytorium Proxmoksa:
apt install proxmox-auto-install-assistant xorriso
mkdir -p /srv/www/pve-9.2
proxmox-auto-install-assistant prepare-iso proxmox-ve_9.2-1.iso \
--fetch-from http \
--answer-auth-token 'catch-all:not-a-secret' \
--pxe-loader ipxe \
--output /srv/www/pve-9.2/
Bez --url, bo dostarcza go DNS.
--pxe-loader ipxe implikuje --pxe, a z --pxe wyjście musi być katalogiem, który już istnieje15.
Dostajesz cztery pliki: vmlinuz, initrd.img przepakowany z zstd na gzip, bo iPXE nie potrafi załadować initrd w zstd, przygotowane ISO z usuniętym /boot i menu boot.ipxe, które po dziesięciu sekundach domyślnie uruchamia instalację automatyczną i odwołuje się do pozostałych po nazwie względnej15.
Trzymaj wszystkie cztery w jednym katalogu.
Każda maszyna docelowa potrzebuje dość pamięci, żeby pomieścić jądro, initrd i całe ISO.
Informacje o wydaniu Proxmox VE 9.2 mówią o „at least 6 GiB of available memory on the host”5.
Te same informacje wymieniają znany problem z jądrem ISO 9.2 na kontrolerach megaraid_sas i niektórych dyskach NVMe w trybie JBOD (just a bunch of disks), z radą, żeby instalować z ISO 9.1 i zaktualizować5.
Przetestuj swój sprzęt, zanim powierzysz go ścieżce sieciowej.
Rekordy DNS
W strefie odpowiadającej tej jednej domenie wyszukiwania, którą rozdaje DHCP:
$ORIGIN example.doc.
pdm IN A 10.10.50.10
proxmox-auto-installer IN TXT "https://pdm.example.doc/api2/json/auto-install/answer"
proxmox-auto-installer-cert-fingerprint IN TXT "63:C4:D6:...:85:07"
Odcisk to własny certyfikat PDM:
openssl x509 -in /etc/proxmox-datacenter-manager/auth/api.pem -noout -fingerprint -sha256
Sprawdź je tak, jak zrobi to instalator:
dig txt +short proxmox-auto-installer.example.doc @10.10.50.10
# one quoted string, nothing split
Caddy, jedyne drzwi do PDM
API PDM nasłuchuje na [::]:8443, a to stała wkompilowana w binarkę, nie ustawienie16.
Nie da się go przypiąć do pętli zwrotnej.
Więc Caddy staje się jedyną drogą do środka, a zapora tego pilnuje.
PDM ma dokładnie dwie ścieżki, które działają bez logowania do PDM: POST /api2/json/auto-install/answer z tokenem instalatora i POST …/installations/{uuid}/post-hook z jednorazowym tokenem w treści4.
To jedyne dwie, do których sieć provisioningu powinna kiedykolwiek docierać.
Użyj Caddy 2.11.1 lub nowszego. 2.11.1 naprawił obejście dopasowania ścieżek, CVE-2026-27587, a to dokładnie ten rodzaj bramkowania po ścieżce, na którym to się opiera17. Własny pakiet Debiana 13 to 2.6.2, więc weź go z trixie-backports, gdzie jest 2.11.2, albo z repozytorium Caddy18.
Caddyfile, /etc/caddy/Caddyfile:
{
# the admin API on a socket only root can open, never on TCP
admin unix//run/caddy/admin.sock|0600
auto_https disable_redirects
servers {
protocols h1 h2
}
}
# PDM itself, on the loopback, trusted by its own certificate
(pdm_upstream) {
reverse_proxy https://[::1]:8443 {
transport http {
tls_trust_pool file /etc/proxmox-datacenter-manager/auth/api.pem
tls_server_name pdm.example.doc
}
}
log_append pdm_status {http.reverse_proxy.status_code}
}
# one site: name, subnet, PDM token name, PDM token secret
(site) {
@{args[0]} {
method POST
path /api2/json/auto-install/answer
remote_ip {args[1]}
header Authorization "Bearer catch-all:not-a-secret"
}
handle @{args[0]} {
log_append site {args[0]}
log_append pdm_token {args[2]}
request_header Authorization "Bearer {args[2]}:{args[3]}"
import pdm_upstream
}
}
pdm.example.doc, 10.10.50.10 {
tls /etc/proxmox-datacenter-manager/auth/api.pem /etc/proxmox-datacenter-manager/auth/api.key
import site site1 10.10.50.0/24 site1-2026q4 {env.PDM_SECRET_SITE1}
import site site2 10.20.50.0/24 site2-2026q4 {env.PDM_SECRET_SITE2}
import site site3 10.30.50.0/24 site3-2026q4 {env.PDM_SECRET_SITE3}
@post_hook {
method POST
path /api2/json/auto-install/installations/*/post-hook
remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24
}
handle @post_hook {
request_header -Authorization
import pdm_upstream
}
# the PDM web UI and API, from the management network only
@mgmt remote_ip 10.99.0.0/24
handle @mgmt {
import pdm_upstream
}
# anything else, from anywhere, never reaches PDM
handle {
abort
}
log {
output file /var/log/caddy/pdm.log
format filter {
request>headers>Csrfpreventiontoken replace REDACTED
}
}
}
# boot files, to the sites and management only
http://:80 {
@hidden path_regexp /\.
handle @hidden {
abort
}
@boot remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 10.99.0.0/24
handle @boot {
root * /srv/www
file_server
}
handle {
abort
}
}
Części, które wykonują pracę związaną z bezpieczeństwem, i po co każda jest:
| Linia | Dlaczego |
|---|---|
header Authorization "Bearer catch-all:not-a-secret" w matcherze lokalizacji | bez tego każdy POST z podsieci lokalizacji dostaje prawdziwy token; żądanie musi przyjść z właściwej podsieci i nieść catch token |
request_header Authorization … | ustawia nagłówek, nadpisując to, co wysłał klient, więc podrobiony token zostaje zastąpiony, nigdy przekazany dalej19 |
remote_ip | bezpośredni sąsiad; nie stawiaj NAT-u ani load balancera między instalatorami a Caddy20 |
nazwane bloki handle | trzymane w kolejności zapisu i wzajemnie wykluczające się, więc goły handle { abort } ma ostatnie słowo21 |
@mgmt | pełny interfejs i API PDM, nietknięte, więc własne logowanie PDM, tokeny API i ciasteczka działają normalnie; podsieć lokalizacji nie dostaje z tego nic |
admin unix//…|0600 | API administracyjne domyślnie słucha na TCP localhost:2019, bez uwierzytelniania22 |
protocols h1 h2 | Caddy domyślnie słucha na UDP 443 dla HTTP/322; to go wyłącza, zamiast zostawiać port, którego nikt nie chciał otwierać |
@hidden | file_server serwuje każdy plik pod swoim katalogiem głównym, łącznie z plikami z kropką, a hide jest udokumentowane jako niebędące granicą bezpieczeństwa23 |
Csrfpreventiontoken replace REDACTED | Caddy domyślnie redaguje w logu dostępu Authorization i Cookie, ale nie nagłówek CSRF PDM24 |
Matcher ścieżek jest bardziej wyrozumiały niż PDM, i to jest właściwa kolejność.
Caddy czyści ścieżkę, dekoduje kodowanie procentowe, scala powtórzone ukośniki i ignoruje wielkość liter, zanim dopasuje20.
Więc //answer, %61nswer i ANSWER liczą się jako ścieżka odpowiedzi, a wariant /api2/extjs/… albo końcowy ukośnik nie pasuje do ścieżki lokalizacji i spada do abort.
Dwa wybory w tym pliku wymagają wyjaśnienia.
Caddy serwuje certyfikat PDM, prosto z plików PDM.
Caddy czyta api.pem i api.key tam, gdzie trzyma je PDM, więc instalatory, webhook i przeglądarka widzą ten certyfikat, który PDM przedstawia na 8443, i nie ma drugiej kopii, która mogłaby się rozjechać.
Oczywistym sposobem dania mu tego dostępu jest dodanie użytkownika caddy do www-data.
W laboratorium sprawdziłem, do czego to członkostwo w grupie faktycznie sięga, testując każdy plik jako użytkownik caddy:
Plik pod /etc/proxmox-datacenter-manager/ | Czytelny dla caddy w www-data |
|---|---|
remotes.shadow, poświadczenia każdego zarządzanego remote’a | tak |
autoinst/tokens.shadow, każdy sekret tokenu instalatora | tak |
auth/api.key, auth/csrf.key | tak |
access/user.cfg, subscriptions/ | tak |
Nic z tej listy nie powinno się znaleźć choćby w pobliżu webowego proxy. Błąd w proxy byłby wtedy kompromitacją każdego klastra, którym zarządza PDM.
Więc Caddy zostaje poza www-data i dostaje ACL na dokładnie dwa pliki, których potrzebuje, plus prawo przejścia przez dwa katalogi nad nimi bez ich listowania:
#!/bin/sh
# /usr/local/sbin/pdm-cert-acl
# let Caddy read PDM's certificate and key in place, and nothing else of PDM's
set -e
D=/etc/proxmox-datacenter-manager; A=$D/auth
setfacl -m u:caddy:x "$D" "$A"
setfacl -m u:caddy:r "$A/api.pem" "$A/api.key"
Przetestowane jako użytkownik caddy w laboratorium po uruchomieniu:
| Ścieżka | caddy |
|---|---|
auth/api.pem, auth/api.key | może czytać |
auth/csrf.key, auth/authkey.key, auth/authkey.pub | nie może czytać |
remotes.shadow, remotes.cfg, autoinst/tokens.shadow, access/user.cfg | nie może czytać |
listowanie auth/ | odmowa |
Haczyk to odnowienie. PDM zapisuje odnowiony certyfikat do nowego pliku i przemianowuje go na miejsce starego, a nowy plik nie niesie ACL starego. Więc gdy PDM odnawia certyfikat, systemd przywraca ACL i przeładowuje Caddy, bez niczyjego udziału.
Sprawdzenie, że certyfikat i klucz do siebie pasują, bo odnowienie zapisuje je po jednym:
#!/bin/sh
# /usr/local/sbin/pdm-cert-pair-ok
# exit 0 only when PDM's certificate and key belong together
d=/etc/proxmox-datacenter-manager/auth
c=$(openssl x509 -noout -pubkey -in "$d/api.pem") || exit 1
k=$(openssl pkey -pubout -in "$d/api.key") || exit 1
[ "$c" = "$k" ]
Unit path obserwujący oba pliki i usługa, którą uruchamia:
# /etc/systemd/system/caddy-pdm-cert.path
[Unit]
Description=Watch the PDM certificate and key for renewal
[Path]
PathChanged=/etc/proxmox-datacenter-manager/auth/api.pem
PathChanged=/etc/proxmox-datacenter-manager/auth/api.key
Unit=caddy-pdm-cert.service
[Install]
WantedBy=multi-user.target
# /etc/systemd/system/caddy-pdm-cert.service
[Unit]
Description=Let Caddy read the renewed PDM certificate in place, then reload Caddy
[Service]
Type=oneshot
ExecCondition=/usr/local/sbin/pdm-cert-pair-ok
ExecStart=/usr/local/sbin/pdm-cert-acl
ExecStart=/usr/bin/systemctl try-reload-or-restart caddy.service
apt install acl
systemctl daemon-reload
systemctl enable --now caddy-pdm-cert.path
Override opisany dalej uruchamia ten sam skrypt ACL przed każdym startem Caddy, więc odnowienie w czasie, gdy Caddy był zatrzymany, nigdy nie umknie.
Szczegóły, dzięki którym to działa, każdy sprawdzony:
| Element | Dlaczego |
|---|---|
| obserwowane oba pliki | pierwszy zapis wyzwala unit; warunek go pomija, dopóki para się nie zgadza, a drugi zapis wyzwala go znowu z pasującą parą |
ExecCondition | niespełniony warunek pomija uruchomienie zamiast oznaczać je jako błąd, więc w połowie zapisane odnowienie nigdy nie dociera do Caddy25 |
PathChanged | wyzwala się, gdy obserwowany plik, który był otwarty do zapisu, zostaje zamknięty26; w laboratorium wyzwolił się też, gdy nowy plik został przemianowany na miejsce starego |
| skrypt ACL przy każdym uruchomieniu | przemianowany plik nie ma ACL, więc Caddy nie mógł go czytać, dopóki skrypt nie zadziała znowu |
try-reload-or-restart | przeładowuje Caddy, jeśli działa, i nic nie robi, jeśli nie |
reload --force w unicie Caddy | bez --force Caddy widzi tę samą konfigurację i dalej serwuje stary certyfikat |
Ten ostatni wiersz to nie domysł.
W jednorazowym kontenerze z Caddy 2.11.7 podmieniłem plik certyfikatu pod działającym serwerem: zwykłe caddy reload dalej serwowało stary certyfikat, a caddy reload --force serwowało nowy.
Dostarczony unit już przeładowuje z --force27, więc zachowaj tę linię, jeśli nadpisujesz ExecReload.
W laboratorium podmieniłem api.key i api.pem PDM tak, jak robi to odnowienie: zapisując nowe pliki i przemianowując je na miejsce starych.
Zaraz po przemianowaniu api.key nie miał wpisu ACL dla caddy.
W ciągu czterech sekund unit path się wyzwolił, ACL wrócił na oba pliki, a Caddy przeładował się w miejscu, z tym samym identyfikatorem procesu.
Nazwa tokenu i sekret są trzymane osobno.
Nazwa idzie do Caddyfile, gdzie jest logowana.
Sekret idzie do pliku środowiskowego, który może czytać tylko root, a Caddy czyta go przez {env.*} w momencie żądania.
Loguj, który token został użyty, nigdy sekret
Pierwsza wersja tego w moim laboratorium przeciekała.
Dostarczony unit Caddy uruchamia go jako caddy run --environ, a --environ drukuje całe środowisko przed startem28,27.
Każdy restart wrzucał token lokalizacji do dziennika otwartym tekstem: osiem linii, zanim to policzyłem.
Nic w logu dostępu, nic we własnych logach PDM, wszystko z tej jednej flagi.
Więc plik z sekretami trzyma sekrety i nic więcej:
install -m 0600 /dev/null /etc/caddy/pdm-secrets.env
printf 'PDM_SECRET_SITE1=%s\nPDM_SECRET_SITE2=%s\nPDM_SECRET_SITE3=%s\n' \
'<secret1>' '<secret2>' '<secret3>' > /etc/caddy/pdm-secrets.env
a override unitu usuwa --environ i daje gniazdu administracyjnemu dom:
# systemctl edit caddy
[Service]
EnvironmentFile=/etc/caddy/pdm-secrets.env
RuntimeDirectory=caddy
RuntimeDirectoryMode=0700
# PDM's certificate and key, read where PDM keeps them
ExecStartPre=+/usr/local/sbin/pdm-cert-acl
# the access log directory and its files belong to Caddy
ExecStartPre=+/usr/bin/install -d -o caddy -g caddy -m 0750 /var/log/caddy
ExecStartPre=+/usr/bin/chown -R caddy:caddy /var/log/caddy
ExecStart=
ExecStart=/usr/bin/caddy run --config /etc/caddy/Caddyfile
ExecReload=
ExecReload=/usr/bin/caddy reload --config /etc/caddy/Caddyfile --force
+ uruchamia te linie jako root, zanim Caddy wystartuje jako własny użytkownik.
Linie dotyczące logów mają znaczenie, gdy tylko coś innego dotknie /var/log/caddy: log zrotowany przez roota albo plik utworzony ręcznie podczas testów zostawia Caddy bez możliwości otwarcia własnego logu dostępu.
W laboratorium ustawiłem pdm.log na root:root i zrestartowałem Caddy; wrócił jako caddy:caddy, a Caddy nie zalogował żadnych błędów uprawnień.
Po edycji restartuj, a nie przeładowuj, bo przeładowanie nie czyta środowiska od nowa.
Używaj {env.NAME}, nigdy {$NAME}: druga forma jest podstawiana, gdy Caddyfile jest adaptowany, więc sekret ląduje w konfiguracji JSON, w pliku autozapisu i we wszystkim, co je zrzuca29.
Gniazdo administracyjne też ma tu znaczenie.
{env.*} rozwiązuje wszystko, co jest w środowisku procesu, bez listy dozwolonych, więc każdy, kto może załadować konfigurację przez API administracyjne na TCP, może kazać Caddy odczytać mu sekret30.
Każda linia odpowiedzi w logu dostępu wskazuje teraz lokalizację i token, a sam nagłówek jest zredagowany. Z laboratorium, gdzie oba nazywają się siteA:
{"site":"siteA","pdm_token":"siteA","pdm_status":400,"status":400,
"request":{"headers":{"Authorization":["REDACTED"]}}}
Sprawdziłem to, zamiast w to wierzyć.
Na kopii tej konfiguracji w podmanie z fikcyjnymi sekretami, a potem w laboratorium, wysłałem odpowiedzi każdą ścieżką, jaka przyszła mi do głowy: normalnie, z włączonym logowaniem debug, z wyłączonym upstreamem dla 502, z przeładowaniem i z restartem.
Potem policzyłem każdy sekret w dzienniku, logu dostępu, katalogach konfiguracji i danych Caddy oraz w zaadaptowanym JSON-ie.
Każdy wynik był zerem.
Przebieg kontrolny, ta sama konfiguracja uruchomiona z --environ, wydrukował sekret dwa razy.
Dwa zastrzeżenia z tego testu.
Z włączonym debug Caddy loguje całą zaadaptowaną konfigurację, więc catch token i placeholdery {env.*} się tam pojawiają; wartości za nimi nie.
I tak trzymaj debug wyłączony na produkcji.
A jeśli sekret już przeszedł przez dziennik, jak mój, wygeneruj go na nowo w PDM i zaktualizuj plik; usuwanie linii logu to nie jest poprawka.
Zapora: 8443 nigdy nie opuszcza skrzynki
Moje laboratorium nie miało żadnej zapory, więc 8443 odpowiadał każdemu hostowi w sieci provisioningu i każdą regułę w Caddyfile dało się obejść. Zamknij go. nftables, z domyślnym drop:
#!/usr/sbin/nft -f
flush ruleset
define SITES = { 10.10.50.0/24, 10.20.50.0/24, 10.30.50.0/24 }
define MGMT = { 10.99.0.0/24 }
table inet filter {
chain input {
type filter hook input priority filter; policy drop;
iifname "lo" accept
ct state established,related accept
ct state invalid drop
meta l4proto { icmp, ipv6-icmp } accept
# PDM's API listens on [::]:8443 and cannot be rebound
tcp dport 8443 counter drop
ip saddr $MGMT tcp dport { 22, 80, 443 } accept
udp dport { 67, 69 } accept
ip saddr $SITES meta l4proto { tcp, udp } th dport 53 accept
ip saddr $SITES tcp dport { 80, 443 } accept
}
chain forward {
type filter hook forward priority filter; policy drop;
}
}
Połączenia PDM do jego remote’ów są wychodzące, więc zamknięcie 8443 na wejściu niczego tam nie zmienia. Za pierwszym razem ładuj nowy zestaw reguł z czasowym wycofaniem, żeby pomyłka kosztowała cię dziewięćdziesiąt sekund, a nie wyprawę do konsoli:
systemd-run --unit=nft-rollback --on-active=90 /usr/sbin/nft flush ruleset
nft -f /etc/nftables.conf
# still connected? then:
systemctl stop nft-rollback.timer && systemctl enable nftables
W laboratorium, po tym wszystkim:
| Sprawdzenie | Wynik |
|---|---|
| 8443 z sieci zarządzania | brak połączenia; licznik drop rośnie |
| interfejs WWW PDM przez Caddy na 443, z sieci zarządzania | loguje się i działa |
| interfejs WWW PDM z adresu lokalizacji | przerwane |
| POST odpowiedzi z lokalizacji z catch tokenem | dociera do PDM z tokenem lokalizacji: celowo niedopasowana sonda dostała 400 no answer file found |
| ta sama sonda prosto do PDM ze zmyślonym tokenem | 401 |
POST odpowiedzi bez catch tokenu albo jako /api2/extjs/… | przerwane |
pliki, w których mieszkają sekrety PDM, czytane jako caddy | żaden nie jest czytelny |
| sekret lokalizacji w dzienniku, logu dostępu lub danych Caddy od zmiany | 0 |
DHCP, iPXE i pętla
Firmware serwera potrafi pobrać swój pierwszy plik tylko przez TFTP, więc TFTP serwuje mały loader iPXE, a iPXE pobiera całą resztę przez HTTP.
Pułapka polega na tym, że iPXE wysyła własne żądanie DHCP, a serwer, który odpowiada na nie znowu ipxe.efi, puszcza maszynę w kółko w nieskończoność.
Serwer DHCP musi odróżniać firmware od iPXE.
| Serwer DHCP | Jak przerywa pętlę |
|---|---|
| dnsmasq | oznacza tagiem żądania z opcją 175, którą wysyła tylko iPXE, i podaje im URL HTTP31 |
| ISC dhcpd | if exists user-class and option user-class = "iPXE"32 |
| FortiGate | pole filename przyjmuje jedną wartość, więc zbuduj loader iPXE z osadzonym URL-em i serwuj go wszystkim |
dnsmasq, obsługujący własną sieć i dwie pozostałe przez przekaźniki, tylko z rezerwacjami:
# /etc/dnsmasq.d/pxe.conf
local=/example.doc/
domain=example.doc
address=/pdm.example.doc/10.10.50.10
txt-record=proxmox-auto-installer.example.doc,"https://pdm.example.doc/api2/json/auto-install/answer"
txt-record=proxmox-auto-installer-cert-fingerprint.example.doc,"63:C4:D6:...:85:07"
dhcp-authoritative
dhcp-range=set:site1,10.10.50.0,static,255.255.255.0,1h
dhcp-range=set:site2,10.20.50.0,static,255.255.255.0,1h
dhcp-range=set:site3,10.30.50.0,static,255.255.255.0,1h
dhcp-option=tag:site1,option:router,10.10.50.1
dhcp-option=tag:site2,option:router,10.20.50.1
dhcp-option=tag:site3,option:router,10.30.50.1
dhcp-option=option:dns-server,10.10.50.10
dhcp-option=option:domain-search,example.doc
dhcp-match=set:ipxe,175
dhcp-match=set:efi64,option:client-arch,7
dhcp-match=set:efi64,option:client-arch,9
dhcp-boot=tag:efi64,tag:!ipxe,ipxe.efi
dhcp-boot=tag:ipxe,http://pdm.example.doc/pve-9.2/boot.ipxe
# no option 250 anywhere: DNS discovery depends on it
enable-tftp
tftp-root=/srv/tftp
tftp-secure
# TFTP block-size ceiling: lower it for an IPsec or other tunnel in the path
tftp-mtu=1500
# dhcp-host=<mac>,<ip inside that site's /24>,<hostname>
dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01
dhcp-host=aa:bb:cc:dd:ee:02,10.20.50.21,pve01
static oznacza brak puli: adres dostają tylko zarezerwowane maszyny, co trzyma obcych z dala od ścieżki instalatora.
Adres każdej rezerwacji musi leżeć w /24 jej własnej lokalizacji, bo to po tym adresie Caddy wybiera token.
Węzeł zarezerwowany w złej podsieci dostaje odpowiedź złej lokalizacji albo nic.
Rezerwacje to lista adresów MAC, a to buchalteria per maszyna dokładnie tego rodzaju, jakiego klient nie chciał.
Jeśli „wpiąć i uruchomić” to naprawdę wymaganie, daj każdemu VLAN-owi provisioningu zamiast tego mały zakres dynamiczny, na przykład dhcp-range=set:site1,10.10.50.100,10.10.50.150,255.255.255.0,1h.
Lokalizacja nadal wynika z podsieci, więc Caddy nadal wybiera właściwy token, a szablon FQDN z installation_nr nadaje węzłowi nazwę.
Ceną jest pierwszy wiersz „Co zostaje do rozstrzygnięcia”: wszystko, co zostanie wpięte do tego VLAN-u, może teraz pobrać odpowiedź lokalizacji, więc bramką staje się sam VLAN.
dnsmasq negocjuje z klientem rozmiar bloku TFTP.
Zostawiony sam sobie ogranicza go do MTU własnego interfejsu31, co działa, dopóki ścieżka do lokalizacji nie jest mniejsza niż łącze, na którym siedzi dnsmasq.
Dlatego konfiguracja podaje sufit jako tftp-mtu=1500, zamiast go dziedziczyć.
To stawia liczbę przed oczami tego, kto opiekuje się lokalizacją za tunelem IPsec albo czymkolwiek innym, co zjada część pakietu, i ten ktoś obniża ją do tego, co ścieżka naprawdę przenosi, zamiast dowiadywać się z transferu, który staje w połowie.
Jeśli jakiś ROM karty sieciowej źle się zachowuje, gdy opcja w ogóle zostanie przyznana, tftp-no-blocksize wyłącza negocjację.
Skopiuj ipxe.efi z pakietu ipxe Debiana do /srv/tftp, z właścicielem dnsmasq, bo tftp-secure odrzuca wszystko inne.
Wybieraj UEFI.
Secure Boot wymaga podpisanego iPXE, więc albo to skonfiguruj, albo wyłącz Secure Boot na czas instalacji i włącz go potem.
Rozruch, obserwacja i co się psuje
Testuj jedną maszyną wirtualną w sieci lokalizacji, zanim dotkniesz sprzętu: firmware UEFI, 8 GiB pamięci i karta sieciowa w tym VLAN-ie odtwarzają cały łańcuch.
A całość po kolei, od włączenia zasilania do instalacji, którą PDM oznacza jako Finished:
| Krok | Co się dzieje | Gdzie patrzeć |
|---|---|---|
| 1 | firmware dostaje ipxe.efi przez TFTP, iPXE dostaje boot.ipxe przez HTTP | journalctl -u dnsmasq, log Caddy |
| 2 | po dziesięciu sekundach menu uruchamia wpis automatyczny; pobierają się jądro, initrd i ISO | cztery GET-y, jeden z nich około 1,6 GB |
| 3 | instalator bierze dzierżawę, czyta domenę wyszukiwania, odpytuje oba rekordy TXT | /tmp/fetch_answer.log na maszynie docelowej |
| 4 | POST do Caddy, token podmieniony, PDM wybiera odpowiedź | log Caddy wskazuje token; PDM pokazuje nową instalację |
| 5 | instalacja przebiega | /tmp/auto_installer.log, /tmp/install-low-level-start-session.log |
| 6 | jeszcze w instalatorze webhook odpowiada przez Caddy, potem maszyna się restartuje33 | instalacja przechodzi do Finished z dołączonymi dyskami, kartami sieciowymi i kluczami hosta SSH |
Przy błędzie instalator spada do powłoki, chyba że odpowiedź ustawia Reboot on Error, więc podczas testów zostaw to wyłączone.
| Objaw | Prawdopodobna przyczyna |
|---|---|
Could not find search domain in resolv.conf. | DHCP nie wysłał domeny |
| zapytanie TXT o nazwę ze spacją w środku | więcej niż jedna domena wyszukiwania |
Got empty response. | brak rekordu, zła strefa albo opcja 6 wskazuje na inny serwer DNS |
| URL ze spacją w środku | wartość TXT podzielona na kilka łańcuchów |
| log mówi, że URL przyszedł z DHCP | opcja 250 jest gdzieś w sieci |
| błąd TLS przy POST | odcisk w DNS to nie bieżący certyfikat Caddy |
| połączenie zamknięte bez odpowiedzi | Caddy je przerwał: zła podsieć, brak catch tokenu albo ścieżka, która nie jest jedną z dwóch |
400 no answer file found | token zadziałał; żaden filtr nie pasował i na tym tokenie nie ma domyślnej |
| zła odpowiedź | nakładające się filtry; wygrywa pierwszy w pliku |
| status zostaje w toku | bazowy URL webhooka wciąż wskazuje na 8443 |
| iPXE ładuje się w kółko | serwer DHCP nie odróżnia iPXE od firmware’u |
przekroczenie czasu TFTP PXE-E32 | zły next-server albo zablokowany UDP 69 |
Dodanie Proxmox Backup Server
Nic w tej ścieżce nie jest specyficzne dla Proxmox VE.
Zbuduj drugi zestaw plików rozruchowych z ISO PBS 4 z tym samym catch tokenem, do /srv/www/pbs-4/, i dodaj jedną odpowiedź PBS na lokalizację z filtrem /product/product=pbs, autoryzowaną na tokenie tej lokalizacji.
Rekordy DNS, Caddy, tokeny i zapora się nie zmieniają.
Dla lokalizacji z oboma coś musi decydować, który produkt dostaje maszyna, a menu to zła rzecz do podejmowania tej decyzji.
choose w iPXE bez --timeout czeka przy konsoli na naciśnięcie klawisza w nieskończoność, a to przeciwieństwo instalacji nienadzorowanej.
Niech zamiast tego decyduje rezerwacja DHCP.
I tak rezerwujesz każdy węzeł po adresie MAC, więc otaguj te od PBS i wyślij każdemu tagowi jego własny boot.ipxe:
# /etc/dnsmasq.d/pxe.conf, replacing the single iPXE dhcp-boot line
dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01
dhcp-host=aa:bb:cc:dd:ee:31,set:pbs,10.10.50.31,pbs01
dhcp-boot=tag:ipxe,tag:!pbs,http://pdm.example.doc/pve-9.2/boot.ipxe
dhcp-boot=tag:ipxe,tag:pbs,http://pdm.example.doc/pbs-4/boot.ipxe
set:pbs na rezerwacji taguje tę jedną maszynę31, a tag:!pbs sprawia, że obie linie rozruchowe wzajemnie się wykluczają, więc nie ma pytania, która wygrywa.
Własny boot.ipxe każdego produktu już po dziesięciu sekundach uruchamia wpis automatyczny, bez nikogo przy klawiaturze15.
Te linie przechodzą dnsmasq --test w wersji 2.91, tej z mojego laboratorium, i trzymają się udokumentowanej składni dhcp-host i tagów.
Nie uruchomiłem jeszcze przez nie węzła PBS po PXE, więc spróbuj jedną otagowaną maszynę, zanim zaczniesz na tym polegać.
Dalej to ta sama ścieżka co dla Proxmox VE.
Instalator PBS wysyła "product": "pbs", Caddy podstawia token lokalizacji, a PDM wybiera odpowiedź PBS tej lokalizacji.
W żadnym momencie nic nie jest wybierane ręcznie, a to, jakim produktem stanie się węzeł, jest zapisane w jednym miejscu, w rezerwacji, obok jego adresu.
| Co decyduje | Gdzie to mieszka |
|---|---|
| które ISO się uruchamia | tag set:pbs na rezerwacji DHCP |
| odpowiedzi której lokalizacji obowiązują | podsieć źródłowa, przez podmianę tokenu w Caddy |
| która odpowiedź w obrębie lokalizacji | filtr /product/product=pbs w PDM |
Instalator kładzie tylko system operacyjny. Datastore, na storage’u oddzielonym od dysku systemowego, to kolejne zadanie dla tego, co dokańcza węzeł, i to sprowadza nas z powrotem do brakującego hooka pierwszego startu.
Co zostaje do rozstrzygnięcia
Żadna z tych rzeczy nie przeszkadza w użyciu tego projektu. Każda potrzebuje kogoś, kto weźmie ją na siebie.
| Kompromis | Dlaczego to ważne | Co zrobić |
|---|---|---|
| adres źródłowy jest bramką | wszystko w VLAN-ie provisioningu albo zdolne podszyć się pod adres w nim może pobrać odpowiedź tej lokalizacji: skrót hasła roota, klucze SSH, klucz subskrypcji | izolować VLAN, port security, tylko rezerwacje, wygasanie tokenów, wyłączanie tokenów między wdrożeniami |
| catch token nie jest sekretem | jest w każdym obrazie i na tej stronie | odsiewa tylko przypadkowe żądania; bramką są podsieć i prawdziwy token trzymany w Caddy |
| Caddy może czytać klucz PDM | serwowanie certyfikatu PDM oznacza, że proxy czyta ten jeden klucz prywatny | ACL tylko na api.pem i api.key, nic innego z PDM nieczytelne, host zamknięty na głucho; klucz nigdy go nie opuszcza |
| DNS jest zaufany | podrobiony rekord TXT wysyła instalator gdzie indziej, a jeśli odcisk też przychodzi z DNS, fałszerz kontroluje jedno i drugie | chronić DNS provisioningu albo wpisać odcisk PDM na stałe przez --cert-fingerprint i przebudowywać, gdy się zmieni |
| pliki rozruchowe idą zwykłym HTTP | można je odczytać lub podmienić w drodze | trzymać sieć odizolowaną; iPXE przez HTTPS, jeśli twoja kompilacja to obsługuje |
| token webhooka | 16 losowych bajtów, jednorazowy, czyszczony po wywołaniu zwrotnym, ale bez limitu czasu4 | usuwać stare rekordy instalacji |
| klucz subskrypcji | aktywowany raz, gdy sieć wstanie; przy błędzie klucz jest usuwany, a unit kończy się błędem, bez ponowienia34 | sprawdzać systemctl --failed na nowych węzłach |
| PDM to pojedynczy punkt | dziś nie jest wysoko dostępny | awaria zatrzymuje nowe instalacje, nie działające klastry |
| jedna karta sieciowa zarządzania | odpowiedź nie ma opcji bondingu, VLAN-u ani mostka9 | to robota poinstalacyjna, z tym samym problemem pierwszego startu |
Pierwsze podejście, zbudowane porządnie
To pierwsze wydanie tej funkcji i jak na pierwsze wydanie jest dobre. Formularz odpowiedzi jest rozsądny, reguły wyboru są jasne, gdy się je przeczyta, webhook działa, a kod jest otwarty, co jest jedynym powodem, dla którego wszystko powyżej dało się udowodnić, a nie zgadywać. Seria łatek przeszła cztery rundy na publicznej liście dyskusyjnej, zanim trafiła do kodu35, i to widać.
Luki to dwie rzeczy, które zamieniają serwer instalacyjny w system provisioningu. Lokalizacja to jednostka, w której myśli MSP, a instalator na niej stoi, kiedy pyta. Hook pierwszego startu to różnica między węzłem zainstalowanym a węzłem skończonym. Obie są już w połowie na miejscu: instalator ma hook, a PDM ma token. Spodziewam się, że obie przyjdą, a kiedy przyjdą, Caddy w środku tego projektu raczej się uprości, niż zniknie, bo proxy, które trzyma sekrety PDM poza zasięgiem, a 8443 z dala od sieci, i tak warto mieć.
Powód, żeby robić to w ten sposób w międzyczasie, jest ten z samej góry. Dziesięć serwerów PXE to dziesięć rzeczy, które rozjeżdżają się z aktualnością w dziesięciu różnych tempach, a każda dostaje uwagę dopiero wtedy, gdy zawiedzie w dniu, w którym jej potrzebujesz. Jedno środowisko, aktualizowane raz, z lokalizacją ustalaną przez sieć i sekretami trzymanymi w jednym miejscu, to mniej do utrzymania. Mniej do utrzymania to mniej do zepsucia, a to jest większość tej roboty.
Proxmox — Proxmox Datacenter Manager 1.1 press release — instalacje automatyczne, z nową zakładką pod Remotes, która śledzi postęp instalacji. ↩︎
Proxmox Datacenter Manager documentation — Automated Installations — przygotowane odpowiedzi, filtry docelowe, szablony i „a dedicated token mechanism, separate from the normal API tokens”. ↩︎ ↩︎
proxmox-datacenter-manager,
lib/pdm-api-types/src/auto_installer.rs— klucze filtrów docelowych „are JSON Pointers as per [RFC6901], the values globs”; tylko jedna odpowiedź domyślna. ↩︎proxmox-datacenter-manager,
server/src/api/auto_installer/mod.rs— sprawdzenie tokenu przed odpowiedzią domyślną, pierwsze dopasowanie w kolejności pliku,first_boot: None, inkrementacja liczników, jednorazowy token post-hook, dwie ścieżki dostępne bez logowania do PDM i uprawnieniaSys.Audit/Sys.Modifyna/system/auto-installation. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Proxmox VE Roadmap — Proxmox VE 9.2 — przygotowanie PXE i iPXE, „at least 6 GiB of available memory on the host” oraz znany problem z
megaraid_sasi NVMe w trybie JBOD. ↩︎ ↩︎ ↩︎Proxmox Bugzilla 8078 — „prepared answer disk setup does not allow to specify multiple udev filters with same name”, otwarte 26 września 2026, status NEW 7 listopada 2026. ↩︎
Proxmox Bugzilla 7699 — „Add on-first-boot parameter to the PDM remote installation”, otwarte 12 czerwca 2026, status NEW 7 listopada 2026. ↩︎ ↩︎
proxmox,
proxmox-installer-types/src/lib.rs—SystemInfo: produkt, ISO, DMI i interfejsy sieciowe. ↩︎Proxmox VE wiki — Automated Installation — opcje
[first-boot]i[network], wysyłana informacja o systemie i to, że token uwierzytelniający „is stored in plain text inside the prepared ISO”. ↩︎ ↩︎ ↩︎ ↩︎Proxmox Bugzilla 8263 — „[Feature Request] auto-installer: client source IP (or X-Forwarded-For) for answer selection and templating”, otwarte 31 października 2026, status NEW 7 listopada 2026. ↩︎
proxmox-datacenter-manager,
debian/changelog— 1.1.1: „match prepared answers in the configuration’s stable order and let the first match win”. ↩︎proxmox,
proxmox-installer-types/src/answer.rs—AutoInstallerConfigzawierafirst_boot: Option<FirstBootHookInfo>. ↩︎pve-installer,
proxmox-auto-installer/src/bin/proxmox-auto-installer.rs— plik wykonywalny pierwszego startu jest ustawiany tylko wtedy, gdy odpowiedź ma sekcjęfirst_boot. ↩︎pve-installer,
proxmox-fetch-answer/src/fetch_plugins/http.rs— najpierw URL z ISO, potem DHCP, potem DNS; nazwy TXT; parsowanieresolv.conf;dig txt +shortz usuniętymi cudzysłowami; nagłówek Bearer. ↩︎ ↩︎pve-installer,
proxmox-auto-install-assistant/src/main.rs—--pxe-loaderimplikuje--pxe, katalog wyjściowy, initrd w gzip,/bootusunięty z ISO i generowanyboot.ipxe. ↩︎ ↩︎ ↩︎proxmox-datacenter-manager,
server/src/bin/proxmox-datacenter-api/main.rs—PDM_LISTEN_ADDRto nieokreślony adres IPv6 naPDM_PORT, 8443, ustalony w czasie kompilacji. ↩︎Caddy releases — 2.11.1 naprawił CVE-2026-27587, obejście matchera ścieżek przez sekwencje ucieczki. ↩︎
Debian sources — caddy —
2.6.2-12+deb13u1w trixie,2.11.2-1~bpo13+1w trixie-backports. ↩︎Caddy —
request_header— „With no prefix, the field is set (overwritten).” ↩︎Caddy — Request matchers —
remote_ipto bezpośredni sąsiad; dopasowania ścieżek ignorują wielkość liter, są dekodowane z URL, czyszczone, z powtórzonymi ukośnikami scalonymi. ↩︎ ↩︎Caddy —
handle— „only the first matchinghandleblock will be evaluated”. ↩︎Caddy — Global options — admin domyślnie na
localhost:2019;protocolsdomyślnieh1 h2 h3. ↩︎ ↩︎Caddy —
file_server—hidenie powinno być traktowane jako granica bezpieczeństwa. ↩︎Caddy —
log—Cookie,Set-Cookie,AuthorizationiProxy-Authorizationsą logowane jakoREDACTED. ↩︎systemd.service —
ExecCondition=— przy kodzie wyjścia od 1 do 254 „the remaining commands are skipped and the unit is not marked as failed”. ↩︎systemd.path —
PathChanged=— „activated if the file which was open for writing gets closed”. ↩︎caddyserver/dist,
init/caddy.service—ExecStart=/usr/bin/caddy run --environ --config /etc/caddy/Caddyfile. ↩︎ ↩︎Caddy — Command line —
--environdrukuje środowisko przed startem. ↩︎Caddy — Caddyfile concepts, environment variables —
{$NAME}jest podstawiane przed parsowaniem Caddyfile. ↩︎caddyserver/caddy,
replacer.go— każdy klucz zaczynający się odenv.trafia doos.Getenv. ↩︎dnsmasq manual page —
dhcp-match,dhcp-boot,dhcp-hostzset:<tag>,enable-tftp,tftp-secure,tftp-mtu,tftp-no-blocksizei zakresystatic. ↩︎ ↩︎ ↩︎iPXE — Configuring ISC dhcpd —
if exists user-class and option user-class = "iPXE"podaje iPXE skrypt, a firmware’owi loader. ↩︎pve-installer,
unconfigured.sh—proxmox-post-hookuruchamia się zaraz po udanymproxmox-auto-installer, przed restartem. ↩︎pve-installer,
proxmox-first-boot/proxmox-first-boot-subscription— „always drop the staged key, regardless of whether activation succeeded”. ↩︎pdm-devel — “add auto-installer integration”, v4, 40 patches — seria, która dodała tę funkcję, z notatkami o zmianach od v3 do v4. ↩︎