Un Consol, Llawer o Gwsmeriaid
Os wyt ti’n gofalu am Proxmox ar ran pobl eraill, mae pob nod newydd yr un gwaith wedi’i wneud ychydig yn wahanol. Mae gan bob cwsmer ei wlad, ei gylchfa amser, ei allweddi root, ei gynllun disgiau, ei enwau gwesteiwyr a’i allwedd tanysgrifio ei hun. Cael un o’r rheini’n anghywir ar nod newydd ac rwyt ti’n darganfod y tro cyntaf mae rhywun yn mewngofnodi, neu’r tro cyntaf mae archwiliad yn gofyn pam mae’r cloc awr allan.
Adeiladais i hwn i gwsmer gyda’r union broblem honno, ac roedd yr hyn y gofynnon nhw amdano’n braf o syml. Mae pob safle’n adeiladu gyda’i enwau ei hun, ei gyfrinair root ei hun a’i allweddi SSH ei hun. Does neb ar y safle yn gwneud dim byd clyfar: maen nhw’n gosod gweinydd yn y rac, yn ei blygio i’r VLAN cywir ac yn ei droi ymlaen. Does neb yn casglu rhifau cyfresol, a does neb yn ysgrifennu ffeil ateb i bob peiriant. Ac mae gweinydd sy’n cael ei ychwanegu felly yn y pen draw yng nghlwstwr presennol y safle.
| Beth roedden nhw eisiau | Beth sy’n ei gyflawni yma |
|---|---|
| enwau, cyfrinair ac allweddi’r safle ei hun | un ateb parod i bob safle, wedi’i ddewis gan docyn y safle hwnnw |
| plygio i’r VLAN cywir, troi ymlaen, cerdded i ffwrdd | darganfod drwy DNS, iPXE, a Caddy yn dewis y tocyn o’r is-rwydwaith ffynhonnell |
| dim rhifau cyfresol, dim ffeil ateb i bob peiriant | mae atebion yn hidlo ar y cynnyrch yn unig; daw’r safle o’r rhwydwaith |
| mae’r gweinydd newydd yn ymuno â’r clwstwr presennol | nid yn y cofnod hwn: does gan PDM ddim bachyn cychwyn cyntaf, gweler isod |
Mae’r cofnod hwn yn ymdrin â’r tri cyntaf: mynd â gweinydd moel o’i droi ymlaen i nod Proxmox wedi’i osod gyda gosodiadau’r safle cywir. Dyna’r hanner sy’n codi i bron unrhyw un gyda mwy nag un safle, MSP neu beidio, felly mae’n werth ei gael ar ei ben ei hun. Mae ymuno â’r clwstwr yn waith ar wahân, ac mae’r adran ar y bachyn cychwyn cyntaf coll yn egluro pam na all PDM ei wneud drosot ti eto.
Ychwanegodd Proxmox Datacenter Manager (PDM) 1.1 y darn a oedd ar goll1. Gall nawr weithredu fel y gweinydd atebion i osodwr awtomataidd Proxmox, felly mae peiriant moel yn cychwyn, yn anfon beth ydyw, yn cael ateb parod yn ôl ac yn gosod ei hun heb neb wrth y consol. I ddarparwr gwasanaeth a reolir (MSP) sydd eisoes yn rhedeg PDM fel ei gonsol rheoli, dyna’r lle amlwg i gadw gosodiadau gosod pob cwsmer.
Yr hyn nad wyt ti eisiau yw gweinydd PXE i bob cwsmer. Mae pob un ohonyn nhw’n weinydd Trivial File Transfer Protocol (TFTP), yn ffurfweddiad DHCP, yn set o ffeiliau cychwyn ac yn ISO i’w hailadeiladu bob tro mae Proxmox yn rhyddhau fersiwn pwynt. Deg cwsmer yw deg o’r rheini i’w cadw’n gyfredol. Dydy hynny ddim yn graddio. Y nod yma yw un ystâd PXE, un ddelwedd gychwyn, un cofnod DNS ac un PDM, gyda phob safle’n dal i gael ei ateb ei hun.
Mae PDM 1.1 yn mynd â ti’r rhan fwyaf o’r ffordd ar ei ben ei hun. Mae’n methu mewn dau le, ac mae’n werth gwybod am y ddau cyn i ti gynllunio cyflwyniad o’i gwmpas: does ganddo ddim ffordd o baru ateb â safle, a does ganddo ddim ffordd o roi sgript cychwyn cyntaf i nod newydd. Mae’r cofnod hwn yn profi’r ddau o god ffynhonnell PDM ei hun, yn gweithio o gwmpas y cyntaf, ac yn adeiladu’r cyfan ar fy PDM labordy sy’n rhedeg 1.1.9, gyda’r dirprwy wedi’i galedu fel bod y rhannau sy’n dal cyfrinachau yn aros ar gau.
Beth Mae PDM 1.1 yn ei Roi i Ti
Mae’r nodwedd yn byw o dan Remotes → Automated Installations ac mae iddi dair rhan: gosodiadau, atebion parod a thocynnau dilysu2.
Ateb parod yw fersiwn PDM o answer.toml y gosodwr, wedi’i lenwi drwy ffurflen yn hytrach na’i ysgrifennu â llaw.
| Rhan | Beth mae’n ei wneud | Manylyn sy’n bwysig |
|---|---|---|
| Atebion parod | gwlad, bysellfwrdd, cylchfa amser, stwnsh cyfrinair root, allweddi SSH, rhwydwaith, cynllun disgiau, allwedd tanysgrifio, gweithred ôl-osod | wedi’u llunio o’r newydd ar gyfer pob cais |
| Hidlwyr targed | penderfynu pa beiriant sy’n cael pa ateb | JSON Pointer i wybodaeth system y gosodwr, glob ar gyfer y gwerth3 |
| Templedu | MiniJinja yn y meysydd FQDN, e-bost gweinyddwr, IP, porth a DNS | mae cownteri fel installation_nr yn codi bob tro mae ateb yn cael ei weini4 |
| Tocynnau dilysu | mae’r gosodwr yn anfon Authorization: Bearer <name>:<secret> | math o docyn ar wahân i docynnau API PDM; mae pob ateb yn rhestru’r tocynnau y mae’n eu derbyn2 |
| Gosodiadau | un cofnod i bob cais, gyda’r wybodaeth system lawn | yn symud o ar y gweill i wedi gorffen pan fydd y webhook ôl-osod yn galw’n ôl |
| Caniatâd | Sys.Audit i edrych, Sys.Modify i newid | y ddau ar /system/auto-installation4 |
Mae ochr y gosodwr wedi bod yno ers tro.
Mae’r gorchymyn proxmox-auto-install-assistant prepare-iso yn adeiladu ISO sy’n nôl ei ateb dros HTTP, ac ers ISO Proxmox VE 9.2 gall hefyd gynhyrchu’r cnewyllyn, yr initrd, yr ISO a’r boot.ipxe y mae iPXE eu hangen i gychwyn y cyfan dros y rhwydwaith5.
Y cownteri yw’r rhan nad oes gan answer.toml annibynnol ddim byd tebyg iddi.
Mae un ateb parod yn rhifo pob gwesteiwr y mae’n ei adeiladu, lle byddai ffeil sefydlog angen ei chopïo i bob peiriant.
Mae hynny’n gam go iawn ymlaen, ac mae’n dal yn ymgais gyntaf.
Nid yw’r ffurflen eto’n gyfartal â’r ffeil ateb annibynnol6, ac mae un maes ar goll yn llwyr: does dim sgript cychwyn cyntaf yn 1.1, mewn unrhyw ffurf7.
Y bwlch hwnnw, a’r safle na all ei baru, yw’r ddwy adran nesaf.
Ni All Baru ar y Safle
Mae PDM yn dewis ateb drwy gymharu hidlwyr â’r wybodaeth system y mae’r gosodwr yn ei hanfon. Felly’r cwestiwn yw beth sydd yn y ddogfen honno, oherwydd ni ellir paru dim byd nad yw ynddi.
| Allwedd | Beth mae’n ei ddal | Allai enwi’r safle? |
|---|---|---|
product | fullname, product (pve, pbs, pmg), enable_btrfs | na |
iso | release, isorelease | na |
dmi | system, mamfwrdd a siasi: enw, rhif cyfresol, UUID, SKU, tag ased | dim ond os ysgrifennodd rhywun y safle yn y tag ased |
network_interfaces | rhestr o {link, mac} | dim ond drwy restr eiddo rwyt ti’n ei chadw dy hun |
Dyna’r cyfan8,9. Does dim cyfeiriad, dim enw gwesteiwr, dim opsiwn DHCP, dim byd am ble mae’r bocs wedi’i blygio i mewn.
Mae meysydd y Desktop Management Interface (DMI) yn edrych yn addawol nes i ti ddarllen rhai go iawn.
Daeth pob un o fy ngosodiadau labordy yn ôl gyda’r enw system Standard PC (Q35 + ICH9, 2009) a rhif cyfresol a thag ased gwag.
Mae gweinyddion go iawn yn eu llenwi, ond gyda’r hyn a roddodd y gwerthwr yno ac nid gydag enw dy gwsmer, ac mae paru ar rifau cyfresol neu gyfeiriadau MAC ond yn gweithio os wyt ti’n cadw rhestr o bob siasi y byddi di byth yn ei osod, sef yr union gadw cyfrifon yr oedd hyn i fod i’w ddileu.
Fesul gwesteiwr, iawn. Fesul safle, na.
Felly i ba rwydwaith mae’r bocs wedi’i blygio? Dydy PDM byth yn cael gwybod. Mae gan y gosodwr ei brydles DHCP yn ei law pan mae’n anfon, a’r un ffaith y mae MSP yn ei gwybod i sicrwydd am nod newydd yw’r un y mae’n ei gadael ar ôl. Mae paru ar y cyfeiriad ffynhonnell, IPv4 neu IPv6, yn gais nodwedd agored, ac fe’i codais i fy hun fel bug 826310.
Mae ail derfyn yn cuddio yn y rheolau dewis, a cherddodd fy labordy yn syth i mewn iddo.
Mae’r tocyn yn cael ei wirio gyntaf, a dim ond atebion sydd wedi’u hawdurdodi ar y tocyn hwnnw sy’n cael eu hystyried o gwbl, gan gynnwys yr un diofyn4.
Mae PDM yn caniatáu union un ateb diofyn ar draws y system gyfan.
Felly ni elli di roi ateb wrth gefn ei hun i bob safle gyda’r faner ddiofyn.
Roedd gan fy labordy ateb diofyn o’r enw fallback ar ei docyn ei hun, a dydy e erioed wedi cael ei weini unwaith, oherwydd does dim byd byth yn anfon y tocyn hwnnw.
Mae angen hidlydd dal-popeth ar docyn pob safle yn lle hynny, fel /product/product=*, wedi’i osod yn olaf yn y ffeil.
Mae dau beth arall o’r un cod yn werth eu cael yn dy ben pan wyt ti’n dadfygio:
- Y cyntaf i baru sy’n ennill, yn nhrefn y ffeil, a dim ond rhybudd yn y log y mae ail baru’n ei gael. Dyna’r rheol ers 1.1.111.
- Dim ond llinynnau y mae hidlydd yn eu paru. Boolean yw
/product/enable_btrfsac nid yw byth yn paru dim byd, ac mae arae angen mynegai, fel yn/network_interfaces/0/mac.
Ar 1.1.9 mae tocyn anhysbys neu wedi dod i ben yn cael 401 ar ôl oedi bwriadol o tua hanner eiliad ac yn gadael dim cofnod.
Mae tocyn da heb ddim yn paru yn cael 400 gyda’r corff no answer file found, ac mae’r ymgais honno yn cael ei chofnodi, gyda’r wybodaeth system lawn.
Y cofnod hwnnw yw’r ffordd gyflymaf o ddarllen rhifau cyfresol a chyfeiriadau MAC go iawn siasi newydd cyn i ti ysgrifennu hidlydd ar ei gyfer.
Ni All Redeg Sgript Cychwyn Cyntaf
Mae’r gosodwr ei hun yn cefnogi bachyn cychwyn cyntaf.
Gall ateb gario adran [first-boot] gyda source = "from-iso" neu "from-url", trefn o before-network, network-online neu fully-up, ac olion bysedd tystysgrif dewisol9.
Mae prepare-iso --on-first-boot yn mewnosod sgript yn yr ISO ar gyfer achos from-iso.
Dydy PDM byth yn anfon yr adran honno.
Dim unwaith.
Mae gan fath ateb y gosodwr ei hun y maes, first_boot: Option<FirstBootHookInfo>12.
Does gan ateb parod PDM ddim maes ar ei gyfer o gwbl, ac mae’r cod sy’n adeiladu’r ateb ohono yn ysgrifennu first_boot: None yn ddiamod4.
Does dim byd yn y ffurflen, dim byd yn yr API, a dim byd yn y ffeil ffurfweddu y gallet ti ei ychwanegu â llaw.
Mae’n gais nodwedd agored, bug 7699, a gyflwynwyd ym Mehefin 2026 ac a oedd yn dal heb ei neilltuo pan ysgrifennwyd hwn7.
Bron i bum mis yn ddiweddarach dydy e ddim wedi cael ateb gan Proxmox, a dydy 8263 ddim chwaith.
Y distawrwydd hwnnw yw’r rhan sy’n peri pryder. Mae rhywun a gymerodd yr amser i ysgrifennu sut gallai dy gynnyrch fod yn well yn haeddu ateb, hyd yn oed os na yw’r ateb, a chwrteisi proffesiynol cyffredin yw hynny.
Yn fwy byth pan mai cwsmeriaid a phartneriaid sy’n talu yw’r bobl sy’n ysgrifennu, sydd eisoes yn rhoi arian i mewn i’r cynnyrch cyn iddyn nhw roi eu hamser iddo hefyd.
A dydy’r sgript ar yr ISO ddim yn dy achub.
Dim ond pan fydd if let Some(first_boot) = &answer.first_boot yn wir y mae’r gosodwr yn sefydlu’r gwasanaeth cychwyn cyntaf, a dyna’r unig lwybr sydd byth yn darllen y ffeil wedi’i mewnosod13.
Dydy prepare-iso ddim yn rhoi rhybudd pan fyddi di’n mewnosod sgript na fydd unrhyw ateb byth yn gofyn amdani.
Mae’n eistedd ar yr ISO ac yn gwneud dim.
Mae hynny’n bwysicach i MSP nag i unrhyw un arall.
System foel yw nod o’r gosodwr, gyda chyfrinair root wedi’i stwnshio a rhai allweddi SSH.
Dydy e ddim yn remote PDM, dydy e ddim mewn clwstwr, a does ganddo ddim o dy fonitro, dy ystorfeydd na dy storfa arno.
Yn fy labordy gorffennodd y tri nod a galw adref, a bu’n rhaid ychwanegu’r remote SITEA yn PDM â llaw wedyn.
Felly beth bynnag rwyt ti’n ei ddefnyddio i orffen nod, boed hynny’n Ansible neu rywbeth arall, rhaid ei sbarduno o’r tu allan: o’r webhook ôl-osod, o swydd sy’n gwylio’r rhestr Installations, neu gan berson. Dw i’n ei adael yno. Mae’r cofnod hwn yn ymwneud â chael un ystâd PXE i weini pob safle, ac mae bwlch y cychwyn cyntaf yn derfyn i gynllunio o’i gwmpas, nid un dw i’n mynd i’w guddio yma.
Y Tocyn Yw’r Safle
Ni all PDM weld y safle, ond mae’n cyfyngu atebion yn ôl tocyn, a dim ond pennyn yw tocyn. Pwy bynnag sy’n gosod y pennyn sy’n dewis pa set o atebion y gall y gosodwr eu cael. Dyna’r tric i gyd.
Felly rho rywbeth o flaen PDM sy’n gwybod o ble daeth y cais:
- Mae’r ddelwedd gychwyn yn cario tocyn dal,
catch-all:not-a-secret, sydd yr un fath ym mhob delwedd ac sy’n cael ei gyhoeddi yma. Nid tocyn PDM yw e ac nid yw’n agor dim ar ei ben ei hun. - Mae dirprwy gwrthdro Caddy o flaen PDM yn edrych ar is-rwydwaith ffynhonnell cais am ateb sy’n cario’r tocyn dal, ac yn rhoi tocyn go iawn y safle hwnnw yn lle’r pennyn.
- Mae PDM yn gweld
site2-2026q4:<secret>a dim ond atebion site2 y mae’n eu cynnig.
Dydy’r gyfrinach byth yn mynd yn agos at y ddelwedd gychwyn, felly dydy cof bach USB coll neu ISO wedi’i gopïo ddim yn rhoi dim i neb. Newid yng Nghaddy yw cylchdroi tocyn safle, nid ailadeiladu delwedd. Ac un llinell o ffurfweddiad Caddy ac un tocyn newydd yn PDM yw ychwanegu safle.
Mae hyn yn pwyso ar y cyfeiriad ffynhonnell yn onest, sy’n nodwedd o dy rwydwaith, nid o’r dirprwy. Mae’r cyfaddawd hwnnw a’r lleill wedi’u gosod allan o dan ‘Beth Sydd Ar Ôl i’w Benderfynu’ isod.
Sut Mae’r Gosodwr yn Dod o Hyd i PDM Heb URL Wedi’i Bobi i Mewn
Dim ond os nad yw’r ddelwedd yn cario cyfeiriad PDM chwaith y mae un ddelwedd i bob safle’n gweithio. Mae’r gosodwr yn chwilio am URL ei ateb mewn tri lle, yn eu trefn14:
| Rheol | Beth mae’r cod yn ei wneud | Beth mae’n ei olygu i ti |
|---|---|---|
| Trefn | mae URL yn yr ISO yn ennill; fel arall DHCP; mae unrhyw fethiant DHCP yn disgyn yn ôl i DNS14 | adeiladu’r ddelwedd heb --url, a pheidio ag anfon opsiwn 250 yn unman |
| Enwau cofnodion | proxmox-auto-installer.<search domain> ar gyfer yr URL, proxmox-auto-installer-cert-fingerprint.<search domain> ar gyfer yr olion bysedd | un parth, dau gofnod TXT |
| Parth chwilio | llinell search gyntaf /etc/resolv.conf, wedi’i hollti ar un bwlch | rho un parth yn union; mae dau yn troi’n un enw annilys |
| Dim parth | yn methu gyda Could not find search domain in resolv.conf. | gwiria fod opsiwn DHCP 15 neu 119 yn cael ei anfon |
| Gwerth TXT | dig txt +short, pob " wedi’i dynnu, yna wedi’i docio | mae gwerth TXT wedi’i hollti’n sawl llinyn yn gadael bwlch yn yr URL; cadwa fe’n un llinyn |
| Olion bysedd | yn cael ei gymryd o DNS dim ond pan ddaeth yr URL o DNS hefyd a does dim un wedi’i bobi i mewn | cyhoedda olion bysedd tystysgrif PDM, y mae Caddy hefyd yn ei gweini |
| Tocyn | yn cael ei anfon fel Authorization: Bearer <token>, wedi’i storio mewn testun plaen ar yr ISO9 | a dyna pam mai dim ond y tocyn dal y mae’r ddelwedd yn ei gario |
Y dystysgrif y mae’r gosodwr yn ei gwirio yw pa un bynnag sy’n ateb ar 443. Yn y cynllun hwn mae Caddy yn gweini tystysgrif PDM ei hun yno, felly mae cleient yn gweld yr un dystysgrif ar 443 ag sydd gan PDM ar 8443, a dim ond un olion bysedd sydd i’w gyhoeddi.
Ei Adeiladu: PDM, Ffeiliau Cychwyn a DNS
Mae’r enghreifftiau’n defnyddio’r parth example.doc a thri safle, 10.10.50.0/24, 10.20.50.0/24 a 10.30.50.0/24.
Nid yw .doc yn barth lefel uchaf go iawn, felly rho dy un dy hun yn ei le.
Mae PDM, Caddy, dnsmasq a’r ffeiliau cychwyn i gyd yn byw ar un gwesteiwr, pdm.example.doc ar 10.10.50.10, ac mae’r safleoedd pell yn ei gyrraedd drwy ras gyfnewid DHCP ar eu pyrth.
Mae rheolaeth yn byw ar 10.99.0.0/24 ac, o’r herwydd, dyna’r unig rwydwaith sydd byth yn gweld UI gwe PDM.
Tocynnau ac atebion yn PDM
O dan Remotes → Automated Installations → Authentication Tokens, ychwanega un tocyn i bob safle a rho ddyddiad dod i ben iddo sy’n cyfateb i ffenestr dy gyflwyniad.
Nid yw’r enw’n gyfrinachol, a byddi di’n ei weld mewn logiau, felly gwna iddo ddweud rhywbeth: site1-2026q4.
Copïa’r gyfrinach pan fydd yn cael ei dangos.
Yna ychwanega ateb parod i bob safle i bob cynnyrch, wedi’i awdurdodi ar docyn y safle hwnnw’n unig:
| Maes | site1, Proxmox VE |
|---|---|
| Tocyn awdurdodedig | site1-2026q4 |
| Hidlydd targed | /product/product=pve |
| Gwlad, bysellfwrdd, cylchfa amser | gb, en-gb, Europe/London |
| Mynediad root | allweddi SSH, ynghyd â chyfrinair wedi’i osod drwy’r ffurflen, y mae PDM yn ei storio a’i anfon fel stwnsh yn unig4 |
| Rhwydwaith | DHCP, enwau rhyngwynebau wedi’u pinio |
| FQDN | {{ product.product }}-site1-{{ installation_nr }}.example.doc |
| Disg | dy gynllun di, er enghraifft drych ZFS dros ddwy ddisg wedi’u henwi |
| Webhook ôl-osod | URL sylfaen https://pdm.example.doc, gydag olion bysedd tystysgrif PDM |
Mae’r cownter yn codi bob tro mae ateb yn cael ei weini, gan gynnwys ailgeisiadau, felly gall enwau neidio rhifau. Mae cownter fy labordy ar 4 ar ôl tri gosodiad gorffenedig. Os oes angen enwau rhagweladwy arnat ti, defnyddia FQDN from DHCP a rho enw’r gwesteiwr ar y cadw lle DHCP yn lle hynny.
URL sylfaen y webhook yw’r un gosodiad y mae’n rhaid ei newid ar gyfer y cynllun hwn. Mae’n naturiol ei bwyntio at PDM ei hun ar borth 8443, sef sut roedd gan fy labordy fe, ac mae 8443 ar fin cael ei gau. Pwyntia fe at Caddy.
Y ffeiliau cychwyn
Ar unrhyw westeiwr Proxmox VE neu Debian gydag ystorfa Proxmox:
apt install proxmox-auto-install-assistant xorriso
mkdir -p /srv/www/pve-9.2
proxmox-auto-install-assistant prepare-iso proxmox-ve_9.2-1.iso \
--fetch-from http \
--answer-auth-token 'catch-all:not-a-secret' \
--pxe-loader ipxe \
--output /srv/www/pve-9.2/
Dim --url, oherwydd mae DNS yn ei gyflenwi.
Mae --pxe-loader ipxe yn awgrymu --pxe, a gyda --pxe rhaid i’r allbwn fod yn gyfeiriadur sydd eisoes yn bodoli15.
Rwyt ti’n cael pedair ffeil: vmlinuz, initrd.img wedi’i ailgywasgu o zstd i gzip oherwydd na all iPXE lwytho initrd zstd, yr ISO parod gyda /boot wedi’i dynnu, a dewislen boot.ipxe sy’n dewis y gosodiad awtomataidd ar ôl deg eiliad ac yn cyfeirio at y lleill wrth enw cymharol15.
Cadwa’r pedair mewn un cyfeiriadur.
Mae angen digon o gof ar bob targed i ddal y cnewyllyn, yr initrd a’r ISO cyfan.
Mae nodiadau Proxmox VE 9.2 yn ei roi fel ‘at least 6 GiB of available memory on the host’5.
Mae’r un nodiadau’n rhestru problem hysbys gyda chnewyllyn ISO 9.2 ar reolyddion megaraid_sas a rhai gyriannau NVMe yn y modd JBOD (just a bunch of disks), gyda’r cyngor i osod o ISO 9.1 ac uwchraddio5.
Profa dy galedwedd cyn i ti ymddiried y llwybr rhwydwaith iddo.
Y cofnodion DNS
Yn y parth sy’n cyfateb i’r un parth chwilio y mae DHCP yn ei roi:
$ORIGIN example.doc.
pdm IN A 10.10.50.10
proxmox-auto-installer IN TXT "https://pdm.example.doc/api2/json/auto-install/answer"
proxmox-auto-installer-cert-fingerprint IN TXT "63:C4:D6:...:85:07"
Tystysgrif PDM ei hun yw’r olion bysedd:
openssl x509 -in /etc/proxmox-datacenter-manager/auth/api.pem -noout -fingerprint -sha256
Gwiria nhw yn y ffordd y bydd y gosodwr yn gwneud:
dig txt +short proxmox-auto-installer.example.doc @10.10.50.10
# one quoted string, nothing split
Caddy, yr Unig Ddrws i PDM
Mae API PDM yn gwrando ar [::]:8443, ac mae hwnnw’n gysonyn wedi’i grynhoi i mewn i’r deuaidd, nid gosodiad16.
Ni elli di ei rwymo i’r loopback.
Felly Caddy yw’r un ffordd i mewn, ac mae’r wal dân yn gwneud yn siŵr o hynny.
Mae gan PDM union ddau lwybr sy’n gweithio heb fewngofnodi i PDM: POST /api2/json/auto-install/answer gyda thocyn gosodwr, a POST …/installations/{uuid}/post-hook gyda’r tocyn un-tro yn y corff4.
Dyna’r unig ddau y dylai rhwydwaith darparu byth eu cyrraedd.
Defnyddia Caddy 2.11.1 neu’n hwyrach. Trwsiodd 2.11.1 ffordd o osgoi’r cydweddwr llwybrau, CVE-2026-27587, sef yr union fath o reoli llwybrau y mae hyn yn dibynnu arno17. Pecyn Debian 13 ei hun yw 2.6.2, felly cymera fe o trixie-backports, sy’n cario 2.11.2, neu o ystorfa Caddy ei hun18.
Y Caddyfile, /etc/caddy/Caddyfile:
{
# the admin API on a socket only root can open, never on TCP
admin unix//run/caddy/admin.sock|0600
auto_https disable_redirects
servers {
protocols h1 h2
}
}
# PDM itself, on the loopback, trusted by its own certificate
(pdm_upstream) {
reverse_proxy https://[::1]:8443 {
transport http {
tls_trust_pool file /etc/proxmox-datacenter-manager/auth/api.pem
tls_server_name pdm.example.doc
}
}
log_append pdm_status {http.reverse_proxy.status_code}
}
# one site: name, subnet, PDM token name, PDM token secret
(site) {
@{args[0]} {
method POST
path /api2/json/auto-install/answer
remote_ip {args[1]}
header Authorization "Bearer catch-all:not-a-secret"
}
handle @{args[0]} {
log_append site {args[0]}
log_append pdm_token {args[2]}
request_header Authorization "Bearer {args[2]}:{args[3]}"
import pdm_upstream
}
}
pdm.example.doc, 10.10.50.10 {
tls /etc/proxmox-datacenter-manager/auth/api.pem /etc/proxmox-datacenter-manager/auth/api.key
import site site1 10.10.50.0/24 site1-2026q4 {env.PDM_SECRET_SITE1}
import site site2 10.20.50.0/24 site2-2026q4 {env.PDM_SECRET_SITE2}
import site site3 10.30.50.0/24 site3-2026q4 {env.PDM_SECRET_SITE3}
@post_hook {
method POST
path /api2/json/auto-install/installations/*/post-hook
remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24
}
handle @post_hook {
request_header -Authorization
import pdm_upstream
}
# the PDM web UI and API, from the management network only
@mgmt remote_ip 10.99.0.0/24
handle @mgmt {
import pdm_upstream
}
# anything else, from anywhere, never reaches PDM
handle {
abort
}
log {
output file /var/log/caddy/pdm.log
format filter {
request>headers>Csrfpreventiontoken replace REDACTED
}
}
}
# boot files, to the sites and management only
http://:80 {
@hidden path_regexp /\.
handle @hidden {
abort
}
@boot remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 10.99.0.0/24
handle @boot {
root * /srv/www
file_server
}
handle {
abort
}
}
Y rhannau sy’n gwneud gwaith diogelwch, a pham mae pob un yno:
| Llinell | Pam |
|---|---|
header Authorization "Bearer catch-all:not-a-secret" yng nghydweddwr y safle | hebddo, mae unrhyw POST o is-rwydwaith safle yn cael y tocyn go iawn; rhaid i gais ddod o’r is-rwydwaith cywir a chario’r tocyn dal |
request_header Authorization … | yn gosod y pennyn, gan drosysgrifo beth bynnag a anfonodd y cleient, felly mae tocyn ffug yn cael ei ddisodli, byth yn cael ei anfon ymlaen19 |
remote_ip | y cymar uniongyrchol; paid â rhoi NAT na chydbwysydd llwyth rhwng y gosodwyr a Caddy20 |
blociau handle wedi’u henwi | yn cael eu cadw yn y drefn a ysgrifennwyd ac yn gyd-anghynhwysol, felly’r handle { abort } moel sy’n cael y gair olaf21 |
@mgmt | UI ac API llawn PDM, heb eu cyffwrdd, felly mae mewngofnodi, tocynnau API a chwcis PDM ei hun yn gweithio fel arfer; does dim o hynny i is-rwydwaith safle |
admin unix//…|0600 | mae’r API gweinyddol yn ddiofyn ar TCP localhost:2019, heb ddim dilysu22 |
protocols h1 h2 | mae Caddy yn gwrando ar UDP 443 ar gyfer HTTP/3 yn ddiofyn22; mae hyn yn diffodd hynny yn hytrach na gadael porth nad oedd neb wedi bwriadu ei agor |
@hidden | mae file_server yn gweini pob ffeil o dan ei wraidd, gan gynnwys ffeiliau dot, ac mae hide wedi’i ddogfennu fel rhywbeth nad yw’n ffin ddiogelwch23 |
Csrfpreventiontoken replace REDACTED | mae Caddy yn cuddio Authorization a Cookie yn ei log mynediad yn ddiofyn, ond nid pennyn CSRF PDM24 |
Mae’r cydweddwr llwybrau’n fwy maddeugar nag yw PDM, sef y ffordd iawn rownd.
Mae Caddy yn glanhau’r llwybr, yn datgodio amgodio canran, yn uno slaesau ailadroddus ac yn anwybyddu priflythrennau cyn iddo baru20.
Felly mae //answer, %61nswer ac ANSWER i gyd yn cyfrif fel y llwybr ateb, ac nid yw amrywiad /api2/extjs/… na slaes ar y diwedd yn paru llwybr safle ac maen nhw’n disgyn drwodd i abort.
Mae angen egluro dau ddewis yno.
Mae Caddy yn gweini tystysgrif PDM, yn syth o ffeiliau PDM.
Mae Caddy yn darllen api.pem ac api.key lle mae PDM yn eu cadw, felly mae’r gosodwyr, y webhook a phorwr i gyd yn gweld y dystysgrif y mae PDM yn ei chyflwyno ar 8443, a does dim ail gopi i grwydro.
Y ffordd amlwg o roi’r mynediad hwnnw iddo yw ychwanegu’r defnyddiwr caddy at www-data.
Ar fy labordy gwiriais beth mae’r aelodaeth grŵp honno’n ei gyrraedd mewn gwirionedd, drwy brofi pob ffeil fel y defnyddiwr caddy:
Ffeil o dan /etc/proxmox-datacenter-manager/ | Yn ddarllenadwy gan caddy yn www-data |
|---|---|
remotes.shadow, y manylion adnabod ar gyfer pob remote a reolir | ydy |
autoinst/tokens.shadow, pob cyfrinach tocyn gosodwr | ydy |
auth/api.key, auth/csrf.key | ydy |
access/user.cfg, subscriptions/ | ydy |
Does dim byd yn y rhestr honno’n perthyn yn agos at ddirprwy gwe. Byddai nam yn y dirprwy wedyn yn gyfaddawd ar bob clwstwr y mae PDM yn ei reoli.
Felly mae Caddy yn aros allan o www-data ac yn cael ACL ar yr union ddwy ffeil sydd eu hangen arno, ynghyd â chaniatâd i basio drwy’r ddau gyfeiriadur uwch eu pennau heb eu rhestru:
#!/bin/sh
# /usr/local/sbin/pdm-cert-acl
# let Caddy read PDM's certificate and key in place, and nothing else of PDM's
set -e
D=/etc/proxmox-datacenter-manager; A=$D/auth
setfacl -m u:caddy:x "$D" "$A"
setfacl -m u:caddy:r "$A/api.pem" "$A/api.key"
Wedi’i brofi fel y defnyddiwr caddy ar y labordy ar ôl ei redeg:
| Llwybr | caddy |
|---|---|
auth/api.pem, auth/api.key | yn gallu darllen |
auth/csrf.key, auth/authkey.key, auth/authkey.pub | yn methu darllen |
remotes.shadow, remotes.cfg, autoinst/tokens.shadow, access/user.cfg | yn methu darllen |
rhestru auth/ | wedi’i wrthod |
Adnewyddu yw’r dalfa. Mae PDM yn ysgrifennu tystysgrif wedi’i hadnewyddu i ffeil newydd ac yn ei hailenwi i’w lle, a dydy ffeil newydd ddim yn cario ACL yr hen un. Felly pan fydd PDM yn adnewyddu, mae systemd yn rhoi’r ACL yn ôl ac yn ail-lwytho Caddy, heb i neb fod yn rhan o’r peth.
Gwiriad bod y dystysgrif a’r allwedd yn perthyn i’w gilydd, oherwydd mae adnewyddu’n eu hysgrifennu un ar y tro:
#!/bin/sh
# /usr/local/sbin/pdm-cert-pair-ok
# exit 0 only when PDM's certificate and key belong together
d=/etc/proxmox-datacenter-manager/auth
c=$(openssl x509 -noout -pubkey -in "$d/api.pem") || exit 1
k=$(openssl pkey -pubout -in "$d/api.key") || exit 1
[ "$c" = "$k" ]
Uned llwybr sy’n gwylio’r ddwy ffeil, a’r gwasanaeth y mae’n ei gychwyn:
# /etc/systemd/system/caddy-pdm-cert.path
[Unit]
Description=Watch the PDM certificate and key for renewal
[Path]
PathChanged=/etc/proxmox-datacenter-manager/auth/api.pem
PathChanged=/etc/proxmox-datacenter-manager/auth/api.key
Unit=caddy-pdm-cert.service
[Install]
WantedBy=multi-user.target
# /etc/systemd/system/caddy-pdm-cert.service
[Unit]
Description=Let Caddy read the renewed PDM certificate in place, then reload Caddy
[Service]
Type=oneshot
ExecCondition=/usr/local/sbin/pdm-cert-pair-ok
ExecStart=/usr/local/sbin/pdm-cert-acl
ExecStart=/usr/bin/systemctl try-reload-or-restart caddy.service
apt install acl
systemctl daemon-reload
systemctl enable --now caddy-pdm-cert.path
Mae’r override ymhellach i lawr yn rhedeg yr un sgript ACL cyn pob cychwyn Caddy, felly dydy adnewyddiad tra oedd Caddy wedi stopio byth yn cael ei golli.
Y manylion sy’n gwneud iddo weithio, pob un wedi’i wirio:
| Darn | Pam |
|---|---|
| y ddwy ffeil yn cael eu gwylio | mae’r ysgrifiad cyntaf yn tanio’r uned; mae’r amod yn ei hepgor tra nad yw’r pâr yn cyfateb, ac mae’r ail ysgrifiad yn ei thanio eto gyda phâr sy’n cyfateb |
ExecCondition | mae amod sy’n methu yn hepgor y rhediad yn hytrach na’i fethu, felly dydy adnewyddiad hanner ysgrifenedig byth yn cyrraedd Caddy25 |
PathChanged | yn tanio pan fydd ffeil wedi’i gwylio a oedd ar agor i’w hysgrifennu yn cael ei chau26; ar y labordy taniodd hefyd pan ailenwyd ffeil newydd dros yr hen un |
| y sgript ACL ar bob rhediad | does gan ffeil wedi’i hailenwi i mewn ddim ACL, felly ni allai Caddy ei darllen nes bod y sgript yn rhedeg eto |
try-reload-or-restart | yn ail-lwytho Caddy os yw’n rhedeg ac yn gwneud dim os nad yw |
reload --force yn uned Caddy | heb --force, mae Caddy yn gweld yr un ffurfweddiad ac yn dal i weini’r hen dystysgrif |
Nid dyfaliad yw’r rhes olaf honno.
Mewn cynhwysydd Caddy 2.11.7 tafladwy cyfnewidiais y ffeil dystysgrif y tu ôl i weinydd oedd yn rhedeg: daliodd caddy reload plaen i weini’r hen dystysgrif, a gweiniodd caddy reload --force yr un newydd.
Mae’r uned wedi’i phecynnu eisoes yn ail-lwytho gyda --force27, felly cadwa’r llinell honno os wyt ti’n gwneud override ar ExecReload.
Ar y labordy disodlais api.key ac api.pem PDM yn y ffordd y mae adnewyddiad yn ei wneud, drwy ysgrifennu ffeiliau newydd a’u hailenwi dros yr hen rai.
Yn syth ar ôl yr ailenwi, doedd gan api.key ddim cofnod ACL ar gyfer caddy.
O fewn pedair eiliad roedd yr uned llwybr wedi tanio, roedd yr ACL yn ôl ar y ddwy ffeil, ac roedd Caddy wedi ail-lwytho yn ei le gyda’r un ID proses.
Mae enw’r tocyn a’r gyfrinach yn cael eu cadw ar wahân.
Mae’r enw’n mynd yn y Caddyfile, lle mae’n cael ei gofnodi.
Mae’r gyfrinach yn mynd mewn ffeil amgylchedd na all neb ond root ei darllen, ac mae Caddy yn ei darllen drwy {env.*} adeg y cais.
Cofnodi pa docyn a ddefnyddiwyd, byth y gyfrinach
Roedd fersiwn gyntaf fy labordy o hyn yn gollwng.
Mae uned wedi’i phecynnu Caddy yn ei gychwyn fel caddy run --environ, ac mae --environ yn argraffu’r amgylchedd cyfan cyn iddo gychwyn28,27.
Rhoddodd pob ailgychwyn docyn y safle yn y journal mewn testun clir: wyth llinell ohono erbyn i mi gyfrif.
Dim byd yn y log mynediad, dim byd yn logiau PDM ei hun, y cyfan o’r un faner honno.
Felly mae’r ffeil gyfrinachau’n dal cyfrinachau a dim byd arall:
install -m 0600 /dev/null /etc/caddy/pdm-secrets.env
printf 'PDM_SECRET_SITE1=%s\nPDM_SECRET_SITE2=%s\nPDM_SECRET_SITE3=%s\n' \
'<secret1>' '<secret2>' '<secret3>' > /etc/caddy/pdm-secrets.env
ac mae override yr uned yn gollwng --environ ac yn rhoi cartref i’r soced gweinyddol:
# systemctl edit caddy
[Service]
EnvironmentFile=/etc/caddy/pdm-secrets.env
RuntimeDirectory=caddy
RuntimeDirectoryMode=0700
# PDM's certificate and key, read where PDM keeps them
ExecStartPre=+/usr/local/sbin/pdm-cert-acl
# the access log directory and its files belong to Caddy
ExecStartPre=+/usr/bin/install -d -o caddy -g caddy -m 0750 /var/log/caddy
ExecStartPre=+/usr/bin/chown -R caddy:caddy /var/log/caddy
ExecStart=
ExecStart=/usr/bin/caddy run --config /etc/caddy/Caddyfile
ExecReload=
ExecReload=/usr/bin/caddy reload --config /etc/caddy/Caddyfile --force
Mae’r + yn rhedeg y llinellau hynny fel root, cyn i Caddy gychwyn fel ei ddefnyddiwr ei hun.
Mae llinellau’r log yn bwysig cyn gynted ag y mae unrhyw beth arall yn cyffwrdd â /var/log/caddy: mae log wedi’i gylchdroi gan root, neu ffeil wedi’i chreu â llaw wrth brofi, yn gadael Caddy yn methu agor ei log mynediad ei hun.
Ar y labordy gosodais pdm.log i root:root ac ailgychwyn Caddy; daeth yn ôl yn caddy:caddy a chofnododd Caddy ddim gwallau caniatâd.
Ailgychwyna yn hytrach nag ail-lwytho ar ôl ei olygu, oherwydd nid yw ail-lwytho’n ailddarllen yr amgylchedd.
Defnyddia {env.NAME}, byth {$NAME}: mae’r ail ffurf yn cael ei hamnewid pan fydd y Caddyfile yn cael ei addasu, felly mae’r gyfrinach yn glanio yn y ffurfweddiad JSON, y ffeil gadw awtomatig ac unrhyw beth sy’n eu dadlwytho29.
Mae’r soced gweinyddol yn bwysig yma hefyd.
Mae {env.*} yn datrys unrhyw beth yn amgylchedd y broses heb restr ganiatáu, felly gall unrhyw un sy’n gallu llwytho ffurfweddiad drwy API gweinyddol TCP wneud i Caddy ddarllen cyfrinach yn ôl iddyn nhw30.
Mae pob llinell ateb yn y log mynediad nawr yn enwi’r safle a’r tocyn, gyda’r pennyn ei hun wedi’i guddio. O’r labordy, lle mae’r ddau’n cael eu galw’n siteA:
{"site":"siteA","pdm_token":"siteA","pdm_status":400,"status":400,
"request":{"headers":{"Authorization":["REDACTED"]}}}
Gwiriais i fe yn hytrach nag ymddiried ynddo.
Ar gopi podman o’r ffurfweddiad hwn gyda chyfrinachau ffug, ac yna ar y labordy, anfonais atebion drwy bob llwybr y gallwn i feddwl amdano: arferol, cofnodi dadfygio ymlaen, i fyny’r afon i lawr ar gyfer 502, ail-lwytho ac ailgychwyn.
Yna cyfrifais bob cyfrinach yn y journal, y log mynediad, cyfeiriaduron ffurfweddu a data Caddy a’r JSON wedi’i addasu.
Sero oedd pob cyfrif.
Argraffodd y rhediad rheoli, yr un ffurfweddiad wedi’i gychwyn gyda --environ, y gyfrinach ddwywaith.
Dau gafeat o’r prawf hwnnw.
Gyda debug ymlaen, mae Caddy yn cofnodi ei ffurfweddiad cyfan wedi’i addasu, felly mae’r tocyn dal a dalfannau {env.*} yn ymddangos yno; ni wnaeth y gwerthoedd y tu ôl iddyn nhw.
Cadwa debug i ffwrdd wrth gynhyrchu beth bynnag.
Ac os yw cyfrinach eisoes wedi bod drwy journal, fel roedd fy un i, ail-gynhyrcha hi yn PDM a diweddara’r ffeil; nid dileu llinellau log yw’r ateb.
Y wal dân: dydy 8443 byth yn gadael y bocs
Doedd gan fy labordy ddim wal dân o gwbl, felly roedd 8443 yn ateb pob gwesteiwr ar y rhwydwaith darparu ac roedd modd cerdded o gwmpas pob rheol yn y Caddyfile. Cau fe. nftables, gyda drop yn ddiofyn:
#!/usr/sbin/nft -f
flush ruleset
define SITES = { 10.10.50.0/24, 10.20.50.0/24, 10.30.50.0/24 }
define MGMT = { 10.99.0.0/24 }
table inet filter {
chain input {
type filter hook input priority filter; policy drop;
iifname "lo" accept
ct state established,related accept
ct state invalid drop
meta l4proto { icmp, ipv6-icmp } accept
# PDM's API listens on [::]:8443 and cannot be rebound
tcp dport 8443 counter drop
ip saddr $MGMT tcp dport { 22, 80, 443 } accept
udp dport { 67, 69 } accept
ip saddr $SITES meta l4proto { tcp, udp } th dport 53 accept
ip saddr $SITES tcp dport { 80, 443 } accept
}
chain forward {
type filter hook forward priority filter; policy drop;
}
}
Mae cysylltiadau PDM i’w remotes yn mynd allan, felly dydy cau 8443 i mewn ddim yn newid dim yno. Llwytha set reolau newydd gyda dychwelyd wedi’i amseru’r tro cyntaf, fel bod camgymeriad yn costio naw deg eiliad i ti yn hytrach na thaith i’r consol:
systemd-run --unit=nft-rollback --on-active=90 /usr/sbin/nft flush ruleset
nft -f /etc/nftables.conf
# still connected? then:
systemctl stop nft-rollback.timer && systemctl enable nftables
Ar y labordy, ar ôl y cyfan:
| Gwiriad | Canlyniad |
|---|---|
| 8443 o’r rhwydwaith rheoli | dim cysylltiad; y cownter drop yn dringo |
| UI gwe PDM drwy Caddy ar 443, o’r rheolaeth | yn mewngofnodi ac yn gweithio |
| UI gwe PDM o gyfeiriad safle | wedi’i erthylu |
| POST ateb o safle gyda’r tocyn dal | yn cyrraedd PDM gyda thocyn y safle: cafodd chwiliwr bwriadol nad oedd yn paru 400 no answer file found |
| yr un chwiliwr yn syth i PDM gyda thocyn wedi’i ddyfeisio | 401 |
POST ateb heb y tocyn dal, neu fel /api2/extjs/… | wedi’i erthylu |
y ffeiliau lle mae cyfrinachau PDM yn byw, wedi’u darllen fel caddy | dim un yn ddarllenadwy |
| cyfrinach y safle yn y journal, y log mynediad neu ddata Caddy ers y newid | 0 |
DHCP, iPXE a’r Ddolen
Dim ond dros TFTP y gall cadarnwedd gweinydd nôl ei ffeil gyntaf, felly mae TFTP yn gweini’r llwythwr iPXE bach ac mae iPXE yn nôl popeth arall dros HTTP.
Y fagl yw bod iPXE yn anfon ei gais DHCP ei hun, ac mae gweinydd sy’n ei ateb gydag ipxe.efi eto yn anfon y peiriant rownd mewn cylch am byth.
Rhaid i’r gweinydd DHCP wahaniaethu rhwng y cadarnwedd ac iPXE.
| Gweinydd DHCP | Sut mae’n torri’r ddolen |
|---|---|
| dnsmasq | tagio ceisiadau sy’n cario opsiwn 175, y mae iPXE yn unig yn ei anfon, a rhoi’r URL HTTP i’r rheini31 |
| ISC dhcpd | if exists user-class and option user-class = "iPXE"32 |
| FortiGate | mae’r maes filename yn cymryd un gwerth, felly adeiladu llwythwr iPXE gyda’r URL wedi’i fewnosod a’i weini i bopeth |
dnsmasq, yn gweini ei rwydwaith ei hun a’r ddau arall drwy rasys cyfnewid, gyda chadw lle yn unig:
# /etc/dnsmasq.d/pxe.conf
local=/example.doc/
domain=example.doc
address=/pdm.example.doc/10.10.50.10
txt-record=proxmox-auto-installer.example.doc,"https://pdm.example.doc/api2/json/auto-install/answer"
txt-record=proxmox-auto-installer-cert-fingerprint.example.doc,"63:C4:D6:...:85:07"
dhcp-authoritative
dhcp-range=set:site1,10.10.50.0,static,255.255.255.0,1h
dhcp-range=set:site2,10.20.50.0,static,255.255.255.0,1h
dhcp-range=set:site3,10.30.50.0,static,255.255.255.0,1h
dhcp-option=tag:site1,option:router,10.10.50.1
dhcp-option=tag:site2,option:router,10.20.50.1
dhcp-option=tag:site3,option:router,10.30.50.1
dhcp-option=option:dns-server,10.10.50.10
dhcp-option=option:domain-search,example.doc
dhcp-match=set:ipxe,175
dhcp-match=set:efi64,option:client-arch,7
dhcp-match=set:efi64,option:client-arch,9
dhcp-boot=tag:efi64,tag:!ipxe,ipxe.efi
dhcp-boot=tag:ipxe,http://pdm.example.doc/pve-9.2/boot.ipxe
# no option 250 anywhere: DNS discovery depends on it
enable-tftp
tftp-root=/srv/tftp
tftp-secure
# TFTP block-size ceiling: lower it for an IPsec or other tunnel in the path
tftp-mtu=1500
# dhcp-host=<mac>,<ip inside that site's /24>,<hostname>
dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01
dhcp-host=aa:bb:cc:dd:ee:02,10.20.50.21,pve01
Mae static yn golygu dim cronfa: dim ond peiriannau wedi’u cadw sy’n cael cyfeiriad, sy’n cadw dieithriaid oddi ar lwybr y gosodwr.
Rhaid i gyfeiriad pob cadw lle eistedd o fewn /24 ei safle ei hun, oherwydd y cyfeiriad hwnnw yw’r hyn y mae Caddy yn ei ddefnyddio i ddewis y tocyn.
Mae nod sydd wedi’i gadw yn yr is-rwydwaith anghywir yn cael ateb y safle anghywir, neu ddim byd.
Rhestr o gyfeiriadau MAC yw’r cadw lle, a dyna gadw cyfrifon fesul peiriant o’r union fath nad oedd y cwsmer ei eisiau.
Os mai plygio i mewn a chychwyn yw’r gofyniad go iawn, rho ystod ddeinamig fach i bob VLAN darparu yn lle hynny, er enghraifft dhcp-range=set:site1,10.10.50.100,10.10.50.150,255.255.255.0,1h.
Mae’r safle’n dal i ddod o’r is-rwydwaith, felly mae Caddy yn dal i ddewis y tocyn cywir, ac mae’r templed FQDN gydag installation_nr yn enwi’r nod.
Y pris yw rhes gyntaf ‘Beth Sydd Ar Ôl i’w Benderfynu’: gall unrhyw beth sydd wedi’i blygio i’r VLAN hwnnw nawr nôl ateb y safle, felly mae’r VLAN ei hun yn troi’n giât.
Mae dnsmasq yn trafod maint bloc TFTP gyda’r cleient.
Wedi’i adael i fod, mae’n cyfyngu hwnnw i MTU ei ryngwyneb ei hun31, sy’n gweithio nes bod y llwybr i safle’n llai na’r ddolen y mae dnsmasq yn eistedd arni.
Felly mae’r ffurfweddiad yn datgan y nenfwd fel tftp-mtu=1500 yn hytrach na’i etifeddu.
Mae hynny’n rhoi’r rhif o flaen pwy bynnag sy’n gofalu am safle y tu ôl i dwnnel IPsec neu unrhyw beth arall sy’n bwyta i mewn i’r pecyn, ac maen nhw’n ei ostwng i’r hyn y mae’r llwybr yn ei gario go iawn yn hytrach na darganfod o drosglwyddiad sy’n sefyll hanner ffordd.
Os yw un ROM NIC yn camymddwyn pan fydd yr opsiwn yn cael ei ganiatáu o gwbl, mae tftp-no-blocksize yn diffodd y trafod.
Copïa ipxe.efi o becyn ipxe Debian i /srv/tftp, yn eiddo i’r defnyddiwr dnsmasq, oherwydd mae tftp-secure yn gwrthod unrhyw beth arall.
Dewisa UEFI.
Mae Secure Boot angen iPXE wedi’i lofnodi, felly naill ai sefydla hynny neu diffodd Secure Boot ar gyfer y gosod a’i droi’n ôl ymlaen wedyn.
Cychwyn, Gwylio a Beth Sy’n Torri
Profa gydag un peiriant rhithwir ar rwydwaith safle cyn cyffwrdd â chaledwedd: mae cadarnwedd UEFI, 8 GiB o gof a NIC ar y VLAN hwnnw’n atgynhyrchu’r gadwyn gyfan.
A’r cyfan mewn trefn, o droi ymlaen i osodiad y mae PDM yn ei farcio’n Finished:
| Cam | Beth sy’n digwydd | Ble i edrych |
|---|---|---|
| 1 | mae’r cadarnwedd yn cael ipxe.efi dros TFTP, mae iPXE yn cael boot.ipxe dros HTTP | journalctl -u dnsmasq, log Caddy |
| 2 | ar ôl deg eiliad mae’r ddewislen yn cychwyn y cofnod awtomataidd; mae’r cnewyllyn, yr initrd a’r ISO yn llwytho i lawr | pedwar GET, un ohonyn nhw tua 1.6 GB |
| 3 | mae’r gosodwr yn cymryd prydles, yn darllen y parth chwilio, yn holi’r ddau gofnod TXT | /tmp/fetch_answer.log ar y targed |
| 4 | POST i Caddy, tocyn wedi’i gyfnewid, PDM yn dewis ateb | mae log Caddy yn enwi’r tocyn; mae PDM yn dangos gosodiad newydd |
| 5 | mae’r gosod yn rhedeg | /tmp/auto_installer.log, /tmp/install-low-level-start-session.log |
| 6 | yn dal yn y gosodwr, mae’r webhook yn galw’n ôl drwy Caddy, yna mae’r peiriant yn ailgychwyn33 | mae’r gosodiad yn symud i Finished gyda disgiau, NICs ac allweddi gwesteiwr SSH ynghlwm |
Ar fethiant mae’r gosodwr yn disgyn i gragen, oni bai bod yr ateb yn gosod Reboot on Error, felly gad hwnnw i ffwrdd tra wyt ti’n profi.
| Symptom | Achos tebygol |
|---|---|
Could not find search domain in resolv.conf. | anfonodd DHCP ddim parth |
| ymholiad TXT am enw gyda bwlch ynddo | mwy nag un parth chwilio |
Got empty response. | cofnod ar goll, parth anghywir, neu mae opsiwn 6 yn pwyntio at weinydd DNS arall |
| URL gyda bwlch yn y canol | gwerth TXT wedi’i hollti’n sawl llinyn |
| mae’r log yn dweud bod yr URL wedi dod o DHCP | mae opsiwn 250 ar y rhwydwaith yn rhywle |
| gwall TLS ar y POST | nid olion bysedd DNS yw tystysgrif gyfredol Caddy |
| cysylltiad wedi’i gau heb ymateb | erthylodd Caddy fe: is-rwydwaith anghywir, dim tocyn dal, neu lwybr nad yw’n un o’r ddau |
400 no answer file found | gweithiodd y tocyn; ni pharodd unrhyw hidlydd a does dim diofyn ar y tocyn hwnnw |
| yr ateb anghywir | hidlwyr sy’n gorgyffwrdd; y cyntaf yn y ffeil sy’n ennill |
| mae’r statws yn aros ar y gweill | mae URL sylfaen y webhook yn dal i bwyntio at 8443 |
| mae iPXE yn ail-lwytho ei hun am byth | nid yw’r gweinydd DHCP yn gwahaniaethu rhwng iPXE a’r cadarnwedd |
terfyn amser TFTP PXE-E32 | next-server yn anghywir, neu UDP 69 wedi’i rwystro |
Ychwanegu Proxmox Backup Server
Does dim byd am y llwybr yn benodol i Proxmox VE.
Adeiladu ail set o ffeiliau cychwyn o ISO PBS 4 gyda’r un tocyn dal, i /srv/www/pbs-4/, ac ychwanegu un ateb PBS i bob safle gyda’r hidlydd /product/product=pbs, wedi’i awdurdodi ar docyn y safle hwnnw.
Dydy’r cofnodion DNS, Caddy, y tocynnau a’r wal dân ddim yn newid.
I safle gyda’r ddau, rhaid i rywbeth benderfynu pa gynnyrch y mae peiriant yn ei gael, a dewislen yw’r peth anghywir i benderfynu.
Mae choose iPXE heb --timeout yn aros wrth y consol am wasgiad bysell am byth, sef y gwrthwyneb i ddiofal.
Gad i’r cadw lle DHCP benderfynu yn lle hynny.
Rwyt ti eisoes yn cadw lle i bob nod wrth gyfeiriad MAC, felly tagia’r rhai PBS ac anfon ei boot.ipxe ei hun i bob tag:
# /etc/dnsmasq.d/pxe.conf, replacing the single iPXE dhcp-boot line
dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01
dhcp-host=aa:bb:cc:dd:ee:31,set:pbs,10.10.50.31,pbs01
dhcp-boot=tag:ipxe,tag:!pbs,http://pdm.example.doc/pve-9.2/boot.ipxe
dhcp-boot=tag:ipxe,tag:pbs,http://pdm.example.doc/pbs-4/boot.ipxe
Mae set:pbs ar gadw lle yn tagio’r un peiriant hwnnw31, ac mae tag:!pbs yn cadw’r ddwy linell gychwyn yn gyd-anghynhwysol, felly does dim cwestiwn pa un sy’n ennill.
Mae boot.ipxe pob cynnyrch eisoes yn cychwyn ei gofnod awtomataidd ar ôl deg eiliad heb neb wrth y bysellfwrdd15.
Mae’r llinellau hyn yn pasio dnsmasq --test ar 2.91, y fersiwn ar fy labordy, ac yn dilyn cystrawen ddogfenedig dhcp-host a thagiau.
Dw i ddim eto wedi cychwyn nod PBS drwy PXE gyda nhw, felly rho gynnig ar un peiriant wedi’i dagio cyn i ti ddibynnu arno.
O’r fan honno, yr un llwybr ag Proxmox VE yw e.
Mae gosodwr PBS yn anfon "product": "pbs", mae Caddy yn cyfnewid tocyn y safle i mewn, ac mae PDM yn dewis ateb PBS y safle hwnnw.
Does dim byd yn cael ei ddewis â llaw ar unrhyw adeg, ac mae’r cynnyrch y mae nod yn ei droi’n cael ei ysgrifennu mewn un lle, y cadw lle, wrth ymyl ei gyfeiriad.
| Beth sy’n penderfynu | Ble mae’n byw |
|---|---|
| pa ISO sy’n cychwyn | y tag set:pbs ar y cadw lle DHCP |
| atebion pa safle sy’n berthnasol | yr is-rwydwaith ffynhonnell, drwy gyfnewid tocyn Caddy |
| pa ateb o fewn y safle hwnnw | yr hidlydd /product/product=pbs yn PDM |
Dim ond y system weithredu y mae’r gosodwr yn ei gosod. Mae’r storfa ddata, ar storfa ar wahân i ddisg y system weithredu, yn waith arall i beth bynnag sy’n gorffen y nod, sy’n dod â ni’n ôl at y bachyn cychwyn cyntaf coll.
Beth Sydd Ar Ôl i’w Benderfynu
Does dim un o’r rhain yn dy atal rhag defnyddio’r cynllun hwn. Mae angen i rywun fod yn berchen ar bob un.
| Cyfaddawd | Pam mae’n bwysig | Beth i’w wneud |
|---|---|---|
| y cyfeiriad ffynhonnell yw’r giât | gall unrhyw beth ar VLAN darparu, neu sy’n gallu ffugio cyfeiriad arno, nôl ateb y safle hwnnw: stwnsh cyfrinair root, allweddi SSH, allwedd tanysgrifio | ynysu’r VLAN, diogelwch porthladd, cadw lle yn unig, dyddiad dod i ben ar docynnau, analluogi tocynnau rhwng cyflwyniadau |
| nid cyfrinach yw’r tocyn dal | mae ym mhob delwedd ac ar y dudalen hon | dim ond hidlo ceisiadau crwydr y mae; yr is-rwydwaith a’r tocyn go iawn sy’n cael ei ddal yng Nghaddy yw’r giât |
| gall Caddy ddarllen allwedd PDM | mae gweini tystysgrif PDM yn golygu bod y dirprwy’n darllen yr un allwedd breifat honno | ACL ar api.pem ac api.key yn unig, dim byd arall o eiddo PDM yn ddarllenadwy, y gwesteiwr wedi’i gloi; dydy’r allwedd byth yn ei adael |
| mae DNS yn cael ei ymddiried | mae cofnod TXT ffug yn anfon y gosodwr i rywle arall, ac os yw’r olion bysedd hefyd yn dod o DNS mae’r ffugiwr yn rheoli’r ddau | diogela’r DNS darparu, neu bobi olion bysedd PDM i mewn gyda --cert-fingerprint ac ailadeiladu pan fydd yn newid |
| mae ffeiliau cychwyn yn mynd dros HTTP plaen | gellir eu darllen neu eu cyfnewid ar y wifren | cadw’r rhwydwaith wedi’i ynysu; iPXE dros HTTPS os yw dy adeiladwaith yn ei gefnogi |
| tocyn y webhook | 16 beit ar hap, un defnydd, wedi’i glirio ar ôl y galw’n ôl, ond heb derfyn amser4 | tocio hen gofnodion gosod |
| yr allwedd tanysgrifio | wedi’i hactifadu unwaith ar ôl i’r rhwydwaith ddod i fyny; ar fethiant mae’r allwedd yn cael ei dileu a’r uned yn methu, heb ailgeisio34 | gwirio systemctl --failed ar nodau newydd |
| mae PDM yn bwynt sengl | dydy e ddim yn argaeledd uchel heddiw | mae toriad yn atal gosodiadau newydd, nid clystyrau sy’n rhedeg |
| un NIC rheoli | does gan yr ateb ddim opsiynau bond, VLAN na phont9 | gwaith ôl-osod yw hynny, gyda’r un broblem cychwyn cyntaf |
Ymgais Gyntaf, Wedi’i Hadeiladu’n Iawn
Dyma ryddhad cyntaf y nodwedd, ac i ryddhad cyntaf mae’n dda. Mae’r ffurflen ateb yn synhwyrol, mae’r rheolau dewis yn glir unwaith i ti eu darllen, mae’r webhook yn gweithio, ac mae’r cod yn agored, sef yr unig reswm y gellid profi unrhyw beth uchod yn hytrach na’i ddyfalu. Aeth y gyfres o batshys drwy bedair rownd ar y rhestr bostio gyhoeddus cyn iddi lanio35, ac mae’n dangos.
Y bylchau yw’r ddau beth sy’n troi gweinydd gosod yn system ddarparu. Safle yw’r uned y mae MSP yn meddwl ynddi, ac mae’r gosodwr yn sefyll arno pan mae’n gofyn. Bachyn cychwyn cyntaf yw’r gwahaniaeth rhwng nod sydd wedi’i osod a nod sydd wedi’i orffen. Mae’r ddau eisoes hanner ffordd yno: mae gan y gosodwr y bachyn ac mae gan PDM y tocyn. Dw i’n disgwyl i’r ddau gyrraedd, a phan fyddan nhw’n gwneud, mae’r Caddy yng nghanol y cynllun hwn yn mynd yn symlach yn hytrach na diflannu, oherwydd mae dirprwy sy’n cadw cyfrinachau PDM allan o gyrraedd ac 8443 oddi ar y rhwydwaith yn werth ei gael beth bynnag.
Y rheswm dros ei wneud fel hyn yn y cyfamser yw’r un ar y dechrau. Deg gweinydd PXE yw deg peth yn mynd yn hen ar ddeg cyflymder gwahanol, a dim ond pan fydd yn methu ar y diwrnod rwyt ti ei angen y mae pob un yn cael sylw. Mae un ystâd, wedi’i chadw’n gyfredol unwaith, gyda’r safle wedi’i weithio allan gan y rhwydwaith a’r cyfrinachau wedi’u dal mewn un lle, yn llai i fod yn berchen arno. Llai i fod yn berchen arno yw llai i’w gael yn anghywir, a dyna’r rhan fwyaf o’r gwaith.
Proxmox — Proxmox Datacenter Manager 1.1 press release — gosodiadau awtomataidd, gyda thab newydd o dan Remotes sy’n olrhain cynnydd gosodiadau. ↩︎
Proxmox Datacenter Manager documentation — Automated Installations — atebion parod, hidlwyr targed, templedu, a ‘a dedicated token mechanism, separate from the normal API tokens’. ↩︎ ↩︎
proxmox-datacenter-manager,
lib/pdm-api-types/src/auto_installer.rs— mae allweddi hidlwyr targed yn ‘are JSON Pointers as per [RFC6901], the values globs’; dim ond un ateb diofyn. ↩︎proxmox-datacenter-manager,
server/src/api/auto_installer/mod.rs— gwirio’r tocyn cyn yr ateb diofyn, y cyntaf i baru yn nhrefn y ffeil,first_boot: None, cynyddu’r cownter, y tocyn post-hook un-tro, y ddau lwybr y gellir eu cyrraedd heb fewngofnodi i PDM, a’r breintiauSys.Audit/Sys.Modifyar/system/auto-installation. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Proxmox VE Roadmap — Proxmox VE 9.2 — paratoi PXE ac iPXE, ‘at least 6 GiB of available memory on the host’, a’r broblem hysbys
megaraid_sasac NVMe JBOD. ↩︎ ↩︎ ↩︎Proxmox Bugzilla 8078 — ‘prepared answer disk setup does not allow to specify multiple udev filters with same name’, agorwyd 26 Medi 2026, statws NEW ar 7 Tachwedd 2026. ↩︎
Proxmox Bugzilla 7699 — ‘Add on-first-boot parameter to the PDM remote installation’, agorwyd 12 Mehefin 2026, statws NEW ar 7 Tachwedd 2026. ↩︎ ↩︎
proxmox,
proxmox-installer-types/src/lib.rs—SystemInfo: cynnyrch, ISO, DMI a rhyngwynebau rhwydwaith. ↩︎Proxmox VE wiki — Automated Installation — yr opsiynau
[first-boot]a[network], y wybodaeth system sy’n cael ei hanfon, a bod y tocyn dilysu yn ‘is stored in plain text inside the prepared ISO’. ↩︎ ↩︎ ↩︎ ↩︎Proxmox Bugzilla 8263 — ‘[Feature Request] auto-installer: client source IP (or X-Forwarded-For) for answer selection and templating’, agorwyd 31 Hydref 2026, statws NEW ar 7 Tachwedd 2026. ↩︎
proxmox-datacenter-manager,
debian/changelog— 1.1.1: ‘match prepared answers in the configuration’s stable order and let the first match win’. ↩︎proxmox,
proxmox-installer-types/src/answer.rs— maeAutoInstallerConfigyn cariofirst_boot: Option<FirstBootHookInfo>. ↩︎pve-installer,
proxmox-auto-installer/src/bin/proxmox-auto-installer.rs— dim ond pan fydd gan yr ateb adranfirst_booty mae’r gweithredadwy cychwyn cyntaf yn cael ei sefydlu. ↩︎pve-installer,
proxmox-fetch-answer/src/fetch_plugins/http.rs— URL yr ISO yn gyntaf, yna DHCP, yna DNS; yr enwau TXT; dosrannuresolv.conf;dig txt +shortgyda’r dyfynodau wedi’u tynnu; y pennyn Bearer. ↩︎ ↩︎pve-installer,
proxmox-auto-install-assistant/src/main.rs— mae--pxe-loaderyn awgrymu--pxe, y cyfeiriadur allbwn, yr initrd gzip,/bootwedi’i dynnu o’r ISO, a’rboot.ipxea gynhyrchir. ↩︎ ↩︎ ↩︎proxmox-datacenter-manager,
server/src/bin/proxmox-datacenter-api/main.rs—PDM_LISTEN_ADDRyw’r cyfeiriad IPv6 amhenodol arPDM_PORT, 8443, wedi’i bennu adeg adeiladu. ↩︎Caddy releases — trwsiodd 2.11.1 CVE-2026-27587, ffordd o osgoi’r cydweddwr llwybrau drwy ddilyniannau dianc. ↩︎
Debian sources — caddy —
2.6.2-12+deb13u1yn trixie,2.11.2-1~bpo13+1yn trixie-backports. ↩︎Caddy —
request_header— ‘With no prefix, the field is set (overwritten).’ ↩︎Caddy — Request matchers —
remote_ipyw’r cymar uniongyrchol; mae paru llwybrau’n ansensitif i briflythrennau, wedi’i ddatgodio o URL, wedi’i lanhau, gyda slaesau ailadroddus wedi’u huno. ↩︎ ↩︎Caddy —
handle— ‘only the first matchinghandleblock will be evaluated’. ↩︎Caddy — Global options — mae admin yn ddiofyn ar
localhost:2019; maeprotocolsyn ddiofyn arh1 h2 h3. ↩︎ ↩︎Caddy —
file_server— ni ddylid trinhidefel ffin ddiogelwch. ↩︎Caddy —
log— maeCookie,Set-Cookie,AuthorizationaProxy-Authorizationyn cael eu cofnodi felREDACTED. ↩︎systemd.service —
ExecCondition=— ar god gadael o 1 i 254 ‘the remaining commands are skipped and the unit is not marked as failed’. ↩︎systemd.path —
PathChanged=— ‘activated if the file which was open for writing gets closed’. ↩︎caddyserver/dist,
init/caddy.service—ExecStart=/usr/bin/caddy run --environ --config /etc/caddy/Caddyfile. ↩︎ ↩︎Caddy — Command line — mae
--environyn argraffu’r amgylchedd cyn cychwyn. ↩︎Caddy — Caddyfile concepts, environment variables — mae
{$NAME}yn cael ei amnewid cyn i’r Caddyfile gael ei ddosrannu. ↩︎caddyserver/caddy,
replacer.go— mae unrhyw allwedd sy’n dechrau gydagenv.yn cael ei phasio ios.Getenv. ↩︎dnsmasq manual page —
dhcp-match,dhcp-boot,dhcp-hostgydaset:<tag>,enable-tftp,tftp-secure,tftp-mtu,tftp-no-blocksizeac ystodaustatic. ↩︎ ↩︎ ↩︎iPXE — Configuring ISC dhcpd — mae
if exists user-class and option user-class = "iPXE"yn rhoi’r sgript i iPXE a’r llwythwr i’r cadarnwedd. ↩︎pve-installer,
unconfigured.sh— maeproxmox-post-hookyn rhedeg yn syth ar ôl iproxmox-auto-installerlwyddo, cyn yr ailgychwyn. ↩︎pve-installer,
proxmox-first-boot/proxmox-first-boot-subscription— ‘always drop the staged key, regardless of whether activation succeeded’. ↩︎pdm-devel — “add auto-installer integration”, v4, 40 patches — y gyfres a ychwanegodd y nodwedd, gyda’i nodiadau newid o v3 i v4. ↩︎