एक कंसोल, कई ग्राहक

अगर आप दूसरों के लिए Proxmox संभालते हैं, तो हर नया नोड वही काम है, बस थोड़ा अलग ढंग से। हर ग्राहक का अपना देश, time zone, root कीज़, डिस्क लेआउट, होस्ट नामकरण और subscription key होता है। किसी नए नोड पर इनमें से एक भी ग़लत हो, तो पता तब चलता है जब कोई पहली बार लॉग इन करता है, या जब पहली बार कोई ऑडिट पूछता है कि घड़ी एक घंटा आगे क्यों है।

मैंने यह एक ऐसे ग्राहक के लिए बनाया जिसकी ठीक यही समस्या थी, और उन्होंने जो माँगा वह राहत देने वाली हद तक सीधा था। हर साइट अपने नामकरण, अपने root पासवर्ड और अपनी SSH कीज़ के साथ बने। साइट पर किसी को कुछ चालाकी नहीं करनी: वे सर्वर रैक में लगाते हैं, सही VLAN में प्लग करते हैं और चालू कर देते हैं। कोई serial number इकट्ठा नहीं करता, और कोई हर मशीन के लिए answer फ़ाइल नहीं लिखता। और इस तरह जोड़ा गया सर्वर साइट के मौजूदा क्लस्टर में पहुँच जाता है।

उन्हें क्या चाहिए थायहाँ उसे क्या पूरा करता है
साइट का अपना नामकरण, पासवर्ड और कीज़हर साइट के लिए एक prepared answer, उस साइट के टोकन से चुना गया
सही VLAN में लगाओ, चालू करो, चले जाओDNS discovery, iPXE, और source subnet से टोकन चुनता Caddy
न serial, न हर मशीन की answer फ़ाइलanswers सिर्फ़ product पर फ़िल्टर करते हैं; साइट नेटवर्क से आती है
नया सर्वर मौजूदा क्लस्टर में जुड़ता हैइस पोस्ट में नहीं: PDM में first-boot हुक नहीं है, नीचे देखें

यह पोस्ट पहले तीन को कवर करती है: एक ख़ाली सर्वर को चालू होने से लेकर सही साइट की सेटिंग वाले इंस्टॉल हुए Proxmox नोड तक पहुँचाना। यह आधा हिस्सा लगभग हर उस व्यक्ति के सामने आता है जिसके पास एक से ज़्यादा साइट हैं, MSP हो या न हो, इसलिए इसे अलग से रखना फ़ायदेमंद है। क्लस्टर में जोड़ना अलग काम है, और छूटे first-boot हुक वाला हिस्सा बताता है कि PDM अभी यह आपके लिए क्यों नहीं कर सकता।

Proxmox Datacenter Manager (PDM) 1.1 ने वह हिस्सा जोड़ा जो छूटा हुआ था1। अब यह Proxmox automated installer के लिए answer सर्वर का काम कर सकता है, ताकि एक ख़ाली मशीन बूट हो, बताए कि वह क्या है, एक prepared answer वापस पाए और कंसोल पर किसी के बिना ख़ुद को इंस्टॉल कर ले। किसी managed service provider (MSP) के लिए जो पहले से PDM को अपने मैनेजमेंट कंसोल की तरह चलाता है, हर ग्राहक की इंस्टॉल सेटिंग रखने की यही स्वाभाविक जगह है।

जो आप नहीं चाहते वह है हर ग्राहक के लिए एक PXE सर्वर। उनमें से हर एक Trivial File Transfer Protocol (TFTP) सर्वर है, एक DHCP कॉन्फ़िग है, बूट फ़ाइलों का एक सेट है और एक ISO है जिसे हर बार दोबारा बनाना पड़ता है जब Proxmox कोई point release निकालता है। दस ग्राहक यानी दस ऐसे सेटअप जिन्हें अपडेट रखना है। यह स्केल नहीं होता। यहाँ लक्ष्य है एक PXE सेटअप, एक बूट इमेज, एक DNS रिकॉर्ड और एक PDM, और फिर भी हर साइट को उसका अपना answer मिले।

हर साइट के लिए एक PXE सेटअपsite110.10.50.0/24site210.20.50.0/24site310.30.50.0/24443 पर Caddycatch टोकन अंदरसाइट टोकन बाहर,subnet से चुनाPDManswers सीमितटोकन से8443 loopback परहर साइट के लिए एक बूट इमेज, एक DNS रिकॉर्ड और एक DHCP सर्विस
तैयार डिज़ाइन। हर साइट एक ही इमेज बूट करती है। Caddy subnet से पहचानता है कि अनुरोध किस साइट से आया और PDM को उस साइट का टोकन देता है, और PDM सिर्फ़ उसी टोकन तक सीमित answers देता है।

PDM 1.1 अपने दम पर ज़्यादातर रास्ता तय कर लेता है। यह दो जगह कम पड़ता है, और इसके इर्द-गिर्द rollout की योजना बनाने से पहले दोनों जानने लायक़ हैं: इसके पास किसी answer को साइट से मैच करने का कोई तरीक़ा नहीं है, और किसी नए नोड को first-boot स्क्रिप्ट देने का कोई तरीक़ा नहीं है। यह पोस्ट दोनों को PDM के अपने source से साबित करती है, पहली के लिए रास्ता निकालती है, और पूरी चीज़ मेरे lab के PDM पर बनाती है जो 1.1.9 चला रहा है, proxy को इतना मज़बूत करके कि सीक्रेट रखने वाले हिस्से बंद रहें।

PDM 1.1 आपको क्या देता है

यह फ़ीचर Remotes → Automated Installations के नीचे है और इसके तीन हिस्से हैं: installations, prepared answers और authentication tokens2। Prepared answer installer के answer.toml का PDM वाला रूप है, जो हाथ से लिखने के बजाय एक फ़ॉर्म से भरा जाता है।

हिस्साक्या करता हैकाम की बारीकी
Prepared answersदेश, कीबोर्ड, time zone, root पासवर्ड hash, SSH कीज़, नेटवर्क, डिस्क लेआउट, subscription key, इंस्टॉल के बाद की कार्रवाईहर अनुरोध के लिए नए सिरे से बनता है
Target filtersतय करते हैं कि किस मशीन को कौन सा answer मिलेinstaller की system information में JSON Pointer, वैल्यू के लिए glob3
TemplatingFQDN, admin email, IP, gateway और DNS फ़ील्ड में MiniJinjainstallation_nr जैसे counter हर बार answer दिए जाने पर बढ़ते हैं4
Authentication tokensinstaller Authorization: Bearer <name>:<secret> भेजता हैPDM के API टोकन से अलग किस्म का टोकन; हर answer उन टोकन की सूची रखता है जिन्हें वह स्वीकार करता है2
Installationsहर अनुरोध का एक रिकॉर्ड, पूरी system information के साथpost-install webhook के वापस कॉल करने पर in progress से finished हो जाता है
Permissionsदेखने के लिए Sys.Audit, बदलने के लिए Sys.Modifyदोनों /system/auto-installation पर4

Installer वाला हिस्सा कुछ समय से मौजूद है। proxmox-auto-install-assistant prepare-iso कमांड एक ऐसा ISO बनाता है जो अपना answer HTTP से लाता है, और Proxmox VE 9.2 ISO से यह वह kernel, initrd, ISO और boot.ipxe भी बना सकता है जो iPXE को पूरी चीज़ नेटवर्क पर बूट करने के लिए चाहिए5।

Counter वह हिस्सा है जिसके जैसा अकेले answer.toml में कुछ नहीं। एक prepared answer अपने बनाए हर होस्ट को नंबर देता है, जबकि एक स्थिर फ़ाइल को हर मशीन के लिए कॉपी करना पड़ता। यह एक असली कदम आगे है, और फिर भी यह पहला प्रयास है। फ़ॉर्म अभी अकेली answer फ़ाइल के बराबर नहीं है6, और एक हिस्सा पूरी तरह ग़ायब है: 1.1 में किसी भी रूप में first-boot स्क्रिप्ट नहीं है7। वह कमी, और वह साइट जिस पर यह मैच नहीं कर सकता, अगले दो हिस्से हैं।

यह साइट पर मैच नहीं कर सकता

PDM किसी answer को इस तरह चुनता है कि installer जो system information भेजता है, उससे फ़िल्टर की तुलना करता है। तो सवाल यह है कि उस दस्तावेज़ में क्या है, क्योंकि जो उसमें नहीं है उस पर मैच नहीं हो सकता।

Keyक्या रखती हैक्या यह साइट बता सकती है?
productfullname, product (pve, pbs, pmg), enable_btrfsनहीं
isorelease, isoreleaseनहीं
dmisystem, baseboard और chassis: नाम, serial, UUID, SKU, asset tagतभी, अगर किसी ने asset tag में साइट लिख दी हो
network_interfaces{link, mac} की एक सूचीसिर्फ़ उस inventory के ज़रिए जो आप ख़ुद रखते हैं

बस इतना ही है8,9। कोई एड्रेस नहीं, कोई hostname नहीं, कोई DHCP option नहीं, इस बारे में कुछ नहीं कि बॉक्स कहाँ प्लग है।

Desktop Management Interface (DMI) फ़ील्ड तब तक आशाजनक लगते हैं जब तक आप असली वाले नहीं पढ़ते। मेरे lab का हर इंस्टॉल system name Standard PC (Q35 + ICH9, 2009) और ख़ाली serial और asset tag के साथ लौटा। असली सर्वर इन्हें भरते हैं, पर उससे जो vendor ने डाला, आपके ग्राहक के नाम से नहीं, और serial या MAC एड्रेस पर मैच करना तभी काम करता है जब आप हर उस chassis की सूची रखें जो आप कभी इंस्टॉल करेंगे, जो ठीक वही हिसाब-किताब है जिसे यह हटाने वाला था। हर होस्ट के लिए, हाँ। हर साइट के लिए, नहीं।

तो बॉक्स किस नेटवर्क में प्लग है? PDM को कभी पता नहीं चलता। Installer जब भेजता है तब उसके हाथ में उसकी DHCP lease होती है, और किसी नए नोड के बारे में MSP जो एक बात पक्के तौर पर जानता है, वही वह पीछे छोड़ देता है। Source एड्रेस पर मैच करना, IPv4 हो या IPv6, एक खुला feature request है, और मैंने इसे ख़ुद bug 8263 के रूप में उठाया10।

चुनने के नियमों में एक दूसरी सीमा छिपी है, और मेरा lab सीधे उसमें जा गिरा।

PDM answer कैसे चुनता है1. टोकन सही है?चालू, expire नहींnoलगभग आधे सेकंड बाद 401रिकॉर्ड नहीं2. उस टोकन के answersफ़ाइल के क्रम में, और कुछ नहीं3. सारे फ़िल्टर मैच?सिर्फ़ strings, glob चलते हैंपहलाanswer render हुआउसका हर counter 1 बढ़ता हैकोई नहीं4. इस टोकन पर default?पूरे PDM में एक defaultno400: no answer file foundInstallations में रिकॉर्ड
PDM का चुनाव, source से। टोकन पहले जाँचा जाता है और उसके बाद की हर चीज़ को सीमित करता है, default answer समेत।

टोकन पहले जाँचा जाता है, और सिर्फ़ उसी टोकन पर अधिकृत answers पर विचार होता है, default समेत4। PDM पूरे सिस्टम में ठीक एक default answer की अनुमति देता है। इसलिए default flag से आप हर साइट को उसका अपना fallback नहीं दे सकते। मेरे lab में अपने ही टोकन पर fallback नाम का एक default answer था, और वह एक बार भी नहीं दिया गया, क्योंकि वह टोकन कभी कुछ भेजता ही नहीं। इसके बजाय हर साइट को अपने टोकन पर एक catch-all फ़िल्टर चाहिए, जैसे /product/product=*, फ़ाइल में सबसे आख़िर में रखा हुआ।

उसी कोड से दो और बातें जो डिबग करते समय दिमाग़ में रखने लायक़ हैं:

  • फ़ाइल के क्रम में पहला मैच जीतता है, और दूसरा मैच सिर्फ़ एक warning लॉग करता है। 1.1.1 से यही नियम है11।
  • फ़िल्टर सिर्फ़ strings पर मैच करता है। /product/enable_btrfs एक boolean है और कभी किसी चीज़ से मैच नहीं करता, और array को index चाहिए, जैसे /network_interfaces/0/mac।

1.1.9 पर अनजान या expire हो चुके टोकन को लगभग आधे सेकंड की जानबूझकर देरी के बाद 401 मिलता है और कोई रिकॉर्ड नहीं बनता। सही टोकन पर कुछ मैच न हो तो body no answer file found के साथ 400 मिलता है, और उस कोशिश का रिकॉर्ड बनता है, पूरी system information के साथ। किसी नए chassis के असली serial और MAC एड्रेस पढ़ने का, उसके लिए फ़िल्टर लिखने से पहले, यही रिकॉर्ड सबसे तेज़ तरीक़ा है।

यह first-boot स्क्रिप्ट नहीं चला सकता

Installer ख़ुद first-boot हुक को सपोर्ट करता है। एक answer में [first-boot] सेक्शन हो सकता है, source = "from-iso" या "from-url" के साथ, before-network, network-online या fully-up के क्रम के साथ, और एक वैकल्पिक certificate fingerprint के साथ9। prepare-iso --on-first-boot from-iso वाले मामले के लिए ISO में एक स्क्रिप्ट डाल देता है।

PDM वह सेक्शन कभी नहीं भेजता। एक बार भी नहीं। Installer के अपने answer type में यह फ़ील्ड है, first_boot: Option<FirstBootHookInfo>12। PDM के prepared answer में इसके लिए कोई फ़ील्ड ही नहीं है, और उससे answer बनाने वाला कोड बिना किसी शर्त के first_boot: None लिखता है4। फ़ॉर्म में कुछ नहीं, API में कुछ नहीं, और कॉन्फ़िग फ़ाइल में कुछ नहीं जो आप हाथ से जोड़ सकें। यह एक खुला feature request है, bug 7699, जून 2026 में दर्ज हुआ और यह लिखे जाने तक किसी को सौंपा नहीं गया7। लगभग पाँच महीने बाद भी इस पर Proxmox का कोई जवाब नहीं आया, और 8263 पर भी नहीं। चिंता की बात यही चुप्पी है। जिसने समय निकालकर लिखा कि आपका product कैसे बेहतर हो सकता है, वह एक जवाब का हक़दार है, भले ही जवाब ना हो, और यह आम पेशेवर शिष्टाचार है। और भी ज़्यादा तब, जब लिखने वाले पैसे देने वाले ग्राहक और partner हैं, जो अपना समय भी लगाने से पहले ही product में पैसा लगा रहे हैं।

और ISO पर रखी स्क्रिप्ट आपको नहीं बचाती। Installer first-boot सर्विस सिर्फ़ if let Some(first_boot) = &answer.first_boot होने पर सेट करता है, और embed की गई फ़ाइल को कभी पढ़ने वाला यही अकेला रास्ता है13। जब आप ऐसी स्क्रिप्ट embed करते हैं जिसे कोई answer कभी नहीं माँगेगा, तो prepare-iso कोई चेतावनी नहीं देता। वह ISO पर पड़ी रहती है और कुछ नहीं करती।

first-boot वाली कमीISO पर स्क्रिप्टprepare-iso --on-first-bootPDM का answerfirst_boot: None, हमेशाInstallerfirst-boot हुक सेट करता हैसिर्फ़ तब, जब answer में हो[first-boot]स्क्रिप्ट ISO पर ही रहती हैऔर बिना चेतावनी कभी नहीं चलती
दोनों आधे installer तक पहुँचते हैं, और PDM वाला आधा कभी हुक नहीं माँगता। ISO पर रखी स्क्रिप्ट बेकार का बोझ है।

MSP के लिए यह किसी और से ज़्यादा मायने रखता है। Installer से निकला नोड एक ख़ाली सिस्टम है जिसमें hash किया हुआ root पासवर्ड और कुछ SSH कीज़ हैं। वह PDM remote नहीं है, किसी क्लस्टर में नहीं है, और उस पर आपकी monitoring, repositories या storage में से कुछ भी नहीं है। मेरे lab में तीनों नोड पूरे हुए और वापस कॉल किया, और PDM में SITEA remote को उसके बाद भी हाथ से जोड़ना पड़ा।

इसलिए किसी नोड को पूरा करने के लिए आप जो भी इस्तेमाल करें, Ansible हो या कुछ और, उसे बाहर से चलाना होगा: post-installation webhook से, Installations सूची पर नज़र रखने वाले किसी job से, या किसी इंसान से। मैं इसे यहीं छोड़ रहा हूँ। यह पोस्ट इस बारे में है कि एक PXE सेटअप हर साइट को कैसे सेवा दे, और first-boot वाली कमी एक सीमा है जिसके हिसाब से योजना बनानी है, ऐसी नहीं जिसे मैं यहाँ लीप-पोत कर छिपाऊँ।

टोकन ही साइट है

PDM साइट नहीं देख सकता, पर वह answers को टोकन से सीमित करता है, और टोकन बस एक header है। जो header सेट करता है, वही चुनता है कि installer को answers का कौन सा सेट मिल सकता है। पूरी तरकीब यही है।

तो PDM के सामने कुछ ऐसा रखिए जो जानता हो कि अनुरोध कहाँ से आया:

  1. बूट इमेज में एक catch टोकन है, catch-all:not-a-secret, जो हर इमेज में एक जैसा है और यहीं छपा है। यह PDM टोकन नहीं है और अपने दम पर कुछ नहीं खोलता।
  2. PDM के सामने एक Caddy reverse proxy उस answer अनुरोध का source subnet देखता है जिसमें catch टोकन है, और header को उस साइट के असली टोकन से बदल देता है।
  3. PDM site2-2026q4:<secret> देखता है और सिर्फ़ site2 के answers देता है।

सीक्रेट कभी बूट इमेज के पास नहीं जाता, इसलिए खोई हुई USB stick या कॉपी किया गया ISO किसी को कुछ नहीं देता। किसी साइट का टोकन बदलना Caddy में बदलाव है, इमेज को दोबारा बनाना नहीं। और एक साइट जोड़ना Caddy कॉन्फ़िग की एक लाइन और PDM में एक नया टोकन है।

यह इस बात पर टिका है कि source एड्रेस ईमानदार हो, जो आपके नेटवर्क का गुण है, proxy का नहीं। वह समझौता और बाक़ी समझौते नीचे “क्या तय करना बाक़ी है” में दिए गए हैं।

इंस्टॉलर बिना बेक किए URL के PDM को कैसे ढूँढता है

हर साइट के लिए एक इमेज तभी काम करती है जब इमेज में PDM का एड्रेस भी न हो। Installer अपना answer URL तीन जगहों पर, इस क्रम में, ढूँढता है14:

Installer अपना answer URL कहाँ पाता है1. ISO में बेक किया URL?prepare-iso --urlहाँइस्तेमाल, DHCP और DNS से कुछ नहीं पूछाहर PDM की एक इमेज: यहाँ इससे बचेno2. DHCP option 250?installer की lease से पढ़ाहाँइस्तेमाल, fingerprint के लिए option 251के साथ: यहाँ नहीं भेजानहीं, या कोई DHCP error3. DNS TXT lookupresolv.conf से search domainproxmox-auto-installer.example.docURL और fingerprint, दोनों DNS से
Installer जिस क्रम का पालन करता है। इमेज से URL हटा दें और कहीं option 250 न भेजें, तो हर साइट DNS तक पहुँच जाती है।
नियमकोड क्या करता हैआपके लिए इसका मतलब
क्रमISO में URL हो तो वह जीतता है; नहीं तो DHCP; DHCP की कोई भी विफलता DNS पर लौटती है14इमेज को --url के बिना बनाइए, और कहीं भी option 250 मत भेजिए
रिकॉर्ड के नामURL के लिए proxmox-auto-installer.<search domain>, fingerprint के लिए proxmox-auto-installer-cert-fingerprint.<search domain>एक zone, दो TXT रिकॉर्ड
Search domain/etc/resolv.conf की पहली search लाइन, एक space पर बाँटी गईठीक एक domain दीजिए; दो मिलकर एक अमान्य नाम बन जाते हैं
कोई domain नहींCould not find search domain in resolv.conf. के साथ विफलजाँचिए कि DHCP option 15 या 119 भेजा जा रहा है
TXT वैल्यूdig txt +short, हर " हटाया गया, फिर trimकई strings में बँटी TXT वैल्यू URL में एक space छोड़ देती है; उसे एक string रखिए
FingerprintDNS से तभी लिया जाता है जब URL भी DNS से आया हो और कोई बेक न किया गया होPDM का certificate fingerprint प्रकाशित कीजिए, जो Caddy भी देता है
टोकनAuthorization: Bearer <token> के रूप में भेजा जाता है, ISO पर plain text में रखा जाता है9इसीलिए इमेज में सिर्फ़ catch टोकन होता है

Installer जिस certificate को जाँचता है, वह वही है जो 443 पर जवाब देता है। इस डिज़ाइन में Caddy वहाँ PDM का अपना certificate देता है, इसलिए client को 443 पर वही certificate दिखता है जो PDM का 8443 पर है, और प्रकाशित करने के लिए एक ही fingerprint है।

बनाना: PDM, बूट फ़ाइलें और DNS

उदाहरण domain example.doc और तीन साइटों, 10.10.50.0/24, 10.20.50.0/24 और 10.30.50.0/24, का इस्तेमाल करते हैं। .doc असली top-level domain नहीं है, इसलिए अपना वाला लगाइए। PDM, Caddy, dnsmasq और बूट फ़ाइलें सब एक होस्ट पर हैं, 10.10.50.10 पर pdm.example.doc, और दूर की साइटें अपने gateways पर एक DHCP relay के ज़रिए उस तक पहुँचती हैं। मैनेजमेंट 10.99.0.0/24 पर है और, इसलिए, वही अकेला नेटवर्क है जो कभी PDM का वेब UI देखता है।

PDM में टोकन और answers

Remotes → Automated Installations → Authentication Tokens के नीचे हर साइट के लिए एक टोकन जोड़िए और उसे आपकी rollout अवधि से मेल खाती expiry दीजिए। नाम गुप्त नहीं है, और आप उसे लॉग में देखेंगे, इसलिए उसे कुछ कहने दीजिए: site1-2026q4। जब सीक्रेट दिखे तो उसे कॉपी कर लीजिए।

फिर हर साइट और हर product के लिए एक prepared answer जोड़िए, सिर्फ़ उसी साइट के टोकन पर अधिकृत:

फ़ील्डsite1, Proxmox VE
अधिकृत टोकनsite1-2026q4
Target filter/product/product=pve
देश, कीबोर्ड, time zonegb, en-gb, Europe/London
Root एक्सेसSSH कीज़, और फ़ॉर्म से सेट किया गया पासवर्ड, जिसे PDM सिर्फ़ hash के रूप में रखता और भेजता है4
नेटवर्कDHCP, इंटरफ़ेस के नाम pin किए हुए
FQDN{{ product.product }}-site1-{{ installation_nr }}.example.doc
डिस्कआपका लेआउट, उदाहरण के लिए दो नामित डिस्कों पर ZFS mirror
Post-installation webhookbase URL https://pdm.example.doc, PDM के certificate fingerprint के साथ

हर बार answer दिए जाने पर counter बढ़ता है, retries समेत, इसलिए नामों में नंबर छूट सकते हैं। तीन पूरे इंस्टॉल के बाद मेरे lab का counter 4 पर है। अगर आपको अनुमान लगाने लायक़ नाम चाहिए, तो FQDN from DHCP इस्तेमाल कीजिए और host name DHCP reservation पर रखिए।

इस डिज़ाइन के लिए webhook base URL ही वह एक सेटिंग है जिसे बदलना पड़ता है। उसे पोर्ट 8443 पर ख़ुद PDM की ओर करना स्वाभाविक है, मेरे lab में यही था, और 8443 बंद होने वाला है। उसे Caddy की ओर कीजिए।

बूट फ़ाइलें

Proxmox repository वाले किसी भी Proxmox VE या Debian होस्ट पर:

apt install proxmox-auto-install-assistant xorriso
mkdir -p /srv/www/pve-9.2
proxmox-auto-install-assistant prepare-iso proxmox-ve_9.2-1.iso \
  --fetch-from http \
  --answer-auth-token 'catch-all:not-a-secret' \
  --pxe-loader ipxe \
  --output /srv/www/pve-9.2/

कोई --url नहीं, क्योंकि उसे DNS देता है। --pxe-loader ipxe का मतलब --pxe है, और --pxe के साथ आउटपुट एक ऐसी directory होनी चाहिए जो पहले से मौजूद हो15। आपको चार फ़ाइलें मिलती हैं: vmlinuz, initrd.img जो zstd से gzip में दोबारा compress किया गया है क्योंकि iPXE zstd initrd लोड नहीं कर सकता, /boot हटाया हुआ prepared ISO, और एक boot.ipxe मेन्यू जो दस सेकंड बाद automated install पर चला जाता है और बाक़ी फ़ाइलों को relative नाम से बुलाता है15। चारों को एक directory में रखिए।

हर target में kernel, initrd और पूरा ISO रखने लायक़ memory होनी चाहिए। Proxmox VE 9.2 के notes इसे “at least 6 GiB of available memory on the host” बताते हैं5। वही notes 9.2 ISO के kernel की megaraid_sas controllers और JBOD (just a bunch of disks) मोड में कुछ NVMe ड्राइव के साथ एक ज्ञात समस्या बताते हैं, इस सलाह के साथ कि 9.1 ISO से इंस्टॉल करके upgrade करें5। नेटवर्क वाले रास्ते पर भरोसा करने से पहले अपना हार्डवेयर टेस्ट कीजिए।

DNS रिकॉर्ड

उस zone में जो DHCP के दिए एकमात्र search domain से मेल खाता है:

$ORIGIN example.doc.
pdm                                      IN A    10.10.50.10
proxmox-auto-installer                   IN TXT  "https://pdm.example.doc/api2/json/auto-install/answer"
proxmox-auto-installer-cert-fingerprint  IN TXT  "63:C4:D6:...:85:07"

Fingerprint PDM का अपना certificate है:

openssl x509 -in /etc/proxmox-datacenter-manager/auth/api.pem -noout -fingerprint -sha256

उन्हें वैसे ही जाँचिए जैसे installer जाँचेगा:

dig txt +short proxmox-auto-installer.example.doc @10.10.50.10
# one quoted string, nothing split

Caddy, PDM का इकलौता दरवाज़ा

PDM का API [::]:8443 पर सुनता है, और यह binary में compile किया हुआ एक स्थिरांक है, कोई सेटिंग नहीं16। आप इसे loopback पर bind नहीं कर सकते। इसलिए Caddy अंदर आने का इकलौता रास्ता बनता है, और फ़ायरवॉल इसे पक्का करता है।

PDM के सामने Caddy के routesअनुरोधक्या होता हैanswer POST, साइट subnet, catch टोकनउस साइट के टोकन में बदलाpost-hook POST, साइट subnetAuthorization हटाया, आगे भेजावेब UI या API, मैनेजमेंट subnetबिना छेड़े, PDM लॉगिनबाक़ी सब, कहीं से भीabort, PDM तक कभी नहींपोर्ट 8443, बॉक्स के बाहर सेnftables से drop
Caddy को दिखने वाला हर अनुरोध पाँच में से किसी एक जगह ख़त्म होता है। सिर्फ़ पहले तीन कभी PDM तक पहुँचते हैं।

PDM के ठीक दो routes हैं जो PDM लॉगिन के बिना काम करते हैं: installer टोकन के साथ POST /api2/json/auto-install/answer, और body में एक बार वाले टोकन के साथ POST …/installations/{uuid}/post-hook4। किसी provisioning नेटवर्क को सिर्फ़ इन्हीं दो तक पहुँचना चाहिए।

Caddy 2.11.1 या उसके बाद का इस्तेमाल कीजिए। 2.11.1 ने एक path-matcher bypass, CVE-2026-27587, ठीक किया, जो ठीक उसी तरह की path gating है जिस पर यह निर्भर है17। Debian 13 का अपना पैकेज 2.6.2 है, इसलिए इसे trixie-backports से लीजिए, जिसमें 2.11.2 है, या Caddy की अपनी repository से18।

Caddyfile, /etc/caddy/Caddyfile:

{
	# the admin API on a socket only root can open, never on TCP
	admin unix//run/caddy/admin.sock|0600
	auto_https disable_redirects
	servers {
		protocols h1 h2
	}
}

# PDM itself, on the loopback, trusted by its own certificate
(pdm_upstream) {
	reverse_proxy https://[::1]:8443 {
		transport http {
			tls_trust_pool file /etc/proxmox-datacenter-manager/auth/api.pem
			tls_server_name pdm.example.doc
		}
	}
	log_append pdm_status {http.reverse_proxy.status_code}
}

# one site: name, subnet, PDM token name, PDM token secret
(site) {
	@{args[0]} {
		method POST
		path /api2/json/auto-install/answer
		remote_ip {args[1]}
		header Authorization "Bearer catch-all:not-a-secret"
	}
	handle @{args[0]} {
		log_append site {args[0]}
		log_append pdm_token {args[2]}
		request_header Authorization "Bearer {args[2]}:{args[3]}"
		import pdm_upstream
	}
}

pdm.example.doc, 10.10.50.10 {
	tls /etc/proxmox-datacenter-manager/auth/api.pem /etc/proxmox-datacenter-manager/auth/api.key

	import site site1 10.10.50.0/24 site1-2026q4 {env.PDM_SECRET_SITE1}
	import site site2 10.20.50.0/24 site2-2026q4 {env.PDM_SECRET_SITE2}
	import site site3 10.30.50.0/24 site3-2026q4 {env.PDM_SECRET_SITE3}

	@post_hook {
		method POST
		path /api2/json/auto-install/installations/*/post-hook
		remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24
	}
	handle @post_hook {
		request_header -Authorization
		import pdm_upstream
	}

	# the PDM web UI and API, from the management network only
	@mgmt remote_ip 10.99.0.0/24
	handle @mgmt {
		import pdm_upstream
	}

	# anything else, from anywhere, never reaches PDM
	handle {
		abort
	}

	log {
		output file /var/log/caddy/pdm.log
		format filter {
			request>headers>Csrfpreventiontoken replace REDACTED
		}
	}
}

# boot files, to the sites and management only
http://:80 {
	@hidden path_regexp /\.
	handle @hidden {
		abort
	}
	@boot remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 10.99.0.0/24
	handle @boot {
		root * /srv/www
		file_server
	}
	handle {
		abort
	}
}

जो हिस्से सुरक्षा का काम कर रहे हैं, और हर एक वहाँ क्यों है:

लाइनक्यों
site matcher में header Authorization "Bearer catch-all:not-a-secret"इसके बिना साइट subnet से कोई भी POST असली टोकन पा जाता है; अनुरोध सही subnet से आना चाहिए और उसमें catch टोकन होना चाहिए
request_header Authorization …header सेट करता है, client ने जो भी भेजा उसे ओवरराइट करते हुए, इसलिए नक़ली टोकन बदल दिया जाता है, कभी आगे नहीं भेजा जाता19
remote_ipसीधा peer; installers और Caddy के बीच कोई NAT या load balancer मत रखिए20
नामित handle blocksलिखे गए क्रम में रखे जाते हैं और आपस में अलग-अलग हैं, इसलिए बिना नाम वाला handle { abort } आख़िरी शब्द है21
@mgmtपूरा PDM UI और API, बिना छेड़े, ताकि PDM का अपना लॉगिन, API टोकन और cookies सामान्य रूप से काम करें; साइट subnet को इसमें से कुछ नहीं मिलता
admin unix//…|0600admin API का डिफ़ॉल्ट TCP localhost:2019 है, बिना किसी authentication के22
protocols h1 h2Caddy डिफ़ॉल्ट रूप से HTTP/3 के लिए UDP 443 पर सुनता है22; यह उसे बंद करता है, बजाय ऐसा पोर्ट खुला छोड़ने के जिसे किसी ने खोलना नहीं चाहा
@hiddenfile_server अपने root के नीचे की हर फ़ाइल देता है, dot फ़ाइलें भी, और hide के बारे में दस्तावेज़ कहता है कि वह security boundary नहीं है23
Csrfpreventiontoken replace REDACTEDCaddy अपने access log में डिफ़ॉल्ट रूप से Authorization और Cookie को redact करता है, पर PDM के CSRF header को नहीं24

Path matcher PDM से ज़्यादा उदार है, और यही सही दिशा है। मैच करने से पहले Caddy path को साफ़ करता है, percent-encoding decode करता है, दोहराए गए slash मिलाता है और case को अनदेखा करता है20। इसलिए //answer, %61nswer और ANSWER सब answer route गिने जाते हैं, और /api2/extjs/… वाला रूप या आख़िर का slash किसी साइट route से मैच नहीं करता और abort तक गिर जाता है।

उसमें दो फ़ैसलों को समझाने की ज़रूरत है।

Caddy PDM का certificate देता है, सीधे PDM की फ़ाइलों से। Caddy api.pem और api.key वहीं से पढ़ता है जहाँ PDM उन्हें रखता है, इसलिए installers, webhook और browser सब वही certificate देखते हैं जो PDM 8443 पर दिखाता है, और भटकने के लिए कोई दूसरी कॉपी नहीं। उसे यह एक्सेस देने का सीधा तरीक़ा है caddy यूज़र को www-data में जोड़ना। अपने lab में मैंने जाँचा कि वह group membership असल में किन चीज़ों तक पहुँचती है, हर फ़ाइल को caddy यूज़र के रूप में टेस्ट करके:

/etc/proxmox-datacenter-manager/ के नीचे फ़ाइलwww-data में caddy पढ़ सकता है
remotes.shadow, हर managed remote की credentialsहाँ
autoinst/tokens.shadow, installer टोकन का हर सीक्रेटहाँ
auth/api.key, auth/csrf.keyहाँ
access/user.cfg, subscriptions/हाँ

उस सूची में कुछ भी किसी वेब proxy के आस-पास होने लायक़ नहीं। तब proxy का कोई bug PDM के संभाले हर क्लस्टर का compromise होगा।

इसलिए Caddy www-data से बाहर रहता है और उसे ठीक उन दो फ़ाइलों पर ACL मिलता है जिनकी उसे ज़रूरत है, साथ में उनके ऊपर की दो directories से गुज़रने की अनुमति, उन्हें list किए बिना:

#!/bin/sh
# /usr/local/sbin/pdm-cert-acl
# let Caddy read PDM's certificate and key in place, and nothing else of PDM's
set -e
D=/etc/proxmox-datacenter-manager; A=$D/auth
setfacl -m u:caddy:x "$D" "$A"
setfacl -m u:caddy:r "$A/api.pem" "$A/api.key"

उसे चलाने के बाद lab पर caddy यूज़र के रूप में टेस्ट किया:

Pathcaddy
auth/api.pem, auth/api.keyपढ़ सकता है
auth/csrf.key, auth/authkey.key, auth/authkey.pubनहीं पढ़ सकता
remotes.shadow, remotes.cfg, autoinst/tokens.shadow, access/user.cfgनहीं पढ़ सकता
auth/ को list करनामना

पेच renewal का है। PDM नया certificate एक नई फ़ाइल में लिखता है और उसे rename करके जगह पर रखता है, और नई फ़ाइल में पुरानी का ACL नहीं होता। इसलिए जब PDM renew करता है, systemd ACL वापस लगाता है और Caddy को reload करता है, किसी के कुछ किए बिना।

यह जाँच कि certificate और key एक-दूसरे के हैं, क्योंकि renewal उन्हें एक-एक करके लिखता है:

#!/bin/sh
# /usr/local/sbin/pdm-cert-pair-ok
# exit 0 only when PDM's certificate and key belong together
d=/etc/proxmox-datacenter-manager/auth
c=$(openssl x509 -noout -pubkey -in "$d/api.pem") || exit 1
k=$(openssl pkey -pubout -in "$d/api.key") || exit 1
[ "$c" = "$k" ]

दोनों फ़ाइलों पर नज़र रखने वाला एक path unit, और वह सर्विस जिसे वह शुरू करता है:

# /etc/systemd/system/caddy-pdm-cert.path
[Unit]
Description=Watch the PDM certificate and key for renewal

[Path]
PathChanged=/etc/proxmox-datacenter-manager/auth/api.pem
PathChanged=/etc/proxmox-datacenter-manager/auth/api.key
Unit=caddy-pdm-cert.service

[Install]
WantedBy=multi-user.target

# /etc/systemd/system/caddy-pdm-cert.service
[Unit]
Description=Let Caddy read the renewed PDM certificate in place, then reload Caddy

[Service]
Type=oneshot
ExecCondition=/usr/local/sbin/pdm-cert-pair-ok
ExecStart=/usr/local/sbin/pdm-cert-acl
ExecStart=/usr/bin/systemctl try-reload-or-restart caddy.service
apt install acl
systemctl daemon-reload
systemctl enable --now caddy-pdm-cert.path

आगे का override हर Caddy start से पहले वही ACL स्क्रिप्ट चलाता है, ताकि Caddy के रुके रहते हुआ renewal कभी छूटे नहीं।

जिन बारीकियों से यह काम करता है, हर एक जाँची हुई:

हिस्साक्यों
दोनों फ़ाइलों पर नज़रपहला write unit को चलाता है; जब तक जोड़ी मेल नहीं खाती, शर्त उसे छोड़ देती है, और दूसरा write मेल खाती जोड़ी के साथ उसे फिर चलाता है
ExecConditionविफल शर्त run को फ़ेल करने के बजाय छोड़ देती है, इसलिए आधा लिखा renewal कभी Caddy तक नहीं पहुँचता25
PathChangedतब चलता है जब लिखने के लिए खुली नज़र वाली फ़ाइल बंद होती है26; lab पर यह तब भी चला जब नई फ़ाइल को पुरानी के ऊपर rename किया गया
हर run पर ACL स्क्रिप्टrename करके लाई गई फ़ाइल में कोई ACL नहीं होता, इसलिए स्क्रिप्ट दोबारा चलने तक Caddy उसे पढ़ नहीं सकता
try-reload-or-restartCaddy चल रहा हो तो reload करता है, न चल रहा हो तो कुछ नहीं करता
Caddy के unit में reload --force--force के बिना Caddy वही कॉन्फ़िग देखता है और पुराना certificate देता रहता है

वह आख़िरी पंक्ति अंदाज़ा नहीं है। एक अस्थायी Caddy 2.11.7 container में मैंने चलते सर्वर के पीछे certificate फ़ाइल बदली: सादे caddy reload ने पुराना certificate देना जारी रखा, और caddy reload --force ने नया दिया। पैकेज वाला unit पहले से --force के साथ reload करता है27, इसलिए अगर आप ExecReload override करें तो वह लाइन रखिए।

Lab पर मैंने PDM की api.key और api.pem उसी तरह बदलीं जैसे renewal करता है, नई फ़ाइलें लिखकर और उन्हें पुरानी के ऊपर rename करके। Rename के ठीक बाद api.key में caddy के लिए कोई ACL एंट्री नहीं थी। चार सेकंड के अंदर path unit चल चुका था, दोनों फ़ाइलों पर ACL वापस था, और Caddy उसी process ID के साथ अपनी जगह reload हो चुका था।

टोकन का नाम और सीक्रेट अलग रखे जाते हैं। नाम Caddyfile में जाता है, जहाँ वह लॉग होता है। सीक्रेट एक environment फ़ाइल में जाता है जिसे सिर्फ़ root पढ़ सकता है, और Caddy उसे request के समय {env.*} से पढ़ता है।

लॉग करें कि कौन सा टोकन इस्तेमाल हुआ, सीक्रेट कभी नहीं

मेरे lab का इसका पहला रूप leak करता था। Caddy का पैकेज वाला unit इसे caddy run --environ के रूप में शुरू करता है, और --environ शुरू होने से पहले पूरा environment छाप देता है28,27। हर restart ने साइट टोकन को journal में साफ़ लिखावट में डाल दिया: जब तक मैंने गिना, उसकी आठ लाइनें हो चुकी थीं। Access log में कुछ नहीं, PDM के अपने लॉग में कुछ नहीं, सब उसी एक flag से।

टोकन सीक्रेट और टोकन का नाम कहाँ जाते हैंसीक्रेटpdm-secrets.envसिर्फ़ root, 0600Caddy का environment{env.PDM_SECRET_SITE1}Authorization headerसिर्फ़ PDM तक का loopback hopनामimport लाइन,Caddyfile मेंaccess log, हर answer अनुरोध"pdm_token":"site1-2026q4"यहाँ कभी नहीं लिखा जाताjournal--environ हटायाadmin APIunix socket, 0600config dumpसिर्फ़ placeholder
सीक्रेट का एक काम है और एक रास्ता। जो आप लॉग करते हैं वह नाम है।

इसलिए secrets फ़ाइल में सीक्रेट रहते हैं और कुछ नहीं:

install -m 0600 /dev/null /etc/caddy/pdm-secrets.env
printf 'PDM_SECRET_SITE1=%s\nPDM_SECRET_SITE2=%s\nPDM_SECRET_SITE3=%s\n' \
  '<secret1>' '<secret2>' '<secret3>' > /etc/caddy/pdm-secrets.env

और unit override --environ हटाता है और admin socket को एक घर देता है:

# systemctl edit caddy
[Service]
EnvironmentFile=/etc/caddy/pdm-secrets.env
RuntimeDirectory=caddy
RuntimeDirectoryMode=0700
# PDM's certificate and key, read where PDM keeps them
ExecStartPre=+/usr/local/sbin/pdm-cert-acl
# the access log directory and its files belong to Caddy
ExecStartPre=+/usr/bin/install -d -o caddy -g caddy -m 0750 /var/log/caddy
ExecStartPre=+/usr/bin/chown -R caddy:caddy /var/log/caddy
ExecStart=
ExecStart=/usr/bin/caddy run --config /etc/caddy/Caddyfile
ExecReload=
ExecReload=/usr/bin/caddy reload --config /etc/caddy/Caddyfile --force

+ उन लाइनों को root के रूप में चलाता है, इससे पहले कि Caddy अपने यूज़र के रूप में शुरू हो। लॉग वाली लाइनें तब मायने रखती हैं जैसे ही कोई और चीज़ /var/log/caddy को छूती है: root का rotate किया हुआ लॉग, या टेस्ट करते समय हाथ से बनाई फ़ाइल, Caddy को अपना access log खोलने लायक़ नहीं छोड़ती। Lab पर मैंने pdm.log को root:root किया और Caddy restart किया; वह caddy:caddy के रूप में लौटा और Caddy ने कोई permission error लॉग नहीं की।

इसे एडिट करने के बाद reload नहीं, restart कीजिए, क्योंकि reload environment दोबारा नहीं पढ़ता। {env.NAME} इस्तेमाल कीजिए, {$NAME} कभी नहीं: दूसरा रूप Caddyfile adapt होते समय बदला जाता है, इसलिए सीक्रेट JSON कॉन्फ़िग में, autosave फ़ाइल में और उन्हें dump करने वाली हर चीज़ में पहुँच जाता है29। यहाँ admin socket भी मायने रखता है। {env.*} process environment की किसी भी चीज़ को बिना allow-list के resolve करता है, इसलिए जो कोई TCP admin API के ज़रिए कॉन्फ़िग लोड कर सकता है, वह Caddy से कोई सीक्रेट पढ़वाकर अपने पास मँगा सकता है30।

अब access log की हर answer लाइन साइट और टोकन का नाम बताती है, और header ख़ुद redact रहता है। Lab से, जहाँ दोनों का नाम siteA है:

{"site":"siteA","pdm_token":"siteA","pdm_status":400,"status":400,
 "request":{"headers":{"Authorization":["REDACTED"]}}}

मैंने इस पर भरोसा करने के बजाय इसे जाँचा। इस कॉन्फ़िग की podman कॉपी पर dummy सीक्रेट के साथ, और फिर lab पर, मैंने हर उस रास्ते से answers भेजे जो मैं सोच सका: सामान्य, debug logging चालू, 502 के लिए upstream बंद, एक reload और एक restart। फिर मैंने हर सीक्रेट को journal, access log, Caddy की config और data directories और adapt किए JSON में गिना। हर गिनती शून्य थी। Control run, यानी वही कॉन्फ़िग --environ के साथ शुरू किया गया, ने सीक्रेट दो बार छापा।

उस टेस्ट से दो सावधानियाँ। debug चालू होने पर Caddy अपना पूरा adapt किया कॉन्फ़िग लॉग करता है, इसलिए catch टोकन और {env.*} placeholders वहाँ दिखते हैं; उनके पीछे की वैल्यू नहीं दिखीं। Production में debug वैसे भी बंद रखिए। और अगर कोई सीक्रेट पहले ही किसी journal से गुज़र चुका है, जैसे मेरा गुज़रा था, तो उसे PDM में दोबारा बनाइए और फ़ाइल अपडेट कीजिए; लॉग लाइनें मिटाना इसका इलाज नहीं है।

फ़ायरवॉल: 8443 कभी बॉक्स से बाहर नहीं जाता

मेरे lab में कोई फ़ायरवॉल था ही नहीं, इसलिए 8443 provisioning नेटवर्क के हर होस्ट को जवाब देता था और Caddyfile के हर नियम के चारों ओर से निकला जा सकता था। उसे बंद कीजिए। nftables, drop के डिफ़ॉल्ट के साथ:

#!/usr/sbin/nft -f
flush ruleset

define SITES = { 10.10.50.0/24, 10.20.50.0/24, 10.30.50.0/24 }
define MGMT  = { 10.99.0.0/24 }

table inet filter {
	chain input {
		type filter hook input priority filter; policy drop;

		iifname "lo" accept
		ct state established,related accept
		ct state invalid drop
		meta l4proto { icmp, ipv6-icmp } accept

		# PDM's API listens on [::]:8443 and cannot be rebound
		tcp dport 8443 counter drop

		ip saddr $MGMT tcp dport { 22, 80, 443 } accept

		udp dport { 67, 69 } accept
		ip saddr $SITES meta l4proto { tcp, udp } th dport 53 accept
		ip saddr $SITES tcp dport { 80, 443 } accept
	}
	chain forward {
		type filter hook forward priority filter; policy drop;
	}
}

PDM के अपने remotes से कनेक्शन बाहर की ओर जाते हैं, इसलिए 8443 को अंदर की ओर बंद करने से वहाँ कुछ नहीं बदलता। पहली बार नया ruleset समय वाले rollback के साथ लोड कीजिए, ताकि कोई ग़लती आपको कंसोल तक जाने के बजाय नब्बे सेकंड की पड़े:

systemd-run --unit=nft-rollback --on-active=90 /usr/sbin/nft flush ruleset
nft -f /etc/nftables.conf
# still connected? then:
systemctl stop nft-rollback.timer && systemctl enable nftables

Lab पर, यह सब करने के बाद:

जाँचनतीजा
मैनेजमेंट नेटवर्क से 8443कोई कनेक्शन नहीं; drop counter बढ़ता हुआ
मैनेजमेंट से, 443 पर Caddy के ज़रिए PDM वेब UIलॉग इन होता है और काम करता है
साइट एड्रेस से PDM वेब UIabort
catch टोकन के साथ साइट से answer POSTसाइट टोकन के साथ PDM तक पहुँचता है: जानबूझकर मैच न करने वाले probe को 400 no answer file found मिला
वही probe सीधे PDM को, गढ़े हुए टोकन के साथ401
catch टोकन के बिना answer POST, या /api2/extjs/… के रूप मेंabort
जिन फ़ाइलों में PDM के सीक्रेट रहते हैं, caddy के रूप में पढ़ी गईंकोई भी पढ़ने लायक़ नहीं
बदलाव के बाद से journal, access log या Caddy के data में साइट सीक्रेट0

DHCP, iPXE और लूप

सर्वर firmware अपनी पहली फ़ाइल सिर्फ़ TFTP से ला सकता है, इसलिए TFTP छोटा iPXE loader देता है और iPXE बाक़ी सब HTTP से लाता है। फँसाने वाली बात यह है कि iPXE अपना अलग DHCP अनुरोध भेजता है, और जो सर्वर उसका जवाब फिर से ipxe.efi से देता है, वह मशीन को हमेशा के लिए गोल-गोल घुमाता है। DHCP सर्वर को firmware और iPXE में फ़र्क़ करना होगा।

सादा DHCP जवाब लूप क्यों बनाता हैसादा जवाब: लूपfirmware बूट फ़ाइल माँगता हैजवाब: ipxe.efiiPXE शुरू होकर फिर माँगता हैवही जवाब: ipxe.efiसर्वर firmware और iPXE मेंफ़र्क़ नहीं कर पाता, आगे नहीं बढ़ताiPXE को पहचानने वाला: चलता हैfirmware बूट फ़ाइल माँगता हैiPXE नहीं: TFTP से ipxe.efiiPXE फिर माँगता है, option 175 के साथजवाब: HTTP पर boot.ipxe URLkernel, initrd और ISO, फिर इंस्टॉल
एक ही अनुरोध दो बार, एक ही जवाब दो बार। Option 175, जिसे सिर्फ़ iPXE भेजता है, वही तरीक़ा है जिससे सर्वर दूसरे अनुरोध को पहले से अलग पहचानता है।
DHCP सर्वरलूप कैसे तोड़ता है
dnsmasqoption 175 वाले अनुरोधों को tag करता है, जिसे सिर्फ़ iPXE भेजता है, और उन्हें HTTP URL देता है31
ISC dhcpdif exists user-class and option user-class = "iPXE"32
FortiGatefilename फ़ील्ड एक ही वैल्यू लेता है, इसलिए URL embed किया हुआ iPXE loader बनाइए और वही हर किसी को दीजिए

dnsmasq, अपना नेटवर्क और बाक़ी दो relays के ज़रिए संभालता हुआ, सिर्फ़ reservations के साथ:

# /etc/dnsmasq.d/pxe.conf
local=/example.doc/
domain=example.doc
address=/pdm.example.doc/10.10.50.10
txt-record=proxmox-auto-installer.example.doc,"https://pdm.example.doc/api2/json/auto-install/answer"
txt-record=proxmox-auto-installer-cert-fingerprint.example.doc,"63:C4:D6:...:85:07"

dhcp-authoritative
dhcp-range=set:site1,10.10.50.0,static,255.255.255.0,1h
dhcp-range=set:site2,10.20.50.0,static,255.255.255.0,1h
dhcp-range=set:site3,10.30.50.0,static,255.255.255.0,1h
dhcp-option=tag:site1,option:router,10.10.50.1
dhcp-option=tag:site2,option:router,10.20.50.1
dhcp-option=tag:site3,option:router,10.30.50.1
dhcp-option=option:dns-server,10.10.50.10
dhcp-option=option:domain-search,example.doc

dhcp-match=set:ipxe,175
dhcp-match=set:efi64,option:client-arch,7
dhcp-match=set:efi64,option:client-arch,9
dhcp-boot=tag:efi64,tag:!ipxe,ipxe.efi
dhcp-boot=tag:ipxe,http://pdm.example.doc/pve-9.2/boot.ipxe
# no option 250 anywhere: DNS discovery depends on it

enable-tftp
tftp-root=/srv/tftp
tftp-secure
# TFTP block-size ceiling: lower it for an IPsec or other tunnel in the path
tftp-mtu=1500

# dhcp-host=<mac>,<ip inside that site's /24>,<hostname>
dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01
dhcp-host=aa:bb:cc:dd:ee:02,10.20.50.21,pve01

static का मतलब है कोई pool नहीं: सिर्फ़ reserve की गई मशीनों को एड्रेस मिलता है, जो अनजान चीज़ों को installer वाले रास्ते से दूर रखता है। हर reservation का एड्रेस उसकी अपनी साइट के /24 के अंदर होना चाहिए, क्योंकि Caddy टोकन चुनने के लिए उसी एड्रेस का इस्तेमाल करता है। ग़लत subnet में reserve किया गया नोड ग़लत साइट का answer पाता है, या कुछ नहीं।

Reservations MAC एड्रेस की एक सूची हैं, और यह ठीक उसी तरह का हर-मशीन हिसाब-किताब है जो ग्राहक नहीं चाहता था। अगर सच में लगाओ और बूट करो ही ज़रूरत है, तो हर provisioning VLAN को इसके बजाय एक छोटा dynamic range दीजिए, उदाहरण के लिए dhcp-range=set:site1,10.10.50.100,10.10.50.150,255.255.255.0,1h। साइट अब भी subnet से आती है, इसलिए Caddy अब भी सही टोकन चुनता है, और installation_nr वाला FQDN template नोड को नाम देता है। इसकी क़ीमत “क्या तय करना बाक़ी है” की पहली पंक्ति है: उस VLAN में लगी कोई भी चीज़ अब साइट का answer ला सकती है, इसलिए VLAN ख़ुद gate बन जाता है।

dnsmasq client के साथ TFTP block size तय करता है। अपने हाल पर छोड़ा जाए तो यह उसे अपने इंटरफ़ेस के MTU पर सीमित करता है31, जो तब तक काम करता है जब तक किसी साइट तक का रास्ता उस लिंक से छोटा न हो जिस पर dnsmasq बैठा है। इसलिए कॉन्फ़िग छत को विरासत में लेने के बजाय tftp-mtu=1500 के रूप में लिखता है। इससे यह नंबर उस व्यक्ति के सामने आता है जो IPsec tunnel या पैकेट में से कुछ खाने वाली किसी और चीज़ के पीछे की साइट संभालता है, और वह उसे उतना कम कर देता है जितना रास्ता सच में ले जाता है, बजाय आधे में अटकी transfer से पता चलने के। अगर कोई NIC ROM इस option के मिलने पर ही गड़बड़ करे, तो tftp-no-blocksize यह बातचीत बंद कर देता है।

Debian के ipxe पैकेज से ipxe.efi को /srv/tftp में कॉपी कीजिए, dnsmasq यूज़र के स्वामित्व में, क्योंकि tftp-secure बाक़ी हर चीज़ को मना कर देता है। UEFI को प्राथमिकता दीजिए। Secure Boot को signed iPXE चाहिए, इसलिए या तो उसे सेट कीजिए या इंस्टॉल के लिए Secure Boot बंद करके बाद में फिर चालू कीजिए।

बूट करें, देखें, और क्या टूटता है

हार्डवेयर छूने से पहले किसी साइट नेटवर्क पर एक वर्चुअल मशीन से टेस्ट कीजिए: UEFI firmware, 8 GiB memory और उस VLAN पर एक NIC पूरी chain दोहरा देते हैं।

बूट पर क्या होता हैTarget सर्वरUEFI नेटवर्क बूट6 GiB या ज़्यादा1. DHCP और TFTPएक lease, एक search domain, फिर ipxe.efi2. पोर्ट 80 पर HTTPboot.ipxe, vmlinuz, initrd.img और ISO, memory में3. DNSदो TXT रिकॉर्ड: answer URL और PDM का fingerprint4. 443 पर Caddy, फिर PDManswer अभी, webhook reboot के बाद
चार अलग बातचीत, हर एक की विफल होने पर देखने की अपनी जगह।

और पूरी चीज़ क्रम में, चालू होने से लेकर उस installation तक जिसे PDM Finished मार्क करता है:

चालू होने से पूरे इंस्टॉल तकTargetdnsmasq, :80Caddy :443PDMDHCP: एक leaseTFTP: ipxe.efiiPXE फिर माँगता हैHTTP: kernel, initrd, ISOinstaller: एक domainDNS: दो TXT रिकॉर्डPOST, catch टोकनसाइट टोकनin progressrender किया answer, Caddy सेडिस्क पर इंस्टॉलwebhook, एक बार वाला टोकनAuthorization हटायाFinishedreboot; पहला बूटkey activate करता है
हर कदम, क्रम में। Webhook installer से reboot से पहले भेजा जाता है, इसलिए Finished का मतलब है इंस्टॉल हुआ, बूट हुआ नहीं; subscription key उसके बाद, पहले बूट पर, activate होती है।
कदमक्या होता हैकहाँ देखें
1firmware TFTP से ipxe.efi पाता है, iPXE HTTP से boot.ipxe पाता हैjournalctl -u dnsmasq, Caddy का लॉग
2दस सेकंड बाद मेन्यू automated एंट्री बूट करता है; kernel, initrd और ISO डाउनलोड होते हैंचार GET, उनमें से एक लगभग 1.6 GB
3installer lease लेता है, search domain पढ़ता है, दोनों TXT रिकॉर्ड query करता हैtarget पर /tmp/fetch_answer.log
4Caddy को POST, टोकन बदला गया, PDM एक answer चुनता हैCaddy का लॉग टोकन का नाम बताता है; PDM एक नया installation दिखाता है
5इंस्टॉल चलता है/tmp/auto_installer.log, /tmp/install-low-level-start-session.log
6अभी installer में ही, webhook Caddy के ज़रिए वापस कॉल करता है, फिर मशीन reboot होती है33installation डिस्क, NIC और SSH host keys के साथ Finished पर पहुँच जाता है

विफल होने पर installer एक shell पर रुक जाता है, जब तक answer में Reboot on Error सेट न हो, इसलिए टेस्ट करते समय उसे बंद रखिए।

लक्षणसंभावित कारण
Could not find search domain in resolv.conf.DHCP ने कोई domain नहीं भेजा
ऐसे नाम के लिए TXT query जिसमें space हैएक से ज़्यादा search domain
Got empty response.रिकॉर्ड ग़ायब, ग़लत zone, या option 6 किसी और DNS सर्वर की ओर है
बीच में space वाला URLTXT वैल्यू कई strings में बँटी
लॉग कहता है कि URL DHCP से आयानेटवर्क में कहीं option 250 है
POST पर TLS errorDNS वाला fingerprint Caddy का मौजूदा certificate नहीं है
बिना जवाब के कनेक्शन बंदCaddy ने abort किया: ग़लत subnet, catch टोकन नहीं, या ऐसा route जो उन दो में से नहीं
400 no answer file foundटोकन काम कर गया; कोई फ़िल्टर मैच नहीं हुआ और उस टोकन पर कोई default नहीं
ग़लत answeroverlap करते फ़िल्टर; फ़ाइल में पहला जीतता है
status in progress पर अटका रहता हैwebhook base URL अब भी 8443 की ओर है
iPXE बार-बार ख़ुद को reload करता हैDHCP सर्वर iPXE को firmware से अलग नहीं पहचान रहा
PXE-E32 TFTP timeoutnext-server ग़लत, या UDP 69 blocked

Proxmox Backup Server जोड़ना

रास्ते में कुछ भी Proxmox VE के लिए ख़ास नहीं है। PBS 4 ISO से उसी catch टोकन के साथ बूट फ़ाइलों का दूसरा सेट /srv/www/pbs-4/ में बनाइए, और हर साइट के लिए /product/product=pbs फ़िल्टर वाला एक PBS answer जोड़िए, उस साइट के टोकन पर अधिकृत। DNS रिकॉर्ड, Caddy, टोकन और फ़ायरवॉल नहीं बदलते।

जिस साइट पर दोनों हों, वहाँ किसी चीज़ को तय करना होगा कि मशीन को कौन सा product मिले, और मेन्यू इसे तय करने की ग़लत चीज़ है। --timeout के बिना iPXE का choose कंसोल पर हमेशा किसी key के दबने का इंतज़ार करता है, जो unattended का उलटा है।

इसके बजाय DHCP reservation को तय करने दीजिए। आप हर नोड को पहले से MAC एड्रेस से reserve करते हैं, इसलिए PBS वालों को tag कीजिए और हर tag को उसका अपना boot.ipxe भेजिए:

# /etc/dnsmasq.d/pxe.conf, replacing the single iPXE dhcp-boot line
dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01
dhcp-host=aa:bb:cc:dd:ee:31,set:pbs,10.10.50.31,pbs01

dhcp-boot=tag:ipxe,tag:!pbs,http://pdm.example.doc/pve-9.2/boot.ipxe
dhcp-boot=tag:ipxe,tag:pbs,http://pdm.example.doc/pbs-4/boot.ipxe

किसी reservation पर set:pbs उस एक मशीन को tag करता है31, और tag:!pbs दोनों बूट लाइनों को आपस में अलग रखता है, इसलिए यह सवाल ही नहीं उठता कि कौन जीतेगा। हर product का अपना boot.ipxe पहले से कीबोर्ड पर किसी के बिना दस सेकंड बाद अपनी automated एंट्री बूट करता है15।

ये लाइनें 2.91 पर dnsmasq --test पास करती हैं, जो मेरे lab का version है, और dhcp-host तथा tag के दस्तावेज़ी syntax का पालन करती हैं। मैंने अभी इनके ज़रिए कोई PBS नोड PXE-boot नहीं किया है, इसलिए इन पर भरोसा करने से पहले एक tag की गई मशीन आज़माइए।

वहाँ से रास्ता Proxmox VE जैसा ही है। PBS installer "product": "pbs" भेजता है, Caddy साइट का टोकन लगा देता है, और PDM उस साइट का PBS answer चुनता है। किसी भी मोड़ पर कुछ भी हाथ से नहीं चुना जाता, और नोड कौन सा product बनेगा यह एक ही जगह लिखा है, reservation में, उसके एड्रेस के बगल में।

क्या तय करता हैकहाँ रहता है
कौन सा ISO बूट होगाDHCP reservation पर set:pbs tag
किस साइट के answers लागू होंगेsource subnet, Caddy के टोकन बदलने के ज़रिए
उस साइट के अंदर कौन सा answerPDM में /product/product=pbs फ़िल्टर

Installer सिर्फ़ ऑपरेटिंग सिस्टम बिछाता है। Datastore, OS डिस्क से अलग storage पर, नोड को पूरा करने वाली चीज़ का एक और काम है, जो हमें फिर छूटे first-boot हुक पर ले आता है।

क्या तय करना बाक़ी है

इनमें से कोई भी आपको यह डिज़ाइन इस्तेमाल करने से नहीं रोकता। हर एक के लिए किसी को ज़िम्मेदारी लेनी होगी।

समझौताक्यों मायने रखता हैक्या करें
source एड्रेस ही gate हैprovisioning VLAN पर मौजूद, या उस पर एड्रेस spoof कर सकने वाली, कोई भी चीज़ उस साइट का answer ला सकती है: root पासवर्ड hash, SSH कीज़, subscription keyVLAN को अलग रखिए, port security, सिर्फ़ reservations, टोकन expiry, rollouts के बीच टोकन बंद कीजिए
catch टोकन सीक्रेट नहीं हैयह हर इमेज में और इस पेज पर हैयह सिर्फ़ भटके हुए अनुरोधों को छाँटता है; gate subnet और Caddy में रखा असली टोकन है
Caddy PDM की key पढ़ सकता हैPDM का certificate देने का मतलब है कि proxy वह एक private key पढ़ता हैसिर्फ़ api.pem और api.key पर ACL, PDM की और कोई चीज़ पढ़ने लायक़ नहीं, होस्ट कसकर बंद; key कभी उसे नहीं छोड़ती
DNS पर भरोसा हैनक़ली TXT रिकॉर्ड installer को कहीं और भेज देता है, और अगर fingerprint भी DNS से आता है तो नक़ल करने वाला दोनों को नियंत्रित करता हैprovisioning DNS की रक्षा कीजिए, या --cert-fingerprint से PDM का fingerprint बेक कीजिए और बदलने पर दोबारा बनाइए
बूट फ़ाइलें सादे HTTP पर जाती हैंउन्हें रास्ते में पढ़ा या बदला जा सकता हैनेटवर्क को अलग रखिए; आपका build सपोर्ट करे तो HTTPS पर iPXE
webhook टोकन16 random bytes, एक बार इस्तेमाल, callback के बाद मिटा दिया जाता है, पर कोई समय सीमा नहीं4पुराने installation रिकॉर्ड हटाइए
subscription keyनेटवर्क आने के बाद एक बार activate होती है; विफल होने पर key मिटा दी जाती है और unit फ़ेल होता है, कोई retry नहीं34नए नोड पर systemctl --failed जाँचिए
PDM एक अकेला बिंदु हैआज यह highly available नहीं हैरुकावट नए इंस्टॉल रोकती है, चलते क्लस्टर नहीं
एक मैनेजमेंट NICanswer में bond, VLAN या bridge के विकल्प नहीं हैं9यह इंस्टॉल के बाद का काम है, उसी first-boot वाली समस्या के साथ

पहला कदम, जिस पर ठीक से बनाया गया

यह फ़ीचर की पहली release है, और पहली release के हिसाब से यह अच्छी है। Answer फ़ॉर्म समझदार है, चुनने के नियम एक बार पढ़ लेने पर साफ़ हैं, webhook काम करता है, और कोड खुला है, जो अकेली वजह है कि ऊपर का सब कुछ अंदाज़ा लगाने के बजाय साबित किया जा सका। Patch series public mailing list पर चार दौर से गुज़री, तब जाकर शामिल हुई35, और यह दिखता है।

कमियाँ वही दो चीज़ें हैं जो एक इंस्टॉल सर्वर को provisioning सिस्टम बनाती हैं। साइट वह इकाई है जिसमें MSP सोचता है, और installer जब पूछता है तब उसी पर खड़ा होता है। First-boot हुक इंस्टॉल हुए नोड और पूरे हुए नोड के बीच का फ़र्क़ है। दोनों पहले से आधे मौजूद हैं: installer के पास हुक है और PDM के पास टोकन। मुझे उम्मीद है कि दोनों आएँगे, और जब आएँगे, तो इस डिज़ाइन के बीच का Caddy ग़ायब होने के बजाय सरल हो जाएगा, क्योंकि ऐसा proxy जो PDM के सीक्रेट पहुँच से बाहर रखे और 8443 को नेटवर्क से दूर, वैसे भी रखने लायक़ है।

तब तक इसे इस तरह करने की वजह वही है जो शुरू में है। दस PXE सर्वर यानी दस चीज़ें जो दस अलग रफ़्तार से पुरानी पड़ती हैं, और हर एक पर तभी नज़र जाती है जब वह उसी दिन फ़ेल हो जिस दिन आपको उसकी ज़रूरत है। एक सेटअप, एक बार अपडेट रखा हुआ, जहाँ साइट नेटवर्क से तय होती है और सीक्रेट एक जगह रखे जाते हैं, संभालने के लिए कम है। संभालने के लिए कम का मतलब है ग़लत होने के लिए कम, और काम का ज़्यादातर हिस्सा यही है।


  1. Proxmox — Proxmox Datacenter Manager 1.1 press release — automated installations, Remotes के नीचे एक नए टैब के साथ जो installation की प्रगति दिखाता है। ↩︎

  2. Proxmox Datacenter Manager documentation — Automated Installations — prepared answers, target filters, templating, और “a dedicated token mechanism, separate from the normal API tokens”। ↩︎ ↩︎

  3. proxmox-datacenter-manager, lib/pdm-api-types/src/auto_installer.rs — target filter keys “are JSON Pointers as per [RFC6901], the values globs”; सिर्फ़ एक default answer। ↩︎

  4. proxmox-datacenter-manager, server/src/api/auto_installer/mod.rs — default answer से पहले टोकन की जाँच, फ़ाइल के क्रम में पहला मैच, first_boot: None, counter का बढ़ना, एक बार वाला post-hook टोकन, PDM लॉगिन के बिना पहुँचने लायक़ दो routes, और /system/auto-installation पर Sys.Audit/Sys.Modify अधिकार। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  5. Proxmox VE Roadmap — Proxmox VE 9.2 — PXE और iPXE की तैयारी, “at least 6 GiB of available memory on the host”, और megaraid_sas तथा NVMe JBOD की ज्ञात समस्या। ↩︎ ↩︎ ↩︎

  6. Proxmox Bugzilla 8078 — “prepared answer disk setup does not allow to specify multiple udev filters with same name”, 26 सितंबर 2026 को खुला, 7 नवंबर 2026 को status NEW। ↩︎

  7. Proxmox Bugzilla 7699 — “Add on-first-boot parameter to the PDM remote installation”, 12 जून 2026 को खुला, 7 नवंबर 2026 को status NEW। ↩︎ ↩︎

  8. proxmox, proxmox-installer-types/src/lib.rs — SystemInfo: product, ISO, DMI और network interfaces। ↩︎

  9. Proxmox VE wiki — Automated Installation — [first-boot] और [network] विकल्प, भेजी जाने वाली system information, और यह कि auth टोकन “is stored in plain text inside the prepared ISO”। ↩︎ ↩︎ ↩︎ ↩︎

  10. Proxmox Bugzilla 8263 — “[Feature Request] auto-installer: client source IP (or X-Forwarded-For) for answer selection and templating”, 31 अक्टूबर 2026 को खुला, 7 नवंबर 2026 को status NEW। ↩︎

  11. proxmox-datacenter-manager, debian/changelog — 1.1.1: “match prepared answers in the configuration’s stable order and let the first match win”। ↩︎

  12. proxmox, proxmox-installer-types/src/answer.rs — AutoInstallerConfig में first_boot: Option<FirstBootHookInfo> है। ↩︎

  13. pve-installer, proxmox-auto-installer/src/bin/proxmox-auto-installer.rs — first-boot executable तभी सेट होता है जब answer में first_boot सेक्शन हो। ↩︎

  14. pve-installer, proxmox-fetch-answer/src/fetch_plugins/http.rs — पहले ISO URL, फिर DHCP, फिर DNS; TXT नाम; resolv.conf की parsing; quotes हटाकर dig txt +short; Bearer header। ↩︎ ↩︎

  15. pve-installer, proxmox-auto-install-assistant/src/main.rs — --pxe-loader का मतलब --pxe, आउटपुट directory, gzip initrd, ISO से हटाया गया /boot, और बनाया गया boot.ipxe। ↩︎ ↩︎ ↩︎

  16. proxmox-datacenter-manager, server/src/bin/proxmox-datacenter-api/main.rs — PDM_LISTEN_ADDR PDM_PORT यानी 8443 पर IPv6 unspecified एड्रेस है, build के समय तय। ↩︎

  17. Caddy releases — 2.11.1 ने CVE-2026-27587 ठीक किया, escape sequences के ज़रिए path matcher bypass। ↩︎

  18. Debian sources — caddy — trixie में 2.6.2-12+deb13u1, trixie-backports में 2.11.2-1~bpo13+1। ↩︎

  19. Caddy — request_header — “With no prefix, the field is set (overwritten).” ↩︎

  20. Caddy — Request matchers — remote_ip सीधा peer है; path मैच case-insensitive, URL-decoded और साफ़ किए हुए होते हैं, दोहराए slash मिलाकर। ↩︎ ↩︎

  21. Caddy — handle — “only the first matching handle block will be evaluated”। ↩︎

  22. Caddy — Global options — admin का डिफ़ॉल्ट localhost:2019; protocols का डिफ़ॉल्ट h1 h2 h3। ↩︎ ↩︎

  23. Caddy — file_server — hide को security boundary नहीं मानना चाहिए। ↩︎

  24. Caddy — log — Cookie, Set-Cookie, Authorization और Proxy-Authorization REDACTED के रूप में लॉग होते हैं। ↩︎

  25. systemd.service — ExecCondition= — 1 से 254 तक के exit code पर “the remaining commands are skipped and the unit is not marked as failed”। ↩︎

  26. systemd.path — PathChanged= — “activated if the file which was open for writing gets closed”। ↩︎

  27. caddyserver/dist, init/caddy.service — ExecStart=/usr/bin/caddy run --environ --config /etc/caddy/Caddyfile। ↩︎ ↩︎

  28. Caddy — Command line — --environ शुरू होने से पहले environment छापता है। ↩︎

  29. Caddy — Caddyfile concepts, environment variables — {$NAME} Caddyfile parse होने से पहले बदला जाता है। ↩︎

  30. caddyserver/caddy, replacer.go — env. से शुरू होने वाली हर key os.Getenv को दी जाती है। ↩︎

  31. dnsmasq manual page — dhcp-match, dhcp-boot, set:<tag> के साथ dhcp-host, enable-tftp, tftp-secure, tftp-mtu, tftp-no-blocksize और static ranges। ↩︎ ↩︎ ↩︎

  32. iPXE — Configuring ISC dhcpd — if exists user-class and option user-class = "iPXE" iPXE को स्क्रिप्ट और firmware को loader देता है। ↩︎

  33. pve-installer, unconfigured.sh — proxmox-post-hook proxmox-auto-installer के सफल होते ही, reboot से पहले, चलता है। ↩︎

  34. pve-installer, proxmox-first-boot/proxmox-first-boot-subscription — “always drop the staged key, regardless of whether activation succeeded”। ↩︎

  35. pdm-devel — “add auto-installer integration”, v4, 40 patches — वह series जिसने यह फ़ीचर जोड़ा, v3 से v4 के बदलाव के notes के साथ। ↩︎