Webex विंडो के ऊपर एक पीला बैनर लगा देता है। Offline - No internet connection. फ़ोन सर्विस disconnected दिखती हैं, कुछ sync नहीं होता, और आप उस मीटिंग में नहीं जुड़ पाते जो नब्बे सेकंड पहले शुरू हो चुकी है।

जब यह चीज़ आपका काम का फ़ोन हो, तो यह मामूली असुविधा नहीं है। मेरी कॉल Webex पर आती हैं, और मेरी VoIP लाइन इसी से चलती है, इसलिए जो क्लाइंट authenticate नहीं करेगा वह एक ऐसा डेस्क फ़ोन है जो बजेगा नहीं, एक मीटिंग जिसमें मैं नहीं हूँ, और एक सहकर्मी जिसे voicemail मिलता है। इसने मेरा काम रोक दिया। धीमा नहीं, कमज़ोर नहीं। रुक गया।

और इसमें से कुछ भी मेरे करने या रोकने का नहीं था। एक पूरा कामकाजी दिन बिगड़ गया क्योंकि quality control लागू नहीं किया गया, एक ऐसे सप्लायर पर जिसे पैसे मिलते हैं, एक ऐसे प्रोडक्ट पर जो support contract के साथ बिकता है, एक ऐसे प्लेटफ़ॉर्म पर जिसे उनका अपना requirements पेज supported कहता है। मैंने कुछ भी गलत configure नहीं किया। मैंने vendor का पैकेज, vendor की repository से, vendor के बताए प्लेटफ़ॉर्म पर install किया, और वह एक TLS connection नहीं खोल सका। फिर मैंने अपनी एक शाम यह पता लगाने में लगाई कि क्यों, जो वह समय है जो पैकेज पर signature करने वालों ने नहीं लगाया।

मशीन offline नहीं है। बगल में browser पेज लोड कर रहा है। आपकी मेल आ रही है, आपका terminal एक remote से pull कर रहा है, और अगर आप operating system से पूछें कि क्या वह इंटरनेट तक पहुँच सकता है, तो वह हाँ कहता है। Webex खुद भी अपने log में यही मानता है, आपको उल्टा बताने से ग्यारह सेकंड पहले।

असल में हुआ यह है कि Webex के अंदर Cisco का भेजा OpenSSL एक भी certificate authority नहीं ढूँढ पाता, क्योंकि उसे उन्हें /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl में ढूँढने के लिए compile किया गया था। यह Cisco के एक बिल्ड कंटेनर की डायरेक्टरी है। यह आपके कंप्यूटर पर कभी मौजूद नहीं रही और कभी होगी भी नहीं। ऐप्लिकेशन का हर TLS connection certificate verification पर फ़ेल होता है, login token refresh नहीं हो पाता, पंद्रह सेकंड का एक timer खत्म हो जाता है, और interface उस इकलौते कारण की ओर हाथ बढ़ाता है जिसके लिए उसके पास कोई string है।

तो बैनर एक खास और बेकार तरीके से गलत है। वह आपके नेटवर्क का नाम लेता है। गलती उनके बिल्ड के अंदर एक पाथ में है।

यह version 46.8.0.35631 है, Fedora 44 पर, kernel 7.2.4। यह एक supported प्लेटफ़ॉर्म है। Cisco Linux के लिए system requirements प्रकाशित करते हैं और एक signed .rpm भेजते हैं, webex-46.8.0.35631-1.x86_641। आगे बताया गया है कि इसे लगभग दस मिनट में कैसे साबित करें, कोई भी सीधा-सादा fix काम क्यों नहीं करता, कौन सा करता है, और फिर वह हिस्सा जो इन सबसे ज़्यादा मायने रखता है: यह कोई बारीक bug नहीं है। यह एक ऐसा बिल्ड है जिसे किसी ने कभी ऐसी मशीन पर नहीं चलाया जिसने उसे बनाया न हो।

बैनर असल में आपको क्या बता रहा है

Webex अपना connectivity display एक composite state machine से चलाता है, सात sub-machine, हर एक के अपने timer। शुरू होते समय वे ऐसे initialise होती हैं:

ConnectivityStateMachine::ConnectivityBanner - Initializing with state: Connected
ConnectivityStateMachine::Network        - Initializing with state: NoNetwork
ConnectivityStateMachine::Services       - Initializing with state: Connected
ConnectivityStateMachine::Mercury        - Initializing with state: Disconnected
ConnectivityStateMachine::Authentication - Initializing with state: UserNotAuthenticated
ConnectivityStateMachine::Syncing        - Initializing with state: Synced
ConnectivityStateMachine::Survivability  - Initializing with state: SurvivabilityHide

चालीस मिलीसेकंड बाद operating system जवाब देता है, और ऐप्लिकेशन उसे लिख लेता है:

NetworkManagerPowerNetworkWatcher.cpp:93 onConnectivityCheckSuccess::
  The host is connected to a network, that appears to be able to reach the full Internet.

यह लाइन उसी फ़ाइल में है, उसी session में, जिसमें बैनर दावा कर रहा है कि कोई इंटरनेट connection नहीं है। ऐप्लिकेशन को पता था। जवाब 08:25:12.131 पर उसके हाथ में था और उसने 08:25:27.132 पर उल्टा दिखाया।

उन दो पलों के बीच यह हुआ:

समयक्या हुआ
08:25:12.131Operating system पूरी इंटरनेट पहुँच की पुष्टि करता है
08:25:12.218Proxy detection: कोई configure नहीं, सीधा connection
08:25:12.241पहली HTTPS request फ़ेल, errorCode: 167772294 Error in SSL handshake
08:25:12.569CloudApps access token refresh फ़ेल, वही code
08:25:12.571Kms access token refresh फ़ेल, वही code
08:25:15.684दोबारा कोशिश, दोनों फ़ेल
08:25:21.745दोबारा कोशिश, दोनों फ़ेल
08:25:27.132पंद्रह सेकंड का timer खत्म, बैनर NoInternet पर
08:26:12.091साठ सेकंड के timer खत्म, सर्विस DisconnectedShortTerm पर गिरती हैं

Authentication sub-machine कभी UserNotAuthenticated से बाहर नहीं निकलती, इसलिए Services खुद को disconnected मान लेती है, इसलिए बैनर चल जाता है। दिए गए input के हिसाब से इसका हर चरण सही व्यवहार है। Input गलत है, और input एक संख्या है: 167772294, हर फ़ेल हुई request पर, पहली से आखिरी तक।

पूरी पोस्ट यही संख्या है। इसे याद रखिए।

तीन पाथ, जिनमें से कोई मौजूद नहीं

Webex सिस्टम का OpenSSL इस्तेमाल नहीं करता। वह अपना साथ लाता है, अपने libcurl के साथ, और वह libcurl आपके वाले के बजाय bundled वाले से link होता है:

$ ldd /opt/Webex/bin/libcurl.so | grep -E 'ssl|crypto'
    libssl.so.3    => /opt/Webex/bin/../lib/libssl.so.3
    libcrypto.so.3 => /opt/Webex/bin/../lib/libcrypto.so.3

यहाँ तक ठीक है। TLS library bundle करना एक बचाव-योग्य फ़ैसला है और बहुत से vendor ऐसा करते हैं। मायने यह रखता है कि उसमें क्या पका दिया गया, और पूछें तो OpenSSL बता देगा:

$ strings /opt/Webex/lib/libcrypto.so.3 | grep -E 'OPENSSLDIR|ENGINESDIR|MODULESDIR'
OPENSSLDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl"
ENGINESDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/engines-3"
MODULESDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/ossl-modules"

तीन। एक फिसली हुई setting नहीं। पूरा install prefix, उस मशीन से साथ चला आया जिसने इसे compile किया, एक ऐसी library में जो ग्राहक तक एक supported प्लेटफ़ॉर्म पर signed पैकेज के रूप में पहुँचती है।

OPENSSLDIR एक बार, configure के समय, --openssldir से सेट होता है, और OpenSSL का अपना बिल्ड documentation साफ़ कहता है कि यह किसलिए है: “Directory for OpenSSL configuration files, and also the default certificate and key store.”2 Trust से जुड़ी हर चीज़ इसी पर टिकी है। Default CA फ़ाइल इसके अंदर cert.pem है और default CA डायरेक्टरी इसके अंदर certs3। /workspace एक Conan बिल्ड cache है। Conan वह C++ package manager है जिससे Cisco बिल्ड करते हैं, और वह हर पैकेज को उसके बिल्ड inputs के hash के नीचे रखता है4। Hash cisco8ee8b59cf93de एक ऐसे कंटेनर के बारे में तथ्य है जो शायद बिल्ड खत्म होने के कुछ मिनट बाद ही मिटा दिया गया।

Library से पूछिए कि वह क्या है, और वह stock OpenSSL भी नहीं है:

VERSION              CiscoSSL 3.5.5.8.5.4 27 Jan 2026
BUILT_ON             built on: Wed Feb 25 06:29:18 2026 UTC
PLATFORM             platform: conan-Release-Linux-x86_64-gcc-13
DIR                  OPENSSLDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl"

एक maintained in-house fork, अपनी अलग version scheme के साथ, फ़रवरी में बिल्ड हुआ, अगस्त में भेजा गया, और अब भी उस working directory को साथ लिए हुए जिसमें वह बना था।

मशीन पर OpenSSL की हर copy अपने trust anchors कहाँ ढूँढती हैएक मशीन, OpenSSL की दो copy, और सिर्फ़ एक को पता है कि सर्टिफ़िकेट कहाँ हैंRuntime पर किसी copy को नहीं बताया जाता। हर एक में जवाब एक compile की हुई string है, जिसे बिल्ड चलाने वाला तय करता है।System copy: OpenSSL 3.5.8, Fedora 44compile किया हुआ OPENSSLDIR/etc/pki/tlsडायरेक्टरी मौजूद हैcert.pem → tls-ca-bundle.pemcerts/ → hash वाले anchorschain असली anchors से जाँची जाती हैHandshake पूरा। मशीन का हर दूसरा प्रोग्राम चलता है।इसीलिए यूज़र को पक्का यकीन है कि नेटवर्क ठीक है।Webex वाली copy: CiscoSSL 3.5.5.8.5.4compile किया हुआ OPENSSLDIR/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/sslकिसी ग्राहक की मशीन पर ऐसी डायरेक्टरी नहींcert.pem → गायबcerts/ → गायबstore शून्य trust anchors लोड करता हैHandshake फ़ेल: error 0x0A000086, दशमलव में 167772294।यूज़र को दिखाया गया बैनर कहता है कि नेटवर्क बंद है।
एक मशीन पर OpenSSL की दो copy। किसी को भी runtime पर नहीं बताया जाता कि trust कहाँ रहता है। हर एक में एक string compile की हुई है, और उनमें से एक string ऐसी डायरेक्टरी का नाम लेती है जो सिर्फ़ किसी और के बिल्ड होस्ट पर कभी मौजूद थी।

strings को जवाब मत मानिए। Library से पूछिए

strings फ़ाइल में text ढूँढता है। यह साबित नहीं करता कि library उसे इस्तेमाल करती है। तो भेजी गई library को लोड कीजिए और उससे सीधे पूछिए, जिसमें Python की लगभग बारह लाइनें लगती हैं और root की ज़रूरत नहीं:

import ctypes
c = ctypes.CDLL("/opt/Webex/lib/libcrypto.so.3")
for f in ("X509_get_default_cert_file", "X509_get_default_cert_dir",
          "X509_get_default_cert_file_env", "X509_get_default_cert_dir_env"):
    getattr(c, f).restype = ctypes.c_char_p
    print(f"{f:34} {getattr(c, f)().decode()}")
X509_get_default_cert_file         /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/cert.pem
X509_get_default_cert_dir          /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/certs
X509_get_default_cert_file_env     SSL_CERT_FILE
X509_get_default_cert_dir_env      SSL_CERT_DIR

यह रहा, library के अपने मुँह से। जब Webex में कोई भी चीज़ OpenSSL की इस copy से default trust store माँगती है, तो उसे एक फ़ाइल और एक डायरेक्टरी थमा दी जाती है जो मौजूद नहीं हैं। SSL_CTX_set_default_verify_paths यही करता है, और लगभग हर क्लाइंट यही करता है जब तक उसे कुछ और न बताया जाए।

आखिरी दो लाइनें ध्यान देने लायक हैं, क्योंकि वे बचने का रास्ता हैं: library SSL_CERT_FILE और SSL_CERT_DIR को दोनों पर override करने देगी5। इसे भी याद रखिए। यह ज़रूरी बनेगा, और उस तरह नहीं जैसा आप सोचेंगे।

ठीक वही error code दोबारा पैदा करना

देखकर साबित करना सबूत नहीं है। भेजी गई libssl.so.3 और libcrypto.so.3 लीजिए, एक असली होस्ट से एक असली handshake कीजिए, सिर्फ़ library के अपने defaults के साथ, और देखिए क्या लौटता है।

दिलचस्प run वह है जिसमें defaults किसी चीज़ की ओर इशारा नहीं करते। SSL_CERT_FILE और SSL_CERT_DIR ठीक उन्हीं दो values को override करते हैं जिन्हें गायब OPENSSLDIR लटका छोड़ देता है, इसलिए उन्हें एक न-मौजूद पाथ पर डालना भेजी गई हालत को बिल्कुल वैसा ही दोहरा देता है:

$ SSL_CERT_FILE=/nonexistent/cert.pem SSL_CERT_DIR=/nonexistent/certs python3 tls.py
set_default_verify_paths -> 1
set_fd -> 1
SNI -> 1
SSL_connect -> -1 SSL_get_error -> 1
verify result 20: unable to get local issuer certificate
  err: 0xa000086 error:0A000086:SSL routines::certificate verify failed

0x0A000086 दशमलव में 167772294 है।

यही संख्या Webex log की हर फ़ेल हुई लाइन में है, और यह Webex से नहीं आई। यह Cisco की अपनी TLS library से आई, उनके ऐप्लिकेशन के बाहर चलते हुए, ठीक एक कारण से फ़ेल होते हुए: उसके पास chain को जाँचने के लिए कोई trust anchor नहीं था। वही library, वही error, बीच में कोई ऐप्लिकेशन नहीं।

उन्हीं दो variables को असली Fedora bundle पर डालिए और वही code path पूरा हो जाता है:

$ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem python3 tls.py
SSL_connect -> 1 SSL_get_error -> 0
verify result 0: ok

उन दो runs के बीच नेटवर्क में कुछ नहीं बदला। एक फ़ाइल पाथ बदला।

नेटवर्क का हर चरण सफल। फ़ेल होने वाला चरण एक लोकल फ़ाइल lookup है।चार चरण नेटवर्क पार करते हैं और सफल होते हैं। पाँचवाँ एक फ़ाइल पढ़ता है और नहीं होता।भेजी गई libssl.so.3 और libcrypto.so.3 पर, Webex के बाहर, सिर्फ़ library के अपने defaults के साथ चलाया गया।TCP connect :443okClientHello, SNIokServerHello, chainok, chain मिलीchain को trust से जाँचनाकोई anchor लोड नहींlibrary क्या लौटाती हैSSL_connect -> -1verify result 20: unable to get local issuer certificateerr: 0xa000086 error:0A000086:SSL routines::certificate verify failed0x0A000086 दशमलव में 167772294 है, Webex log की हर फ़ेल लाइन वाली संख्या।ऐप्लिकेशन ने शब्द “certificate” कहीं नहीं लिखा। उसने “Error in SSL handshake” और एक दशमलव integer log किया, और interface नेउसे “Offline - No internet connection” बना दिया, जो वह इकलौती चीज़ है जो मशीन साबित तौर पर नहीं थी।यहाँ कुछ भी नेटवर्क की गलती नहीं। गायब सिर्फ़ एक डायरेक्टरी थी।
चार चरण नेटवर्क पार करते हैं और सफल होते हैं, सर्वर की पूरी certificate chain पाना भी। जो चरण फ़ेल होता है वह एक लोकल फ़ाइल खोलता है। यूज़र को उसके इंटरनेट connection के बारे में संदेश दिखाया जाता है।

किसी ने आपको चेतावनी क्यों नहीं दी

दो चीज़ें मिलकर इसे खामोश बनाती हैं, और उनमें से सिर्फ़ एक Cisco की गलती है।

क्या कभी एक शब्द नहीं बोलताकिसका डिज़ाइनवह चुप क्यों रहता है
ऐसा trust store लोड करना जो है ही नहींOpenSSL का, जानबूझकरSSL_CTX_set_default_verify_paths 1 लौटाता है चाहे पाथ असली हों या नहीं। “A missing default location is still treated as a success”3
पीछे हटने के लिए कुछ न होनाCisco का, और सहीसर्टिफ़िकेट validate होते हैं, self-signed अस्वीकार, SSL retry बंद, इसलिए गलती छिपाने वाला कोई degraded mode मौजूद नहीं

पहला उचित है। जो प्रोग्राम अपने anchor अलग से भेजता है उसे परवाह करने पर मजबूर नहीं होना चाहिए, इसलिए call सफल होती है, store खाली रहता है, और stack में कहीं भी कुछ नहीं कहता मैंने शून्य certificate authority लोड किए हैं। सबसे पहले जो चीज़ ध्यान देती है वह आधे सेकंड बाद एक verification failure है। मैंने यह call भेजी गई library पर /nonexistent की ओर इशारा करते पाथ के साथ चलाई और उसने 1 लौटाया। यह ऊपर के output में है।

दूसरा एक policy है जो सर्विस से नीचे आती है, और log इसे दर्ज करता है:

Wdm.cpp:1162 parseDeviceJson: Adding policy << allowSelfSignedCertificate with value: false
NetworkManager.cpp:1738 onConfigReady: ...httpRequestSSLRetryEnabled: 0
HttpRequestManager.cpp:1883 rawHttpRequest: {"validateCertificates":"true","useClientCertificate":"false"}

ये तीन flag ही इकलौता कारण हैं कि यह गलती कहीं बदतर चीज़ के बजाय एक outage है, और इस बात पर जल्दी से आगे बढ़ने के बजाय रुककर सोचना चाहिए।

इसे पूरा सोचिए। Bundled library शून्य trust anchor लोड करती है, और policy layer के नीचे कुछ भी इसे कभी नोटिस करने वाला नहीं था, क्योंकि failure पूरे रास्ते डिज़ाइन से ही खामोश है। जिसने इसे एक बैनर में बदला वह तीन flag थे। उनमें से किसी एक को उस तरह पलट दीजिए जैसे बहुत से क्लाइंट उसे भेजते हैं, और वही बिल्ड बिल्कुल फ़ेल नहीं होता। वह connect हो जाता है, किसी भी चीज़ से जिसके पास कोई भी सर्टिफ़िकेट हो, क्योंकि उसके पास जाँचने के लिए कुछ नहीं है।

वही टूटा trust store, एक बिल्कुल अलग गलती से सिर्फ़ एक policy flag दूरदोनों कॉलम में trust path बराबर टूटा है। सिर्फ़ policy तय करती है कि आपको कैसे पता चलेगा।दोनों में एक जैसा: compile किया OPENSSLDIR मौजूद नहीं, इसलिए store शून्य certificate authorities लोड करता हैजैसा Webex भेजता हैvalidateCertificates: trueallowSelfSignedCertificate: falsehttpRequestSSLRetryEnabled: 0जाँचने को कुछ नहीं, इसलिए मना करता है।Handshake फ़ेल। बैनर। आपका एक दिन गया।ज़ोरदार, और हानिरहित।इनमें से कोई एक उल्टा सेटvalidateCertificates: falseया self-signed की इजाज़तया बिना verification के retryजाँचने को कुछ नहीं, इसलिए आगे बढ़ता है।Handshake पूरा। किसी के भी साथ।खामोश, और हानिरहित नहीं।दोनों नतीजों को अलग करने वाली एक policy value थी, जिसे दूसरी टीम ने, defect के बाद, असंबंधित कारणों से सेट किया।Trust path कभी किसी की रक्षा नहीं कर रहा था। वह पूरे समय टूटा था, सवाल सिर्फ़ यह था कि वह किस तरफ़ फ़ेल होगा।
“Webex आज offline है” और “Webex ने जो भी जवाब दिया उस पर भरोसा कर लिया” के बीच का फ़र्क एक policy value है, जिसे एक दूसरी टीम ने, defect से नीचे की ओर, ऐसे कारणों से सेट किया जिनका उससे कोई लेना-देना नहीं।

यह किस रूप में सामने आता है, समस्या वही है। यूज़र को मिलता है “Offline - No internet connection”। Log को मिलता है “Error in SSL handshake” और एक दशमलव integer। शब्द certificate कहीं नहीं आता जहाँ यूज़र या पहली लाइन का support engineer कभी देखेगा, और इकलौता diagnostic सुराग एक संख्या है जिसे कुछ मतलब निकलने से पहले hex में बदलना पड़ता है।

वो fix जो काम नहीं आए

दोनों सीधे-सादे fix फ़ेल होते हैं, और कारण अलग-अलग हैं और दोनों जानने लायक हैं।

भेजी गई openssl.cnf को edit करना

Webex /opt/Webex/lib/openssl.cnf पर एक configuration फ़ाइल भेजता है, और जैसी भेजी गई है उसमें वह एक provider activate करती है:

[provider_sect]
fips = fips_sect

सिर्फ़ FIPS। default provider नहीं, जिसमें साधारण TLS algorithm रहते हैं6। उसे वापस जोड़ना एक लाइन का edit है और इससे कुछ भी नहीं बदलता, क्योंकि bundled OpenSSL वह फ़ाइल कभी पढ़ता ही नहीं। वह openssl.cnf को OPENSSLDIR के अंदर ढूँढता है7, और OPENSSLDIR वही पाथ है जो मौजूद नहीं है। फ़ाइल installation डायरेक्टरी में आधिकारिक दिखती हुई पड़ी रहती है। उसे कोई नहीं पढ़ता।

यह पहले defect के पीछे छिपा दूसरा defect है। अगर पाथ की समस्या कल OPENSSLDIR को /opt/Webex/lib पर डालकर ठीक कर भी दी जाए, तो यह configuration तब लोड होगी और सिर्फ़ FIPS को activate करेगी। और FIPS module खुद MODULESDIR से लोड होता है, उसी tree का तीसरा मरा हुआ पाथ, इसलिए /opt/Webex/lib में भेजा गया fips.so भी नहीं मिल सकता। तीन पाथ, एक गलत prefix, और हर एक इस तरह टूटा कि अगले को छिपा दे।

Environment variables सेट करना

Library SSL_CERT_FILE और SSL_CERT_DIR को मानती है। मैंने ऊपर यह साबित किया। सफल run वहीं है। तो सीधा कदम उन्हें desktop entry में सेट करना है, और यही आज़माया गया:

Exec=env OPENSSL_CONF=/opt/Webex/lib/openssl.cnf \
  SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \
  SSL_CERT_DIR=/etc/pki/tls/certs/ /opt/Webex/bin/CiscoCollabHost %U

कोई बदलाव नहीं। और कारण यह नहीं है कि Webex variables को अनदेखा करता है। कारण यह है कि process को वे कभी मिले ही नहीं:

$ tr '\0' '\n' < /proc/20293/environ | grep -E 'SSL|OPENSSL|CURL'
$ tr '\0' '\n' < /proc/20293/environ | wc -l
99

चलते हुए Webex process में निन्यानवे variables, और उनमें एक भी वो तीन नहीं जो सेट किए गए थे। क्योंकि इस मशीन पर एक ही नाम की दो desktop entries हैं:

फ़ाइलउसकी Exec लाइन क्या चलाती हैकिसने लिखी
/usr/share/applications/webex.desktopऊपर वाली तीन-variable env लाइन, पूरी.rpm ने, फिर हाथ से edit
~/.local/share/applications/webex.desktop/opt/Webex/bin/CiscoCollabHost %U, और कोई environment नहींWebex के अपने launcher ने

और specification इस बारे में अस्पष्ट नहीं है कि कौन जीतता है: “The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.”8 $XDG_DATA_HOME है ~/.local/share। यूज़र वाली copy पैकेज वाली को ढक देती है, हर बार, हर उस desktop पर जो spec मानता है9।

तो Webex अपने ही launcher की एक दूसरी copy आपकी home डायरेक्टरी में install करता है, और आपका desktop वही copy चलाता है। पैकेज वाली फ़ाइल जितना चाहें बदलिए। आप एक ऐसा दस्तावेज़ edit कर रहे हैं जिसे कोई नहीं पढ़ता।

एक ही नाम की दो desktop entries, और जीतती वह है जो Webex खुद के लिए लिखता हैEnvironment उस फ़ाइल में सेट हुआ जिसे desktop कभी नहीं पढ़तादो entries, एक नाम। खोज का क्रम लिखा हुआ है, और वह पैकेज वाली copy के पक्ष में नहीं।हाथ से edit, और पीछे छूटी/usr/share/applications/webex.desktopExec=env OPENSSL_CONF=... SSL_CERT_FILE=...दूसरी फ़ाइल के रहते कभी नहीं पढ़ी जातीWebex की लिखी, और यही जीतती है~/.local/share/applications/webex.desktopExec=/opt/Webex/bin/CiscoCollabHost %Uकोई environment सेट नहींछोड़ी गईचलाई गईXDG base directory specification: $XDG_DATA_HOME से तय base directory को $XDG_DATA_DIRS से तयकिसी भी base directory से ज़्यादा महत्वपूर्ण माना जाता है।सबूत, तर्क से नहीं बल्कि चलते process से:tr '\0' '\n' < /proc/20293/environ | grep -E 'SSL|OPENSSL' → कोई output नहीं, 99 variables, इनमें से कोई नहींतो fix असली था, फ़ाइल असली थी, और जिस process के लिए था वह कहीं और से शुरू हुआ।
Environment उस फ़ाइल में सेट किया गया जिसे desktop कभी नहीं पढ़ता। Webex अपनी entry यूज़र की data डायरेक्टरी में लिखता है, specification कहती है कि वह पैकेज वाली से ऊपर है, और सबूत चलता हुआ process है: निन्यानवे environment variables और उन तीन में से कोई नहीं।

वो fix जो काम करता है

अगर library एक पाथ पर अड़ी है, तो उसे वह पाथ दे दीजिए। वह डायरेक्टरी बनाइए जिसे चाहने के लिए उसे compile किया गया था, और उसे असली चीज़ के symlinks से भर दीजिए:

#!/bin/bash
# Point the bundled CiscoSSL at the system trust store by building the
# directory it was compiled to look for. Tested: Fedora 44, Webex 46.8.0.35631.
set -euo pipefail

OPENSSLDIR=$(strings /opt/Webex/lib/libcrypto.so.3 \
  | grep -oP '(?<=OPENSSLDIR: ")[^"]+')
[ -n "$OPENSSLDIR" ] || { echo "no OPENSSLDIR found in the shipped library"; exit 1; }

for p in /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \
         /etc/ssl/certs/ca-certificates.crt \
         /etc/pki/tls/certs/ca-bundle.crt \
         /etc/ssl/cert.pem; do
  [ -f "$p" ] && { CA_BUNDLE="$p"; break; }
done
[ -n "${CA_BUNDLE:-}" ] || { echo "no system CA bundle found"; exit 1; }

echo "OPENSSLDIR: $OPENSSLDIR"
echo "CA bundle:  $CA_BUNDLE"

sudo mkdir -p "$OPENSSLDIR"
sudo ln -sf "$CA_BUNDLE" "$OPENSSLDIR/cert.pem"
sudo ln -sf "$(dirname "$CA_BUNDLE")" "$OPENSSLDIR/certs"

sudo tee "$OPENSSLDIR/openssl.cnf" > /dev/null <<'CONF'
openssl_conf = openssl_init
[openssl_init]
providers = provider_sect
[provider_sect]
default = default_sect
fips = fips_sect
[default_sect]
activate = 1
CONF

echo "done. now restart Webex"

इसे restart कीजिए, और वही startup क्रम उल्टा नतीजा देता है। वही binary। वही log लाइनें। Token refresh, जो पहले साठ मिलीसेकंड में फ़ेल होता था, अब तीन सौ तीस में पूरा होता है:

AuthTokenRequester.cpp:579  Managed to fetch a new Kms access token.
AuthTokenRequester.cpp:579  Managed to fetch a new CloudApps access token.
AuthTokenSupervisor.cpp:310 Auth tokens refreshed. Expires in [64799 secs].
AuthenticationManager.cpp:1860 onUserAuthenticated: User authenticated.
ConnectivityStateMachine::Authentication - UserNotAuthenticated -> UserAuthenticated

लगभग 750 ms में authenticate, इसलिए पंद्रह सेकंड का timer कभी नहीं चलता और बैनर कभी नहीं दिखता। फ़ोन सर्विस Disconnected से Connecting पर जाती हैं, एक ऐसी हालत जहाँ टूटा हुआ session एक मिनट की कोशिश में कभी नहीं पहुँचा।

पहलेबाद में
नेटवर्क checkपासपास
पहली HTTPS request167772294 Error in SSL handshakeHTTP 200
CloudApps tokenफ़ेलमिल गया
Kms tokenफ़ेलमिल गया
AuthenticationUserNotAuthenticated पर अटकाUserAuthenticated
15 s पर बैनर“Offline - No internet connection”कोई नहीं
फ़ोन सर्विसकभी कोशिश नहींconnect हो रही
Authenticate होने का समयकभी नहीं~750 ms

ध्यान दीजिए कि यह fix आपके filesystem के साथ क्या करता है, क्योंकि इससे आपको परेशानी होनी चाहिए। यह आपकी मशीन पर /workspace नाम की एक top-level डायरेक्टरी बनाता है, एक ऐसा नाम जिसके लिए Filesystem Hierarchy Standard में कोई जगह नहीं10, जिसमें एक Conan cache पाथ और एक बिल्ड hash है जो उस कंपनी का है जिससे आपने software खरीदा। Cisco ने आपके लिए जो इलाज छोड़ा है उसकी शक्ल यही है: किसी और का बिल्ड environment अपने root पर mount कर लीजिए।

यह टूटेगा भी। तीन तरह से:

कब टूटता हैक्योंआप क्या करते हैं
Webex updatecisco8ee8b59cf93de बिल्ड inputs से बनता है, इसलिए दोबारा बिल्ड हुई dependency का मतलब नई डायरेक्टरीScript फिर चलाइए; वह पुराना मानने के बजाय नई binary से पाथ पढ़ती है
Distribution में बदलावSymlink का target distribution का फ़ैसला है, standard नहीं11उसे फिर से point कीजिए; script चार जानी हुई जगहें जाँचती है
दोबारा install/workspace का न backup होता है, न वह package होता है, न किसी का होता हैफिर चलाइए, हर बार, हमेशा

इसमें से कुछ भी maintenance नहीं है। यह आप हैं, किसी और की बिल्ड pipeline के एक चरण की जगह खड़े, अनिश्चित समय तक, बिना पैसे के। हर उस मशीन पर runtime पर एक defect को patch करना जो आपकी है, क्योंकि vendor ने उसे बिल्ड के समय एक बार patch नहीं किया।

नियम उन्हें पता था और उन्होंने आधे बिल्ड पर लगाया

यहीं से यह bug report एक तर्क बन जाता है।

भेजी गई binaries का dynamic section पढ़िए:

$ readelf -d /opt/Webex/bin/libcurl.so | grep RUNPATH
 0x1d (RUNPATH)  Library runpath: [$ORIGIN:$ORIGIN/../lib]
$ readelf -d /opt/Webex/bin/CiscoCollabHost | grep RUNPATH
 0x1d (RUNPATH)  Library runpath: [$ORIGIN/../lib]

$ORIGIN लोड होते समय उस डायरेक्टरी में बदल जाता है जिसमें object खुद है12। Relocatable bundle के लिए यही सही औज़ार है और उन्होंने इसे ठीक से इस्तेमाल किया। उन्हें करना ही था: Webex एक ही tree दो बार भेजता है, एक बार /opt/Webex में और एक बार ~/.local/share/WebexLauncher/46.8.0.35631_9e6196c9-…/ में, और एक launcher startup पर उनमें से चुनता है। दो prefix, एक बिल्ड, और linker दोनों में अपनी libraries ढूँढ लेता है।

तो जिन लोगों ने यह पैकेज बनाया वे समस्या को बिल्कुल ठीक समझते थे। Absolute पाथ भेजे जाने के बाद नहीं बचते। उन्होंने इसे कोड के लिए हल किया।

फिर उन्होंने डेटा पाथ को absolute strings के रूप में छोड़ दिया, जो उस कंटेनर का नाम लेते हैं जिसने उन्हें compile किया। वही बिल्ड। वही दोपहर।

Bundle का एक पाथ खुद को relocate करता है। दूसरा कहीं किसी data centre की मशीन का नाम लेता है।उन्हें पता था कि bundle को हिलना है। उन्होंने यह सिर्फ़ कोड पर लागू किया।दोनों values बिल्ड के समय, उन्हीं लोगों ने, उसी दिन सेट कीं। एक लोड के समय फैलती है, दूसरी कभी नहीं।कोड कहाँ से आता है: सापेक्ष expression के रूप में दर्जlibcurl.so में RUNPATH$ORIGIN:$ORIGIN/../lib/opt/Webex/lib मिल गया~/.local/share/WebexLauncher/46.8.0.35631_.../lib यह भी मिल गयासही, और जानबूझकर। वही tree दो अलग prefix में दो बार भेजा जाता है और linker दोनों में ढूँढ लेता है।Trust कहाँ से आता है: किसी की working directory के रूप में दर्जlibcrypto.so.3 में OPENSSLDIR/workspace/.conan2/p/b/cisco8ee.../p/sslऐसा पाथ नहीं नहीं मिलाENGINESDIR और MODULESDIR: वही tree, वही नतीजाबिल्ड कंटेनर के अंदर के तीन absolute पाथ, हर ग्राहक को भेजे गए, support contract के साथ बिकने वाले प्रोडक्ट पर।इस तस्वीर के दो आधों के बीच की दूरी है एक व्यक्ति, जो packaged artefact को ऐसी मशीन पर चलाए जिसने उसे बनाया नहीं।पूरा defect यही है। मुश्किल bug नहीं। बिना test वाला।
वही बिल्ड, वही दिन, वही engineer। Library search path एक ऐसे expression के रूप में दर्ज है जो tree जहाँ भी पहुँचे वहाँ resolve हो जाता है। Trust path किसी की working directory के रूप में दर्ज है।

तो इसे उन्हें पता नहीं था के खाने में नहीं डाला जा सकता। $ORIGIN ऐसी चीज़ नहीं जिस पर आप ठोकर खाकर पहुँचें। आप उसकी ओर इसलिए हाथ बढ़ाते हैं क्योंकि आप समझ चुके हैं कि भेजे गए artefact में पका हुआ absolute पाथ एक defect है, और इतना अच्छी तरह समझ चुके हैं कि जाकर उसे linker में ठीक करें। फिर वही बिल्ड उन्हीं libraries में तीन absolute पाथ लिख देता है, और उन्हें भेज देता है।

नियम जानना और उसे आधे बिल्ड पर लगाना, न जानने से बदतर है। न जानना training की समस्या है और training का इलाज है। यह एक ऐसा पैकेज है जिसमें सही विचार मौजूद था, लिखित रूप में, ELF header में जहाँ कोई भी पढ़ सकता था, और फिर भी वह टूटा हुआ दरवाज़े से बाहर गया। जिससे पता चलता है कि compiler के बाद कुछ भी नतीजे को नहीं देख रहा था। कुछ भी नहीं।

कंटेनर पहले से वहीं था

/workspace कहाँ से आया, यह कोई रहस्य नहीं, और आपको अंदाज़ा नहीं लगाना पड़ता। यह पैकेज header में है:

$ rpm -qi webex | grep -E 'Build Host|Build Date|Vendor'
Build Date  : Sat 08 Aug 2026 20:47:43 BST
Build Host  : c964ea9239ae
Vendor      : Cisco

c964ea9239ae ऐसा hostname नहीं जो किसी ने type किया हो। यह बारह hexadecimal अक्षर हैं, जो एक कंटेनर अपने hostname के रूप में बताता है जब कोई सेट न करे। तो पैकेज एक कंटेनर के अंदर बिल्ड हुआ, एक ऐसी कंपनी ने जिसके पास साफ़ तौर पर ऐसा करने के लिए images, registry और orchestration हैं, और इस मशीन पर तीन अलग artefact यह स्वतंत्र रूप से कहते हैं:

Install किए पैकेज से पढ़ा गया सबूतValueयह क्या साबित करता है
RPM header में Build Hostc964ea9239aeएक कंटेनर ID, बिल्ड मशीन नहीं
libcrypto.so.3 में OPENSSLDIR/workspace/.conan2/…एक पाथ जो सिर्फ़ उस कंटेनर के अंदर है
उसी library में PLATFORMconan-Release-Linux-x86_64-gcc-13एक कंटेनर में चलता Conan toolchain
RPM में Requiresglibc >= 2.28जानबूझकर चुना गया, बहुत पुराना ABI floor

फिर उन्होंने इस पर signature किया। बिल्ड 20:47:43 पर खत्म हुआ और signature उसी शाम 21:02:07 का है, key ID 9995e5bbb5ccde3c। पंद्रह मिनट। तो एक release gate है, कोई या कुछ उसे चलाता है, और वह जिस बात की गवाही देता है वह है पैकेज किसने बनाया, यह नहीं कि पैकेज काम करता है या नहीं। Signature मूल स्रोत के बारे में बयान है। यह कभी उपयुक्तता के बारे में बयान नहीं रहा, और जिस process में एक है और दूसरा नहीं, उसकी प्राथमिकताएँ उल्टे क्रम में हैं।

क्योंकि छूटा हुआ चरण सस्ता वाला है। कंटेनर pipeline में पहले से है। अभी-अभी उससे निकला artefact लीजिए, हर उस distribution की एक साफ़ image शुरू कीजिए जिसे supported बताते हैं, उसे install कीजिए, चलाइए, और log की पहली सौ लाइनें पढ़िए:

docker run --rm fedora:44 sh -c '
  dnf -y install ./webex-46.8.0.35631-1.x86_64.rpm &&
  timeout 25 /opt/Webex/bin/CiscoCollabHost &
  sleep 20
  grep -c "Error in SSL handshake" ~/.local/share/Webex/current_log.txt'

इस बिल्ड पर हर बार शून्य से ज़्यादा। Install 1.1 GB का है, तो गर्म cache पर हर target के लिए एक मिनट मान लीजिए। छह distributions यानी पहले से चल रही एक मशीन के छह मिनट, उस hardware पर जो Cisco के पास पहले से है, उस pipeline में जो पहले से मौजूद है। यह नहीं चलाया गया। एक बार भी नहीं।

और Linux के बारे में लोग जो अब भी कहते हैं कि कई distributions को support करना मुश्किल है, उसका जवाब यही है। यह उस दिन मुश्किल नहीं रहा जिस दिन यह tooling आई, और यह tooling वही है जिससे वे compile करते हैं। हर target के लिए एक base image। हर एक में वही artefact। Matrix एक loop है।

जो pipeline कंटेनर में बिल्ड करती है और नतीजा कभी उसमें नहीं चलाती, वह pipeline नहीं है। वह एक compiler है जिसके आगे एक cron job है और पीछे एक signing key, और वह जो भी बनाता है वह एक अंदाज़ा है।

वे कंटेनर में बिल्ड करते हैं और नतीजा कभी उसमें नहीं चलातेकंटेनर pipeline में पहले से है। वह सिर्फ़ उस आधे के लिए इस्तेमाल होता है जो vendor को सूट करता है।नीचे की हर value मशीन पर पड़े पैकेज से पढ़ी गई है, अंदाज़ा नहीं।बिल्ड, कंटेनर के अंदरBuild Host: c964ea9239ae/workspace/.conan2/p/b/...conan-Release-Linux-x86_64-gcc-13कंटेनर के तीन अलग सबूतSign और प्रकाशनबिल्ड 20:47:43sign 21:02:07पंद्रह मिनट, और एक release gateजो बताता है कौन, कभी यह नहीं कि चलता हैग्राहकdnf install webexइसे खोलता है“Offline - No internet”वह चरण जो pipeline में कहीं नहीं हैdocker run --rm fedora:44 sh -c 'dnf -y install ./webex.rpm && CiscoCollabHost &sleep 20; grep -c "Error in SSL handshake" ~/.local/share/Webex/current_log.txt'वही infrastructure। हर target distribution के लिए एक image। हर एक में एक मिनट से कम, और इस बिल्ड पर ज़ोर से फ़ेल।कई distributions के लिए बिल्ड करना उसी दिन मुश्किल नहीं रहा जब यह tooling आई, और यह वही tooling है जिससे वे compile करते हैं।जो pipeline कंटेनर में बिल्ड करे और नतीजा कभी उसमें न चलाए, वह आगे cron job और पीछे signing key वाला एक compiler है।
भेजे गए पैकेज में तीन स्वतंत्र सबूत कि बिल्ड एक कंटेनर में चला, बिल्ड के पंद्रह मिनट बाद लगाया गया signature, और वह इकलौता चरण जो कहीं नहीं दिखता: तैयार पैकेज को हर उस प्लेटफ़ॉर्म की साफ़ image में चलाना जिसके लिए उसे supported बताकर बेचा जाता है।

2026 की release 2018 की libc पर क्यों बनी है?

पैकेज बताता है कि उसे क्या चाहिए, और दिलचस्प लाइन पहली है:

$ rpm -q --requires webex | grep glibc
glibc >= 2.28

glibc 2.28 1 अगस्त 2018 को रिलीज़ हुआ था13। यह Red Hat Enterprise Linux 8 का version है14, एक ऐसी release जिसका full support 2024 में खत्म हो गया। यह 2026 का प्रोडक्ट है, 2026 में compile हुआ, और 2018 की C library को target करता है। फिर यूज़र की home डायरेक्टरी में libstdc++.so.6 की अपनी 2.5 MB copy भेजता है, क्योंकि इतने पुराने base के साथ आने वाला C++ runtime इस कोड को नहीं संभाल सकता।

आज भी कोई ऐसा क्यों करेगा? क्योंकि वे static linking नहीं करेंगे।

बस इतनी सी बात है। जिस पल आप होस्ट की C library से dynamically link करते हैं, सबसे पुराना distribution जिसे आप support करने को तैयार हैं, उस मशीन पर एक बंधन बन जाता है जिस पर आप compile करते हैं। आप ऐसा कोई symbol इस्तेमाल नहीं कर सकते जिसके बारे में सबसे पुराने target ने कभी सुना न हो, इसलिए आप बिल्ड को एक प्राचीन base image पर बाँध देते हैं और वहीं रहते हैं। हर साल फ़ासला बढ़ता है। हर नई भाषा या library feature इस बहस के साथ आता है कि क्या floor हिल सकता है। सबसे बुरे हिस्से को ढकने के लिए अपना libstdc++ भेजिए, और अब आप एक private runtime भी maintain कर रहे हैं।

यह सौदा तब समझ में आता था जब बिल्ड होस्ट एक rack में रखी physical मशीन होती थी जिसे किसी को दोबारा install करना पड़ता था। एक दशक से इसका कोई मतलब नहीं रहा। अगर आपको होस्ट की libc से link करना ही है, तो हर target के लिए एक कंटेनर आपको हर प्लेटफ़ॉर्म के असली version पर असली बिल्ड देता है, और कोई दूसरे को बाँधता नहीं।

लेकिन देखिए पुराने target वाले अनुशासन ने यहाँ असल में क्या खरीदा। काफ़ी कीमत पर ABI की सावधानी: आठ साल पुराना floor, एक bundled C++ runtime, उसके चारों ओर जमा हुआ support matrix। और क्लाइंट फिर भी शुरू नहीं होता। क्योंकि जो टूटा वह एक फ़ाइल पाथ था, और symbol versions की कितनी भी परवाह फ़ाइल पाथ को नहीं बचाती। उन्होंने compatibility का टैक्स और bundling का टैक्स भरा, और वह एक check छोड़ दिया जिसकी कोई कीमत नहीं। दोनों बिल। कोई प्रोडक्ट नहीं।

उन्होंने self-contained bundle की कीमत चुकाई और वह मिला नहीं

Linux पर commercial software भेजने का पुराना तरीका है होस्ट पर जितना हो सके उतना कम निर्भर रहना। जहाँ हो सके static, जहाँ न हो सके एक self-contained tree, और नीचे के distribution के बारे में कोई मान्यता नहीं। यह सुंदर नहीं है और कोई ऐसा दिखावा नहीं करता। यह विकल्प की वजह से मौजूद है। जिस binary को किसी खास जगह पर किसी खास library का खास version चाहिए, वह हर ग्राहक की मशीन को एक support case बना देती है।

Cisco ने दूसरा रास्ता चुना और bundle किया। बिल यह रहा:

Bundle में क्या हैआकार या गिनती
/opt/Webex/lib में shared objects150
उनका अपना libcurl, CiscoSSL, zlib-ng, ICU, Kerberos, CUPS client, hunspell और inference engineसब के सब
/opt/Webex के नीचे install1.1 GB
~/.local/share/WebexLauncher के नीचे दूसरी copy, हर यूज़र के लिए1.1 GB
एक chat और calling क्लाइंट के लिए disk पर2.2 GB

दो gigabyte dependencies। Bundling की पूरी कीमत यही है: download, disk, दोहराव, किसी भी चीज़ को patch कर सकने वाला इकलौता पक्ष होने का security बोझ, सब कुछ। यह चुकाइए और आप एक ऐसा प्रोग्राम खरीदते हैं जिसे परवाह नहीं कि होस्ट पर क्या install है, जो Fedora और Debian और Arch और जिस पर भी ग्राहक ने इस साल standardise किया हो, सब पर एक जैसा चलता है, और जिसे कोई ऐसा distribution upgrade नहीं तोड़ सकता जिसके बारे में उसने कभी सुना न हो।

सिवाय इसके कि उसे परवाह है। उसे एक डायरेक्टरी की बहुत परवाह है, और वह डायरेक्टरी एक बिल्ड सर्वर पर है।

उन्होंने अपना Kerberos और अपना ICU और अपना spell checker भेजा, और सर्टिफ़िकेट तक का एक काम करता पाथ नहीं भेज सके। Bundle का पूरा मकसद self-contained होना है, और वह उसी एक मामले में self-contained नहीं है जो उसे काम करने से रोकता है। उन 1.1 GB में से हर चीज़ $ORIGIN के ज़रिए सही ढंग से मिल जाती है। सबसे ज़्यादा मायने रखने वाले चालीस-कुछ bytes नहीं मिलते।

और यही हिस्सा मुझे खलता है। Bundling महँगा विकल्प है। उन्होंने खर्च उठाया, मुश्किल engineering की, दो install prefix में डेढ़ सौ libraries के लिए relocation सही किया। फिर उस एक हिस्से को, जो तय करता है कि इसमें से कुछ भी काम करेगा या नहीं, एक ऐसी मशीन की ओर मोड़ दिया जो किसी ग्राहक के पास कभी नहीं रही।

किसी ने इसे document भी नहीं किया

पहली विफलता के बगल में एक दूसरी विफलता बैठी है, और यही वह है जो पहली को पकड़ लेती।

पैकेज से पूछिए कि वह कौन सा documentation भेजता है:

$ rpm -qd webex | wc -l
0
$ rpm -qc webex | wc -l
0

कोई documentation फ़ाइल नहीं। और कोई configuration फ़ाइल नहीं। एक ऐसे पैकेज में %config के रूप में चिह्नित शून्य entries जो एक openssl.cnf भेजता है। यह सजावटी बात नहीं है। RPM किसी फ़ाइल को %config इसलिए चिह्नित करता है ताकि package manager वह सुरक्षित रखे जो administrator ने बदला, उसे कुचलने के बजाय एक .rpmsave बचाकर1516। /opt/Webex/lib/openssl.cnf एक साधारण फ़ाइल के रूप में भेजी गई है, इसलिए अगला update आपके किए किसी भी edit को overwrite कर देता है और आपको कुछ नहीं बताता। जिस एक फ़ाइल को ग्राहक को जायज़ तौर पर बदलना पड़ सकता है, packaging उसी को फेंकने लायक मानती है।

कहीं भी प्रकाशित नहीं है कि क्लाइंट कौन सा trust store इस्तेमाल करता है, कौन से environment variables मानता है, या अपनी TLS configuration कहाँ से पढ़ता है। जाँचने के लिए कोई पेज नहीं। कोई लिखा ही नहीं गया। इसमें से कुछ भी स्थापित करने का मेरे पास इकलौता तरीका था भेजी गई binaries पर strings, readelf, ldd और ctypes। एक supported प्रोडक्ट को reverse-engineer करना, एक ऐसे सवाल का जवाब पाने के लिए जो उसका documentation एक वाक्य में दे देता।

और यह जितना लगता है उससे ज़्यादा क्यों मायने रखता है, वह यह है। वह documentation लिखना अपने आप में एक test है। Vendor के किसी भी व्यक्ति को एक खाली पेज के सामने बिठाइए जिसका शीर्षक हो Linux के लिए Webex अपने CA सर्टिफ़िकेट कहाँ से पढ़ता है, और सबसे पहले उन्हें जाकर देखना पड़ेगा। जिस पल वे देखेंगे, उन्हें /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl मिलेगा, और उनके मुँह से अगली चीज़ एक सवाल होगा। Documented configuration पाथ ग्राहक के फ़ायदे के लिए कागज़ी काम नहीं हैं। वे सबसे सस्ता audit हैं जो कोई vendor अपने बिल्ड पर चला सकता है, और उन्हें छोड़ देना ही वह तरीका है जिससे ऐसा पाथ release तक बचा रह जाता है।

इसमें से कुछ भी बड़ी माँग नहीं है। बताइए कि आपकी configuration कहाँ रहती है। बताइए कि आप कौन से environment variables मानते हैं। अपनी configuration फ़ाइलों को configuration के रूप में चिह्नित कीजिए ताकि update उन्हें खा न जाए। तब जिस ग्राहक को गड़बड़ मिले उसके पास देखने की कोई जगह होगी जो hex editor न हो।

किसी ने इसे चलाया नहीं

छूटे हुए चरण का नाम ऊपर काफ़ी बार लिया जा चुका है। पूछने लायक यह है कि यह इस प्लेटफ़ॉर्म पर क्यों छूटा और दूसरों पर क्यों नहीं।

कम से कम Fedora पर तो नहीं। macOS और Fisher-Price OS (Windows) पर इस तरह की गलती इस रूप में सामने नहीं आ सकती, क्योंकि उन प्लेटफ़ॉर्म पर एक system TLS stack है जिसका trust store operating system संभालता है। Linux पर ऐसी कोई चीज़ नहीं है। OpenSSL ही trust store है, और इसलिए जो भी उसे भेजता है वह तय करता है कि वह कहाँ देखे। तो वह इकलौता प्लेटफ़ॉर्म जहाँ bundled library पूरा वज़न उठाती है, वही प्लेटफ़ॉर्म है जो बिना test के भेजा गया, और यह इस बारे में फ़ैसला है कि कौन से ग्राहक एक smoke test के लायक हैं।

पूरी जाँच में एक शाम लगी: log पढ़ना, यह देखना कि नेटवर्क detection बैनर के उल्टा दावा करने से पहले पास हो चुका था, binary से compile हुआ पाथ निकालना, भेजी गई library पर ठीक वही error code दोबारा पैदा करना। यह सब एक AI agent के साथ हुआ जो log correlation और ctypes harness कर रहा था, जबकि मैं तय कर रहा था कि उससे क्या पूछूँ। मैं यह एक कारण से बता रहा हूँ: जो diagnosis एक vendor ने इस पैकेज पर signature करने और उसे अपनी repository में रखने से पहले कभी नहीं किया, वह अब धैर्य से देखने वाले किसी भी ग्राहक की एक शाम की पहुँच में है। Cisco के engineers के पास भी Claude उतना ही उपलब्ध है जितना किसी और के पास, और वह इसे ठीक से बनाता। आप उससे /workspace/.conan2 को एक भेजे जाने वाले artefact में पकाने को नहीं कह सकते, बिना यह सुने कि artefact के workspace छोड़ते ही क्या होगा। इसे पकड़ने का tooling अब दुर्लभ नहीं है, और न ही इसका ज्ञान। जो गायब है वह vendor पर कोई ऐसा व्यक्ति है जिसका काम देखना था।

इस बीच इस समस्या से जूझ रहे व्यक्ति के लिए support का रास्ता एक बैनर है जो कहता है कि उनका इंटरनेट बंद है। वे router restart करेंगे। वे अपने provider को फ़ोन करेंगे। वे एक ticket उठाएँगे जो कहीं नहीं जाएगा, क्योंकि Cisco ने जो लक्षण दिखाना चुना वह Cisco से दूर इशारा करता है।

जो गलत हुआ उसकी पूरी सूची यही है। यह बताना ज़रूरी है कि सही कैसा दिखता, क्योंकि इसकी हर चीज़ का एक तय जवाब है जो इस प्रोडक्ट से पुराना है।

इसे कैसे बनाया जाना चाहिए था

क्या गलत हुआ, बहुत हो गया। Standard यह है, और इसमें कुछ भी नया नहीं। किसी और के कंप्यूटर पर binary भेजना बीस साल से आपसे यही माँगता रहा है।

उस फ़ैसले से शुरू कीजिए जो Cisco ने सिद्धांत में सही और अमल में गलत किया: आप होस्ट पर कितना निर्भर होने को तैयार हैं। Static linking सबसे मज़बूत जवाब है, और इसके बारे में ठोस होना ज़रूरी है, क्योंकि “बस static link कर दो” उन लोगों द्वारा उछाला जाता है जिन्होंने कभी करना नहीं पड़ा और उन लोगों द्वारा खारिज किया जाता है जिन्होंने कभी कोशिश नहीं की।

यह क्या हटाता हैइसकी कीमत क्या है
RUNPATH, और उसे गलत करने का हर तरीका, क्योंकि लोड के समय कोई खोज नहीं होतीglibc साफ़ static link नहीं होता: नाम और यूज़र lookup dlopen से होकर जाते हैं, इसलिए binary अब भी होस्ट के NSS modules की ओर हाथ बढ़ाती है17
glibc floor, ताकि सबसे पुराना distribution यह तय करना बंद कर दे कि आप किस पर compile करेंLGPL हिस्सों पर relinking की बाध्यता है, इसलिए वे dynamic रहते हैं या आप relink के लिए ज़रूरी चीज़ें भेजते हैं
किसी distribution upgrade, library के नाम बदलने या पुराने ldconfig cache से टूटनाहर patch आपका है: distribution का कोई security update आपके ग्राहकों तक नहीं पहुँचता
ऐसी डायरेक्टरी से versioned .so का dlopen जो शायद हो ही नहींबड़ा download, और processes के बीच pages की कोई साझेदारी नहीं

और बाएँ कॉलम में एक लाइन है जिसका बाकी सब सिर्फ़ साथ दे रहे हैं: आपकी pipeline ने जो artefact बनाया, ग्राहक वही artefact चलाता है, byte दर byte। उसे test कीजिए और आपने वही चीज़ test की जो आपने भेजी। पूरी पोस्ट इसी गुण के न होने के बारे में है।

दाएँ कॉलम के बारे में ईमानदार होना ज़रूरी है। असली कीमतें, और यही कारण है कि लोग musl की ओर जाते हैं या एक hybrid स्वीकार करते हैं। लेकिन तीसरी पंक्ति देखिए। हर patch का मालिक होना बिल्कुल वैसे ही उस पर लागू होता है जो Cisco ने पहले ही किया: 150 libraries का bundled tree वही प्रतिबद्धता है, लोड के समय की किसी गारंटी के बिना। उन्होंने दोनों तरह हर patch का मालिक बनना स्वीकार किया और बदले में कुछ नहीं पाया।

तो नियम सीधा है, और यही नियम उन्होंने तोड़ा: जो कुछ आप link करके अंदर नहीं ला सकते, उसे binary के सापेक्ष पाथ से ढूँढना होगा। कोड के लिए $ORIGIN, और वही अनुशासन, सोच-समझकर, हर उस डेटा पाथ के लिए जिसे library ढूँढने जाएगी। इस मामले में ऐसे चार हैं और हर एक पर एक documented handle है:

Library क्या ढूँढने जाती हैक्या भेजा गयाक्या होना चाहिए था
Trust anchorsOPENSSLDIR/cert.pem, बिल्ड के समय तयtree में भेजा गया, या startup पर SSL_CERT_FILE सेट5
ConfigurationOPENSSLDIR/openssl.cnf, वही पाथ, कभी नहीं मिलाOPENSSL_CONF, पैकेज वाली copy की ओर5
Providers, FIPS सहितMODULESDIR, absolute, इसलिए fips.so तक पहुँच नहींOPENSSL_MODULES, “the directory from which cryptographic providers are loaded”5
EnginesENGINESDIR, absoluteOPENSSL_ENGINES, या कुछ नहीं, क्योंकि OpenSSL 4.0 ने engine support पूरी तरह हटा दिया5

चार पाथ, चार environment variables, सब एक ही manual page में जो उनकी अपनी library के साथ आता है। अगर आपके artefact में कोई string / से शुरू होती है और बिल्ड के समय तय हुई थी, तो वह एक defect है जो किसी ग्राहक के ढूँढने का इंतज़ार कर रहा है। कोई तीसरा विकल्प नहीं है जिसमें absolute बिल्ड पाथ ठीक हो।

इस वाले के fix, और वो check जो इसे पकड़ता है

सिद्धांत से नीचे इस खास defect पर। छह बदलाव, उनमें से एक भी research नहीं:

Fixमेहनतयह सही क्यों है
--openssldir=/opt/Webex/lib/ssl सेट कीजिए और tree भेजिएएक configure flagतब पाथ पैकेज में मौजूद होता है, और flag इसी लिए है2
Startup पर CiscoSSLUtils में SSL_CERT_FILE/SSL_CERT_DIR सेट कीजिए, जानी हुई distribution जगहें जाँचते हुएदर्जन भर लाइनेंStandard, documented, उनकी अपनी library पहले से support करती है5
CA bundle खुद पैकेज के अंदर भेजिएसिर्फ़ packagingTrust पर पूरा नियंत्रण, उसे ताज़ा रखने की ज़िम्मेदारी की कीमत पर
openssl.cnf ठीक कीजिए ताकि default provider activate होएक लाइनचाहे जो हो ज़रूरी, और अभी पाथ वाली गलती के पीछे छिपा है6
openssl.cnf को %config चिह्नित कीजिएएक spec लाइनUpdate को चुपचाप administrator का बदलाव खाने से रोकता है15
पाथ और माने जाने वाले variables प्रकाशित कीजिएएक पेजसबसे सस्ता audit, और लिखते समय ही यह गलती पकड़ लेता है

पहला वाला एक-flag fix है और इससे प्रोडक्ट काम करता हुआ भेजा जाता। यह बिल्ड script में एक value है, एक बार सेट की हुई, जिसे उन्होंने गलत किया क्योंकि आगे कुछ भी उसे कभी नहीं जाँचता था।

Check fix से भी छोटा है:

# in CI, on the packaged artefact, in a clean container
test -d "$(strings lib/libcrypto.so.3 | grep -oP '(?<=OPENSSLDIR: ")[^"]+')" \
  || { echo "shipping a trust store path that does not exist"; exit 1; }

एक लाइन। यह इस release को ज़ोर से फ़ेल कर देती, फ़रवरी में, उसी मशीन पर जिसने इसे बनाया, उसी कंटेनर में जिसने इसे बनाया, पैकेज पर signature होने से पहले। यह वहाँ इसलिए नहीं है कि यह मुश्किल या महँगा है। इसलिए नहीं है क्योंकि किसी से इसे लिखने को कहा नहीं गया, और इसलिए यह किसी का काम नहीं था कि packaged artefact software की तरह व्यवहार करता है या नहीं।

एक लापरवाह बिल्ड प्रोसेस बाकी सबको क्या कीमत चुकवाता है

ऊपर का सब कुछ एक प्रोडक्ट का बिल्ड प्रोसेस है, अंदर से देखा हुआ, और मैं आपको वापस उसमें से नहीं घुमाऊँगा। पूछने लायक सवाल यह है कि क्या परवाह का यह स्तर एक टीम पर रुकने की संभावना है।

तो बाहर का रिकॉर्ड इसके बगल में रखिए। CISA उन कमज़ोरियों का एक कैटलॉग रखता है जो खुले में exploit होती पाई गई हैं। सैद्धांतिक नहीं, score की हुई नहीं। लोगों के खिलाफ़ इस्तेमाल होते देखी गईं। 14 सितंबर 2026 तक इसमें 1,710 entries हैं18:

VendorKEV कैटलॉग में entries
Microsoft388
Cisco98
Apple94
Adobe81
Google74
Oracle46
Fortinet30
VMware26

दूसरे नंबर पर, एक operating system monopoly के पीछे और बाकी सबसे आगे। सबसे हाल की Cisco entry 14 सितंबर 2026 को जुड़ी, इसके लिखे जाने से एक दिन पहले।

मैंने तीन हफ़्ते पहले /hi/random/is-your-msp-lying-to-you-part2/ के लिए यही फ़ाइल गिनी थी: version 2026.08.27, 1,685 entries, Cisco 96 पर। तब से दो और, इक्कीस दिनों में।

ईमानदार रहिए कि यह तालिका अकेले क्या साबित करती है और क्या नहीं। ऊँचे मूल्य वाली जगहों पर बड़ा installed base ध्यान खींचता है, और ध्यान bugs ढूँढ लेता है, इसलिए उस पैमाने का कोई भी vendor एक लंबी सूची रखेगा। यह संख्या एक पूर्वधारणा है, फ़ैसला नहीं।

कुल से ज़्यादा उसकी बनावट को टालना मुश्किल है। Cisco की अट्ठानवे में से पच्चीस security वाली product lines पर हैं: firewalls, appliances, VPN concentrators, mail और web gateways, identity services। और उनके खिलाफ़ जुड़ी चार सबसे हाल की entries, एक के बाद एक, हैं Secure Firewall Management Center दो बार, Secure Firewall ASA, और Secure Email Gateway, उनमें आखिरी 14 सितंबर 2026 को18। Switches नहीं। Collaboration kit नहीं। वे प्रोडक्ट जो खास तौर पर इसलिए बेचे जाते हैं कि वे बाकी सबको सुरक्षित रखें।

यही वह वाक्य है जिसकी ओर यह पूरी पोस्ट चलती आई है, तो यह रहा साफ़-साफ़। यह एक ऐसी कंपनी है जिसका धंधा security appliances बेचना है, और वह एक desktop क्लाइंट से एक सर्टिफ़िकेट नहीं जँचवा सकती। कोई मुश्किल मामला नहीं। कोई नया हमला नहीं। Computing का सबसे रोज़मर्रा का security काम, जो हर browser हर पेज लोड पर करता है, एक ऐसी library में जिसका fork उन्होंने खुद किया, और उन्होंने उसे एक ऐसी डायरेक्टरी की ओर इशारा करते भेज दिया जो किसी ग्राहक की मशीन पर कभी मौजूद नहीं रही। फिर उस पर signature किया।

यह पोस्ट जो जोड़ती है वह उसके पीछे के process का एक नमूना है। कोई vulnerability नहीं। एक सीधा packaging defect, गलतियों की सबसे कम बारीक श्रेणी, एक supported प्लेटफ़ॉर्म पर, किसी भी ऐसे smoke test से पकड़ा जाने वाला जिसे कोई चलाने की परवाह करता, और फिर भी भेजा गया। अगर एक बिल्ड pipeline वह एक पैसे देने वाले ग्राहक के सामने रख देगी, तो साफ़ नहीं कि वह किस चीज़ को रोकेगी। किसी चीज़ ने नहीं रोका।

क्या मैं पूछ सकता हूँ कि इस पर signature क्यों हुआ?

क्या मैं पूछ सकता हूँ कि जो पैकेज एक TLS handshake पूरा नहीं कर सकता, उस पर signature करके उसे उस प्लेटफ़ॉर्म के लिए क्यों प्रकाशित किया गया जिसे आपका अपना requirements पेज supported बताता है? यह नहीं कि signature किसने किया। मुझे किसी नाम में कोई दिलचस्पी नहीं और बात किसी नाम की है भी नहीं। किस चीज़ ने इसकी इजाज़त दी, क्योंकि किसी चीज़ ने दी, बिल्ड खत्म होने के पंद्रह मिनट बाद, और वह जो भी है आज भी चल रही है।

अब सीधी बात। यह कोई project नहीं जिसे मैंने किसी forge से उठाया और किस्मत आज़माई। इसके पैसे दिए जाते हैं। इसके पीछे एक contract है, एक support line, Linux के बारे में दावा करता एक requirements पेज, और एक signing key जो कहती है कि पैकेज Cisco से आया है और install करने लायक है। इनमें से हर एक ग्राहक से किया गया बयान है, और इस release पर हर एक की कीमत शून्य थी, क्योंकि नतीजा कभी खोला ही नहीं गया।

और यहाँ जो standard छूट रहा है वह मेरा नहीं है। उनका है। जो चार variables उन पाथ को ले जाते, वे एक manual page में documented हैं जो आप bundle के अंदर भेजते हैं। उनके अपने packaging format में एक %config marker है जिसे उन्होंने इस्तेमाल नहीं किया और एक documentation section जिसे उन्होंने खाली छोड़ दिया। उनका अपना बिल्ड एक कंटेनर में चला जिसे उन्होंने output चलाने के लिए कभी इस्तेमाल नहीं किया। मैं एक networking और collaboration कंपनी से कुछ नया ईजाद करने को नहीं कह रहा। मैं पूछ रहा हूँ कि उसने अपने ही manuals क्यों नहीं पढ़े।

इसलिए जो बहाना मैं स्वीकार नहीं करूँगा वह यह है कि यह मुश्किल है। यह किसी के लिए मुश्किल नहीं है, और उस कंपनी के लिए तो बिल्कुल नहीं जो यह रोज़ करती है, इस पैमाने पर, इतने पैसों के लिए। जो professionals यह हर दिन करते हैं उनके पास कोई बहाना नहीं, और बड़ा होना कोई बहाना नहीं है।

और क्या मैं एक और पूछ सकता हूँ, क्योंकि असल में यही मायने रखता है। आप firewalls बेचते हैं। आप एक email gateway, एक VPN concentrator, एक identity service, इन सबके लिए एक management centre बेचते हैं, और इन सब पर आपकी बात यही है कि आप इसे अपने ग्राहक से बेहतर समझते हैं। तो जो कंपनी खुद को network security पर एक authority के रूप में पेश करती है, वह ऐसा क्लाइंट कैसे भेजती है जो एक सर्टिफ़िकेट validate नहीं कर सकता? चालाकी से validate करने में फ़ेल नहीं। एक ढूँढ ही नहीं सकता, क्योंकि डायरेक्टरी कभी थी ही नहीं।

उस जवाब का कोई ऐसा रूप नहीं जो मैं सुनना चाहूँ जो इस बात से शुरू हो कि desktop टीम appliance टीम से अलग है। वे एक ही signature हैं, एक ही pipeline, एक supported प्लेटफ़ॉर्म के बारे में एक ही प्रकाशित दावा, और अंत में एक ही छूटा हुआ चरण, जो है डिब्बा खोलना। अगर उस प्रोडक्ट में भेजने से पहले certificate validation नहीं जाँचा जाता जहाँ टूटना ज़ोरदार और हानिरहित है, तो मेरे पास यह मानने का कोई कारण नहीं कि उस प्रोडक्ट में जाँचा जाता है जहाँ टूटना चुपचाप और महँगा है।

और ईमानदार हिस्सा, साफ़ कहा हुआ। इसमें से किसी चीज़ ने मुझे हैरान नहीं किया। मैं इस vendor से यही स्तर उम्मीद करने लगा हूँ, यही कारण है कि जहाँ चुनाव मेरा है, मैं उनका kit नहीं खरीदता और उस पर कुछ नहीं बनाता। यह बैज के बारे में पसंद नहीं है। यह वही फ़ैसला है जो मैं किसी भी सप्लायर के बारे में करूँगा: मैंने उनका काम मापा है, एक से ज़्यादा बार, और वह बार-बार वैसा ही लौटता है। ऊपर का कैटलॉग एक माप है। इस पोस्ट का पहला आधा लिखने में जो लगा वह दूसरा।

मैं Webex पर था ही इसलिए क्योंकि चुनाव मेरा नहीं था, और इसका नाम लेना ज़रूरी है, क्योंकि यही वह स्थिति है जिसमें इसे पढ़ने वाले ज़्यादातर लोग हैं। आपको शायद ही कभी उस vendor से बचने का मौका मिलता है जिसकी गुणवत्ता आप पहले से माप चुके हैं। Contract कोई और sign करता है, kit आ जाता है, और बिल्ड में क्या छोड़ा गया यह पता लगाने वाले पहले व्यक्ति आप होते हैं, अपनी डेस्क पर, एक मीटिंग शुरू होते हुए।

कुछ ऐसा भेजना जिसे आपने कभी चलाया नहीं

कोई अंदरूनी सफ़ाई ज़रूर होगी। एक व्यस्त sprint, एक pipeline जिसके हाथ बदल गए, एक प्लेटफ़ॉर्म जिसका कोई मालिक नहीं। इसमें से कुछ भी सुनने लायक नहीं, क्योंकि हर एक एक ही बात बताता है: काम नहीं किया गया और process में किसी चीज़ ने उसे करना ज़रूरी नहीं बनाया।

कारीगरी के काम में एक पुराना standard है जो software तक कभी नहीं पहुँचा: जब तक आपने चीज़ चलाकर न देख ली हो, आप काम नहीं छोड़ते। आप system भरते हैं और हर जोड़ जाँचते हैं। आप board में बिजली डालते हैं और हर circuit test करते हैं। इसलिए नहीं कि आपको अपने काम पर शक है। इसलिए कि ग्राहक उसे इस्तेमाल करने वाला है, और उनके सामने पता चलना professional नतीजा नहीं है। कोई आपको ऐसा करते नहीं देखता। आप फिर भी करते हैं। इस शब्द का पूरा मतलब यही है।

Software ने तीस साल यह तर्क देने में बिताए हैं कि वह अलग है, कि बिल्ड ही deliverable है और install किसी और की समस्या, कि हरी pipeline और काम करता प्रोडक्ट एक ही चीज़ हैं, और ऐसा नहीं है। जो बिल्ड उसे बनाने वाले कंटेनर के बाहर कभी चलाया नहीं गया, वह पूरा नहीं हुआ, उसे उस बिंदु पर छोड़ दिया गया जहाँ पूरा करना उबाऊ हो जाता है। उसके आगे सब कुछ उस काम के बारे में दावा है जो किया नहीं गया।

Fix एक configure flag है। Check shell की एक लाइन है। दिलचस्प इनमें से किसी की कीमत नहीं; दिलचस्प संख्या यह है कि कितने लोगों ने Webex विंडो में अपने credentials type किए, उसे यह कहते देखा कि उनका इंटरनेट बंद है, और उस पर भरोसा कर लिया, क्योंकि Cisco ने उन्हें ऐसा बताया और Cisco एक networking कंपनी है। छूटे हुए test ने असल में यही खरीदा: एक bug नहीं, एक झूठ जो प्रोडक्ट पूरे विश्वास से बोलता है, हर launch पर, उन लोगों से जिनके पास बेहतर जानने का कोई तरीका नहीं।

और tab बंद करने से पहले यही रेखा खींचने लायक है, क्योंकि इस पोस्ट के दो आधे दो विषय नहीं हैं। बिल्ड कंटेनर की ओर इशारा करता trust path और edge appliance पर authentication bypass अलग-अलग दाँव पर एक ही विफलता हैं। दोनों एक ऐसी value हैं जिसे किसी ने नहीं जाँचा, एक ऐसे artefact में जिसे किसी ने नहीं चलाया, एक ऐसे process से sign किया हुआ जो मूल स्रोत की गवाही देता है, उपयुक्तता की नहीं। मेरे सामने वाला हानिरहित किस्म का था। वह ज़ोर से टूटा, मेरी अपनी डेस्क पर, और सबसे पहले मुझे पता चला। दूसरी किस्म आपके लिए ऐसा नहीं करती।

वही छूटा check, दो अलग दाँव पर, और सिर्फ़ एक आपको बताता हैएक छूटा check, दो दाँव। सिर्फ़ एक बताता है कि वह मौजूद है।एक ही बुनियादी विफलता: बिना जाँची value, बिना चलाए artefact में, मूल स्रोत की गवाही देने वाले process से signजो ज़ोर से टूटती हैक्या थाएक trust store पाथ जो है ही नहींकिसने ढूँढाग्राहक, पहले launch परकीमत क्या थीएक शाम, एक डेस्ककिसे पता चलामुझे, तुरंतआखिर में सार्वजनिक रूप से लिखा गया।जो कुछ नहीं तोड़तीक्या थाएक length जिसकी सीमा किसी ने नहीं जाँचीकिसने ढूँढाजो भी ढूँढने गयाकीमत क्या थीएक incidentकिसे पता चलाग्राहक, report सेकैटलॉग में Cisco की 98 में से 1 बनती है।जो process बायाँ कॉलम नहीं पकड़ेगा, वह दायाँ कभी नहीं पकड़ने वाला था। फ़र्क किस्मत का है, मेहनत का नहीं।
इस पोस्ट का defect और उस कैटलॉग की entries अलग कपड़ों में एक ही विफलता हैं। एक ने पहले ही launch पर मेरी डेस्क पर खुद को ज़ाहिर कर दिया। दूसरी किस्म पहले किसी और के सामने खुद को ज़ाहिर करती है।

Cisco में किसी ने एक exploitable firewall भेजने का फ़ैसला नहीं किया, ठीक वैसे ही जैसे किसी ने ऐसा क्लाइंट भेजने का फ़ैसला नहीं किया जो इंटरनेट तक नहीं पहुँच सकता। यह बचाव नहीं है। यही आरोप है। दोनों में से किसी को फ़ैसले की ज़रूरत नहीं, और ठीक यही समस्या है: दोनों वह हैं जो दूसरे सिरे से निकलता है जब एक pipeline compile, sign और publish करती है, बिना किसी को नतीजा खोलने का ज़िम्मेदार बनाए। जो process एक न-मौजूद डायरेक्टरी नहीं पकड़ेगा, वह एक न-जाँची length कभी नहीं पकड़ने वाला था, और जो vendor आपको आपकी परिधि की रखवाली करने वाला appliance बेचता है, वह उस process का हकदार नहीं।

तो जब किसी vendor का नाम उस सूची में बार-बार आए, तो उस आरामदायक सफ़ाई से बचिए कि वे बस बड़े हैं और उन पर ज़्यादा निशाना है। पैमाना मात्रा समझाता है। वह किस्म नहीं समझाता। इसके बजाय देखिए कि उनका बिल्ड प्रोसेस उबाऊ चीज़ों के साथ क्या करता है, क्योंकि उबाऊ चीज़ें बाहर से मापी जा सकती हैं, आपके द्वारा, आज, उस kit पर जो आपके पास पहले से है।

अपने खुद के bundles जाँचिए। strings और readelf और बीस मिनट आपको बता देंगे कि आपके कौन से vendor किसी ऐसी मशीन का पाथ भेजते हैं जिसे आप कभी नहीं देखेंगे। आप असल में जो माप रहे हैं वह पाथ नहीं है। वह यह है कि क्या वहाँ कोई देख रहा था, और अगर इतनी सस्ती पकड़ वाली चीज़ पर जवाब नहीं है, तो आप पहले से जानते हैं कि उन चीज़ों पर क्या है जो सस्ती नहीं हैं।


  1. Cisco — Webex App system requirements — supported प्लेटफ़ॉर्म की सूची, Linux सहित। ↩︎

  2. OpenSSL — INSTALL.md, --openssldir — “Directory for OpenSSL configuration files, and also the default certificate and key store.” ↩︎ ↩︎

  3. OpenSSL — SSL_CTX_load_verify_locations(3) — default CA फ़ाइल cert.pem है और default CA डायरेक्टरी certs, दोनों default OpenSSL डायरेक्टरी के अंदर; और return values पर, “A missing default location is still treated as a success.” ↩︎ ↩︎

  4. Conan 2 — conan cache — package binaries लोकल cache में एक hashed पाथ के नीचे रहती हैं, /workspace/.conan2/p/b/<hash>/p यहीं से आता है। ↩︎

  5. OpenSSL — openssl-env(7) — SSL_CERT_DIR और SSL_CERT_FILE “specify the default directory or file containing CA certificates”। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  6. OpenSSL — provider(7) — default provider, और जो configuration उसे छोड़ देती है वह क्या अनुपलब्ध छोड़ती है। ↩︎ ↩︎

  7. OpenSSL — config(5) — वह configuration फ़ाइल जो OpenSSL initialisation पर लोड करता है, और उसे कहाँ ढूँढा जाता है। ↩︎

  8. freedesktop.org — XDG Base Directory Specification — “The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.” ↩︎

  9. freedesktop.org — Desktop Entry Specification — .desktop फ़ाइलें कहाँ खोजी जाती हैं और एक ही नाम की एक फ़ाइल दूसरी को कैसे ढकती है। ↩︎

  10. Filesystem Hierarchy Standard 3.0 — root filesystem में अपेक्षित डायरेक्टरियाँ, जिनमें /workspace नहीं है। ↩︎

  11. update-ca-trust(8) — Fedora और उसके रिश्तेदारों पर /etc/pki/ca-trust/extracted के नीचे consolidated bundle कैसे बनता है। ↩︎

  12. ld.so(8) — $ORIGIN उस डायरेक्टरी में बदल जाता है जिसमें प्रोग्राम या shared object है, और यही bundled tree को relocatable बनाता है। ↩︎

  13. glibc timeline — “2018-08-01 GLIBC 2.28 — The GNU C Library version 2.28 is now available”। ↩︎

  14. glibc — Release wiki — version से distribution की तालिका; Red Hat Enterprise Linux 8 में glibc 2.28 है। ↩︎

  15. RPM — spec file reference — %config, और configuration के रूप में चिह्नित फ़ाइल के साथ package manager क्या करता है। ↩︎ ↩︎

  16. Fedora packaging guidelines — configuration files — कब भेजी गई फ़ाइल को %config चिह्नित करना ज़रूरी है। ↩︎

  17. glibc FAQ — static link हुई glibc binary को runtime पर अब भी होस्ट के NSS modules क्यों चाहिए। ↩︎

  18. CISA — Known Exploited Vulnerabilities Catalog — प्रकाशित JSON feed से गिना गया, कैटलॉग version 2026.09.14, 1,710 entries। ↩︎ ↩︎