Webex विंडो के ऊपर एक पीला बैनर लगा देता है। Offline - No internet connection. फ़ोन सर्विस disconnected दिखती हैं, कुछ sync नहीं होता, और आप उस मीटिंग में नहीं जुड़ पाते जो नब्बे सेकंड पहले शुरू हो चुकी है।
जब यह चीज़ आपका काम का फ़ोन हो, तो यह मामूली असुविधा नहीं है। मेरी कॉल Webex पर आती हैं, और मेरी VoIP लाइन इसी से चलती है, इसलिए जो क्लाइंट authenticate नहीं करेगा वह एक ऐसा डेस्क फ़ोन है जो बजेगा नहीं, एक मीटिंग जिसमें मैं नहीं हूँ, और एक सहकर्मी जिसे voicemail मिलता है। इसने मेरा काम रोक दिया। धीमा नहीं, कमज़ोर नहीं। रुक गया।
और इसमें से कुछ भी मेरे करने या रोकने का नहीं था। एक पूरा कामकाजी दिन बिगड़ गया क्योंकि quality control लागू नहीं किया गया, एक ऐसे सप्लायर पर जिसे पैसे मिलते हैं, एक ऐसे प्रोडक्ट पर जो support contract के साथ बिकता है, एक ऐसे प्लेटफ़ॉर्म पर जिसे उनका अपना requirements पेज supported कहता है। मैंने कुछ भी गलत configure नहीं किया। मैंने vendor का पैकेज, vendor की repository से, vendor के बताए प्लेटफ़ॉर्म पर install किया, और वह एक TLS connection नहीं खोल सका। फिर मैंने अपनी एक शाम यह पता लगाने में लगाई कि क्यों, जो वह समय है जो पैकेज पर signature करने वालों ने नहीं लगाया।
मशीन offline नहीं है। बगल में browser पेज लोड कर रहा है। आपकी मेल आ रही है, आपका terminal एक remote से pull कर रहा है, और अगर आप operating system से पूछें कि क्या वह इंटरनेट तक पहुँच सकता है, तो वह हाँ कहता है। Webex खुद भी अपने log में यही मानता है, आपको उल्टा बताने से ग्यारह सेकंड पहले।
असल में हुआ यह है कि Webex के अंदर Cisco का भेजा OpenSSL एक भी certificate authority नहीं ढूँढ पाता, क्योंकि उसे उन्हें /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl में ढूँढने के लिए compile किया गया था। यह Cisco के एक बिल्ड कंटेनर की डायरेक्टरी है। यह आपके कंप्यूटर पर कभी मौजूद नहीं रही और कभी होगी भी नहीं। ऐप्लिकेशन का हर TLS connection certificate verification पर फ़ेल होता है, login token refresh नहीं हो पाता, पंद्रह सेकंड का एक timer खत्म हो जाता है, और interface उस इकलौते कारण की ओर हाथ बढ़ाता है जिसके लिए उसके पास कोई string है।
तो बैनर एक खास और बेकार तरीके से गलत है। वह आपके नेटवर्क का नाम लेता है। गलती उनके बिल्ड के अंदर एक पाथ में है।
यह version 46.8.0.35631 है, Fedora 44 पर, kernel 7.2.4। यह एक supported प्लेटफ़ॉर्म है। Cisco Linux के लिए system requirements प्रकाशित करते हैं और एक signed .rpm भेजते हैं, webex-46.8.0.35631-1.x86_641। आगे बताया गया है कि इसे लगभग दस मिनट में कैसे साबित करें, कोई भी सीधा-सादा fix काम क्यों नहीं करता, कौन सा करता है, और फिर वह हिस्सा जो इन सबसे ज़्यादा मायने रखता है: यह कोई बारीक bug नहीं है। यह एक ऐसा बिल्ड है जिसे किसी ने कभी ऐसी मशीन पर नहीं चलाया जिसने उसे बनाया न हो।
बैनर असल में आपको क्या बता रहा है
Webex अपना connectivity display एक composite state machine से चलाता है, सात sub-machine, हर एक के अपने timer। शुरू होते समय वे ऐसे initialise होती हैं:
ConnectivityStateMachine::ConnectivityBanner - Initializing with state: Connected
ConnectivityStateMachine::Network - Initializing with state: NoNetwork
ConnectivityStateMachine::Services - Initializing with state: Connected
ConnectivityStateMachine::Mercury - Initializing with state: Disconnected
ConnectivityStateMachine::Authentication - Initializing with state: UserNotAuthenticated
ConnectivityStateMachine::Syncing - Initializing with state: Synced
ConnectivityStateMachine::Survivability - Initializing with state: SurvivabilityHide
चालीस मिलीसेकंड बाद operating system जवाब देता है, और ऐप्लिकेशन उसे लिख लेता है:
NetworkManagerPowerNetworkWatcher.cpp:93 onConnectivityCheckSuccess::
The host is connected to a network, that appears to be able to reach the full Internet.
यह लाइन उसी फ़ाइल में है, उसी session में, जिसमें बैनर दावा कर रहा है कि कोई इंटरनेट connection नहीं है। ऐप्लिकेशन को पता था। जवाब 08:25:12.131 पर उसके हाथ में था और उसने 08:25:27.132 पर उल्टा दिखाया।
उन दो पलों के बीच यह हुआ:
| समय | क्या हुआ |
|---|---|
| 08:25:12.131 | Operating system पूरी इंटरनेट पहुँच की पुष्टि करता है |
| 08:25:12.218 | Proxy detection: कोई configure नहीं, सीधा connection |
| 08:25:12.241 | पहली HTTPS request फ़ेल, errorCode: 167772294 Error in SSL handshake |
| 08:25:12.569 | CloudApps access token refresh फ़ेल, वही code |
| 08:25:12.571 | Kms access token refresh फ़ेल, वही code |
| 08:25:15.684 | दोबारा कोशिश, दोनों फ़ेल |
| 08:25:21.745 | दोबारा कोशिश, दोनों फ़ेल |
| 08:25:27.132 | पंद्रह सेकंड का timer खत्म, बैनर NoInternet पर |
| 08:26:12.091 | साठ सेकंड के timer खत्म, सर्विस DisconnectedShortTerm पर गिरती हैं |
Authentication sub-machine कभी UserNotAuthenticated से बाहर नहीं निकलती, इसलिए Services खुद को disconnected मान लेती है, इसलिए बैनर चल जाता है। दिए गए input के हिसाब से इसका हर चरण सही व्यवहार है। Input गलत है, और input एक संख्या है: 167772294, हर फ़ेल हुई request पर, पहली से आखिरी तक।
पूरी पोस्ट यही संख्या है। इसे याद रखिए।
तीन पाथ, जिनमें से कोई मौजूद नहीं
Webex सिस्टम का OpenSSL इस्तेमाल नहीं करता। वह अपना साथ लाता है, अपने libcurl के साथ, और वह libcurl आपके वाले के बजाय bundled वाले से link होता है:
$ ldd /opt/Webex/bin/libcurl.so | grep -E 'ssl|crypto'
libssl.so.3 => /opt/Webex/bin/../lib/libssl.so.3
libcrypto.so.3 => /opt/Webex/bin/../lib/libcrypto.so.3
यहाँ तक ठीक है। TLS library bundle करना एक बचाव-योग्य फ़ैसला है और बहुत से vendor ऐसा करते हैं। मायने यह रखता है कि उसमें क्या पका दिया गया, और पूछें तो OpenSSL बता देगा:
$ strings /opt/Webex/lib/libcrypto.so.3 | grep -E 'OPENSSLDIR|ENGINESDIR|MODULESDIR'
OPENSSLDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl"
ENGINESDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/engines-3"
MODULESDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/ossl-modules"
तीन। एक फिसली हुई setting नहीं। पूरा install prefix, उस मशीन से साथ चला आया जिसने इसे compile किया, एक ऐसी library में जो ग्राहक तक एक supported प्लेटफ़ॉर्म पर signed पैकेज के रूप में पहुँचती है।
OPENSSLDIR एक बार, configure के समय, --openssldir से सेट होता है, और OpenSSL का अपना बिल्ड documentation साफ़ कहता है कि यह किसलिए है: “Directory for OpenSSL configuration files, and also the default certificate and key store.”2 Trust से जुड़ी हर चीज़ इसी पर टिकी है। Default CA फ़ाइल इसके अंदर cert.pem है और default CA डायरेक्टरी इसके अंदर certs3। /workspace एक Conan बिल्ड cache है। Conan वह C++ package manager है जिससे Cisco बिल्ड करते हैं, और वह हर पैकेज को उसके बिल्ड inputs के hash के नीचे रखता है4। Hash cisco8ee8b59cf93de एक ऐसे कंटेनर के बारे में तथ्य है जो शायद बिल्ड खत्म होने के कुछ मिनट बाद ही मिटा दिया गया।
Library से पूछिए कि वह क्या है, और वह stock OpenSSL भी नहीं है:
VERSION CiscoSSL 3.5.5.8.5.4 27 Jan 2026
BUILT_ON built on: Wed Feb 25 06:29:18 2026 UTC
PLATFORM platform: conan-Release-Linux-x86_64-gcc-13
DIR OPENSSLDIR: "/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl"
एक maintained in-house fork, अपनी अलग version scheme के साथ, फ़रवरी में बिल्ड हुआ, अगस्त में भेजा गया, और अब भी उस working directory को साथ लिए हुए जिसमें वह बना था।
strings को जवाब मत मानिए। Library से पूछिए
strings फ़ाइल में text ढूँढता है। यह साबित नहीं करता कि library उसे इस्तेमाल करती है। तो भेजी गई library को लोड कीजिए और उससे सीधे पूछिए, जिसमें Python की लगभग बारह लाइनें लगती हैं और root की ज़रूरत नहीं:
import ctypes
c = ctypes.CDLL("/opt/Webex/lib/libcrypto.so.3")
for f in ("X509_get_default_cert_file", "X509_get_default_cert_dir",
"X509_get_default_cert_file_env", "X509_get_default_cert_dir_env"):
getattr(c, f).restype = ctypes.c_char_p
print(f"{f:34} {getattr(c, f)().decode()}")
X509_get_default_cert_file /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/cert.pem
X509_get_default_cert_dir /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/certs
X509_get_default_cert_file_env SSL_CERT_FILE
X509_get_default_cert_dir_env SSL_CERT_DIR
यह रहा, library के अपने मुँह से। जब Webex में कोई भी चीज़ OpenSSL की इस copy से default trust store माँगती है, तो उसे एक फ़ाइल और एक डायरेक्टरी थमा दी जाती है जो मौजूद नहीं हैं। SSL_CTX_set_default_verify_paths यही करता है, और लगभग हर क्लाइंट यही करता है जब तक उसे कुछ और न बताया जाए।
आखिरी दो लाइनें ध्यान देने लायक हैं, क्योंकि वे बचने का रास्ता हैं: library SSL_CERT_FILE और SSL_CERT_DIR को दोनों पर override करने देगी5। इसे भी याद रखिए। यह ज़रूरी बनेगा, और उस तरह नहीं जैसा आप सोचेंगे।
ठीक वही error code दोबारा पैदा करना
देखकर साबित करना सबूत नहीं है। भेजी गई libssl.so.3 और libcrypto.so.3 लीजिए, एक असली होस्ट से एक असली handshake कीजिए, सिर्फ़ library के अपने defaults के साथ, और देखिए क्या लौटता है।
दिलचस्प run वह है जिसमें defaults किसी चीज़ की ओर इशारा नहीं करते। SSL_CERT_FILE और SSL_CERT_DIR ठीक उन्हीं दो values को override करते हैं जिन्हें गायब OPENSSLDIR लटका छोड़ देता है, इसलिए उन्हें एक न-मौजूद पाथ पर डालना भेजी गई हालत को बिल्कुल वैसा ही दोहरा देता है:
$ SSL_CERT_FILE=/nonexistent/cert.pem SSL_CERT_DIR=/nonexistent/certs python3 tls.py
set_default_verify_paths -> 1
set_fd -> 1
SNI -> 1
SSL_connect -> -1 SSL_get_error -> 1
verify result 20: unable to get local issuer certificate
err: 0xa000086 error:0A000086:SSL routines::certificate verify failed
0x0A000086 दशमलव में 167772294 है।
यही संख्या Webex log की हर फ़ेल हुई लाइन में है, और यह Webex से नहीं आई। यह Cisco की अपनी TLS library से आई, उनके ऐप्लिकेशन के बाहर चलते हुए, ठीक एक कारण से फ़ेल होते हुए: उसके पास chain को जाँचने के लिए कोई trust anchor नहीं था। वही library, वही error, बीच में कोई ऐप्लिकेशन नहीं।
उन्हीं दो variables को असली Fedora bundle पर डालिए और वही code path पूरा हो जाता है:
$ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem python3 tls.py
SSL_connect -> 1 SSL_get_error -> 0
verify result 0: ok
उन दो runs के बीच नेटवर्क में कुछ नहीं बदला। एक फ़ाइल पाथ बदला।
किसी ने आपको चेतावनी क्यों नहीं दी
दो चीज़ें मिलकर इसे खामोश बनाती हैं, और उनमें से सिर्फ़ एक Cisco की गलती है।
| क्या कभी एक शब्द नहीं बोलता | किसका डिज़ाइन | वह चुप क्यों रहता है |
|---|---|---|
| ऐसा trust store लोड करना जो है ही नहीं | OpenSSL का, जानबूझकर | SSL_CTX_set_default_verify_paths 1 लौटाता है चाहे पाथ असली हों या नहीं। “A missing default location is still treated as a success”3 |
| पीछे हटने के लिए कुछ न होना | Cisco का, और सही | सर्टिफ़िकेट validate होते हैं, self-signed अस्वीकार, SSL retry बंद, इसलिए गलती छिपाने वाला कोई degraded mode मौजूद नहीं |
पहला उचित है। जो प्रोग्राम अपने anchor अलग से भेजता है उसे परवाह करने पर मजबूर नहीं होना चाहिए, इसलिए call सफल होती है, store खाली रहता है, और stack में कहीं भी कुछ नहीं कहता मैंने शून्य certificate authority लोड किए हैं। सबसे पहले जो चीज़ ध्यान देती है वह आधे सेकंड बाद एक verification failure है। मैंने यह call भेजी गई library पर /nonexistent की ओर इशारा करते पाथ के साथ चलाई और उसने 1 लौटाया। यह ऊपर के output में है।
दूसरा एक policy है जो सर्विस से नीचे आती है, और log इसे दर्ज करता है:
Wdm.cpp:1162 parseDeviceJson: Adding policy << allowSelfSignedCertificate with value: false
NetworkManager.cpp:1738 onConfigReady: ...httpRequestSSLRetryEnabled: 0
HttpRequestManager.cpp:1883 rawHttpRequest: {"validateCertificates":"true","useClientCertificate":"false"}
ये तीन flag ही इकलौता कारण हैं कि यह गलती कहीं बदतर चीज़ के बजाय एक outage है, और इस बात पर जल्दी से आगे बढ़ने के बजाय रुककर सोचना चाहिए।
इसे पूरा सोचिए। Bundled library शून्य trust anchor लोड करती है, और policy layer के नीचे कुछ भी इसे कभी नोटिस करने वाला नहीं था, क्योंकि failure पूरे रास्ते डिज़ाइन से ही खामोश है। जिसने इसे एक बैनर में बदला वह तीन flag थे। उनमें से किसी एक को उस तरह पलट दीजिए जैसे बहुत से क्लाइंट उसे भेजते हैं, और वही बिल्ड बिल्कुल फ़ेल नहीं होता। वह connect हो जाता है, किसी भी चीज़ से जिसके पास कोई भी सर्टिफ़िकेट हो, क्योंकि उसके पास जाँचने के लिए कुछ नहीं है।
यह किस रूप में सामने आता है, समस्या वही है। यूज़र को मिलता है “Offline - No internet connection”। Log को मिलता है “Error in SSL handshake” और एक दशमलव integer। शब्द certificate कहीं नहीं आता जहाँ यूज़र या पहली लाइन का support engineer कभी देखेगा, और इकलौता diagnostic सुराग एक संख्या है जिसे कुछ मतलब निकलने से पहले hex में बदलना पड़ता है।
वो fix जो काम नहीं आए
दोनों सीधे-सादे fix फ़ेल होते हैं, और कारण अलग-अलग हैं और दोनों जानने लायक हैं।
भेजी गई openssl.cnf को edit करना
Webex /opt/Webex/lib/openssl.cnf पर एक configuration फ़ाइल भेजता है, और जैसी भेजी गई है उसमें वह एक provider activate करती है:
[provider_sect]
fips = fips_sect
सिर्फ़ FIPS। default provider नहीं, जिसमें साधारण TLS algorithm रहते हैं6। उसे वापस जोड़ना एक लाइन का edit है और इससे कुछ भी नहीं बदलता, क्योंकि bundled OpenSSL वह फ़ाइल कभी पढ़ता ही नहीं। वह openssl.cnf को OPENSSLDIR के अंदर ढूँढता है7, और OPENSSLDIR वही पाथ है जो मौजूद नहीं है। फ़ाइल installation डायरेक्टरी में आधिकारिक दिखती हुई पड़ी रहती है। उसे कोई नहीं पढ़ता।
यह पहले defect के पीछे छिपा दूसरा defect है। अगर पाथ की समस्या कल OPENSSLDIR को /opt/Webex/lib पर डालकर ठीक कर भी दी जाए, तो यह configuration तब लोड होगी और सिर्फ़ FIPS को activate करेगी। और FIPS module खुद MODULESDIR से लोड होता है, उसी tree का तीसरा मरा हुआ पाथ, इसलिए /opt/Webex/lib में भेजा गया fips.so भी नहीं मिल सकता। तीन पाथ, एक गलत prefix, और हर एक इस तरह टूटा कि अगले को छिपा दे।
Environment variables सेट करना
Library SSL_CERT_FILE और SSL_CERT_DIR को मानती है। मैंने ऊपर यह साबित किया। सफल run वहीं है। तो सीधा कदम उन्हें desktop entry में सेट करना है, और यही आज़माया गया:
Exec=env OPENSSL_CONF=/opt/Webex/lib/openssl.cnf \
SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \
SSL_CERT_DIR=/etc/pki/tls/certs/ /opt/Webex/bin/CiscoCollabHost %U
कोई बदलाव नहीं। और कारण यह नहीं है कि Webex variables को अनदेखा करता है। कारण यह है कि process को वे कभी मिले ही नहीं:
$ tr '\0' '\n' < /proc/20293/environ | grep -E 'SSL|OPENSSL|CURL'
$ tr '\0' '\n' < /proc/20293/environ | wc -l
99
चलते हुए Webex process में निन्यानवे variables, और उनमें एक भी वो तीन नहीं जो सेट किए गए थे। क्योंकि इस मशीन पर एक ही नाम की दो desktop entries हैं:
| फ़ाइल | उसकी Exec लाइन क्या चलाती है | किसने लिखी |
|---|---|---|
/usr/share/applications/webex.desktop | ऊपर वाली तीन-variable env लाइन, पूरी | .rpm ने, फिर हाथ से edit |
~/.local/share/applications/webex.desktop | /opt/Webex/bin/CiscoCollabHost %U, और कोई environment नहीं | Webex के अपने launcher ने |
और specification इस बारे में अस्पष्ट नहीं है कि कौन जीतता है: “The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.”8 $XDG_DATA_HOME है ~/.local/share। यूज़र वाली copy पैकेज वाली को ढक देती है, हर बार, हर उस desktop पर जो spec मानता है9।
तो Webex अपने ही launcher की एक दूसरी copy आपकी home डायरेक्टरी में install करता है, और आपका desktop वही copy चलाता है। पैकेज वाली फ़ाइल जितना चाहें बदलिए। आप एक ऐसा दस्तावेज़ edit कर रहे हैं जिसे कोई नहीं पढ़ता।
वो fix जो काम करता है
अगर library एक पाथ पर अड़ी है, तो उसे वह पाथ दे दीजिए। वह डायरेक्टरी बनाइए जिसे चाहने के लिए उसे compile किया गया था, और उसे असली चीज़ के symlinks से भर दीजिए:
#!/bin/bash
# Point the bundled CiscoSSL at the system trust store by building the
# directory it was compiled to look for. Tested: Fedora 44, Webex 46.8.0.35631.
set -euo pipefail
OPENSSLDIR=$(strings /opt/Webex/lib/libcrypto.so.3 \
| grep -oP '(?<=OPENSSLDIR: ")[^"]+')
[ -n "$OPENSSLDIR" ] || { echo "no OPENSSLDIR found in the shipped library"; exit 1; }
for p in /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \
/etc/ssl/certs/ca-certificates.crt \
/etc/pki/tls/certs/ca-bundle.crt \
/etc/ssl/cert.pem; do
[ -f "$p" ] && { CA_BUNDLE="$p"; break; }
done
[ -n "${CA_BUNDLE:-}" ] || { echo "no system CA bundle found"; exit 1; }
echo "OPENSSLDIR: $OPENSSLDIR"
echo "CA bundle: $CA_BUNDLE"
sudo mkdir -p "$OPENSSLDIR"
sudo ln -sf "$CA_BUNDLE" "$OPENSSLDIR/cert.pem"
sudo ln -sf "$(dirname "$CA_BUNDLE")" "$OPENSSLDIR/certs"
sudo tee "$OPENSSLDIR/openssl.cnf" > /dev/null <<'CONF'
openssl_conf = openssl_init
[openssl_init]
providers = provider_sect
[provider_sect]
default = default_sect
fips = fips_sect
[default_sect]
activate = 1
CONF
echo "done. now restart Webex"
इसे restart कीजिए, और वही startup क्रम उल्टा नतीजा देता है। वही binary। वही log लाइनें। Token refresh, जो पहले साठ मिलीसेकंड में फ़ेल होता था, अब तीन सौ तीस में पूरा होता है:
AuthTokenRequester.cpp:579 Managed to fetch a new Kms access token.
AuthTokenRequester.cpp:579 Managed to fetch a new CloudApps access token.
AuthTokenSupervisor.cpp:310 Auth tokens refreshed. Expires in [64799 secs].
AuthenticationManager.cpp:1860 onUserAuthenticated: User authenticated.
ConnectivityStateMachine::Authentication - UserNotAuthenticated -> UserAuthenticated
लगभग 750 ms में authenticate, इसलिए पंद्रह सेकंड का timer कभी नहीं चलता और बैनर कभी नहीं दिखता। फ़ोन सर्विस Disconnected से Connecting पर जाती हैं, एक ऐसी हालत जहाँ टूटा हुआ session एक मिनट की कोशिश में कभी नहीं पहुँचा।
| पहले | बाद में | |
|---|---|---|
| नेटवर्क check | पास | पास |
| पहली HTTPS request | 167772294 Error in SSL handshake | HTTP 200 |
| CloudApps token | फ़ेल | मिल गया |
| Kms token | फ़ेल | मिल गया |
| Authentication | UserNotAuthenticated पर अटका | UserAuthenticated |
| 15 s पर बैनर | “Offline - No internet connection” | कोई नहीं |
| फ़ोन सर्विस | कभी कोशिश नहीं | connect हो रही |
| Authenticate होने का समय | कभी नहीं | ~750 ms |
ध्यान दीजिए कि यह fix आपके filesystem के साथ क्या करता है, क्योंकि इससे आपको परेशानी होनी चाहिए। यह आपकी मशीन पर /workspace नाम की एक top-level डायरेक्टरी बनाता है, एक ऐसा नाम जिसके लिए Filesystem Hierarchy Standard में कोई जगह नहीं10, जिसमें एक Conan cache पाथ और एक बिल्ड hash है जो उस कंपनी का है जिससे आपने software खरीदा। Cisco ने आपके लिए जो इलाज छोड़ा है उसकी शक्ल यही है: किसी और का बिल्ड environment अपने root पर mount कर लीजिए।
यह टूटेगा भी। तीन तरह से:
| कब टूटता है | क्यों | आप क्या करते हैं |
|---|---|---|
| Webex update | cisco8ee8b59cf93de बिल्ड inputs से बनता है, इसलिए दोबारा बिल्ड हुई dependency का मतलब नई डायरेक्टरी | Script फिर चलाइए; वह पुराना मानने के बजाय नई binary से पाथ पढ़ती है |
| Distribution में बदलाव | Symlink का target distribution का फ़ैसला है, standard नहीं11 | उसे फिर से point कीजिए; script चार जानी हुई जगहें जाँचती है |
| दोबारा install | /workspace का न backup होता है, न वह package होता है, न किसी का होता है | फिर चलाइए, हर बार, हमेशा |
इसमें से कुछ भी maintenance नहीं है। यह आप हैं, किसी और की बिल्ड pipeline के एक चरण की जगह खड़े, अनिश्चित समय तक, बिना पैसे के। हर उस मशीन पर runtime पर एक defect को patch करना जो आपकी है, क्योंकि vendor ने उसे बिल्ड के समय एक बार patch नहीं किया।
नियम उन्हें पता था और उन्होंने आधे बिल्ड पर लगाया
यहीं से यह bug report एक तर्क बन जाता है।
भेजी गई binaries का dynamic section पढ़िए:
$ readelf -d /opt/Webex/bin/libcurl.so | grep RUNPATH
0x1d (RUNPATH) Library runpath: [$ORIGIN:$ORIGIN/../lib]
$ readelf -d /opt/Webex/bin/CiscoCollabHost | grep RUNPATH
0x1d (RUNPATH) Library runpath: [$ORIGIN/../lib]
$ORIGIN लोड होते समय उस डायरेक्टरी में बदल जाता है जिसमें object खुद है12। Relocatable bundle के लिए यही सही औज़ार है और उन्होंने इसे ठीक से इस्तेमाल किया। उन्हें करना ही था: Webex एक ही tree दो बार भेजता है, एक बार /opt/Webex में और एक बार ~/.local/share/WebexLauncher/46.8.0.35631_9e6196c9-…/ में, और एक launcher startup पर उनमें से चुनता है। दो prefix, एक बिल्ड, और linker दोनों में अपनी libraries ढूँढ लेता है।
तो जिन लोगों ने यह पैकेज बनाया वे समस्या को बिल्कुल ठीक समझते थे। Absolute पाथ भेजे जाने के बाद नहीं बचते। उन्होंने इसे कोड के लिए हल किया।
फिर उन्होंने डेटा पाथ को absolute strings के रूप में छोड़ दिया, जो उस कंटेनर का नाम लेते हैं जिसने उन्हें compile किया। वही बिल्ड। वही दोपहर।
तो इसे उन्हें पता नहीं था के खाने में नहीं डाला जा सकता। $ORIGIN ऐसी चीज़ नहीं जिस पर आप ठोकर खाकर पहुँचें। आप उसकी ओर इसलिए हाथ बढ़ाते हैं क्योंकि आप समझ चुके हैं कि भेजे गए artefact में पका हुआ absolute पाथ एक defect है, और इतना अच्छी तरह समझ चुके हैं कि जाकर उसे linker में ठीक करें। फिर वही बिल्ड उन्हीं libraries में तीन absolute पाथ लिख देता है, और उन्हें भेज देता है।
नियम जानना और उसे आधे बिल्ड पर लगाना, न जानने से बदतर है। न जानना training की समस्या है और training का इलाज है। यह एक ऐसा पैकेज है जिसमें सही विचार मौजूद था, लिखित रूप में, ELF header में जहाँ कोई भी पढ़ सकता था, और फिर भी वह टूटा हुआ दरवाज़े से बाहर गया। जिससे पता चलता है कि compiler के बाद कुछ भी नतीजे को नहीं देख रहा था। कुछ भी नहीं।
कंटेनर पहले से वहीं था
/workspace कहाँ से आया, यह कोई रहस्य नहीं, और आपको अंदाज़ा नहीं लगाना पड़ता। यह पैकेज header में है:
$ rpm -qi webex | grep -E 'Build Host|Build Date|Vendor'
Build Date : Sat 08 Aug 2026 20:47:43 BST
Build Host : c964ea9239ae
Vendor : Cisco
c964ea9239ae ऐसा hostname नहीं जो किसी ने type किया हो। यह बारह hexadecimal अक्षर हैं, जो एक कंटेनर अपने hostname के रूप में बताता है जब कोई सेट न करे। तो पैकेज एक कंटेनर के अंदर बिल्ड हुआ, एक ऐसी कंपनी ने जिसके पास साफ़ तौर पर ऐसा करने के लिए images, registry और orchestration हैं, और इस मशीन पर तीन अलग artefact यह स्वतंत्र रूप से कहते हैं:
| Install किए पैकेज से पढ़ा गया सबूत | Value | यह क्या साबित करता है |
|---|---|---|
RPM header में Build Host | c964ea9239ae | एक कंटेनर ID, बिल्ड मशीन नहीं |
libcrypto.so.3 में OPENSSLDIR | /workspace/.conan2/… | एक पाथ जो सिर्फ़ उस कंटेनर के अंदर है |
उसी library में PLATFORM | conan-Release-Linux-x86_64-gcc-13 | एक कंटेनर में चलता Conan toolchain |
RPM में Requires | glibc >= 2.28 | जानबूझकर चुना गया, बहुत पुराना ABI floor |
फिर उन्होंने इस पर signature किया। बिल्ड 20:47:43 पर खत्म हुआ और signature उसी शाम 21:02:07 का है, key ID 9995e5bbb5ccde3c। पंद्रह मिनट। तो एक release gate है, कोई या कुछ उसे चलाता है, और वह जिस बात की गवाही देता है वह है पैकेज किसने बनाया, यह नहीं कि पैकेज काम करता है या नहीं। Signature मूल स्रोत के बारे में बयान है। यह कभी उपयुक्तता के बारे में बयान नहीं रहा, और जिस process में एक है और दूसरा नहीं, उसकी प्राथमिकताएँ उल्टे क्रम में हैं।
क्योंकि छूटा हुआ चरण सस्ता वाला है। कंटेनर pipeline में पहले से है। अभी-अभी उससे निकला artefact लीजिए, हर उस distribution की एक साफ़ image शुरू कीजिए जिसे supported बताते हैं, उसे install कीजिए, चलाइए, और log की पहली सौ लाइनें पढ़िए:
docker run --rm fedora:44 sh -c '
dnf -y install ./webex-46.8.0.35631-1.x86_64.rpm &&
timeout 25 /opt/Webex/bin/CiscoCollabHost &
sleep 20
grep -c "Error in SSL handshake" ~/.local/share/Webex/current_log.txt'
इस बिल्ड पर हर बार शून्य से ज़्यादा। Install 1.1 GB का है, तो गर्म cache पर हर target के लिए एक मिनट मान लीजिए। छह distributions यानी पहले से चल रही एक मशीन के छह मिनट, उस hardware पर जो Cisco के पास पहले से है, उस pipeline में जो पहले से मौजूद है। यह नहीं चलाया गया। एक बार भी नहीं।
और Linux के बारे में लोग जो अब भी कहते हैं कि कई distributions को support करना मुश्किल है, उसका जवाब यही है। यह उस दिन मुश्किल नहीं रहा जिस दिन यह tooling आई, और यह tooling वही है जिससे वे compile करते हैं। हर target के लिए एक base image। हर एक में वही artefact। Matrix एक loop है।
जो pipeline कंटेनर में बिल्ड करती है और नतीजा कभी उसमें नहीं चलाती, वह pipeline नहीं है। वह एक compiler है जिसके आगे एक cron job है और पीछे एक signing key, और वह जो भी बनाता है वह एक अंदाज़ा है।
2026 की release 2018 की libc पर क्यों बनी है?
पैकेज बताता है कि उसे क्या चाहिए, और दिलचस्प लाइन पहली है:
$ rpm -q --requires webex | grep glibc
glibc >= 2.28
glibc 2.28 1 अगस्त 2018 को रिलीज़ हुआ था13। यह Red Hat Enterprise Linux 8 का version है14, एक ऐसी release जिसका full support 2024 में खत्म हो गया। यह 2026 का प्रोडक्ट है, 2026 में compile हुआ, और 2018 की C library को target करता है। फिर यूज़र की home डायरेक्टरी में libstdc++.so.6 की अपनी 2.5 MB copy भेजता है, क्योंकि इतने पुराने base के साथ आने वाला C++ runtime इस कोड को नहीं संभाल सकता।
आज भी कोई ऐसा क्यों करेगा? क्योंकि वे static linking नहीं करेंगे।
बस इतनी सी बात है। जिस पल आप होस्ट की C library से dynamically link करते हैं, सबसे पुराना distribution जिसे आप support करने को तैयार हैं, उस मशीन पर एक बंधन बन जाता है जिस पर आप compile करते हैं। आप ऐसा कोई symbol इस्तेमाल नहीं कर सकते जिसके बारे में सबसे पुराने target ने कभी सुना न हो, इसलिए आप बिल्ड को एक प्राचीन base image पर बाँध देते हैं और वहीं रहते हैं। हर साल फ़ासला बढ़ता है। हर नई भाषा या library feature इस बहस के साथ आता है कि क्या floor हिल सकता है। सबसे बुरे हिस्से को ढकने के लिए अपना libstdc++ भेजिए, और अब आप एक private runtime भी maintain कर रहे हैं।
यह सौदा तब समझ में आता था जब बिल्ड होस्ट एक rack में रखी physical मशीन होती थी जिसे किसी को दोबारा install करना पड़ता था। एक दशक से इसका कोई मतलब नहीं रहा। अगर आपको होस्ट की libc से link करना ही है, तो हर target के लिए एक कंटेनर आपको हर प्लेटफ़ॉर्म के असली version पर असली बिल्ड देता है, और कोई दूसरे को बाँधता नहीं।
लेकिन देखिए पुराने target वाले अनुशासन ने यहाँ असल में क्या खरीदा। काफ़ी कीमत पर ABI की सावधानी: आठ साल पुराना floor, एक bundled C++ runtime, उसके चारों ओर जमा हुआ support matrix। और क्लाइंट फिर भी शुरू नहीं होता। क्योंकि जो टूटा वह एक फ़ाइल पाथ था, और symbol versions की कितनी भी परवाह फ़ाइल पाथ को नहीं बचाती। उन्होंने compatibility का टैक्स और bundling का टैक्स भरा, और वह एक check छोड़ दिया जिसकी कोई कीमत नहीं। दोनों बिल। कोई प्रोडक्ट नहीं।
उन्होंने self-contained bundle की कीमत चुकाई और वह मिला नहीं
Linux पर commercial software भेजने का पुराना तरीका है होस्ट पर जितना हो सके उतना कम निर्भर रहना। जहाँ हो सके static, जहाँ न हो सके एक self-contained tree, और नीचे के distribution के बारे में कोई मान्यता नहीं। यह सुंदर नहीं है और कोई ऐसा दिखावा नहीं करता। यह विकल्प की वजह से मौजूद है। जिस binary को किसी खास जगह पर किसी खास library का खास version चाहिए, वह हर ग्राहक की मशीन को एक support case बना देती है।
Cisco ने दूसरा रास्ता चुना और bundle किया। बिल यह रहा:
| Bundle में क्या है | आकार या गिनती |
|---|---|
/opt/Webex/lib में shared objects | 150 |
| उनका अपना libcurl, CiscoSSL, zlib-ng, ICU, Kerberos, CUPS client, hunspell और inference engine | सब के सब |
/opt/Webex के नीचे install | 1.1 GB |
~/.local/share/WebexLauncher के नीचे दूसरी copy, हर यूज़र के लिए | 1.1 GB |
| एक chat और calling क्लाइंट के लिए disk पर | 2.2 GB |
दो gigabyte dependencies। Bundling की पूरी कीमत यही है: download, disk, दोहराव, किसी भी चीज़ को patch कर सकने वाला इकलौता पक्ष होने का security बोझ, सब कुछ। यह चुकाइए और आप एक ऐसा प्रोग्राम खरीदते हैं जिसे परवाह नहीं कि होस्ट पर क्या install है, जो Fedora और Debian और Arch और जिस पर भी ग्राहक ने इस साल standardise किया हो, सब पर एक जैसा चलता है, और जिसे कोई ऐसा distribution upgrade नहीं तोड़ सकता जिसके बारे में उसने कभी सुना न हो।
सिवाय इसके कि उसे परवाह है। उसे एक डायरेक्टरी की बहुत परवाह है, और वह डायरेक्टरी एक बिल्ड सर्वर पर है।
उन्होंने अपना Kerberos और अपना ICU और अपना spell checker भेजा, और सर्टिफ़िकेट तक का एक काम करता पाथ नहीं भेज सके। Bundle का पूरा मकसद self-contained होना है, और वह उसी एक मामले में self-contained नहीं है जो उसे काम करने से रोकता है। उन 1.1 GB में से हर चीज़ $ORIGIN के ज़रिए सही ढंग से मिल जाती है। सबसे ज़्यादा मायने रखने वाले चालीस-कुछ bytes नहीं मिलते।
और यही हिस्सा मुझे खलता है। Bundling महँगा विकल्प है। उन्होंने खर्च उठाया, मुश्किल engineering की, दो install prefix में डेढ़ सौ libraries के लिए relocation सही किया। फिर उस एक हिस्से को, जो तय करता है कि इसमें से कुछ भी काम करेगा या नहीं, एक ऐसी मशीन की ओर मोड़ दिया जो किसी ग्राहक के पास कभी नहीं रही।
किसी ने इसे document भी नहीं किया
पहली विफलता के बगल में एक दूसरी विफलता बैठी है, और यही वह है जो पहली को पकड़ लेती।
पैकेज से पूछिए कि वह कौन सा documentation भेजता है:
$ rpm -qd webex | wc -l
0
$ rpm -qc webex | wc -l
0
कोई documentation फ़ाइल नहीं। और कोई configuration फ़ाइल नहीं। एक ऐसे पैकेज में %config के रूप में चिह्नित शून्य entries जो एक openssl.cnf भेजता है। यह सजावटी बात नहीं है। RPM किसी फ़ाइल को %config इसलिए चिह्नित करता है ताकि package manager वह सुरक्षित रखे जो administrator ने बदला, उसे कुचलने के बजाय एक .rpmsave बचाकर1516। /opt/Webex/lib/openssl.cnf एक साधारण फ़ाइल के रूप में भेजी गई है, इसलिए अगला update आपके किए किसी भी edit को overwrite कर देता है और आपको कुछ नहीं बताता। जिस एक फ़ाइल को ग्राहक को जायज़ तौर पर बदलना पड़ सकता है, packaging उसी को फेंकने लायक मानती है।
कहीं भी प्रकाशित नहीं है कि क्लाइंट कौन सा trust store इस्तेमाल करता है, कौन से environment variables मानता है, या अपनी TLS configuration कहाँ से पढ़ता है। जाँचने के लिए कोई पेज नहीं। कोई लिखा ही नहीं गया। इसमें से कुछ भी स्थापित करने का मेरे पास इकलौता तरीका था भेजी गई binaries पर strings, readelf, ldd और ctypes। एक supported प्रोडक्ट को reverse-engineer करना, एक ऐसे सवाल का जवाब पाने के लिए जो उसका documentation एक वाक्य में दे देता।
और यह जितना लगता है उससे ज़्यादा क्यों मायने रखता है, वह यह है। वह documentation लिखना अपने आप में एक test है। Vendor के किसी भी व्यक्ति को एक खाली पेज के सामने बिठाइए जिसका शीर्षक हो Linux के लिए Webex अपने CA सर्टिफ़िकेट कहाँ से पढ़ता है, और सबसे पहले उन्हें जाकर देखना पड़ेगा। जिस पल वे देखेंगे, उन्हें /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl मिलेगा, और उनके मुँह से अगली चीज़ एक सवाल होगा। Documented configuration पाथ ग्राहक के फ़ायदे के लिए कागज़ी काम नहीं हैं। वे सबसे सस्ता audit हैं जो कोई vendor अपने बिल्ड पर चला सकता है, और उन्हें छोड़ देना ही वह तरीका है जिससे ऐसा पाथ release तक बचा रह जाता है।
इसमें से कुछ भी बड़ी माँग नहीं है। बताइए कि आपकी configuration कहाँ रहती है। बताइए कि आप कौन से environment variables मानते हैं। अपनी configuration फ़ाइलों को configuration के रूप में चिह्नित कीजिए ताकि update उन्हें खा न जाए। तब जिस ग्राहक को गड़बड़ मिले उसके पास देखने की कोई जगह होगी जो hex editor न हो।
किसी ने इसे चलाया नहीं
छूटे हुए चरण का नाम ऊपर काफ़ी बार लिया जा चुका है। पूछने लायक यह है कि यह इस प्लेटफ़ॉर्म पर क्यों छूटा और दूसरों पर क्यों नहीं।
कम से कम Fedora पर तो नहीं। macOS और Fisher-Price OS (Windows) पर इस तरह की गलती इस रूप में सामने नहीं आ सकती, क्योंकि उन प्लेटफ़ॉर्म पर एक system TLS stack है जिसका trust store operating system संभालता है। Linux पर ऐसी कोई चीज़ नहीं है। OpenSSL ही trust store है, और इसलिए जो भी उसे भेजता है वह तय करता है कि वह कहाँ देखे। तो वह इकलौता प्लेटफ़ॉर्म जहाँ bundled library पूरा वज़न उठाती है, वही प्लेटफ़ॉर्म है जो बिना test के भेजा गया, और यह इस बारे में फ़ैसला है कि कौन से ग्राहक एक smoke test के लायक हैं।
पूरी जाँच में एक शाम लगी: log पढ़ना, यह देखना कि नेटवर्क detection बैनर के उल्टा दावा करने से पहले पास हो चुका था, binary से compile हुआ पाथ निकालना, भेजी गई library पर ठीक वही error code दोबारा पैदा करना। यह सब एक AI agent के साथ हुआ जो log correlation और ctypes harness कर रहा था, जबकि मैं तय कर रहा था कि उससे क्या पूछूँ। मैं यह एक कारण से बता रहा हूँ: जो diagnosis एक vendor ने इस पैकेज पर signature करने और उसे अपनी repository में रखने से पहले कभी नहीं किया, वह अब धैर्य से देखने वाले किसी भी ग्राहक की एक शाम की पहुँच में है। Cisco के engineers के पास भी Claude उतना ही उपलब्ध है जितना किसी और के पास, और वह इसे ठीक से बनाता। आप उससे /workspace/.conan2 को एक भेजे जाने वाले artefact में पकाने को नहीं कह सकते, बिना यह सुने कि artefact के workspace छोड़ते ही क्या होगा। इसे पकड़ने का tooling अब दुर्लभ नहीं है, और न ही इसका ज्ञान। जो गायब है वह vendor पर कोई ऐसा व्यक्ति है जिसका काम देखना था।
इस बीच इस समस्या से जूझ रहे व्यक्ति के लिए support का रास्ता एक बैनर है जो कहता है कि उनका इंटरनेट बंद है। वे router restart करेंगे। वे अपने provider को फ़ोन करेंगे। वे एक ticket उठाएँगे जो कहीं नहीं जाएगा, क्योंकि Cisco ने जो लक्षण दिखाना चुना वह Cisco से दूर इशारा करता है।
जो गलत हुआ उसकी पूरी सूची यही है। यह बताना ज़रूरी है कि सही कैसा दिखता, क्योंकि इसकी हर चीज़ का एक तय जवाब है जो इस प्रोडक्ट से पुराना है।
इसे कैसे बनाया जाना चाहिए था
क्या गलत हुआ, बहुत हो गया। Standard यह है, और इसमें कुछ भी नया नहीं। किसी और के कंप्यूटर पर binary भेजना बीस साल से आपसे यही माँगता रहा है।
उस फ़ैसले से शुरू कीजिए जो Cisco ने सिद्धांत में सही और अमल में गलत किया: आप होस्ट पर कितना निर्भर होने को तैयार हैं। Static linking सबसे मज़बूत जवाब है, और इसके बारे में ठोस होना ज़रूरी है, क्योंकि “बस static link कर दो” उन लोगों द्वारा उछाला जाता है जिन्होंने कभी करना नहीं पड़ा और उन लोगों द्वारा खारिज किया जाता है जिन्होंने कभी कोशिश नहीं की।
| यह क्या हटाता है | इसकी कीमत क्या है |
|---|---|
RUNPATH, और उसे गलत करने का हर तरीका, क्योंकि लोड के समय कोई खोज नहीं होती | glibc साफ़ static link नहीं होता: नाम और यूज़र lookup dlopen से होकर जाते हैं, इसलिए binary अब भी होस्ट के NSS modules की ओर हाथ बढ़ाती है17 |
| glibc floor, ताकि सबसे पुराना distribution यह तय करना बंद कर दे कि आप किस पर compile करें | LGPL हिस्सों पर relinking की बाध्यता है, इसलिए वे dynamic रहते हैं या आप relink के लिए ज़रूरी चीज़ें भेजते हैं |
किसी distribution upgrade, library के नाम बदलने या पुराने ldconfig cache से टूटना | हर patch आपका है: distribution का कोई security update आपके ग्राहकों तक नहीं पहुँचता |
ऐसी डायरेक्टरी से versioned .so का dlopen जो शायद हो ही नहीं | बड़ा download, और processes के बीच pages की कोई साझेदारी नहीं |
और बाएँ कॉलम में एक लाइन है जिसका बाकी सब सिर्फ़ साथ दे रहे हैं: आपकी pipeline ने जो artefact बनाया, ग्राहक वही artefact चलाता है, byte दर byte। उसे test कीजिए और आपने वही चीज़ test की जो आपने भेजी। पूरी पोस्ट इसी गुण के न होने के बारे में है।
दाएँ कॉलम के बारे में ईमानदार होना ज़रूरी है। असली कीमतें, और यही कारण है कि लोग musl की ओर जाते हैं या एक hybrid स्वीकार करते हैं। लेकिन तीसरी पंक्ति देखिए। हर patch का मालिक होना बिल्कुल वैसे ही उस पर लागू होता है जो Cisco ने पहले ही किया: 150 libraries का bundled tree वही प्रतिबद्धता है, लोड के समय की किसी गारंटी के बिना। उन्होंने दोनों तरह हर patch का मालिक बनना स्वीकार किया और बदले में कुछ नहीं पाया।
तो नियम सीधा है, और यही नियम उन्होंने तोड़ा: जो कुछ आप link करके अंदर नहीं ला सकते, उसे binary के सापेक्ष पाथ से ढूँढना होगा। कोड के लिए $ORIGIN, और वही अनुशासन, सोच-समझकर, हर उस डेटा पाथ के लिए जिसे library ढूँढने जाएगी। इस मामले में ऐसे चार हैं और हर एक पर एक documented handle है:
| Library क्या ढूँढने जाती है | क्या भेजा गया | क्या होना चाहिए था |
|---|---|---|
| Trust anchors | OPENSSLDIR/cert.pem, बिल्ड के समय तय | tree में भेजा गया, या startup पर SSL_CERT_FILE सेट5 |
| Configuration | OPENSSLDIR/openssl.cnf, वही पाथ, कभी नहीं मिला | OPENSSL_CONF, पैकेज वाली copy की ओर5 |
| Providers, FIPS सहित | MODULESDIR, absolute, इसलिए fips.so तक पहुँच नहीं | OPENSSL_MODULES, “the directory from which cryptographic providers are loaded”5 |
| Engines | ENGINESDIR, absolute | OPENSSL_ENGINES, या कुछ नहीं, क्योंकि OpenSSL 4.0 ने engine support पूरी तरह हटा दिया5 |
चार पाथ, चार environment variables, सब एक ही manual page में जो उनकी अपनी library के साथ आता है। अगर आपके artefact में कोई string / से शुरू होती है और बिल्ड के समय तय हुई थी, तो वह एक defect है जो किसी ग्राहक के ढूँढने का इंतज़ार कर रहा है। कोई तीसरा विकल्प नहीं है जिसमें absolute बिल्ड पाथ ठीक हो।
इस वाले के fix, और वो check जो इसे पकड़ता है
सिद्धांत से नीचे इस खास defect पर। छह बदलाव, उनमें से एक भी research नहीं:
| Fix | मेहनत | यह सही क्यों है |
|---|---|---|
--openssldir=/opt/Webex/lib/ssl सेट कीजिए और tree भेजिए | एक configure flag | तब पाथ पैकेज में मौजूद होता है, और flag इसी लिए है2 |
Startup पर CiscoSSLUtils में SSL_CERT_FILE/SSL_CERT_DIR सेट कीजिए, जानी हुई distribution जगहें जाँचते हुए | दर्जन भर लाइनें | Standard, documented, उनकी अपनी library पहले से support करती है5 |
| CA bundle खुद पैकेज के अंदर भेजिए | सिर्फ़ packaging | Trust पर पूरा नियंत्रण, उसे ताज़ा रखने की ज़िम्मेदारी की कीमत पर |
openssl.cnf ठीक कीजिए ताकि default provider activate हो | एक लाइन | चाहे जो हो ज़रूरी, और अभी पाथ वाली गलती के पीछे छिपा है6 |
openssl.cnf को %config चिह्नित कीजिए | एक spec लाइन | Update को चुपचाप administrator का बदलाव खाने से रोकता है15 |
| पाथ और माने जाने वाले variables प्रकाशित कीजिए | एक पेज | सबसे सस्ता audit, और लिखते समय ही यह गलती पकड़ लेता है |
पहला वाला एक-flag fix है और इससे प्रोडक्ट काम करता हुआ भेजा जाता। यह बिल्ड script में एक value है, एक बार सेट की हुई, जिसे उन्होंने गलत किया क्योंकि आगे कुछ भी उसे कभी नहीं जाँचता था।
Check fix से भी छोटा है:
# in CI, on the packaged artefact, in a clean container
test -d "$(strings lib/libcrypto.so.3 | grep -oP '(?<=OPENSSLDIR: ")[^"]+')" \
|| { echo "shipping a trust store path that does not exist"; exit 1; }
एक लाइन। यह इस release को ज़ोर से फ़ेल कर देती, फ़रवरी में, उसी मशीन पर जिसने इसे बनाया, उसी कंटेनर में जिसने इसे बनाया, पैकेज पर signature होने से पहले। यह वहाँ इसलिए नहीं है कि यह मुश्किल या महँगा है। इसलिए नहीं है क्योंकि किसी से इसे लिखने को कहा नहीं गया, और इसलिए यह किसी का काम नहीं था कि packaged artefact software की तरह व्यवहार करता है या नहीं।
एक लापरवाह बिल्ड प्रोसेस बाकी सबको क्या कीमत चुकवाता है
ऊपर का सब कुछ एक प्रोडक्ट का बिल्ड प्रोसेस है, अंदर से देखा हुआ, और मैं आपको वापस उसमें से नहीं घुमाऊँगा। पूछने लायक सवाल यह है कि क्या परवाह का यह स्तर एक टीम पर रुकने की संभावना है।
तो बाहर का रिकॉर्ड इसके बगल में रखिए। CISA उन कमज़ोरियों का एक कैटलॉग रखता है जो खुले में exploit होती पाई गई हैं। सैद्धांतिक नहीं, score की हुई नहीं। लोगों के खिलाफ़ इस्तेमाल होते देखी गईं। 14 सितंबर 2026 तक इसमें 1,710 entries हैं18:
| Vendor | KEV कैटलॉग में entries |
|---|---|
| Microsoft | 388 |
| Cisco | 98 |
| Apple | 94 |
| Adobe | 81 |
| 74 | |
| Oracle | 46 |
| Fortinet | 30 |
| VMware | 26 |
दूसरे नंबर पर, एक operating system monopoly के पीछे और बाकी सबसे आगे। सबसे हाल की Cisco entry 14 सितंबर 2026 को जुड़ी, इसके लिखे जाने से एक दिन पहले।
मैंने तीन हफ़्ते पहले /hi/random/is-your-msp-lying-to-you-part2/ के लिए यही फ़ाइल गिनी थी: version 2026.08.27, 1,685 entries, Cisco 96 पर। तब से दो और, इक्कीस दिनों में।
ईमानदार रहिए कि यह तालिका अकेले क्या साबित करती है और क्या नहीं। ऊँचे मूल्य वाली जगहों पर बड़ा installed base ध्यान खींचता है, और ध्यान bugs ढूँढ लेता है, इसलिए उस पैमाने का कोई भी vendor एक लंबी सूची रखेगा। यह संख्या एक पूर्वधारणा है, फ़ैसला नहीं।
कुल से ज़्यादा उसकी बनावट को टालना मुश्किल है। Cisco की अट्ठानवे में से पच्चीस security वाली product lines पर हैं: firewalls, appliances, VPN concentrators, mail और web gateways, identity services। और उनके खिलाफ़ जुड़ी चार सबसे हाल की entries, एक के बाद एक, हैं Secure Firewall Management Center दो बार, Secure Firewall ASA, और Secure Email Gateway, उनमें आखिरी 14 सितंबर 2026 को18। Switches नहीं। Collaboration kit नहीं। वे प्रोडक्ट जो खास तौर पर इसलिए बेचे जाते हैं कि वे बाकी सबको सुरक्षित रखें।
यही वह वाक्य है जिसकी ओर यह पूरी पोस्ट चलती आई है, तो यह रहा साफ़-साफ़। यह एक ऐसी कंपनी है जिसका धंधा security appliances बेचना है, और वह एक desktop क्लाइंट से एक सर्टिफ़िकेट नहीं जँचवा सकती। कोई मुश्किल मामला नहीं। कोई नया हमला नहीं। Computing का सबसे रोज़मर्रा का security काम, जो हर browser हर पेज लोड पर करता है, एक ऐसी library में जिसका fork उन्होंने खुद किया, और उन्होंने उसे एक ऐसी डायरेक्टरी की ओर इशारा करते भेज दिया जो किसी ग्राहक की मशीन पर कभी मौजूद नहीं रही। फिर उस पर signature किया।
यह पोस्ट जो जोड़ती है वह उसके पीछे के process का एक नमूना है। कोई vulnerability नहीं। एक सीधा packaging defect, गलतियों की सबसे कम बारीक श्रेणी, एक supported प्लेटफ़ॉर्म पर, किसी भी ऐसे smoke test से पकड़ा जाने वाला जिसे कोई चलाने की परवाह करता, और फिर भी भेजा गया। अगर एक बिल्ड pipeline वह एक पैसे देने वाले ग्राहक के सामने रख देगी, तो साफ़ नहीं कि वह किस चीज़ को रोकेगी। किसी चीज़ ने नहीं रोका।
क्या मैं पूछ सकता हूँ कि इस पर signature क्यों हुआ?
क्या मैं पूछ सकता हूँ कि जो पैकेज एक TLS handshake पूरा नहीं कर सकता, उस पर signature करके उसे उस प्लेटफ़ॉर्म के लिए क्यों प्रकाशित किया गया जिसे आपका अपना requirements पेज supported बताता है? यह नहीं कि signature किसने किया। मुझे किसी नाम में कोई दिलचस्पी नहीं और बात किसी नाम की है भी नहीं। किस चीज़ ने इसकी इजाज़त दी, क्योंकि किसी चीज़ ने दी, बिल्ड खत्म होने के पंद्रह मिनट बाद, और वह जो भी है आज भी चल रही है।
अब सीधी बात। यह कोई project नहीं जिसे मैंने किसी forge से उठाया और किस्मत आज़माई। इसके पैसे दिए जाते हैं। इसके पीछे एक contract है, एक support line, Linux के बारे में दावा करता एक requirements पेज, और एक signing key जो कहती है कि पैकेज Cisco से आया है और install करने लायक है। इनमें से हर एक ग्राहक से किया गया बयान है, और इस release पर हर एक की कीमत शून्य थी, क्योंकि नतीजा कभी खोला ही नहीं गया।
और यहाँ जो standard छूट रहा है वह मेरा नहीं है। उनका है। जो चार variables उन पाथ को ले जाते, वे एक manual page में documented हैं जो आप bundle के अंदर भेजते हैं। उनके अपने packaging format में एक %config marker है जिसे उन्होंने इस्तेमाल नहीं किया और एक documentation section जिसे उन्होंने खाली छोड़ दिया। उनका अपना बिल्ड एक कंटेनर में चला जिसे उन्होंने output चलाने के लिए कभी इस्तेमाल नहीं किया। मैं एक networking और collaboration कंपनी से कुछ नया ईजाद करने को नहीं कह रहा। मैं पूछ रहा हूँ कि उसने अपने ही manuals क्यों नहीं पढ़े।
इसलिए जो बहाना मैं स्वीकार नहीं करूँगा वह यह है कि यह मुश्किल है। यह किसी के लिए मुश्किल नहीं है, और उस कंपनी के लिए तो बिल्कुल नहीं जो यह रोज़ करती है, इस पैमाने पर, इतने पैसों के लिए। जो professionals यह हर दिन करते हैं उनके पास कोई बहाना नहीं, और बड़ा होना कोई बहाना नहीं है।
और क्या मैं एक और पूछ सकता हूँ, क्योंकि असल में यही मायने रखता है। आप firewalls बेचते हैं। आप एक email gateway, एक VPN concentrator, एक identity service, इन सबके लिए एक management centre बेचते हैं, और इन सब पर आपकी बात यही है कि आप इसे अपने ग्राहक से बेहतर समझते हैं। तो जो कंपनी खुद को network security पर एक authority के रूप में पेश करती है, वह ऐसा क्लाइंट कैसे भेजती है जो एक सर्टिफ़िकेट validate नहीं कर सकता? चालाकी से validate करने में फ़ेल नहीं। एक ढूँढ ही नहीं सकता, क्योंकि डायरेक्टरी कभी थी ही नहीं।
उस जवाब का कोई ऐसा रूप नहीं जो मैं सुनना चाहूँ जो इस बात से शुरू हो कि desktop टीम appliance टीम से अलग है। वे एक ही signature हैं, एक ही pipeline, एक supported प्लेटफ़ॉर्म के बारे में एक ही प्रकाशित दावा, और अंत में एक ही छूटा हुआ चरण, जो है डिब्बा खोलना। अगर उस प्रोडक्ट में भेजने से पहले certificate validation नहीं जाँचा जाता जहाँ टूटना ज़ोरदार और हानिरहित है, तो मेरे पास यह मानने का कोई कारण नहीं कि उस प्रोडक्ट में जाँचा जाता है जहाँ टूटना चुपचाप और महँगा है।
और ईमानदार हिस्सा, साफ़ कहा हुआ। इसमें से किसी चीज़ ने मुझे हैरान नहीं किया। मैं इस vendor से यही स्तर उम्मीद करने लगा हूँ, यही कारण है कि जहाँ चुनाव मेरा है, मैं उनका kit नहीं खरीदता और उस पर कुछ नहीं बनाता। यह बैज के बारे में पसंद नहीं है। यह वही फ़ैसला है जो मैं किसी भी सप्लायर के बारे में करूँगा: मैंने उनका काम मापा है, एक से ज़्यादा बार, और वह बार-बार वैसा ही लौटता है। ऊपर का कैटलॉग एक माप है। इस पोस्ट का पहला आधा लिखने में जो लगा वह दूसरा।
मैं Webex पर था ही इसलिए क्योंकि चुनाव मेरा नहीं था, और इसका नाम लेना ज़रूरी है, क्योंकि यही वह स्थिति है जिसमें इसे पढ़ने वाले ज़्यादातर लोग हैं। आपको शायद ही कभी उस vendor से बचने का मौका मिलता है जिसकी गुणवत्ता आप पहले से माप चुके हैं। Contract कोई और sign करता है, kit आ जाता है, और बिल्ड में क्या छोड़ा गया यह पता लगाने वाले पहले व्यक्ति आप होते हैं, अपनी डेस्क पर, एक मीटिंग शुरू होते हुए।
कुछ ऐसा भेजना जिसे आपने कभी चलाया नहीं
कोई अंदरूनी सफ़ाई ज़रूर होगी। एक व्यस्त sprint, एक pipeline जिसके हाथ बदल गए, एक प्लेटफ़ॉर्म जिसका कोई मालिक नहीं। इसमें से कुछ भी सुनने लायक नहीं, क्योंकि हर एक एक ही बात बताता है: काम नहीं किया गया और process में किसी चीज़ ने उसे करना ज़रूरी नहीं बनाया।
कारीगरी के काम में एक पुराना standard है जो software तक कभी नहीं पहुँचा: जब तक आपने चीज़ चलाकर न देख ली हो, आप काम नहीं छोड़ते। आप system भरते हैं और हर जोड़ जाँचते हैं। आप board में बिजली डालते हैं और हर circuit test करते हैं। इसलिए नहीं कि आपको अपने काम पर शक है। इसलिए कि ग्राहक उसे इस्तेमाल करने वाला है, और उनके सामने पता चलना professional नतीजा नहीं है। कोई आपको ऐसा करते नहीं देखता। आप फिर भी करते हैं। इस शब्द का पूरा मतलब यही है।
Software ने तीस साल यह तर्क देने में बिताए हैं कि वह अलग है, कि बिल्ड ही deliverable है और install किसी और की समस्या, कि हरी pipeline और काम करता प्रोडक्ट एक ही चीज़ हैं, और ऐसा नहीं है। जो बिल्ड उसे बनाने वाले कंटेनर के बाहर कभी चलाया नहीं गया, वह पूरा नहीं हुआ, उसे उस बिंदु पर छोड़ दिया गया जहाँ पूरा करना उबाऊ हो जाता है। उसके आगे सब कुछ उस काम के बारे में दावा है जो किया नहीं गया।
Fix एक configure flag है। Check shell की एक लाइन है। दिलचस्प इनमें से किसी की कीमत नहीं; दिलचस्प संख्या यह है कि कितने लोगों ने Webex विंडो में अपने credentials type किए, उसे यह कहते देखा कि उनका इंटरनेट बंद है, और उस पर भरोसा कर लिया, क्योंकि Cisco ने उन्हें ऐसा बताया और Cisco एक networking कंपनी है। छूटे हुए test ने असल में यही खरीदा: एक bug नहीं, एक झूठ जो प्रोडक्ट पूरे विश्वास से बोलता है, हर launch पर, उन लोगों से जिनके पास बेहतर जानने का कोई तरीका नहीं।
और tab बंद करने से पहले यही रेखा खींचने लायक है, क्योंकि इस पोस्ट के दो आधे दो विषय नहीं हैं। बिल्ड कंटेनर की ओर इशारा करता trust path और edge appliance पर authentication bypass अलग-अलग दाँव पर एक ही विफलता हैं। दोनों एक ऐसी value हैं जिसे किसी ने नहीं जाँचा, एक ऐसे artefact में जिसे किसी ने नहीं चलाया, एक ऐसे process से sign किया हुआ जो मूल स्रोत की गवाही देता है, उपयुक्तता की नहीं। मेरे सामने वाला हानिरहित किस्म का था। वह ज़ोर से टूटा, मेरी अपनी डेस्क पर, और सबसे पहले मुझे पता चला। दूसरी किस्म आपके लिए ऐसा नहीं करती।
Cisco में किसी ने एक exploitable firewall भेजने का फ़ैसला नहीं किया, ठीक वैसे ही जैसे किसी ने ऐसा क्लाइंट भेजने का फ़ैसला नहीं किया जो इंटरनेट तक नहीं पहुँच सकता। यह बचाव नहीं है। यही आरोप है। दोनों में से किसी को फ़ैसले की ज़रूरत नहीं, और ठीक यही समस्या है: दोनों वह हैं जो दूसरे सिरे से निकलता है जब एक pipeline compile, sign और publish करती है, बिना किसी को नतीजा खोलने का ज़िम्मेदार बनाए। जो process एक न-मौजूद डायरेक्टरी नहीं पकड़ेगा, वह एक न-जाँची length कभी नहीं पकड़ने वाला था, और जो vendor आपको आपकी परिधि की रखवाली करने वाला appliance बेचता है, वह उस process का हकदार नहीं।
तो जब किसी vendor का नाम उस सूची में बार-बार आए, तो उस आरामदायक सफ़ाई से बचिए कि वे बस बड़े हैं और उन पर ज़्यादा निशाना है। पैमाना मात्रा समझाता है। वह किस्म नहीं समझाता। इसके बजाय देखिए कि उनका बिल्ड प्रोसेस उबाऊ चीज़ों के साथ क्या करता है, क्योंकि उबाऊ चीज़ें बाहर से मापी जा सकती हैं, आपके द्वारा, आज, उस kit पर जो आपके पास पहले से है।
अपने खुद के bundles जाँचिए। strings और readelf और बीस मिनट आपको बता देंगे कि आपके कौन से vendor किसी ऐसी मशीन का पाथ भेजते हैं जिसे आप कभी नहीं देखेंगे। आप असल में जो माप रहे हैं वह पाथ नहीं है। वह यह है कि क्या वहाँ कोई देख रहा था, और अगर इतनी सस्ती पकड़ वाली चीज़ पर जवाब नहीं है, तो आप पहले से जानते हैं कि उन चीज़ों पर क्या है जो सस्ती नहीं हैं।
Cisco — Webex App system requirements — supported प्लेटफ़ॉर्म की सूची, Linux सहित। ↩︎
OpenSSL — INSTALL.md,
--openssldir— “Directory for OpenSSL configuration files, and also the default certificate and key store.” ↩︎ ↩︎OpenSSL — SSL_CTX_load_verify_locations(3) — default CA फ़ाइल
cert.pemहै और default CA डायरेक्टरीcerts, दोनों default OpenSSL डायरेक्टरी के अंदर; और return values पर, “A missing default location is still treated as a success.” ↩︎ ↩︎Conan 2 —
conan cache— package binaries लोकल cache में एक hashed पाथ के नीचे रहती हैं,/workspace/.conan2/p/b/<hash>/pयहीं से आता है। ↩︎OpenSSL — openssl-env(7) —
SSL_CERT_DIRऔरSSL_CERT_FILE“specify the default directory or file containing CA certificates”। ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎OpenSSL — provider(7) — default provider, और जो configuration उसे छोड़ देती है वह क्या अनुपलब्ध छोड़ती है। ↩︎ ↩︎
OpenSSL — config(5) — वह configuration फ़ाइल जो OpenSSL initialisation पर लोड करता है, और उसे कहाँ ढूँढा जाता है। ↩︎
freedesktop.org — XDG Base Directory Specification — “The base directory defined by
$XDG_DATA_HOMEis considered more important than any of the base directories defined by$XDG_DATA_DIRS.” ↩︎freedesktop.org — Desktop Entry Specification —
.desktopफ़ाइलें कहाँ खोजी जाती हैं और एक ही नाम की एक फ़ाइल दूसरी को कैसे ढकती है। ↩︎Filesystem Hierarchy Standard 3.0 — root filesystem में अपेक्षित डायरेक्टरियाँ, जिनमें
/workspaceनहीं है। ↩︎update-ca-trust(8) — Fedora और उसके रिश्तेदारों पर
/etc/pki/ca-trust/extractedके नीचे consolidated bundle कैसे बनता है। ↩︎ld.so(8) —
$ORIGINउस डायरेक्टरी में बदल जाता है जिसमें प्रोग्राम या shared object है, और यही bundled tree को relocatable बनाता है। ↩︎glibc timeline — “2018-08-01 GLIBC 2.28 — The GNU C Library version 2.28 is now available”। ↩︎
glibc — Release wiki — version से distribution की तालिका; Red Hat Enterprise Linux 8 में glibc 2.28 है। ↩︎
RPM — spec file reference —
%config, और configuration के रूप में चिह्नित फ़ाइल के साथ package manager क्या करता है। ↩︎ ↩︎Fedora packaging guidelines — configuration files — कब भेजी गई फ़ाइल को
%configचिह्नित करना ज़रूरी है। ↩︎glibc FAQ — static link हुई glibc binary को runtime पर अब भी होस्ट के NSS modules क्यों चाहिए। ↩︎
CISA — Known Exploited Vulnerabilities Catalog — प्रकाशित JSON feed से गिना गया, कैटलॉग version 2026.09.14, 1,710 entries। ↩︎ ↩︎