वह bay जिसमें कुछ भी लग जाए
Tri-mode adapter की बात सचमुच अच्छी है, और उसे खोलकर देखने से पहले ठीक से कह देना चाहिए।
U.3 backplane और tri-mode controller वाली chassis ख़रीदिए, और हर drive bay universal हो जाता है। Slot 0 में 24G SAS ड्राइव हो सकती है, slot 1 में सस्ता SATA boot device, slot 2 में Gen4 NVMe SSD, और जो भी लगे adapter उससे बात तय कर लेता है। Broadcom इस silicon को Tri-Mode SerDes कहता है; bay का standard SFF-TA-1001 है, जिसे U.3 कहते हैं, और यह SAS x1/x2, SATA और x1, x2 या x4 पर NVMe के लिए एक साझा connector तय करता है। Management की तरफ़ SFF-TA-1005 है, Universal Backplane Management, जिससे enclosure पता करता है कि वह असल में किससे बात कर रहा है और सही activity LED जलाता है।
सर्वर तय करने वालों के लिए यह एक असली और खिझाने वाली समस्या हल करता है। अब आपको purchase order के समय storage protocol तय नहीं करना पड़ता, न दो chassis SKU रखने पड़ते, न बाद में पता चलता है कि NVMe वाले bay बाईं ओर के चार हैं और आपकी ड्राइव बाकी बीस में चली गईं। एक part number पूरे fleet के लिए, और SAS estate एक-एक chassis की जगह एक-एक ड्राइव करके NVMe पर जा सकता है।
इसमें से कुछ भी marketing नहीं है। ये adapter इसी वजह से बिकते हैं, और इसे न मानना बेवकूफ़ी होगी।
लेकिन लचीलापन मुफ़्त नहीं, और बिल पाउंड में नहीं चुकता। वह queues में चुकता है।
ड्राइव के साथ असल में क्या होता है
NVMe SSD एक PCIe endpoint है। Direct-attached सर्वर में उसकी चार lanes CPU के root complex तक जाती हैं, किसी retimer या PCIe switch से होकर, लेकिन बिजली और तर्क दोनों के हिसाब से वह PCIe bus पर एक device है। Kernel उसे गिनता है, nvme driver बाँधता है, और उसके बाद driver सीधे ड्राइव के registers से बात करता है।
वही ड्राइव tri-mode adapter के पीछे रख दीजिए और यह सच नहीं रहता।
ड्राइव की lanes अब controller पर ख़त्म होती हैं। Broadcom का documentation इस हिस्से को PCIe device bridge कहता है, और bridge शब्द बहुत भार उठा रहा है: यह कोई पारदर्शी switch नहीं जो आपके CPU के transactions उस ड्राइव तक पहुँचा दे जिसे वह अब भी देख सकता है। आपका host जिस PCIe endpoint को गिनता है वह adapter है। ड्राइव उसके दूसरी ओर लटका एक target है, और controller का firmware हर I/O को नए सिरे से शुरू करता है।
तो adapter आपके NVMe commands आगे नहीं भेज रहा। वह उन्हें ख़त्म कर रहा है, और आपकी ओर से ड्राइव से बात कर रहा है।
जिससे सवाल उठता है कि वह आपसे कौन सा protocol बोलता है।
OS को कभी NVMe ड्राइव दिखती ही नहीं
वह SCSI बोलता है।
Broadcom tri-mode HBA में NVMe SSD लगाइए और वह /dev/nvme0n1 बनकर नहीं आती। वह /dev/sdb बनकर आती है, mpt3sas से बँधी, वही driver जो दस साल से ज़्यादा से LSI SAS controller चला रहा है। nvme list कुछ नहीं लौटाता। lsblk -o NAME,TRAN transport को sas बताता है। Driver के ऊपर storage stack की हर परत के हिसाब से आपने SAS disk ख़रीदी है।
यह कोई bug या firmware की सीमा नहीं जो ठीक होने का इंतज़ार कर रही हो। यही design है। हर चीज़ को SCSI target के रूप में पेश करना ही वह तरीक़ा है जिससे एक adapter तीन protocol सँभालता है: controller SAS, SATA और NVMe को एक device model में ढाल देता है, और host को एक driver, एक गिनती का रास्ता, एक सेट tooling मिलता है। Marketing का लचीलापन और dmesg में SCSI वाली प्रस्तुति एक ही architecture फ़ैसला है, बस दोनों सिरों से देखा गया।
9500 और 9600 पीढ़ियाँ एक passthrough तरीक़ा जोड़ती हैं ताकि vendor tooling ड्राइव के NVMe admin commands तक पहुँच सके, और Broadcom के नए parts 9400 की तुलना में ड्राइव की सेहत दिखाने में कहीं बेहतर हैं। लेकिन वह management का एक अलग रास्ता है। Data path, यानी आपका workload जो हर read और write भेजता है, अब भी SCSI stack से नीचे जाता है।
और SCSI stack का queue model flash से बीस साल पुराना है।
वह queue model जो आपने अभी छोड़ दिया
यही वह हिस्सा है जो असल में performance छीनता है, और इसमें सटीक होना ज़रूरी है, क्योंकि “NVMe, SAS से तेज़ है” इसकी वजह नहीं है।
NVMe का मुख्य design फ़ैसला तेज़ तार नहीं था। वह यह दिखावा बंद करना था कि storage device एक अकेली, क़तार में चलने वाली चीज़ है।
Specification 65,535 तक I/O queue pairs की इजाज़त देती है, और यह आँकड़ा हर NVMe explainer में दोहराया जाता है। यह ग़लत संख्या है। कोई ड्राइव इसके आसपास भी कुछ लागू नहीं करती, इसलिए जिसने भी चलता हुआ सिस्टम देखा है वह इस तुलना को हाथ हिलाकर टाल सकता है, और सही होगा। असली संख्या छोटी है, सादी है, और बात बेहतर कहती है।
तो यह रही एक असली ड्राइव। Enterprise part नहीं: 256 GB SK Hynix OEM SSD, जैसी किसी mid-range laptop में soldered होती है, 16-core मशीन में।
$ nproc
16
$ cat /sys/class/nvme/nvme0/queue_count
17
$ ls /sys/block/nvme0n1/mq | wc -l
16
$ cat /sys/block/nvme0n1/queue/nr_requests
1023
सत्रह queues: एक admin queue, और सोलह cores के लिए सोलह I/O queues। हर एक 1023 commands गहरी। Mapping एक-से-एक है, हर hardware queue ठीक एक CPU से बँधी है:
$ cd /sys/block/nvme0n1/mq && grep -H . */cpu_list
0/cpu_list:1
1/cpu_list:9
2/cpu_list:3
3/cpu_list:11
...
हर queue के लिए एक CPU, आख़िर तक: hardware queue 0 core 1 की सेवा करती है और किसी की नहीं।
व्यवहार में “NVMe में बहुत सारी queues हैं” का यही मतलब है। 65,535 नहीं, हर core के लिए एक, आपके पास जितने भी cores हों। Linux हर CPU के लिए एक queue pair बनाता है, उतनी तक जितनी controller दे, और controller एक आम सर्वर के cores से कहीं ज़्यादा देते हैं, इसलिए व्यवहार में core count ही संख्या है। यही ड्राइव 64-core box में लगाइए और आपको 64 मिलती हैं।
Performance इसी per-core बँटवारे से आती है:
- हर core अपनी queue में डालता है। कोई lock नहीं, क्योंकि कोई दूसरा core उसे छूता नहीं।
- हर queue को अपना MSI-X vector मिलता है, उसी core से जुड़ा।
- Completion interrupt उसी core पर लौटता है जिसने I/O भेजा था, जहाँ ज़रूरी cache lines पहले से हैं।
- सोलहों cores एक साथ काम में हो सकते हैं, किसी साझा ढाँचे पर कभी टकराए बिना।
Parallelism आपके core count के साथ बढ़ता है, और किसी core का काम कभी दूसरे के पीछे क़तार में नहीं लगता। एक सस्ती consumer ड्राइव यह करती है। यह न्यूनतम अपेक्षा है।
अब देखिए adapter के पीछे ड्राइव को क्या मिलता है। नीचे की संख्याएँ अनुमान नहीं हैं, ये mainline mpt3sas driver के constants हैं।
Per-device queue depth ioc->max_nvme_qd से तय होती है, जिसे driver controller firmware की बताई संख्या से लेता है और वरना drivers/scsi/mpt3sas/mpt3sas_base.h के compile-time default पर लौट आता है:
#define MPT3SAS_SATA_QUEUE_DEPTH 32
#define MPT3SAS_SAS_QUEUE_DEPTH 254
#define MPT3SAS_RAID_QUEUE_DEPTH 128
#define MPT3SAS_NVME_QUEUE_DEPTH 128
128। हज़ारों outstanding commands सँभाल सकने वाले device को 128 की queue depth दी जाती है, और ध्यान दीजिए कि यह दो लाइन ऊपर बैठे SAS default 254 से भी उथली है। ड्राइव की अपनी क्षमता इस फ़ैसले में कभी आती ही नहीं। संख्या controller से आती है।
Hardware queue count और बुरा है, और driver इसके बारे में खुलकर बोलता है। mpt3sas_scsih.c से:
shost->nr_hw_queues = 1;
if (shost->host_tagset) {
shost->nr_hw_queues =
ioc->reply_queue_count - ioc->high_iops_queues;
...
dev_info(&ioc->pdev->dev,
"Max SCSIIO MPT commands: %d shared with nr_hw_queues = %d\n",
shost->can_queue, shost->nr_hw_queues);
}
इसे ध्यान से पढ़िए, क्योंकि तीन अलग चीज़ें हो रही हैं।
Default एक hardware queue है। nr_hw_queues = 1। Multi-queue सिर्फ़ gen35 controllers पर host_tagset feature चालू होने पर होता है, और तब भी वह वही है जिसे driver का अपना commit इतिहास simulated multiple hardware queues कहता है: I/O controller hardware एक अकेली submission queue है जिसके साथ कई reply queues हैं, और blk-mq को उसके ऊपर बिठाया जा रहा है।
Queue count controller से आता है, core count से नहीं। यह reply_queue_count में से high-IOPS queues घटाकर है, यानी adapter का MSI-X vector बँटवारा। इसका आपके CPUs की संख्या से कोई लेना-देना नहीं, और ड्राइव जोड़ने पर यह नहीं बढ़ता। यह ऊपर वाली ड्राइव का ठीक उलटा है, जहाँ queues की संख्या ही core count थी।
और tag pool साझा है। host_tagset का मतलब ठीक वही है जो वह कहता है: पूरे host adapter के लिए एक tag pool, और वह log line ज़ोर से “shared” कहती है। कार्ड पर हर ड्राइव command slots के उसी सेट से लेती है। चौबीस bay वाली chassis में चौबीस ड्राइव एक controller के tags के लिए होड़ करती हैं।
दोनों को साथ रखिए। उस laptop SSD के पास 1023 की सोलह निजी queues थीं, हर core के लिए एक, सिर्फ़ अपने प्रति जवाबदेह। वही ड्राइव adapter के पीछे कार्ड की reply queues में से एक हिस्सा पाती है, 128 outstanding commands, और उसी pool से लेने वाले तेईस पड़ोसी।
तो नुकसान यह नहीं कि SCSI धीमा है। blk-mq पर आधुनिक SCSI ठीक है। नुकसान ढाँचे का है:
- Queues adapter की हैं, ड्राइव की नहीं। ड्राइव जोड़ना एक तय संसाधन को बाँटता है, उसमें जोड़ता नहीं।
- Tag pool पूरे host में साझा है। भारी load वाली एक ड्राइव बाकियों को भूखा रख सकती है, ऐसे जो तब हो ही नहीं सकता जब हर ड्राइव की अपनी queues हों।
- Per-device depth 128 पर सीमित है, ड्राइव जितना भी सँभाल सके।
- Interrupt locality कमज़ोर होती है। Completions उस reply queue पर आते हैं जो controller ने इस्तेमाल की, ज़रूरी नहीं कि भेजने वाले core पर।
1 या 2 की queue depth पर, यानी कभी-कभार read करने वाला एक single-threaded process, इनमें से कुछ महसूस नहीं होता। दोनों तरह आप noise के भीतर वही latency मापेंगे। सज़ा ठीक वहीं दिखती है जहाँ के लिए आपने NVMe ख़रीदा था: बहुत से cores, बहुत से concurrent I/O भेजते हुए। Workload जितना गहरा, ड्राइव का उतना ही बड़ा हिस्सा जिसके पैसे आपने दिए और जिस तक पहुँच नहीं सकते।
Uplink एक x8 slot है
Queue model बारीक समस्या है। Bandwidth की छत साफ़ दिखने वाली है, और इसे आप बिना benchmark के Broadcom के अपने product briefs से पढ़ सकते हैं।
9500 series HBA एक x8 PCIe Gen 4.0 कार्ड है। Broadcom के प्रकाशित आँकड़े 256K sequential read पर 13,700 MB/s और 4K random read पर 3M IOPS हैं। वही brief कहता है कि यह 32 NVMe devices तक support करता है।
इन दोनों संख्याओं को साथ रखिए और सवाल खुद जवाब दे देता है: adapter ख़त्म करने में कितनी ड्राइव लगती हैं?
ज़्यादा नहीं, और हर साल कम। Gen4 x4 SSD लगभग 7 GB/s देती है। Gen5 x4 SSD लगभग 14। दोनों 2026 में आम parts हैं: इस्तेमाल किए गए U.2 बाज़ार में Gen4 भरी पड़ी है, और नई ख़रीदें तो Gen5 मिलती है।
| छत | वहाँ पहुँचने को Gen4 ड्राइव | वहाँ पहुँचने को Gen5 ड्राइव |
|---|---|---|
| HBA 9500, 13,700 MB/s sequential | 2 | 1 |
| HBA 9500, 3M IOPS (4K RR) | 3 | 1–2 |
| eHBA 9600, 6.4M IOPS (4K RR) | ~6 | ~3 |
| MegaRAID 9600, 1.1M RAID 5 IOPS (4K RW) | ~1 | ~1 |
सबसे ऊपर की पंक्ति फिर पढ़िए। एक अकेली Gen5 SSD HBA 9500 की पूरी sequential छत तक पहुँच जाती है। एक ड्राइव, बत्तीस के लिए बने कार्ड में। उसके बाद सब capacity है। Performance नहीं।
और सबसे नीचे की पंक्ति वह है जिसे purchase order रोक देना चाहिए: मौजूदा पीढ़ी के MegaRAID पर RAID 5 में NVMe का पूरा shelf लगभग उतना देता है जितना एक आम ड्राइव अकेले देती है।
ड्राइव x4 पर link भी नहीं करतीं
साझा uplink के नीचे एक दूसरा गला-घोंटू है, जो आसानी से छूट जाता है क्योंकि वह headline में नहीं, specification table में बैठा है।
Dell की PERC 12 User’s Guide, जो H965i tri-mode controllers को कवर करती है, कहती है:
Supports drive speeds for NVMe drives are 8 GT/s (Gen 3) and 16 GT/s (Gen 4) at maximum x2 lane width.
हर NVMe ड्राइव को दो lanes मिलती हैं, चार नहीं। तो uplink की किसी होड़ से पहले, tag pool से पहले, SCSI translation से पहले, Gen4 ड्राइव पहले ही लगभग 3.5 GB/s पर आ जाती है, अपनी क्षमता का आधा। उस bay में Gen5 ड्राइव लगाइए और वह Gen4 x2 पर उतर आती है और अपनी rated bandwidth का लगभग चौथाई देती है।
इसमें सटीक होना ज़रूरी है कि इससे क्या बदलता है और क्या नहीं। इसका मतलब यह नहीं कि adapter आगे तक चलता है। 9500 का uplink भरने में दो की जगह लगभग चार x2-सीमित ड्राइव लगती हैं, लेकिन सिर्फ़ इसलिए कि हर ड्राइव आधा योगदान दे रही है। रुकावट uplink से हटकर ड्राइव link पर आ गई है। आप कुल जितना निकाल सकते हैं वह बेहतर नहीं हुआ।
Direct-attached होने पर उन्हीं बत्तीस ड्राइव में से हर एक के पास root complex तक अपना x4 रास्ता होता, उस पीढ़ी पर जो ड्राइव और CPU तय कर सकें।
उस table की RAID 5 वाली पंक्ति अलग से देखने लायक है, क्योंकि यह Broadcom की अपनी संख्या है और बिना घुमाव के प्रकाशित है। 9600 series brief से:
900K to 1.1M RAID 5 IOPS (4K RW)
Controller firmware में parity RAID सबसे महँगा काम है जो आप tri-mode कार्ड से करवा सकते हैं, और यह मौजूदा पीढ़ी उसे करते हुए है। इसे पढ़ लेना चाहिए, इससे पहले कि कोई चौबीस NVMe ड्राइव पर RAID 5 तय करे और चौबीस ड्राइव जितनी performance की उम्मीद करे।
x16 कार्ड का क्या?
ऊपर की हर बात पर साफ़ आपत्ति यह है कि 9500 एक x8 Gen4 कार्ड है, और छत एक तंग host link की देन है। Adapter को Gen5 की सोलह lanes दीजिए और समस्या चली जाती है।
यह उचित आपत्ति है, और इसे कमज़ोर उदाहरण नहीं, सबसे मज़बूत उदाहरण मिलना चाहिए। तो Dell का PERC13 H975i लीजिए: मौजूदा पीढ़ी, और tri-mode जितना अच्छा हो सकता है उतना। उसकी user’s guide “Gen 4 and Gen 5 PCIe x16 host interfaces” बताती है, और StorageReview ने सोलह NVMe ड्राइव तक के साथ हर controller पर 52.5 GB/s और 12.5M IOPS मापे।
ये गंभीर संख्याएँ हैं, और तस्वीर को काफ़ी बदलती हैं। 9500 के 13,700 MB/s और 3M IOPS के मुक़ाबले यह लगभग चार गुना bandwidth और चार गुना IOPS है, आधी ड्राइव पर फैला हुआ। Dell ने सिर्फ़ पाइप चौड़ा नहीं किया, उन्होंने fan-out भी आधा कर दिया, और नतीजे में oversubscription अनुपात सुधर गया। ख़ासकर IOPS पर, सोलह ड्राइव पर 12.5M लगभग 780K प्रति ड्राइव है, जो एक आम ड्राइव के अकेले देने के क़रीब है। उस बिंदु पर controller सचमुच आपको रोकने वाली चीज़ नहीं है।
तो जहाँ श्रेय बनता है, वहाँ दीजिए: आधुनिक x16 Gen5 tri-mode कार्ड x8 Gen4 वाले से कहीं बेहतर engineering है, और अगर bandwidth ही आपकी एकमात्र आपत्ति थी, तो x16 काफ़ी हद तक उसका जवाब है।
तीन चीज़ें यह ठीक नहीं करता।
ड्राइव अब भी x2 पर link करती हैं। इसने मुझे चौंकाया। PERC13 guide, एक Gen5 x16 controller के बारे में, अब भी कहती है:
Supports drive speeds for NVMe drives are 8 GT/s (Gen 3), 16 GT/s (Gen 4), and 32 GT/s (Gen 5) at maximum x2 lane width.
चौड़ा host link नीचे के drive links को चौड़ा नहीं करता। Dell जो सबसे नया, सबसे तेज़ tri-mode RAID controller बेचता है, उस पर हर NVMe ड्राइव अब भी चार की जगह दो lanes से जुड़ी है, और कुछ और होने से पहले ही अपनी आधी bandwidth छोड़ देती है।
Queue model बिल्कुल अछूता है। इस पोस्ट के queue वाले हिस्से में कुछ भी host link की चौड़ाई पर निर्भर नहीं। nr_hw_queues controller के MSI-X reply queue बँटवारे से आता है; 128 की per-device depth एक driver और firmware constant है; tag pool पूरे host में साझा है क्योंकि host_tagset ऐसा कहता है। Host link को x16, x32, जो चाहें कर दीजिए: ड्राइव अब भी कार्ड की queues बाँटने वाले SCSI targets हैं, अब भी कोई /dev/nvme0n1 नहीं, और आप अब भी किसी ड्राइव को VM को नहीं दे सकते।
और x16 bandwidth बनाता नहीं, वह उन्हीं lanes को फैलाता है जो आपके पास पहले से थीं। यही तर्क असल में बात ख़त्म करता है। PERC13 में सोलह Gen5 lanes आपको सोलह bays में बँटे 52.5 GB/s देती हैं। वही सोलह lanes सीधे चार Gen5 ड्राइव से x4 पर जोड़िए और चार bays में लगभग 56 GB/s मिलते हैं: उन्हीं lanes से वही bandwidth, बस हर ड्राइव को अपना पूरा x4, हर core के लिए अपना queue pair, और एक असली nvme device node मिलता है।
तो x16 tri-mode कार्ड का ईमानदार वर्णन “तेज़ adapter” नहीं है। वह एक lane multiplexer है: वह lanes के एक तय बजट को ज़्यादा drive bays में बदलता है, और इस बदलाव की क़ीमत queue model से वसूलता है। यह सौदा अच्छा है या नहीं, यह एक चीज़ पर निर्भर है। Bays या parallelism।
सारे bays भरने पर क्या होता है
जो हमें उस मामले पर लाता है जो असल में मायने रखता है, क्योंकि कोई 24-bay chassis चार ड्राइव लगाने के लिए नहीं ख़रीदता।
Saturation बिंदु के बाद कुल line सपाट है। ड्राइव जोड़ने से capacity जुड़ती है, और कुछ नहीं, इसलिए हर ड्राइव की performance 1/N के हिसाब से गिरती है। असली संख्याओं पर यह हिसाब बेरहम है:
| HBA 9500 पर ड्राइव | कुल | प्रति ड्राइव | एक Gen4 ड्राइव का हिस्सा |
|---|---|---|---|
| 2 | 13.7 GB/s | 6.9 GB/s | 98% |
| 12 | 13.7 GB/s | 1.14 GB/s | 16% |
| 24 | 13.7 GB/s | 0.57 GB/s | 8% |
सबसे नीचे की पंक्ति देखिए। HBA 9500 के पीछे चौबीस NVMe ड्राइव लगभग 570 MB/s हर एक देती हैं। एक SATA SSD लगभग 550 देती है। आपने चौबीस NVMe ड्राइव ख़रीदीं, उन्हें जोड़ने के लिए tri-mode controller के पैसे दिए, और पहुँचे SATA दर्जे की प्रति-ड्राइव bandwidth पर।
IOPS का हिसाब भी इसी शक्ल का है: चौबीस ड्राइव पर 3M यानी हर एक 125K, जबकि एक आम Gen4 ड्राइव अकेले 1M सँभालती है, यानी आपके पास जो है उसका लगभग आठवाँ हिस्सा।
x16 कार्ड इसे काफ़ी सुधारता है लेकिन इससे बचता नहीं। अपनी पूरी सोलह ड्राइव पर PERC13 52.5 GB/s ÷ 16 = 3.3 GB/s प्रति ड्राइव है, यानी एक Gen5 ड्राइव का लगभग 23%, और यह x2 link के फिर से आधा करने से पहले है।
ज़्यादा ड्राइव पर दो असर भाग के हिसाब से भी बुरे हैं:
- Tag की भूख ड्राइव-से-ड्राइव फैलती है। साझा host tag pool का मतलब है कि भारी load वाली एक ड्राइव वे slots खा सकती है जो दूसरी ड्राइव को चाहिए। चौबीस devices, हर एक को नाम के लिए 128 outstanding commands की इजाज़त, आपस में 3,072 माँगते हैं, एक controller के
can_queueसे। अलग-अलग ड्राइव के बीच head-of-line blocking ऐसी विफलता है जो तब होती ही नहीं जब हर ड्राइव की अपनी queues हों। - Rebuild हर चीज़ पर पड़ता है। भरे shelf पर parity rebuild एक साझा uplink को भर देता है, इसलिए कार्ड पर हर दूसरी ड्राइव का foreground I/O उसी समय गिरता है। अलग lanes पर ड्राइव और software RAID के साथ rebuild CPU के लिए होड़ करता है, एक पाइप के लिए नहीं।
जब इसमें से कुछ भी मायने नहीं रखता
एक ज़रूरी संतुलन है, और यही वजह है कि बहुत से 24-bay tri-mode सर्वर बिल्कुल ठीक चलते हैं।
Adapter की छत तभी चुभती है जब नीचे कोई चीज़ उसके देने से ज़्यादा ले सके। 2 × 25GbE वाले सर्वर के पास 6.2 GB/s नेटवर्क है: वह HBA 9500 तक को नहीं भर सकता। अगर वे चौबीस ड्राइव उस link पर फ़ाइलें देने वाला capacity tier हैं, तो adapter रुकावट के पास भी नहीं, और ऊपर का प्रति-ड्राइव हिसाब बेमानी है।
यह उस पल मायने रखने लगता है जब लेने वाला कार्ड से तेज़ हो जाए: 100GbE (12.5 GB/s) अकेले ही आपको 9500 की पूरी sequential छत के बराबर ला देता है, और local workloads, यानी databases, compilation, analytics, व्यस्त guests वाले virtualisation hosts, के रास्ते में नेटवर्क होता ही नहीं।
तो भरे shelf के बारे में पूछने का सवाल “क्या adapter धीमा है” नहीं, बल्कि “इसे कौन लेगा, और क्या वह कार्ड के देने से ज़्यादा ले सकता है?” है। अगर जवाब 25GbE link है, तो चिंता छोड़िए। अगर जवाब 100GbE, NVMe-oF या local database है, तो कार्ड आपकी रुकावट है और ड्राइव की संख्या उसे और बिगाड़ रही है।
और क्या ग़ायब हो जाता है
Throughput के अलावा, NVMe ड्राइव को SCSI disk के रूप में पेश करने का मतलब है कि आपके toolkit के NVMe वाले हिस्से काम करना बंद कर देते हैं:
| Direct-attached | Tri-mode adapter के पीछे | |
|---|---|---|
| Device node | /dev/nvme0n1 | /dev/sdb |
| Driver | nvme | mpt3sas / mpi3mr |
nvme-cli | काम करता है | बात करने को कुछ नहीं |
| सेहत का डेटा | NVMe SMART log pages | अनुवादित SCSI log pages |
| Namespace management | हाँ | नहीं |
| Firmware update | nvme fw-download | controller के ज़रिए vendor tool |
| Format / sanitize | NVMe Format NVM | SCSI के समकक्ष, अगर लागू हों |
| Hardware queues | हर core के लिए एक pair (ऊपर की मशीन पर 16) | कार्ड की reply queues, हर ड्राइव में साझा |
| Queue depth | हर queue पर 1023 | हर device पर 128 |
एक नतीजा इतनी बार लोगों को पकड़ता है कि अलग से कहना चाहिए: आप किसी एक ड्राइव को virtual machine को pass through नहीं कर सकते। PCIe passthrough के लिए ड्राइव को अपने IOMMU group वाला PCIe endpoint होना चाहिए, और tri-mode adapter के पीछे वह नहीं है: मौजूद एकमात्र PCIe device controller है। आप पूरा adapter, उससे जुड़ी हर ड्राइव समेत, pass through कर सकते हैं, या कुछ नहीं। अगर आपकी योजना में ख़ास NVMe ड्राइव ख़ास guests को देना था, तो backplane के फ़ैसले ने वह पहले ही आपके लिए तय कर दिया है।
2026 में असल में यह किसे चाहिए?
यहाँ इस पोस्ट की शुरुआत वाली बात को एक कठिन सवाल का सामना करना पड़ता है, क्योंकि जिस दुनिया के लिए वह बनी थी वह ज़्यादातर जा चुकी है।
Tri-mode तब सोचा गया था जब NVMe वह महँगा tier था जो आप SAS estate में जोड़ते थे। 2026 में यह उलटा है: NVMe default है, U.2 enterprise ड्राइव इस्तेमाल किए गए बाज़ार में भरपूर और सस्ती हैं, और “एक chassis में मिली-जुली SAS, SATA और NVMe” असल deployments में कम से कम दिखती है। तो असल में इसे कौन ख़रीद रहा है?
ज़्यादातर कोई नहीं, जानबूझकर। ईमानदार जवाब यह है कि ज़्यादातर tri-mode controllers चुने नहीं गए। वे आ गए, क्योंकि सर्वर vendor एक भेजता है, और vendor एक इसलिए भेजता है क्योंकि एक अकेला U.3 backplane SKU उन्हें एक ही chassis से SAS, SATA और NVMe configurations बेचने देता है। यह OEM की supply-chain जीत है। आपकी performance के लिए यह कुछ नहीं करता, और इसलिए इसे कभी ऐसा करने वाला बताकर बेचा भी नहीं गया।
तीन पुराने औचित्य अब ठीक से टिकते नहीं:
“मुझे मिली-जुली ड्राइव चाहिए।” एक ही chassis में शायद ही, और जब चाहिए भी, तब tri-mode अकेला रास्ता नहीं। घूमने वाली disks के लिए एक सादा SAS HBA और root complex से जुड़ा NVMe आपको दोनों देता है, किसी पर सज़ा के बिना। मिला-जुला estate का मतलब मिला-जुला controller नहीं।
“मेरे पास काफ़ी PCIe lanes नहीं हैं।” 2019 में 24 bays वाले 40-lane platforms पर यह असली तर्क था। एक single-socket Genoa या Turin Epyc में 128 lanes हैं। x4 पर चौबीस ड्राइव 96 हैं। जो कमी ड्राइव को एक controller के पीछे इकट्ठा करने को जायज़ ठहराती थी वह लगभग चली गई है, और जहाँ नहीं गई, वहाँ PCIe switch protocol ख़त्म किए बिना यह काम कर देता है।
“Bays universal होने चाहिए।” इसे ध्यान से अलग करना ज़रूरी है, क्योंकि यही वह तर्क है जो सबसे ज़्यादा ग़लत component को सही ठहराने में इस्तेमाल होता है। U.3 एक backplane standard है, controller की ज़रूरत नहीं। U.3 backplane को tri-mode controller की जगह सीधे CPU की PCIe lanes से cable किया जा सकता है, और vendors दोनों topologies document करते हैं। आप universal bays रख सकते हैं और tax हटा सकते हैं। अगर आपको विरासत में tri-mode सर्वर मिला है, तो सबसे क़ीमती चीज़ जो आप जाँच सकते हैं वह यह है कि backplane को सीधे re-cable किया जा सकता है या नहीं।
असल में जो बचता है:
- घनत्व पर hardware RAID, जहाँ policy या platform इसे माँगे: कोई audit की ज़रूरत, कोई support matrix, Windows या ESXi deployment जिसमें यह काम करने को कोई software परत नहीं। यही असली बचा हुआ बाज़ार है, यह वह एक मामला है जहाँ आप connectivity नहीं, RAID engine ख़रीद रहे हैं, और मौजूदा silicon पर यह सक्षम product है: सोलह lanes से, supercap-सुरक्षित cache के साथ hardware RAID 5 में सोलह NVMe ड्राइव ऐसी चीज़ है जो direct attachment दे ही नहीं सकता।
- बड़ी मात्रा में SAS HDD capacity, जहाँ £/TB अब भी साफ़ तौर पर घूमने वाली disks का है। लेकिन यह सादे SAS HBA का काम है, और सस्ता।
- बहुत बड़ी bay संख्या और बाहरी enclosures, जहाँ SAS expanders PCIe से आगे और चौड़ा पहुँचते हैं।
- ऐसे workloads जो कभी गहरे नहीं जाते। अगर आपकी queue depths इकाई अंकों में रहती हैं, तो इसमें से कुछ महसूस नहीं होता। बहुत से असली सिस्टम यहीं ख़ुशी से रहते हैं।
एक सादा operational तर्क भी है: एक enclosure type, एक driver, shelf पर एक spare, और general-purpose virtualisation host के लिए इसकी असली क़ीमत है। बस इसे ईमानदारी से उस तथ्य के सामने तौलिए कि ऊपर की table के हिसाब से एक Gen5 ड्राइव पूरे कार्ड की sequential छत तक पहुँच सकती है।
जब यह ग़लत औज़ार है
यह सौदा उतना ही बुरा होता है जितना आपके workload में concurrency है।
Ceph सबसे साफ़ मामला है। एक storage node हर ड्राइव पर एक OSD चलाता है, हर एक के अपने thread pools, सब एक साथ I/O भेजते हुए, और फिर पूरे cluster के clients उन्हें एक साथ चलाते हैं। यही साझा tag pool का सबसे बुरा मामला है: एक controller के command slots के लिए होड़ करते चौबीस daemons, हर ड्राइव 128 outstanding पर सीमित, सब कुछ एक x8 uplink से धकेला हुआ। उन ड्राइव को सीधे root complex पर लगाइए और हर OSD को अपनी queues, अपने tags और अपनी lanes मिलती हैं। All-NVMe Ceph node के data path में tri-mode adapter नहीं होना चाहिए।
यही तर्क NVMe-oF targets पर लागू होता है, जहाँ आप ड्राइव को फिर से export कर रहे हैं और serialisation की हर परत जुड़ती जाती है; गहरे asynchronous I/O वाले databases पर; और io_uring या SPDK पर बनी किसी भी चीज़ पर, जो ठीक उन्हीं per-core queues का फ़ायदा उठाने के लिए बनी हैं जो adapter ने अभी छीन लीं।
सामान्य नियम: आपका software जितना parallelism इस्तेमाल करने के लिए लिखा गया है, tri-mode adapter उसकी उतनी ही क़ीमत वसूलता है।
कैसे पता करें कि आपके पास क्या है
अगर आपको विरासत में सर्वर मिला है और जानना है कि आप इसके किस तरफ़ हैं:
# What is the transport? "nvme" is direct, "sas" means it went through a controller
lsblk -o NAME,TRAN,MODEL,SIZE
# Is there a tri-mode controller in the machine at all?
lspci -nn | grep -Ei 'sas|megaraid|serial attached'
# Which driver claimed the disk?
ls -l /sys/block/sdb/device/driver
# Per-device queue depth — 128 is the mpt3sas NVMe default
cat /sys/block/sdb/device/queue_depth
# How many hardware queues does this device actually get?
ls /sys/block/sdb/mq/ | wc -l
ls /sys/block/nvme0n1/mq/ | wc -l # compare against a direct-attached drive
# On a direct-attached drive, what did the controller actually grant?
# One admin queue plus one I/O queue per core, so expect nproc + 1
cat /sys/class/nvme/nvme0/queue_count
nproc
# The driver says it out loud at load time
dmesg | grep -i 'nr_hw_queues'
आख़िरी वाला वही Max SCSIIO MPT commands: N shared with nr_hw_queues = M लाइन छापता है जो पहले उद्धृत की गई। अगर उस मशीन पर nvme list ख़ाली है जिसके बारे में आपको बताया गया कि वह पूरी flash NVMe है, तो वजह adapter है।
छोटे में
Tri-mode adapter आपकी NVMe ड्राइव को SCSI disks में बदल देता है। यह बदलाव कोई side effect नहीं। यही वह तरीक़ा है जिससे एक कार्ड तीन protocol सँभालता है, और यही आप ख़रीद रहे हैं।
आप जो छोड़ते हैं वह ख़ास और मापने लायक है: per-core queue pairs की जगह controller की साझा reply queues, 128 की per-device depth, कार्ड की हर ड्राइव में बँटा tag pool, x2 link जहाँ ड्राइव x4 चाहती थी, और एक साझा uplink जहाँ पहले हर ड्राइव के पास root complex तक अपना रास्ता था। Adapter connection नहीं रहता, रुकावट बन जाता है, और मौजूदा hardware पर जल्दी बन जाता है: दो Gen4 ड्राइव HBA 9500 तक पहुँचती हैं, चार Gen5 ड्राइव PERC13 तक भी।
चौड़ा host link मदद करता है, x16 Gen5 कार्ड के पास x8 Gen4 वाले से लगभग चार गुना bandwidth और IOPS है, लेकिन यह शक्ल नहीं बदलता। यह bays ख़रीदता है, parallelism नहीं: वही सोलह lanes सीधे चार ड्राइव से जोड़ने पर queue tax के बिना वही bandwidth मिलती है। और यह भरे shelf को नहीं बचाता। 9500 के पीछे चौबीस ड्राइव हर एक लगभग 570 MB/s पाती हैं, जो एक SATA SSD देती है।
2019 में, जब NVMe वह tier था जो आप SAS estate में जोड़ते थे और platforms के पास lanes कम थीं, यह ठीक सौदा था। 2026 में आमतौर पर नहीं। NVMe default है, इस्तेमाल की गई U.2 ड्राइव सस्ती हैं, single-socket Epyc के पास lanes बचती हैं, और जो एक फ़ायदा अब भी खड़ा है, universal drive bays, वह U.3 backplane का है, controller का नहीं। बहुत बार आप backplane को सीधे CPU से cable करके bays रख सकते हैं और tax हटा सकते हैं।
तो tri-mode adapter तब ख़रीदिए जब आप उसका RAID engine ख़रीद रहे हों और आपको उसकी ज़रूरत हो। लचीलेपन के लिए मत ख़रीदिए, और अगर आपको NVMe से भरी chassis में एक विरासत में मिला है, तो जाकर पता कीजिए कि वह backplane कैसे cable किया गया है।
उन ड्राइव के लिए दो बार पैसे देने का कोई मतलब नहीं जिन्हें आप फिर ठीक से इस्तेमाल भी नहीं कर सकते।