Y Bae Sy’n Cymryd Unrhyw Beth
Mae’r ddadl dros addasydd tri-mode yn wirioneddol dda, ac mae’n werth ei gosod yn iawn cyn ei thynnu’n ddarnau.
Pryna siasi gyda backplane U.3 a rheolydd tri-mode, ac mae pob bae gyriant yn troi’n gyffredinol. Gall slot 0 ddal gyriant SAS 24G, slot 1 ddyfais gychwyn SATA rad, slot 2 SSD NVMe Gen4, ac mae’r addasydd yn negodi beth bynnag sy’n cyrraedd. Tri-Mode SerDes yw enw Broadcom ar y silicon. Y safon bae yw SFF-TA-1001, a elwir yn U.3, sy’n diffinio cysylltydd cyffredin ar gyfer SAS x1/x2, SATA, ac NVMe ar x1, x2 neu x4. Yr ochr reoli yw SFF-TA-1005, Universal Backplane Management, sef sut mae’r lloc yn gweithio allan â beth mae’n siarad mewn gwirionedd ac yn gyrru’r goleuadau LED gweithgarwch cywir.
I unrhyw un sy’n manylu gweinyddion, mae hynny’n datrys problem go iawn a blin. Does dim rhaid i ti benderfynu ar y protocol storio adeg yr archeb brynu mwyach, na chadw dau SKU siasi, na darganfod mai’r pedwar bae ar y chwith yw’r rhai sy’n gallu NVMe a bod dy yriannau wedi mynd i’r ugain arall. Mae un rhif rhan yn gwasanaethu’r fflyd gyfan, a gall ystad SAS symud i NVMe un gyriant ar y tro yn hytrach nag un siasi ar y tro.
Nid marchnata yw dim o hynny. Dyna’r rheswm mae’r addaswyr hyn yn gwerthu, a byddai’n wirion esgus fel arall.
Ond nid yw’r hyblygrwydd am ddim, ac nid mewn punnoedd y telir y bil. Mewn ciwiau y’i telir.
Beth Sy’n Digwydd i’r Gyriant Mewn Gwirionedd
Diweddbwynt PCIe yw SSD NVMe. Mewn gweinydd â chysylltiad uniongyrchol, mae ei bedair lôn yn rhedeg i root complex y CPU, drwy retimer neu switsh PCIe, ond yn drydanol ac yn rhesymegol dyfais ar y bws PCIe ydyw. Mae’r cnewyllyn yn ei rhifo, yn rhwymo’r gyrrwr nvme, ac o hynny ymlaen mae’r gyrrwr yn siarad â chofrestrau’r gyriant yn uniongyrchol.
Rho’r un gyriant y tu ôl i addasydd tri-mode ac nid yw hynny’n wir mwyach.
Mae lonydd y gyriant bellach yn gorffen wrth y rheolydd. Mae dogfennaeth Broadcom yn galw’r bloc perthnasol yn PCIe device bridge, ac mae’r gair bridge yn gwneud llawer o waith: nid switsh tryloyw yw hwn sy’n anfon trafodion dy CPU ymlaen at yriant y gall ei weld o hyd. Yr addasydd yw’r diweddbwynt PCIe mae dy westeiwr yn ei rifo. Mae’r gyriant yn darged sy’n hongian oddi ar ei ochr bellaf, ac mae cadarnwedd y rheolydd yn ail-greu pob I/O o’r newydd.
Felly nid pasio dy orchmynion NVMe drwodd mae’r addasydd. Mae’n eu terfynu, ac yn siarad â’r gyriant ar dy ran.
Sy’n codi’r cwestiwn pa brotocol mae’n ei siarad â thi.
Nid yw’r System Weithredu Byth yn Gweld Gyriant NVMe
SCSI.
Plyga SSD NVMe i mewn i HBA tri-mode Broadcom ac nid yw’n ymddangos fel /dev/nvme0n1. Mae’n ymddangos fel /dev/sdb, wedi’i rwymo i mpt3sas, yr un gyrrwr sydd wedi bod yn rhedeg rheolyddion SAS LSI ers dros ddegawd. Nid yw nvme list yn dychwelyd dim. Mae lsblk -o NAME,TRAN yn adrodd mai sas yw’r cludiant. I bob haen o’r pentwr storio uwchben y gyrrwr, disg SAS a brynaist ti.
Nid nam yw hyn, na chyfyngiad cadarnwedd sy’n aros i gael ei drwsio. Dyma’r cynllun. Cyflwyno popeth fel targed SCSI yw’n union sut mae un addasydd yn gwasanaethu tri phrotocol: mae’r rheolydd yn normaleiddio SAS, SATA ac NVMe yn un model dyfais, ac mae’r gwesteiwr yn cael un gyrrwr, un llwybr rhifo, un set o offer. Yr hyblygrwydd yn y marchnata a’r cyflwyniad SCSI yn dmesg yw’r un penderfyniad pensaernïol wedi’i weld o’r naill ben a’r llall.
Mae cenedlaethau 9500 a 9600 yn ychwanegu mecanwaith passthrough fel bod offer y gwerthwr yn gallu cyrraedd gorchmynion gweinyddu NVMe gyriant, ac mae rhannau mwy newydd Broadcom yn llawer gwell am ddangos iechyd gyriant nag oedd y 9400. Ond sianel ochr reoli yw honno. Mae’r llwybr data, pob darlleniad ac ysgrifeniad mae dy lwyth gwaith yn eu cyhoeddi, yn dal i redeg i lawr y pentwr SCSI.
Ac mae gan y pentwr SCSI fodel ciw sy’n hŷn na fflach o ugain mlynedd.
Y Model Ciw Rwyt Ti Newydd Ei Ildio
Dyma’r rhan sydd wir yn costio perfformiad i ti, ac mae’n werth bod yn fanwl amdani, oherwydd nid ‘mae NVMe yn gyflymach na SAS’ yw’r rheswm.
Nid gwifren gyflymach oedd penderfyniad canolog NVMe. Rhoi’r gorau i esgus mai un peth cyfresol yw dyfais storio oedd e.
Mae’r fanyleb yn caniatáu hyd at 65,535 o barau ciw I/O, ac mae’r ffigur hwnnw’n cael ei ddyfynnu ym mhob esboniad NVMe sydd i’w gael. Dyna’r rhif anghywir i estyn amdano. Does dim gyriant yn gweithredu dim byd yn agos ato, felly gall unrhyw un sydd wedi edrych ar system sy’n rhedeg chwifio’r gymhariaeth i ffwrdd, a bydden nhw’n iawn i wneud hynny. Mae’r rhif go iawn yn llai, yn ddi-sglein, ac yn gwneud y pwynt yn well.
Felly dyma yriant go iawn. Nid rhan fenter: SSD OEM SK Hynix 256 GB, y math sydd wedi’i sodro i liniadur canol-yr-ystod, mewn peiriant 16 craidd.
$ nproc
16
$ cat /sys/class/nvme/nvme0/queue_count
17
$ ls /sys/block/nvme0n1/mq | wc -l
16
$ cat /sys/block/nvme0n1/queue/nr_requests
1023
Dau ar bymtheg o giwiau: un ciw gweinyddu, ac un ar bymtheg o giwiau I/O ar gyfer un ar bymtheg o greiddiau. Pob un yn 1023 o orchmynion o ddyfnder. Un-i-un yw’r mapio. Mae pob ciw caledwedd wedi’i rwymo i union un CPU:
$ cd /sys/block/nvme0n1/mq && grep -H . */cpu_list
0/cpu_list:1
1/cpu_list:9
2/cpu_list:3
3/cpu_list:11
...
Un CPU i bob ciw, yr holl ffordd i lawr. Mae ciw caledwedd 0 yn gwasanaethu craidd 1 a dim byd arall.
Dyna beth mae ‘mae gan NVMe lwythi o giwiau’ yn ei olygu yn ymarferol. Nid 65,535. Un i bob craidd, faint bynnag o greiddiau sydd gennyt. Mae Linux yn creu pâr ciw i bob CPU hyd at beth bynnag y bydd y rheolydd yn ei ganiatáu, ac mae rheolyddion yn caniatáu llawer mwy nag sydd o greiddiau gan weinydd arferol, felly yn ymarferol nifer y creiddiau yw’r rhif. Rho’r gyriant hwn mewn bocs 64 craidd a chei di 64.
O’r rhaniad fesul craidd hwnnw y daw’r perfformiad:
- Mae craidd yn cyflwyno i’w giw ei hun. Dim clo, gan nad oes craidd arall yn ei gyffwrdd.
- Mae pob ciw yn cael ei fector MSI-X ei hun, wedi’i glymu i’r craidd hwnnw.
- Mae’r ymyriad cwblhau yn glanio’n ôl ar y craidd a gyhoeddodd yr I/O, lle mae’r llinellau cache perthnasol yn barod.
- Gall pob un o’r un ar bymtheg craidd fod ar waith ar unwaith heb gystadlu byth am strwythur a rennir.
Mae paralelrwydd yn tyfu gyda nifer dy greiddiau, a does dim gwaith un craidd byth yn ciwio y tu ôl i waith un arall. Mae gyriant defnyddiwr rhad yn gwneud hyn. Dyma’r lleiafswm disgwyliedig.
Nawr edrych ar beth mae’r gyriant yn ei gael y tu ôl i’r addasydd. Nid amcangyfrifon yw’r rhifau isod. Cysonion ydyn nhw yn y gyrrwr mpt3sas prif ffrwd.
Mae’r dyfnder ciw fesul dyfais yn cael ei osod o ioc->max_nvme_qd, y mae’r gyrrwr yn ei gymryd o’r hyn mae cadarnwedd y rheolydd yn ei adrodd, ac fel arall mae’n cwympo’n ôl i ragosodiad amser crynhoi yn drivers/scsi/mpt3sas/mpt3sas_base.h:
#define MPT3SAS_SATA_QUEUE_DEPTH 32
#define MPT3SAS_SAS_QUEUE_DEPTH 254
#define MPT3SAS_RAID_QUEUE_DEPTH 128
#define MPT3SAS_NVME_QUEUE_DEPTH 128
128. Mae dyfais sy’n gallu degau o filoedd o orchmynion heb eu cwblhau yn cael dyfnder ciw o 128, a sylwa ei fod yn fasach na’r rhagosodiad SAS o 254 sy’n eistedd ddwy linell uwch ei ben. Nid yw galluoedd y gyriant ei hun byth yn rhan o’r penderfyniad. O’r rheolydd y daw’r rhif.
Mae nifer y ciwiau caledwedd yn waeth, ac mae’r gyrrwr yn onest amdano. O mpt3sas_scsih.c:
shost->nr_hw_queues = 1;
if (shost->host_tagset) {
shost->nr_hw_queues =
ioc->reply_queue_count - ioc->high_iops_queues;
...
dev_info(&ioc->pdev->dev,
"Max SCSIIO MPT commands: %d shared with nr_hw_queues = %d\n",
shost->can_queue, shost->nr_hw_queues);
}
Darllen hwnna’n ofalus, oherwydd mae tri pheth ar wahân yn digwydd.
Un ciw caledwedd yw’r rhagosodiad. nr_hw_queues = 1. Dim ond ar reolyddion gen35 gyda’r nodwedd host_tagset wedi’i galluogi y mae aml-giw yn digwydd, a hyd yn oed wedyn dyma beth mae hanes commits y gyrrwr ei hun yn ei alw’n giwiau caledwedd lluosog wedi’u hefelychu: un ciw cyflwyno yw caledwedd y rheolydd I/O gyda chiwiau ateb lluosog, ac mae blk-mq yn cael ei osod dros ben hynny.
O’r rheolydd y daw nifer y ciwiau, nid o nifer y creiddiau. reply_queue_count llai’r ciwiau high-IOPS ydyw: dyraniad fectorau MSI-X yr addasydd. Does ganddo ddim i’w wneud â faint o CPUs sydd gennyt, ac nid yw’n tyfu pan fyddi di’n ychwanegu gyriannau. Dyma union wrthdro’r gyriant uchod, lle oedd nifer y ciwiau yn nifer y creiddiau.
Ac mae’r pwll tagiau yn cael ei rannu. Mae host_tagset yn golygu’n union beth mae’n ei ddweud: un pwll tagiau ar gyfer yr addasydd gwesteiwr cyfan, ac mae’r llinell log honno’n dweud ‘shared’ yn uchel. Mae pob gyriant ar y cerdyn yn tynnu o’r un set o slotiau gorchymyn. Mae gan siasi pedwar bae ar hugain bedwar gyriant ar hugain yn cystadlu am dagiau un rheolydd.
Rho’r ddau ochr yn ochr. Roedd gan yr SSD gliniadur hwnnw un ar bymtheg o giwiau preifat o 1023, un i bob craidd, yn atebol iddo’i hun yn unig. Mae’r un gyriant y tu ôl i’r addasydd yn cael cyfran o giwiau ateb y cerdyn, 128 o orchmynion heb eu cwblhau, a thri chymydog ar hugain yn tynnu ar yr un pwll.
Felly nid y golled yw bod SCSI yn araf. Mae SCSI modern ar blk-mq yn iawn. Mae’r golled yn strwythurol:
- Yr addasydd biau’r ciwiau, nid y gyriant. Mae ychwanegu gyriannau yn rhannu adnodd sefydlog yn hytrach nag ychwanegu ato.
- Mae’r pwll tagiau yn cael ei rannu ar draws y gwesteiwr cyfan. Gall un gyriant dan lwyth trwm lwgu’r lleill mewn ffordd na all ddigwydd o gwbl pan fydd gan bob gyriant ei giwiau ei hun.
- Mae’r dyfnder fesul dyfais wedi’i gapio ar 128, beth bynnag y gall y gyriant ei gynnal.
- Mae lleoliad ymyriadau yn wannach. Mae cwblhadau’n cyrraedd ar ba bynnag giw ateb a ddefnyddiodd y rheolydd, nid o reidrwydd ar y craidd a gyflwynodd.
Ar ddyfnder ciw o 1 neu 2, proses un edefyn yn gwneud ambell ddarlleniad, does dim o hyn yn cofrestru. Byddi di’n mesur yr un hwyrni y naill ffordd neu’r llall, o fewn y sŵn. Mae’r gosb yn ymddangos yn union lle prynaist ti NVMe i helpu: llawer o greiddiau yn cyhoeddi llawer o I/Os cydamserol. Po ddyfnaf y llwyth gwaith, mwyaf o’r gyriant rwyt ti wedi talu amdano ac yn methu ei gyrraedd.
Un Slot x8 yw’r Uplink
Y model ciw yw’r broblem gynnil. Y nenfwd lled band yw’r un amlwg, a gelli di ei ddarllen oddi ar friffiau cynnyrch Broadcom ei hun heb fod angen meincnod.
Mae’r HBA cyfres 9500 yn gerdyn x8 PCIe Gen 4.0. Ffigurau cyhoeddedig Broadcom ar ei gyfer yw 13,700 MB/s ar ddarllen dilyniannol 256K a 3M IOPS ar ddarllen ar hap 4K. Mae’r un briff yn dweud ei fod yn cefnogi hyd at 32 o ddyfeisiau NVMe.
Rho’r ddau rif hynny nesaf at ei gilydd ac mae’r cwestiwn yn ateb ei hun: faint o yriannau sydd eu hangen i redeg allan o addasydd?
Dim llawer, a llai bob blwyddyn. Mae SSD Gen4 x4 yn gwneud tua 7 GB/s. Mae SSD Gen5 x4 yn gwneud tua 14. Rhannau cyffredin yw’r ddau yn 2026. Gen4 yw’r hyn mae’r farchnad U.2 ail-law yn llawn ohono, a Gen5 yw’r hyn rwyt ti’n ei gael wrth brynu’n newydd.
| Nenfwd | Gyriannau Gen4 i’w gyrraedd | Gyriannau Gen5 i’w gyrraedd |
|---|---|---|
| HBA 9500: 13,700 MB/s dilyniannol | 2 | 1 |
| HBA 9500: 3M IOPS (4K RR) | 3 | 1–2 |
| eHBA 9600: 6.4M IOPS (4K RR) | ~6 | ~3 |
| MegaRAID 9600: 1.1M IOPS RAID 5 (4K RW) | ~1 | ~1 |
Darllen y rhes uchaf eto. Mae un SSD Gen5 yn cyrraedd holl nenfwd dilyniannol HBA 9500. Un gyriant, mewn cerdyn sydd wedi’i raddio ar gyfer tri deg dau. Capasiti yw popeth ar ôl hynny. Nid perfformiad.
A’r rhes waelod yw’r un a ddylai atal archeb brynu: ar y MegaRAID cenhedlaeth bresennol, mae silff lawn o NVMe mewn RAID 5 yn rhoi tua’r hyn mae un gyriant prif ffrwd yn ei wneud ar ei ben ei hun.
Nid yw’r Gyriannau Hyd yn Oed yn Cysylltu ar x4
Mae ail gyfyngiad o dan yr uplink a rennir, un hawdd ei golli gan ei fod yn eistedd mewn tabl manylebau yn hytrach nag mewn pennawd.
Mae PERC 12 User’s Guide Dell, sy’n cwmpasu’r rheolyddion tri-mode H965i, yn dweud:
Supports drive speeds for NVMe drives are 8 GT/s (Gen 3) and 16 GT/s (Gen 4) at maximum x2 lane width.
Mae pob gyriant NVMe yn cael dwy lôn, nid pedair. Felly cyn unrhyw gystadlu am yr uplink, cyn y pwll tagiau, cyn y cyfieithu SCSI, mae gyriant Gen4 eisoes i lawr i tua 3.5 GB/s, hanner yr hyn y gall ei wneud. Rho yriant Gen5 yn y bae hwnnw ac mae’n negodi i lawr i Gen4 x2 ac yn rhoi tua chwarter ei led band graddedig.
Mae’n werth bod yn fanwl am beth mae hyn yn ei newid a beth nad yw’n ei newid. Nid yw’n golygu bod yr addasydd yn mynd ymhellach. Mae angen tua phedwar gyriant wedi’u cyfyngu i x2 i lenwi uplink y 9500 yn lle dau, ond dim ond am fod pob gyriant yn cyfrannu hanner cymaint. Mae’r dagfa wedi symud o’r uplink i lawr i ddolen y gyriant. Nid yw’r cyfanswm y gelli di ei dynnu allan wedi gwella.
 chysylltiad uniongyrchol, byddai gan bob un o’r un tri deg dau o yriannau hynny ei lwybr x4 ei hun i’r root complex, ar ba bynnag genhedlaeth y gall y gyriant a’r CPU ei negodi.
Mae rhes RAID 5 y tabl hwnnw’n haeddu golwg ei hun, oherwydd rhif Broadcom ei hun ydyw ac mae wedi’i gyhoeddi heb sbin. O’r briff cyfres 9600:
900K to 1.1M RAID 5 IOPS (4K RW)
RAID paredd yng nghadarnwedd y rheolydd yw’r peth drutaf y gelli di ofyn i gerdyn tri-mode ei wneud, a dyma’r genhedlaeth bresennol yn ei wneud. Gwerth ei ddarllen cyn i rywun fanylu RAID 5 ar draws pedwar gyriant NVMe ar hugain a disgwyl gwerth pedwar gyriant ar hugain o berfformiad.
Beth am Gerdyn x16?
Y gwrthwynebiad amlwg i bopeth uchod yw mai cerdyn x8 Gen4 yw’r 9500, a bod y nenfwd yn sgil-effaith dolen gwesteiwr gul. Rho un ar bymtheg o lonydd Gen5 i’r addasydd ac mae’r broblem yn diflannu.
Mae’n wrthwynebiad teg, ac mae’n haeddu’r enghraifft gryfaf yn hytrach na dyn gwellt. Felly cymer PERC13 H975i Dell, y genhedlaeth bresennol, a chystal ag y mae tri-mode yn ei gael. Mae ei ganllaw defnyddiwr yn nodi ‘Gen 4 and Gen 5 PCIe x16 host interfaces’, ac mesurodd StorageReview 52.5 GB/s a 12.5M IOPS fesul rheolydd, yn erbyn hyd at un ar bymtheg o yriannau NVMe.
Mae’r rheina’n rhifau difrifol, ac maen nhw’n newid y darlun yn sylweddol. Yn erbyn 13,700 MB/s a 3M IOPS y 9500, mae hynny tua phedair gwaith y lled band a phedair gwaith yr IOPS, wedi’u lledaenu dros hanner cymaint o yriannau. Ni wnaeth Dell ledu’r bibell yn unig. Fe wnaethon nhw hefyd haneru’r fan-out, a gwellodd y gymhareb gordanysgrifio o ganlyniad. Ar IOPS yn arbennig, mae 12.5M ar draws un ar bymtheg o yriannau tua 780K i bob gyriant, sy’n agos at yr hyn mae gyriant prif ffrwd yn ei roi ar ei ben ei hun. Ar y pwynt hwnnw nid y rheolydd yw’r peth sy’n dy ddal di’n ôl mewn gwirionedd.
Clod lle mae’n ddyledus, felly: mae cerdyn tri-mode x16 Gen5 modern yn ddarn llawer gwell o beirianneg nag un x8 Gen4, ac os lled band oedd dy unig wrthwynebiad, mae x16 yn ei ateb i raddau helaeth.
Tri pheth nad yw’n eu trwsio.
Mae’r gyriannau yn dal i gysylltu ar x2. Dyma’r un a’m synnodd i. Mae canllaw PERC13, wrth ddisgrifio rheolydd Gen5 x16, yn dal i ddweud:
Supports drive speeds for NVMe drives are 8 GT/s (Gen 3), 16 GT/s (Gen 4), and 32 GT/s (Gen 5) at maximum x2 lane width.
Nid yw dolen gwesteiwr ehangach yn lledu dolenni’r gyriannau i lawr yr afon. Mae pob gyriant NVMe ar y rheolydd RAID tri-mode mwyaf newydd a chyflymaf mae Dell yn ei werthu yn dal wedi’i gysylltu gan ddwy lôn yn lle pedair, ac yn dal i ildio hanner ei led band cyn i ddim arall ddigwydd.
Nid yw’r model ciw wedi’i gyffwrdd o gwbl. Does dim yn adran giwiau’r post hwn yn dibynnu ar led dolen y gwesteiwr. Daw nr_hw_queues o ddyraniad ciwiau ateb MSI-X y rheolydd; cysonyn gyrrwr a chadarnwedd yw’r dyfnder fesul dyfais o 128; mae’r pwll tagiau yn cael ei rannu ar draws y gwesteiwr am fod host_tagset yn dweud hynny. Lleda ddolen y gwesteiwr i x16, x32, beth bynnag a fynni: targedau SCSI yw’r gyriannau o hyd yn rhannu ciwiau’r cerdyn, does dim /dev/nvme0n1 o hyd, ac ni elli di basio gyriant i VM o hyd.
Ac nid yw x16 yn cynhyrchu lled band. Mae’n dosbarthu lonydd oedd gennyt ti eisoes. Dyma’r ddadl sydd wir yn ei setlo. Mae un ar bymtheg o lonydd Gen5 i mewn i PERC13 yn prynu 52.5 GB/s i ti wedi’i rannu ar draws un ar bymtheg o faeau. Mae’r un un ar bymtheg o lonydd wedi’u gwifrio’n uniongyrchol i bedwar gyriant Gen5 ar x4 yn prynu tua 56 GB/s ar draws pedwar bae: yr un lled band o’r un lonydd, heblaw bod pob gyriant yn cael ei x4 llawn, ei bâr ciw ei hun i bob craidd, a nod dyfais nvme go iawn.
Felly nid ‘addasydd cyflymach’ yw’r ffordd onest o ddisgrifio cerdyn tri-mode x16. Amlblecsydd lonydd ydyw: mae’n troi cyllideb lonydd sefydlog yn fwy o faeau gyriant, ac yn codi’r model ciw arnat ti am y trosiad. Mae p’un a yw’r fargen honno’n un dda yn dibynnu ar un peth. Baeau neu baralelrwydd.
Beth Sy’n Digwydd Pan Fyddi Di’n Llenwi’r Holl Faeau
Sy’n dod â ni at yr achos sydd wir yn bwysig, oherwydd does neb yn prynu siasi 24 bae i roi pedwar gyriant ynddo.
Y tu hwnt i’r pwynt dirlawn, mae’r llinell gyfanredol yn wastad. Mae ychwanegu gyriannau yn ychwanegu capasiti, a dim byd arall, felly mae perfformiad fesul gyriant yn disgyn fel 1/N. Mae’r rhifyddeg honno’n ddidrugaredd ar niferoedd realistig:
| Gyriannau ar HBA 9500 | Cyfanred | Fesul gyriant | Cyfran o yriant Gen4 |
|---|---|---|---|
| 2 | 13.7 GB/s | 6.9 GB/s | 98% |
| 12 | 13.7 GB/s | 1.14 GB/s | 16% |
| 24 | 13.7 GB/s | 0.57 GB/s | 8% |
Edrych ar y rhes waelod. Mae pedwar gyriant NVMe ar hugain y tu ôl i HBA 9500 yn rhoi tua 570 MB/s yr un. Mae SSD SATA yn gwneud tua 550. Rwyt ti wedi prynu pedwar gyriant NVMe ar hugain, wedi talu am reolydd tri-mode i’w cysylltu, ac wedi cyrraedd lled band fesul gyriant o ddosbarth SATA.
Mae rhifyddeg yr IOPS yr un siâp: mae 3M wedi’i ledaenu dros bedwar gyriant ar hugain yn 125K yr un, yn erbyn yr 1M mae gyriant Gen4 prif ffrwd yn ei reoli ar ei ben ei hun. Tua wythfed o’r hyn sydd gennyt.
Mae’r cerdyn x16 yn gwella hyn yn sylweddol ond nid yw’n dianc rhagddo. Mae PERC13 gyda’i un ar bymtheg gyriant llawn yn 52.5 GB/s ÷ 16 = 3.3 GB/s fesul gyriant, neu tua 23% o yriant Gen5, a hynny cyn i’r ddolen x2 ei haneru eto.
Mae dwy effaith ar niferoedd uchel o yriannau yn waeth nag y mae’r rhannu yn ei awgrymu:
- Mae llwgu tagiau yn croesi dyfeisiau. Mae’r pwll tagiau gwesteiwr a rennir yn golygu y gall un gyriant dan lwyth trwm ddefnyddio slotiau sydd eu hangen ar yriannau eraill. Mae pedair dyfais ar hugain, pob un â hawl mewn enw i 128 o orchmynion heb eu cwblhau, eisiau 3,072 rhyngddyn nhw, wedi’u tynnu o
can_queueun rheolydd. Mae rhwystro pen y llinell rhwng gyriannau ar wahân yn fodd methu nad yw’n bodoli o gwbl pan fydd pob gyriant yn berchen ar ei giwiau. - Mae ailadeiladu yn taro popeth. Mae ailadeiladu paredd ar draws silff lawn yn dirlenwi’r un uplink a rennir, felly mae I/O blaendir i bob gyriant arall ar y cerdyn yn dirywio ar yr un pryd. Gyda gyriannau ar lonydd annibynnol a RAID meddalwedd, mae’r ailadeiladu yn cystadlu am CPU, nid am un bibell.
Pan Nad Yw Dim o Hyn yn Bwysig
Mae gwrthbwys pwysig, a dyma’r rheswm mae digon o weinyddion tri-mode 24 bae yn rhedeg yn berffaith hapus.
Dim ond os gall rhywbeth i lawr yr afon ddefnyddio mwy nag y mae’n ei roi y mae nenfwd yr addasydd yn brathu. Mae gan weinydd gyda 2 × 25GbE 6.2 GB/s o rwydwaith. Ni all lenwi hyd yn oed HBA 9500. Os yw’r pedwar gyriant ar hugain hynny’n haen gapasiti sy’n gweini ffeiliau dros y ddolen honno, nid yw’r addasydd yn agos at fod yn dagfa ac mae’r rhifyddeg fesul gyriant uchod yn amherthnasol.
Mae’n dechrau bod yn bwysig pan fydd y defnyddiwr yn mynd yn gyflymach na’r cerdyn. Mae 100GbE (12.5 GB/s) yn dy roi di’n wastad â holl nenfwd dilyniannol 9500 ar ei ben ei hun, ac nid oes gan lwythi gwaith lleol (cronfeydd data, crynhoi, dadansoddeg, gwesteiwyr rhithwiroli gyda gwesteion prysur) rwydwaith yn y llwybr o gwbl.
Felly nid ‘a yw’r addasydd yn araf’ yw’r cwestiwn i’w ofyn am silff lawn ond ‘beth sy’n mynd i ddefnyddio hyn, ac a all ddefnyddio mwy nag y gall y cerdyn ei roi?’ Os mai dolen 25GbE yw’r ateb, paid â phoeni. Os mai 100GbE, NVMe-oF, neu gronfa ddata leol yw’r ateb, y cerdyn yw dy dagfa ac mae nifer y gyriannau’n ei gwneud yn waeth.
Beth Arall Sy’n Mynd Ar Goll
Y tu hwnt i drwybwn, mae cyflwyno gyriant NVMe fel disg SCSI yn golygu bod y rhannau o dy becyn offer sy’n benodol i NVMe yn stopio gweithio:
| Cysylltiad uniongyrchol | Y tu ôl i addasydd tri-mode | |
|---|---|---|
| Nod dyfais | /dev/nvme0n1 | /dev/sdb |
| Gyrrwr | nvme | mpt3sas / mpi3mr |
nvme-cli | Yn gweithio | Dim i siarad ag ef |
| Data iechyd | Tudalennau log SMART NVMe | Tudalennau log SCSI wedi’u cyfieithu |
| Rheoli namespaces | Ydy | Nac ydy |
| Diweddaru cadarnwedd | nvme fw-download | Offeryn y gwerthwr drwy’r rheolydd |
| Fformatio / sanitize | NVMe Format NVM | Cyfwerthoedd SCSI, os ydyn nhw wedi’u gweithredu |
| Ciwiau caledwedd | Un pâr i bob craidd (16 ar y peiriant uchod) | Ciwiau ateb y cerdyn, wedi’u rhannu gan bob gyriant |
| Dyfnder ciw | 1023 i bob ciw | 128 i bob dyfais |
Mae un canlyniad yn dal pobl yn ddigon aml i’w nodi ar wahân: ni elli di basio gyriant unigol drwodd i beiriant rhithwir. Mae PCIe passthrough angen i’r gyriant fod yn ddiweddbwynt PCIe gyda’i grŵp IOMMU ei hun, a’r tu ôl i addasydd tri-mode nid yw’n un. Y rheolydd yw’r unig ddyfais PCIe sy’n bresennol. Gelli di basio’r addasydd cyfan drwodd, gyda phob gyriant sydd ynghlwm wrtho, neu ddim byd. Os oedd dy gynllun yn cynnwys rhoi gyriannau NVMe penodol i westeion penodol, mae penderfyniad y backplane eisoes wedi gwneud y dewis hwnnw drosot ti.
Felly Pwy Sydd Wir Eisiau Hyn yn 2026?
Dyma lle mae’n rhaid i’r ddadl ar frig y post hwn wynebu cwestiwn anoddach, oherwydd mae’r byd y cafodd ei chynllunio ar ei gyfer wedi mynd, gan mwyaf.
Cafodd tri-mode ei greu pan oedd NVMe yn haen ddrud roeddet ti’n ei hychwanegu at ystad SAS. Yn 2026 mae hynny o chwith: NVMe yw’r rhagosodiad, mae gyriannau menter U.2 yn doreithiog ac yn rhad ar y farchnad ail-law, ac mae ‘SAS, SATA ac NVMe cymysg mewn un siasi’ yn disgrifio llai a llai o osodiadau go iawn. Felly pwy sydd wir yn ei brynu?
Neb, gan mwyaf, a hynny’n fwriadol. Yr ateb gonest yw na chafodd y rhan fwyaf o reolyddion tri-mode eu dewis. Fe gyrhaeddon nhw, oherwydd mae gwerthwr y gweinydd yn anfon un, ac mae’r gwerthwr yn anfon un am fod un SKU backplane U.3 yn gadael i nhw werthu ffurfweddiadau SAS, SATA ac NVMe o’r un siasi. Buddugoliaeth cadwyn gyflenwi i’r OEM yw honno. Nid yw’n gwneud dim byd i dy berfformiad di, ac felly ni chafodd ei werthu erioed fel petai’n gwneud hynny.
Nid yw tair o’r cyfiawnhadau clasurol yn dal dŵr yn dda mwyach:
‘Mae angen mathau cymysg o yriannau arna i.’ Anaml yn yr un siasi, a hyd yn oed pan fydd, nid tri-mode yw’r unig ffordd. Mae HBA SAS plaen ar gyfer y disgiau troelli ynghyd ag NVMe wedi’i wifrio i’r root complex yn rhoi’r ddau i ti, heb gosbi’r naill na’r llall. Nid yw ystad gymysg yn golygu rheolydd cymysg.
‘Does gen i ddim digon o lonydd PCIe.’ Dyma oedd y ddadl go iawn yn 2019, ar blatfformau 40 lôn gyda 24 bae. Mae gan Epyc Genoa neu Turin un soced 128 o lonydd. Mae pedwar gyriant ar hugain ar x4 yn 96. Mae’r prinder a gyfiawnhaodd grynhoi gyriannau y tu ôl i un rheolydd bron â diflannu, a lle nad yw wedi, mae switsh PCIe yn gwneud y gwaith heb derfynu’r protocol.
‘Mae angen i’r baeau fod yn gyffredinol.’ Mae’n werth gwahanu hwn yn ofalus, oherwydd dyma’r ddadl a ddefnyddir amlaf i gyfiawnhau’r gydran anghywir. Safon backplane yw U.3, nid gofyniad rheolydd. Gellir ceblo backplane U.3 yn syth i lonydd PCIe y CPU yn lle drwy reolydd tri-mode, ac mae gwerthwyr yn dogfennu’r ddwy dopoleg. Gelli di gadw’r baeau cyffredinol a dileu’r dreth. Os wyt ti wedi etifeddu gweinydd tri-mode, y peth mwyaf gwerthfawr y gelli di ei wirio yw a ellir ail-geblo’r backplane yn uniongyrchol.
Beth sydd ar ôl mewn gwirionedd:
- RAID caledwedd ar ddwysedd, lle mae polisi neu blatfform yn ei fynnu: gofyniad archwilio, matrics cefnogaeth, gosodiad Windows neu ESXi heb haen feddalwedd i wneud y gwaith. Dyma’r farchnad go iawn sy’n weddill, dyma’r un achos lle rwyt ti’n prynu’r injan RAID yn hytrach na’r cysylltedd, ac ar silicon cyfredol mae’n gynnyrch galluog: mae un ar bymtheg o yriannau NVMe mewn RAID 5 caledwedd gyda storfa wedi’i diogelu gan supercap, allan o un ar bymtheg o lonydd, yn rhywbeth na all cysylltiad uniongyrchol ei gynnig o gwbl.
- Capasiti HDD SAS swmp, lle mae £/TB yn dal i berthyn yn bendant i ddisgiau troelli. Ond gwaith HBA SAS plaen yw hwnnw, ac un rhatach.
- Niferoedd baeau mawr iawn a llociau allanol, lle mae ehangwyr SAS yn cyrraedd ymhellach ac yn lletach nag y bydd PCIe.
- Llwythi gwaith nad ydyn nhw byth yn mynd yn ddwfn. Os yw dy ddyfnderoedd ciw yn eistedd mewn digidau sengl, does dim o hyn yn cofrestru. Mae digon o systemau go iawn yn byw yma’n eithaf hapus.
Mae dadl weithredol blaen hefyd: un math o loc, un gyrrwr, un sbâr ar y silff. I westeiwr rhithwiroli at ddibenion cyffredinol mae gwerth go iawn i hynny. Dim ond i ti ei brisio’n onest yn erbyn y ffaith, yn ôl y tabl uchod, y gall un gyriant Gen5 gyrraedd holl nenfwd dilyniannol y cerdyn.
Pan Mai Hwn yw’r Offeryn Anghywir
Mae’r fargen yn troi’n wael yn gymesur â faint o gydamseredd sydd gan dy lwyth gwaith.
Ceph yw’r achos cliriaf. Mae nod storio yn rhedeg un OSD i bob gyriant, pob un â’i byllau edefynnau ei hun, i gyd yn cyhoeddi I/O ar unwaith, ac yna mae gwerth clwstwr cyfan o gleientiaid yn eu gyrru’n gydamserol. Dyna achos gwaethaf y pwll tagiau a rennir: pedwar daemon ar hugain yn cystadlu am slotiau gorchymyn un rheolydd, pob gyriant wedi’i gapio ar 128 heb eu cwblhau, popeth wedi’i sianelu drwy un uplink x8. Rho’r gyriannau hynny’n syth ar y root complex ac mae pob OSD yn cael ei giwiau ei hun, ei dagiau ei hun a’i lonydd ei hun. Ni ddylai fod addasydd tri-mode yn llwybr data nod Ceph holl-NVMe.
Mae’r un rhesymeg yn berthnasol i dargedau NVMe-oF, lle rwyt ti’n ail-allforio gyriannau ac mae pob haen o gyfresoli yn cronni; i gronfeydd data gydag I/O asyncronaidd dwfn; ac i unrhyw beth wedi’i adeiladu ar io_uring neu SPDK, sy’n bodoli’n benodol i fanteisio ar giwiau fesul craidd mae’r addasydd newydd eu cymryd i ffwrdd.
Y rheol gyffredinol: po fwyaf o baralelrwydd y cafodd dy feddalwedd ei hysgrifennu i fanteisio arno, mwyaf y mae addasydd tri-mode yn ei godi arnat ti amdano.
Sut i Ddweud Beth Sydd Gennyt
Os wyt ti wedi etifeddu gweinydd ac eisiau gwybod ar ba ochr i hyn rwyt ti:
# What is the transport? "nvme" is direct, "sas" means it went through a controller
lsblk -o NAME,TRAN,MODEL,SIZE
# Is there a tri-mode controller in the machine at all?
lspci -nn | grep -Ei 'sas|megaraid|serial attached'
# Which driver claimed the disk?
ls -l /sys/block/sdb/device/driver
# Per-device queue depth — 128 is the mpt3sas NVMe default
cat /sys/block/sdb/device/queue_depth
# How many hardware queues does this device actually get?
ls /sys/block/sdb/mq/ | wc -l
ls /sys/block/nvme0n1/mq/ | wc -l # compare against a direct-attached drive
# On a direct-attached drive, what did the controller actually grant?
# One admin queue plus one I/O queue per core, so expect nproc + 1
cat /sys/class/nvme/nvme0/queue_count
nproc
# The driver says it out loud at load time
dmesg | grep -i 'nr_hw_queues'
Mae’r un olaf yn argraffu’r llinell Max SCSIIO MPT commands: N shared with nr_hw_queues = M a ddyfynnwyd yn gynharach. Os yw nvme list yn wag ar beiriant y dywedwyd wrthyt ei fod yn NVMe holl-fflach, yr addasydd yw’r rheswm.
Y Fersiwn Fer
Mae addasydd tri-mode yn troi dy yriannau NVMe yn ddisgiau SCSI. Nid sgil-effaith yw’r trosiad hwnnw. Dyma sut mae un cerdyn yn gwasanaethu tri phrotocol, a dyma beth rwyt ti’n ei brynu.
Mae’r hyn rwyt ti’n ei ildio yn benodol ac yn fesuradwy: parau ciw fesul craidd wedi’u disodli gan giwiau ateb a rennir rheolydd, dyfnder fesul dyfais o 128, pwll tagiau wedi’i rannu rhwng pob gyriant ar y cerdyn, dolen x2 lle roedd y gyriant eisiau x4, ac un uplink a rennir lle roedd gan bob gyriant ei lwybr ei hun i’r root complex o’r blaen. Mae’r addasydd yn peidio â bod yn gysylltiad ac yn troi’n dagfa, ac ar galedwedd cyfredol mae’n troi’n un yn gyflym: mae dau yriant Gen4 yn cyrraedd HBA 9500, mae pedwar gyriant Gen5 yn cyrraedd hyd yn oed PERC13.
Mae dolen gwesteiwr ehangach yn helpu. Mae gan gerdyn x16 Gen5 tua phedair gwaith lled band ac IOPS un x8 Gen4. Ond nid yw’n newid y siâp. Mae’n prynu baeau, nid paralelrwydd: mae’r un un ar bymtheg o lonydd wedi’u gwifrio’n syth i bedwar gyriant yn rhoi’r un lled band heb ddim o’r dreth giwiau. Ac nid yw’n achub silff lawn. Mae pedwar gyriant ar hugain y tu ôl i 9500 yn cael tua 570 MB/s yr un, sef yr hyn mae SSD SATA yn ei wneud.
Yn 2019, pan oedd NVMe yn haen roeddet ti’n ei hychwanegu at ystad SAS a phan oedd platfformau’n brin o lonydd, roedd honno’n fargen resymol. Yn 2026 nid yw fel arfer. NVMe yw’r rhagosodiad, mae gyriannau U.2 ail-law yn rhad, mae gan Epyc un soced lonydd i’w sbario, ac mae’r un fantais sy’n dal i sefyll, baeau gyriant cyffredinol, yn perthyn i’r backplane U.3, nid i’r rheolydd. Yn aml iawn gelli di gadw’r baeau a dileu’r dreth drwy geblo’r backplane yn syth i’r CPU.
Felly pryna addasydd tri-mode os wyt ti’n prynu ei injan RAID a bod angen un arnat ti. Paid â’i brynu am yr hyblygrwydd, ac os wyt ti wedi etifeddu un mewn siasi llawn NVMe, cer i ddarganfod sut mae’r backplane hwnnw wedi’i geblo.
Does dim synnwyr talu ddwywaith am yriannau na elli di eu defnyddio’n iawn wedyn.