Tair Ffordd y Gall Gyriant Gyflwyno’i Hun

Mae gan yriant ddau faint bloc, a’r gwahaniaeth rhyngddynt yw’r stori gyfan.

Y sector ffisegol yw’r hyn mae’r cyfrwng yn gweithio ynddo mewn gwirionedd: yr uned leiaf y gall y gyriant ei darllen neu ei hysgrifennu heb wneud gwaith ychwanegol. Y bloc rhesymegol yw’r hyn mae’r gyriant yn dweud wrth y gwesteiwr mae’n gweithio ynddo: yr uned mae’r gwesteiwr yn ei chyfeirio.

Mae tri chyfuniad i’w cael yn y byd go iawn.

512n: 512 brodorol. Mae’r ddau faint yn 512 beit. Dyma’r hen fyd: gyriannau caled cyn 2010, a dim byd y byddet ti’n ei brynu’n newydd heddiw mewn unrhyw faint sy’n werth ei gael.

512e: efelychu 512 beit. Mae’r sector ffisegol yn 4096 beit, ond mae’r gyriant yn adrodd blociau rhesymegol 512 beit ac yn cyfieithu yn y cadarnwedd. Mae’n bodoli am un rheswm: cydnawsedd â systemau gweithredu, cychwynwyr a rhaglenni a gymerodd yn ganiataol mai 512 fyddai hi am byth. Digon synhwyrol fel peirianneg, a gwraidd bron y cyfan o’r drafferth sy’n dilyn.

4Kn: 4K brodorol. Mae’r ddau faint yn 4096 beit. Mae’r gyriant yn dweud y gwir, mae’r gwesteiwr yn ei gyfeirio yn yr uned mae’r cyfrwng yn ei defnyddio, a does dim haen gyfieithu yn y canol.

512n, 512e a 4Kn: beth mae’r gwesteiwr yn ei gyfeirio a beth mae’r cyfrwng yn ei ddefnyddiorhes uchaf = rhesymegol, i’r gwesteiwr · rhes isaf = ffisegol, i’r cyfrwng512n5125125125125125125125121:1, ac yn onest, ond wedi darfod. Does dim byd newydd fel hyn.512e8 × 512 B rhesymegol: beth mae’r gwesteiwr yn ei glywedun sector ffisegol 4096 B: beth sy’n bodoli go iawncadarnwedd yn cyfieithu, bob troMae’r gwesteiwr yn cyfeirio atrywbeth nad yw yno. Mae ysgrifiadausydd ddim yn llenwi sector yn costio mwy.4Knun bloc rhesymegol 4096 Bun sector ffisegol 4096 Bdim i’w gyfieithuMae’r gyriant yn dweud y gwir,felly all dim byd i lawr yr afonbenderfynu ar rif anghywir.
512e yw’r achos diddorol: mae’r gwesteiwr yn cyfeirio at rywbeth nad yw’n bodoli, ac mae’r cadarnwedd yn cynnal y ffuglen ar bob mynediad.

Beth Mae 512e yn ei Wneud ar Bob Ysgrifiad Heb ei Alinio

Mae darllen yn rhad yn y tri achos. Mae’r gyriant yn darllen y sector 4K ac yn rhoi’n ôl pa bynnag dafell 512 beit y gofynnaist amdani.

Ysgrifennu yw lle mae’r ffuglen yn mynd yn ddrud.

Os yw’r gwesteiwr yn ysgrifennu un bloc rhesymegol 512 beit, all y gyriant ddim ysgrifennu 512 beit. Does gan y cyfrwng ddim uned o’r fath. Felly mae’n gwneud hyn yn lle:

  1. Darllen y sector ffisegol 4096 beit cyfan.
  2. Uno’r 512 beit o ddata newydd i mewn iddo.
  3. Ysgrifennu’r sector 4096 beit cyfan yn ôl.

Dyna ddarllen-addasu-ysgrifennu, ac mae’n troi un ysgrifiad bach yn ddarlleniad ac ysgrifiad. Ar ddisg sy’n troelli mae hynny’n golygu aros i’r plât ddod rownd eto. Mae cylchdro llawn ar 7,200rpm yn rhywbeth fel 8ms nad oeddet ti wedi’i gyllidebu. Ar fflach mae’r gost o fath gwahanol, a dydy hi ddim yn diflannu pan fydd yr ysgrifiad wedi gorffen. Mae gan honno ei hadran ei hun isod.

Cosb darllen-addasu-ysgrifennu, a beth mae camalinio’n ei wneud iddi4Kn: ysgrifiad 4 KB wedi’i aliniomae 4 KB o ddata newydd yn llenwi’r sector1 ysgrifiaddim i’w ddarllen gyntaf512e: ysgrifennu un bloc rhesymegol 512 B1. darllen y sector ffisegol cyfan4096 B wedi’u darllen2. uno’r 512 Bdim ond hyn a newidiodd3. ysgrifennu’r sector cyfan yn ôl4096 B wedi’u hysgrifennu1 darlleniad + 1 ysgrifiadcylchdro ar ddisg;tudalen wedi’i rhaglennu ar fflach512e: ysgrifiad 4 KB wedi’i gamalinio (yr un drud)un ysgrifiad 4 KB, hanner sector allansector ffisegol nsector ffisegol n+12 ddarllen-addasu-ysgrifennuar bob ysgrifiad, am bythMae offer rhannu modern yn alinio i’r sector ffisegol yn ddiofyn, felly fel arfer mae hyn wedi’i etifedduo hen osodiad neu ddelwedd wedi’i chlonio, nid yn newydd. Dydy e ddim yn trwsio’i hun.
Does dim angen darllen o gwbl ar gyfer ysgrifiad 4K wedi’i alinio i 4K. Mae angen un ar bopeth arall, ac mae angen dau ar ysgrifiad sy’n croesi ffin sector.

Camalinio yw’r fersiwn o hyn sy’n brathu galetaf. Os yw rhaniad yn dechrau ar wrthbwys 512 beit od, a’r hen gonfensiwn 63 sector yw’r enghraifft glasurol, yna mae pob ysgrifiad 4K gan y system ffeiliau yn croesi dau sector ffisegol. Nid un darllen-addasu-ysgrifennu yw hynny, ond dau, ar bob un ysgrifiad, am byth, nes bod rhywun yn ailrannu’r gyriant.

Chwyddiad Ysgrifennu ar Fflach

Ar yriant caled mae’r darllen-addasu-ysgrifennu yn costio cylchdro i ti ac yna mae drosodd. Ar fflach mae’n costio oes y gyriant i ti, a dyna fil rwyt ti’n ei dalu unwaith ac yn dal ati i’w dalu.

Chwyddiad ysgrifennu yw’r gymhareb rhwng yr hyn a ysgrifennwyd i’r NAND mewn gwirionedd a’r hyn y gofynnodd y gwesteiwr am ei ysgrifennu. Byddai cymhareb o 1.0 yn golygu bod y gyriant wedi ysgrifennu’n union yr hyn a gafodd. Dydy hi byth yn 1.0, oherwydd all fflach ddim trosysgrifo yn ei le: mae’r gyriant yn rhaglennu tudalen ffres, yn marcio’r hen un yn hen, ac mae casglu sbwriel wedyn yn symud y tudalennau sydd wedi goroesi fel bod modd dileu bloc cyfan. Mae’r symudiadau hynny’n ysgrifiadau hefyd.

Mae 512e yn ychwanegu haen y gellid ei hosgoi ar ben hynny, ac mae’r rheswm yn fanylyn sy’n werth ei ddweud yn glir: mae haen gyfieithu’r gyriant yn mapio mewn unedau o tua 4 KB beth bynnag yw’r maint bloc rhesymegol mae’n ei hysbysebu. Mae gyriant sy’n adrodd blociau 512 beit yn dal i olrhain unedau 4 KB yn fewnol.

Felly mae ysgrifiad 512 beit gan y gwesteiwr yn troi, y tu mewn i’r gyriant, yn hyn: darllen yr uned fapio 4 KB, uno’r 512 beit i mewn, rhaglennu uned 4 KB newydd. Mae 4096 beit yn cyrraedd y NAND er mwyn i 512 beit allu newid. Wyth gwaith yr ysgrifiad, ar gyfer yr ysgrifiad hwnnw.

Mae camalinio yn llai dramatig fesul ysgrifiad ac yn waeth at ei gilydd. Mae ysgrifiad 4 KB sy’n croesi dwy uned fapio yn baeddu’r ddwy, felly mae 8 KB yn cael ei raglennu ar gyfer 4 KB o ddata. Dyna chwyddiad 2× ar bob un ysgrifiad, yn barhaol, nes bod y tabl rhaniadau wedi’i drwsio.

Pam mae ysgrifiad wedi’i gamalinio’n dyblu’r hyn sy’n cyrraedd y NANDo’r brig i lawr: ysgrifiad y gwesteiwr → unedau mapio 4 KB y gyriant → beth gyrhaeddodd y NAND512e: ysgrifiad 4 KB, wedi’i gamalinio4 KB gan y gwesteiwruned nuned n+14 KB wedi’u hailysgrifennu4 KB wedi’u hailysgrifennu8 KB wedi’u hysgrifennu am 4 KB: WAF 2×ar bob ysgrifiad, nes trwsio’r tabl rhaniadau4Kn: ysgrifiad 4 KB, wedi’i alinio4 KB gan y gwesteiwruned n4 KB wedi’u hysgrifennu4 KB am 4 KB: WAF ≈ 1×y llawr, cyn casglu sbwrielDydy’r naill ochr na’r llall yn osgoi casglu sbwriel: mae’n rhaid i’r gyriant symud beth sy’n fywmewn bloc cyn ei ddileu, ac mae’r gwaith hwnnw’n tyfu gyda faint a ysgrifennwyd yn y lle cyntaf.Dydy 4Kn ddim yn dileu chwyddiad: mae’n tynnu’r rhan roeddet ti’n talu amdani am ddim byd.
Gofynnodd y gwesteiwr am yr un 4 KB yn y ddau achos. Ar y chwith mae’n glanio ar draws dwy uned fapio, felly mae’r ddwy’n cael eu hailysgrifennu, a bydd casglu sbwriel wedyn yn symud beth bynnag sy’n dal yn fyw ynddynt.

Yr effeithiau canlyniadol sy’n gwneud i hyn fod o bwys yn hytrach na dim ond bod yn flêr:

  • Mae mwy o ysgrifiadau NAND yn golygu bod casglu sbwriel yn rhedeg yn amlach, ac mae ei symudiadau ynddynt eu hunain yn chwyddiad.
  • Mae storfa ysgrifennu SLC yn llenwi’n gynt, felly mae’r gyriant yn disgyn i’w gyflwr cyson arafach yn gynt ac mae trwybwn ysgrifennu parhaus yn gostwng.
  • Mae cylchoedd rhaglennu/dileu yn cael eu treulio yn gymesur â’r hyn a gyrhaeddodd y NAND, nid â’r hyn a anfonodd y gwesteiwr. Dybla’r chwyddiad ac rwyt ti wedi haneru oes y gyriant ar gyfer yr un llwyth gwaith.
  • Mae graddfeydd gwydnwch, TBW a DWPD, yn cael eu dyfynnu yn erbyn ysgrifiadau’r gwesteiwr. Mae chwyddiad yn bwyta’r ymyl honno’n dawel, ac mae’r gyriant yn treulio allan o flaen y symiau gwarant a wnest ti pan brynaist ti e.

Ysgrifiadau Uniongyrchol a Chydamserol yw’r Achos Gwaethaf

Y rhan fwyaf o’r amser mae’r storfa dudalennau yn cuddio hyn i gyd. Mae’r cnewyllyn yn casglu ysgrifiadau bach, yn eu huno, ac yn anfon IO 4 KB neu fwy at y gyriant, felly dydy’r darllen-addasu-ysgrifennu byth yn digwydd.

Mae dwy fflag yn tynnu’r amddiffyniad hwnnw i ffwrdd, ac mae rhaglenni sy’n poeni am wydnwch data yn gosod y ddwy.

Mae O_DIRECT yn osgoi’r storfa dudalennau. Does dim byd bellach rhwng y rhaglen a’r gyriant i gyfuno ysgrifiad 512 beit yn rhywbeth maint sector.

Mae O_SYNC neu O_DSYNC yn mynnu bod yr ysgrifiad ar gyfrwng sefydlog cyn i’r alwad ddychwelyd. Mae hynny’n atal y gyriant rhag amsugno’r ysgrifiad i glustogfa anweddol a’i gyfuno â’i gymdogion yn nes ymlaen.

Rho nhw at ei gilydd ac mae pob ysgrifiad 512 beit yn gylch darllen-addasu-ysgrifennu cyflawn sy’n gorfod gorffen nawr, ar ei ben ei hun, heb ddim i’w rannu’r gost ag ef. Dyna lle mae chwyddiad ar yriant 512e yn nesáu at ei 8× damcaniaethol, a dyna’n union y patrwm mae log ymrwymo cronfa ddata, ZIL ZFS neu WAL BlueStore Ceph yn ei gynhyrchu.

Diogelu rhag colli pŵer sy’n achub hyn ar galedwedd menter. Gall gyriant gyda PLP gydnabod ysgrifiad cydamserol unwaith mae mewn clustogfa DRAM gyda chynhwysydd y tu ôl iddi, sy’n wydn, a dal i gyfuno’n fewnol cyn rhaglennu’r NAND. Mae’n rhaid i yriant defnyddiwr heb PLP gyrraedd y fflach cyn y caiff ateb, felly mae’n talu’r gost lawn fesul ysgrifiad. Un rheswm arall pam nad yw PLP yn ddewisol ar gyfer y math hwn o lwyth gwaith.

Yn Proxmox, y modd storfa sy’n penderfynu pa un o’r rhain a gei di:

  • cache=none yw O_DIRECT: rhagosodiad PVE, a’r dewis cywir ar gyfer HA holl-fflach. Mae storfa dudalennau’r gwesteiwr allan o’r llwybr, felly mae patrymau ysgrifennu’r gwestai yn cyrraedd y gyriant fel y’u hanfonwyd gan y gwestai.
  • cache=directsync yw O_DIRECT ynghyd ag O_DSYNC: pob ysgrifiad yn gydamserol. Gosodiad arbenigol yw hwn ar gyfer gyriannau log cronfa ddata pwrpasol, ac mae’n anymarferol ar gyfer llwythi gwaith cyffredinol.

Ar ddyfais gefn 512e, cache=directsync gyda gwestai sy’n ymrwymo mewn cofnodion 512 beit yw bron y trefniant lleiaf effeithlon sydd ar gael: dim cyfuno gan y gwesteiwr, dim cyfuno gan y gyriant, a darllen-addasu-ysgrifennu ar gyfer pob ymrwymiad.

A dyma’r rhan sy’n gwneud 4Kn yn strwythurol yn hytrach na dim ond yn well. Mae O_DIRECT yn mynnu bod y gwrthbwys, yr hyd a’r glustogfa wedi’u halinio i faint bloc rhesymegol y gyriant. Ar yriant 512e mae hynny’n 512 beit, felly mae ysgrifiad uniongyrchol 512 beit yn gyfreithlon ac mae’r gyriant yn talu amdano’n dawel. Ar 4Kn mae’r bloc rhesymegol yn 4096, felly yr ysgrifiad uniongyrchol lleiaf y bydd y cnewyllyn yn ei dderbyn yw 4 KB. Mae’r patrwm patholegol yn peidio â bod yn rhywbeth mae’n rhaid i ti ei osgoi ac yn troi’n rhywbeth na all y pentwr ei fynegi.

Gorbenion ar y Cyfrwng

Mae’r ail gost yn strwythurol, a dyma’r rheswm mae Advanced Format yn bodoli o gwbl.

Nid dim ond ei ddata yw sector. Ar yriant caled mae pob un yn cario marc cydamseru fel bod y pen yn gwybod lle mae’r sector yn dechrau, bwlch fel nad yw sectorau olynol yn rhedeg i’w gilydd, marciwr cyfeiriad, a maes ECC i gywiro gwallau darllen.

Gyda sectorau 512 beit rwyt ti’n talu am hynny i gyd wyth gwaith am bob 4K o ddata. Gydag un sector 4K rwyt ti’n talu unwaith.

Mae dau ganlyniad i hynny, ac mae’r ail yn bwysicach na’r cyntaf:

  • Mae rhywfaint o’r plât oedd yn orbenion yn troi’n gapasiti defnyddiadwy. Dyma oedd cymhelliad datganedig y diwydiant yn ystod y newid i Advanced Format, yn yr ystod canrannau un digid isel.
  • Gall y maes ECC fod yn llawer mwy am yr un gorbenion cyfan. Mae un cod cryf sy’n diogelu 4096 beit yn cywiro llawer mwy nag wyth cod gwan sy’n diogelu 512 beit yr un. Wrth i ddwysedd arwynebol ddringo, peidiodd hynny â bod yn foethusrwydd a throi’n unig ffordd o gadw cyfraddau gwallau’n dderbyniol.
Mae gorbenion pob sector yn cael eu talu wyth gwaith ar 512 beit ac unwaith ar 4KSectorau 512 beit: yr un 4 KB o ddata8 sector × (cydamseru + data + ECC + bwlch)8 × y gorbenion fesul sector, ac wyth maes ECC bachUn sector 4096 beit: yr un data1 × y gorbenion, ac un maes ECC llawer mwymarc cydamseru, marciwr cyfeiriad, bwlch rhwng sectorauECCdy ddataNid wrth raddfa: mae’r meysydd gorbenion wedi’u gorliwio fel eu bod i’w gweld o gwbl.Roedd y capasiti a adferwyd werth canran un digid isel. Yr ECC cryfach yw’r rheswm y symudoddy diwydiant mewn gwirionedd.
Wyth set o farciau cydamseru, bylchau ac ECC, neu un. Y gofod a adferwyd yw’r fuddugoliaeth fach; y cywiro gwallau cryfach yw’r rheswm y symudodd y diwydiant.

Does gan fflach ddim marciau cydamseru na bylchau cylchdro, ond mae’r un rhesymeg yn berthnasol un lefel i fyny: mae NAND yn cael ei raglennu mewn tudalennau, mae tudalennau’n llawer mwy na 512 beit, ac mae gan dablau mapio’r gyriant gofnod ar gyfer pob uned y gellir ei chyfeirio. Mae blociau rhesymegol llai yn golygu mwy o fetaddata i olrhain yr un capasiti.

Gorbenion yn y Gwesteiwr: Gorchmynion ac Ymyriadau

Y drydedd gost yw’r un mae pobl yn ei methu, oherwydd dydy hi ddim ar y gyriant o gwbl.

Mae maint y bloc rhesymegol yn gosod y llawr ar ba mor fach y gall IO fod. Ar yriant rhesymegol 512 beit, mae system ffeiliau neu raglen yn rhydd i anfon ysgrifiad 512 beit, ac mae pob un yn IO cyflawn: gorchymyn wedi’i adeiladu a’i gyflwyno, ysgrifiad i’r gloch drws, cofnod yn y ciw cwblhau, ac ymyriad i ddweud ei fod wedi gorffen.

Mae gan bob un o’r rheini gost sefydlog sydd ddim yn malio faint o ddata oedd dan sylw. Symuda 4KB fel wyth gorchymyn 512 beit ac rwyt ti’n talu’r gost honno wyth gwaith. Symuda fe fel un gorchymyn 4K ac rwyt ti’n ei thalu unwaith.

Maint y bloc rhesymegol sy’n gosod llawr maint IO, ac mae gan bob gorchymyn gost sefydlogBlociau rhesymegol 512 B: caiff rhaglen anfon ysgrifiadau 512 Bmae 4 KB o ddata’n troi’n 8 gorchymyn512 B512 B512 B512 B512 B512 B512 B512 B8 × cyflwyno + cloch drws8 × cofnod cwblhau8 × cyfle am ymyriad8 × y gost sefydlog fesul gorchymynam yr union un 4 KB o ddataBlociau rhesymegol 4 KB: 4 KB yw’r llawrun gorchymyn 4 KB1 × cyflwyno, 1 × cwblhau, 1 × ymyriad1 × y gost sefydlogDim ond lle mae IO bach yn cael ei anfon mae hyn yn helpu: gall un gorchymyn ddisgrifio llawer o flociau,felly un gorchymyn yw ysgrifiad 1 MB y naill ffordd neu’r llall.
Yr un 4 KB o ddata. Nid y gyriant yw’r dagfa yma, ond y gost fesul gorchymyn a fesul cwblhad yn y gwesteiwr.

Dau amod onest, oherwydd dyma lle mae’r ddadl fel arfer yn cael ei gorddweud.

Ar gyfer IO mawr, dydy maint y bloc rhesymegol yn newid dim ar nifer y gorchmynion. Gall un gorchymyn ddisgrifio llawer o flociau, felly un gorchymyn yw ysgrifiad dilyniannol 1MB p’un ai 512 beit neu 4K yw’r blociau. Dim ond lle mae IO bach yn cael ei anfon y mae’r arbediad yn real.

Lle mae IO bach yn cael ei anfon, serch hynny, dydy’r effaith ddim yn gynnil: mae pob un o’r wyth cais hynny’n un mae’n rhaid i’r cnewyllyn ei adeiladu, ei amserlennu a’i gwblhau, pob un gyda’i ymyriad MSI-X ei hun a’i drawsnewidiad o’r defnyddiwr i’r cnewyllyn, ac ar ddyfnderoedd ciw uchel dyna sut rwyt ti’n cael storm ymyriadau. Y tu mewn i VM mae’n waeth eto, oherwydd mae pob un o’r ymyriadau hynny hefyd yn newid cyd-destun yn y gwestai.

Ac mae rheolyddion NVMe modern yn cyfuno ymyriadau, felly nid yr un peth yn union yw nifer yr ymyriadau a nifer y gorchmynion. Mae’r gwaith cyflwyno a chwblhau fesul gorchymyn yn aros, serch hynny, ac ar ychydig gannoedd o filoedd o IOPS mae’r gost CPU fesul gorchymyn yn ffracsiwn mesuradwy o graidd. Dyma’r un rhifyddeg ag ymyriadau postiedig yn y gyfres passthrough: costau sefydlog bach wedi’u lluosi â rhif mawr iawn.

4Kn, Metadata Sector a RAID Caledwedd

Mae gan symud i fformat 4096 + 0 ganlyniad sy’n dal pobl allan, ac mae’n glanio’n sgwâr ar RAID caledwedd.

Dydy rhai rheolyddion RAID ac araeau storio ddim yn defnyddio sectorau 512 neu 4096 beit plaen o gwbl. Maen nhw’n fformatio gyriannau i faint estynedig, 520 neu 528 beit, neu’r cyfatebion 4K fel 4104, 4160 a 4224, oherwydd yn y beitiau ychwanegol hynny fesul sector y mae’r rheolydd yn cadw ei fetadata ei hun. Gwybodaeth ddiogelu T10-PI/DIF yw hynny, neu ddata cywirdeb y gwerthwr, wedi’i storio yn unol â’r union ddata mae’n ei ddisgrifio.

Does gan fformat 4096 + 0 unman i’w roi. Data yw’r sector, o un pen i’r llall, a dyna holl bwynt ei ddewis.

Felly mae gan reolydd sydd eisiau metadata mewnol dri dewis, a dydy’r un ohonynt yn rhad ac am ddim:

  1. Gwrthod y gyriant.
  2. Ei ailfformatio’n ôl i fformat estynedig, gan ddadwneud y gwaith 4Kn rwyt ti newydd ei wneud.
  3. Cadw ei fetadata yn rhywle arall ar y gyriant.

Y trydydd yw lle mae fflach yn dy gosbi. Mae metadata sydd wedi’i ysgrifennu ar wahân i’r data mae’n ei ddisgrifio yn ail ysgrifiad, ar wrthbwys gwahanol, yn glanio mewn uned fapio wahanol. Tudalen NAND arall wedi’i rhaglennu am bob un roeddet ti wir yn bwriadu ei hysgrifennu. Dyna’r chwyddiad o’r adran uchod, wedi’i ailgyflwyno’n fwriadol, er mwyn cario metadata cywirdeb y gallai’r gyriant fod wedi’i ddal yn fewnol am ddim byd petaet ti wedi’i adael mewn fformat estynedig.

Elli di ddim cael y ddau. Naill ai mae’r sector yn cario metadata’r rheolydd, neu mae’n cario dy ddata di yn unig.

Dyna Pam Mae Fflach Wedi Tanseilio’r Achos dros RAID Caledwedd

Barn yn hytrach na mecanwaith yw gweddill hyn, felly cymer e felly.

RAID cadarnwedd sy’n rhedeg ar brosesydd pwrpasol yw rheolydd RAID caledwedd. CPU, ychydig o DRAM a batri yw’r ‘caledwedd’. Nid ffordd sylfaenol wahanol o gyfrifo paredd. Yr hyn a brynodd i ti yn hanesyddol oedd storfa ysgrifennu gyda batri y tu ôl iddi a dadlwytho paredd, ac ar fflach mae’r ddwy ddadl wedi gwanhau’n ddrwg. Mae gan NVMe menter eisoes storfa ei hun wedi’i diogelu rhag colli pŵer, ac mae’r rheolydd yn troi’n nenfwd lled band o flaen dyfeisiau sydd bob un yn gallu llenwi sawl gigabeit yr eiliad.

Mae hefyd yn costio pethau i ti rwyt ti bellach eu heisiau o ddifrif:

  • Mae cyflwr y ddyfais yn diflannu. Mae manylion SMART, dangosyddion traul a logiau’r gwerthwr sy’n gadael i ti gyfrifo chwyddiad ysgrifennu i gyd y tu ôl i haniaeth afloyw.
  • Dim sieciau o un pen i’r llall. Mae rheolydd yn gwirio paredd, sy’n canfod gyriant coll, nid ateb anghywir gan un sy’n bresennol. Mae ZFS a Ceph yn gwneud siec o’r data ei hun ac yn gallu dweud wrthot ti pa gopi sy’n anghywir: llygredd tawel y mae rheolydd yn ei basio’n syth drwodd. O’r herwydd, mae’r rheolydd yn datrys y broblem anghywir.
  • Mae metadata’r gwerthwr ar y gyriannau yn clymu’r arae i deulu o reolyddion, sy’n fath ei hun o annibynadwyedd pan mai’r rheolydd yw’r hyn sy’n methu.
  • Mae RAID paredd yn gwneud ei ddarllen-addasu-ysgrifennu ei hun ar ysgrifiadau rhannol i stribed, gan bentyrru ar ben popeth yn yr adrannau uchod.

I Ceph dydy hyn ddim hyd yn oed yn fater o ddewis. Canllaw hyper-gydgyfeiriol Proxmox ei hun yw bod rhaid cyflwyno disgiau yn y modd HBA neu pass-through, nid y tu ôl i reolydd RAID, ac mae ZFS eisiau’r union beth ar gyfer yr un rhesymau.

Felly y trefniant sy’n dilyn o hyn i gyd yw: HBA yn hytrach na rheolydd RAID, gyriannau wedi’u fformatio’n 4Kn gyda dim metadata, a dileu swydd ynghyd â sieciau wedi’u gwneud gan ZFS neu Ceph, sy’n gallu dweud wrthot ti mewn gwirionedd pan fu gyriant yn dweud celwydd. Os oes rhywbeth yn dy ystad wir angen fformat sector estynedig, mae hynny’n ddewis naill-ai-neu bwriadol i’w setlo tra bo’r gyriannau’n dal yn wag. Nid rhywbeth i’w ddarganfod ar ôl i’r OSDs gael eu hadeiladu.

Lle Mae 512e yn Brathu Mewn Gwirionedd

Byddai’n anonest honni bod 512e yn difetha system fodern, oherwydd fel arfer dydy e ddim.

Mae pentwr Linux cyfredol yn darllen maint y sector ffisegol, yn alinio rhaniadau iddo (mae parted ac sfdisk ill dau yn gwneud hyn yn ddiofyn erbyn hyn), ac yn defnyddio blociau system ffeiliau 4K. Yn y ffurfweddiad hwnnw mae’r gwesteiwr yn anfon IO 4K wedi’i alinio i 4K, does byth angen darllen-addasu-ysgrifennu ar y gyriant, ac mae 512e yn costio bron dim byd i ti.

Mae’r problemau’n benodol:

  • Rhaniadau wedi’u camalinio, fel arfer wedi’u hetifeddu o hen osodiad neu ddelwedd wedi’i chlonio. Dau ddarllen-addasu-ysgrifennu ar bob ysgrifiad.
  • ZFS gydag ashift=9 ar yriant 512e, oherwydd credodd ZFS y 512 a adroddwyd. Mae pob ysgrifiad cofnod yn troi’n ddarllen-addasu-ysgrifennu, ac elli di ddim newid ashift wedyn: mae’n rhaid ailadeiladu’r pool.
  • Rhaglenni sy’n ysgrifennu cofnodion 512 beit gydag O_DIRECT, gan osgoi cyfuno’r storfa dudalennau. Mae rhai cronfeydd data a llawer o feddalwedd bwrpasol yn gwneud hyn.
  • Unrhyw beth sy’n ymddiried mai’r maint rhesymegol yw’r un go iawn. Dyna’r niwed gwirioneddol yn yr efelychu: mae’n rhoi rhif sy’n anghywir, ac mae pethau i lawr yr afon yn gwneud penderfyniadau ag ef.

Mae 4Kn yn cael gwared ar y categori cyfan. All y gyriant ddim dweud celwydd am faint sector nad oes ganddo.

Mae’n werth bod yn onest am faint y wobr, serch hynny. Canllaw Seagate ei hun yw bod 4Kn yn amlwg werth mynd ar ei ôl pan fo’r pentwr wedi’i optimeiddio’n llawn ar gyfer 4K a’th fod yn cyfrif pob IOPS: haen holl-fflach wedi’i thiwnio, dyweder. Islaw hynny, ar Linux modern wedi’i alinio’n gywir, mae’r gwahaniaeth perfformiad ar gyfer IO wedi’i alinio yn aml yn fach. Y ddadl arall yw cysondeb y fflyd: does dim syrpréis fformatau cymysg mewn ystad sy’n 4Kn drwyddi draw, a does neb yn gorfod cofio pa yriannau sy’n dweud celwydd.

Mae Modd Trosi’r Rhan Fwyaf o Yriannau, Os Yw’r Gwerthwr yn Caniatáu

Dyma’r rhan sy’n cael ei methu: gosodiad fformat yw 512e yn aml, nid priodwedd o’r caledwedd. Mae llawer iawn o yriannau SAS a SATA menter, a’r rhan fwyaf o NVMe menter, yn cael eu cludo’n adrodd 512 beit ac yn barod iawn i ailfformatio i 4Kn.

Mae’r cyfan o’r canlynol yn dinistrio pob beit ar y ddyfais. Does dim trosi yn ei le.

NVMe: nvme-cli

Edrycha’n gyntaf ar beth mae’r namespace yn ei gynnal:

# Lists each LBA format and marks which one is in use
nvme id-ns -H /dev/nvme0n1 | grep -i "lbaf\|data size"

Rwyt ti eisiau fformat gyda Data Size 4096 a Metadata Size 0, wedi’i farcio’n orau a heb fod yn cael ei ddefnyddio ar hyn o bryd. Yna rho fe ar waith:

# -l/--lbaf selects the LBA format index from the list above
nvme format /dev/nvme0n1 --lbaf=1 --force

Mae maint y metadata cyn bwysiced â maint y data. Mae rhai fformatau ffatri yn cadw beitiau ychwanegol fesul sector, 520 neu 4160, i gario metadata diogelu T10-PI/DIF o un pen i’r llall. Os nad oes dim yn dy bentwr yn ei ddefnyddio, padin ar bob sector yw e, felly dewisa’r fformat dim-metadata a chael gwared arno. Mae dewis fformat sy’n cario metadata drwy ddamwain hefyd yn rhoi gyriant i ti sy’n ymddwyn yn wahanol i’r un roeddet ti’n bwriadu ei greu, a gall cyfuno newid maint sector â newid PI orfodi fformat llawn araf yn hytrach nag un cyflym.

Ar gyfer gwerth gwesteiwr cyfan o yriannau, rho fe mewn dolen. Mae angen shopt -s extglob ar hyn ar gyfer y globiau estynedig, a dim ond fformatau sy’n 4096/0 a heb fod yn cael eu defnyddio y mae’n eu dewis:

shopt -s extglob

for dev in /dev/nvme+([0-9])n+([0-9]); do
    # Skip anything that is not actually there
    [ -e "$dev" ] || continue

    # An LBA format with 4096-byte data, 0-byte metadata, marked Best, not in use
    lbaf=$(nvme id-ns -H "$dev" \
        | grep -P '(?=.*Metadata Size: 0)(?=.*Data Size: 4096)(?=.*Best)(?!.*in use)' \
        | awk '{found=$3} END {print (found != "" ? found : -1)}')

    if [ "$lbaf" != "-1" ]; then
        echo "Formatting $dev using LBA Format: $lbaf"
        nvme format --force --lbaf="$lbaf" "$dev"
    else
        echo "Skipping $dev: no matching LBA format found."
    fi
done

Mae dau beth yn y fan yna’n gwneud mwy o waith nag maen nhw’n ymddangos.

Mae’r glob yn cyfateb i namespaces, nvme0n1, nvme12n3, ac yn fwriadol dydy e ddim yn cyfateb i raniadau fel nvme0n1p1, oherwydd mae’r patrwm yn gorffen ar ôl y digidau sy’n dilyn yr n. Dyna’r gwahaniaeth rhwng ailfformatio namespace a gwneud rhywbeth na ellir ei adfer i system sy’n rhedeg.

A dim ond gyriant sydd wir yn cynnig yr hyn y gofynnaist amdano y mae’r dewis byth yn ei drosi. Mae unrhyw beth arall yn disgyn drwodd i -1 ac yn cael ei hepgor, sy’n cwmpasu tri achos ar wahân:

  • Dim ond 512 mae’r gyriant yn ei gynnig. Does dim fformat 4096 beit yn bodoli, felly does dim i’w drosi iddo ac mae’r ddolen yn ei adael yn llonydd. Dydy hi ddim yn ceisio, a dydy hi ddim yn methu hanner ffordd.
  • Mae’r gyriant eisoes yn 4Kn. Y fformat 4096/0 yw’r un sy’n cael ei ddefnyddio, ac mae (?!.*in use) yn ei eithrio, felly mae ail rediad dros yr un gwesteiwr yn gwneud dim. Dim ailfformatio diangen ar bob gyriant.
  • Mae’r unig fformatau 4096 yn cario metadata. Dydy fformat 4096 + 8 ddim yn bodloni Metadata Size: 0, felly fydd y ddolen ddim yn rhoi gyriant T10-PI i ti’n dawel nad oeddet ti wedi gofyn amdano.

Mewn geiriau eraill mae’n methu’n gaeedig. Pan nad yw’n siŵr, mae’n hepgor.

Un nodyn hygludedd: mae angen modd -P (PCRE) grep GNU ar yr edrych-ymlaen hynny. Ar system lle mae grep yn rhywbeth arall, dydy’r patrwm yn cyfateb i ddim byd ac mae pob gyriant yn cael ei hepgor. Yn boendod, ond o leiaf mae’n cyfeiliorni i’r cyfeiriad diogel.

Darllena’r ddolen cyn i ti ei rhedeg, er hynny. Lle mae hi’n cyfateb, mae’n ailfformatio heb ofyn ymhellach. Dydy nvme format --force ddim yn gofyn ddwywaith. Mae ei lle hi wrth ddarparu, ar beiriant nad oes dim ar ei yriannau, byth ar westeiwr gydag OSD, pool neu ddisg VM byw.

Ar FreeBSD yr hyn sy’n cyfateb yw nvmecontrol, lle -f yw mynegai’r fformat:

nvmecontrol format -f 1 nvme0ns1

SAS a SATA: openSeaChest

Mae openSeaChest Seagate yn draws-blatfform, yn ffynhonnell agored, ac yn gweithio ar yriannau gwerthwyr eraill hefyd.

# Find the handle
openSeaChest_Format --scan

# Ask the drive which sector sizes it will accept
openSeaChest_Format -d /dev/sg1 --showSupportedFormats

# Convert. The confirmation string is deliberately hard to type by accident.
openSeaChest_Format -d /dev/sg1 --setSectorSize 4096 \
    --confirm this-will-erase-data-and-may-render-the-drive-inoperable

Nid fi’n bod yn ddramatig yw’r ymadrodd cadarnhau yna. Dyna’r union linyn mae’r offeryn yn ei fynnu, ac mae’r rhan ‘may render the drive inoperable’ yn real. Gall fformat lefel isel sy’n cael ei dorri gan doriad pŵer adael gyriant sydd angen fformat arall cyn y bydd yn gweithio o gwbl.

Oddi tano, mae’r weithred yn wahanol yn ôl y cludiant: mae SAS a SCSI yn defnyddio Format Unit, mae SATA yn defnyddio Set Sector Configuration Ext, sef y llwybr fformat cyflym, ac mae NVMe yn defnyddio NVM Format. Ar gyfer gyriant SAS gelli di yrru Format Unit yn uniongyrchol, a sylwa fod yr opsiwn hwn yn cymryd y llinyn cadarnhau byrraf:

openSeaChest_Format -d /dev/sg1 --formatUnit 4096 --poll \
    --confirm this-will-erase-data

Dau opsiwn gwahanol, dau linyn cadarnhau gwahanol. Os cei di nhw o chwith, mae’r offeryn yn gwrthod.

Lle mae’r gyriant yn cynnal fformat cyflym, mae maint y sector yn newid mewn eiliadau yn hytrach nag oriau; mae’r gyriant yn gwneud ei waith cywirdeb a chefndir wedyn, ac mae ysgrifennu dy ddata go iawn arno yn lleihau’r amser cefndir hwnnw. Mae fformat llawn yn ysgrifennu sero o un pen i’r llall a gall gymryd llawer o oriau i ddyddiau ar ddisg fawr sy’n troelli.

openSeaChest_Format -d /dev/sg1 --setSectorSize 4096 --fastFormat \
    --confirm this-will-erase-data-and-may-render-the-drive-inoperable

SCSI: sg_format

Ar gyfer unrhyw beth sy’n siarad SCSI, bydd sg3_utils yn gwneud yr un gwaith:

# --size requires --format; expect hours on a large spinning disk
sg_format --format --size=4096 /dev/sdb

# Fast format where the drive supports it — seconds instead of hours
sg_format --format --size=4096 --ffmt=1 /dev/sdb

Mae sg_format yn rhoi cyfrif i lawr 15 eiliad i ti cyn iddo ymrwymo, ac mae --quick yn ei hepgor. Mae ei ddogfennaeth hefyd yn rhybuddio am fethiant penodol sy’n werth ei wybod: os yw’r newid maint bloc yn llwyddo ond y fformat wedyn yn methu, gall y gyriant orffen mewn cyflwr ‘format corrupt’ ac mae angen fformat arall i’w adfer.

Cyn i Ti Drosi Dim Byd

  • Gwiria’r llwybr cychwyn. Mae gyriant 4Kn fel dyfais gychwyn angen UEFI a system weithredu sy’n ei gynnal. Mae Linux modern yn iawn. Dydy Windows hŷn ddim, ac mae rhai rheolyddion RAID caledwedd yn dal i wrthod 4Kn yn llwyr.
  • Gwna fe cyn i’r gyriant ddal dim byd. Mae ôl-osod yn golygu gwagio, trosi, adfer.
  • Gwna un, yna gwiria. Trosa un gyriant, cadarnha’r meintiau a adroddir, yna gwna’r gweddill.
  • Disgwyl oriau ar ddisg sy’n troelli heb fformat cyflym. Paid â dechrau fformat lefel isel ar beiriant rwyt ti ei angen yn ôl yn fuan.

Gwirio Beth Sydd Gen Ti

# LOG-SEC is what the host addresses, PHY-SEC is what the medium uses
lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC

# The same, from sysfs
cat /sys/block/sda/queue/logical_block_size
cat /sys/block/sda/queue/physical_block_size

# SMART states both, and this is the clearest 512e signature there is
smartctl -a /dev/sda | grep -i "sector size"

Gyriant 512e yw 512 bytes logical, 4096 bytes physical. Mae rhifau sy’n cyfateb yn golygu brodorol: 512n os yw’r ddau’n 512, 4Kn os yw’r ddau’n 4096.

A gwiria fod y rhaniadau wir yn llinellu:

parted /dev/sda align-check optimal 1

ZFS, Ceph a Disgiau Rhithwir

ZFS: gosoda ashift=12 yn benodol wrth greu pool, a phaid â dibynnu ar y maint mae’r gyriant yn ei adrodd, oherwydd ar 512e bydd yn dweud 9 wrthot ti ac yn anghywir. Does dim modd ei newid wedyn.

Ceph: dylai maint dyrannu lleiaf BlueStore fod yn 4 KB ar fflach. Mae Ceph modern yn rhagosod i 4096, ond roedd fersiynau hŷn yn rhagosod yn uwch, tua 16 KB ar SSD a 64 KB ar HDD, ac mae hynny’n gweddu’n wael i ddisgiau VM RBD, oherwydd maen nhw’n anfon llawer o ysgrifiadau 4 KB bach ar hap ac mae ysgrifiad 4 KB sy’n glanio mewn uned ddyrannu 16 neu 64 KB yn chwyddo’r ysgrifiad ac yn gwastraffu’r gweddill ar badin. Mae’n sefydlog pan fydd yr OSD yn cael ei greu, felly mae’n rhaid ei osod cyn creu neu ailadeiladu:

ceph config set global bluestore_min_alloc_size_ssd 4096   # new or rebuilt OSDs only

Mae bluestore_min_alloc_size_hdd cyfatebol. Mae OSDs presennol yn cadw beth bynnag y cawson nhw eu hadeiladu ag ef, felly mae ei newid yn golygu eu hailadeiladu.

Disgiau rhithwir: mae gwestai’n gweld beth bynnag mae’r hypervisor yn ei gyflwyno, nid y gyriant oddi tano, felly mae gyriant 4Kn o dan VM yn dal i roi blociau 512 beit i’r gwestai oni bai dy fod ti’n dweud fel arall. Mae cadw’r pentwr yn 4K o un pen i’r llall yn golygu dweud wrth QEMU am gyflwyno 4K, sydd yn Proxmox yn llinell ddadleuon amrwd yn /etc/pve/qemu-server/<vmid>.conf:

args: -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096

Y llinell honno sy’n gorfodi QEMU i 4Kn ar gyfer y disgiau hynny mewn gwirionedd: mae -global yn ei gymhwyso i bob dyfais scsi-hd ar y VM, felly mae’r gwestai’n cael gwybod 4096 ar gyfer maint y bloc rhesymegol a ffisegol ac yn rhannu ac yn alinio yn unol â hynny.

Paid â rhoi’r llinyn cyfan mewn dyfynodau. Mae Proxmox yn dosrannu args: gyda Text::ParseWords::shellwords, felly mae hyn:

args: "-global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096"

yn cwympo’n un ddadl sengl: mae’r dyfynodau’n cael eu parchu a’u tynnu, ac mae QEMU yn cael un opsiwn hir na ellir ei ddosrannu yn hytrach na phedwar. Heb ddyfynodau, mae’r un llinell yn hollti’n -global, scsi-hd.physical_block_size=4k, -global, scsi-hd.logical_block_size=4096, sef yr hyn rwyt ti ei eisiau. Mae’n gamgymeriad hawdd ei wneud oherwydd mai dyfynnu yw’r reddf gywir ar linell orchymyn, a dydy’r methiant, VM na fydd yn cychwyn ac sy’n cwyno am yr opsiwn, ddim yn pwyntio’n ôl at y dyfynodau.

Gwna hyn cyn gosod system weithredu’r gwestai. Gall newid maint bloc disg o dan system sydd eisoes wedi’i gosod ei gadael yn amhosibl ei chychwyn, oherwydd ysgrifennwyd cynllun y rhaniadau a’r cychwynnydd ar gyfer sectorau 512 beit. Sylwa hefyd fod args: yn ddihangfa i arbenigwyr y tu allan i reolaeth y GUI, ac mae’n werth ailwirio’r rhyngweithio â mudo byw a chipluniau yn erbyn dogfennaeth gyfredol Proxmox.

Pan Fo’r Gwestai’n Dweud 512 a’r Gwesteiwr yn Dweud 4K

Dyma’r achos sy’n werth ei ddeall yn iawn, oherwydd dyma beth a gei di yn ddiofyn ar ôl gwneud yr holl waith uchod.

Mae QEMU yn cyflwyno blociau rhesymegol 512 beit i’r gwestai oni chaiff ei ddweud fel arall, beth bynnag yw’r ddyfais gefn. Felly gelli di drosi pob gyriant yn y gwesteiwr i 4Kn, a bydd y VMs ar ei ben yn dal i gael gwybod 512, a byddan nhw’n ei gredu.

Mae’r gwestai wedyn yn rhannu ar ffiniau 512 beit oherwydd ei fod yn cael, ac yn anfon IO 512 beit oherwydd ei fod yn cael. Ond mae gan ddyfais y gwesteiwr bellach floc rhesymegol 4096 beit go iawn, a fydd hi ddim yn derbyn ysgrifiad 512 beit. Mae’n rhaid i rywbeth gysoni’r ddau, a’r gwesteiwr yw’r rhywbeth hwnnw: mae QEMU yn darllen y 4 KB o’i gwmpas, yn uno 512 beit y gwestai i mewn iddo, ac yn ysgrifennu’r cyfan yn ôl.

Dwyt ti ddim wedi cael gwared ar yr efelychu. Rwyt ti wedi’i symud oddi ar gadarnwedd y gyriant ac i mewn i dy hypervisor, lle mae’n costio CPU y gwesteiwr a chlustogfa adlam yn lle cylchoedd y gyriant.

Gyda cache=none dydy hyn ddim yn gosb ysgafn chwaith. Mae O_DIRECT yn erbyn dyfais 4Kn yn mynnu gwrthbwysau a hydoedd wedi’u halinio i 4 KB, felly all ysgrifiad gwestai sy’n llai na 4K ddim cael ei basio drwodd yn syml: mae’n rhaid trwsio’r aliniad yn QEMU cyn i’r IO gael ei anfon o gwbl.

Ac mae’r achos camalinio’n dod yn ôl un haen i fyny. Mae gwestai sydd wedi’i rannu ar ronynnedd 512 beit yn rhoi ei ysgrifiadau system ffeiliau 4 KB ar wrthbwysau sy’n croesi dau floc 4 KB y gwesteiwr, felly mae pob un yn troi’n ddau ddarllen-addasu-ysgrifennu ar y gwesteiwr. Yr un methiant â rhaniad wedi’i gamalinio ar yriant 512e moel, heblaw ei fod nawr yn digwydd y tu mewn i VM lle does neb yn chwilio amdano.

Felly’r rheol yw: os yw’r gwesteiwr yn 4Kn, cyflwyna 4K i’r gwestai hefyd, a gwna hynny cyn i’r system weithredu fynd arno.

Yr eithriad yw cefnogaeth y gwestai, sef yr holl reswm mae 512e yn bodoli:

  • Mae gwesteion Linux yn trin 4Kn heb ffws.
  • Mae Windows yn cynnal 4Kn ar gyfer cyfrolau data o Windows 8 a Server 2012 ymlaen, ac mae cychwyn o 4Kn eisiau UEFI.
  • Unrhyw beth hŷn, Windows 7 ac yn ôl, all ddim gwneud 4Kn o gwbl. I’r rheini, disg rithwir sy’n cyflwyno 512 yw pris eu rhedeg, a bydd y gwesteiwr yn gwneud y cysoni. Os yw hynny o bwys, cadwa’r gwesteion hynny ar storfa lle mae’n costio leiaf i ti yn hytrach nag ar dy haen gyflymaf.

Gwiria beth gafodd y gwestai mewn gwirionedd, o’r tu mewn i’r gwestai:

lsblk -o NAME,LOG-SEC,PHY-SEC

Mae 512 yn y fan yna ar westeiwr 4Kn yn golygu bod y cysoni uchod yn digwydd ar bob ysgrifiad heb ei alinio.

Cyfeiriadau