Pam Mae HDDs Yn Ôl ar y Fwydlen
Am flynyddoedd roedd y cyngor yn ddigon syml i ffitio ar nodyn gludiog: rho’r cyfan ar SSDs.
Roedd y cyngor hwnnw’n iawn, ac roedd hefyd yn rhad. Nid yw’r naill na’r llall yn hollol wir bellach. Mae’r cyflenwad NAND wedi tynhau, mae galw AI wedi gwthio prisiau fflach i fyny, ac mae NVMe capasiti uchel wedi mynd yn anodd ei gyfiawnhau ar gyfer gosodiad Proxmox sy’n gwylio’r geiniog: y math sydd angen bod yn weithredol, yn ddibynadwy, ac mor rhad ag y mae gonestrwydd yn ei ganiatáu.
Mae HDDs menter yn ddiddorol eto am yr un rheswm ag erioed: capasiti am bob punt, a does dim byd arall yn dod yn agos.
Y dalfa yw bod pawb sydd wedi rhedeg VMs ar ddisgiau troelli yn gwybod pa mor wael y gall fynd. Mae’r profiad hwnnw’n real, a bai’r bensaernïaeth ydyw fel arfer, nid bai’r disgiau.
Mae’n haws beio’r disgiau, cofia. Mae hefyd yn anghywir, ac mae’n ddrud, oherwydd mae’n perswadio pobl i brynu fflach nad oedd ei angen arnynt.
Mae popeth isod yn rhagdybio Proxmox gydag OSDs Ceph hypergydgyfeiriol, oherwydd dyna lle mae’r penderfyniadau gosodiad yn brathu go iawn.
Oedi Yw’r Broblem, Nid Trwybwn
Mae HDD menter modern yn symud data dilyniannol mawr yn berffaith iawn. Nid dyna oedd y dagfa erioed.
Mae disg menter 7.2k RPM yn rhoi rhywle tua 80 i 100 IOPS o waith ar hap, oherwydd mae pob gweithrediad ar hap yn aros am chwiliad pen ac am gylchdro’r plât. Prin fod y rhif hwnnw wedi symud mewn ugain mlynedd. Mecaneg yw hi, nid electroneg. Mae SSD menter lefel mynediad dri neu bedwar trefn maint i ffwrdd ohono.
Rho waith dilyniannol i’r un ddisg ac mae’n ddyfais ddefnyddiol. Mae cyfradd y gweithrediadau’n dyblu’n fras, i tua 200 IOPS, ond mae pob un o’r gweithrediadau hynny bellach yn cario bloc mawr oherwydd bod y pen eisoes yn y lle iawn ac yn gallu dal i ffrydio. Felly rwyt ti’n cael trwybwn go iawn, 150 i 250 MB/s ohono, am bris fesul terabeit nad oes dim arall yn ei gyffwrdd.
Dyna’r anghymesuredd pwysig, ac nid ‘mae HDDs yn araf’ ydyw. Mae disg troelli yn dda am waith dilyniannol ac yn anobeithiol am waith ar hap, a’r unig reswm mae’r ddau rif yn agos at ei gilydd yw mai nifer y gweithrediadau sydd wedi’i gyfyngu, nid y beitiau.
Sy’n gosod y briff dylunio cyfan. Nid ceisio gwneud y ddisg yn gyflymach wyt ti. Elli di ddim. Rwyt ti’n ceisio trefnu iddi dreulio’i hamser yn y modd lle mae hi eisoes yn gymwys, a chadw’r traffig bach ar hap draw oddi wrthi. Fel y cyfryw, mae popeth sy’n dilyn yn un syniad wedi’i gymhwyso ddwywaith.
Y broblem yw nad yw peiriannau rhithwir yn creu’r llwyth gwaith y mae HDDs yn dda amdano. Maen nhw’n creu diweddariadau metadata, ysgrifiadau dyddlyfr, fflysiadau cydamserol bach, logio, cadw tŷ’r system ffeiliau, a phyliau o weithgarwch ar hap o ddwsin o westeion ar unwaith sy’n cyrraedd y ddisg wedi’u gweu drwy’i gilydd.
Mae Ceph yn ychwanegu ei haen ei hun at hyn. Mae pob ysgrifiad yn cario diweddariadau metadata RocksDB ochr yn ochr â’r data. Os yw hynny i gyd yn glanio ar ddisgiau noeth, mae’r disgiau’n treulio’u hamser yn chwilio yn lle gwasanaethu, ac rwyt ti’n cael y symptom y mae pob gweinyddwr yn ei adnabod: aros I/O uchel, gwesteion swrth, ymatebolrwydd anghyson, a chlwstwr sy’n teimlo’n llawer arafach nag y mae ei daflen gapasiti’n ei awgrymu.
Mae canllawiau caledwedd Ceph ei hun yn ddiflewyn-ar-dafod am ble mae hyn yn arwain. Mae’n rhybuddio i ‘consider carefully the ostensible cost-per-gigabyte advantage of larger HDDs, and the concomitant limitations of IOPS per TB’, ac yn dweud bod disgiau dros 8 TB ‘may be best suited for storage of large files / objects that are not at all performance-sensitive.’
Mae’n werth gwneud y syms hynny, oherwydd mae’r disgiau sy’n gwneud hyn yn economaidd yn y lle cyntaf yn rhai mawr. 20 TB ac i fyny. Mae disg 20 TB yn dal i wneud ei 80 i 100 IOPS ar hap, oherwydd nid yw capasiti’n prynu’r un gweithrediad i ti. Felly mae’n cynnig tua 4 i 5 IOPS ar hap fesul terabeit, lle mae disg 8 TB yn rheoli tua un ar ddeg, a disg 2 TB ddeugain.
Yn ôl mesur Ceph ei hun, felly, mae disg 20 TB ymhell y tu mewn i’r diriogaeth y mae’n dweud wrthyt am beidio â rhoi llwythi gwaith sy’n sensitif i berfformiad arni.
Nid dadl yn erbyn eu prynu yw honno. Dyna’r rheswm mae gweddill y post hwn yn bodoli. Y dyluniad isod yw’r union beth sy’n gwneud disg 20 TB yn ymarferol ar gyfer storio VMs, drwy drefnu na fydd y gwaith bach ar hap byth yn ei chyrraedd.
Symud y Metadata Oddi ar y Ddisg
Y newid mwyaf gwerthfawr i glwstwr ar HDD yw rhoi’r gorau i wneud i’r ddisg gadw llyfrau Ceph.
Mae BlueStore yn cadw tri pheth i bob OSD: y data ei hun ar block, cronfa ddata metadata RocksDB ar block.db, a’r log ysgrifennu ymlaen llaw ar block.wal. Yn ddiofyn mae’r tri’n byw ar yr un ddyfais. Rho block.db ar NVMe yn lle hynny ac mae llawer iawn o I/O bach ar hap yn gadael y ddisg yn llwyr.
Mae dogfennaeth caledwedd Ceph yn ei ddweud yn blaen: ‘HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD.’
Defnyddia NVMe menter iawn yma, nid fflach defnyddwyr. Nid rhifau meincnod pennawd yw’r rheswm. Oedi sefydlog dan lwyth parhaus ydyw, a diogelwch rhag colli pŵer. Mae dogfennaeth Ceph yn uniongyrchol: ‘Enterprise-class SSDs are best for Ceph: they feature power loss protection (PLP)’, a ‘bargain client-class or off-brand SSDs are a false economy.’
Disgiau o ddosbarth Samsung PM9A3 a Micron 7450 Pro yw’r math o beth sy’n perthyn yma. Dan bwysau ysgrifennu mae Ceph yn poeni am gysondeb lawer mwy nag am rifau brig, a dyna’n union sy’n gwahanu disg menter oddi wrth un gyflym i ddefnyddwyr.
Maint block.db, a Beth Mae Gorlif yn ei Gostio
Cael y maint yn anghywir ac mae’r budd yn diflannu’n dawel, oherwydd pan fydd block.db yn llenwi, nid yw RocksDB yn methu: mae’n gorlifo’n ôl ar y ddyfais araf, yn union lle byddai wedi bod heb yr NVMe.
Dyna’r gwaethaf o’r ddau fyd: rwyt ti wedi prynu’r fflach ac rwyt ti’n dal i chwilio ar y ddisg.
Canllawiau cyfredol Ceph:
| Llwyth gwaith | block.db fel cyfran o block |
|---|---|
| RBD / bloc: disgiau VM | 1% i 2% |
| RGW / gwrthrych | o leiaf 4% |
| Argymhelliad cyffredinol wrth symud WAL+DB | o leiaf 2.5% |
Storio VMs Proxmox yw’r rhes RBD, felly 1–2% yw’r ffigur cynllunio gonest, ac mae 2.5% yn lle cyfforddus i eistedd.
Rhed hynny yn erbyn disg 20 TB ac mae’r rhifau’n tynnu dy sylw:
block.db ar gyfer un OSD 20 TB | |
|---|---|
| Ar 1% | 200 GB |
| Ar 2% | 400 GB |
| Ar 2.5% | 500 GB |
Cymer hynny gyda chamau lefel RocksDB isod a 300 GB i bob OSD yw’r man glanio synhwyrol. Y cam defnyddiol agosaf at ganol yr ystod.
Sy’n newid beth yw’r ddyfais metadata a rennir mewn gwirionedd. Mae wyth OSD 20 TB eisiau 2.4 TB o NVMe rhyngddynt; mae pymtheg ohonynt, uchafswm datganedig Ceph y tu ôl i un NVMe, eisiau 4.5 TB. Ar ddisgiau mor fawr â hyn, capasiti’r DB sy’n penderfynu faint o OSDs sy’n eistedd y tu ôl i un ddyfais, nid y gymhareb. Byddi di’n rhedeg allan o gigabeitiau ymhell cyn i ti redeg allan o fendith Ceph.
Mae un crych arall sy’n werth ei wybod, oherwydd mae’n gwneud maint greddfol yn anghywir. Mae strwythur lefelau RocksDB yn golygu mai dim ond meintiau sy’n cyfateb i symiau ei lefelau y gall rhaniad DB eu defnyddio’n llawn: yn hanesyddol roedd hynny’n rhoi camau defnyddiol tua 3 GB, 30 GB a 300 GB, gyda meintiau rhyngddynt yn cynnig dim dros y cam oddi tanynt. Mae talgrynnu 18 GB i fyny i 30 GB yn aml yn rhad ac am ddim yn ymarferol; nid yw ei dalgrynnu i lawr i 20 GB yn prynu dim dros 3 GB yn yr achos gwaethaf.
Chwilia am orlif ar ôl i’r clwstwr fod yn rhedeg am sbel, nid ar y diwrnod cyntaf. Problem sy’n dod yn araf yw hi.
Does Dim Angen Dyfais WAL Ar Wahân Arnat Ti
Mae hwn yn arbed rhaniad a llawer o ffidlan.
Os wyt ti’n nodi dyfais DB a dim dyfais WAL benodol, mae Ceph yn rhoi’r WAL ar y ddyfais gyflym gyda’r DB yn awtomatig. Mae’r ddogfennaeth yn datgan ‘whenever a DB device is specified but an explicit WAL device is not, the WAL will be implicitly colocated with the DB on the faster device.’
Felly ‘rho’r DB a’r WAL ar NVMe’ yw’r nod cywir, ond un ddadl ydyw, nid dwy. Dim ond os oes gen ti drydedd haen, gyflymach, i’w roi arni y mae block.wal ar wahân yn gwneud synnwyr.
Diffodd Celc Ysgrifennu’r HDD
Bach, di-sglein, a hawdd ei fethu.
Mae dogfennaeth Ceph yn nodi bod perfformiad OSD ‘may be dramatically increased … by disabling this write cache’ ar HDDs. Mae’r celc (cache) anweddol yn y ddisg yn aildrefnu ac yn oedi ysgrifiadau mewn ffyrdd sy’n ymladd semanteg fflysio Ceph, ac mae ei ddiffodd fel arfer yn gwneud pethau’n gyflymach yn hytrach nag yn arafach.
Mae’n troi’n orfodol yn hytrach nag yn ddoeth unwaith y bydd bcache yn y llun, sef yr adran nesaf.
Tra wyt ti wrthi: does dim angen HBA sy’n gallu RAID arnat ti. Mae Ceph yn dweud hynny’n uniongyrchol: ‘You do not need an RoC (RAID-capable) HBA.’ Rho’r disgiau i’r OSDs.
Un Optane i Bob Disg
Mae symud y metadata oddi ar y ddisg yn trwsio’r cyflwr cyson. Nid yw’n trwsio pyliau, oherwydd mae’n rhaid cydnabod pwl o ysgrifiadau cydamserol bach o hyd, ac mae’r ddisg yn dal i gydnabod ar gyflymder disg.
Dyna beth yw pwrpas bcache, a’r hyn sy’n gwneud iddo weithio yma yw Optane.
Nid capasiti sy’n bwysig. Ymddygiad dan lwyth ysgrifennu ydyw. O’i gymharu â NAND, mae Optane yn cynnig oedi isel iawn, gwydnwch uchel iawn, a dim o’r clogwyni casglu sbwriel sy’n gwneud perfformiad celc ysgrifennu SSD yn anrhagweladwy unwaith y bydd wedi bod mewn gwasanaeth am sbel. Llyncu traffig bach, pyliog, trwm ar ysgrifennu yw’r peth y mae orau yn y byd am ei wneud.
Y gosodiad sy’n bwysig: un Optane i bob HDD, pob pâr yn ddyfais bcache ei hun. Nid un Optane wedi’i rhannu ar draws silff o ddisgiau.
Mae’r paru’n ddewis bwriadol, ac mae’n prynu dau beth.
Dim cystadlu. Mae pob disg yn cael oedi a dyfnder ciw Optane cyfan iddi hi ei hun, yn hytrach na chiwio y tu ôl i byliau saith OSD arall.
Parth methiant y mae Ceph eisoes yn gwybod sut i’w oroesi. Mae celc ysgrifennu a rennir yn dal data budr ar gyfer pob OSD y tu ôl iddo, felly mae ei golli’n colli pob un ohonynt ar unwaith; wedi’i baru un-i-un, mae colli Optane yn costio union un OSD. Y gwahaniaeth hwnnw yw’r canlyniad pwysicaf unigol o’r dyluniad hwn, ac mae’n cael ei drin ar wahân yn beth rwyt ti’n ei ildio.
Rhaid Iddi Fod yn Optane. Nid NAND.
Nid hoffter brand na rhywbeth braf i’w gael yw’r gair ‘Optane’ yma. Mae rhoi NVMe NAND yn ei lle, waeth pa mor ddrud, yn adeiladu rhywbeth sy’n treulio, a gwydnwch yw’r rheswm.
Edrych ble mae’r ddyfais gelc yn eistedd. Oherwydd bod y dyluniad hwn yn diffodd ffordd osgoi ddilyniannol bcache, sef y sequential_cutoff=0 yn y rheol isod, mae pob un ysgrifiad i’r OSD honno’n mynd drwyddi: nid y pyliau’n unig, y cyfan. Mae hynny’n gwneud y celc yn ddyfais â’r cylch gwaith uchaf yn y nod, wedi’i gofyn i lyncu cyfaint ysgrifennu disg troelli gyfan am oes y peiriant.
Mae gwydnwch yn cael ei ddyfynnu mewn ysgrifiadau disg y dydd (DWPD), ac nid yw’r bwlch yn gynyddrannol:
| Dyfais | Gwydnwch graddedig |
|---|---|
| Optane P5800X | 100 DWPD |
| Optane P4800X | 30 DWPD |
| NAND menter dwys-ysgrifennu, brig yr ystod | tua 10 DWPD |
| NAND menter defnydd cymysg | 3 DWPD neu lai |
| NAND menter prif ffrwd: dosbarth PM9A3, 7450 Pro | tua 1 DWPD |
Mae gan Optane rhwng deg a chant gwaith gwydnwch y NAND y byddet ti’n ei roi yno fel arall. Rho ddisg 1 DWPD yn yr un safle sy’n derbyn pob ysgrifiad yn y clwstwr ac nid celc rwyt ti wedi’i adeiladu, ond nwydd traul.
Mae’n waeth nag y mae’r tabl yn ei awgrymu, oherwydd mae NAND yn dioddef chwyddo ysgrifennu’n fewnol ac nid yw Optane. DWPD graddedig disg NAND yw’r hyn y mae’n ei gymryd wrth y rhyngwyneb; mae’r hyn y mae ei chelloedd yn ei lyncu mewn gwirionedd yn fwy. Nid oes angen seren o’r fath ar rif Optane.
Ailadeiladu yw lle mae hynny’n cael ei brofi. Mae ôl-lenwi (backfill) yn gwthio terabeitiau o ysgrifiadau drwy’r nodau sydd ar ôl mewn ffenestr gywasgedig, pob beit ohono ar draws eu dyfeisiau celc: digwyddiad gwydnwch, nid un oedi’n unig, sy’n cyrraedd yn union pan wyt ti leiaf eisiau i ail ddyfais fethu.
Felly mae’r ddwy haen fflach eisiau disgiau gwahanol, am resymau gwahanol:
| Haen | Cyfaint ysgrifennu | Beth sydd ei angen ar y ddyfais |
|---|---|---|
| DB/WAL | bach: RocksDB yn unig | NVMe menter gyflym. Oedi isel, IOPS ar hap uchel, PLP. NAND menter yw’r dechnoleg iawn; PM9A3 neu 7450 Pro yw’r pryniant iawn |
| Celc ysgrifennu | y cyfan | PLP a gwydnwch yn y degau o DWPD. NAND yw’r dechnoleg anghywir am unrhyw bris |
Prynu un math o ddisg ar gyfer y ddwy swydd yw’r camgymeriad y mae’r adran hon yn bodoli i’w atal. Ond paid â darllen y rhes gyntaf fel caniatâd i gynilo, oherwydd nid galw isel yw cyfaint ysgrifennu isel.
Mae’n rhaid i’r ddyfais DB/WAL fod yn NVMe wirioneddol gyflym o hyd, am dri rheswm nad oes a wnelont ddim â faint o feitiau sy’n ei chroesi.
Mae’n gwasanaethu pob OSD y tu ôl iddi ar unwaith, felly’r ciw y mae’n ei weld yw pedair neu bymtheg set o draffig metadata, nid gwerth un ddisg.
Mae ei hoedi’n glanio’n syth ar dy gleientiaid. Mae chwiliadau RocksDB yn eistedd ar y llwybr critigol ar gyfer canfod gwrthrychau, ar gyfer peering ac ar gyfer scrub, ac maen nhw’n ddarlleniadau bach ar hap. Y llwyth gwaith lle mae’r bwlch rhwng NVMe gyflym ac un ganolig ar ei letaf. Mae pob microeiliad yn cael ei luosi â phob OSD sy’n dibynnu arni.
Ac mae cywasgu’n byliog. Mae RocksDB yn ailysgrifennu ei lefelau o bryd i’w gilydd, gan droi corddi cyson yn sbigyn crynodedig o ddarlleniadau ac ysgrifiadau. Mae dyfais sy’n ymdopi â’r cyfartaledd ac yn arafu i stop ar y sbigyn yn atal pob OSD y tu ôl iddi ar yr un eiliad.
Cymarebau Ceph ei hun sy’n dweud y cyfan. Mae’n caniatáu tair gwaith cymaint o OSDs y tu ôl i NVMe ag y tu ôl i SSD SATA, a’r rhyngwyneb a dosbarth y ddyfais sy’n siarad yno, nid y capasiti. Defnyddia NVMe.
Felly: rhaid i’r ddyfais gelc fod yn Optane, caiff y ddyfais DB/WAL fod yn NAND, ac nid yw’r naill safle na’r llall yn lle i arbed arian.
Pa Optane: Byddai M10 32 GB yn Gwneud yn Aml
Nid yw dim o hynny’n golygu mai’r Optane fwyaf yw’r un iawn. Dy lwyth ysgrifennu sy’n penderfynu pa ddyfais sydd ei hangen arnat ti, er, fel mae’n digwydd, efallai y bydd y farchnad ail-law yn penderfynu drosot ti beth bynnag. Mae’r syms yn dal yn bwysig, oherwydd maen nhw’n dweud wrthyt beth rwyt ti’n ei or-brynu neu’n ei dan-brynu.
Dechrau o bwrpas y celc. Mae’n dal pwl, nid disg. Ar writeback_percent=40 mae dyfais 32 GB yn rhoi tua 13 GB o glustog budr, sy’n nifer enfawr o ysgrifiadau cydamserol bach.
Felly paid â chael dy ddigalonni gan y gymhareb. Mae modiwl 32 GB o flaen disg 20 TB yn 0.16% ohoni, sy’n swnio’n hurt nes i ti gofio mai amsugnwr pyliau ydyw yn hytrach na chelc set waith yn ceisio dal data poeth. Mae dyfais 375 GB o flaen yr un ddisg yn 1.9%, sy’n syml yn fwy o le nag y byddi di’n ei ddefnyddio.
Sy’n rhoi pen rhad yr ystod yn y ffrâm. Dyma’r modiwl bach i ddefnyddwyr yn erbyn y rhan canolfan ddata, oherwydd nid yw’r bwlch lle mae pobl yn ei ddisgwyl:
| Optane Memory M10 32 GB | Optane DC P4800X 375 GB | |
|---|---|---|
| Darllen ar hap, 4K | 240,000 IOPS | 550,000 IOPS |
| Ysgrifennu ar hap, 4K | 65,000 IOPS | tebyg i ddarllen |
| Darllen dilyniannol | 1,200 MB/s | 2,400 MB/s |
| Ysgrifennu dilyniannol | 290 MB/s | 2,000 MB/s |
| Oedi nodweddiadol | — | dan 10 µs |
| Gwydnwch | 365 TBW | 12.3 PBW: 30 DWPD |
| Rhyngwyneb | PCIe 3.0 x2, M.2 2280 | PCIe 3.0 x4, U.2 neu AIC |
Edrych ar y rhes IOPS ysgrifennu yn gyntaf. Mae’r M10 fach yn gwneud 65,000 ysgrifiad ar hap yr eiliad; mae’r ddisg y tu ôl iddi’n gwneud 80. Mae hyd yn oed yr Optane rataf tua 650 gwaith y ddisg y mae’n ei chelcio, felly ar echel perfformiad mae’r ddadl drosodd cyn iddi ddechrau. Does gan IOPS ychwanegol y rhan DC unman i fynd pan mae un ddisg 7.2k i lawr yr afon.
Y rhes sy’n penderfynu’r pryniant yw gwydnwch, lle mae’r bwlch yn 34×. Wedi’i droi’n gyllideb ddyddiol dros oes o bum mlynedd:
| Dyfais | Ysgrifiadau cynaliadwy y dydd, dros bum mlynedd |
|---|---|
| M10 32 GB: 365 TBW | tua 200 GB/dydd |
| P4800X 375 GB: 12.3 PBW | tua 6.7 TB/dydd |
Dan 200 GB o ysgrifiadau y dydd ac mae M10 32 GB yn para oes yr adeiladwaith. Ar ddwbl hynny rwyt ti’n cael dwy flynedd a hanner. Yn wirioneddol drwm ar ysgrifennu ac mae’r rhan DC yn ennill ei phris: nid am yr IOPS, na elli di eu defnyddio, ond am y deg ar hugain gwaith neu fwy o ysgrifennu y mae’n ei oddef.
Felly mesura yn hytrach na dyfalu. Mae nvme smart-log ar ddyfais gelc sy’n bodoli eisoes yn rhoi data_units_written i ti; sampla’r rhif wythnos ar wahân, rhanna, a chymhara â TBW graddedig beth bynnag rwyt ti’n ei ystyried. Mae bcache yn cadw ei gyfansymiau ei hun dan /sys/block/bcacheN/bcache/stats_total/ os byddai’n well gen ti ei ddarllen yno.
Dau gafeat ar yr M10. Mae ei ffigurau ar hap yn cael eu dyfynnu dros rychwant 8 GB yn hytrach na’r ddyfais lawn, felly ar gelc rwyt ti’n bwriadu ei redeg yn eithaf llawn, ystyria nhw’n ben optimistaidd. Ac mae’n rhan i ddefnyddwyr heb unrhyw honiad PLP menter. Mae cyfrwng Optane yn cael ei ysgrifennu yn ei le heb glustog DRAM yn y llwybr ysgrifennu, a dyna pam mae’r modiwlau hyn yn ymddwyn yn llawer gwell ar golli pŵer yn sydyn nag y byddai NAND defnyddwyr, ond nid manyleb yw ‘ymddwyn yn dda yn ymarferol’. Os wyt ti eisiau’r warant mewn ysgrifen, pryna ran o’r gyfres DC.
Lled Band Yw’r Llawr, Nid Capasiti: Anwybydda’r Modiwlau 16 GB
Mae ail gyfyngiad, yn annibynnol ar bopeth uchod, ac mae’n diarddel y rhan rataf yn yr ystod.
Rhaid i’r celc fod yn gyflymach na’r ddisg yn ddilyniannol, neu sbardun ydyw. Nid yw’r M10 16 GB, a dyna’r modiwl y byddi di’n cael dy demtio fwyaf ganddo am ei fod bron am ddim:
| Ysgrifennu dilyniannol | |
|---|---|
| Optane Memory M10 16 GB | 150 MB/s |
| Optane Memory M10 32 GB | 290 MB/s |
| Optane DC P4800X 375 GB | 2,000 MB/s |
| HDD menter 7.2k | 150–250 MB/s |
Darllen y rhesi cyntaf ac olaf gyda’i gilydd. Mae modiwl 16 GB yn ysgrifennu’n ddilyniannol ar tua’r un cyflymder â’r ddisg droelli y mae i fod i’w chyflymu, ac yn arafach nag un dda. Mae’n parhau’n aruthrol gyflymach ar gyfer gwaith ar hap, 35,000 IOPS ysgrifennu ar hap yn erbyn 80 y ddisg, ond ar ffrwd ddilyniannol mae ar ei orau’n gyfartal ac ar ei waethaf yn nenfwd islaw’r hyn yr oedd y ddisg noeth yn ei reoli heb help.
Ac mae’r dyluniad hwn yn gwarantu dy fod yn taro’r nenfwd hwnnw, oherwydd mae diffodd y ffordd osgoi ddilyniannol yn anfon popeth drwy’r celc, gan wneud lled band ysgrifennu dilyniannol y celc ei hun yn nenfwd caled i’r OSD gyfan. Adfer yw lle mae’n brathu galetaf: mae ôl-lenwi OSD 20 TB bron mor ddilyniannol ag y mae’r llwyth gwaith hwn yn mynd, ac mae ei gapio ar 150 MB/s yn gwneud ailadeiladu sydd eisoes yn araf yn arafach.
Felly mae gan linell yr M10 lawr ar 32 GB, a llawr lled band ydyw yn hytrach nag un capasiti. Dywedodd y syms capasiti fod 32 GB yn ddigon; mae’r syms lled band yn diystyru 16 GB waeth pa mor ychydig yr oedd angen i ti ei storio. Rhaid i’r ddau brawf basio, ac mae’r rhan rad yn methu’r un nad yw pobl yn ei wirio.
Beth bynnag rwyt ti’n ei ystyried, rho ei ffigur ysgrifennu dilyniannol wrth ymyl 250 MB/s cyn i ti ei brynu.
Prynu Cynnyrch Nad Oes Neb yn ei Wneud Bellach
Mae Optane wedi dod i ben. Dirwynodd Intel y busnes i ben yn 2022, gan ddileu $559 miliwn o stoc a rhoi’r gorau i ddatblygu. Does dim cynhyrchu newydd a dim ailstocio; dim ond mynd i lawr o hyn ymlaen y mae’r cyflenwad cyfan.
Sy’n codi cwestiwn amlwg, oherwydd mae swm syndod ohono ar werth. Mae deall o ble mae’n dod yn dweud wrthyt beth rwyt ti’n ei brynu.
Stoc darnau sbâr gwasanaeth OEM sy’n cael ei ddiddymu ydyw. Roedd y tri gwneuthurwr gweinyddion mawr yn stocio Optane fel darnau sbâr i gynnal y platfformau y gwnaethant ei werthu ynddynt. Mae’r platfformau hynny wedi cyrraedd diwedd oes ac wedi disgyn oddi ar gymorth, felly trodd y darnau sbâr y tu ôl iddynt yn stoc marw dros nos: warysau o rannau ar gyfer peiriannau nad oes neb dan rwymedigaeth gytundebol i’w trwsio mwyach. Y stoc hwnnw yw’r hyn sy’n llifo i AliExpress a’r adnewyddwyr.
Dau ganlyniad, ac mae’r ddau’n newyddion da.
Mae llawer ohono heb ei ddefnyddio yn hytrach na’i dynnu o beiriant. Eisteddodd darnau sbâr gwasanaeth ar silff yn aros am fethiant na ddaeth erioed, felly mae’r ffigur traul wrth gyrraedd yn aml i bob pwrpas yn sero: nid ‘ychydig flynyddoedd o ddyletswydd ysgafn’ ond heb ei ysgrifennu erioed. Gwiria yn hytrach nag ymddiried: mae nvme smart-log yn rhoi percentage_used a data_units_written i ti, ac ar stoc sbâr dilys dylai’r rheini fod yn syfrdanol o isel. Mae unrhyw beth sy’n dangos traul go iawn yn ddyfais wedi’i thynnu sy’n cael ei gwerthu fel rhywbeth arall, er hyd yn oed wedyn mae’r lle gwydnwch yn golygu y gall Optane ail-law fod â mwy o fywyd ar ôl na disg NAND newydd sbon o’r un capasiti.
Mae’n esbonio pa gapasitïau y byddi di’n dod o hyd iddynt. Cafodd darnau sbâr OEM eu stocio ar gyfer gweinyddion, sy’n golygu rhannau canolfan ddata. Dyma’r ystod lawn, a sylwa ble mae’r blaenllong yn dechrau:
| Rhan | Capasitïau | Ffurf |
|---|---|---|
| Optane Memory M10 | 16, 32, 64 GB | M.2 2280, defnyddwyr |
| Optane SSD 800P | 58, 118 GB | M.2 2280, defnyddwyr |
| Optane SSD P1600X | 58, 118 GB | M.2 2280, rhan cychwyn a chelc canolfan ddata |
| Optane SSD DC P4801X | 100, 200, 375 GB | M.2 110 mm neu U.2 |
| Optane SSD DC P4800X | 375 GB ar ei lleiaf, 750 GB, 1.5 TB | U.2 neu gerdyn ychwanegu |
| Optane SSD P5800X | 400 GB, 800 GB, 1.6 TB | U.2 neu gerdyn ychwanegu |
Mewn theori y rhannau M.2 bach yw’r ateb cain: mae’r M10, yr 800P, y P1600X a’r P4801X 100 GB i gyd yn gwneud y gwaith, ac yn rhad. Yn ymarferol nid yw’r farchnad yn eu cynnig, oherwydd wnaeth neb gadw modiwlau cyflymu bwrdd gwaith mewn warws fel darnau sbâr gweinyddion. Yr hyn sydd wedi’i restru yw 375 GB ac i fyny, caledwedd o ddosbarth P4800X.
Felly cynllunia ar brynu mwy o gapasiti nag sydd ei angen ar y rôl, oherwydd dyna sydd ar werth. Nid yw’n ganlyniad gwael. Mae gor-brynu dyfais gelc yn dy roi ar 30 DWPD ac oedi is na 10 µs pan oedd dy lwyth gwaith yn gofyn am ffracsiwn o’r naill neu’r llall, ac ar gyfer disg 20 TB rwyt ti’n bwriadu ei chadw am flynyddoedd, dyna’r ffordd iawn i gyfeiliorni. Mae’n golygu bod y pris mynediad yn uwch nag y mae’r syms yn ei awgrymu, a bod y maint uchod yn troi’n wiriad yn erbyn tan-brynu yn hytrach nag yn rhestr siopa.
Tri pheth i gynllunio ar eu cyfer, gan mai diddymiad yw hwn yn hytrach na chadwyn gyflenwi:
Pryna dy ddarnau sbâr gyda’r adeiladwaith. Mae cronfa feidraidd yn cael ei chlirio. Pan fydd dyfais yn methu ymhen tair blynedd fyddi di ddim yn archebu un newydd, byddi di’n hela un, felly costia’r darnau sbâr nawr, tra bo’r stoc yno.
Disgwyl firmware OEM a gwiria’r namespace. Mae rhannau o raglen darnau sbâr gwerthwr yn aml yn cario firmware y gwerthwr hwnnw a gallant gyrraedd wedi’u fformatio i faint LBA neu gyda gosodiadau metadata sy’n gweddu i beth bynnag y cawsant eu stocio ar ei gyfer. Cadarnha gyda nvme id-ns cyn i ti adeiladu arni, a bydd yn barod i redeg nvme format i fformat plaen 4096 beit.
Does dim gwarant, dim cymorth, a dim mwy o ddiweddariadau firmware. Mae hysbysiad cymorth Intel ei hun yn trafod beth mae’r dirwyn i ben yn ei olygu i ddyfeisiau sydd eisoes mewn gwasanaeth, sef y sefyllfa y mae unrhyw beth rwyt ti’n ei brynu ynddi eisoes. Dy gyfrifoldeb di yw gwirio mai’r rhan a gyrhaeddodd yw’r rhan yn yr hysbyseb.
Nid Yw bcache yn Disodli Symud y DB/WAL
Mae’n werth ei ddweud yn blaen, oherwydd dyma’r lle amlwg i geisio arbed arian ac nid yw’n gweithio: mae angen block.db ar NVMe arnat ti o hyd. Y ddwy haen, nid y naill na’r llall.
Celc ysgrifennu yw’r Optane. Dyna’r cyfan ydyw. Mae’n byrhau’r llwybr cydnabod ar gyfer ysgrifiadau sy’n anelu at y ddisg, a dim byd arall.
Nid ysgrifennu’n unig y mae RocksDB. Mae Ceph yn darllen ei fetadata’n gyson, i ganfod gwrthrychau, i wasanaethu peering, i ateb scrubs, ac nid yw celc ysgrifennu’n cynnig dim oll i ddarlleniad unwaith y bydd y data wedi’i fflysio ohono. Nid yw’r celc ychwaith yn cael gwared ar y traffig metadata; mae’n ei ohirio a’i swpio, felly mae pob diweddariad RocksDB yn dal i gyrraedd y ddisg yn y pen draw, yn cystadlu am yr un chwiliadau. Ac mae cywasgu’n troi corddi cymedrol yn llawer mwy o draffig dyfais na’r ysgrifiadau a’i hachosodd.
Felly mae’r ddau newid yn trwsio problemau gwahanol ac nid yw’r naill yn lle’r llall:
| Beth mae’n ei drwsio | Beth nad yw’n ei drwsio | |
|---|---|---|
block.db ar NVMe | mae metadata’n byw ar fflach: darlleniadau ac ysgrifiadau, oddi ar y ddisg yn barhaol | dim ar gyfer pwl o ysgrifiadau gwesteion |
| Optane drwy bcache | oedi cydnabod pyliau ar gyfer ysgrifiadau data | dim ar gyfer darlleniadau metadata; dim ond gohirio ysgrifiadau metadata |
Hepgor y symud DB a chadw’r Optane, ac mae RocksDB yn ôl ar y plât gyda’i ddarlleniadau’n cael eu gwasanaethu ar 80 IOPS. Hepgor yr Optane a chadw’r symud DB, ac mae’r cyflwr cyson yn weddus ond mae pyliau’n dal i arafu i stop ar gyflymder disg.
Y Rheol udev, Llinell wrth Linell
Mae gosodiadau tiwnio bcache yn byw yn sysfs, ac mae sysfs yn eu hailosod bob tro mae’r ddyfais yn cael ei chofrestru, sef bob cychwyn. Felly maen nhw’n perthyn mewn rheol udev yn hytrach nag mewn sgript y mae’n rhaid i rywun gofio’i rhedeg:
# /etc/udev/rules.d/99-bcache.rules
ACTION=="add|change", SUBSYSTEM=="block", KERNEL=="bcache*", \
ATTR{bcache/cache_mode}="writeback", \
ATTR{bcache/sequential_cutoff}="0", \
ATTR{bcache/congested_read_threshold_us}="0", \
ATTR{bcache/writeback_rate}="81920", \
ATTR{bcache/writeback_rate_minimum}="20480", \
ATTR{bcache/writeback_percent}="40"
Mae KERNEL=="bcache*" yn cyfateb i bob dyfais bcache ar y nod, felly mae un rheol yn cwmpasu’r holl barau. Mae ACTION=="add|change" yn golygu ei bod yn ail-gymhwyso pryd bynnag y mae dyfais yn ymddangos neu’n cael ei hailgysylltu, nid wrth gychwyn yn unig.
Beth mae pob gosodiad yn ei wneud, a pham:
cache_mode=writeback: yr holl bwynt. Yn y writethrough diofyn, nid yw ysgrifiad yn cael ei gydnabod nes iddo gyrraedd yr HDD, felly nid yw’r celc yn gwneud dim ar gyfer oedi ysgrifennu. Yn writeback, mae’r Optane yn cydnabod ac mae’r ddisg yn dal i fyny wedyn.
sequential_cutoff=0: yn ddiofyn mae bcache yn canfod I/O dilyniannol ac yn ei gyfeirio’n syth heibio’r celc unwaith y mae’n pasio 4 MB, ar y ddamcaniaeth bod y ddisg gefn yn trin dilyniannol yn iawn. Mae sero’n analluogi’r ffordd osgoi honno fel bod popeth yn cael ei gelcio. Ar nod hypergydgyfeiriol dyna’r penderfyniad iawn: mae’r hyn sy’n edrych yn ddilyniannol i un ddyfais bcache yn peidio â bod yn ddilyniannol wrth y plât unwaith y mae sawl OSD yn gweu drwy’i gilydd, ac rwyt ti eisiau i bob ysgrifiad gael ei gydnabod ar gyflymder Optane beth bynnag. Mae’n cario un rhwymedigaeth, serch hynny: heb ffordd osgoi, lled band ysgrifennu dilyniannol y ddyfais gelc ei hun yw’r nenfwd i’r OSD gyfan, sef pam mae’r modiwlau 16 GB wedi’u diarddel.
congested_read_threshold_us=0: mae bcache yn gwylio oedi ei ddyfais gelc ei hun ac yn dechrau osgoi’r celc pan mae’n barnu ei bod yn orlawn, gyda 2000 µs yn ddiofyn ar gyfer darlleniadau. Nid yw Optane yn mynd yn orlawn fel y mae NAND, felly dyma bcache yn ail-ddyfalu dyfais y mae wedi’i chamfesur. Mae sero’n diffodd y tracio.
writeback_rate=81920 a writeback_rate_minimum=20480: y gyfradd fflysio yn y cefndir, mewn sectorau yr eiliad, felly targed o tua 40 MB/s gyda llawr o 10 MB/s. Mae rheolydd PD yn symud y gyfradd go iawn rhyngddynt. Mae’r targed wedi’i osod yn agos at yr hyn y gall disg ei lyncu’n ddilyniannol, ac mae’r llawr yn atal y rheolydd rhag sbarduno’r fflysio tuag at sero a gadael i ddata budr bentyrru’n ddiderfyn. Mannau cychwyn yw’r ddau yn hytrach na chysonion: mae sut i’w newid isod.
writeback_percent=40: faint o’r celc y bydd bcache yn gadael iddo eistedd yn fudr cyn gwthio’n ôl yn galed, yn erbyn rhagosodiad o 10. Mae deugain yn rhoi clustog pyliau llawer dyfnach i ti. Mae hefyd yn golygu bod hyd at 40% o’r Optane honno’n dal yr unig gopi o ddata yn y system, sef y cyfaddawd, a dyna’r rheswm mae’r gosodiad un-i-bob-disg yn bwysig. Dyma’r gwerth mwyaf gwerth ei ailystyried unwaith y byddi di wedi gwylio llwyth gwaith go iawn.
Newid y Gwerthoedd Llenwi a Gwagio Wedyn
Y gwerthoedd sy’n rhedeg yma yw’r 40% a’r ddwy gyfradd uchod, nid cysonion cyffredinol. Nhw yw’r peth cyntaf y byddi di eisiau ei symud unwaith y byddi di wedi gwylio llwyth gwaith go iawn, felly mae’n werth gwybod bod dau le i’w newid, yn gwneud dau beth gwahanol.
Mae sysfs yn ei newid nawr. Mae’r rheol udev yn ei newid y cychwyn nesaf. Rwyt ti eisiau’r ddau, a hynny yn y drefn honno.
Newidia fe’n fyw, ar un ddyfais:
echo 30 > /sys/block/bcache0/bcache/writeback_percent
Neu ar draws pob pâr ar y nod:
for d in /sys/block/bcache*/bcache; do
echo 30 > "$d/writeback_percent"
done
Mae’r gyfradd fflysio’n gweithio yr un ffordd. Mae’r ddau werth mewn sectorau yr eiliad, felly mae’r rhain yn haneru’r targed a’r llawr:
for d in /sys/block/bcache*/bcache; do
echo 40960 > "$d/writeback_rate"
echo 10240 > "$d/writeback_rate_minimum"
done
Mae hynny’n dod i rym ar unwaith ac yn goroesi’n union nes i’r ddyfais gael ei hailgofrestru. Mae dogfennaeth y cnewyllyn yn bendant bod y gosodiadau hyn yn ‘do not persist across reboot’, sef yr holl reswm mae’r rheol udev yn bodoli.
Unwaith y byddi di’n hapus â gwerth, golyga’r rheol a’i hail-lwytho heb ailgychwyn:
udevadm control --reload
udevadm trigger --subsystem-match=block --action=change
Dyma lle mae ACTION=="add|change" yn ennill ei le. Mae’r trigger yn tanio digwyddiad change at ddyfeisiau sydd eisoes yn bresennol, felly mae’r rheol yn ail-gymhwyso i nod sy’n rhedeg yn lle aros am y cychwyn nesaf. Pe bai’r rheol wedi cyfateb i add yn unig, ni fyddai’r gorchymyn hwnnw’n gwneud dim.
Yna darllena’r gwerthoedd yn ôl, oherwydd mae teipo mewn rheol udev yn methu’n dawel:
grep . /sys/block/bcache*/bcache/writeback_percent
Gwybod Pa Ffordd i’w Symud
Paid â thiwnio hyn o egwyddorion cyntaf: mae bcache yn dangos yr hyn sydd ei angen arnat ti dan yr un cyfeiriadur sysfs.
dirty_data yw’r un i’w wylio: faint o ddata sy’n eistedd yn y celc ar hyn o bryd a nunlle arall. Mae’r ddogfennaeth yn ei ddisgrifio fel ‘continuously updated unlike the cache set’s version, but may be slightly off’, sy’n iawn i’r diben hwn. Sampla fe drwy ddiwrnod gwaith arferol a ffenestr wrth gefn.
Mae cache_hits, cache_misses a cache_hit_ratio yn dweud wrthyt a yw’r celc yn cael ei ddefnyddio, gyda’r cafeat bod ‘a partial hit is counted as a miss’. Mae bypassed yn cyfrif IO a aeth heibio’r celc yn llwyr: gyda sequential_cutoff=0 dylai hwnnw fod bron yn wastad, felly mae rhif sy’n tyfu’n golygu bod rhywbeth yn dal i fynd o’i gwmpas.
Mae pob un o’r rheini’n dod fel cyfansymiau rhedegol ynghyd â fersiynau sy’n dadfeilio dros y diwrnod, yr awr a’r pum munud diwethaf, sy’n gwneud y rhai ffenestr fer yn llawer mwy defnyddiol ar gyfer sylwi ar broblem na’r ffigur oes.
O’r fan honno:
| Symptom | Bwlyn | Cyfeiriad |
|---|---|---|
| Pyliau’n arafu i stop: ysgrifiadau’n taro oedi’r ddisg ganol pwl | writeback_percent | i fyny, am glustog dyfnach |
| Mwy o ddata’n agored ar y celc nag rwyt ti’n gyfforddus ag ef | writeback_percent | i lawr |
dirty_data wedi’i hoelio ar y nenfwd yn ystod gwaith cyffredin | writeback_rate | i fyny: nid y glustog yw’r broblem, y draenio ydyw |
| Fflysio cefndir yn cystadlu â darlleniadau gwesteion ar y ddisg | writeback_rate | i lawr |
dirty_data yn cripian i fyny dros ddyddiau yn hytrach nag oriau | writeback_rate_minimum | i fyny, fel na all y rheolydd sbarduno i gropian |
Os yw dirty_data yn aros wedi’i hoelio ar y nenfwd beth bynnag a wnei di, nid yw’r naill fwlyn na’r llall yn ateb: mae’r clwstwr yn ysgrifennu’n gyflymach nag y gall y disgiau ei lyncu, a’r atebion gonest yw mwy o ddisgiau neu lai o ysgrifiadau.
Un ffeil i’w gadael llonydd: writeback_running. Mae ei diffodd yn atal writeback yn llwyr, ac mae’r ddogfennaeth yn dweud ei bod ‘only meant for benchmarking’. Ar OSD cynhyrchu mae’n golygu bod data budr yn cronni nes bod y celc yn llawn a byth yn draenio.
Beth Rwyt Ti’n ei Ildio
Mae’r rhan fwyaf o ysgrifau am y dyluniad hwn yn stopio ar y newyddion da. Dyma’r rhannau a fydd yn dy frifo go iawn, ac mae pob un ohonynt yn werth ei wybod cyn i ti adeiladu yn hytrach nag wedyn.
Mae colli’r naill ddyfais fflach neu’r llall yn dinistrio’r OSD. Nid ei hatal: ei dinistrio. Mae’r ddwy ddyfais yn dal cyflwr nad yw’n bodoli yn unman arall: mae block.db yn dal y RocksDB sy’n gwneud synnwyr o block, ac mae celc writeback yn dal pob ysgrifiad sydd heb ei fflysio eto. Nid yw dogfennaeth y cnewyllyn yn petruso am yr ail un: ‘In writeback mode you’ll lose data if something happens to your SSD.’ Y naill ffordd neu’r llall nid yw’r OSD yn dod yn ôl; mae’n cael ei hail-greu a’i hôl-lenwi.
Felly yr un dosbarth o risg yw’r rhain, ac mae’n werth bod yn glir am hynny yn hytrach na thrin y celc fel yr un brawychus. Nid yw’r Optane yn ddyfais fwy peryglus na’r NVMe. Mae dau beth yn eu gwahanu, ac nid difrifoldeb fesul OSD yw’r naill na’r llall.
Y cyntaf yw radiws y chwyth, a dyna’r holl gyfiawnhad dros y paru. Mae un Optane i bob disg yn golygu bod methiant celc yn costio un OSD: colli un ddisg, sef yn union y digwyddiad y mae pool wedi’i ddyblygu’n bodoli i’w lyncu, ac y mae Ceph yn ei drin heb i neb gael ei alw. Mae’r ddyfais DB/WAL wedi’i rhannu, felly mae ei cholli’n costio pob OSD y tu ôl iddi ar unwaith, sef methiant cydberthynol nad yw dyblygu’n dy amddiffyn rhagddo. Yr un methiant, un ddyfais yn erbyn pump.
Yr ail yw sut mae’r methiant yn ymddangos, ac mae hwn yn fagl weithredol. Pan fydd celc yn marw yn writeback mae’r ddyfais gefn yn stopio ac yn dychwelyd gwallau I/O, sy’n iawn: mae Ceph yn marcio’r OSD i lawr ac yn bwrw ymlaen. Yr achos gwael yw ailgychwyn lle mae’r ddyfais gefn yn dod i fyny heb ei chelc ynghlwm. Yna mae’n edrych fel system ffeiliau y gellir ei mowntio sydd ddim ond yn colli pob ysgrifiad budr, sy’n llygredig yn hytrach na hen yn unig. Mae block.db coll yn methu’n swnllyd ac mae’r OSD yn gwrthod cychwyn; gall celc coll fethu’n dawel a gadael i ti fowntio’r llongddrylliad. Trin ddyfais gefn bcache fel un na ellir ei mowntio heb ei chelc, a phaid byth â gadael i ddim byd ei mowntio’n gymwynasgar ar dy ran.
Nid yw bcache yn gwarantu writeback sy’n ddiogel rhag colli pŵer ar ei ben ei hun. Dyma lle mae celc ysgrifennu’r HDD yn peidio â bod yn optimeiddiad ac yn troi’n ofyniad: diffodda fe, a rheda gnewyllyn digon diweddar i gael y trin FUA, fel bod ysgrifiadau cydamserol yn cael eu parchu drwy’r pentwr yn hytrach na’u cydnabod yn gynnar rywle yn y canol. Mae dyfais gelc heb ddiogelwch rhag colli pŵer yn gwaethygu’r broblem, oherwydd gall golli data y mae eisoes wedi adrodd ei fod yn ddiogel.
Sy’n gwneud cymhareb y DB/WAL yn rhif sy’n bwysig. Mae Ceph yn caniatáu 4–5 OSD HDD i bob SSD SATA a dim mwy na 15 i bob NVMe, ac yn rhybuddio am ‘balancing the risk of reducing costs by placing too many responsibilities into too few failure domains.’ Yn wahanol i’r haen gelc nid oes paru ar gael i gyfyngu ar hwn: rhannu yw holl bwynt y ddyfais.
Ar ddisgiau 20 TB dyna’r sgwrs gyfan, oherwydd mae’r ailadeiladu’n enfawr. Mae un OSD wedi methu’n 20 TB i’w ôl-lenwi; ar y 150–250 MB/s y mae disg yn ei gynnal, wedi’i sbarduno fel nad yw adfer yn llwgu’r gwesteion, rwyt ti’n edrych ar ymhell dros ddiwrnod o weithredu diraddiedig am un ddisg. Colli dyfais DB a rennir sy’n cario pump ohonynt ac mae 100 TB i’w symud.
Felly nid penderfyniad cost yw’r gymhareb mewn gwirionedd. Penderfyniad ydyw am ba mor hir rwyt ti’n barod i redeg yn ddiraddiedig, a faint o draffig ailadeiladu y gall y clwstwr ei gario tra’n dal i wasanaethu VMs.
Mae’r dyluniad yn dibynnu ar ddyfais nad oes neb yn ei gwneud mwyach. Dyma’r un heb ateb technegol. Optane yw’r rhan iawn ar gyfer safle’r celc a does dim byd cyfredol yn ei disodli: ni all NAND gymryd y cyfaint ysgrifennu, ac nid yw’r cof CXL y trodd Intel tuag ato yn amnewidiad uniongyrchol ar gyfer celc bloc. Felly masnachol yn hytrach na chlyfar yw’r lliniaru, mae wedi’i drafod uchod, a’r crynodeb gonest yw bod gan y bensaernïaeth hon ddyddiad gorffen rywle yn y dyfodol.
Nid yw dim o hyn yn gwneud clwstwr HDD yn glwstwr fflach-yn-unig. Bydd traffig ysgrifennu ar hap parhaus sy’n rhedeg yn gyflymach na’r gyfradd fflysio’n llenwi’r celc, ac unwaith y mae’n llawn rwyt ti’n ysgrifennu ar gyflymder disg gyda haenau ychwanegol yn y llwybr. Mae’r dyluniad hwn yn llyncu pyliau ac yn cael gwared ar orbenion metadata. Nid yw’n gweithgynhyrchu IOPS.
Beth Mae’n ei Olygu
Tair haen, pob un yn gwneud yr un peth y mae orau amdano, ac mae angen y tair:
- Optane yn llyncu pyliau ysgrifennu ar hap, un ddyfais i bob disg. Rhaid iddi fod yn Optane, oherwydd mae pob ysgrifiad yn ei chroesi ac mae gwydnwch NAND yn anghywir i’r safle hwnnw
- NVMe menter gyflym yn dal RocksDB a’r WAL, wedi’i rhannu ar draws llond llaw o OSDs ar gymhareb a ddewisaist ti’n fwriadol yn hytrach na’i derbyn
- HDDs yn darparu capasiti swmp, yn rhydd o fetadata a phyliau ill dau
Nid esgus bod disgiau troelli’n fflach yw’r pwynt. Y pwynt yw peidio ag anfon y gwaith y maen nhw waethaf amdano atyn nhw, fel bod y capasiti y talaist ti amdano mewn gwirionedd yn ddefnyddiadwy.
Dyna’r holl dric, a does dim byd clyfar amdano. Rho bob swydd ar y ddyfais sy’n dda amdani, a phaid â thalu ddwywaith am y rhai nad ydynt.
Ar gyfer clwstwr Proxmox hypergydgyfeiriol sydd angen capasiti aml-derabeit heb brisiau fflach-yn-unig, mae hwnnw’n ddyluniad y gellir ei amddiffyn. Wedi’i adeiladu’n iawn mae’n teimlo’n llawer cyflymach na HDDs noeth, mae’n methu mewn ffyrdd y mae Ceph wedi’i adeiladu i’w trin, ac mae’r arian yn mynd lle mae’n newid y canlyniad.
Dau beth cysylltiedig sy’n werth eu darllen ochr yn ochr â hwn: mae’r gwaith maint sector yn 4Kn, 512e a 512n yn bwysig iawn i’r hyn y mae’r disgiau’n ei wneud â’r ysgrifiadau sy’n eu cyrraedd, ac os wyt ti’n adeiladu hyn ar nodau â disgiau wedi’u cysylltu’n uniongyrchol, mae y rhwyll heb switsh yn trafod ochr rwydwaith clwstwr Ceph bach.
Cyfeiriadau
- Ceph — Hardware Recommendations — y rhybudd IOPS fesul TB ar HDDs mawr, ‘HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD’, y cymarebau 4–5 HDD i bob SSD SATA a ≤15 i bob NVMe, diogelwch rhag colli pŵer ar SSDs menter, analluogi celc ysgrifennu’r HDD, a pheidio ag angen HBA RoC
- Ceph — BlueStore Configuration Reference —
block.dbar 1–2% oblockar gyfer RBD ac o leiaf 4% ar gyfer RGW, yr argymhelliad cyffredinol o 2.5%, gorlif yn ôl ar y brif ddyfais, meintiau lefel RocksDB y tu ôl i’r camau 3/30/300 GB, a’r WAL yn cael ei gydleoli’n ymhlyg gyda’r DB - Linux kernel — bcache admin guide — y moddau celc,
sequential_cutoffa’i ragosodiad 4 MB, rhagosodiad gorlenwi darllen 2000 µs,writeback_ratemewn sectorau yr eiliad, rheolydd PDwriteback_percent, y cownteridirty_data/cache_hit_ratio/bypasseda’u fersiynau diwrnod, awr a phum munud sy’n dadfeilio, y rhybudd bodwriteback_runningyn ‘only meant for benchmarking’, y datganiad bod y gosodiadau hyn yn ‘do not persist across reboot’, ac ‘in writeback mode you’ll lose data if something happens to your SSD’ - Intel — Optane Memory M10 32 GB specifications — 365 TBW, 240,000 IOPS darllen ar hap a 65,000 IOPS ysgrifennu ar hap ar 4K dros rychwant 8 GB, 1200/290 MB/s dilyniannol, PCIe 3.0 x2
- Intel — Optane Memory M10 16 GB specifications — yr ysgrifennu dilyniannol 150 MB/s a’r 35,000 IOPS ysgrifennu ar hap sy’n rhoi’r rhan hon islaw disg troelli ar drwybwn dilyniannol
- PC Perspective — Optane SSD DC P4800X performance — 550K IOPS darllen 4K ar hap y rhan 375 GB, 2400/2000 MB/s dilyniannol, oedi nodweddiadol is na 10 µs, a 12.3 PBW ar 30 DWPD
- ServeTheHome — Optane DC P4801X 100GB M.2 review — y rhannau M.2 canolfan ddata capasiti bach, ar gyfer ysgol y capasitïau
- StorageReview — Intel Optane SSD P5800X — y sgôr 100 DWPD, 30 DWPD y P4800X, a’r gymhariaeth â disgiau menter NAND sy’n cyrraedd uchafswm o tua 10 DWPD ar gyfer rhannau dwys-ysgrifennu a 3 neu lai ar gyfer defnydd cymysg
- Bcache — ArchWiki — y ffyrdd ymarferol o fethu, gan gynnwys dyfais gefn yn dod i fyny heb ei chelc ar ôl ailgychwyn, a’r gofynion diogelwch pŵer o gwmpas celc ysgrifennu’r HDD a FUA
- Intel — Optane business update — y dirwyn i ben, a beth mae’n ei olygu i warant a chymorth ar ddyfeisiau sydd eisoes mewn gwasanaeth, sef y sefyllfa y mae unrhyw beth rwyt ti’n ei brynu ar y farchnad ailgylchu ynddi eisoes