Datgeliad o’r dechrau: rwy’n gweithio i croit, a ysgrifennodd hwn. Mae popeth isod wedi’i ddarllen o god ffynhonnell a dogfennaeth gyhoeddedig y ddau brosiect, wedi’u cysylltu ar waelod y dudalen, a lle mae dogfennau croit ei hun yn anghytuno â chod croit ei hun rwy’n dweud hynny.

OSD Ceph, wedi’i Ailysgrifennu o’r Dechrau

Mae croit wedi cyhoeddi ceph-rust, OSD Ceph wedi’i ysgrifennu o ddim yn Rust, gyda’i storfa wrthrychau ei hun o’r enw FlashStore yn lle BlueStore1. Aeth i ragolwg cyhoeddus ar 9 Tachwedd 2026, gydag argaeledd cyffredinol wedi’i gynllunio ar gyfer chwarter cyntaf 20271. Nid fforc mohono. Rheol y prosiect ei hun yw bod C++ Ceph yn cael ei ddarllen fel cyfeirnod, ei ysgrifennu fel manyleb yng ngeiriau croit ei hun, ac yna ei weithredu o’r fanyleb2.

Yr honiad sy’n bwysig i unrhyw un sy’n rhedeg Ceph yw’r un am amnewid uniongyrchol. Mae dy fonitorau, dy reolwyr, CLI ceph a dy gleientiaid yn aros fel y maen nhw. Mae OSD FlashStore yn ymuno â’r un pools a’r un grwpiau lleoli â’r OSDs clasurol sydd yno eisoes, ac rwyt ti’n newid un gyriant ar y tro1.

Beth sy’n cael ei gyfnewidceph-mon, ceph-mgr21.2.0 clasurolcleientiaidlibrados, librbd, krbdun pool, yr un grwpiau lleoliceph-osdBlueStoreRocksDB ar BlueFSC++, gan Cephcroit-flashstore-osdFlashStorecoeden B+ COW + WALRust, gan croit
Dim ond yr OSD sy’n newid. Mae monitorau, rheolwyr a chleientiaid yn aros yn Ceph clasurol, a gall un grŵp lleoli ddal copi ar bob math.

Felly mae’r cwestiwn i weithredwr yn un ymarferol. Os wyt ti’n cyfnewid OSD BlueStore am un FlashStore, beth sy’n wahanol oddi tano? Nid yn haniaethol, ac nid yn erbyn rhyw BlueStore o sgwrs gynhadledd flynyddoedd yn ôl. Yn erbyn y BlueStore rwyt ti’n ei redeg heddiw mewn gwirionedd os wyt ti ar Umbrella, Ceph 21.2.0, sef y rhyddhad y mae FlashStore yn cael ei adeiladu a’i brofi yn ei erbyn1.

Felly dyna’r gymhariaeth yma, a dim ond hynny. BlueStore Umbrella fel mae ei god ffynhonnell a’i ddogfennaeth ei hun yn ei ddisgrifio, yn erbyn FlashStore fel mae ei god ffynhonnell a’i gofnodion penderfyniad yn ei ddisgrifio.

Mae’n cyffwrdd ag unrhyw un sydd â chlystyrau Ceph ar NVMe, ac unrhyw un sydd wedi edrych ar faint o greiddiau mae OSD yn ei gostio iddynt. Nid yw’n cyffwrdd â chlystyrau HDD o gwbl, a daw’r rheswm am hynny isod.

Beth Sydd yn yr Ystorfa

Ciplun darllen yn unig o goeden ddatblygu breifat croit yw’r ystorfa. Dim traciwr problemau, dim ceisiadau tynnu; mae diweddariadau’n cyrraedd fel ymrwymiadau ciplun newydd1. Cam y rhagolwg yw hynny, ac mae yno ar gyfer adborth y gymuned tra bo croit yn rhedeg ei achosion prawf cynhyrchu yn fewnol cyn ei farcio’n ddiogel i’w ddefnyddio. Daw datblygu agored ar ôl y rhyddhad cynhyrchu cyntaf, fel y mae ar y rhan fwyaf o brosiectau cod agored a noddir gan gwmnïau. Mae’r un hwn wedi’i ddyddio 10 Tachwedd 2026 ac mae’n cario tua 700,000 o linellau Rust a thros 450 o gofnodion penderfyniad pensaernïaeth, yr ADRs, sef y dogfennau byr sy’n cofnodi pam y gwnaed pob dewis dylunio.

Yr ADRs yw’r rhan ddefnyddiol ar gyfer cymhariaeth fel hon. Maen nhw’n blaen, maen nhw’n cario mesuriadau, ac maen nhw’n cofnodi’r hyn a roddwyd ar brawf ac a daflwyd yn ogystal â’r hyn a arhosodd.

CydranBeth mae’n ei ddisodliRhagolwgGA (arfaethedig)
OSD FlashStoreceph-osd + BlueStoreTach 2026Ch1 2027
librustyradoslibradosTach 2026Ch1 2027
librustyrbdlibrbdTach 2026Ch1 2027
Cludiant RDMA (RoCEv2)dim byd yn UmbrellaTach 2026Ch1 2027
CephFS2, RGW RustMDS, RGWCh1 2027Ch2 2027
ceph-mon, ceph-mgrheb eu disodliamh.amh.

Mae’n werth gwybod y trwyddedau cyn i ti adeiladu dim arno. Mae’r daemon a’r offer yn LGPL-3.0-only, mae’r llyfrgelloedd cleient yn MPL-2.0, ac mae’r ddogfennaeth yn CC-BY-SA-4.03. Aeth y llyfrgelloedd cleient yn MPL fel y gall rhaglen Rust eu cysylltu’n statig heb y dyletswyddau ailgysylltu a ddaw gydag LGPL, sy’n ddewis rhesymedig ac wedi’i ysgrifennu i lawr felly3.

Mae rhagolwg yn golygu’r hyn mae’n ei ddweud. Mae README croit ei hun yn dweud ei fod ar gyfer profi a gwerthuso a ‘not yet recommended for production data’1. Fyddwn i ddim yn rhoi data cwsmeriaid arno eto chwaith, ac nid oes dim yng ngweddill y post hwn yn newid hynny.

Dwy Storfa, Ochr yn Ochr

Mae gan OSD ddau hanner. Mae’r hanner uchaf yn siarad protocol Ceph, yn berchen ar grwpiau lleoli, yn cyfoedio, yn adfer ac yn sgwrio. Mae’r hanner isaf, y storfa wrthrychau, yn troi ‘ysgrifenna’r beitiau hyn i’r gwrthrych hwn’ yn flociau ar yriant ac yn addo y byddant yn goroesi toriad pŵer.

BlueStore yw hanner isaf Umbrella. Mae ei ddogfennaeth yn dweud ei fod yn ‘reads and writes to the devices directly in a “raw” fashion’4, a’i fod yn defnyddio ‘raw block devices or partitions’5. Mae data gwrthrychau’n mynd yn syth i’r ddyfais floc. Mae popeth arall, metadata’r gwrthrychau, OMAP a’i gadw cyfrifon ei hun, yn mynd i gronfa ddata allwedd/gwerth RocksDB fewnosodedig, ac mae RocksDB yn eistedd ar BlueFS, system ffeiliau fach y mae BlueStore yn ei chario ar ei chyfer56.

Mae FlashStore yn gollwng hynny i gyd. Mae un goeden B+ copïo wrth ysgrifennu i bob shard storfa yn dal y cyfan: casgliadau, metadata gwrthrychau, priodoleddau estynedig, mapiau estynnau, OMAP, log y PG, cyfrifon cyfeiriadau a hyd yn oed didfap y dyrannwr ei hun7. Wrth ei hochr mae cylch log ysgrifennu ymlaen llaw (WAL) ar gyfer ail-wneud, a’r rhanbarth data. Does dim RocksDB, dim BlueFS, a dim ail gronfa ddata i’w thiwnio.

Dau bentwr o dan un OSDBlueStore UmbrellaFlashStoreceph-osd8 shard op × 2 edefynhaen wrthrychau BlueStoredyrannwr hybriddata gwrthrychaubloc crai, aioRocksDBonodes, omap, gohiriedigBlueFSblock neu block.dbhaen floc y cnewyllynfflysio cyn ymrwymoHDD, SSD neu NVMe, unrhyw raniadcroit-flashstore-osd1 edefyn wedi’i binio i bob craiddshard storfa i bob craidddyrannwr ei hun, dim cloeon a rennirdata gwrthrychauestynnau 4 KiB ffrescoeden B+ COWmeta, omap, log PGcylch WALlog ail-wneud / shardSPDK (vfio) neu io_uringdim fflysio ar y llwybr poethNVMe gyda PLP, 4 KiB, namespace cyfan
Mae BlueStore Umbrella yn hollti data a metadata ar y brig ac yn rhoi’r metadata drwy RocksDB a BlueFS. Mae FlashStore yn hollti fesul craidd yn lle hynny, a thu mewn i bob shard mae un goeden yn dal popeth nad yw’n ddata gwrthrych.

Y rhaniad mawr arall yw’r gyriant ei hun. Mae BlueStore yn mynd drwy haen floc y cnewyllyn i beth bynnag a roddi di iddo. Mae FlashStore yn siarad â NVMe naill ai gydag SPDK, gyrrwr gofod defnyddiwr sy’n cymryd y ddyfais oddi ar y cnewyllyn drwy vfio, neu drwy’r cnewyllyn gydag io_uring89. SPDK yw’r ôl-ben rhagosodedig. Haen io_uring yw’r un sy’n gweithio lle nad yw vfio’n gweithio, ac felly dyna’r un y glaniais i arni yn yr adeilad Proxmox.

Lle Mae’r Metadata’n Byw

Dechreua yma. Mae’r rhan fwyaf o’r gweddill yn dilyn ohono.

BlueStore UmbrellaFlashStore
Metadata gwrthrychauallweddi RocksDBcoeden B+ COW i bob shard
OMAPallweddi RocksDByr un goeden B+ yn ddiofyn; LSM neu RocksDB yn ddewisol wrth baratoi
Log y PGallweddi RocksDByr un goeden B+
Cyflwr y dyrannwrdyrannwr hybrid, rhestr rydd yn RocksDBdidfap i bob shard, y tu mewn i’r goeden
Dyfais metadatablock.db a block.wal dewisoldim, yr un NVMe
Symiau gwirio datacrc32c i bob 4 KiB yn ddiofyncrc32c i bob 4 KiB, yn y map estynnau
Nifer y storfeydd i bob OSDunun i bob craidd

Daw’r rhagosodiadau ar ochr BlueStore yn syth o ffeil opsiynau Umbrella: RocksDB fel yr ôl-ben allwedd/gwerth, y dyrannwr hybrid, symiau gwirio crc32c61011. Mae symiau gwirio metadata BlueStore yn rhywbeth sy’n ‘is handled by RocksDB and uses the crc32c algorithm’, ac mae data’n costio iddo ‘a checksum value (usually 4 bytes) for every 4 KB block of data’4. Ar symiau gwirio mae’r ddwy storfa’n cytuno. Mae FlashStore yn cadw crc32c i bob bloc 4 KiB yn y map estynnau ac yn ei wirio wrth ddarllen7.

Strwythur yw lle maen nhw’n gwahanu. Coeden uno wedi’i strwythuro fel log (LSM) yw RocksDB BlueStore, felly mae’n ysgrifennu, yna’n crynhoi yn y cefndir, gan ailysgrifennu data y mae eisoes wedi’i ysgrifennu. Mae coeden FlashStore yn cael ei diweddaru drwy gopïo wrth ysgrifennu a’i phlygu i’r ddisg ar bwyntiau gwirio: bob pum eiliad tra bo rhywbeth heb ei barhau, neu pan fo cylch y WAL yn cyrraedd hanner llawn7.

Canlyniad pellach yw nad oes gan FlashStore ddyfais gyflym ar gyfer metadata, oherwydd nid oes angen un arno. Ar Umbrella gelli di roi block.db ar yriant cyflymach, a bydd BlueStore yn rhoi ‘as much metadata as it can on the DB device’4. Mae FlashStore yn cymryd bod pob gyriant eisoes yn NVMe cyflym, ac yn cadw ei fetadata wrth ochr y data. Mae honno’n dybiaeth deg ar gyfer y caledwedd y mae’n ei dargedu. Dyna hefyd yn union pam nad oes stori HDD.

OMAP yw’r un lle mae FlashStore yn rhagfantoli. Y goeden yw’r rhagosodiad, ond gellir paratoi storfa gydag injan LSM croit ei hun, neu gyda RocksDB, y tu ôl i’r un rhyngwyneb12. Dewisir yr injan OMAP pan grëir y storfa. Nid wyt ti’n ei newid ar OSD sy’n rhedeg.

Un Ysgrifiad 4 KiB, Dwy Ffordd

Dyma’r gwahaniaeth y byddet ti’n ei deimlo, os wyt ti’n teimlo unrhyw un.

Cymer ysgrifiad 4 KiB i wrthrych ar Umbrella gyda’r gosodiadau rhagosodedig ar fflach. Mae bluestore_min_alloc_size_ssd yn 4 KiB a bluestore_prefer_deferred_size_ssd yn 0, felly mae ysgrifiad 4 KiB cyfan yn mynd i 4 KiB newydd ei ddyrannu1314. Mae BlueStore yn cyflwyno’r ysgrifiad data hwnnw, ac mae’r trafodiad yn eistedd yn STATE_AIO_WAIT nes bod y gyriant yn dweud ei fod wedi gorffen15. Dim ond wedyn y rhoddir y metadata yn y ciw ar gyfer RocksDB, ac mae edefyn cysoni RocksDB yn fflysio’r ddyfais floc cyn iddo ymrwymo16. Yna mae’r cleient yn cael ei gydnabyddiaeth.

Dwy daith i’r ddyfais, mewn cyfres.

Mae FlashStore yn anfon y ddau ar unwaith. Mae’r data’n mynd i estyniad 4 KiB ffres ac mae’r uned WAL yn mynd i’r cylch log yn gyfochrog. Mae cofnod y WAL yn cario crc32c pob bloc data newydd, fel y gall ailchwarae ar ôl chwalfa ddweud a gyrhaeddodd y data7. Mae’r gydnabyddiaeth yn mynd allan, yn nhrefn y log, pan fo’r data, yr uned WAL a phob trafodiad cynharach yn wydn7. Rhesymeg yr ADR ei hun dros y dyluniad yw ‘parallel commit gives one device latency per ack’7.

Un ysgrifiad 4 KiB, yn erbyn y clocBlueStoreysgrifiad data4 KiB newydd, aio, arosymrwymiad RocksDBlog BlueFS + fflysioack2 daithFlashStoredata, 4 KiB ffresuned WAL, crc dataack1 daithamser
Yr un ysgrifiad 4 KiB. Mae BlueStore yn aros am y data cyn iddo ymrwymo RocksDB; mae FlashStore yn ysgrifennu’r data a’i gofnod log gyda’i gilydd.

Mae dau beth yn cadw hyn yn onest. Ar OSD prysur mae’r ddwy storfa’n sypynnu ymrwymiadau, felly mae’r bwlch dan lwyth yn llai nag un oedi dyfais i bob ysgrifiad. Ac mae un daith i’r ddyfais ar NVMe yn ychydig ddegau o ficroeiliadau. Mae a fyddi di’n sylwi arno’n dibynnu ar a yw dy gleientiaid yn aros am oedi ar ddyfnder ciw isel, fel y mae cronfeydd data ar RBD yn aml, neu’n gwthio trwybwn, lle mae’n diflannu.

Ceisiodd croit fynd ymhellach, i un ysgrifiad dyfais i bob trafodiad, yn null ZFS. Fe’i hadeiladwyd, fe’i mesurwyd, ac fe’i taflwyd allan: dim ond ar ddyfnder ciw 1 y gwelwyd y budd ac nid oedd y cymhlethdod yn werth chweil17. Rwy’n rhoi mwy o werth ar hynny nag ar unrhyw siart meincnod. Cofnod penderfyniad ydyw sy’n dweud ‘fe adeiladon ni hwn ac nid oedd yn werth chweil’, yn gyhoeddus.

Yr Ysgrifiad dan 4 KiB

Yr ysgrifiad llai yw lle mae’r ddau wir yn gwahanu.

Dyweder bod cleient yn trosysgrifo 512 beit yng nghanol bloc sydd eisoes yn dal data. Mae Umbrella yn dal i redeg ei lwybr ysgrifennu gwreiddiol yn ddiofyn; mae bluestore_write_v2, yr ailwampiad, yn cael ei gludo wedi’i ddiffodd18. Ar y llwybr hwnnw mae ysgrifiad llai na min_alloc_size i floc sydd eisoes wedi’i ddyrannu yn troi’n ysgrifiad gohiriedig19. Mae’r data’n teithio y tu mewn i drafodiad RocksDB fel allwedd dan y rhagddodiad L, a dim ond yn mynd i’w gartref go iawn ar ôl i’r cleient gael gwybod ei fod yn ddiogel2021.

Ysgrifiad dan 4 KiBBlueStore, gohiriedig1 darllen y gweddillpadio i 4 KiB2 data i allwedd Llog RocksDB3 ymrwymo, fflysioack i’r cleient4 ysgrifennu yn ei leyr un 4 KiB eto5 dileu allwedd Lymrwymiad arallFlashStore4 KiB ffres cyfan + uned WALyn gyfochrog, byth yn ei leack i’r cleienthen floc: rhydd wedyn
Llwybr gohiriedig Umbrella ar gyfer ysgrifiad dan 4 KiB i floc sydd mewn defnydd, yn erbyn estyniad ffres FlashStore. Mae pinc yn nodi pob tro mae’r data ei hun yn cael ei ysgrifennu.

Felly mae’r data’n cyrraedd y gyriant ddwywaith. Nid yw dogfennaeth Umbrella yn ei guddio: ‘writes smaller than min_alloc_size must first pass through the BlueStore WAL’4.

Nid yw FlashStore byth yn trosysgrifo data byw yn ei le, a dyna ddiwedd arni7. Mae gwrthrychau hyd at 2 KiB yn mynd ymhellach ac yn byw’n gyfan gwbl yn y goeden, felly un ysgrifiad WAL yw’r ymrwymiad cyfan7.

Mae hynny hefyd yn golygu nad oes gan FlashStore giw ysgrifiadau gohiriedig i’w wagio, dim ailchwarae gohiriedig wrth osod, a dim allweddi L i’w glanhau. Mae’n talu yn rhywle arall yn lle hynny: mae blociau a ryddhawyd yn cael eu dal tan y pwynt gwirio nesaf, felly mae gofod rhydd ar ei hôl hi o hyd at un cyfnod pwynt gwirio7.

Edafedd yn erbyn Creiddiau

Mae hanner uchaf yr OSD yr un mor wahanol.

Gweinydd aml-edefyn clasurol yw ceph-osd Umbrella, ac mae pob rhif yn hanner chwith y diagram isod yn un o’i ragosodiadau ar fflach22. Mae gweithrediad yn croesi sawl un o’r cronfeydd hynny ar ei ffordd drwodd. Maen nhw’n rhannu cyflwr y tu ôl i gloeon.

Mae FlashStore yn cadw’r daith gyfan ar un craidd holi wedi’i binio, o gerdyn y rhwydwaith i’r gyriant ac yn ôl23. Mae pob grŵp lleoli’n perthyn i union un craidd, ac felly hefyd popeth y mae’r PG yn ei gyffwrdd: ‘no locks, no atomics, no shared mutable state’24. Mae traffig rhwng creiddiau’n mynd dros gylchoedd un cynhyrchydd, ac mae perchnogaeth y neges yn mynd gydag ef.

Edafedd yn erbyn creiddiauceph-osd Umbrella3 edefyn negesyddciw op mClock8 shard × 2 edefynbstore_kv_sync, bstore_kv_finalRocksDB, BlueFScroit-flashstore-osdcraidd 0craidd 1craidd nciw NICmsgr2, PGsshard storfaciw NVMeciw NICmsgr2, PGsshard storfaciw NVMeciw NICmsgr2, PGsshard storfaciw NVMecylchoedd SPSC rhwng creiddiau, dim cloeon
Mae Umbrella yn trosglwyddo gweithrediad rhwng cronfeydd edafedd. Mae FlashStore yn ei gadw ar un craidd o’r rhwydwaith i’r gyriant, a dim ond yn croesi creiddiau drwy gylchoedd.

Mae’r storfa’n dilyn yr un rhaniad. Mae flashstore_store_shards yn rhagosod i un shard i bob craidd, pob un â’i gylch WAL, ei goeden a’i ddyrannwr ei hun, ac mae PG yn byw mewn union un shard257. Un storfa i bob OSD gydag un RocksDB yw BlueStore.

Mae pris, ac mae’r ADR yn ei nodi: ‘idle cores burn CPU (accepted; optional adaptive sleep later)’23. Ychwanegodd gwaith diweddarach segura addasol ac arosiadau wedi’u hamseru gan y ddyfais fel nad yw craidd yn troelli am holl oedi’r ddyfais ar ddyfnder ciw isel8, ond mae’r egwyddor yn sefyll, ac mae flashstore_cores yn rhagosod i 8 pan nad wyt ti’n pinio ystod25. Rwyt ti’n rhoi creiddiau cyfan i FlashStore.

Ar nod storio pwrpasol mae hynny’n iawn. Ar flwch hypergydgyfeiriol lle mae’r creiddiau hynny hefyd yn rhedeg VMs, dyna’r swm cyntaf i’w wneud.

Rhaid i’r Gyriant Gadw ei Addewid

Mae BlueStore wedi’i ysgrifennu i ymdopi â gyriant sy’n dweud celwydd am pryd mae data’n ddiogel. Mae FlashStore yn gwrthod delio â’r gyriant hwnnw o gwbl.

BlueStore UmbrellaFlashStore
Beth sy’n gwneud ysgrifiad yn wydnfflysio’r ddyfais floc cyn ymrwymiad RocksDByr ysgrifiad yn cwblhau ar yriant PLP
Fflysio ar y llwybr poethiena
Gyriant gyda chelc ysgrifennu anweddolyn cael ei ddefnyddio, a’i fflysiomae mkfs yn ei wrthod; gwiriad gwesteiwr FAIL
Diystyrudim angenlabordy yn unig: did FUA ar bob ysgrifiad gwydn

Ochr BlueStore yw’r edefyn cysoni kv a ddyfynnwyd eisoes16. Ochr FlashStore yw’r ADR gwydnwch a’r gwiriad gwesteiwr: mae PLP yn golygu nad yw’r gyriant yn adrodd unrhyw gelc ysgrifennu anweddol, felly mae cwblhau’n golygu bod y data ar gyfrwng sefydlog2426.

Dyma’r penderfyniad cywir ar gyfer y targed, ond bydd yn glir am yr hyn y mae’n ei ddiystyru, oherwydd mae gan bron pob NVMe defnyddwyr gelc anweddol a dim PLP, ac felly hefyd gryn dipyn o gitiau ‘canolfan ddata’ a werthir ar bris. Dim PLP, dim FlashStore. Beth bynnag arall rwyt ti’n ei feddwl ohono.

Ar Beth na Fydd FlashStore yn Rhedeg

Rho’r gofynion ochr yn ochr ac mae’r farchnad darged yn amlwg.

BlueStore UmbrellaFlashStore
CyfrwngHDD, SSD, NVMeNVMe yn unig
Diogelu rhag colli pŵerddim yn ofynnolgorfodol, mae mkfs yn gwrthod hebddo
Fformat sector512 B neu 4 KiBdisgwylir 4 KiB, rhybudd fel arall
Cynllunrhaniadau, LVM drwy ceph-volumenamespaces cyfan, dim rhaniadau
Dyfais DB/WAL ar wahânwedi’i chefnogidim y fath beth
Amgryptio wrth orffwys--dmcrypt drwy ceph-volumey tu allan i’r cwmpas
Cleientiaid msgr1wedi’u rhwymo’n ddiofynyn cael eu gwrthod, msgr2 yn unig
Haenu celcanghymeradwy, yn dal yn bresennolyn cael ei wrthod, mae’r pool yn mynd yn oddefol
Anghenion cnewyllynunrhyw un a gefnogirio_uring: Linux 5.19+, neu 5.14 RHEL 9 gyda backports; hugepages ar gyfer SPDK

Colofn BlueStore yw un Umbrella ei hun: mae ceph-volume yn amgryptio cyfrolau rhesymegol, ‘using dmcrypt by specifying the --dmcrypt flag’27, ac mae ms_bind_msgr1 yn dal i ragosod i true28. Daw colofn FlashStore o’i gyfeirnod caledwedd a’i benderfyniad cwmpas2629.

Mae dau o’r rheini’n haeddu mwy na rhes mewn tabl.

Mae amgryptio wrth orffwys allan, gyda rheswm: mae SPDK yn osgoi dm-crypt, ac nid yw amgryptio y tu mewn i’r storfa wedi’i gynllunio. Ateb yr ADR yw gyriannau NVMe hunan-amgryptio, neu amgryptio uwchben y storfa wrth y cleient neu RGW29. Os oes gennyt ti ofyniad cydymffurfio sy’n enwi dm-crypt ar yr OSD, mae hynny’n atalfa heddiw.

Mae msgr1 allan fel risg a dderbyniwyd. Ni all cleientiaid cnewyllyn hŷn na 5.11 a librados cyn Nautilus siarad ag OSD FlashStore o gwbl29. Mae’r rhan fwyaf o ystadau ymhell heibio hynny. Nid yw rhai, a’r hen flwch anghofiedig yn y gornel sy’n darganfod hynny.

Mae’n Dweud Wrth y Monitor mai BlueStore Ydyw

Dyma’r un a fydd yn dal pobl.

Yn ddiofyn, mae OSD FlashStore yn cychwyn ac yn dweud wrth y monitorau osd_objectstore=bluestore30. Nid yw’n cuddio. Mae’n ychwanegu ei allweddi flashstore_version a flashstore_build ei hun wrth ei ochr30. Cydnawsedd yw’r rheswm: dim ond pan fo pob OSD ynddo’n adrodd BlueStore y mae monitor Umbrella yn caniatáu nodweddion fel trosysgrifo EC ar pool, ac mae modiwlau rheolwr fel Prometheus a thelemetreg yn canghennu ar yr un gwerth30. Mae’r ADR yn eglur bod bluestore yma’n rhywbeth sy’n ‘is a compat value for mon/mgr feature gates, not a product name’30.

Mae switsh, flashstore_report_objectstore=flashstore, sy’n ailenwi popeth: y metadata, yr allweddi bluestore_bdev_*, y cofnodwr perfformiad, y gorchmynion tell a’r codau iechyd BLUESTORE_*. Mae angen monitorau wedi’u clytio arno, ac mae’r rhagosodiad yn aros yn bluestore2530. Mae adeiladau Ceph croit ei hun yn cario’r clytiau hynny, felly arnynt hwy mae FlashStore yn adrodd ei hun fel flashstore ac nid oes dim o’r hyn sy’n dilyn yn berthnasol. Mae’r enw bluestore yno ar gyfer y monitorau a’r rheolwyr stoc y mae pobl yn eu rhedeg mewn cynhyrchu heddiw.

Beth a ddywedir wrth y monitorOSD FlashStoregosodiad rhagosodedigosd_objectstore=bluestoreflashstore_version=…mon, mgr: BlueStoretrosysgrifo EC wedi’i ganiatáuOSD FlashStorereport=flashstoreosd_objectstore=flashstoreflashstore_bdev_*mon clasurol: nid BlueStoreangen mon wedi’i glytioMae’r storfa yr un fath yn y ddwy res. Dim ond yr enw y mae’n ei roi sy’n newid.
Yr un storfa, dau enw. Mae’r rhagosodiad yn cadw monitorau a rheolwyr Umbrella yn hapus, ar y pris o OSDs FlashStore yn cyfrif fel BlueStore ym mhobman rwyt ti’n edrych.

Rwy’n deall pam. Dyluniad Ceph, nid croit, yw giât monitor wedi’i seilio ar linyn, a byddai gwrthod dweud bluestore yn diffodd nodweddion ar glwstwr heb ei glytio. Dyna’r trap ar glwstwr stoc. Bydd pob dangosfwrdd, pob sgript stocrestr a phob ceph osd count-metadata osd_objectstore a redi di yn cyfrif OSDs FlashStore fel BlueStore. Yn ystod mudo, pan fo angen i ti wybod fwyaf pa OSDs yw pa rai, nid yw’r maes amlwg yn dweud dim byd o gwbl wrthyt.

Felly gwiria flashstore_version yn ceph osd metadata, nid osd_objectstore. Rho hynny yn dy lyfr gweithdrefnau cyn i’r OSD FlashStore cyntaf fynd i mewn.

Yr Un Bwlynnau, Ymddygiad Gwahanol

Mae FlashStore yn darllen llawer o opsiynau presennol Ceph, ac mae hynny’n newyddion da gan amlaf. Nid yw pob opsiwn yn golygu’r hyn a olygai ar Umbrella, a’r rhai nad ydynt yw lle mae clwstwr wedi’i diwnio’n cael syndod.

OpsiwnBlueStore UmbrellaFlashStore
compression_mode, i bob poolnone, passive, aggressive, forceyr un pedwar, yr un ystyr
compression_algorithmsnappy yn ddiofynsnappy, zlib, zstd, lz4; lefel zstd yn sefydlog ar 1
bluestore_compression_max_blob_size_ssd64 KiBdarnau 64 KiB
osd_memory_target4 GiB, celciau’n cael eu hawdiwnio’n fywyn cael ei ddarllen unwaith wrth gychwyn, yn maintioli celciau’r storfa, dim awdiwnio
osd_op_queuemclock_scheduleryn cael ei dderbyn a’i anwybyddu
osd_mclock_*gweithredolyn cael eu derbyn a’u hanwybyddu
csum_typecrc32c yn ddiofyn, amrywiadau xxhash ar gaelcrc32c sefydlog; mae unrhyw werth arall yn cofnodi rhybudd31

Mae cywasgu’n cyfateb. Modd rhagosodedig BlueStore yw none a’i algorithm rhagosodedig yw snappy3233; mae FlashStore yn gweithredu’r un pedwar modd, yr un opsiynau pool a’r un darnio 64 KiB, ac mae’r ADR yn nodi bod darn 64 KiB y gellir ei gywasgu 50% yn cymryd yr un gofod ar y ddau34. Nid oedd bob amser yn mynd i fod yno. Mae ffeil yr ADR yn dal i gael ei henwi’n no-store-compression, o’r penderfyniad gwreiddiol, a wrthdrowyd pan osododd croit fandad o gydraddoldeb swyddogaethol llawn â Ceph clasurol34.

Nid yw cof yn gydradd. Mae Umbrella yn awdiwnio celciau BlueStore yn erbyn osd_memory_target tra bo’n rhedeg3536. Mae FlashStore yn darllen y targed unwaith wrth gychwyn, yn ei rannu dros ei shards, ac mae newid a wneir gyda ceph config set yn dod i rym wrth yr ailgychwyn nesaf37. Nid yw ychwaith yn dal y broses at y targed: mae hugepages, byfferau rhwydwaith a chyflwr PG yn eistedd y tu allan iddo37. Felly mae osd_memory_target yn maintioli celciau FlashStore. Nid yw’n capio cof yr OSD yn y ffordd y gallet ti fod wedi arfer ag ef.

Ac mae mClock yn cael ei anwybyddu’n llwyr37. Nid ei diwnio i lawr. Ei anwybyddu. Nid oes trefnlennydd gweithrediadau i’w ffurfweddu, oherwydd mae pob craidd yn berchen ar ei PGs. Mae adfer ac ôl-lenwi’n cael eu dal yn ôl gan osd_max_backfills, osd_recovery_max_active a’r opsiynau cysgu yn lle hynny37. Os gwnest ti diwnio proffiliau mClock ar gyfer ailadeiladu ar Umbrella, nid yw’r gosodiadau hynny’n gwneud dim ar OSD FlashStore, ac ni fydd dim yn dy rybuddio.

Does Dim Trosi, i’r Naill Gyfeiriad na’r Llall

Ni elli di drosi OSD BlueStore yn un FlashStore. Mae canllaw mudo croit yn blaen am y peth: ‘There is no in-place conversion of a BlueStore device’38. Mae’n cynnig dwy drefn yn lle hynny, ac ôl-lenwi (backfill) yw’r ddwy38:

Ychwanegu, yna tynnuRhyddhau, yna ychwanegu
Angenslot NVMe sbârdim byd sbâr
Cam 1paratoi FlashStore ar y gyriant newyddceph osd out, aros am glân
Cam 2aros am active+cleanstopio a dileu’r OSD clasurol
Cam 3tynnu’r OSD clasurolparatoi FlashStore ar y gyriant a ryddhawyd
Risg tra mae’n rhedegdim y tu hwnt i ôl-lenwi arferolun copi’n llai nes bod yr ôl-lenwi’n gorffen

Nid yw’n mynd yn haws yn nes ymlaen chwaith. Mae gan fformat ar ddisg FlashStore ddidau nodwedd, ac mae gosod yn gwrthod did anhysbys: ‘Every format change means mkfs; unknown bits refuse mount (no downgrade)’7. Felly mae newid fformat mewn rhyddhad FlashStore diweddarach yr un gwagio ac ail-lenwi â’r mudo cyntaf.

Yr unig ffordd drosoddOSD BlueStoreosd.N ar nvme0OSD FlashStoremkfs ffresdim trosi, y naill ffordd na’r llally clwstwrôl-lenwi o gopïauout, purgeôl-lenwi i mewn
Ôl-lenwi yw’r unig bont rhwng y ddwy storfa, a dyna hefyd y bont rhwng dau fformat FlashStore.

Un peth y mae’r ddogfennaeth yn ei gael yn anghywir. Mae rhestr wirio’r canllaw mudo yn dweud i sicrhau bod ‘the pools do not use erasure coding on croit-flashstore-osd OSDs’38. Mae’r canllaw codio dileu yn yr un ciplun yn dweud bod FlashStore yn gwasanaethu pools EC etifeddol yn ddiofyn, a rhagosodiad y cod ei hun ar gyfer EC optimeiddiedig yw all3940. Mae un o’r rheini wedi dyddio, ac o’r cod, y canllaw mudo ydyw. Byddwn i’n dal i ddarllen y canllaw EC yn llawn cyn cymysgu pools EC ar draws y ddau fath o OSD, oherwydd y methiant y mae’n ei ddisgrifio yw PG sy’n dirywio ac ôl-lenwi sy’n arafu i stop39.

Storfa wedi’i Hadeiladu i’r Gyriannau a Brynwn Mewn Gwirionedd

Adeiladwyd BlueStore i redeg ar bopeth. Disgiau troelli, SSDs rhad, NVMe, rhaniadau, LVM, cyfrolau wedi’u hamgryptio, dyfais DB gyflym o flaen dyfais ddata araf. Yr ehangder hwnnw yw pam y daeth yn rhagosodiad, a dyna pam mae’n cario llwybr ysgrifennu gohiriedig, fflysio cyn pob ymrwymiad, cronfa ddata allwedd/gwerth ar ei system ffeiliau ei hun, a chronfa o edafedd i gadw hynny i gyd i symud. Mae pob un o’r rheini’n bodoli oherwydd bod rhyw yriant yn rhywle eu hangen.

Mae FlashStore yn dechrau o’r pen arall. Mae’n cymryd mai NVMe yw’r gyriant, bod ganddo ddiogelu rhag colli pŵer, a’i fod yn ddigon cyflym mai’r feddalwedd yw’r dagfa bellach. Yna mae’n taflu allan popeth a fodolai ar gyfer y gyriannau eraill yn unig.

Ai dyna’r bet gywir? Ar gyfer clystyrau holl-fflach newydd, wedi’u hadeiladu ar NVMe menter iawn, ie. Dyna lle mae clystyrau Ceph yn mynd, ac mae OSD sy’n gwario ei greiddiau ar gloeon, trosglwyddiadau a chronfa ddata’n crynhoi y tu ôl iddo yn talu, bob eiliad o bob dydd, am hyblygrwydd na fydd clwstwr felly byth yn ei ddefnyddio.

Ond mae cost i’r bet, a byddai’n well gen i i ti ei gweld cyn i ti brynu i mewn iddi. Rwyt ti’n rhoi’r gorau i HDD, dm-crypt, msgr1, tiwnio cof byw ac mClock. Ar glwstwr stoc rwyt ti’n cael OSD sy’n dweud wrth dy fonitorau mai BlueStore ydyw, oherwydd nid yw monitorau a rheolwyr heddiw yn gadael unrhyw ffordd arall iddo; ni fydd angen hynny ar adeiladau croit ei hun. Rwyt ti’n cael fformat na elli di drosi iddo, ac na elli di drosi rhwng ei fersiynau chwaith. Ac rwyt ti’n ei gael mewn rhagolwg, gan un gwerthwr, sy’n digwydd fy nghyflogi i.

Felly ystyria’r cod ffynhonnell yn dystiolaeth, nid y post hwn ac nid adroddiad meincnod croit. Mae’r cofnodion penderfyniad yn gyhoeddus ac maen nhw’n dweud beth a fesurwyd a beth a daflwyd. Darllena nhw, adeilada glwstwr prawf ar y cit y byddet ti’n ei leoli mewn gwirionedd, a mesura dy lwyth gwaith dy hun. Os yw’n gwneud yr hyn mae’r ADRs yn ei ddweud ar dy yriannau di, byddi di’n gwybod. Os nad yw, byddi di’n gwybod hynny hefyd, a byddi di wedi darganfod ar glwstwr prawf.


  1. croit ceph-rust, README at snapshot 48f9014 — cydrannau, statws a map ffordd, ‘not yet recommended for production data’, yn gydnaws ar y wifren â v21.2.0 a v20.2.4. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. ADR 0003, green-field, no Crimson fork — ‘No fork, no linking of Ceph code’; cod ffynhonnell Ceph yn cael ei ddarllen fel cyfeirnod, manylebau yn eu geiriau eu hunain. ↩︎

  3. ADR 0164, licences — daemon ac offer LGPL-3.0-only, llyfrgelloedd cleient MPL-2.0, dogfennau CC-BY-SA-4.0, a’r rheswm dros MPL. ↩︎ ↩︎

  4. Ceph Umbrella, BlueStore configuration reference — mynediad crai at ddyfeisiau, dyfais DB, ‘writes smaller than min_alloc_size must first pass through the BlueStore WAL’, symiau gwirio. ↩︎ ↩︎ ↩︎ ↩︎

  5. Ceph Umbrella, storage devices — BlueStore ‘consumes raw block devices or partitions’; RocksDB wedi’i fewnosod ar gyfer metadata mewnol. ↩︎ ↩︎

  6. Ceph v21.2.0, bluestore_kvbackend — rhagosodiad rocksdb. ↩︎ ↩︎

  7. ADR 0021, storage engine — coeden B+ COW i bob shard, cylch WAL, ymrwymo cyfochrog, pwyntiau gwirio, data mewnol, rhyddhau gohiriedig, ‘Every format change means mkfs’. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  8. ADR 0004, storage I/O — SPDK dros vfio, wedi’i ddiwygio i ddwy haen gydag io_uring, segura wedi’i amseru gan y ddyfais. ↩︎ ↩︎

  9. ceph-rust docs, prepare and activate — spdk yw’r ôl-ben rhagosodedig, mae kernel a kernel-cmd yn cadw’r NVMe ar yrrwr y cnewyllyn. ↩︎

  10. Ceph v21.2.0, bluestore_allocator — rhagosodiad hybrid. ↩︎

  11. Ceph v21.2.0, bluestore_csum_type — rhagosodiad crc32c. ↩︎

  12. ceph-rust, croit-flashstore-tool usage — ‘fresh prepare/mkfs –omap-engine btree|lsm|rocksdb’. ↩︎

  13. Ceph v21.2.0, bluestore_min_alloc_size_ssd — rhagosodiad 4 KiB. ↩︎

  14. Ceph v21.2.0, bluestore_prefer_deferred_size_ssd — rhagosodiad 0. ↩︎

  15. Ceph v21.2.0, BlueStore.cc, transaction state machine — mae aios sydd ar y gweill yn symud y trafodiad i STATE_AIO_WAIT cyn iddo gael ei roi yn y ciw ar gyfer yr ymrwymiad allwedd/gwerth. ↩︎

  16. Ceph v21.2.0, BlueStore.cc, kv sync thread — ‘flush/barrier on block device’ cyn cyflwyno i RocksDB. ↩︎ ↩︎

  17. ADR 0027, single-IO atomic commit, rejected — ‘gain only at QD1’, wedi’i adeiladu a’i dynnu. ↩︎

  18. Ceph v21.2.0, bluestore_write_v2 — ‘Use faster write path’, rhagosodiad false. ↩︎

  19. Ceph v21.2.0, BlueStore.cc, _do_write_small — darllen y pen a’r gynffon, yna ‘chunk-aligned deferred overwrite’. ↩︎

  20. Ceph v21.2.0, BlueStore.cc, “journal deferred items” — mae’r trafodiad gohiriedig yn cael ei osod fel allwedd yn yr un trafodiad RocksDB. ↩︎

  21. Ceph v21.2.0, BlueStore.cc, key prefixes — PREFIX_DEFERRED = "L". ↩︎

  22. Rhagosodiadau edafedd Ceph v21.2.0 — osd_op_num_shards_ssd 8; osd_op_num_threads_per_shard_ssd 2; osd_op_queue mclock_scheduler; ms_async_op_threads 3; BlueStore.cc thread creation, bstore_kv_sync a bstore_kv_final. ↩︎

  23. ADR 0006, thread-per-core runtime — un edefyn holi prysur wedi’i binio i bob craidd, PGs yn eiddo i un craidd, ‘idle cores burn CPU (accepted …)’. ↩︎ ↩︎

  24. ADR 0008, concurrency and durability — ‘no locks, no atomics, no shared mutable state’; PLP yn ofynnol, mkfs yn gwrthod rhai heb PLP, diystyru FUA ar gyfer labordy. ↩︎ ↩︎

  25. ceph-rust docs, configuration reference — flashstore_cores rhagosodiad 8, flashstore_store_shards awtomatig, flashstore_report_objectstore. ↩︎ ↩︎ ↩︎

  26. ceph-rust docs, hardware and host requirements — celc ysgrifennu anweddol FAIL, LBA 4 KiB, dim rhaniadau, gofynion cnewyllyn ac io_uring. ↩︎ ↩︎

  27. Ceph Umbrella, ceph-volume encryption — ‘Logical volumes can be encrypted using dmcrypt by specifying the --dmcrypt flag’. ↩︎

  28. Ceph v21.2.0, ms_bind_msgr1 — rhagosodiad true. ↩︎

  29. ADR 0168, encryption at rest, msgr1, cache tiering out of scope — ‘SPDK bypasses dm-crypt’; cleientiaid v1 yn unig ‘cannot reach croit-flashstore-osd’. ↩︎ ↩︎ ↩︎

  30. ADR 0019, report osd_objectstore=bluestore — gatiau nodweddion y monitor, yr allweddi flashstore_* ychwanegol, a’r opsiwn adrodd flashstore. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  31. ceph-rust, pgs.rs — ‘csum_type {v} unsupported; using fixed crc32c per 4096-byte block’. ↩︎

  32. Ceph v21.2.0, bluestore_compression_mode — rhagosodiad none. ↩︎

  33. Ceph v21.2.0, bluestore_compression_algorithm — rhagosodiad snappy. ↩︎

  34. ADR 0059, per-pool store compression — yr un moddau ac opsiynau â BlueStore, lefel zstd 1 sefydlog, gofod ar 50% cywasgadwy ‘identical to BlueStore’. ↩︎ ↩︎

  35. Ceph v21.2.0, osd_memory_target — rhagosodiad 4 GiB. ↩︎

  36. Ceph v21.2.0, bluestore_cache_autotune — rhagosodiad true. ↩︎

  37. ADR 0062, memory target and mClock — targed yn cael ei ddarllen unwaith, dim awdiwnio, RSS heb ei orfodi; opsiynau mClock ‘ACCEPTED and IGNORED’. ↩︎ ↩︎ ↩︎ ↩︎

  38. ceph-rust docs, migrate from classic — ‘There is no in-place conversion of a BlueStore device’; y ddwy drefn; llinell EC y rhestr wirio. ↩︎ ↩︎ ↩︎

  39. ceph-rust docs, erasure-coded pools — ec_enable_pools rhagosodiad all, ec_enable_optimized rhagosodiad all, a sut olwg sydd ar pool a wrthodwyd. ↩︎ ↩︎

  40. ceph-rust, OSD config defaults — ("ec_enable_optimized", "all"). ↩︎