Datgeliad o’r dechrau: rwy’n gweithio i croit, a ysgrifennodd FlashStore. Mae popeth isod wedi’i ddarllen o god ffynhonnell a dogfennaeth Ceph yn v21.2.0 ac o giplun ceph-rust cyhoeddedig croit, a’r cyfan wedi’i gysylltu ar waelod y dudalen. Lle mae rhesymeg croit ei hun ar un ochr i ddadl, rwy’n dweud rhesymeg pwy ydyw.
Dau Ailysgrifeniad o’r Un Daemon
Gweinydd C++ aml-edefyn yw OSD clasurol Ceph, a dyfodd i fyny ar ddisgiau troelli. Ar NVMe cyflym a rhwydweithiau cyflym, mae’n treulio llawer o’i CPU ar bethau nad ydynt yn storio dy ddata: trosglwyddo gweithrediadau rhwng cronfeydd edafedd, cymryd cloeon, aros am edafedd eraill. Mae dau brosiect wedi mynd ati i drwsio hynny drwy ailysgrifennu’r OSD yn llwyr.
Un yw Crimson, un Ceph ei hun.
Mae dogfennaeth Umbrella yn ei alw’n ‘the next generation ceph-osd’, wedi’i adeiladu ‘to deliver enhanced performance on fast network and storage devices’1.
Y llall yw OSD FlashStore croit, o’r prosiect ceph-rust, mewn rhagolwg cyhoeddus ers 9 Tachwedd 20262.
Mae’r ddau’n dweud eu bod yn amnewidion uniongyrchol. Mae’r ddau’n dweud eu bod ar gyfer NVMe. Mae’r ddau mewn rhagolwg, ac ni ddylai’r un ohonynt ddal data cynhyrchu heddiw. Felly os wyt ti’n rhedeg Ceph ar NVMe ac yn pendroni pa un i’w wylio, mae’n werth gwybod lle maen nhw’n wahanol mewn gwirionedd, oherwydd nid yw hynny lle byddai’r penawdau’n ei awgrymu.
Mae hwn yn eu cymharu fel y byddet ti’n dod o hyd iddynt ar Ceph 21.2.0, Umbrella: Crimson fel mae’r rhyddhad hwnnw’n ei ddogfennu a’i gludo, yn erbyn FlashStore, sy’n cael ei adeiladu a’i brofi yn erbyn yr un rhyddhad2. Mae’n dilyn ymlaen o FlashStore yn erbyn BlueStore Umbrella, ac rwy’n cymryd yn ganiataol unrhyw beth am FlashStore sydd eisoes wedi’i drafod yno.
O Ble Daw Pob Un
Y gwahaniaeth cyntaf yw pwy sy’n ei adeiladu a sut.
| Crimson | FlashStore | |
|---|---|---|
| Adeiladwyd gan | Ceph upstream, yn y brif goeden | croit |
| Iaith | C++ | Rust |
| Fframwaith | Seastar | gweithredydd un edefyn croit ei hun |
| Cod | yn ceph/ceph | ailysgrifeniad ystafell lân, dim cod Ceph wedi’i gysylltu |
| Datblygu | upstream, agored | cipluniau darllen yn unig yn y rhagolwg; agored ar ôl y rhyddhad cynhyrchu cyntaf |
| Trwydded | un Ceph | daemon LGPL-3.0, cleientiaid MPL-2.0 |
| Statws yn ei eiriau ei hun | ‘not suitable for production use’ | ‘not yet recommended for production data’ |
| GA arfaethedig | dim wedi’i nodi | Ch1 2027 |
Mae Crimson yn byw yn ystorfa Ceph ei hun ac yn cael ei adeiladu gan ddatblygwyr Ceph ei hun. Mae wedi’i ysgrifennu ar Seastar, fframwaith C++ ar gyfer gweinyddion un edefyn i bob craidd a ddaeth o ScyllaDB3. Mae dogfennau Umbrella yn blaen am y peth: Crimson ‘is in a tech-preview stage and is not suitable for production use’1.
Mae FlashStore wedi’i ysgrifennu o’r dechrau yn Rust ac nid yw’n cysylltu dim cod Ceph o gwbl; darllenir C++ Ceph fel cyfeirnod a’i ailweithredu o fanylebau croit ei hun4. Mae ei README yn dweud ei fod ar gyfer profi a gwerthuso a ‘not yet recommended for production data’, gydag argaeledd cyffredinol wedi’i gynllunio ar gyfer chwarter cyntaf 20272. Ciplun darllen yn unig yw’r ystorfa gyhoeddus: ‘no issue tracker, no contribution workflow’2.
Mae’n werth darllen y rhes honno’n ofalus. Mae Crimson yn cael ei ddatblygu yn yr agored, a gall unrhyw un ddarllen y ceisiadau tynnu a dadlau arnynt. Mae FlashStore, am y tro, yn cyrraedd fel cipluniau gorffenedig gan un cwmni: gelli di ddarllen pob llinell, ond ni elli di anfon clwt ato eto. Cam y rhagolwg yw hynny, nid y cynllun. Mae’r rhagolwg yno i gasglu adborth y gymuned tra bo croit yn rhedeg ei achosion prawf cynhyrchu yn fewnol, cyn iddo farcio’r OSD yn ddiogel i’w ddefnyddio. Daw datblygu agored ar ôl y rhyddhad cynhyrchu cyntaf hwnnw, yr un llwybr ag y mae’r rhan fwyaf o brosiectau cod agored a noddir gan gwmnïau yn ei gymryd. Daw hynny o’r tu mewn i croit yn hytrach nag o fap ffordd cyhoeddedig, felly dal nhw ato.
Fe edrychodd croit ar fforchio Crimson, ac ysgrifennu i lawr pam na wnaeth. Dywed ei ADR fod Crimson yn ‘tries to support everything (HDD, alienstore/BlueStore, all pool types)’, ac ychwanega ‘Complex code is never fast’4. Barn croit am Crimson yw honno, nid mesuriad, a byddwn i’n ei thrin felly. Gwrthododd yr un ADR fforc yn rhannol oherwydd yr LGPL4, ac yna fe drwyddedodd croit ei ddaemon ei hun dan LGPL-3.0 wyth diwrnod yn ddiweddarach5. Felly nid y drwydded oedd y rheswm go iawn erioed.
Diogelwch Cof: Rust yn erbyn C++
Yr OSD yw’r cod sy’n dal dy ddata. Nid chwalfa rwyt ti’n ailgychwyn ohoni yw use-after-free neu orlif byffer ynddo; data llygredig ar ddisg ydyw, wedi’i gopïo i bob copi arall. Dyna’n union y dosbarth o nam y mae asiantaethau seiber y Gorllewin wedi treulio’r tair blynedd diwethaf yn dweud wrth y diwydiant am ei ddylunio allan.
| Canllaw | Pwy roddodd eu henw arno | Beth mae’n ei ddweud |
|---|---|---|
| The Case for Memory Safe Roadmaps, Rhagfyr 2023 | CISA, NSA ac FBI (UDA), ACSC yr ASD (Awstralia), CCCS (Canada), NCSC-UK, NCSC-NZ, CERT-NZ | mae C a C++ yn anniogel o ran cof; cyhoeddi map ffordd i symud oddi wrthynt |
| Product Security Bad Practices v2.0, Ionawr 2025 | CISA ac FBI | mae llinellau cynnyrch newydd ar gyfer seilwaith critigol yn C neu C++ yn ‘dangerous’ lle mae ieithoedd diogel o ran cof ar gael |
Mae’r canllaw ar y cyd yn ei ddweud yn blaen: ‘Programming languages such as C and C++ are examples of memory unsafe programming languages’6. Mae CISA a’r FBI yn mynd ymhellach, ac yn galw ‘the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)’ yn beryglus pan ellid defnyddio dewis arall sy’n ddiogel o ran cof7. Canllaw yw hynny, nid cyfraith. Ond storfa o dan wasanaethau critigol yw’r union god y mae wedi’i anelu ato, ac mae’r ddau hyn yn OSDs y genhedlaeth nesaf a fydd yn cael eu barnu yn ei erbyn.
Mae FlashStore yn ei fodloni.
Mae wedi’i ysgrifennu yn Rust, ac mae ADR croit yn rhoi’r rheswm mewn un llinell: ‘Storage = correctness-critical; memory-safety bugs = data loss’8.
Mae’r casglydd yn gwirio diogelwch cof ym mhobman ac eithrio cod wedi’i farcio’n unsafe, ac mae’r un ADR yn cyfyngu hwnnw i’r modiwlau FFI, DMA, NVMe a gyrwyr rhwydwaith, pob un â sylw SAFETY8.
Fe’i cyfrifais yn y ciplun: 1,216 o linellau sy’n sôn am unsafe allan o 696,125 o linellau Rust, tua 0.17%, ac maen nhw’n eistedd yn y crates RDMA, runtime, NVMe a store lle mae’r cod yn siarad â’r caledwedd.
Mae’r canllaw ar y cyd yn enwi’r ddihangfa honno ei hun, gan nodi bod Rust yn ‘can contain the “unsafe” keyword’6, felly dyna’r mesur gonest: nid sero, ond bach, wedi’i ffensio, ac yn y mannau y byddet ti’n eu disgwyl.
Mae’r C y mae’n ei alw, SPDK a DPDK, yn eistedd y tu ôl i’r un ffiniau hynny8.
Nid yw Crimson yn ei fodloni. OSD newydd ydyw, wedi’i ysgrifennu yn C++ ar fframwaith C++13, sef yr iaith y mae’r asiantaethau uchod yn ei henwi’n anniogel o ran cof. Mae pob llinell ohono y tu allan i’r hyn y gall casglydd ei wirio am ddiogelwch cof, ac yn ei ffurfweddiad rhagosodedig mae’n trosglwyddo’r storfa i BlueStore, sydd hefyd yn C++.
| Crimson | FlashStore | |
|---|---|---|
| Iaith | C++ | Rust |
| Diogelwch cof wedi’i wirio gan y casglydd | na | ie, y tu allan i unsafe |
| Cod heb ei wirio | y cyfan ohono | tua 0.17% o’r llinellau, cod gyrwyr ac FFI |
| Storfa ragosodedig | BlueStore, C++ | FlashStore, Rust |
| Yn cyd-fynd â chanllawiau diogelwch cof y Five Eyes | na | ie |
Ni ddewisodd datblygwyr Ceph C++ yn ddiofal; tyfodd Crimson allan o sylfaen god C++, ac roedd ailysgrifennu yn ei le yn golygu aros ynddi. Mae hwnnw’n llwybr peirianneg rhesymol. Mae’n dal i adael OSD Ceph y genhedlaeth nesaf wedi’i ysgrifennu yn yr un math o iaith y mae asiantaethau pum gwlad wedi gofyn i god critigol newydd ei gadael ar ôl.
Sut Mae Pob Un yn Ymuno â Chlwstwr
Dyma’r gwahaniaeth ymarferol mwyaf rhwng y ddau, ac nid yw’n ymwneud â pherfformiad o gwbl.
Mae OSD FlashStore yn ymuno â’r pools sydd gennyt ti eisoes. Mae’n eistedd yn yr un grwpiau lleoli wrth ochr OSDs BlueStore clasurol, ac rwyt ti’n cyfnewid un gyriant ar y tro2.
Nid felly OSD Crimson.
Dim byd tebyg.
Dywed dogfennau Umbrella: ‘Crimson OSD won’t instantiate PGs from non-Crimson pools’1.
Mae’r cod yn gwneud yn union hynny. Pan fo’r monitor yn gofyn i OSD Crimson greu PG mewn pool heb y fflag crimson, mae’n cofnodi ‘pool lacks crimson flag’ ac yn canslo’r creu9.
Felly mae treialu Crimson yn golygu pools newydd, wedi’u creu gyda’r fflag crimson, a symud dy ddata iddynt.
Ac mae amodau ynghlwm wrth y pools hynny, a’r monitor sy’n eu gorfodi:
| Rheol pool Crimson (Umbrella) | Ble |
|---|---|
| Rhaid i raddio PG awtomatig fod i ffwrdd pan grëir y pool | OSDMonitor, creu pool10 |
Uno PG (lleihau pg_num) yn cael ei wrthod | OSDMonitor, newid pg_num11 |
Hollti PG yn cael ei ganiatáu dim ond tra bo crimson_allow_pg_split yn wir | yr un fan, a’r opsiwn12 |
| Rhaid i pools EC fod o’r math EC optimeiddiedig, heb eithriadau | OSDMonitor, creu pool13 |
| Dim OMAP ar pools EC | yr un fan13 |
Mae FlashStore yn gwasanaethu pools clasurol, rhai dyblygedig a rhai â chodio dileu, ac mae’r OSD ei hun yn gwrthod y ffurfweddiadau EC nad yw’n eu cefnogi yn hytrach na bod y monitor yn eu gwahardd14. Nid yw’r naill ddull na’r llall yn anghywir. Ond mae un yn gadael i ti brofi ar gopi o gynllun dy pools go iawn, ac mae’r llall yn gwneud i ti adeiladu un ar wahân yn gyntaf.
Dim Ffordd Drosodd i’r Pools Sydd Gennyt Eisoes
Felly a elli di droi pool presennol yn pool Crimson, a’i symud drosodd un gyriant ar y tro? Na.
Dywed dogfennau Umbrella fod Crimson yn ‘aiming to allow seamless migration from existing ceph-osd deployments’1.
Anelu yw’r gair. Nid yw’r rhyddhad yn gwneud hynny, ac mae’r cod ffynhonnell yn dangos pam na all.
Mae’r fflag crimson yn opsiwn ar ceph osd pool create a nunlle arall15.
Nid oes gan ceph osd pool set newidyn crimson i’w osod ar pool sydd eisoes yn bodoli16.
Ac mae OSD Crimson yn anwybyddu pob PG mewn pool heb y fflag, fel uchod9.
Ni ddes i o hyd i unrhyw offeryn trosi yn y cod ffynhonnell na’r dogfennau.
| Symud pool presennol | Crimson (Umbrella) | FlashStore, heddiw |
|---|---|---|
| Cadw’r un pool | na, mae angen pool newydd | ie |
| Oes modd rhoi’r fflag ar y pool yn nes ymlaen | na, adeg creu yn unig | dim angen |
| Sut mae’r data’n symud | rwyt ti’n ei gopïo, o pool i pool | mae’r clwstwr yn ei ôl-lenwi |
| Ailgyfeirio cleientiaid | ie, i’r pool newydd | na |
| Un gyriant ar y tro | na | ie |
Mae hynny’n gwneud symud i Crimson yn gopi data rwyt ti’n ei redeg dy hun: gellir mudo delweddau RBD yn fyw ‘between different pools’17, ac mae data gwrthrychau neu ffeiliau angen beth bynnag mae dy raglenni’n ei ddefnyddio i’w gopïo. Yna mae’n rhaid pwyntio pob cleient at y pool newydd.
Mae FlashStore yn gydnaws â’r pools rwyt ti’n eu rhedeg heddiw. Rwyt ti’n ei baratoi ar yriant, mae’r clwstwr yn ôl-lenwi (backfill) y grwpiau lleoli a roddir iddo, a dydy dy gleientiaid byth yn sylwi bod y pool wedi newid oddi tanynt, oherwydd ni wnaeth18. Dyna’r holl wahaniaeth rhwng ailysgrifeniad sy’n ymuno â’th glwstwr ac un sy’n eistedd wrth ei ochr.
Beth Mae Pob Un yn ei Ddweud Wrth y Monitor
Mae Crimson yn cyhoeddi ei hun.
Wrth gychwyn mae’n anfon osd_type=crimson19, ac mae’r monitor yn gwrthod ei adael i mewn oni bai bod y fflag OSDMap allow_crimson wedi’i gosod, gyda llinell log sy’n dweud bod crimson-osd ‘is considered unstable and may result in crashes or data loss’20.
Mae cyrraedd mor bell â hynny’n cymryd pedwar gorchymyn o’r dogfennau, a’r cyntaf ohonynt yn gosod opsiwn o’r enw enable_experimental_unrecoverable_data_corrupting_features1.
Mae FlashStore yn gwneud y gwrthwyneb.
Nid yw’n anfon osd_type o gwbl ac mae’n adrodd osd_objectstore=bluestore, felly mae’r monitor yn gweld OSD clasurol ac yn gofyn dim cwestiynau21.
Mae’r post blaenorol yn esbonio pam: mae monitor Umbrella yn caniatáu nodweddion fel trosysgrifo EC dim ond pan fo pob OSD mewn pool yn adrodd BlueStore21.
Mae hynny ar gyfer y monitorau a’r rheolwyr stoc sy’n rhedeg mewn cynhyrchu heddiw.
Ar adeiladau Ceph croit ei hun, lle maen nhw wedi’u clytio i’w adnabod, mae FlashStore yn adrodd ei hun fel flashstore21.
Byddai’n well gen i i feddalwedd ddweud wrthyf beth ydyw. Mae Crimson yn gwneud hynny. Ei ffordd ef yw’r un onest, ac nid yw enw’r fflag yn gadael unrhyw amheuaeth i ti am yr hyn rwyt ti’n cytuno iddo. Ffordd FlashStore yw’r hyn sy’n gwneud i’r amnewid uniongyrchol weithio ar y monitorau a’r rheolwyr stoc y mae pobl yn eu rhedeg nawr, a mesur cydnawsedd ydyw, nid y cyflwr terfynol. Mae’r ddau’n fwriadol, ac mae’r ddau wedi’u hysgrifennu i lawr. Dim ond i ti wybod pa un rwyt ti’n delio ag ef pan fyddi di’n cyfrif dy OSDs.
Creiddiau: Adweithyddion yn erbyn Edafedd Holi wedi’u Pinio
Taflodd y ddau brosiect y cronfeydd edafedd allan. Da. Mae’r ddau’n rhedeg un edefyn i bob craidd ac yn rhannu eu gwaith fesul craidd. Mae’r gwahaniaeth yn faint maen nhw’n ei ofyn gan y gweithredwr, a pha mor dynn maen nhw’n dal gafael ar y craidd.
| Crimson | FlashStore | |
|---|---|---|
| Uned waith | adweithydd Seastar i bob craidd | edefyn wedi’i binio i bob craidd |
| Nifer y creiddiau | crimson_cpu_num, dim rhagosodiad, rhaid ei osod | flashstore_cores, rhagosodiad 8 |
| Wedi’i binio i greiddiau | dim ond gyda crimson_cpu_set | ie, flashstore_lcores |
| Ymddygiad segur | holi am 200 µs, yna cysgu | holi, segura addasol |
| Holi prysur llawn | dewisol, crimson_poll_mode | y dyluniad, gydag encilio pan yn segur |
| Newid ar ôl lleoli | na | shards y storfa’n sefydlog wrth baratoi |
Ar Crimson, ‘does not have a default value’ yw disgrifiad crimson_cpu_num; rhaid ei osod cyn lleoli’r OSDs, ac ‘cannot be changed after deployment’1.
Nid yw’n pinio edafedd oni bai dy fod hefyd yn gosod crimson_cpu_set, y mae’r dogfennau’n ei ddisgrifio fel ‘generally less recommended due to its complexity’1.
Mae’r adweithydd yn holi am 200 µs pan yn segur cyn mynd yn ôl i gysgu, ac mae modd holi llawn yn bodoli ‘at the expense of 100% cpu usage’, i ffwrdd yn ddiofyn22.
Mae SeaStore hefyd yn gwrthod newid yn nifer yr adweithyddion ar ôl mkfs23.
Mae FlashStore yn pinio drwy ddyluniad, yn holi drwy ddyluniad, ac yn encilio pan yn segur2425. Mae nifer shards ei storfa’n sefydlog pan baratoir y storfa, yr un cyfyngiad mewn lle gwahanol26.
Yn ymarferol, mae’r ddau eisiau creiddiau cyfan ac mae’r ddau eisiau i ti eu maintioli cyn i ti leoli. Mae Crimson yn gwneud yr holi’n ddewis rwyt ti’n optio i mewn iddo. Mae FlashStore yn ei wneud yn rhagosodiad ac yn gadael i’r rhesymeg segura grafangu peth o’r CPU yn ôl.
Storfa Ragosodedig Crimson yw BlueStore
Dyma’r rhan a’m synnodd i. Ni ddylai fod wedi gwneud.
Mae gan Crimson ddau fath o storfa wrthrychau. Mae rhai brodorol yn rhedeg y tu mewn i adweithydd Seastar; mae rhai anfrodorol yn rhedeg drwy ‘a thread pool proxy’ i ‘alien threads: worker threads not managed by Seastar’1. SeaStore yw’r un brodorol. Mae BlueStore yn anfrodorol. A BlueStore yw’r rhagosodiad.
Mae’r dogfennau’n blaen am y peth.
Yn eu geiriau nhw, SeaStore ‘is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages’1.
Mae cephadm yn lleoli Crimson gyda --objectstore bluestore oni ddywedir yn wahanol wrtho, a hyd yn oed wedyn ni ellir lleoli SeaStore gyda --method raw; dywedir wrthyt am ddefnyddio LVM1.
Felly mae OSD Crimson a leolir heddiw gyda’r rhagosodiadau yn rhedeg pen blaen Seastar ar ben yr un BlueStore, RocksDB a BlueFS ag y mae’r OSD clasurol yn eu defnyddio, gyda crimson_bluestore_num_threads o edafedd wedi’u neilltuo ar ei gyfer22.
Ar ochr y storfa, does dim byd o gwbl wedi newid o’r OSD clasurol.
Mae hynny’n ffordd synhwyrol o adeiladu llwybr mudo. Dyna hefyd pam mae cymharu ‘Crimson’ â FlashStore ar berfformiad yn golygu fawr ddim oni bai dy fod yn dweud pa storfa roedd Crimson yn ei rhedeg.
Y gymhariaeth deg ar gyfer y storfa yw SeaStore yn erbyn FlashStore. Dyna weddill y post hwn.
SeaStore a FlashStore: Lle Mae’r Metadata’n Byw
Ysgrifennwyd y ddwy storfa ar gyfer NVMe o’r dechrau, mae’r ddwy wedi’u rhannu fesul craidd, ac mae’r ddwy’n cadw eu metadata mewn coed B eu hunain yn hytrach nag yn RocksDB. Mae eu cynlluniau’n dal yn wahanol iawn.
Mae SeaStore yn rhoi ei wraidd ei hun i bob adweithydd27. Oddi tano mae coeden onode, coeden LBA a choeden backref. Mae onode pob gwrthrych wedyn yn pwyntio at ei goeden B OMAP ei hun a’i goeden B XATTR ei hun, ac at estynnau data gyda chyfeiriadau rhesymegol27. Mae’r goeden LBA yn mapio’r cyfeiriadau rhesymegol hynny i rai ffisegol, fel y gall bloc symud ar ddisg heb i goed y gwrthrych ei hun newid; mae’r dogfennau’n rhoi’r anuniongyrcholdeb hwnnw fel y rheswm y gellir adleoli’r rhan fwyaf o estynnau’n rhydd, ‘can be relocated freely’27.
Mae FlashStore yn rhoi popeth mewn un goeden B+ copïo wrth ysgrifennu i bob shard: onodes, xattrs, OMAP, mapiau estynnau gyda crc32c i bob bloc 4 KiB, log y PG, a didfap y dyrannwr28. Mae mapiau estynnau’n pwyntio’n syth at flociau ffisegol. Nid oes haen resymegol yn y canol.
Mae rheswm y tu ôl i’r ddau ddewis. Anuniongyrcholdeb SeaStore sy’n gwneud ei lanhawr yn rhad: gall symud data byw heb ailysgrifennu pob coeden sy’n pwyntio ato. Nid oes angen hynny ar FlashStore, oherwydd nid oes ganddo lanhawr, fel isod. Mae ei ADR yn rhestru ‘Per-object omap subtree/root’ ymhlith y dewisiadau eraill a ystyriodd ac a wrthododd28.
Un gwahaniaeth sy’n werth ei wybod ar symiau gwirio: mae SeaStore yn cyfrifo ei crc32c dros estyniad cyfan yn y celc29, lle mae FlashStore yn cadw un i bob bloc 4 KiB28.
Y Drefn y Mae Ysgrifiad yn Ymrwymo Ynddi
Math dyfais rhagosodedig SeaStore yw SSD, sy’n defnyddio’r ôl-ben segmentiedig30.
Ar yr ôl-ben hwnnw, cofnod dyddlyfr sy’n cario deltâu yw trafodiad, a gall dau beth ddigwydd i’r data.
Gall estynnau bach, byrhoedlog deithio’n fewnol yng nghofnod y dyddlyfr, ac yna y cofnod yw’r ymrwymiad cyfan27. Mae estynnau mwy neu hirhoedlog yn mynd i segmentau ar wahân y tu allan i’r llinell, ac yna mae’r dogfennau’n gosod y drefn: y ‘final record with the deltas should be written only once the other blocks are persisted’27. Dyna ddau ysgrifiad mewn cyfres, yr un siâp ag ymrwymiad data ac yna RocksDB BlueStore.
Mae FlashStore yn ysgrifennu’r estyniad data a’r uned WAL ar yr un pryd, yn rhoi crc32c y data newydd yng nghofnod y WAL fel y gall ailchwarae ei wirio, ac yn cydnabod pan fo’r ddau’n wydn28. Un daith i’r ddyfais, beth bynnag fo’r maint.
Mae faint mae hynny’n bwysig yn dibynnu ar dy lwyth gwaith, yn union fel yn y gymhariaeth â BlueStore. Ar ddyfnder ciw isel, lle mae cleientiaid yn aros am bob ysgrifiad, mae ail daith yn oedi go iawn. Dan lwyth, mae sypynnu’n cuddio’r rhan fwyaf ohono.
Cael Lle yn Ôl
Hanner arall dyluniad wedi’i strwythuro fel log yw glanhau.
Dim ond i segmentau agored y mae SeaStore yn ysgrifennu ar yr ôl-ben segmentiedig. Cyn y gellir ailddefnyddio segment, rhaid ailysgrifennu ei flociau byw yn rhywle arall, ac mae’r ddogfen ddylunio’n dweud beth mae hynny’n ei gostio: ‘we must “clean” one byte of an existing segment for every byte written at steady state’27. Mae’n cymysgu peth o’r glanhau hwnnw i mewn i ysgrifiadau parhaus, i osgoi pigau, ac yn gwneud y gweddill yn y cefndir pan fo’r gyriant yn dawelach27. Mae maint y segment yn 64 MiB yn ddiofyn31.
Mae gan SeaStore ail ôl-ben ar gyfer NVMe, y rheolwr blociau ar hap (random block manager), y mae’r dogfennau’n dweud ei fod yn ‘Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren’t worth the overhead’27.
Nid dyna’r rhagosodiad. Rwyt ti’n ei ddewis gyda seastore_main_device_type30.
Nid oes gan FlashStore lanhawr segmentau. Dim un. Mae bloc a ddisodlwyd yn mynd yn ôl i ddyrannwr y shard unwaith y mae pwynt gwirio wedi mynd heibio iddo, sy’n digwydd bob pum eiliad tra bo gwaith heb ei barhau, neu’n gynt pan fo cylch y WAL yn hanner llawn28. Gwrthododd ei ddogfen ddylunio gynllun wedi’i strwythuro fel log yn llwyr28. Nid yw hynny’n golygu nad oes ganddo waith cefndir: mae’n dal i uno a chrynhoi tudalennau’r goeden a dad-ddarnio gofod rhydd, ar gyflymder sy’n ildio i I/O cleientiaid28. Ond nid yw byth yn copïo dy ddata byw i wneud lle.
Ar fflach, sydd eisoes yn rhedeg ei gasglu sbwriel ei hun y tu mewn i’r gyriant, byddai’n well gen i i’r OSD beidio â rhedeg ail un ar ei ben. Mae’n ymddangos bod dogfennau SeaStore ei hun yn cytuno, o ystyried yr hyn maen nhw’n ei ddweud am ôl-ben RBM. Y gwahaniaeth yw bod FlashStore wedi gwneud hynny’n unig opsiwn, a SeaStore wedi’i wneud yn un nad yw’n rhagosodiad.
Ar Beth y Bydd Pob Un yn Rhedeg
| Crimson (Umbrella) | FlashStore | |
|---|---|---|
| HDD | ie, gyda BlueStore; mae gan SeaStore fath segment HDD | na |
| NVMe | ie | ie, yr unig darged |
| Diogelu rhag colli pŵer | dim gofyniad wedi’i nodi | gorfodol, mae mkfs yn gwrthod hebddo |
| Cynllun dyfeisiau | LVM ar gyfer SeaStore drwy cephadm | namespaces cyfan, dim rhaniadau |
| Protocol gwifren | msgr2 yn unig | msgr2 yn unig |
| Ôl-ben I/O | io_uring yn ddiofyn; linux-aio, epoll | SPDK yn ddiofyn, haen io_uring |
| Pools | pools newydd gyda’r fflag crimson | pools clasurol presennol |
| Symud data presennol | ei gopïo i pool newydd | ôl-lenwi i’r un pool |
| Lleolir gyda | cephadm, --osd-type crimson | pecynnau, croit-flashstore-tool |
| Adeiladwaith a argymhellir | adeiladwaith CI diweddaraf o main | cipluniau rhyddhau |
Mae Crimson yn cadw’r ehangder.
Dywed y dogfennau fod SeaStore ‘may not be suitable for traditional HDDs’, ond y bydd ‘Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs’1, ac mae dogfen ddylunio SeaStore yn dal i restru diddordeb mewn HDDs27.
Mae ei negesydd yn gwrthod v1 yn llwyr, ‘ProtocolV1 is no longer supported’32, yr un dewis ag a wnaeth FlashStore33.
Mae ei ddogfennau’n argymell ‘one of the latest available builds, as Crimson evolves rapidly’, sydd yn ymarferol yn golygu delweddau CI o main1.
Mae FlashStore yn culhau popeth i NVMe gyda diogelu rhag colli pŵer, ac yn cael ei symlrwydd o hynny34. Sef yn union y fargen y mae ADR croit yn ei disgrifio, o’r ochr arall.
Dau Ateb i’r Un Cwestiwn
Dechreuodd y ddau brosiect o’r un sylw: mae’r OSD clasurol yn gwastraffu caledwedd cyflym. Rhoesant atebion gwahanol iawn.
Ateb y gymuned yw ateb Crimson. Ailysgrifennu’r OSD yn ei le, y tu mewn i Ceph, cadw pob hen storfa a phob hen yriant yn gweithio tra bo’r storfa newydd yn aeddfedu, a gadael i bawb weld y gwaith wrth iddo ddigwydd. Mae hynny’n araf, ac mae’n dangos. Yn Umbrella, mae’r OSD Crimson rhagosodedig yn dal i redeg BlueStore drwy gronfa edafedd, mae ei pools ei hun wedi’u ffensio oddi wrth dy rai di, ac mae ei droi ymlaen yn golygu teipio’r geiriau ‘unrecoverable data corrupting’. Ond mae’n perthyn i bawb sy’n rhedeg Ceph, ac ni all neb ei gymryd oddi arnat ti.
Ateb y gwerthwr yw ateb FlashStore. Dewis targed culach, NVMe gyda diogelu rhag colli pŵer, taflu allan popeth a fodolai ar gyfer caledwedd arall yn unig, a chludo storfa sy’n llithro i mewn i’r pools sydd gennyt ti eisoes. Mae hynny’n gyflymach, ac mae hynny’n dangos hefyd. Ond daw o un cwmni, fel cipluniau darllen yn unig tan ei ryddhad cynhyrchu cyntaf, ac ar glwstwr stoc mae’n cael mynediad drwy ddweud wrth y monitor mai BlueStore ydyw.
Rwy’n gweithio i’r cwmni hwnnw, felly pwysa’r hyn sy’n dilyn yn unol â hynny. Gwnaeth croit y bet dechnegol gywir ar gyfer clystyrau holl-fflach. Gwnaeth Crimson y bet gywir i Ceph fel prosiect. Nid yr un peth yw’r rheini. Ni all prosiect sy’n gwasanaethu pawb ollwng HDDs. Gall gwerthwr, a dylai, os mai dyna mae ei gwsmeriaid yn ei brynu.
Yr hyn na fyddwn i’n ei wneud yw dewis rhyngddynt ar sail siart meincnod o’r naill ochr na’r llall. Mae niferoedd Crimson yn dibynnu ar ba un o’i dair storfa oedd yn rhedeg; daw rhai FlashStore o labordy croit ei hun. Mae’r ddau brosiect yn cyhoeddi eu dogfennau dylunio. Darllena nhw, yna rho’r ddau ar y gyriannau y byddet ti’n eu lleoli mewn gwirionedd, a rheda dy lwyth gwaith dy hun. Yr un sy’n dal i wneud yr hyn mae ei ddogfennau’n ei ddweud pan mai dy ddata di sydd yn y fantol yw’r un sy’n werth aros amdano.
Ceph Umbrella, Crimson (Tech Preview) — ‘the next generation
ceph-osd’, ‘not suitable for production use’, y fflagiau gofynnol,crimson_cpu_num, ôl-benau brodorol ac anfrodorol, SeaStore ‘not the default’,--method rawheb ei gefnogi. Ffynhonnell:doc/crimson/crimson.rstat v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎croit ceph-rust, README at snapshot 48f9014 — yr honiad amnewid uniongyrchol, rhagolwg ers 9 Tachwedd 2026, GA Ch1 2027, ‘not yet recommended for production data’, ‘no issue tracker, no contribution workflow’. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
Seastar — y fframwaith C++ y mae Crimson wedi’i adeiladu arno. ↩︎ ↩︎
ceph-rust ADR 0003, green-field, no Crimson fork — ‘Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -> complexity. Complex code is never fast.’; fforc wedi’i wrthod oherwydd ‘C++, complexity, LGPL’. ↩︎ ↩︎ ↩︎
ceph-rust ADR 0164, licences — dyddiedig 2026-10-17; daemon
LGPL-3.0-only. ↩︎CISA, NSA, FBI, ASD’s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (December 2023) — ‘Programming languages such as C and C++ are examples of memory unsafe programming languages’; Rust ‘can contain the “unsafe” keyword’. ↩︎ ↩︎
CISA and FBI: Product Security Bad Practices, v2.0 (January 2025) — llinellau cynnyrch newydd ar gyfer seilwaith critigol ‘in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous’. ↩︎
ceph-rust ADR 0002, language: Rust — ‘Storage = correctness-critical; memory-safety bugs = data loss’;
unsafe‘confined to ffi/dma/nvme/net-driver modules with SAFETY comments’; SPDK a DPDK drwy FFI. ↩︎ ↩︎ ↩︎Ceph v21.2.0,
crimson/osd/shard_services.cc— ‘ignoring pgid {}, pool lacks crimson flag’. ↩︎ ↩︎Ceph v21.2.0,
OSDMonitor.cc, crimson pool creation — ‘crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to “off”’. ↩︎Ceph v21.2.0,
OSDMonitor.cc, crimsonpg_numchanges — ‘pg merging is not yet supported in Crimson’. ↩︎Ceph v21.2.0,
crimson_allow_pg_split— ‘Allow Crimson pools to increase their PG count (split)’, rhagosodiad true. ↩︎Ceph v21.2.0,
OSDMonitor.cc, EC pools for Crimson — ‘For Crimson - only EC-optimized pools are supported’, ‘Omap is not supported by EC pools in crimson’. ↩︎ ↩︎ceph-rust docs, erasure-coded pools — EC etifeddol ac optimeiddiedig yn cael eu gwasanaethu’n ddiofyn; pools heb eu cefnogi yn cael eu gwrthod gan yr OSD. ↩︎
Ceph v21.2.0,
MonCommands.h,osd pool create—name=crimson,type=CephBool,req=false, yr unig le y derbynnir y fflag. ↩︎Ceph v21.2.0,
MonCommands.h,osd pool set— y newidynnau y gellir eu gosod; nid ywcrimsonyn eu plith. ↩︎Ceph Umbrella, RBD image live-migration — ‘RBD images can be live-migrated between different pools’. ↩︎
ceph-rust docs, migrate from classic — ychwanegu neu ryddhau gyriant, paratoi FlashStore, gadael i’r ôl-lenwi symud y data. ↩︎
Ceph v21.2.0,
crimson/osd/osd.cc—m->metadata["osd_type"] = "crimson". ↩︎Ceph v21.2.0,
OSDMonitor.cc, boot check — ‘Disallowing boot of crimson-osd without allow_crimson OSDMap flag’, ‘considered unstable and may result in crashes or data loss’. ↩︎ceph-rust ADR 0019, report
osd_objectstore=bluestore— dim allweddosd_type, gatiau nodweddion BlueStore y monitor. ↩︎ ↩︎ ↩︎Ceph v21.2.0,
crimson.yaml.in—crimson_reactor_idle_poll_time_us200,crimson_poll_mode‘at the expense of 100% cpu usage’ rhagosodiad false,crimson_bluestore_num_threads. ↩︎ ↩︎Ceph v21.2.0,
seastore_require_partition_count_match_reactor_count— ‘disable osd shards changes upon restart’, rhagosodiad true. ↩︎ceph-rust ADR 0006, thread-per-core runtime — un edefyn holi prysur wedi’i binio i bob craidd, PGs yn eiddo i un craidd. ↩︎
ceph-rust ADR 0004, storage I/O — SPDK a haen io_uring, segura wedi’i amseru gan y ddyfais. ↩︎
ceph-rust docs, configuration reference —
flashstore_coresrhagosodiad 8,flashstore_lcores,flashstore_store_shardsyn sefydlog wrth baratoi. ↩︎Ceph Umbrella, SeaStore developer documentation — gwraidd i bob adweithydd, coed onode, OMAP, LBA a backref, ‘clean’ un beit am bob beit a ysgrifennir, trefn cofnod y dyddlyfr, ôl-ben RBM. Ffynhonnell:
doc/dev/crimson/seastore.rstat v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ceph-rust ADR 0021, storage engine — un goeden B+ COW i bob shard, ymrwymo cyfochrog, pwyntiau gwirio, cynnal a chadw cefndir, dewisiadau a wrthodwyd gan gynnwys cynllun wedi’i strwythuro fel log a ‘Per-object omap subtree/root’. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
Ceph v21.2.0,
crimson/os/seastore/cached_extent.h— ‘Returns crc32c of buffer’. ↩︎Ceph v21.2.0,
seastore_main_device_type— ‘The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)’, rhagosodiadSSD. ↩︎ ↩︎Ceph v21.2.0,
seastore_segment_size— rhagosodiad 64 MiB. ↩︎Ceph v21.2.0,
crimson/net/SocketMessenger.cc— ‘ProtocolV1 is no longer supported’. ↩︎ceph-rust ADR 0168, out of scope — msgr1 allan, v2 yn unig. ↩︎
ceph-rust docs, hardware and host requirements — PLP yn ofynnol, namespaces cyfan. ↩︎