OSD Rust, ar y Diwrnod y Cafodd ei Ryddhau

Rhoddodd croit OSD FlashStore mewn rhagolwg cyhoeddus ar 9 Tachwedd 20261. OSD Ceph yw e, wedi’i ysgrifennu o ddim yn Rust, gyda’i storfa wrthrychau ei hun yn lle BlueStore, ac mae’n siarad protocol gwifren Ceph. Yr honiad yw ei fod yn llithro i mewn i glwstwr rwyt ti eisoes yn ei redeg: mae dy fonitorau, dy reolwyr, dy CLI ceph a dy gleientiaid yn aros fel y maen nhw, ac rwyt ti’n newid un gyriant ar y tro1.

Mae’r honiad hwnnw’n bwysicach i siop Proxmox nag i’r rhan fwyaf. Ar nod Proxmox VE cydgyfeiriedig, nid rhywbeth rwyt ti’n ei osod ar wahân yw Ceph. Mae’n dod o GUI Proxmox, o ystorfeydd Proxmox ei hun, wedi’i adeiladu a’i glytio gan Proxmox, ac mae’r cyfan yn cael ei yrru gan pveceph. Os gall OSD gan rywun arall eistedd y tu mewn i hynny heb ei dorri, rwyt ti’n cael peiriant storio newydd heb roi’r gorau i’r offer. Os na all, rwyt ti’n darganfod hynny’r ffordd galed, ar nod sydd hefyd yn rhedeg dy VMs.

Felly rhoddais gynnig arni.

Rwy’n gweithio i croit, sy’n gwneud FlashStore. Dyna pam y rhoddais gynnig arni o fewn deuddydd iddo gael ei ryddhau, a dyna hefyd y rheswm nad oes dim isod wedi’i feddalu. Rhagolwg yw e, mae’r README yn dweud ei fod ‘not yet recommended for production data’1, a chofnod o’r hyn a gymerodd ar git go iawn yw hwn, nid llyfryn.

Pwy sy’n darparu beth ar un nodDisg VM ar RBDQEMU gyda’r librbd mae Proxmox yn ei gludoGan Proxmox: pvecephceph-mon, ceph-mgr 21.2.0-pve1CLI, GUI, pools, storfa RBDwedi’u gosod o ddewin 8006Gan croit: FlashStorecroit-flashstore-osd 21.2.0un daemon i bob Optanewedi’i osod o .deb, â llawGyriant cychwyn SN750: byth yn OSD8 × Optane P4800X, 4 KiB, namespace cyfan
Pwy sy’n darparu beth. Proxmox sy’n gosod y monitor a’r rheolwr ac sy’n berchen ar y GUI, y pools a diffiniad y storfa. Dim ond daemonau’r OSD mae pecyn croit yn eu darparu, un i bob gyriant.

Yr ateb byr: mae’n gweithio. Mae wyth OSD FlashStore yn gweini pool RBD i VM ar nod Proxmox VE 9.2 stoc wrth i mi ysgrifennu hwn, HEALTH_OK. Yr ateb hirach yw iddo gymryd dau atgyweiriad nad yw’r ddogfennaeth yn sôn amdanynt, un oherwydd y ffordd mae Proxmox yn cadw ei ffurfweddiad Ceph ac un oherwydd cnewyllyn Proxmox, a’r atgyweiriadau hynny a sut y cawsant eu canfod yw gweddill y post hwn. Os mai dim ond ei gael i redeg rwyt ti eisiau, mae sgript tua’r diwedd sy’n gwneud y cyfan, ac mae wedi cael ei rhedeg ar y nod hwn.

Y Bocs

Un nod yw’r labordy, pve2, ar fy LAN gartref, a mini PC Minisforum B550 digon sâl o 2021 yw e. Nid fel hyn y byddet ti’n rhedeg Ceph mewn cynhyrchu ar un nod, a’r rheol CRUSH ymhellach i lawr yw pris hynny, ond mae pob cam yma yr un fath ar nod sydd â chymdogion.

Proxmox VEpve-manager 9.2.26, cnewyllyn 7.0.14-28-pve, Debian 13.7
Peiriantmini PC Minisforum B550, 2021; mae’r bwrdd yn adrodd BESSTAR TECH B550, BIOS 5.17
CPUAMD Ryzen 7 5700G, 8 craidd, 16 edefyn, 1 nod NUMA
Cof58 GiB
Gyriannau OSD8 × Intel Optane P4800X 375 GB (6 â brand Dell, 2 Intel manwerthu)
PCIe i’r Optanesy cyfan o’r wyth y tu ôl i un switsh Broadcom PEX880xx, ar un cyswllt PCIe 3.0 x16 o’r APU
Gyriant cychwynWD SN750 512 GB, VG pve, wedi’i gadw allan o hyn i gyd
Rhwydwaithun porth 2.5 GbE, vmbr0
FlashStoresnapshot-2026-11-10, ymrwymiad i fyny’r afon c5792750020e2

Mae’r Optanes yno oherwydd bod gan FlashStore ddau ofyniad caeth y mae llawer o yriannau’n methu. Rhaid i’r gyriant gael diogelu rhag colli pŵer, a rhaid i’r namespace ddefnyddio blociau 4096 beit, fel namespace cyfan heb raniadau na system ffeiliau arno1. Mae FlashStore yn cydnabod ysgrifiad pan fydd yn wydn ar y gyriant, felly mae gyriant sy’n dweud celwydd am wydnwch gyda cache anweddol yn cael ei wrthod wrth mkfs3. Mae pob P4800X yn adrodd dim cache ysgrifennu anweddol yn ei ddata Identify (vwc 0), sef y gyriant ei hun yn dweud na all y cache golli ysgrifiad sydd wedi’i gydnabod.

O’r herwydd, y mini PC yw’r ffactor cyfyngol yn yr archwiliad manwl hwn, nid FlashStore ac nid y gyriannau. Mae wyth craidd yn golygu un i bob OSD a dim i’w sbario, rhaid i 58 GiB fwydo Ceph a’r VMs fel ei gilydd, ac mae wyth Optane yn rhannu un cyswllt PCIe 3.0 am mai dyna’r cyfan sydd gan yr APU i’w roi. Darllen pob rhif isod fel yr hyn mae’r bocs hwn yn ei ganiatáu.

Umbrella neu Ddim

Mae FlashStore wedi’i adeiladu ar gyfer un rhyddhad Ceph ar y tro. Y gangen sy’n penderfynu: mae main yn siarad Ceph 21.2.0 Umbrella, ac mae cangen v20.2.4 yn siarad 20.2.4 Tentacle4. Mae’r daemon yn gwirio rhyddhad y clwstwr pan fydd yn cychwyn ac yn gwrthod un y tu allan i’w ffenestr4. Mae’r pecynnau ar y dudalen ryddhau wedi’u hadeiladu o main, ac mae’r deuaidd yn dweud hynny ei hun: croit-flashstore-osd 21.2.0 umbrella.

Mae Proxmox VE 9 yn cynnig tair ystorfa Ceph, a dim ond un ohonynt sy’n cyd-fynd.

Ffenestr y fersiwnYstorfeydd Proxmox VE 9Canghennau FlashStoreceph-squid: 19.2.7dim cangen squidceph-tentacle: 20.2.5nid 20.2.4 yw 20.2.5v20.2.4: tentacle 20.2.4ceph-umbrella: 21.2.0-pve121.2.0 yn cyfatebmain: umbrella 21.2.0Mae’r daemon yn gwrthod rhyddhad clwstwr y tu allan i’w ffenestr.
Mae ystorfa Tentacle Proxmox eisoes wedi symud heibio 20.2.4, ac nid oes cangen Squid o gwbl. Umbrella 21.2.0-pve1 yw’r un rhyddhad lle mae’r ddwy ochr yn cytuno.

Tentacle yw rhagosodiad Proxmox, felly ai dyna’r dewis diogel? Dyna’r un na fydd yn gweithio. Mae ystorfa Proxmox yn cario Tentacle hyd at 20.2.5-pve1, ac mae cangen Tentacle FlashStore yn targedu 20.2.4 yn union. Umbrella yn ystorfa Proxmox yw 21.2.0-pve1, yr un rhyddhad ag y mae main yn ei dargedu.

Nid yw Proxmox yn cuddio beth yw Umbrella. Mae PVE/Ceph/Releases.pm yn ei restru gydag unsupported => 15, ac mae dewin y GUI yn dweud hynny mewn geiriau plaen yr eiliad rwyt ti’n ei ddewis.

Dewin gosod Ceph Proxmox gydag umbrella (21.2) wedi’i ddewis a’r ystorfa no-subscription, yn dangos y nodyn mai Rhagolwg Technoleg yw’r rhyddhad ac nad yw’r Ystorfa Enterprise ar gael eto

‘Technology Preview’, dim ystorfa enterprise, ac mae’r gosodwr yn gofyn yr eildro yn y derfynell, continue (y/N)?, cyn iddo gyffwrdd ag apt. Dyna’r swm iawn o rybudd, ac mae’n werth ei ddarllen fel datganiad am y pentwr cyfan: OSD rhagolwg ar ryddhad Ceph rhagolwg.

Proxmox stoc yw’r gosodiad. Datacenter → Ceph → Install, fersiwn Umbrella, ystorfa No-Subscription, yna’r rhwydwaith cyhoeddus a’r monitor cyntaf.

Terfynell yn newin Ceph Proxmox yn rhestru pecynnau Umbrella, gan gynnwys ceph-osd a ceph-osd-classic, 13 wedi’u huwchraddio a 46 wedi’u gosod o’r newydd

Tri ar ddeg o becynnau wedi’u huwchraddio, 46 newydd, 107 MB wedi’u lawrlwytho. Mae un peth ar y rhestr honno’n newydd yn Umbrella: ceph-osd-classic ochr yn ochr â ceph-osd. Nid yw’r naill na’r llall yn cael ei ddefnyddio yma, oherwydd nid oes OSD clasurol byth yn cael ei greu. Tua munud yn ddiweddarach roedd mon.pve2 a mgr.pve2 yn rhedeg, adroddodd ceph versions 21.2.0 … umbrella, ac roedd yr iechyd yn OK heb ddim i’w storio eto.

Pedwar Gyriant ar 512 Beit

Roedd pedwar o’r wyth Optane wedi’u pasio drwodd i VM labordy ac roedden nhw’n dal mewn fformat 512 beit, gyda hen labeli ZFS arnynt. Roedd gan ddau arall y fformat cywir a’r un labeli. Mae’r atgyweiriad i’r ddau yn blaen: eu tynnu oddi ar y VM, fformatio i 4 KiB, sychu’r labeli.

Mae’r P4800X yn cynnig 4096 beit heb fetadata fel fformat LBA 3, y mae nvme id-ns yn ei adrodd fel lbaf 3 : ms:0 lbads:12.

nvme format /dev/nvme0n1 --lbaf=3 --force --timeout=900000
wipefs -a /dev/nvme0n1
sgdisk --zap-all /dev/nvme0n1

Methodd yr ymgais gyntaf, ac felly hefyd un ddiweddarach. Y ddau dro daeth nvme format yn ôl gydag Interrupted system call ac roedd y gyriant yn dal ar 512 beit. Mae’r rheswm yn log y cnewyllyn:

nvme nvme0: I/O tag 0 (0000) opcode 0x2 (Admin Cmd) QID 0 timeout, reset controller
nvme nvme1: I/O tag 9 (0009) opcode 0x6 (Admin Cmd) QID 0 timeout, reset controller

Get Log Page yw opcode 0x2 ac Identify yw 0x6. Nid y fformat yw’r naill na’r llall. Mae P4800X yn fformatio’r cyfrwng cyfan, a chymerodd hynny 345 i 351 eiliad i bob gyriant yma. Tra mae’n rhedeg, nid yw’r rheolydd yn ateb gorchmynion gweinyddol eraill, felly mae unrhyw beth sy’n gofyn cwestiwn i’r gyriant yn aros. Ar ôl terfyn amser gweinyddol 60 eiliad y cnewyllyn mae’n rhoi’r gorau iddi ac yn ailosod y rheolydd, ac mae’r ailosod yn lladd y fformat.

Sut mae fformat yn cael ei erthylunvme format345 i 351 ei bob P4800XGorchymyn adminsmartctl, nvme list,adnewyddu disg GUITerfyn 60 ecnewyllyn yn ailosody rheolyddFformat wedi’i erthyluEINTR, rc 1gyriant yn dal 512 BAtgyweiriad: rhedeg pob fformat yn ei uned systemd ei hun, un gyriant ar y tro,ac anfon dim byd arall i’r gyriannau nes iddo orffen.
Nid y fformat yw’r gorchymyn sy’n mynd dros amser. Mae rhywbeth arall yn gofyn cwestiwn i’r gyriant, yn aros y tu ôl i’r fformat, ac mae’r ailosod sy’n dilyn yn ei erthylu.
YmgaisBeth gyrhaeddodd y gyriantCanlyniad
nvme0, cyntafGet Log Page am 09:53:04, ynghanol gosod Cephwedi’i erthylu, yn dal 512 B
nvme0, mewn uneddim4 KiB mewn 345 e
nvme1fy nvme list fy hun, yn gwirio’r cynnyddwedi’i erthylu, yn dal 512 B
nvme2, nvme3dim4 KiB mewn 351 e a 350 e
nvme1, ar ei ben ei hundim4 KiB mewn 346 e

Yr atgyweiriad yw rhedeg pob fformat mewn uned dros dro gyda therfyn amser hir, un gyriant ar y tro, a gadael llonydd i’r gyriannau nes iddo orffen:

systemd-run --unit=fmt4k /root/fmt4k.sh
journalctl -u fmt4k -f       # read progress from the journal, not from the drive

Felly yr unig wiriad cynnydd yw’r journal, a does dim yn cyrraedd y rheolydd. Yna darllenodd y cyfan o’r wyth 4 KiB yn nvme list.

Y Pecyn

Mae’r dudalen ryddhau’n cario pecynnau .deb ac .rpm, gyda Debian 13 trixie yn eu plith, sef yr hyn mae Proxmox VE 9 wedi’i adeiladu arno2. Mae un adeiladwaith yn gwasanaethu pob dosbarthiad, ac angen glibc 2.34 neu fwy newydd6.

B=https://github.com/croit/ceph-rust/releases/download/snapshot-2026-11-10-0b6783237291
curl -LO "$B/flashstore_21.2.0+git.20261110063351.c5792750020e_debian-trixie_amd64.deb"
curl -LO "$B/sha256sums.txt"
sha256sum flashstore_*_debian-trixie_amd64.deb
grep debian-trixie/flashstore_ sha256sums.txt

Gwiria fe â llaw. Ni all sha256sum -c wirio’r lawrlwythiad hwn, oherwydd mae’r ffeil sieciau’n ei enwi’n debian-trixie/flashstore_…_amd64.deb tra bo’r ased yn cael ei alw’n flashstore_…_debian-trixie_amd64.deb. Mae’r stwnshiau’n cyfateb, ce1fb352…26c8 ar y ddwy ochr, felly mae’r ffeil yn iawn a dim ond y rhestr sydd allan o gam â’r asedau.

apt install ./flashstore_*_debian-trixie_amd64.deb
croit-flashstore-osd --version
croit-flashstore-osd 21.2.0 umbrella (build 0.0.0) git c5792750020e
net tiers: kernel (+rdma upgrade)

Gosododd yn lân ochr yn ochr â ceph-osd a ceph-osd-classic Proxmox ei hun. Mae’r pecyn yn gosod ceph-osd.target lleiaf dim ond ar westeiwyr sydd heb un6, ac mae gan Proxmox un yn barod, felly mae unedau FlashStore yn hongian oddi ar yr un target ag y byddai’r rhai clasurol.

Tri pheth am y pecyn sy’n werth eu gwybod cyn i ti sgriptio yn ei erbyn:

Beth mae’r dogfennau’n ei ddweudBeth yw’r pecyn
Enw’r pecynapt remove flashstore …6croit-flashstore-osd, flashstore_… yw ffeil yr ased
Backends storfaset nodweddion cynhyrchu main yw knet,spdk,rdma,mimalloc1dim SPDK: mae --check yn adrodd ‘SPDK NVMe driver: compiled out’
Gwerthoedd flashstore_devspdk:<pci>, neu file: mewn adeiladweithiau datblygu7haen y cnewyllyn, kernel:/dev/…, yw’r unig lwybr storfa go iawn yn yr adeiladwaith hwn

Mae’r rhes ganol yn bwysig. Nid yw haen SPDK, y gyrrwr NVMe gofod defnyddiwr sydd angen i’r gyriant gael ei rwymo i vfio-pci, yn y pecyn Debian cyhoeddedig. Yr hyn sydd ynddo yw haen y cnewyllyn: mae’r gyriant yn aros ar yrrwr nvme y cnewyllyn ei hun ac mae FlashStore yn siarad ag ef drwy io_uring. Mae’r cod ffynhonnell yn dangos ei fod wedi’i grynhoi i mewn, oherwydd mae’r nodwedd knet yn tynnu kernel-nvme i mewn8, er bod llinell grynodeb gwiriad y gwesteiwr yn ei alw’n ‘compiled out of this build’. Mae’r llinell honno’n anghywir. Byddai darllenydd sy’n ei chredu yn stopio yn y fan a’r lle.

Beth Mae Gwiriad y Gwesteiwr yn ei Ddweud

Mae croit-flashstore-osd --check yn ddarllen yn unig ac yn rhedeg cyn i ddim gael ei ysgrifennu. Mae’n gwirio’r adeiladwaith, y CPU, y cof, yr IOMMU, pob rheolydd NVMe, y NIC, y cnewyllyn a’r ffurfweddiad, ac yn argraffu’r union atgyweiriad ar gyfer pob canfyddiad9. Ar y nod hwn rhedodd 115 o wiriadau, ac mae’n dda: mae pob canfyddiad yn dod gyda’r gorchymyn sy’n ei drwsio, a arbedodd lwyth o dyrchu.

CanfyddiadCanlyniadBeth wnes i
Hugepages: dim wedi’u cadwFAILcadw’r 16 GiB a ofynnodd amdanynt, wedi’u parhau yn /etc/sysctl.d
Gyriant cychwyn SN750: cache ysgrifennu anweddolFAILdim, nid yw’n ymgeisydd OSD
vfio-pci heb ei lwythoWARNdim, does gan yr adeiladwaith hwn ddim SPDK i’w ddefnyddio
terfyn memlock 8 MiBWARNdim, mae’n mesur y plisgyn; mae’r uned yn gosod LimitMEMLOCK=infinity
dim isolcpus / nohz_fullWARNwedi’i gofnodi, tiwnio hwyrni
IOMMU wedi’i drosi, nid iommu=ptWARNwedi’i gofnodi
init_on_alloc=1WARNwedi’i gofnodi, mae’n costio 15 i 20 % o’r CPU ar ddarlleniadau mawr, meddai
porth 2.5 GbE, cylchoedd NIC rhagosodedig, IRQs ar bum CPUWARNwedi’i gofnodi
8 × P4800X: dim VWC, 4096+0 yn weithredol, x4 ar 8 GT/s, rhyddOK
io_uring gyda SEND_ZC a byfferau sefydlog, cnewyllyn 7.0OK

Cynllunia ar gyfer yr ail FAIL. Mae’r gwiriad yn cyfrif pob rheolydd yn y bocs, ac mae gan yr SSD cychwyn gache ysgrifennu, felly mae’n methu’r prawf colli pŵer, er bod yr un gwiriad yn ei farcio’n gywir yn ‘in use, not a candidate’. Mae’r tiwtorial yn dweud bod exit 0 yn golygu dim FAIL9. Ar unrhyw westeiwr sy’n cychwyn o SSD defnyddwyr, sef llawer o westeiwyr Proxmox, ni all --check adael gydag exit 0, beth bynnag rwyt ti’n ei drwsio. Sgriptia yn erbyn y llinellau fesul gwiriad, nid y cod gadael.

Arhosodd y WARNs tiwnio. Mae pob un ohonynt angen newid i linell orchymyn y cnewyllyn ac ailgychwyn, a gosodiad yw hwn, nid meincnod. Nhw yw’r rhestr iawn i weithio drwyddi cyn i unrhyw un ddyfynnu rhif o’r bocs hwn.

Creiddiau a hugepages ar gyfer wyth OSD

Mae FlashStore yn rhedeg un edefyn i bob craidd, ac mae’r gwiriad yn sillafu beth mae hynny’n ei olygu: ‘one core = one shard/PG owner’, 8 craidd ar y mwyaf i bob OSD, a phob craidd OSD ar ei graidd ffisegol ei hun yn hytrach na rhannu un â brawd SMT. Mae wyth craidd ffisegol ac wyth OSD yn gwneud hynny’n un craidd yr un, flashstore_lcores = 0 hyd at 7, gyda’r brodyr SMT wedi’u gadael i Proxmox a’r VMs. O’i redeg eto gyda hynny yn y ffurfweddiad, mae’r gwiriad yn marcio pob cynllun craidd yn OK.

Creiddiau a hugepages ar un bocsUn OSD i bob craidd ffisegol; brodyr SMT wedi’u gadael i’r gwesteiwr0: osd.01: osd.12: osd.23: osd.34: osd.45: osd.56: osd.67: osd.7edafedd 8 i 15: Proxmox, VMs, edafedd cynorthwyol OSDHugepages: 16 GiB wedi’u cadw, 4 GiB yn cael eu defnyddio gan wyth OSD4 GiB yn cael eu defnyddio12 GiB wedi’u cadw ac yn segur, o 58 GiB ar y gwesteiwr
Un craidd ffisegol i bob OSD. Mae’r gronfa hugepages wedi’i maintioli ar ragosodiad y gwiriad o 2048 MiB i bob OSD, ac mae pob OSD sy’n rhedeg wedi cymryd chwarter ohoni.

Edrycha eto ar yr hugepages. Mae’r gwiriad yn gofyn am 2048 MiB i bob OSD, sef --mem rhagosodedig y daemon, felly mae angen cadw 16 GiB ar gyfer wyth OSD. Wrth redeg, mae pob OSD wedi defnyddio 512 MiB o’i 2048. Mae hynny’n cyfateb i nodyn dylunio croit ei hun ar gyfer backend y cnewyllyn, sy’n cyllidebu chwarter --mem ar gyfer ei ddyrannwr llwyth10. Felly ar y bocs hwn, gyda’r cyfan o’r wyth yn rhedeg, mae 12 GiB o RAM wedi’i gadw fel hugepages nad oes dim yn eu cyffwrdd, ar westeiwr sydd hefyd â VMs i’w bwydo. Byddai nod storio’n codi ei ysgwyddau. Ar nod Proxmox, VM oedd y cof hwnnw, ac ymhellach i lawr mae’n cael ei docio’n ôl i’r hyn mae’r OSDs yn ei ddefnyddio.

Ga i Ofyn Pam na All Ddarllen ceph.conf?

Gyda’r gyriannau wedi’u fformatio, y pecyn i mewn a gwiriad y gwesteiwr yn glir, ni fyddai’r OSD cyntaf yn cychwyn.

croit-flashstore-tool: refused: /etc/ceph/ceph.conf: Permission denied (os error 13)

Ar Proxmox, mae /etc/ceph/ceph.conf yn ddolen symbolaidd i /etc/pve/ceph.conf, a pmxcfs yw /etc/pve, y system ffeiliau clwstwr sy’n cadw ffurfweddiad pob nod mewn cam. Mae ffeiliau yno’n root:www-data 0640, ac nid yw pmxcfs yn gadael i ti newid hynny fesul ffeil11. Mae daemonau Ceph Proxmox ei hun yn ymdopi oherwydd eu bod yn cychwyn fel root, yn darllen y ffurfweddiad, ac yna’n gollwng i’r defnyddiwr ceph, sef yr hyn mae --setuser ceph --setgroup ceph ar bob uned ceph-osd@ yn ei wneud.

Nid yw uned FlashStore yn cychwyn fel root. Mae’n User=ceph o’r cyfarwyddyd cyntaf, ExecStartPre yn gynwysedig12, felly nid yw byth yn cael darllen y ffeil.

Ga i ofyn pam na chafodd pecyn a adeiladwyd ar gyfer Debian, ar gyfer cynnyrch sydd i fod i lithro i mewn, ei roi ar brawf yn erbyn y platfform Ceph mwyaf cyffredin sy’n seiliedig ar Debian sydd i’w gael? Dydw i ddim yn gofyn pwy. Mae pveceph yn cadw ei ffurfweddiad ar pmxcfs, a bydd pob OSD FlashStore ar nod sy’n cael ei reoli gan pveceph yn taro hyn ar ei gychwyn cyntaf.

Mae’r ateb gan y daemon yn barod. Mae ei god ffynhonnell yn disgrifio gollyngiad --setuser/--setgroup clasurol: ‘started as root by a classic unit (--setuser ceph --setgroup ceph), the daemon becomes that user before it opens the store, a socket or a file’13. Felly dylai drop-in sy’n cychwyn yr uned yn y ffordd mae Proxmox yn cychwyn ei OSDs ei hun fod yn ddigon.

Nid oedd yn hollol. O’i gychwyn fel root plaen, y gyriant oedd y gwrthodiad nesaf.

activate: device kernel:/dev/ng0n1 not ready: /dev/nvme0n1: Permission denied (os error 13)

Mae CapabilityBoundingSet yr uned yn gadael CAP_DAC_OVERRIDE allan12, felly mae root yn cael ei ddal at ganiatâd ffeiliau cyffredin, ac mae nodau’r namespace yn perthyn i ceph:ceph. Mae cychwyn fel root gyda’r grŵp wedi’i osod i ceph yn delio â’r ddau: root sy’n berchen ar y ffeil ffurfweddu, mae’r grŵp ceph yn agor y gyriant, ac mae’r daemon yn gollwng i ceph cyn iddo wneud dim arall.

Tair ffordd o gychwyn yr unedFel y’i cludirUser=ceph Group=ceph/etc/pve/ceph.conf root:www-data 0640Permission denied wrth ddarllen y confCychwyn fel rootdim CAP_DAC_OVERRIDE/dev/nvme0n1 ceph:ceph 0660Permission denied wrth agor y gyriantRoot, grŵp cephyna --setuser cephconf wedi’i darllen fel perchennog, gyriant ar agor fel grŵp,daemon yn rhedeg fel ceph
Ni all yr uned fel y’i cludir ddarllen pmxcfs. Ni all root plaen agor y gyriant, oherwydd mae’r set ffiniau’n tynnu’r override i ffwrdd. Mae root gyda’r grŵp ceph yn gwneud y ddau, yna’n gollwng.
# /etc/systemd/system/croit-flashstore-osd@.service.d/pve-ceph-conf.conf
[Service]
User=root
Group=ceph
ExecStart=
ExecStart=/usr/bin/croit-flashstore-osd run --id %i --cluster ${CLUSTER} -f --setuser ceph --setgroup ceph

Mae’r daemon yn cadarnhau’r gollyngiad yn ei log ei hun: set uid:gid to 64045:64045 (ceph).

Mae atgyweiriad byrrach, SupplementaryGroups=www-data, ac ni wnes i ei ddefnyddio. Byddai’n gadael i’r OSD ddarllen pob ffeil y gall y grŵp ei darllen o dan /etc/pve, nid ffurfweddiad Ceph yn unig. Does gan OSD ddim busnes yn darllen gweddill ffurfweddiad y clwstwr, ac nid yw’r drop-in uchod yn rhoi dim mwy iddo nag y mae Proxmox yn ei roi i’w rai ei hun.

Yna nodau’r dyfeisiau. Mae dogfennau FlashStore yn dweud bod rhaid i nod y namespace fod yn ysgrifenadwy gan ceph, ‘(udev rule)’14, ac nid yw’r pecyn yn cludo un. Mae’r un hon yn cyfateb i’r gyriannau yn ôl model, felly ni all ddal y gyriant cychwyn beth bynnag mae’r rhifo’n ei wneud:

# /etc/udev/rules.d/70-croit-flashstore-optane.rules
SUBSYSTEM=="nvme-generic", KERNEL=="ng*n*", ATTRS{model}=="Dell Express Flash NVMe P4800X*|INTEL SSDPE21*", OWNER="ceph", GROUP="ceph", MODE="0660"
SUBSYSTEM=="block", KERNEL=="nvme*n*", ENV{DEVTYPE}=="disk", ATTRS{model}=="Dell Express Flash NVMe P4800X*|INTEL SSDPE21*", OWNER="ceph", GROUP="ceph", MODE="0660"

Ar ôl udevadm trigger, roedd yr un ar bymtheg o nodau Optane yn ceph:ceph 0660 ac arhosodd yr SN750 yn root.

Y Passthrough na Wnaiff y Cnewyllyn Hwn

Mae gan haen y cnewyllyn ddau fodd, ac mae’r nod rwyt ti’n ei enwi yn dewis rhyngddynt. Mae kernel:/dev/ngXnY yn anfon gorchmynion NVMe yn syth i’r gyriant drwy io_uring, y mae croit yn ei alw’n kernel-cmd. Mae kernel:/dev/nvmeXnY yn gwneud darlleniadau ac ysgrifiadau O_DIRECT ar y ddyfais floc, o’r enw kernel neu uniongyrchol10. Mesurodd croit kernel-cmd ar y blaen ym mhob cell a brofwyd ganddynt10, ac mae cychwyn cyflym y README ei hun yn ei ddefnyddio1, felly dyna beth wnes i ei ffurfweddu.

Gyda’r caniatâd wedi’i ddatrys, gollyngodd y daemon i ceph, darllenodd ei ffurfweddiad, a stopiodd ar y darlleniad cyntaf:

croit-flashstore-osd: --dev kernel:/dev/ng0n1: /dev/ng0n1: kernel-cmd fixed-buffer probe read: Errno(13)

Roedd yr un prawf wedi pasio funud ynghynt yn activate, a oedd yn dal i gael galluoedd root. Felly’r cwestiwn yw a yw’r cnewyllyn hwn yn gadael i broses ddi-fraint anfon gorchmynion I/O i lawr /dev/ngXnY. Gellir ateb hynny heb FlashStore, gan ddefnyddio’r un darlleniad gyda nvme-cli, fel ceph:

FelGorchymyn ar /dev/ng0n1Canlyniad
cephIdentify Namespacewedi’i ganiatáu
cephRead, LBA 0, 4 KiBPermission denied
rootRead, LBA 0, 4 KiBwedi’i ganiatáu

Rhoddodd y cyfan o’r wyth Optane yr un ateb, gan gynnwys dau nad oeddwn erioed wedi’u fformatio na’u hailosod, yn rhedeg cadarnwedd Intel yn hytrach na Dell. Felly nid y gyriannau yw e ac nid fformatau’r bore.

Mae i fyny’r afon yn dweud y dylai weithio. Yn Linux 7.0, mae nvme_cmd_allowed() yn gadael i broses ddi-fraint anfon gorchymyn I/O pan fydd log Commands Supported and Effects y gyriant yn ei farcio’n gefnogedig heb effeithiau anarferol, ac mae’n mynnu agoriad ysgrifenadwy dim ond ar gyfer gorchmynion sy’n ysgrifennu neu’n newid data15. Mae log effeithiau’r P4800X yn marcio Read yn gefnogedig, 00000001, a dim byd arall. Mae’r darlleniad wedi’i ganiatáu.

Nid cnewyllyn i fyny’r afon yw cnewyllyn Proxmox. Mae ei log newidiadau ar gyfer yr adeiladwaith hwn yn cynnwys atgyweiriad wedi’i ôl-borthi ar yr union lwybr hwn, CVE-2026-90227: nvme/ioctl: check SUBMIT_IO with nvme_cmd_allowed(), sydd ar yr wyneb yn ymdrin ag ioctl gwahanol i’r un a brofais i. Nid wyf wedi canfod pa newid yn y cnewyllyn 7.0.14-28-pve sy’n gwneud y gwahaniaeth, ac nid wyf am ddyfalu. Yr hyn sy’n sicr yw’r ymddygiad: ar y cnewyllyn hwn, mae I/O passthrough NVMe di-fraint yn cael ei wrthod.

Mae gan FlashStore lwybr wrth gefn ar gyfer passthrough sy’n cael ei wrthod, ac ni wnaeth danio. Mae nodyn dylunio croit yn dweud, pan fydd Identify yn cael ei wrthod, fod dyfais kernel-cmd yn disgyn i I/O uniongyrchol ar ei nod bloc ac yn dweud hynny wrth gychwyn10. Yma mae Identify wedi’i ganiatáu a Read heb ei ganiatáu, felly nid yw’r llwybr wrth gefn byth yn sbarduno ac mae’r OSD yn stopio yn lle hynny.

Dwy ffordd i mewn i’r gyriantkernel-cmd: NVMe passthroughkernel: I/O bloc uniongyrcholio_uring URING_CMD/dev/ng0n1, nod generigwedi’i wrthod i’r defnyddiwr ceph: EACCESio_uring READ/WRITE_FIXED/dev/nvme0n1, O_DIRECTyn gweithio: dim ond rw ar y nod sydd ei angen
Mae passthrough yn mynd drwy wiriad caniatâd ioctl NVMe, ac mae cnewyllyn Proxmox yn ei wrthod i’r defnyddiwr ceph. Dim ond darllen ac ysgrifennu ar y nod sydd ei angen ar I/O uniongyrchol ar y ddyfais floc, ac mae’r rheol udev eisoes yn rhoi hynny.

Does dim ots gan I/O uniongyrchol. Un llinell i bob OSD yw e:

flashstore_store_backend = kernel

Gyda hynny, daeth osd.0 i fyny.

croit-flashstore-osd: store mounted (1 shards, replayed 4 txns in 16 ms)
croit-flashstore-osd: set uid:gid to 64045:64045 (ceph)
[    1.398] crush location set (create-or-move updating item name 'osd.0' weight 0.3359 at location {host=pve2,root=default} to crush map)
[    2.406] osd.0 is now active (up_from 10, map 10)

Yn weithredol mewn 2.4 eiliad.

Paratoi a Chychwyn yr OSDs

Mae pob OSD yn cael adran yn ffurfweddiad Ceph, sydd ar Proxmox yn golygu golygu /etc/pve/ceph.conf, ac mae’n iawn gwneud hynny â llaw.

[osd.0]
	flashstore_dev = spdk:0000:05:00.0
	flashstore_store_backend = kernel
	flashstore_lcores = 0

Mae’r ddyfais yn cael ei henwi yn ôl cyfeiriad PCI, nid yn ôl /dev/nvme0n1, ac nid yw’r rhagddodiad spdk: yn golygu SPDK yma. Gyda backend cnewyllyn wedi’i osod, mae’r daemon yn chwilio am y cyfeiriad yn sysfs bob tro mae’n cychwyn ac yn canfod nodau cyfredol y rheolydd10.

Enwi gyriant fel ei fod yn aros wedi’i enwi[osd.0]spdk:0000:05:00.0chwilio yn sysfsbob tro mae’n cychwyn/dev/nvme0n1/dev/ng0n1mae rhifau nvme yn dilyn trefn y chwilio, ac maen nhw wedi symud ar y gwesteiwr hwn:nvme7 oedd yr SN750 ym mis Hydref ac nvme8 yw e nawr.
Mae cyfeiriad PCI wedi’i bennu gan y slot. Mae rhif nvme wedi’i bennu gan drefn y chwilio, a dyw hwnnw ddim.

Mae hynny’n bwysig yma. nvme7 oedd y gyriant cychwyn SN750 ym mis Hydref ac nvme8 yw e nawr, ac nid yw minors y nodau generig yn dilyn trefn y gyriannau chwaith, gydag ng1n1 ar minor 0 ac ng0n1 ar minor 2. Gall ffurfweddiad sy’n dweud /dev/nvme4n1 bwyntio at yriant gwahanol ar ôl ailgychwyn. Ni all ffurfweddiad sy’n dweud 0000:0b:00.0.

Yna un gorchymyn i bob gyriant, yn ysgrifennu’r storfa ac yn cofrestru’r OSD gyda’r monitor:

croit-flashstore-tool prepare --dev spdk:0000:05:00.0 --id 0
kernel-cmd /dev/ng0n1: fixed-buffer NVMe passthrough probe ok (IORING_URING_CMD_FIXED on)
mkfs: device lba 4096 B x 91573146 (375083606016 B), awupf 1 lba, vwc false, max_xfer 32 lba
mkfs: 1 store shards, WAL ring 4096 MiB each
osd.0 prepared in /var/lib/ceph/osd/ceph-0

Dwy eiliad, fel root. Mae prepare yn darllen yr allwedd bootstrap o /var/lib/ceph/bootstrap-osd/ceph.keyring16, y mae pveceph ond yn ei hysgrifennu y tro cyntaf mae’n creu OSD ei hun, felly heb OSDs clasurol rhaid ei nôl yn gyntaf:

ceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring

Paratowyd chwe gyriant y tro cyntaf. Gwrthodwyd dau:

croit-flashstore-tool: refused: device is not empty (non-zero data in the first 8192 bytes); --wipe destroys it
croit-flashstore-tool: refused: device is not empty (non-zero data at 65536 bytes); --wipe destroys it

Roedd lsblk a blkid ill dau wedi adrodd bod y ddau yriant hynny’n wag. Yr hyn oedd arnynt oedd ardal fetadata testun grŵp cyfrolau LVM o labordy cynharach, wedi’i dynnu ers tro, gyda’r label ar y blaen wedi’i sero’n barod. Mae prawf FlashStore yn darllen yr 8 KiB cyntaf a’r rhanbarthau ar 64 KiB a 256 KiB17, sy’n bellach nag y mae’r offer arferol yn edrych, ac roedd yn iawn. Gwrthod gyriant sy’n dal unrhyw beth o gwbl, oni bai ei fod yn cael ei ddweud wrtho am --wipe, yw’r union beth y dylai offeryn OSD ei wneud. Penderfyniad i bwy bynnag sy’n berchen ar y gyriannau yw eu sychu, nid i’r offeryn. Unwaith i hynny gael ei benderfynu, paratôdd --wipe y ddau mewn tua dwy eiliad, ac ymunon nhw ar ôl y gosodiad ymhellach i lawr, a dyna pam mae sgrinlun y panel a ffigurau’r gosodiad yn dangos chwech.

Yna eu cychwyn:

systemctl enable --now croit-flashstore-osd@0
ID  CLASS  WEIGHT   TYPE NAME      STATUS  REWEIGHT  PRI-AFF
-1         2.01535  root default
-3         2.01535      host pve2
 0   nvme  0.33589          osd.0      up   1.00000  1.00000
 1   nvme  0.33589          osd.1      up   1.00000  1.00000
 2   nvme  0.33589          osd.2      up   1.00000  1.00000
 3   nvme  0.33589          osd.3      up   1.00000  1.00000
 4   nvme  0.33589          osd.4      up   1.00000  1.00000
 5   nvme  0.33589          osd.5      up   1.00000  1.00000

Rhoddodd pob OSD ei hun o dan host=pve2 gyda dosbarth dyfais nvme. Mae’n werth darllen unwaith beth maen nhw’n ei ddweud wrth y clwstwr amdanynt eu hunain:

MaesMonitor a rheolwrOSDs FlashStore
ceph versions21.2.0 (087cd25db8f1) umbrella (dev - None)21.2.0 (b060042deb05) umbrella (dev - croit-flashstore-osd)
Wedi’i adeiladu ganProxmox, pecynnau -pve1croit, o’r ymrwymiad v21.2.0 i fyny’r afon y mae’r README yn ei enwi1
osd_objectstorebluestore, gyda phob maes bluestore_bdev_* wedi’i lenwi
Beth yw e go iawnFlashStore, dim BlueFS, dim RocksDB

Mae’r ateb BlueStore yn fwriadol. Mae flashstore_report_objectstore yn rhagosod i bluestore oherwydd dim ond pan fydd pob OSD yn ei adrodd y mae monitorau clasurol yn galluogi rhai nodweddion, felly mae’r rhagosodiad yn cadw clwstwr cymysg i weithio7. Nid yw’n wir, ac mae’n werth gwybod hynny cyn i ti ddarllen metadata’r clwstwr a’i gredu.

Beth Mae Proxmox yn ei Wneud Ohonynt

Mae panel OSD Proxmox yn rhestru’r chwech, up ac in, dosbarth nvme, fersiwn 21.2.0, 344 GiB yr un. Mae hefyd yn eu galw’n FileStore.

Panel OSD Ceph Proxmox yn rhestru osd.0 i osd.5 o dan y gwesteiwr pve2, dosbarth nvme, OSD Type filestore, up ac in, fersiwn 21.2.0, 344.00 GiB yr un

FileStore yw’r storfa wrthrychau a ddisodlwyd gan BlueStore. Mae Proxmox yn gweithio’r label allan yn PVE/API2/Ceph/OSD.pm: os oes allwedd bluefs ym metadata’r OSD, BlueStore yw e, ac FileStore yw unrhyw beth arall18. Does gan FlashStore ddim BlueFS, oherwydd does dim RocksDB oddi tano, felly mae’n adrodd BlueStore mewn un maes ac yn cael ei labelu’n FileStore o un arall. Nid yw’r naill na’r llall yn iawn. A’r panel yw lle mae’r rhan fwyaf o weinyddwyr Proxmox yn edrych gyntaf.

Mae’r colofnau hwyrni’n darllen 0 / 0 yn segur. O dan y gosodiad isod, adroddodd ceph osd perf hwyrni ymrwymo o 0 i 3 ms ar draws y chwech.

Mae Start, Stop a Restart yn y panel yn gyrru ceph-osd@N, yr uned glasurol, nad dyna sy’n rhedeg19. O’r herwydd, golwg ar yr OSDs hyn yw’r panel, nid rheolydd ar eu cyfer. Defnyddia systemctl … croit-flashstore-osd@N a’r CLI ar gyfer unrhyw beth sy’n cyffwrdd â’r daemonau, a gad lonydd llwyr i Create: OSD a Destroy ar y rhain.

Pool, Storfa a VM Fisher-Price OS (Windows)

Eisteddodd y PG cyntaf yn y clwstwr, pool .mgr y rheolwr, yn undersized+degraded cyn gynted ag y daeth yr OSDs i fyny. Bai’r nod sengl yw hynny. Mae’r replicated_rule rhagosodedig yn rhoi pob copi ar westeiwr gwahanol, a dim ond un gwesteiwr sydd.

ceph osd crush rule create-replicated replicated_osd default osd nvme
ceph osd pool set .mgr crush_rule replicated_osd

Mae rheol gyda pharth methiant osd a dosbarth dyfais nvme20 yn rhoi pob copi ar OSD gwahanol, ac aeth y PG yn active+clean o fewn eiliadau. Ar glwstwr go iawn gyda thri gwesteiwr neu fwy, cadwa’r rheol gwesteiwr a hepgor hyn.

Mae popeth ar ôl hynny yn GUI Proxmox fel arfer. Ceph → Pools → Create: enw flashstore, size 3, min size 2, rheol replicated_osd, Add as Storage wedi’i dicio. Aeth i size 2, min size 1 yn ddiweddarach, ar gyfer y prawf llwyth ymhellach i lawr.

Panel pools Ceph Proxmox gyda’r pools .mgr a flashstore ar replicated_osd, a flashstore (pve2) wedi’i ychwanegu at goeden y storfa

Creodd Proxmox y pool a diffiniad storfa RBD ar yr un pryd, ac ymddangosodd flashstore yn y goeden gyda 654 GiB y gellir ei ddefnyddio, sef y 2 TiB crai wedi’i rannu â thri chopi, llai gorbenion. Aeth 129 PG yn active+clean, a daeth yr awto-raddiwr â’r pool newydd i lawr o 128 i 32 yn fuan wedyn.

VM Fisher-Price OS (Windows) yw’r gwestai prawf. Nid dewis personol yw hynny, dyna mae cyfran fawr o gwsmeriaid yn ei redeg mewn gwirionedd ar eu pools Proxmox, felly dyna’r llwyth sy’n cyfrif: 16 GiB o gof, 4 craidd, disg 60 GiB ar flashstore gyda discard ac iothread ymlaen. Mae hefyd yn siaradus â’r ddisg ac yn aneffeithlon gyda hi, a dyna’r pwynt: mae prawf storio eisiau’r gwestai sy’n pwyso galetaf ar y ddisg.

O ddisg y VM i’r OptaneDisg VMscsi0, 60 GiBQEMU + librbd21.2.0-pve1pool flashstorereplicated_osd, size 2OSD FlashStore, copi 1OSD FlashStore, copi 2Mae librbd clasurol Proxmox yn siarad ag OSDs croit; nid yw librustyrbd wedi’i osod yma.
Mae ysgrifiadau’r VM yn mynd drwy’r librbd mae Proxmox yn ei gludo, i mewn i reol y pool, ac allan i ddau OSD FlashStore ar size 2. Nid yw librustyrbd croit ei hun wedi’i osod, felly cleient clasurol yn erbyn OSDs Rust yw hwn.

Samplo’r pool bob deg eiliad am bymtheg munud cyntaf y gosodiad:

Ysgrifiadau’r poolcanolrif 9.3 MB/s tra’n weithredol, brig 302 MB/s
Gweithrediadau ysgrifennubrig 2,486 yr eiliad
Darlleniadau’r poolbrig 60 MB/s
Gofod crai wedi’i ddefnyddio35 GiB ar draws chwe OSD
IechydHEALTH_OK ym mhob un o’r 90 sampl
Ailgychwyniadau OSD0
Cof preswyl OSD565 i 871 MiB yr un wedyn

Ffigurau gosodwr yw’r rheini, gyda’r VM a’r OSDs ar yr un gwesteiwr a’r WARNs tiwnio heb eu cyffwrdd, ac nid ydynt yn dweud dim am gyflymder FlashStore. Yr hyn maen nhw yn ei ddweud yw bod cleient Proxmox clasurol wedi gyrru gosodiad system weithredu ar OSDs Rust, 35 GiB crai, heb nam, sef yr honiad y gosododd y post hwn allan i’w brofi.

Beth Mae’n ei Wneud dan Lwyth

Mae gosodiad yn profi ei fod yn gweithio. Nid yw’n dweud wrthyt sut beth yw defnyddio’r VM.

Felly cafodd y VM CrystalDiskMark 9.0.321, deirgwaith: proffil Real World Performance [+Mix], Read&Write [+Mix], ffeil 16 GiB ar C: a chymysgedd darllen ac ysgrifennu 70/30, unwaith ar dri phas a dwywaith ar naw. Mae’r proffil hwnnw’n rhedeg popeth un cais ar y tro ar un edefyn, sef yr hyn mae bwrdd gwaith neu gronfa ddata fach yn ei wneud mewn gwirionedd, nid yr hyn mae taflen ddata’n ei wneud.

Erbyn hynny roedd y gosodiad wedi symud ymlaen o’r gosod. Roedd gan y VM chwe chraidd, ac roedd y pool wedi’i newid yn y GUI i size 2, min size 1 a 256 PG. Gosodiad labordy ar un bocs yw size 2 gyda min size 1: gydag un copi ar ôl, mae’r pool yn dal i dderbyn ysgrifiadau y gall un methiant eu colli wedyn. Ym mhobman arall, cadwa 3 a 2.

Roedd y ddisg ar ragosodiad Proxmox, dim cache, sydd wedi bod yn rhagosodiad ers Proxmox 222.

CrystalDiskMark 9.0.3 mewn VM Fisher-Price OS (Windows) ar y pool flashstore, proffil Real World Performance gyda chymysgedd 70/30, 16 GiB ar C:, naw pas: SEQ1M Q1T1 1852.32 MB/s darllen, 580.08 ysgrifennu, 986.10 cymysg; RND4K Q1T1 23.37, 9.97 a 16.12 MB/s; 5705.57, 2434.81 a 3935.79 IOPS; 174.73, 409.77 a 253.25 microeiliad

Real World Performance [+Mix], 16 GiB3 phas9 pas9 pas eto
SEQ1M Q1T1 darllen1,279.71 MB/s1,675.33 MB/s1,852.32 MB/s
SEQ1M Q1T1 ysgrifennu563.67 MB/s576.65 MB/s580.08 MB/s
SEQ1M Q1T1 cymysg1,043.75 MB/s1,043.28 MB/s986.10 MB/s
RND4K Q1T1 darllen5,342 IOPS, 186.57 µs5,659 IOPS, 176.17 µs5,706 IOPS, 174.73 µs
RND4K Q1T1 ysgrifennu2,419 IOPS, 412.51 µs2,405 IOPS, 414.79 µs2,435 IOPS, 409.77 µs
RND4K Q1T1 cymysg3,938 IOPS, 253.13 µs3,826 IOPS, 260.49 µs3,936 IOPS, 253.25 µs

Mae ysgrifiadau a hwyrni blociau bach yn dal o fewn tua 1% o rediad i rediad. Mae darllen dilyniannol yn dringo 45% dros y tri. Dyna’r arwydd cyntaf nad yw’r golofn ddarllen yn mesur yr hyn mae’n edrych fel ei fod yn ei fesur.

Cafodd y gwesteiwr ei samplo bob pum eiliad drwy’r tri, o /proc/diskstats ar gyfer yr wyth Optane, ceph status ar gyfer y pool a /proc ar gyfer pob proses ac edefyn, ac nid yw’r ddwy olwg yn adrodd yr un stori.

Ysgrifiadau: y gyriant yw’r rhan fach

Un ysgrifiad hap 4 KiB ar y tro, rhediad olaf
Amser i bob ysgrifiad, fel mae’r VM yn ei weld409.77 µs
Amser i bob ysgrifiad, ym mhob Optane17 µs
Ysgrifiadau’n cyrraedd yr Optanes i bob ysgrifiad VM4.05: dau gopi, tua dau ysgrifiad yr un
Ysgrifiadau dilyniannol mawr580 MB/s o’r VM, 1.14 GB/s yn yr Optanes, yr ail gopi’n ei ddyblu

Mae’r gyriant yn llai na 5% o ysgrifiad bach. Y 393 µs arall yw’r daith: QEMU, librbd, y negesydd i mewn i’r OSD, yr OSD ei hun, a’r aros am yr ail gopi. Ni chafodd dim o hynny ei fesur ar wahân yma, felly nid wyf am roi rhif ar bob darn. Yr hyn mae’n ei ddweud yw nad yr Optanes yw’r terfyn ar y bocs hwn ar gyfer I/O un ar y tro, ac ni fyddai gyriant cyflymach yn symud y 410 hwnnw lawer. Mae’r terfyn wedi symud i’r cleient, y librbd mae Proxmox yn ei gludo, ac mae mwy i ddod ar hynny pan fydd librustyrbd croit ei hun yn cael ei osod yma.

Darlleniadau: y cache, nid yr Optanes

Yn y rhediad olaf gwnaeth y pas darllen hap 4 KiB 5,700 o ddarlleniadau’r eiliad ar draws y ffeil 16 GiB gyfan, ac ni ddarllenodd yr wyth Optane ddim byd o gwbl. Cyrhaeddodd y pas dilyniannol 2.2 GB/s yn y pool tra disgynnodd darlleniadau’r gyriannau eu hunain o 755 MB/s i ddim. Mae CrystalDiskMark yn osgoi cache y gwestai ac nid oes gan y ddisg un yn QEMU, felly mae’r cof sy’n gwneud y gwaith yn yr OSDs. Mae flashstore_obj_cache ymlaen yn ddiofyn yn yr adeiladwaith hwn, mae cyfran pob OSD o’r ffeil tua 2 GiB ar size 2, ac roedd pob OSD wedi tyfu i tua 2.6 GiB. Nid yw FlashStore yn adrodd ei drawiadau, felly galwa hynny’n bron yn sicr yn hytrach nag wedi’i brofi. Dyna hefyd pam y cododd darllen dilyniannol gyda phob rhediad: roedd mwy o’r ffeil yno’n barod. Trin y golofn ddarllen fel ffigur cache, nid ffigur storfa.

CPU: i ble’r aeth y creiddiau

Rhediad olaf, mewn creiddiauGwesteiwr yn brysurOSDsvCPUs y gwestailibrbd a chleient CephQEMU
Segur rhwng pasiau20 i 24%3.30.10.030.03
Ysgrifennu hap 4 KiB30%3.90.380.200.08
Darllen hap 4 KiB30%3.60.470.390.15
Cymysgedd dilyniannol41 i 53%3.81.5 i 2.30.50.12

Daw tair colofn y VM o’i edafedd: mae QEMU yn enwi vCPUs y gwestai, ac mae edafedd negesydd a gweithwyr librbd yn rhedeg y tu mewn i’r un broses.

Prin fod colofn yr OSD yn symud. Mae wyth OSD sy’n polio’n costio 3.3 craidd yn gwneud dim a 3.9 ar eu heithaf, felly ar focs 16 edefyn mae pumed o’r CPU wedi mynd cyn i VM ofyn am ddim. Ni ddaeth dim arall yn agos at ei derfyn. vCPU gwestai ar 47% oedd yr edefyn unigol prysuraf, ac arhosodd un prysuraf librbd o dan 15%. Ar un cais ar y tro, yr aros yw’r terfyn, nid y gwaith, ac ni all ffigur CPU ddangos aros.

Cof: cynllunia ar gyfer y brig

Ar draws y tri rhediad
IechydHEALTH_OK ym mhob sampl, pob PG yn active+clean, dim ailgychwyniadau OSD
Hugepages yn cael eu defnyddio4 GiB o’r dechrau i’r diwedd
Cof gwesteiwr ar ôl i’w ddosbarthu, un VM 16 GiB yn rhedeg3.1 i 4.0 GiB

Adran y gyllideb eto yw’r rhes hugepages, dan lwyth y tro hwn: 512 MiB i bob OSD, a’r 12 GiB arall heb eu cyffwrdd byth.

Cof cyffredin yw’r rhif i’w wylio, oherwydd ohono y gwneir y cache uchod. Unwaith i ddarlleniad dynnu’r ffeil i mewn, eisteddodd pob OSD ar tua 2.5 GiB, a dyma beth ddaliodd Ceph ar westeiwr 58.7 GiB:

Cof Ceph ar y brig, targed rhagosodedig 4 GiB
Prosesau OSD, yr wyth gyda’i gilydd19.9 GiB, 2.4 i 2.6 GiB yr un
Hugepages wedi’u cadw ar gyfer yr OSDs16 GiB, 4 GiB ohonynt wedi’u defnyddio
Monitor a rheolwr0.3 GiB
Cyfanswm36.2 GiB, 62% o’r gwesteiwr
Ar ôl i’r gwesteiwr ei ddosbarthu, gydag un VM 16 GiB yn rhedeg3.6 GiB

Mae’n dod yn ôl, ond nid ar unrhyw amserlen y gallwn i ei gweld. Daliodd ar 19.9 GiB am 25 munud, bylchau segur yn gynwysedig, yna disgynnodd i 13.9 GiB ar ddiwedd y rhediad olaf, ac roedd gan y gwesteiwr 10.2 GiB i’w ddosbarthu eto. Eisteddodd osd_memory_target ar ei ragosodiad o 4 GiB i bob OSD am hynny i gyd, felly roedd gan wyth OSD hawl i 32 GiB cyn i un hugepage gael ei gyfrif. Ar nod sydd hefyd i fod i redeg VMs, y brig yw’r gyllideb i’w gweithio allan cyn y gyriannau, a dyna lle mae’r 12 GiB segur o hugepages yn brifo fwyaf.

Tri VM ar unwaith, ar gyllideb dynnach

Mae un VM yn gadael digon o le. Gyda thri mae’n rhaid i’r gyllideb fod yn iawn. Felly newidiodd dau osodiad yn gyntaf.

ceph config set osd osd_memory_target 1073741824   # 1 GiB per OSD, was 4
sysctl -w vm.nr_hugepages=2048                     # what eight OSDs use, was 8192

Nid oes angen dim arall ar y targed: adroddodd pob OSD y gwerth newydd o fewn eiliadau, a chawsant eu hailgychwyn un ar y tro beth bynnag, gyda’r 257 PG i gyd yn ôl yn active+clean cyn yr un nesaf. Mae dalfa gyda’r hugepages. Cyn pob cychwyn OSD, mae croit-flashstore-prep eisiau --mem cyfan yn rhydd, 2048 MiB, ac mae’n codi’r gronfa os yw’n brin, ond nid yw byth yn ei gostwng eto. Aeth ailgychwyn osd.7 ar ôl y tocio â’r gronfa yn syth yn ôl i fyny:

croit-flashstore-prep[7]: hugepages 2048kB: free 256 < need 1024, nr_hugepages 2048 -> 2816

Felly’r llawr sy’n goroesi ailgychwyn neu ailgychwyn y peiriant yw’r hyn mae’r OSDs yn ei ddefnyddio ynghyd ag ymyl un cychwyn: 2,816 tudalen, 5.5 GiB, yn erbyn y 16 GiB mae’r gwiriad yn gofyn amdano. Mae’r sgript osod ymhellach i lawr bellach yn cadw’r union swm hwnnw. Mae tocio’n ôl i 2,048 unwaith y bydd y cyfan o’r wyth i fyny yn prynu 1.5 GiB arall tan yr ailgychwyn nesaf.

Yna rhedodd tri chlôn o’r VM, ar 10 GiB yr un, CrystalDiskMark ar yr un eiliad: Real World Performance [+Mix], tri phas, ond ar ffeil 1 GiB yr un yn hytrach na 16 GiB. Mae hynny’n gwneud y golofn ddarllen yn ffigur cache yn fwy nag erioed, felly darllen yr ysgrifiadau.

CrystalDiskMark, tri VM ar unwaithVM 104VM 105VM 106Y triUn VM ar ei ben ei hun
SEQ1M Q1T1 ysgrifennu346.99 MB/s318.99 MB/s446.98 MB/s1,113 MB/s580.08 MB/s
SEQ1M Q1T1 darllen796.05 MB/s905.03 MB/s1,160.93 MB/s2,862 MB/s1,852.32 MB/s
RND4K Q1T1 ysgrifennu1,901 IOPS1,928 IOPS1,862 IOPS5,691 IOPS2,435 IOPS
RND4K Q1T1 hwyrni ysgrifennu524.56 µs517.00 µs535.42 µs409.77 µs
RND4K Q1T1 darllen3,773 IOPS3,916 IOPS3,909 IOPS11,598 IOPS5,706 IOPS
RND4K Q1T1 cymysg2,978 IOPS3,027 IOPS3,411 IOPS9,416 IOPS3,936 IOPS

Cafodd tri VM 2.3 gwaith ysgrifiadau bach un, a thalodd pob un tua 27% mewn hwyrni amdano. Nid yr Optanes oedd y rheswm o hyd. Cyrhaeddon nhw frig o 20,900 o ysgrifiadau’r eiliad ar 17 µs yr un, yr un 17 µs ag un VM, ac roedd y prysuraf o’r wyth yn 14% prysur.

Gwesteiwr, bob pum eiliad drwy’r rhediadTarged rhagosodedig 4 GiB, un VMTarged 1 GiB, tri VM
Proses OSD fwyaf2.7 GiB1.15 GiB ar y brig, 0.8 wedyn
Wyth proses OSD gyda’i gilydd19.9 GiB8.0 GiB ar y brig, 5.8 wedyn
Hugepages wedi’u cadw16 GiB, 4 wedi’u defnyddio4 GiB, i gyd wedi’u defnyddio
Cof wedi’i roi i VMs16 GiB30 GiB
Cof gwesteiwr ar ôl i’w ddosbarthu, ar ei isaf3.1 GiB14.8 GiB
Twf swapdimdim

Felly mae FlashStore yn dal ei hun at osd_memory_target. Aeth 15% drosodd ar frig pas darllen a daeth yn ôl o dan, gyda’r cache yn gwneud ei waith y tu mewn i’r gyllideb yn lle y tu allan iddi. Rhwng y targed a’r tocio, daeth 26 GiB yn ôl i’r VMs ar yr un bocs.

CPU mewn creiddiau, tri VMGwesteiwr yn brysurOSDsGwesteionlibrbd a chleient CephQEMU
Tri chychwyn Fisher-Price OS (Windows)81 i 89%3.4 i 3.66.3 i 7.90.4 i 0.70.3
Meincnod42 i 73%3.7 i 4.51.2 i 4.00.4 i 1.60.2 i 0.4
Segur wedyn20 i 24%3.30.300

Gweithiodd cychwyn tri gwestai y CPU yn galetach na’u meincnodi. Ni ddaeth y storfa oddi tanynt yn agos ato, sef y mini PC yn gosod y terfyn, fel yr oedd bob amser yn mynd i wneud.

Y Cyfan, mewn Un Sgript

Mae popeth uchod mewn un sgript. Rho iddi gyfeiriadau PCI y gyriannau rwyt ti eisiau fel OSDs ac mae’n gwneud y gweddill, yn y drefn y gwnaeth y post hwn, gyda’r ddau atgyweiriad Proxmox wedi’u cynnwys.

flashstore-pve-setup.sh: OSDs FlashStore ar nod Proxmox VE flashstore-pve-setup.sh · 17 kB
lspci -D -d ::0108                                    # find the drives
bash flashstore-pve-setup.sh --dry-run 0000:05:00.0   # show the plan, change nothing
bash flashstore-pve-setup.sh 0000:05:00.0 0000:06:00.0
Mae’n gwirioMae’n ysgrifennuMae’n rhedeg
Proxmox VE 9 a Ceph 21.2.0 Umbrellakeyring bootstrap-osddarlleniad passthrough fel ceph, i ddewis kernel-cmd neu kernel
pob gyriant: NVMe, dim cache ysgrifennu, heb ei osod, ei rannu na’i ddaly drop-in root-yna---setuserprepare a systemctl enable --now i bob gyriant
dim data yn y rhanbarthau mae prawf FlashStore ei hun yn eu darllenrheol udev i bob gyriant, wedi’i chyfateb yn ôl rhif cyfresolgwiriad y gwesteiwr, yn stopio dim ond ar yr hyn sydd ei angen ar yr OSDs
blociau 4 KiBun adran [osd.N] i bob gyriant, un craidd ffisegol yr unlawrlwytho’r pecyn, wedi’i wirio yn erbyn SHA-256 y rhyddhad

Does dim yn cael ei ddinistrio oni bai dy fod yn gofyn. Mae --format-4k yn ailfformatio gyriant nad yw ar 4 KiB, un ar y tro yn ei uned ei hun fel nad oes dim yn torri ar ei draws, ac mae --wipe yn gadael iddi drosysgrifo gyriant sy’n dal data. Mae --single-node yn ychwanegu’r rheol replicated_osd, ac mae ei rhedeg eto’n hepgor gyriannau sydd eisoes yn OSDs.

Cafodd ei phrofi yma, nid ei hysgrifennu’n unig. Gwrthododd yr SN750 ar ei gache ysgrifennu, gwrthododd yriant osd.7 tra’r oedd yn dal storfa, ac yna, gydag osd.7 wedi’i garthu a’i nodau wedi’u rhoi’n ôl i root, ailadeiladodd ef o ddim mewn 10.5 eiliad, gan ddewis y backend kernel ar ei phen ei hun. Yr hyn na wnaiff yw gosod Ceph. Mae’r cam hwnnw’n gofyn i ti dderbyn Rhagolwg Technoleg, a dy benderfyniad di yw hynny, nid un sgript.

Beth Sydd Angen ei Drwsio

Nid oes dim o hyn yn atal gweinyddwr penderfynol, a byddai’r cyfan ohono’n atal un prysur. Mae pob eitem yn ddatganiad mae croit yn ei wneud i unrhyw un sy’n lawrlwytho’r pecyn, a tharais bob un ar y cynnig cyntaf.

BleBeth sy’n digwyddBeth fyddai’n ei drwsio
uned systemdni all User=ceph ddarllen pmxcfs, felly nid yw’r OSD byth yn cychwyn ar nod pvecephcludo’r cychwyn root-yna---setuser, neu ddrop-in Proxmox
llwybr wrth gefn kernel-cmdyn disgyn yn ôl dim ond os gwrthodir Identify; ar gnewyllyn PVE gwrthodir Read ac mae’r OSD yn stopiodisgyn yn ôl i I/O uniongyrchol ar unrhyw I/O passthrough a wrthodir
udevmae’r dogfennau’n mynnu rheol sy’n rhoi nodau’r namespace i ceph; does dim un yn cael ei chludocludo un wedi’i chlymu i’r dyfeisiau sydd wedi’u ffurfweddu
crynodeb --checkyn dweud bod NVMe y cnewyllyn yn ‘compiled out’ pan mai dyna’r unig lwybr storfa sydd wedi’i grynhoi i mewncywiro’r label
cod gadael --checkmae’r SSD cychwyn yn methu’r prawf PLP, felly mae exit 0 yn amhosib ei gyrraeddsgorio dim ond dyfeisiau wedi’u ffurfweddu neu ymgeiswyr
hugepagesyn maintioli 2048 MiB i bob OSD, ac mae prep eisiau hynny’n rhydd ar bob cychwyn; mae backend y cnewyllyn yn defnyddio 512maintioli backend y cnewyllyn ar yr hyn mae’n ei ddefnyddio, a gadael i prep ofyn am yr un faint
sha256sums.txtnid yw enwau’r ffeiliau’n cyfateb i asedau’r rhyddhadeu henwi fel y’u cyhoeddwyd
enw’r pecynmae’r dogfennau’n dweud apt remove flashstore; croit-flashstore-osd yw’r pecynun enw, neu’r un cywir yn y dogfennau
cyfeirnod flashstore_devyn rhestru spdk: a file: yn unigdogfennu kernel: a spdk: gyda backend cnewyllyn

Nid oes dim o hyn yn waith newydd. Mae gan y daemon y gollyngiad braint, y backend uniongyrchol a rhesymeg y llwybr wrth gefn yn barod. Dim ond nad ydynt wedi cael eu cysylltu ar gyfer y platfform y bydd y rhan fwyaf o bobl yn rhoi cynnig arno gyntaf.

Rhagolwg yw Lle Rwyt ti’n Darganfod Hyn

Rhagolwg yw’r lle iawn ar gyfer pob un o’r canfyddiadau hynny, a’r lle anghywir i’w gadael. Dyna beth yw pwrpas rhagolwg: mae rhywun yn mynd ag ef adref, yn ei roi ar y git sydd ganddynt mewn gwirionedd, ac yn ysgrifennu lle mae’n disgyn drosodd. Daliodd y rhannau sy’n bwysig. Daeth y storfa i fyny mewn milieiliadau, ymunodd yr OSDs â chlwstwr a adeiladwyd gan offer rhywun arall, ac aeth gosodiad system weithredu arnynt heb nam.

Popeth o gwmpas y daemon a’i baglodd. Ffeil ffurfweddu ar system ffeiliau na allai’r uned ei darllen, cnewyllyn sy’n dweud na wrth alwad mae i fyny’r afon yn ei chaniatáu, gyriant cychwyn na fyddai’r gwiriad yn stopio ei gyfrif. Nid oes dim o hynny’n anodd. Y cyfan ohono yw’r gwahaniaeth rhwng meddalwedd sy’n gweithio a meddalwedd sy’n gweithio ar dy focs di, a’r unig ffordd i gau’r bwlch yw profi ar y bocsys sydd gan bobl yn hytrach na’r rhai a adeiladwyd ar ei gyfer.

Er hynny i gyd, mae hwn yn ddechrau addawol. Ar mini PC digon sâl, gyda phen y cleient yn dal i fod yn librbd clasurol a’r wyth gyriant i gyd ar un cyswllt PCIe 3.0, mae’r Optanes yn cael eu gweithio’n galetach yma nag o dan BlueStore. Wrth i hyn ddatblygu fe ddof yn ôl ato a thyrchu’n ddyfnach, wrth i fwy o’r pentwr gael ei ddisodli, a chydag olwg ar CephFS2 hefyd.

Addewid i weinyddwr nad oes ganddo amser i ddarllen y cod ffynhonnell yw ‘drop-in’. Monitorau Proxmox, GUI Proxmox, cnewyllyn Proxmox a phecyn gan rywun arall yw’r union sefyllfa y mae’r addewid hwnnw ar ei chyfer. Mae bron â’i gadw nawr. Naw atgyweiriad bach ac fe fydd, a byddai’n well gen i fod yr un a’u canfu ar fore Mercher na chwsmer sy’n eu canfod ar nos Wener.


  1. croit/ceph-rust README — rhagolwg cyhoeddus ers 9 Tachwedd 2026, ‘not yet recommended for production data’, gofynion, cychwyn cyflym, set nodweddion cynhyrchu, ymrwymiad Ceph a brofwyd. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. croit/ceph-rust release snapshot-2026-11-10 — y pecynnau a ddefnyddiwyd yma, gan gynnwys flashstore_…_debian-trixie_amd64.deb a sha256sums.txt. ↩︎ ↩︎

  3. croit/ceph-rust — hardware requirements — gwiriad cache ysgrifennu anweddol, hugepages, nodiadau ar fersiwn y cnewyllyn. ↩︎

  4. croit/ceph-rust — branches and versions — mae main yn targedu v21.2.0, mae v20.2.4 yn targedu v20.2.4; ‘The daemon refuses a cluster release outside its supported window.’ ↩︎ ↩︎

  5. Proxmox pve-manager, PVE/Ceph/Releases.pm — umbrella wedi’i restru gyda release => '21.2' ac unsupported => 1. ↩︎

  6. croit/ceph-rust — build and install packages — dosbarthiadau, glibc 2.34, trin ceph-osd.target, y llinell apt remove. ↩︎ ↩︎ ↩︎

  7. croit/ceph-rust — configuration reference — flashstore_dev, flashstore_lcores, flashstore_report_objectstore a pham ei fod yn rhagosod i bluestore. ↩︎ ↩︎

  8. croit-flashstore-osd Cargo.toml — llinell 29, knet = [… "kernel-nvme"]. ↩︎

  9. croit/ceph-rust — first OSD tutorial — gwiriad darllen yn unig y gwesteiwr; ‘Exit 0 means no FAIL.’ ↩︎ ↩︎

  10. croit/ceph-rust — ADR 0169, kernel NVMe backend — dau fodd y cnewyllyn, y gymhariaeth a fesurwyd, cyllideb y dyrannwr llwyth, datrys cyfeiriad spdk: a’r llwybr wrth gefn Identify yn unig (diwygiad 6). Ychwanegwyd at yr ystorfa yr un noson â’r rhyddhad. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  11. Proxmox VE — Proxmox Cluster File System (pmxcfs) — y system ffeiliau clwstwr o dan /etc/pve a’i pherchnogaeth a’i chaniatâd sefydlog. ↩︎

  12. croit-flashstore-osd@.service — User=ceph, ExecStartPre=… activate, a CapabilityBoundingSet heb CAP_DAC_OVERRIDE. ↩︎ ↩︎

  13. croit-flashstore-osd privdrop.rs — y gollyngiad braint --setuser/--setgroup clasurol. ↩︎

  14. croit/ceph-rust — prepare the host — ‘the namespace node must be readable and writable by user ceph (udev rule)’. ↩︎

  15. Linux v7.0, drivers/nvme/host/ioctl.c — nvme_cmd_allowed(), y rheol ar gyfer passthrough NVMe di-fraint. ↩︎

  16. croit/ceph-rust — security — ‘prepare defaults --keyring to /var/lib/ceph/bootstrap-osd/<cluster>.keyring’. ↩︎

  17. croit/ceph-rust — prepare, activate and list — y prawf dyfais nad yw’n wag a --wipe. ↩︎

  18. Proxmox pve-manager, PVE/API2/Ceph/OSD.pm — mae osdtype yn bluestore dim ond pan fydd y metadata’n cario bluefs, fel arall filestore. ↩︎

  19. Proxmox pve-manager, PVE/Ceph/Services.pm — mae ceph_service_cmd() yn mapio osd.N i’r uned systemd ceph-osd@N. ↩︎

  20. Ceph documentation — CRUSH maps — rheolau dyblygu, parthau methiant a dosbarthiadau dyfeisiau. ↩︎

  21. CrystalDiskMark — meincnod disg Crystal Dew World; ‘Various measure mode (Peak/Real World/Demo)’. ↩︎

  22. Proxmox VE wiki — Performance Tweaks — moddau cache y ddisg: ‘cache=none seems to be the best performance and is the default since Proxmox 2.X’. ↩︎