OSD Rust, ar y Diwrnod y Cafodd ei Ryddhau
Rhoddodd croit OSD FlashStore mewn rhagolwg cyhoeddus ar 9 Tachwedd 20261.
OSD Ceph yw e, wedi’i ysgrifennu o ddim yn Rust, gyda’i storfa wrthrychau ei hun yn lle BlueStore, ac mae’n siarad protocol gwifren Ceph.
Yr honiad yw ei fod yn llithro i mewn i glwstwr rwyt ti eisoes yn ei redeg: mae dy fonitorau, dy reolwyr, dy CLI ceph a dy gleientiaid yn aros fel y maen nhw, ac rwyt ti’n newid un gyriant ar y tro1.
Mae’r honiad hwnnw’n bwysicach i siop Proxmox nag i’r rhan fwyaf.
Ar nod Proxmox VE cydgyfeiriedig, nid rhywbeth rwyt ti’n ei osod ar wahân yw Ceph.
Mae’n dod o GUI Proxmox, o ystorfeydd Proxmox ei hun, wedi’i adeiladu a’i glytio gan Proxmox, ac mae’r cyfan yn cael ei yrru gan pveceph.
Os gall OSD gan rywun arall eistedd y tu mewn i hynny heb ei dorri, rwyt ti’n cael peiriant storio newydd heb roi’r gorau i’r offer.
Os na all, rwyt ti’n darganfod hynny’r ffordd galed, ar nod sydd hefyd yn rhedeg dy VMs.
Felly rhoddais gynnig arni.
Rwy’n gweithio i croit, sy’n gwneud FlashStore. Dyna pam y rhoddais gynnig arni o fewn deuddydd iddo gael ei ryddhau, a dyna hefyd y rheswm nad oes dim isod wedi’i feddalu. Rhagolwg yw e, mae’r README yn dweud ei fod ‘not yet recommended for production data’1, a chofnod o’r hyn a gymerodd ar git go iawn yw hwn, nid llyfryn.
Yr ateb byr: mae’n gweithio. Mae wyth OSD FlashStore yn gweini pool RBD i VM ar nod Proxmox VE 9.2 stoc wrth i mi ysgrifennu hwn, HEALTH_OK. Yr ateb hirach yw iddo gymryd dau atgyweiriad nad yw’r ddogfennaeth yn sôn amdanynt, un oherwydd y ffordd mae Proxmox yn cadw ei ffurfweddiad Ceph ac un oherwydd cnewyllyn Proxmox, a’r atgyweiriadau hynny a sut y cawsant eu canfod yw gweddill y post hwn. Os mai dim ond ei gael i redeg rwyt ti eisiau, mae sgript tua’r diwedd sy’n gwneud y cyfan, ac mae wedi cael ei rhedeg ar y nod hwn.
Y Bocs
Un nod yw’r labordy, pve2, ar fy LAN gartref, a mini PC Minisforum B550 digon sâl o 2021 yw e.
Nid fel hyn y byddet ti’n rhedeg Ceph mewn cynhyrchu ar un nod, a’r rheol CRUSH ymhellach i lawr yw pris hynny, ond mae pob cam yma yr un fath ar nod sydd â chymdogion.
| Proxmox VE | pve-manager 9.2.26, cnewyllyn 7.0.14-28-pve, Debian 13.7 |
| Peiriant | mini PC Minisforum B550, 2021; mae’r bwrdd yn adrodd BESSTAR TECH B550, BIOS 5.17 |
| CPU | AMD Ryzen 7 5700G, 8 craidd, 16 edefyn, 1 nod NUMA |
| Cof | 58 GiB |
| Gyriannau OSD | 8 × Intel Optane P4800X 375 GB (6 â brand Dell, 2 Intel manwerthu) |
| PCIe i’r Optanes | y cyfan o’r wyth y tu ôl i un switsh Broadcom PEX880xx, ar un cyswllt PCIe 3.0 x16 o’r APU |
| Gyriant cychwyn | WD SN750 512 GB, VG pve, wedi’i gadw allan o hyn i gyd |
| Rhwydwaith | un porth 2.5 GbE, vmbr0 |
| FlashStore | snapshot-2026-11-10, ymrwymiad i fyny’r afon c5792750020e2 |
Mae’r Optanes yno oherwydd bod gan FlashStore ddau ofyniad caeth y mae llawer o yriannau’n methu.
Rhaid i’r gyriant gael diogelu rhag colli pŵer, a rhaid i’r namespace ddefnyddio blociau 4096 beit, fel namespace cyfan heb raniadau na system ffeiliau arno1.
Mae FlashStore yn cydnabod ysgrifiad pan fydd yn wydn ar y gyriant, felly mae gyriant sy’n dweud celwydd am wydnwch gyda cache anweddol yn cael ei wrthod wrth mkfs3.
Mae pob P4800X yn adrodd dim cache ysgrifennu anweddol yn ei ddata Identify (vwc 0), sef y gyriant ei hun yn dweud na all y cache golli ysgrifiad sydd wedi’i gydnabod.
O’r herwydd, y mini PC yw’r ffactor cyfyngol yn yr archwiliad manwl hwn, nid FlashStore ac nid y gyriannau. Mae wyth craidd yn golygu un i bob OSD a dim i’w sbario, rhaid i 58 GiB fwydo Ceph a’r VMs fel ei gilydd, ac mae wyth Optane yn rhannu un cyswllt PCIe 3.0 am mai dyna’r cyfan sydd gan yr APU i’w roi. Darllen pob rhif isod fel yr hyn mae’r bocs hwn yn ei ganiatáu.
Umbrella neu Ddim
Mae FlashStore wedi’i adeiladu ar gyfer un rhyddhad Ceph ar y tro.
Y gangen sy’n penderfynu: mae main yn siarad Ceph 21.2.0 Umbrella, ac mae cangen v20.2.4 yn siarad 20.2.4 Tentacle4.
Mae’r daemon yn gwirio rhyddhad y clwstwr pan fydd yn cychwyn ac yn gwrthod un y tu allan i’w ffenestr4.
Mae’r pecynnau ar y dudalen ryddhau wedi’u hadeiladu o main, ac mae’r deuaidd yn dweud hynny ei hun: croit-flashstore-osd 21.2.0 umbrella.
Mae Proxmox VE 9 yn cynnig tair ystorfa Ceph, a dim ond un ohonynt sy’n cyd-fynd.
Tentacle yw rhagosodiad Proxmox, felly ai dyna’r dewis diogel?
Dyna’r un na fydd yn gweithio.
Mae ystorfa Proxmox yn cario Tentacle hyd at 20.2.5-pve1, ac mae cangen Tentacle FlashStore yn targedu 20.2.4 yn union.
Umbrella yn ystorfa Proxmox yw 21.2.0-pve1, yr un rhyddhad ag y mae main yn ei dargedu.
Nid yw Proxmox yn cuddio beth yw Umbrella.
Mae PVE/Ceph/Releases.pm yn ei restru gydag unsupported => 15, ac mae dewin y GUI yn dweud hynny mewn geiriau plaen yr eiliad rwyt ti’n ei ddewis.

‘Technology Preview’, dim ystorfa enterprise, ac mae’r gosodwr yn gofyn yr eildro yn y derfynell, continue (y/N)?, cyn iddo gyffwrdd ag apt.
Dyna’r swm iawn o rybudd, ac mae’n werth ei ddarllen fel datganiad am y pentwr cyfan: OSD rhagolwg ar ryddhad Ceph rhagolwg.
Proxmox stoc yw’r gosodiad. Datacenter → Ceph → Install, fersiwn Umbrella, ystorfa No-Subscription, yna’r rhwydwaith cyhoeddus a’r monitor cyntaf.

Tri ar ddeg o becynnau wedi’u huwchraddio, 46 newydd, 107 MB wedi’u lawrlwytho.
Mae un peth ar y rhestr honno’n newydd yn Umbrella: ceph-osd-classic ochr yn ochr â ceph-osd.
Nid yw’r naill na’r llall yn cael ei ddefnyddio yma, oherwydd nid oes OSD clasurol byth yn cael ei greu.
Tua munud yn ddiweddarach roedd mon.pve2 a mgr.pve2 yn rhedeg, adroddodd ceph versions 21.2.0 … umbrella, ac roedd yr iechyd yn OK heb ddim i’w storio eto.
Pedwar Gyriant ar 512 Beit
Roedd pedwar o’r wyth Optane wedi’u pasio drwodd i VM labordy ac roedden nhw’n dal mewn fformat 512 beit, gyda hen labeli ZFS arnynt. Roedd gan ddau arall y fformat cywir a’r un labeli. Mae’r atgyweiriad i’r ddau yn blaen: eu tynnu oddi ar y VM, fformatio i 4 KiB, sychu’r labeli.
Mae’r P4800X yn cynnig 4096 beit heb fetadata fel fformat LBA 3, y mae nvme id-ns yn ei adrodd fel lbaf 3 : ms:0 lbads:12.
nvme format /dev/nvme0n1 --lbaf=3 --force --timeout=900000
wipefs -a /dev/nvme0n1
sgdisk --zap-all /dev/nvme0n1
Methodd yr ymgais gyntaf, ac felly hefyd un ddiweddarach.
Y ddau dro daeth nvme format yn ôl gydag Interrupted system call ac roedd y gyriant yn dal ar 512 beit.
Mae’r rheswm yn log y cnewyllyn:
nvme nvme0: I/O tag 0 (0000) opcode 0x2 (Admin Cmd) QID 0 timeout, reset controller
nvme nvme1: I/O tag 9 (0009) opcode 0x6 (Admin Cmd) QID 0 timeout, reset controller
Get Log Page yw opcode 0x2 ac Identify yw 0x6.
Nid y fformat yw’r naill na’r llall.
Mae P4800X yn fformatio’r cyfrwng cyfan, a chymerodd hynny 345 i 351 eiliad i bob gyriant yma.
Tra mae’n rhedeg, nid yw’r rheolydd yn ateb gorchmynion gweinyddol eraill, felly mae unrhyw beth sy’n gofyn cwestiwn i’r gyriant yn aros.
Ar ôl terfyn amser gweinyddol 60 eiliad y cnewyllyn mae’n rhoi’r gorau iddi ac yn ailosod y rheolydd, ac mae’r ailosod yn lladd y fformat.
| Ymgais | Beth gyrhaeddodd y gyriant | Canlyniad |
|---|---|---|
| nvme0, cyntaf | Get Log Page am 09:53:04, ynghanol gosod Ceph | wedi’i erthylu, yn dal 512 B |
| nvme0, mewn uned | dim | 4 KiB mewn 345 e |
| nvme1 | fy nvme list fy hun, yn gwirio’r cynnydd | wedi’i erthylu, yn dal 512 B |
| nvme2, nvme3 | dim | 4 KiB mewn 351 e a 350 e |
| nvme1, ar ei ben ei hun | dim | 4 KiB mewn 346 e |
Yr atgyweiriad yw rhedeg pob fformat mewn uned dros dro gyda therfyn amser hir, un gyriant ar y tro, a gadael llonydd i’r gyriannau nes iddo orffen:
systemd-run --unit=fmt4k /root/fmt4k.sh
journalctl -u fmt4k -f # read progress from the journal, not from the drive
Felly yr unig wiriad cynnydd yw’r journal, a does dim yn cyrraedd y rheolydd.
Yna darllenodd y cyfan o’r wyth 4 KiB yn nvme list.
Y Pecyn
Mae’r dudalen ryddhau’n cario pecynnau .deb ac .rpm, gyda Debian 13 trixie yn eu plith, sef yr hyn mae Proxmox VE 9 wedi’i adeiladu arno2.
Mae un adeiladwaith yn gwasanaethu pob dosbarthiad, ac angen glibc 2.34 neu fwy newydd6.
B=https://github.com/croit/ceph-rust/releases/download/snapshot-2026-11-10-0b6783237291
curl -LO "$B/flashstore_21.2.0+git.20261110063351.c5792750020e_debian-trixie_amd64.deb"
curl -LO "$B/sha256sums.txt"
sha256sum flashstore_*_debian-trixie_amd64.deb
grep debian-trixie/flashstore_ sha256sums.txt
Gwiria fe â llaw.
Ni all sha256sum -c wirio’r lawrlwythiad hwn, oherwydd mae’r ffeil sieciau’n ei enwi’n debian-trixie/flashstore_…_amd64.deb tra bo’r ased yn cael ei alw’n flashstore_…_debian-trixie_amd64.deb.
Mae’r stwnshiau’n cyfateb, ce1fb352…26c8 ar y ddwy ochr, felly mae’r ffeil yn iawn a dim ond y rhestr sydd allan o gam â’r asedau.
apt install ./flashstore_*_debian-trixie_amd64.deb
croit-flashstore-osd --version
croit-flashstore-osd 21.2.0 umbrella (build 0.0.0) git c5792750020e
net tiers: kernel (+rdma upgrade)
Gosododd yn lân ochr yn ochr â ceph-osd a ceph-osd-classic Proxmox ei hun.
Mae’r pecyn yn gosod ceph-osd.target lleiaf dim ond ar westeiwyr sydd heb un6, ac mae gan Proxmox un yn barod, felly mae unedau FlashStore yn hongian oddi ar yr un target ag y byddai’r rhai clasurol.
Tri pheth am y pecyn sy’n werth eu gwybod cyn i ti sgriptio yn ei erbyn:
| Beth mae’r dogfennau’n ei ddweud | Beth yw’r pecyn | |
|---|---|---|
| Enw’r pecyn | apt remove flashstore …6 | croit-flashstore-osd, flashstore_… yw ffeil yr ased |
| Backends storfa | set nodweddion cynhyrchu main yw knet,spdk,rdma,mimalloc1 | dim SPDK: mae --check yn adrodd ‘SPDK NVMe driver: compiled out’ |
Gwerthoedd flashstore_dev | spdk:<pci>, neu file: mewn adeiladweithiau datblygu7 | haen y cnewyllyn, kernel:/dev/…, yw’r unig lwybr storfa go iawn yn yr adeiladwaith hwn |
Mae’r rhes ganol yn bwysig.
Nid yw haen SPDK, y gyrrwr NVMe gofod defnyddiwr sydd angen i’r gyriant gael ei rwymo i vfio-pci, yn y pecyn Debian cyhoeddedig.
Yr hyn sydd ynddo yw haen y cnewyllyn: mae’r gyriant yn aros ar yrrwr nvme y cnewyllyn ei hun ac mae FlashStore yn siarad ag ef drwy io_uring.
Mae’r cod ffynhonnell yn dangos ei fod wedi’i grynhoi i mewn, oherwydd mae’r nodwedd knet yn tynnu kernel-nvme i mewn8, er bod llinell grynodeb gwiriad y gwesteiwr yn ei alw’n ‘compiled out of this build’.
Mae’r llinell honno’n anghywir.
Byddai darllenydd sy’n ei chredu yn stopio yn y fan a’r lle.
Beth Mae Gwiriad y Gwesteiwr yn ei Ddweud
Mae croit-flashstore-osd --check yn ddarllen yn unig ac yn rhedeg cyn i ddim gael ei ysgrifennu.
Mae’n gwirio’r adeiladwaith, y CPU, y cof, yr IOMMU, pob rheolydd NVMe, y NIC, y cnewyllyn a’r ffurfweddiad, ac yn argraffu’r union atgyweiriad ar gyfer pob canfyddiad9.
Ar y nod hwn rhedodd 115 o wiriadau, ac mae’n dda: mae pob canfyddiad yn dod gyda’r gorchymyn sy’n ei drwsio, a arbedodd lwyth o dyrchu.
| Canfyddiad | Canlyniad | Beth wnes i |
|---|---|---|
| Hugepages: dim wedi’u cadw | FAIL | cadw’r 16 GiB a ofynnodd amdanynt, wedi’u parhau yn /etc/sysctl.d |
| Gyriant cychwyn SN750: cache ysgrifennu anweddol | FAIL | dim, nid yw’n ymgeisydd OSD |
vfio-pci heb ei lwytho | WARN | dim, does gan yr adeiladwaith hwn ddim SPDK i’w ddefnyddio |
| terfyn memlock 8 MiB | WARN | dim, mae’n mesur y plisgyn; mae’r uned yn gosod LimitMEMLOCK=infinity |
dim isolcpus / nohz_full | WARN | wedi’i gofnodi, tiwnio hwyrni |
IOMMU wedi’i drosi, nid iommu=pt | WARN | wedi’i gofnodi |
init_on_alloc=1 | WARN | wedi’i gofnodi, mae’n costio 15 i 20 % o’r CPU ar ddarlleniadau mawr, meddai |
| porth 2.5 GbE, cylchoedd NIC rhagosodedig, IRQs ar bum CPU | WARN | wedi’i gofnodi |
| 8 × P4800X: dim VWC, 4096+0 yn weithredol, x4 ar 8 GT/s, rhydd | OK | |
| io_uring gyda SEND_ZC a byfferau sefydlog, cnewyllyn 7.0 | OK |
Cynllunia ar gyfer yr ail FAIL.
Mae’r gwiriad yn cyfrif pob rheolydd yn y bocs, ac mae gan yr SSD cychwyn gache ysgrifennu, felly mae’n methu’r prawf colli pŵer, er bod yr un gwiriad yn ei farcio’n gywir yn ‘in use, not a candidate’.
Mae’r tiwtorial yn dweud bod exit 0 yn golygu dim FAIL9.
Ar unrhyw westeiwr sy’n cychwyn o SSD defnyddwyr, sef llawer o westeiwyr Proxmox, ni all --check adael gydag exit 0, beth bynnag rwyt ti’n ei drwsio.
Sgriptia yn erbyn y llinellau fesul gwiriad, nid y cod gadael.
Arhosodd y WARNs tiwnio. Mae pob un ohonynt angen newid i linell orchymyn y cnewyllyn ac ailgychwyn, a gosodiad yw hwn, nid meincnod. Nhw yw’r rhestr iawn i weithio drwyddi cyn i unrhyw un ddyfynnu rhif o’r bocs hwn.
Creiddiau a hugepages ar gyfer wyth OSD
Mae FlashStore yn rhedeg un edefyn i bob craidd, ac mae’r gwiriad yn sillafu beth mae hynny’n ei olygu: ‘one core = one shard/PG owner’, 8 craidd ar y mwyaf i bob OSD, a phob craidd OSD ar ei graidd ffisegol ei hun yn hytrach na rhannu un â brawd SMT.
Mae wyth craidd ffisegol ac wyth OSD yn gwneud hynny’n un craidd yr un, flashstore_lcores = 0 hyd at 7, gyda’r brodyr SMT wedi’u gadael i Proxmox a’r VMs.
O’i redeg eto gyda hynny yn y ffurfweddiad, mae’r gwiriad yn marcio pob cynllun craidd yn OK.
Edrycha eto ar yr hugepages.
Mae’r gwiriad yn gofyn am 2048 MiB i bob OSD, sef --mem rhagosodedig y daemon, felly mae angen cadw 16 GiB ar gyfer wyth OSD.
Wrth redeg, mae pob OSD wedi defnyddio 512 MiB o’i 2048.
Mae hynny’n cyfateb i nodyn dylunio croit ei hun ar gyfer backend y cnewyllyn, sy’n cyllidebu chwarter --mem ar gyfer ei ddyrannwr llwyth10.
Felly ar y bocs hwn, gyda’r cyfan o’r wyth yn rhedeg, mae 12 GiB o RAM wedi’i gadw fel hugepages nad oes dim yn eu cyffwrdd, ar westeiwr sydd hefyd â VMs i’w bwydo.
Byddai nod storio’n codi ei ysgwyddau.
Ar nod Proxmox, VM oedd y cof hwnnw, ac ymhellach i lawr mae’n cael ei docio’n ôl i’r hyn mae’r OSDs yn ei ddefnyddio.
Ga i Ofyn Pam na All Ddarllen ceph.conf?
Gyda’r gyriannau wedi’u fformatio, y pecyn i mewn a gwiriad y gwesteiwr yn glir, ni fyddai’r OSD cyntaf yn cychwyn.
croit-flashstore-tool: refused: /etc/ceph/ceph.conf: Permission denied (os error 13)
Ar Proxmox, mae /etc/ceph/ceph.conf yn ddolen symbolaidd i /etc/pve/ceph.conf, a pmxcfs yw /etc/pve, y system ffeiliau clwstwr sy’n cadw ffurfweddiad pob nod mewn cam.
Mae ffeiliau yno’n root:www-data 0640, ac nid yw pmxcfs yn gadael i ti newid hynny fesul ffeil11.
Mae daemonau Ceph Proxmox ei hun yn ymdopi oherwydd eu bod yn cychwyn fel root, yn darllen y ffurfweddiad, ac yna’n gollwng i’r defnyddiwr ceph, sef yr hyn mae --setuser ceph --setgroup ceph ar bob uned ceph-osd@ yn ei wneud.
Nid yw uned FlashStore yn cychwyn fel root.
Mae’n User=ceph o’r cyfarwyddyd cyntaf, ExecStartPre yn gynwysedig12, felly nid yw byth yn cael darllen y ffeil.
Ga i ofyn pam na chafodd pecyn a adeiladwyd ar gyfer Debian, ar gyfer cynnyrch sydd i fod i lithro i mewn, ei roi ar brawf yn erbyn y platfform Ceph mwyaf cyffredin sy’n seiliedig ar Debian sydd i’w gael? Dydw i ddim yn gofyn pwy. Mae pveceph yn cadw ei ffurfweddiad ar pmxcfs, a bydd pob OSD FlashStore ar nod sy’n cael ei reoli gan pveceph yn taro hyn ar ei gychwyn cyntaf.
Mae’r ateb gan y daemon yn barod.
Mae ei god ffynhonnell yn disgrifio gollyngiad --setuser/--setgroup clasurol: ‘started as root by a classic unit (--setuser ceph --setgroup ceph), the daemon becomes that user before it opens the store, a socket or a file’13.
Felly dylai drop-in sy’n cychwyn yr uned yn y ffordd mae Proxmox yn cychwyn ei OSDs ei hun fod yn ddigon.
Nid oedd yn hollol. O’i gychwyn fel root plaen, y gyriant oedd y gwrthodiad nesaf.
activate: device kernel:/dev/ng0n1 not ready: /dev/nvme0n1: Permission denied (os error 13)
Mae CapabilityBoundingSet yr uned yn gadael CAP_DAC_OVERRIDE allan12, felly mae root yn cael ei ddal at ganiatâd ffeiliau cyffredin, ac mae nodau’r namespace yn perthyn i ceph:ceph.
Mae cychwyn fel root gyda’r grŵp wedi’i osod i ceph yn delio â’r ddau: root sy’n berchen ar y ffeil ffurfweddu, mae’r grŵp ceph yn agor y gyriant, ac mae’r daemon yn gollwng i ceph cyn iddo wneud dim arall.
# /etc/systemd/system/croit-flashstore-osd@.service.d/pve-ceph-conf.conf
[Service]
User=root
Group=ceph
ExecStart=
ExecStart=/usr/bin/croit-flashstore-osd run --id %i --cluster ${CLUSTER} -f --setuser ceph --setgroup ceph
Mae’r daemon yn cadarnhau’r gollyngiad yn ei log ei hun: set uid:gid to 64045:64045 (ceph).
Mae atgyweiriad byrrach, SupplementaryGroups=www-data, ac ni wnes i ei ddefnyddio.
Byddai’n gadael i’r OSD ddarllen pob ffeil y gall y grŵp ei darllen o dan /etc/pve, nid ffurfweddiad Ceph yn unig.
Does gan OSD ddim busnes yn darllen gweddill ffurfweddiad y clwstwr, ac nid yw’r drop-in uchod yn rhoi dim mwy iddo nag y mae Proxmox yn ei roi i’w rai ei hun.
Yna nodau’r dyfeisiau.
Mae dogfennau FlashStore yn dweud bod rhaid i nod y namespace fod yn ysgrifenadwy gan ceph, ‘(udev rule)’14, ac nid yw’r pecyn yn cludo un.
Mae’r un hon yn cyfateb i’r gyriannau yn ôl model, felly ni all ddal y gyriant cychwyn beth bynnag mae’r rhifo’n ei wneud:
# /etc/udev/rules.d/70-croit-flashstore-optane.rules
SUBSYSTEM=="nvme-generic", KERNEL=="ng*n*", ATTRS{model}=="Dell Express Flash NVMe P4800X*|INTEL SSDPE21*", OWNER="ceph", GROUP="ceph", MODE="0660"
SUBSYSTEM=="block", KERNEL=="nvme*n*", ENV{DEVTYPE}=="disk", ATTRS{model}=="Dell Express Flash NVMe P4800X*|INTEL SSDPE21*", OWNER="ceph", GROUP="ceph", MODE="0660"
Ar ôl udevadm trigger, roedd yr un ar bymtheg o nodau Optane yn ceph:ceph 0660 ac arhosodd yr SN750 yn root.
Y Passthrough na Wnaiff y Cnewyllyn Hwn
Mae gan haen y cnewyllyn ddau fodd, ac mae’r nod rwyt ti’n ei enwi yn dewis rhyngddynt.
Mae kernel:/dev/ngXnY yn anfon gorchmynion NVMe yn syth i’r gyriant drwy io_uring, y mae croit yn ei alw’n kernel-cmd.
Mae kernel:/dev/nvmeXnY yn gwneud darlleniadau ac ysgrifiadau O_DIRECT ar y ddyfais floc, o’r enw kernel neu uniongyrchol10.
Mesurodd croit kernel-cmd ar y blaen ym mhob cell a brofwyd ganddynt10, ac mae cychwyn cyflym y README ei hun yn ei ddefnyddio1, felly dyna beth wnes i ei ffurfweddu.
Gyda’r caniatâd wedi’i ddatrys, gollyngodd y daemon i ceph, darllenodd ei ffurfweddiad, a stopiodd ar y darlleniad cyntaf:
croit-flashstore-osd: --dev kernel:/dev/ng0n1: /dev/ng0n1: kernel-cmd fixed-buffer probe read: Errno(13)
Roedd yr un prawf wedi pasio funud ynghynt yn activate, a oedd yn dal i gael galluoedd root.
Felly’r cwestiwn yw a yw’r cnewyllyn hwn yn gadael i broses ddi-fraint anfon gorchmynion I/O i lawr /dev/ngXnY.
Gellir ateb hynny heb FlashStore, gan ddefnyddio’r un darlleniad gyda nvme-cli, fel ceph:
| Fel | Gorchymyn ar /dev/ng0n1 | Canlyniad |
|---|---|---|
ceph | Identify Namespace | wedi’i ganiatáu |
ceph | Read, LBA 0, 4 KiB | Permission denied |
root | Read, LBA 0, 4 KiB | wedi’i ganiatáu |
Rhoddodd y cyfan o’r wyth Optane yr un ateb, gan gynnwys dau nad oeddwn erioed wedi’u fformatio na’u hailosod, yn rhedeg cadarnwedd Intel yn hytrach na Dell. Felly nid y gyriannau yw e ac nid fformatau’r bore.
Mae i fyny’r afon yn dweud y dylai weithio.
Yn Linux 7.0, mae nvme_cmd_allowed() yn gadael i broses ddi-fraint anfon gorchymyn I/O pan fydd log Commands Supported and Effects y gyriant yn ei farcio’n gefnogedig heb effeithiau anarferol, ac mae’n mynnu agoriad ysgrifenadwy dim ond ar gyfer gorchmynion sy’n ysgrifennu neu’n newid data15.
Mae log effeithiau’r P4800X yn marcio Read yn gefnogedig, 00000001, a dim byd arall.
Mae’r darlleniad wedi’i ganiatáu.
Nid cnewyllyn i fyny’r afon yw cnewyllyn Proxmox.
Mae ei log newidiadau ar gyfer yr adeiladwaith hwn yn cynnwys atgyweiriad wedi’i ôl-borthi ar yr union lwybr hwn, CVE-2026-90227: nvme/ioctl: check SUBMIT_IO with nvme_cmd_allowed(), sydd ar yr wyneb yn ymdrin ag ioctl gwahanol i’r un a brofais i.
Nid wyf wedi canfod pa newid yn y cnewyllyn 7.0.14-28-pve sy’n gwneud y gwahaniaeth, ac nid wyf am ddyfalu.
Yr hyn sy’n sicr yw’r ymddygiad: ar y cnewyllyn hwn, mae I/O passthrough NVMe di-fraint yn cael ei wrthod.
Mae gan FlashStore lwybr wrth gefn ar gyfer passthrough sy’n cael ei wrthod, ac ni wnaeth danio.
Mae nodyn dylunio croit yn dweud, pan fydd Identify yn cael ei wrthod, fod dyfais kernel-cmd yn disgyn i I/O uniongyrchol ar ei nod bloc ac yn dweud hynny wrth gychwyn10.
Yma mae Identify wedi’i ganiatáu a Read heb ei ganiatáu, felly nid yw’r llwybr wrth gefn byth yn sbarduno ac mae’r OSD yn stopio yn lle hynny.
Does dim ots gan I/O uniongyrchol. Un llinell i bob OSD yw e:
flashstore_store_backend = kernel
Gyda hynny, daeth osd.0 i fyny.
croit-flashstore-osd: store mounted (1 shards, replayed 4 txns in 16 ms)
croit-flashstore-osd: set uid:gid to 64045:64045 (ceph)
[ 1.398] crush location set (create-or-move updating item name 'osd.0' weight 0.3359 at location {host=pve2,root=default} to crush map)
[ 2.406] osd.0 is now active (up_from 10, map 10)
Yn weithredol mewn 2.4 eiliad.
Paratoi a Chychwyn yr OSDs
Mae pob OSD yn cael adran yn ffurfweddiad Ceph, sydd ar Proxmox yn golygu golygu /etc/pve/ceph.conf, ac mae’n iawn gwneud hynny â llaw.
[osd.0]
flashstore_dev = spdk:0000:05:00.0
flashstore_store_backend = kernel
flashstore_lcores = 0
Mae’r ddyfais yn cael ei henwi yn ôl cyfeiriad PCI, nid yn ôl /dev/nvme0n1, ac nid yw’r rhagddodiad spdk: yn golygu SPDK yma.
Gyda backend cnewyllyn wedi’i osod, mae’r daemon yn chwilio am y cyfeiriad yn sysfs bob tro mae’n cychwyn ac yn canfod nodau cyfredol y rheolydd10.
Mae hynny’n bwysig yma.
nvme7 oedd y gyriant cychwyn SN750 ym mis Hydref ac nvme8 yw e nawr, ac nid yw minors y nodau generig yn dilyn trefn y gyriannau chwaith, gydag ng1n1 ar minor 0 ac ng0n1 ar minor 2.
Gall ffurfweddiad sy’n dweud /dev/nvme4n1 bwyntio at yriant gwahanol ar ôl ailgychwyn.
Ni all ffurfweddiad sy’n dweud 0000:0b:00.0.
Yna un gorchymyn i bob gyriant, yn ysgrifennu’r storfa ac yn cofrestru’r OSD gyda’r monitor:
croit-flashstore-tool prepare --dev spdk:0000:05:00.0 --id 0
kernel-cmd /dev/ng0n1: fixed-buffer NVMe passthrough probe ok (IORING_URING_CMD_FIXED on)
mkfs: device lba 4096 B x 91573146 (375083606016 B), awupf 1 lba, vwc false, max_xfer 32 lba
mkfs: 1 store shards, WAL ring 4096 MiB each
osd.0 prepared in /var/lib/ceph/osd/ceph-0
Dwy eiliad, fel root.
Mae prepare yn darllen yr allwedd bootstrap o /var/lib/ceph/bootstrap-osd/ceph.keyring16, y mae pveceph ond yn ei hysgrifennu y tro cyntaf mae’n creu OSD ei hun, felly heb OSDs clasurol rhaid ei nôl yn gyntaf:
ceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring
Paratowyd chwe gyriant y tro cyntaf. Gwrthodwyd dau:
croit-flashstore-tool: refused: device is not empty (non-zero data in the first 8192 bytes); --wipe destroys it
croit-flashstore-tool: refused: device is not empty (non-zero data at 65536 bytes); --wipe destroys it
Roedd lsblk a blkid ill dau wedi adrodd bod y ddau yriant hynny’n wag.
Yr hyn oedd arnynt oedd ardal fetadata testun grŵp cyfrolau LVM o labordy cynharach, wedi’i dynnu ers tro, gyda’r label ar y blaen wedi’i sero’n barod.
Mae prawf FlashStore yn darllen yr 8 KiB cyntaf a’r rhanbarthau ar 64 KiB a 256 KiB17, sy’n bellach nag y mae’r offer arferol yn edrych, ac roedd yn iawn.
Gwrthod gyriant sy’n dal unrhyw beth o gwbl, oni bai ei fod yn cael ei ddweud wrtho am --wipe, yw’r union beth y dylai offeryn OSD ei wneud.
Penderfyniad i bwy bynnag sy’n berchen ar y gyriannau yw eu sychu, nid i’r offeryn.
Unwaith i hynny gael ei benderfynu, paratôdd --wipe y ddau mewn tua dwy eiliad, ac ymunon nhw ar ôl y gosodiad ymhellach i lawr, a dyna pam mae sgrinlun y panel a ffigurau’r gosodiad yn dangos chwech.
Yna eu cychwyn:
systemctl enable --now croit-flashstore-osd@0
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 2.01535 root default
-3 2.01535 host pve2
0 nvme 0.33589 osd.0 up 1.00000 1.00000
1 nvme 0.33589 osd.1 up 1.00000 1.00000
2 nvme 0.33589 osd.2 up 1.00000 1.00000
3 nvme 0.33589 osd.3 up 1.00000 1.00000
4 nvme 0.33589 osd.4 up 1.00000 1.00000
5 nvme 0.33589 osd.5 up 1.00000 1.00000
Rhoddodd pob OSD ei hun o dan host=pve2 gyda dosbarth dyfais nvme.
Mae’n werth darllen unwaith beth maen nhw’n ei ddweud wrth y clwstwr amdanynt eu hunain:
| Maes | Monitor a rheolwr | OSDs FlashStore |
|---|---|---|
ceph versions | 21.2.0 (087cd25db8f1) umbrella (dev - None) | 21.2.0 (b060042deb05) umbrella (dev - croit-flashstore-osd) |
| Wedi’i adeiladu gan | Proxmox, pecynnau -pve1 | croit, o’r ymrwymiad v21.2.0 i fyny’r afon y mae’r README yn ei enwi1 |
osd_objectstore | bluestore, gyda phob maes bluestore_bdev_* wedi’i lenwi | |
| Beth yw e go iawn | FlashStore, dim BlueFS, dim RocksDB |
Mae’r ateb BlueStore yn fwriadol.
Mae flashstore_report_objectstore yn rhagosod i bluestore oherwydd dim ond pan fydd pob OSD yn ei adrodd y mae monitorau clasurol yn galluogi rhai nodweddion, felly mae’r rhagosodiad yn cadw clwstwr cymysg i weithio7.
Nid yw’n wir, ac mae’n werth gwybod hynny cyn i ti ddarllen metadata’r clwstwr a’i gredu.
Beth Mae Proxmox yn ei Wneud Ohonynt
Mae panel OSD Proxmox yn rhestru’r chwech, up ac in, dosbarth nvme, fersiwn 21.2.0, 344 GiB yr un.
Mae hefyd yn eu galw’n FileStore.

FileStore yw’r storfa wrthrychau a ddisodlwyd gan BlueStore.
Mae Proxmox yn gweithio’r label allan yn PVE/API2/Ceph/OSD.pm: os oes allwedd bluefs ym metadata’r OSD, BlueStore yw e, ac FileStore yw unrhyw beth arall18.
Does gan FlashStore ddim BlueFS, oherwydd does dim RocksDB oddi tano, felly mae’n adrodd BlueStore mewn un maes ac yn cael ei labelu’n FileStore o un arall.
Nid yw’r naill na’r llall yn iawn.
A’r panel yw lle mae’r rhan fwyaf o weinyddwyr Proxmox yn edrych gyntaf.
Mae’r colofnau hwyrni’n darllen 0 / 0 yn segur.
O dan y gosodiad isod, adroddodd ceph osd perf hwyrni ymrwymo o 0 i 3 ms ar draws y chwech.
Mae Start, Stop a Restart yn y panel yn gyrru ceph-osd@N, yr uned glasurol, nad dyna sy’n rhedeg19.
O’r herwydd, golwg ar yr OSDs hyn yw’r panel, nid rheolydd ar eu cyfer.
Defnyddia systemctl … croit-flashstore-osd@N a’r CLI ar gyfer unrhyw beth sy’n cyffwrdd â’r daemonau, a gad lonydd llwyr i Create: OSD a Destroy ar y rhain.
Pool, Storfa a VM Fisher-Price OS (Windows)
Eisteddodd y PG cyntaf yn y clwstwr, pool .mgr y rheolwr, yn undersized+degraded cyn gynted ag y daeth yr OSDs i fyny.
Bai’r nod sengl yw hynny.
Mae’r replicated_rule rhagosodedig yn rhoi pob copi ar westeiwr gwahanol, a dim ond un gwesteiwr sydd.
ceph osd crush rule create-replicated replicated_osd default osd nvme
ceph osd pool set .mgr crush_rule replicated_osd
Mae rheol gyda pharth methiant osd a dosbarth dyfais nvme20 yn rhoi pob copi ar OSD gwahanol, ac aeth y PG yn active+clean o fewn eiliadau.
Ar glwstwr go iawn gyda thri gwesteiwr neu fwy, cadwa’r rheol gwesteiwr a hepgor hyn.
Mae popeth ar ôl hynny yn GUI Proxmox fel arfer.
Ceph → Pools → Create: enw flashstore, size 3, min size 2, rheol replicated_osd, Add as Storage wedi’i dicio.
Aeth i size 2, min size 1 yn ddiweddarach, ar gyfer y prawf llwyth ymhellach i lawr.

Creodd Proxmox y pool a diffiniad storfa RBD ar yr un pryd, ac ymddangosodd flashstore yn y goeden gyda 654 GiB y gellir ei ddefnyddio, sef y 2 TiB crai wedi’i rannu â thri chopi, llai gorbenion.
Aeth 129 PG yn active+clean, a daeth yr awto-raddiwr â’r pool newydd i lawr o 128 i 32 yn fuan wedyn.
VM Fisher-Price OS (Windows) yw’r gwestai prawf.
Nid dewis personol yw hynny, dyna mae cyfran fawr o gwsmeriaid yn ei redeg mewn gwirionedd ar eu pools Proxmox, felly dyna’r llwyth sy’n cyfrif: 16 GiB o gof, 4 craidd, disg 60 GiB ar flashstore gyda discard ac iothread ymlaen.
Mae hefyd yn siaradus â’r ddisg ac yn aneffeithlon gyda hi, a dyna’r pwynt: mae prawf storio eisiau’r gwestai sy’n pwyso galetaf ar y ddisg.
Samplo’r pool bob deg eiliad am bymtheg munud cyntaf y gosodiad:
| Ysgrifiadau’r pool | canolrif 9.3 MB/s tra’n weithredol, brig 302 MB/s |
| Gweithrediadau ysgrifennu | brig 2,486 yr eiliad |
| Darlleniadau’r pool | brig 60 MB/s |
| Gofod crai wedi’i ddefnyddio | 35 GiB ar draws chwe OSD |
| Iechyd | HEALTH_OK ym mhob un o’r 90 sampl |
| Ailgychwyniadau OSD | 0 |
| Cof preswyl OSD | 565 i 871 MiB yr un wedyn |
Ffigurau gosodwr yw’r rheini, gyda’r VM a’r OSDs ar yr un gwesteiwr a’r WARNs tiwnio heb eu cyffwrdd, ac nid ydynt yn dweud dim am gyflymder FlashStore. Yr hyn maen nhw yn ei ddweud yw bod cleient Proxmox clasurol wedi gyrru gosodiad system weithredu ar OSDs Rust, 35 GiB crai, heb nam, sef yr honiad y gosododd y post hwn allan i’w brofi.
Beth Mae’n ei Wneud dan Lwyth
Mae gosodiad yn profi ei fod yn gweithio. Nid yw’n dweud wrthyt sut beth yw defnyddio’r VM.
Felly cafodd y VM CrystalDiskMark 9.0.321, deirgwaith: proffil Real World Performance [+Mix], Read&Write [+Mix], ffeil 16 GiB ar C: a chymysgedd darllen ac ysgrifennu 70/30, unwaith ar dri phas a dwywaith ar naw. Mae’r proffil hwnnw’n rhedeg popeth un cais ar y tro ar un edefyn, sef yr hyn mae bwrdd gwaith neu gronfa ddata fach yn ei wneud mewn gwirionedd, nid yr hyn mae taflen ddata’n ei wneud.
Erbyn hynny roedd y gosodiad wedi symud ymlaen o’r gosod. Roedd gan y VM chwe chraidd, ac roedd y pool wedi’i newid yn y GUI i size 2, min size 1 a 256 PG. Gosodiad labordy ar un bocs yw size 2 gyda min size 1: gydag un copi ar ôl, mae’r pool yn dal i dderbyn ysgrifiadau y gall un methiant eu colli wedyn. Ym mhobman arall, cadwa 3 a 2.
Roedd y ddisg ar ragosodiad Proxmox, dim cache, sydd wedi bod yn rhagosodiad ers Proxmox 222.

| Real World Performance [+Mix], 16 GiB | 3 phas | 9 pas | 9 pas eto |
|---|---|---|---|
| SEQ1M Q1T1 darllen | 1,279.71 MB/s | 1,675.33 MB/s | 1,852.32 MB/s |
| SEQ1M Q1T1 ysgrifennu | 563.67 MB/s | 576.65 MB/s | 580.08 MB/s |
| SEQ1M Q1T1 cymysg | 1,043.75 MB/s | 1,043.28 MB/s | 986.10 MB/s |
| RND4K Q1T1 darllen | 5,342 IOPS, 186.57 µs | 5,659 IOPS, 176.17 µs | 5,706 IOPS, 174.73 µs |
| RND4K Q1T1 ysgrifennu | 2,419 IOPS, 412.51 µs | 2,405 IOPS, 414.79 µs | 2,435 IOPS, 409.77 µs |
| RND4K Q1T1 cymysg | 3,938 IOPS, 253.13 µs | 3,826 IOPS, 260.49 µs | 3,936 IOPS, 253.25 µs |
Mae ysgrifiadau a hwyrni blociau bach yn dal o fewn tua 1% o rediad i rediad. Mae darllen dilyniannol yn dringo 45% dros y tri. Dyna’r arwydd cyntaf nad yw’r golofn ddarllen yn mesur yr hyn mae’n edrych fel ei fod yn ei fesur.
Cafodd y gwesteiwr ei samplo bob pum eiliad drwy’r tri, o /proc/diskstats ar gyfer yr wyth Optane, ceph status ar gyfer y pool a /proc ar gyfer pob proses ac edefyn, ac nid yw’r ddwy olwg yn adrodd yr un stori.
Ysgrifiadau: y gyriant yw’r rhan fach
| Un ysgrifiad hap 4 KiB ar y tro, rhediad olaf | |
|---|---|
| Amser i bob ysgrifiad, fel mae’r VM yn ei weld | 409.77 µs |
| Amser i bob ysgrifiad, ym mhob Optane | 17 µs |
| Ysgrifiadau’n cyrraedd yr Optanes i bob ysgrifiad VM | 4.05: dau gopi, tua dau ysgrifiad yr un |
| Ysgrifiadau dilyniannol mawr | 580 MB/s o’r VM, 1.14 GB/s yn yr Optanes, yr ail gopi’n ei ddyblu |
Mae’r gyriant yn llai na 5% o ysgrifiad bach. Y 393 µs arall yw’r daith: QEMU, librbd, y negesydd i mewn i’r OSD, yr OSD ei hun, a’r aros am yr ail gopi. Ni chafodd dim o hynny ei fesur ar wahân yma, felly nid wyf am roi rhif ar bob darn. Yr hyn mae’n ei ddweud yw nad yr Optanes yw’r terfyn ar y bocs hwn ar gyfer I/O un ar y tro, ac ni fyddai gyriant cyflymach yn symud y 410 hwnnw lawer. Mae’r terfyn wedi symud i’r cleient, y librbd mae Proxmox yn ei gludo, ac mae mwy i ddod ar hynny pan fydd librustyrbd croit ei hun yn cael ei osod yma.
Darlleniadau: y cache, nid yr Optanes
Yn y rhediad olaf gwnaeth y pas darllen hap 4 KiB 5,700 o ddarlleniadau’r eiliad ar draws y ffeil 16 GiB gyfan, ac ni ddarllenodd yr wyth Optane ddim byd o gwbl.
Cyrhaeddodd y pas dilyniannol 2.2 GB/s yn y pool tra disgynnodd darlleniadau’r gyriannau eu hunain o 755 MB/s i ddim.
Mae CrystalDiskMark yn osgoi cache y gwestai ac nid oes gan y ddisg un yn QEMU, felly mae’r cof sy’n gwneud y gwaith yn yr OSDs.
Mae flashstore_obj_cache ymlaen yn ddiofyn yn yr adeiladwaith hwn, mae cyfran pob OSD o’r ffeil tua 2 GiB ar size 2, ac roedd pob OSD wedi tyfu i tua 2.6 GiB.
Nid yw FlashStore yn adrodd ei drawiadau, felly galwa hynny’n bron yn sicr yn hytrach nag wedi’i brofi.
Dyna hefyd pam y cododd darllen dilyniannol gyda phob rhediad: roedd mwy o’r ffeil yno’n barod.
Trin y golofn ddarllen fel ffigur cache, nid ffigur storfa.
CPU: i ble’r aeth y creiddiau
| Rhediad olaf, mewn creiddiau | Gwesteiwr yn brysur | OSDs | vCPUs y gwestai | librbd a chleient Ceph | QEMU |
|---|---|---|---|---|---|
| Segur rhwng pasiau | 20 i 24% | 3.3 | 0.1 | 0.03 | 0.03 |
| Ysgrifennu hap 4 KiB | 30% | 3.9 | 0.38 | 0.20 | 0.08 |
| Darllen hap 4 KiB | 30% | 3.6 | 0.47 | 0.39 | 0.15 |
| Cymysgedd dilyniannol | 41 i 53% | 3.8 | 1.5 i 2.3 | 0.5 | 0.12 |
Daw tair colofn y VM o’i edafedd: mae QEMU yn enwi vCPUs y gwestai, ac mae edafedd negesydd a gweithwyr librbd yn rhedeg y tu mewn i’r un broses.
Prin fod colofn yr OSD yn symud. Mae wyth OSD sy’n polio’n costio 3.3 craidd yn gwneud dim a 3.9 ar eu heithaf, felly ar focs 16 edefyn mae pumed o’r CPU wedi mynd cyn i VM ofyn am ddim. Ni ddaeth dim arall yn agos at ei derfyn. vCPU gwestai ar 47% oedd yr edefyn unigol prysuraf, ac arhosodd un prysuraf librbd o dan 15%. Ar un cais ar y tro, yr aros yw’r terfyn, nid y gwaith, ac ni all ffigur CPU ddangos aros.
Cof: cynllunia ar gyfer y brig
| Ar draws y tri rhediad | |
|---|---|
| Iechyd | HEALTH_OK ym mhob sampl, pob PG yn active+clean, dim ailgychwyniadau OSD |
| Hugepages yn cael eu defnyddio | 4 GiB o’r dechrau i’r diwedd |
| Cof gwesteiwr ar ôl i’w ddosbarthu, un VM 16 GiB yn rhedeg | 3.1 i 4.0 GiB |
Adran y gyllideb eto yw’r rhes hugepages, dan lwyth y tro hwn: 512 MiB i bob OSD, a’r 12 GiB arall heb eu cyffwrdd byth.
Cof cyffredin yw’r rhif i’w wylio, oherwydd ohono y gwneir y cache uchod. Unwaith i ddarlleniad dynnu’r ffeil i mewn, eisteddodd pob OSD ar tua 2.5 GiB, a dyma beth ddaliodd Ceph ar westeiwr 58.7 GiB:
| Cof Ceph ar y brig, targed rhagosodedig 4 GiB | |
|---|---|
| Prosesau OSD, yr wyth gyda’i gilydd | 19.9 GiB, 2.4 i 2.6 GiB yr un |
| Hugepages wedi’u cadw ar gyfer yr OSDs | 16 GiB, 4 GiB ohonynt wedi’u defnyddio |
| Monitor a rheolwr | 0.3 GiB |
| Cyfanswm | 36.2 GiB, 62% o’r gwesteiwr |
| Ar ôl i’r gwesteiwr ei ddosbarthu, gydag un VM 16 GiB yn rhedeg | 3.6 GiB |
Mae’n dod yn ôl, ond nid ar unrhyw amserlen y gallwn i ei gweld.
Daliodd ar 19.9 GiB am 25 munud, bylchau segur yn gynwysedig, yna disgynnodd i 13.9 GiB ar ddiwedd y rhediad olaf, ac roedd gan y gwesteiwr 10.2 GiB i’w ddosbarthu eto.
Eisteddodd osd_memory_target ar ei ragosodiad o 4 GiB i bob OSD am hynny i gyd, felly roedd gan wyth OSD hawl i 32 GiB cyn i un hugepage gael ei gyfrif.
Ar nod sydd hefyd i fod i redeg VMs, y brig yw’r gyllideb i’w gweithio allan cyn y gyriannau, a dyna lle mae’r 12 GiB segur o hugepages yn brifo fwyaf.
Tri VM ar unwaith, ar gyllideb dynnach
Mae un VM yn gadael digon o le. Gyda thri mae’n rhaid i’r gyllideb fod yn iawn. Felly newidiodd dau osodiad yn gyntaf.
ceph config set osd osd_memory_target 1073741824 # 1 GiB per OSD, was 4
sysctl -w vm.nr_hugepages=2048 # what eight OSDs use, was 8192
Nid oes angen dim arall ar y targed: adroddodd pob OSD y gwerth newydd o fewn eiliadau, a chawsant eu hailgychwyn un ar y tro beth bynnag, gyda’r 257 PG i gyd yn ôl yn active+clean cyn yr un nesaf.
Mae dalfa gyda’r hugepages.
Cyn pob cychwyn OSD, mae croit-flashstore-prep eisiau --mem cyfan yn rhydd, 2048 MiB, ac mae’n codi’r gronfa os yw’n brin, ond nid yw byth yn ei gostwng eto.
Aeth ailgychwyn osd.7 ar ôl y tocio â’r gronfa yn syth yn ôl i fyny:
croit-flashstore-prep[7]: hugepages 2048kB: free 256 < need 1024, nr_hugepages 2048 -> 2816
Felly’r llawr sy’n goroesi ailgychwyn neu ailgychwyn y peiriant yw’r hyn mae’r OSDs yn ei ddefnyddio ynghyd ag ymyl un cychwyn: 2,816 tudalen, 5.5 GiB, yn erbyn y 16 GiB mae’r gwiriad yn gofyn amdano. Mae’r sgript osod ymhellach i lawr bellach yn cadw’r union swm hwnnw. Mae tocio’n ôl i 2,048 unwaith y bydd y cyfan o’r wyth i fyny yn prynu 1.5 GiB arall tan yr ailgychwyn nesaf.
Yna rhedodd tri chlôn o’r VM, ar 10 GiB yr un, CrystalDiskMark ar yr un eiliad: Real World Performance [+Mix], tri phas, ond ar ffeil 1 GiB yr un yn hytrach na 16 GiB. Mae hynny’n gwneud y golofn ddarllen yn ffigur cache yn fwy nag erioed, felly darllen yr ysgrifiadau.
| CrystalDiskMark, tri VM ar unwaith | VM 104 | VM 105 | VM 106 | Y tri | Un VM ar ei ben ei hun |
|---|---|---|---|---|---|
| SEQ1M Q1T1 ysgrifennu | 346.99 MB/s | 318.99 MB/s | 446.98 MB/s | 1,113 MB/s | 580.08 MB/s |
| SEQ1M Q1T1 darllen | 796.05 MB/s | 905.03 MB/s | 1,160.93 MB/s | 2,862 MB/s | 1,852.32 MB/s |
| RND4K Q1T1 ysgrifennu | 1,901 IOPS | 1,928 IOPS | 1,862 IOPS | 5,691 IOPS | 2,435 IOPS |
| RND4K Q1T1 hwyrni ysgrifennu | 524.56 µs | 517.00 µs | 535.42 µs | 409.77 µs | |
| RND4K Q1T1 darllen | 3,773 IOPS | 3,916 IOPS | 3,909 IOPS | 11,598 IOPS | 5,706 IOPS |
| RND4K Q1T1 cymysg | 2,978 IOPS | 3,027 IOPS | 3,411 IOPS | 9,416 IOPS | 3,936 IOPS |
Cafodd tri VM 2.3 gwaith ysgrifiadau bach un, a thalodd pob un tua 27% mewn hwyrni amdano. Nid yr Optanes oedd y rheswm o hyd. Cyrhaeddon nhw frig o 20,900 o ysgrifiadau’r eiliad ar 17 µs yr un, yr un 17 µs ag un VM, ac roedd y prysuraf o’r wyth yn 14% prysur.
| Gwesteiwr, bob pum eiliad drwy’r rhediad | Targed rhagosodedig 4 GiB, un VM | Targed 1 GiB, tri VM |
|---|---|---|
| Proses OSD fwyaf | 2.7 GiB | 1.15 GiB ar y brig, 0.8 wedyn |
| Wyth proses OSD gyda’i gilydd | 19.9 GiB | 8.0 GiB ar y brig, 5.8 wedyn |
| Hugepages wedi’u cadw | 16 GiB, 4 wedi’u defnyddio | 4 GiB, i gyd wedi’u defnyddio |
| Cof wedi’i roi i VMs | 16 GiB | 30 GiB |
| Cof gwesteiwr ar ôl i’w ddosbarthu, ar ei isaf | 3.1 GiB | 14.8 GiB |
| Twf swap | dim | dim |
Felly mae FlashStore yn dal ei hun at osd_memory_target.
Aeth 15% drosodd ar frig pas darllen a daeth yn ôl o dan, gyda’r cache yn gwneud ei waith y tu mewn i’r gyllideb yn lle y tu allan iddi.
Rhwng y targed a’r tocio, daeth 26 GiB yn ôl i’r VMs ar yr un bocs.
| CPU mewn creiddiau, tri VM | Gwesteiwr yn brysur | OSDs | Gwesteion | librbd a chleient Ceph | QEMU |
|---|---|---|---|---|---|
| Tri chychwyn Fisher-Price OS (Windows) | 81 i 89% | 3.4 i 3.6 | 6.3 i 7.9 | 0.4 i 0.7 | 0.3 |
| Meincnod | 42 i 73% | 3.7 i 4.5 | 1.2 i 4.0 | 0.4 i 1.6 | 0.2 i 0.4 |
| Segur wedyn | 20 i 24% | 3.3 | 0.3 | 0 | 0 |
Gweithiodd cychwyn tri gwestai y CPU yn galetach na’u meincnodi. Ni ddaeth y storfa oddi tanynt yn agos ato, sef y mini PC yn gosod y terfyn, fel yr oedd bob amser yn mynd i wneud.
Y Cyfan, mewn Un Sgript
Mae popeth uchod mewn un sgript. Rho iddi gyfeiriadau PCI y gyriannau rwyt ti eisiau fel OSDs ac mae’n gwneud y gweddill, yn y drefn y gwnaeth y post hwn, gyda’r ddau atgyweiriad Proxmox wedi’u cynnwys.
flashstore-pve-setup.sh: OSDs FlashStore ar nod Proxmox VElspci -D -d ::0108 # find the drives
bash flashstore-pve-setup.sh --dry-run 0000:05:00.0 # show the plan, change nothing
bash flashstore-pve-setup.sh 0000:05:00.0 0000:06:00.0
| Mae’n gwirio | Mae’n ysgrifennu | Mae’n rhedeg |
|---|---|---|
| Proxmox VE 9 a Ceph 21.2.0 Umbrella | keyring bootstrap-osd | darlleniad passthrough fel ceph, i ddewis kernel-cmd neu kernel |
| pob gyriant: NVMe, dim cache ysgrifennu, heb ei osod, ei rannu na’i ddal | y drop-in root-yna---setuser | prepare a systemctl enable --now i bob gyriant |
| dim data yn y rhanbarthau mae prawf FlashStore ei hun yn eu darllen | rheol udev i bob gyriant, wedi’i chyfateb yn ôl rhif cyfresol | gwiriad y gwesteiwr, yn stopio dim ond ar yr hyn sydd ei angen ar yr OSDs |
| blociau 4 KiB | un adran [osd.N] i bob gyriant, un craidd ffisegol yr un | lawrlwytho’r pecyn, wedi’i wirio yn erbyn SHA-256 y rhyddhad |
Does dim yn cael ei ddinistrio oni bai dy fod yn gofyn.
Mae --format-4k yn ailfformatio gyriant nad yw ar 4 KiB, un ar y tro yn ei uned ei hun fel nad oes dim yn torri ar ei draws, ac mae --wipe yn gadael iddi drosysgrifo gyriant sy’n dal data.
Mae --single-node yn ychwanegu’r rheol replicated_osd, ac mae ei rhedeg eto’n hepgor gyriannau sydd eisoes yn OSDs.
Cafodd ei phrofi yma, nid ei hysgrifennu’n unig.
Gwrthododd yr SN750 ar ei gache ysgrifennu, gwrthododd yriant osd.7 tra’r oedd yn dal storfa, ac yna, gydag osd.7 wedi’i garthu a’i nodau wedi’u rhoi’n ôl i root, ailadeiladodd ef o ddim mewn 10.5 eiliad, gan ddewis y backend kernel ar ei phen ei hun.
Yr hyn na wnaiff yw gosod Ceph.
Mae’r cam hwnnw’n gofyn i ti dderbyn Rhagolwg Technoleg, a dy benderfyniad di yw hynny, nid un sgript.
Beth Sydd Angen ei Drwsio
Nid oes dim o hyn yn atal gweinyddwr penderfynol, a byddai’r cyfan ohono’n atal un prysur. Mae pob eitem yn ddatganiad mae croit yn ei wneud i unrhyw un sy’n lawrlwytho’r pecyn, a tharais bob un ar y cynnig cyntaf.
| Ble | Beth sy’n digwydd | Beth fyddai’n ei drwsio |
|---|---|---|
| uned systemd | ni all User=ceph ddarllen pmxcfs, felly nid yw’r OSD byth yn cychwyn ar nod pveceph | cludo’r cychwyn root-yna---setuser, neu ddrop-in Proxmox |
| llwybr wrth gefn kernel-cmd | yn disgyn yn ôl dim ond os gwrthodir Identify; ar gnewyllyn PVE gwrthodir Read ac mae’r OSD yn stopio | disgyn yn ôl i I/O uniongyrchol ar unrhyw I/O passthrough a wrthodir |
| udev | mae’r dogfennau’n mynnu rheol sy’n rhoi nodau’r namespace i ceph; does dim un yn cael ei chludo | cludo un wedi’i chlymu i’r dyfeisiau sydd wedi’u ffurfweddu |
crynodeb --check | yn dweud bod NVMe y cnewyllyn yn ‘compiled out’ pan mai dyna’r unig lwybr storfa sydd wedi’i grynhoi i mewn | cywiro’r label |
cod gadael --check | mae’r SSD cychwyn yn methu’r prawf PLP, felly mae exit 0 yn amhosib ei gyrraedd | sgorio dim ond dyfeisiau wedi’u ffurfweddu neu ymgeiswyr |
| hugepages | yn maintioli 2048 MiB i bob OSD, ac mae prep eisiau hynny’n rhydd ar bob cychwyn; mae backend y cnewyllyn yn defnyddio 512 | maintioli backend y cnewyllyn ar yr hyn mae’n ei ddefnyddio, a gadael i prep ofyn am yr un faint |
sha256sums.txt | nid yw enwau’r ffeiliau’n cyfateb i asedau’r rhyddhad | eu henwi fel y’u cyhoeddwyd |
| enw’r pecyn | mae’r dogfennau’n dweud apt remove flashstore; croit-flashstore-osd yw’r pecyn | un enw, neu’r un cywir yn y dogfennau |
cyfeirnod flashstore_dev | yn rhestru spdk: a file: yn unig | dogfennu kernel: a spdk: gyda backend cnewyllyn |
Nid oes dim o hyn yn waith newydd. Mae gan y daemon y gollyngiad braint, y backend uniongyrchol a rhesymeg y llwybr wrth gefn yn barod. Dim ond nad ydynt wedi cael eu cysylltu ar gyfer y platfform y bydd y rhan fwyaf o bobl yn rhoi cynnig arno gyntaf.
Rhagolwg yw Lle Rwyt ti’n Darganfod Hyn
Rhagolwg yw’r lle iawn ar gyfer pob un o’r canfyddiadau hynny, a’r lle anghywir i’w gadael. Dyna beth yw pwrpas rhagolwg: mae rhywun yn mynd ag ef adref, yn ei roi ar y git sydd ganddynt mewn gwirionedd, ac yn ysgrifennu lle mae’n disgyn drosodd. Daliodd y rhannau sy’n bwysig. Daeth y storfa i fyny mewn milieiliadau, ymunodd yr OSDs â chlwstwr a adeiladwyd gan offer rhywun arall, ac aeth gosodiad system weithredu arnynt heb nam.
Popeth o gwmpas y daemon a’i baglodd. Ffeil ffurfweddu ar system ffeiliau na allai’r uned ei darllen, cnewyllyn sy’n dweud na wrth alwad mae i fyny’r afon yn ei chaniatáu, gyriant cychwyn na fyddai’r gwiriad yn stopio ei gyfrif. Nid oes dim o hynny’n anodd. Y cyfan ohono yw’r gwahaniaeth rhwng meddalwedd sy’n gweithio a meddalwedd sy’n gweithio ar dy focs di, a’r unig ffordd i gau’r bwlch yw profi ar y bocsys sydd gan bobl yn hytrach na’r rhai a adeiladwyd ar ei gyfer.
Er hynny i gyd, mae hwn yn ddechrau addawol. Ar mini PC digon sâl, gyda phen y cleient yn dal i fod yn librbd clasurol a’r wyth gyriant i gyd ar un cyswllt PCIe 3.0, mae’r Optanes yn cael eu gweithio’n galetach yma nag o dan BlueStore. Wrth i hyn ddatblygu fe ddof yn ôl ato a thyrchu’n ddyfnach, wrth i fwy o’r pentwr gael ei ddisodli, a chydag olwg ar CephFS2 hefyd.
Addewid i weinyddwr nad oes ganddo amser i ddarllen y cod ffynhonnell yw ‘drop-in’. Monitorau Proxmox, GUI Proxmox, cnewyllyn Proxmox a phecyn gan rywun arall yw’r union sefyllfa y mae’r addewid hwnnw ar ei chyfer. Mae bron â’i gadw nawr. Naw atgyweiriad bach ac fe fydd, a byddai’n well gen i fod yr un a’u canfu ar fore Mercher na chwsmer sy’n eu canfod ar nos Wener.
croit/ceph-rust README — rhagolwg cyhoeddus ers 9 Tachwedd 2026, ‘not yet recommended for production data’, gofynion, cychwyn cyflym, set nodweddion cynhyrchu, ymrwymiad Ceph a brofwyd. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
croit/ceph-rust release snapshot-2026-11-10 — y pecynnau a ddefnyddiwyd yma, gan gynnwys
flashstore_…_debian-trixie_amd64.debasha256sums.txt. ↩︎ ↩︎croit/ceph-rust — hardware requirements — gwiriad cache ysgrifennu anweddol, hugepages, nodiadau ar fersiwn y cnewyllyn. ↩︎
croit/ceph-rust — branches and versions — mae
mainyn targedu v21.2.0, maev20.2.4yn targedu v20.2.4; ‘The daemon refuses a cluster release outside its supported window.’ ↩︎ ↩︎Proxmox pve-manager, PVE/Ceph/Releases.pm —
umbrellawedi’i restru gydarelease => '21.2'acunsupported => 1. ↩︎croit/ceph-rust — build and install packages — dosbarthiadau, glibc 2.34, trin
ceph-osd.target, y llinellapt remove. ↩︎ ↩︎ ↩︎croit/ceph-rust — configuration reference —
flashstore_dev,flashstore_lcores,flashstore_report_objectstorea pham ei fod yn rhagosod ibluestore. ↩︎ ↩︎croit-flashstore-osd Cargo.toml — llinell 29,
knet = [… "kernel-nvme"]. ↩︎croit/ceph-rust — first OSD tutorial — gwiriad darllen yn unig y gwesteiwr; ‘Exit 0 means no FAIL.’ ↩︎ ↩︎
croit/ceph-rust — ADR 0169, kernel NVMe backend — dau fodd y cnewyllyn, y gymhariaeth a fesurwyd, cyllideb y dyrannwr llwyth, datrys cyfeiriad
spdk:a’r llwybr wrth gefn Identify yn unig (diwygiad 6). Ychwanegwyd at yr ystorfa yr un noson â’r rhyddhad. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Proxmox VE — Proxmox Cluster File System (pmxcfs) — y system ffeiliau clwstwr o dan
/etc/pvea’i pherchnogaeth a’i chaniatâd sefydlog. ↩︎croit-flashstore-osd@.service —
User=ceph,ExecStartPre=… activate, aCapabilityBoundingSethebCAP_DAC_OVERRIDE. ↩︎ ↩︎croit-flashstore-osd privdrop.rs — y gollyngiad braint
--setuser/--setgroupclasurol. ↩︎croit/ceph-rust — prepare the host — ‘the namespace node must be readable and writable by user
ceph(udev rule)’. ↩︎Linux v7.0, drivers/nvme/host/ioctl.c —
nvme_cmd_allowed(), y rheol ar gyfer passthrough NVMe di-fraint. ↩︎croit/ceph-rust — security — ‘
preparedefaults--keyringto/var/lib/ceph/bootstrap-osd/<cluster>.keyring’. ↩︎croit/ceph-rust — prepare, activate and list — y prawf dyfais nad yw’n wag a
--wipe. ↩︎Proxmox pve-manager, PVE/API2/Ceph/OSD.pm — mae
osdtypeynbluestoredim ond pan fydd y metadata’n cariobluefs, fel arallfilestore. ↩︎Proxmox pve-manager, PVE/Ceph/Services.pm — mae
ceph_service_cmd()yn mapioosd.Ni’r uned systemdceph-osd@N. ↩︎Ceph documentation — CRUSH maps — rheolau dyblygu, parthau methiant a dosbarthiadau dyfeisiau. ↩︎
CrystalDiskMark — meincnod disg Crystal Dew World; ‘Various measure mode (Peak/Real World/Demo)’. ↩︎
Proxmox VE wiki — Performance Tweaks — moddau cache y ddisg: ‘cache=none seems to be the best performance and is the default since Proxmox 2.X’. ↩︎