Rust-OSD у день виходу

croit випустила FlashStore OSD у публічне прев’ю 9 листопада 2026 року1. Це OSD для Ceph, написаний з нуля на Rust, з власним сховищем об’єктів замість BlueStore, і він говорить мережевим протоколом Ceph. Обіцянка така: він стає в кластер, який у тебе вже працює. Твої монітори, твої менеджери, твій CLI ceph і твої клієнти лишаються як є, а ти замінюєш по одному диску1.

Для того, хто працює на Proxmox, ця обіцянка важить більше, ніж для більшості. На гіперконвергентному вузлі Proxmox VE Ceph не встановлюють окремо. Він приходить із GUI Proxmox, з власних репозиторіїв Proxmox, зібраний і пропатчений Proxmox, і все це керується через pveceph. Якщо чужий OSD може сісти всередину цього, нічого не зламавши, ти отримуєш новий рушій сховища, не відмовляючись від інструментів. Якщо не може, ти дізнаєшся про це на власній шкурі, на вузлі, де ще й крутяться твої ВМ.

Тож я спробував.

Я працюю в croit, яка робить FlashStore. Саме тому я спробував його протягом двох днів після виходу, і саме тому нічого нижче не пом’якшено. Це прев’ю, README каже, що його «not yet recommended for production data»1, і це звіт про те, чого він коштував на справжньому залізі, а не брошура.

Хто що дає на одному вузліДиск ВМ на RBDQEMU з librbd, яку постачає ProxmoxВід Proxmox: pvecephceph-mon, ceph-mgr 21.2.0-pve1CLI, GUI, пули, сховище RBDвстановлено з майстра на 8006Від croit: FlashStorecroit-flashstore-osd 21.2.0один демон на Optaneвстановлено з .deb, вручнуЗавантажувальний SN750: ніколи не OSD8 × Optane P4800X, 4 КіБ, увесь простір імен
Хто що дає. Proxmox встановлює монітор і менеджер і володіє GUI, пулами й визначенням сховища. Пакет croit дає лише демони OSD, по одному на диск.

Коротка відповідь: працює. Поки я це пишу, вісім OSD FlashStore роздають пул RBD для ВМ на стоковому вузлі Proxmox VE 9.2, HEALTH_OK. Довша відповідь: знадобилося два виправлення, про які документація мовчить, одне через те, як Proxmox зберігає свою конфігурацію Ceph, а друге через ядро Proxmox, і решта цього допису про ці виправлення і про те, як їх знайшли. Якщо тобі треба лише, щоб воно запрацювало, ближче до кінця є скрипт, що робить усе це, і його запускали на цьому вузлі.

Залізо

Лабораторія це один вузол, pve2, у моїй домашній мережі, і це паршивий міні-ПК Minisforum B550 2021 року. Ceph на одному вузлі не те, як запускають продакшен, і правило CRUSH нижче є ціною цього, але кожен крок тут такий самий і на вузлі, що має сусідів.

Proxmox VEpve-manager 9.2.26, ядро 7.0.14-28-pve, Debian 13.7
МашинаМіні-ПК Minisforum B550, 2021; плата звітує BESSTAR TECH B550, BIOS 5.17
CPUAMD Ryzen 7 5700G, 8 ядер, 16 потоків, 1 вузол NUMA
Пам’ять58 ГіБ
Диски OSD8 × Intel Optane P4800X 375 ГБ (6 з брендом Dell, 2 роздрібні Intel)
PCIe до Optaneусі вісім за одним комутатором Broadcom PEX880xx, на одному лінку PCIe 3.0 x16 від APU
Завантажувальний дискWD SN750 512 ГБ, VG pve, тримаю осторонь від усього цього
Мережаодин порт 2,5 GbE, vmbr0
FlashStoresnapshot-2026-11-10, коміт upstream c5792750020e2

Optane тут тому, що FlashStore має дві жорсткі вимоги, на яких спотикається чимало дисків. Диск мусить мати захист від утрати живлення, а простір імен мусить використовувати блоки по 4096 байтів, цілим простором імен без розділів і файлової системи на ньому1. FlashStore підтверджує запис тоді, коли він надійно лежить на диску, тож диск, що бреше про надійність через енергозалежний кеш, відкидається на mkfs3. Кожен P4800X у своїх даних Identify повідомляє, що енергозалежного кешу запису немає (vwc 0), тобто сам диск каже, що кеш не може втратити підтверджений запис.

Тож обмежувальним чинником у цьому глибокому розборі є міні-ПК, а не FlashStore і не диски. Вісім ядер означає по одному на OSD і жодного вільного, 58 ГіБ мають годувати і Ceph, і ВМ, а вісім Optane ділять один лінк PCIe 3.0, бо це все, що APU може дати. Читай кожне число нижче як те, що дозволяє ця машина.

Umbrella або нічого

FlashStore збирають під один реліз Ceph за раз. Вирішує гілка: main говорить із Ceph 21.2.0 Umbrella, а гілка v20.2.4 із 20.2.4 Tentacle4. Демон перевіряє реліз кластера під час запуску і відмовляється від того, що поза його вікном4. Пакети на сторінці релізу зібрано з main, і сам бінарник про це каже: croit-flashstore-osd 21.2.0 umbrella.

Proxmox VE 9 пропонує три репозиторії Ceph, і збігається лише один.

Вікно версійРепозиторії Proxmox VE 9Гілки FlashStoreceph-squid: 19.2.7гілки squid немаєceph-tentacle: 20.2.520.2.5 це не 20.2.4v20.2.4: tentacle 20.2.4ceph-umbrella: 21.2.0-pve121.2.0 збігаєтьсяmain: umbrella 21.2.0Демон відмовляється від релізу кластера поза своїм вікном.
Репозиторій Tentacle від Proxmox уже пішов далі за 20.2.4, а гілки Squid немає взагалі. Umbrella 21.2.0-pve1 єдиний реліз, на якому обидві сторони сходяться.

Tentacle типовий у Proxmox, то чи це безпечний вибір? Це саме той, що не запрацює. Репозиторій Proxmox веде Tentacle до 20.2.5-pve1, а гілка Tentacle у FlashStore цілиться рівно в 20.2.4. Umbrella в репозиторії Proxmox це 21.2.0-pve1, той самий реліз, у який цілиться main.

Proxmox не приховує, що таке Umbrella. PVE/Ceph/Releases.pm перелічує його з unsupported => 15, і майстер у GUI каже про це простими словами, щойно ти його обираєш.

Майстер налаштування Ceph у Proxmox з обраним umbrella (21.2) і репозиторієм no-subscription, з приміткою, що реліз є Technology Preview, а Enterprise Repository ще недоступний

«Technology Preview», жодного корпоративного репозиторію, і встановлювач перепитує вдруге в терміналі, continue (y/N)?, перш ніж торкнутися apt. Це правильна кількість попереджень, і її варто читати як твердження про весь стек: прев’ю OSD на прев’ю релізі Ceph.

Встановлення стокове для Proxmox. Datacenter → Ceph → Install, версія Umbrella, репозиторій No-Subscription, потім публічна мережа і перший монітор.

Термінал у майстрі Ceph у Proxmox зі списком пакетів Umbrella, серед них ceph-osd і ceph-osd-classic, 13 оновлено і 46 встановлено вперше

Тринадцять пакетів оновлено, 46 нових, завантажено 107 МБ. Одна річ у цьому списку нова для Umbrella: ceph-osd-classic поруч із ceph-osd. Жоден тут не використовується, бо класичний OSD так і не створюється. Приблизно за хвилину mon.pve2 і mgr.pve2 уже працювали, ceph versions показував 21.2.0 … umbrella, а стан був OK, хоч зберігати ще не було чого.

Чотири диски на 512 байтів

Чотири з восьми Optane колись прокинули в лабораторну ВМ, і вони досі мали формат 512 байтів зі старими мітками ZFS. Ще два мали правильний формат і ті самі мітки. Виправлення для обох просте: забрати їх з ВМ, відформатувати в 4 КіБ, стерти мітки.

P4800X пропонує 4096 байтів без метаданих як формат LBA 3, який nvme id-ns показує як lbaf 3 : ms:0 lbads:12.

nvme format /dev/nvme0n1 --lbaf=3 --force --timeout=900000
wipefs -a /dev/nvme0n1
sgdisk --zap-all /dev/nvme0n1

Перша спроба провалилася, і пізніша теж. Обидва рази nvme format повертався з Interrupted system call, а диск лишався на 512 байтах. Причина в журналі ядра:

nvme nvme0: I/O tag 0 (0000) opcode 0x2 (Admin Cmd) QID 0 timeout, reset controller
nvme nvme1: I/O tag 9 (0009) opcode 0x6 (Admin Cmd) QID 0 timeout, reset controller

Opcode 0x2 це Get Log Page, а 0x6 це Identify. Жоден із них не форматування. P4800X форматує весь носій, і тут це тривало від 345 до 351 секунди на диск. Поки воно йде, контролер не відповідає на інші адміністративні команди, тож усе, що ставить диску питання, чекає. Після 60-секундного тайм-ауту адміністративних команд ядро здається і скидає контролер, а скидання вбиває форматування.

Як переривається форматуванняnvme formatвід 345 до 351 сна один P4800XАдмін. командаsmartctl, nvme list,оновлення дисків у GUIтайм-аут 60 сядро скидаєконтролерПерерваноEINTR, rc 1диск досі 512 БВиправлення: кожне форматування у власному юніті systemd, по одному диску,і нічого іншого дискам не надсилати, поки воно не закінчиться.
Не форматування є командою, що вичерпує тайм-аут. Щось інше ставить диску питання, чекає за форматуванням, і скидання, що йде слідом, його перериває.
СпробаЩо дійшло до дискаРезультат
nvme0, першаGet Log Page о 09:53:04, посеред встановлення Cephперервано, досі 512 Б
nvme0, у юнітінічого4 КіБ за 345 с
nvme1мій власний nvme list для перевірки прогресуперервано, досі 512 Б
nvme2, nvme3нічого4 КіБ за 351 с і 350 с
nvme1, окремонічого4 КіБ за 346 с

Виправлення: запускати кожне форматування в тимчасовому юніті з довгим тайм-аутом, по одному диску, і не чіпати диски, поки воно не закінчиться:

systemd-run --unit=fmt4k /root/fmt4k.sh
journalctl -u fmt4k -f       # read progress from the journal, not from the drive

Так єдиною перевіркою прогресу є журнал, і до контролера нічого не доходить. Після цього всі вісім показали 4 KiB у nvme list.

Пакет

Сторінка релізу має пакети .deb і .rpm, серед них для Debian 13 trixie, на якому збудовано Proxmox VE 92. Одна збірка обслуговує всі дистрибутиви, їй потрібна glibc 2.34 чи новіша6.

B=https://github.com/croit/ceph-rust/releases/download/snapshot-2026-11-10-0b6783237291
curl -LO "$B/flashstore_21.2.0+git.20261110063351.c5792750020e_debian-trixie_amd64.deb"
curl -LO "$B/sha256sums.txt"
sha256sum flashstore_*_debian-trixie_amd64.deb
grep debian-trixie/flashstore_ sha256sums.txt

Перевір це вручну. sha256sum -c не може перевірити це завантаження, бо файл контрольних сум називає його debian-trixie/flashstore_…_amd64.deb, тоді як сам файл зветься flashstore_…_debian-trixie_amd64.deb. Хеші збігаються, ce1fb352…26c8 з обох боків, тож файл у порядку, і лише список розійшовся з файлами.

apt install ./flashstore_*_debian-trixie_amd64.deb
croit-flashstore-osd --version
croit-flashstore-osd 21.2.0 umbrella (build 0.0.0) git c5792750020e
net tiers: kernel (+rdma upgrade)

Він встановився чисто поруч із власними ceph-osd і ceph-osd-classic від Proxmox. Пакет встановлює мінімальний ceph-osd.target лише на хостах, де його немає6, а в Proxmox він уже є, тож юніти FlashStore чіпляються до того самого target, що й класичні.

Три речі про пакет, які варто знати, перш ніж писати під нього скрипти:

Що кажуть документиЩо є в пакеті
Назва пакетаapt remove flashstore …6croit-flashstore-osd, файл зветься flashstore_…
Бекенди сховищапродакшен-набір функцій main це knet,spdk,rdma,mimalloc1без SPDK: --check повідомляє «SPDK NVMe driver: compiled out»
Значення flashstore_devspdk:<pci> або file: у збірках для розробки7рівень ядра, kernel:/dev/…, єдиний справжній шлях до сховища в цій збірці

Середній рядок важливий. Рівня SPDK, драйвера NVMe у просторі користувача, якому потрібен диск, прив’язаний до vfio-pci, немає в опублікованому пакеті для Debian. Що в ньому є, так це рівень ядра: диск лишається на власному драйвері ядра nvme, а FlashStore говорить із ним через io_uring. Вихідний код показує, що його вкомпільовано, бо функція knet тягне за собою kernel-nvme8, хоча підсумковий рядок перевірки хоста називає його «compiled out of this build». Цей рядок помиляється. Читач, що йому повірить, зупиниться саме там.

Що каже перевірка хоста

croit-flashstore-osd --check лише читає і запускається до того, як щось буде записано. Вона перевіряє збірку, CPU, пам’ять, IOMMU, кожен контролер NVMe, мережеву карту, ядро і конфігурацію, і для кожної знахідки друкує точне виправлення9. На цьому вузлі вона провела 115 перевірок, і вона добра: кожна знахідка йде з командою, що її виправляє, а це зберегло купу копирсання.

ЗнахідкаРезультатЩо я зробив
Hugepages: нічого не зарезервованоFAILзарезервував 16 ГіБ, які вона просила, закріпив у /etc/sysctl.d
Завантажувальний SN750: енергозалежний кеш записуFAILнічого, він не кандидат в OSD
vfio-pci не завантаженоWARNнічого, у цій збірці немає SPDK, щоб ним користуватися
ліміт memlock 8 МіБWARNнічого, вона вимірює оболонку; юніт задає LimitMEMLOCK=infinity
немає isolcpus / nohz_fullWARNзаписав, налаштування затримок
IOMMU з трансляцією, не iommu=ptWARNзаписав
init_on_alloc=1WARNзаписав, за її словами коштує 15–20 % CPU на великих читаннях
порт 2,5 GbE, типові кільця NIC, IRQ на п’яти CPUWARNзаписав
8 × P4800X: без VWC, активний 4096+0, x4 на 8 GT/s, вільніOK
io_uring із SEND_ZC і фіксованими буферами, ядро 7.0OK

Заклади в план другий FAIL. Перевірка рахує кожен контролер у машині, а завантажувальний SSD має кеш запису, тож він провалює тест на втрату живлення, хоча та сама перевірка правильно позначає його як «in use, not a candidate». Посібник каже, що код виходу 0 означає відсутність FAIL9. На будь-якому хості, що завантажується зі споживчого SSD, а таких хостів Proxmox чимало, --check не може вийти з 0, хоч що ти виправиш. Пиши скрипти під рядки окремих перевірок, а не під код виходу.

WARN щодо налаштувань лишилися. Кожен із них потребує зміни командного рядка ядра і перезавантаження, а це розгортання, не бенчмарк. Це правильний список, який треба пройти, перш ніж хтось наводитиме число з цієї машини.

Ядра і hugepages для восьми OSD

FlashStore працює за схемою потік на ядро, і перевірка пояснює, що це означає: «one core = one shard/PG owner», щонайбільше 8 ядер на OSD, і кожне ядро OSD на власному фізичному ядрі, а не спільне з SMT-сусідом. Вісім фізичних ядер і вісім OSD дають по одному ядру кожному, flashstore_lcores = 0 до 7, а SMT-сусідів лишено для Proxmox і ВМ. Після повторного запуску з цим у конфігурації перевірка позначає кожен план ядер як OK.

Ядра і hugepages на одній машиніОдин OSD на фізичне ядро; SMT-сусіди лишаються хосту0: osd.01: osd.12: osd.23: osd.34: osd.45: osd.56: osd.67: osd.7потоки 8–15: Proxmox, ВМ, допоміжні потоки OSDHugepages: 16 ГіБ зарезервовано, 4 ГіБ використовують вісім OSD4 ГіБ у роботі12 ГіБ зарезервовано й простоюють, із 58 ГіБ хоста
Одне фізичне ядро на OSD. Пул hugepages має розмір за типовими для перевірки 2048 МіБ на OSD, і кожен запущений OSD узяв чверть від цього.

Подивися ще раз на hugepages. Перевірка просить 2048 МіБ на OSD, що є типовим --mem демона, тож вісім OSD потребують 16 ГіБ зарезервованих. Під час роботи кожен OSD використав 512 МіБ зі своїх 2048. Це збігається з власною проєктною нотаткою croit для бекенду ядра, яка відводить чверть --mem на алокатор корисного навантаження10. Тож на цій машині, з усіма вісьмома запущеними, 12 ГіБ RAM лежать зарезервованими як hugepages, яких ніщо не торкається, на хості, що має ще й ВМ годувати. Вузол сховища лише знизав би плечима. На вузлі Proxmox ця пам’ять була б ВМ, і нижче її урізано до того, що OSD справді використовують.

Можна спитати, чому він не може прочитати ceph.conf?

Диски відформатовано, пакет стоїть, перевірка хоста чиста, а перший OSD не запускався.

croit-flashstore-tool: refused: /etc/ceph/ceph.conf: Permission denied (os error 13)

У Proxmox /etc/ceph/ceph.conf це символьне посилання на /etc/pve/ceph.conf, а /etc/pve це pmxcfs, кластерна файлова система, що тримає конфігурацію всіх вузлів синхронною. Файли там мають root:www-data 0640, і pmxcfs не дає змінити це для окремого файлу11. Власні демони Ceph від Proxmox справляються, бо стартують як root, читають конфігурацію, а потім переходять до користувача ceph, що й робить --setuser ceph --setgroup ceph у кожному юніті ceph-osd@.

Юніт FlashStore не стартує як root. Він User=ceph з першої ж інструкції, разом з ExecStartPre12, тож до файлу він так і не добирається.

Можна спитати, чому пакет, зібраний для Debian, для продукту, що має ставати на місце старого, не спробували на найпоширенішій платформі Ceph на базі Debian? Я не питаю, хто. pveceph тримає свою конфігурацію на pmxcfs, і кожен OSD FlashStore на вузлі під керуванням pveceph наткнеться на це під час першого запуску.

У демона відповідь уже вбудована. Його вихідний код описує класичне скидання через --setuser/--setgroup: «started as root by a classic unit (--setuser ceph --setgroup ceph), the daemon becomes that user before it opens the store, a socket or a file»13. Тож drop-in, що запускає юніт так, як Proxmox запускає власні OSD, мав би впоратися.

Не зовсім. Запущений як звичайний root, наступною відмовою став диск.

activate: device kernel:/dev/ng0n1 not ready: /dev/nvme0n1: Permission denied (os error 13)

CapabilityBoundingSet юніта не містить CAP_DAC_OVERRIDE12, тож root обмежений звичайними правами на файли, а вузли простору імен належать ceph:ceph. Старт як root з групою ceph покриває обидва: root володіє файлом конфігурації, група ceph відкриває диск, а демон переходить до ceph, перш ніж робити будь-що інше.

Три способи запустити юнітЯк постаченоUser=ceph Group=ceph/etc/pve/ceph.conf root:www-data 0640Permission denied на читанні confСтарт як rootнемає CAP_DAC_OVERRIDE/dev/nvme0n1 ceph:ceph 0660Permission denied на відкритті дискаRoot, група cephпотім --setuser cephconf читає власник, диск відкриває група,демон працює як ceph
Юніт у тому вигляді, як його постачають, не може прочитати pmxcfs. Звичайний root не може відкрити диск, бо обмежувальний набір забирає перевизначення. Root із групою ceph робить обидва, а потім скидає права.
# /etc/systemd/system/croit-flashstore-osd@.service.d/pve-ceph-conf.conf
[Service]
User=root
Group=ceph
ExecStart=
ExecStart=/usr/bin/croit-flashstore-osd run --id %i --cluster ${CLUSTER} -f --setuser ceph --setgroup ceph

Демон підтверджує скидання у власному журналі: set uid:gid to 64045:64045 (ceph).

Є коротше виправлення, SupplementaryGroups=www-data, і я ним не скористався. Воно дало б OSD читати кожен доступний групі файл у /etc/pve, а не лише конфігурацію Ceph. OSD нема чого читати решту конфігурації кластера, а drop-in вище дає йому нічого понад те, що Proxmox дає власним.

Далі вузли пристроїв. Документація FlashStore каже, що вузол простору імен має бути доступним на запис для ceph, «(udev rule)»14, а пакет такого правила не має. Це правило знаходить диски за моделлю, тож не може зачепити завантажувальний диск, хоч як би змінилася нумерація:

# /etc/udev/rules.d/70-croit-flashstore-optane.rules
SUBSYSTEM=="nvme-generic", KERNEL=="ng*n*", ATTRS{model}=="Dell Express Flash NVMe P4800X*|INTEL SSDPE21*", OWNER="ceph", GROUP="ceph", MODE="0660"
SUBSYSTEM=="block", KERNEL=="nvme*n*", ENV{DEVTYPE}=="disk", ATTRS{model}=="Dell Express Flash NVMe P4800X*|INTEL SSDPE21*", OWNER="ceph", GROUP="ceph", MODE="0660"

Після udevadm trigger шістнадцять вузлів Optane стали ceph:ceph 0660, а SN750 лишився root.

Passthrough, якого це ядро не робить

Рівень ядра має два режими, і вузол, який ти назвеш, обирає між ними. kernel:/dev/ngXnY надсилає команди NVMe прямо на диск через io_uring, у croit це зветься kernel-cmd. kernel:/dev/nvmeXnY робить читання й запис O_DIRECT на блоковому пристрої, це зветься kernel або direct10. croit виміряла kernel-cmd попереду в кожній комірці, яку тестувала10, і власний швидкий старт README використовує його1, тож його я й налаштував.

Коли з правами розібралися, демон перейшов до ceph, прочитав конфігурацію і зупинився на першому читанні:

croit-flashstore-osd: --dev kernel:/dev/ng0n1: /dev/ng0n1: kernel-cmd fixed-buffer probe read: Errno(13)

Та сама проба пройшла хвилиною раніше в activate, який ще мав можливості root. Тож питання в тому, чи дозволяє це ядро непривілейованому процесу надсилати команди вводу-виводу через /dev/ngXnY. На це можна відповісти без FlashStore, тим самим читанням через nvme-cli, від імені ceph:

Від іменіКоманда на /dev/ng0n1Результат
cephIdentify Namespaceдозволено
cephRead, LBA 0, 4 КіБPermission denied
rootRead, LBA 0, 4 КіБдозволено

Усі вісім Optane дали ту саму відповідь, включно з двома, які я ніколи не форматував і не скидав, з мікропрограмою Intel, а не Dell. Тож справа не в дисках і не в ранкових форматуваннях.

Upstream каже, що це має працювати. У Linux 7.0 nvme_cmd_allowed() дозволяє непривілейованому процесу надіслати команду вводу-виводу, коли журнал Commands Supported and Effects диска позначає її підтримуваною без незвичних ефектів, і вимагає відкриття на запис лише для команд, що пишуть чи змінюють дані15. Журнал ефектів P4800X позначає Read як підтримувану, 00000001, і більше нічого. Читання дозволене.

Ядро Proxmox не upstream. Його журнал змін для цієї збірки містить бекпорт виправлення саме на цьому шляху, CVE-2026-90227: nvme/ioctl: check SUBMIT_IO with nvme_cmd_allowed(), яке на перший погляд стосується іншого ioctl, ніж той, що я тестував. Я не з’ясував, яка саме зміна в ядрі 7.0.14-28-pve дає різницю, і вгадувати не буду. Певна лише поведінка: на цьому ядрі непривілейований passthrough вводу-виводу NVMe відкидається.

FlashStore має запасний шлях на випадок відкинутого passthrough, і він не спрацював. Проєктна нотатка croit каже, що коли Identify відкинуто, пристрій kernel-cmd переходить на прямий ввід-вивід на своєму блоковому вузлі й повідомляє про це під час старту10. Тут Identify дозволено, а Read ні, тож запасний шлях ніколи не вмикається, і OSD натомість зупиняється.

Два шляхи до дискаkernel-cmd: NVMe passthroughkernel: прямий блоковий I/Oio_uring URING_CMD/dev/ng0n1, generic символьнийвідмова користувачу ceph: EACCESio_uring READ/WRITE_FIXED/dev/nvme0n1, O_DIRECTпрацює: треба лише rw на вузлі
Passthrough іде через перевірку прав ioctl NVMe, і ядро Proxmox відмовляє в ній користувачу ceph. Прямому вводу-виводу на блоковому пристрої потрібні лише читання й запис на вузлі, які вже дає правило udev.

Прямому вводу-виводу байдуже. Це один рядок на OSD:

flashstore_store_backend = kernel

З ним osd.0 піднявся.

croit-flashstore-osd: store mounted (1 shards, replayed 4 txns in 16 ms)
croit-flashstore-osd: set uid:gid to 64045:64045 (ceph)
[    1.398] crush location set (create-or-move updating item name 'osd.0' weight 0.3359 at location {host=pve2,root=default} to crush map)
[    2.406] osd.0 is now active (up_from 10, map 10)

Активний за 2,4 секунди.

Підготовка і запуск OSD

Кожен OSD отримує секцію в конфігурації Ceph, що в Proxmox означає редагування /etc/pve/ceph.conf, і робити це вручну цілком нормально.

[osd.0]
	flashstore_dev = spdk:0000:05:00.0
	flashstore_store_backend = kernel
	flashstore_lcores = 0

Пристрій названо за адресою PCI, а не через /dev/nvme0n1, і префікс spdk: тут не означає SPDK. Коли задано бекенд ядра, демон шукає адресу в sysfs на кожному старті і знаходить поточні вузли контролера10.

Як назвати диск, щоб назва трималася[osd.0]spdk:0000:05:00.0пошук у sysfsна кожному старті/dev/nvme0n1/dev/ng0n1номери nvme ідуть за порядком опитування, і на цьому хості вони зсунулися:SN750 у жовтні був nvme7, а тепер nvme8.
Адресу PCI задає слот. Номер nvme задає порядок опитування, а він не сталий.

Тут це важливо. Завантажувальний SN750 у жовтні був nvme7, а тепер nvme8, і молодші номери generic-вузлів теж не йдуть за порядком дисків: ng1n1 має minor 0, а ng0n1 minor 2. Конфігурація, що каже /dev/nvme4n1, після перезавантаження може вказувати на інший диск. Конфігурація, що каже 0000:0b:00.0, не може.

Далі по одній команді на диск, що записує сховище і реєструє OSD у моніторі:

croit-flashstore-tool prepare --dev spdk:0000:05:00.0 --id 0
kernel-cmd /dev/ng0n1: fixed-buffer NVMe passthrough probe ok (IORING_URING_CMD_FIXED on)
mkfs: device lba 4096 B x 91573146 (375083606016 B), awupf 1 lba, vwc false, max_xfer 32 lba
mkfs: 1 store shards, WAL ring 4096 MiB each
osd.0 prepared in /var/lib/ceph/osd/ceph-0

Дві секунди, від root. prepare читає ключ bootstrap з /var/lib/ceph/bootstrap-osd/ceph.keyring16, який pveceph записує лише тоді, коли вперше створює власний OSD, тож без класичних OSD його треба спершу забрати:

ceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring

Шість дисків підготувалися з першого разу. Два відмовили:

croit-flashstore-tool: refused: device is not empty (non-zero data in the first 8192 bytes); --wipe destroys it
croit-flashstore-tool: refused: device is not empty (non-zero data at 65536 bytes); --wipe destroys it

lsblk і blkid обидва показували ці два диски як порожні. На них лежала текстова область метаданих групи томів LVM з давньої лабораторії, давно видаленої, з уже обнуленою міткою на початку. Проба FlashStore читає перші 8 КіБ і ділянки на 64 КіБ і 256 КіБ17, тобто далі, ніж дивляться звичайні інструменти, і вона мала рацію. Відмовлятися від диска, на якому хоч щось є, поки не скажуть --wipe, саме те, що має робити інструмент для OSD. Стирати їх вирішує той, хто володіє дисками, а не інструмент. Коли це вирішили, --wipe підготував обидва приблизно за дві секунди, і вони приєдналися після встановлення нижче, тому знімок панелі й цифри встановлення показують шість.

Далі запуск:

systemctl enable --now croit-flashstore-osd@0
ID  CLASS  WEIGHT   TYPE NAME      STATUS  REWEIGHT  PRI-AFF
-1         2.01535  root default
-3         2.01535      host pve2
 0   nvme  0.33589          osd.0      up   1.00000  1.00000
 1   nvme  0.33589          osd.1      up   1.00000  1.00000
 2   nvme  0.33589          osd.2      up   1.00000  1.00000
 3   nvme  0.33589          osd.3      up   1.00000  1.00000
 4   nvme  0.33589          osd.4      up   1.00000  1.00000
 5   nvme  0.33589          osd.5      up   1.00000  1.00000

Кожен OSD сам поставив себе під host=pve2 з класом пристрою nvme. Те, що вони розповідають кластеру про себе, варто раз прочитати:

ПолеМонітор і менеджерOSD FlashStore
ceph versions21.2.0 (087cd25db8f1) umbrella (dev - None)21.2.0 (b060042deb05) umbrella (dev - croit-flashstore-osd)
Хто зібравProxmox, пакети -pve1croit, з коміту upstream v21.2.0, який називає README1
osd_objectstorebluestore, з заповненим кожним полем bluestore_bdev_*
Що це насправдіFlashStore, без BlueFS, без RocksDB

Відповідь BlueStore навмисна. flashstore_report_objectstore типово дорівнює bluestore, бо класичні монітори вмикають деякі функції лише тоді, коли так звітує кожен OSD, тож це типове значення тримає змішаний кластер у робочому стані7. Це неправда, і про це варто знати, перш ніж читати метадані кластера і вірити їм.

Що з них робить Proxmox

Панель OSD у Proxmox показує всі шість: up і in, клас nvme, версія 21.2.0, по 344 ГіБ. А ще вона називає їх FileStore.

Панель OSD Ceph у Proxmox зі списком osd.0–osd.5 під хостом pve2, клас nvme, OSD Type filestore, up і in, версія 21.2.0, по 344.00 GiB

FileStore це сховище об’єктів, яке замінив BlueStore. Proxmox визначає мітку в PVE/API2/Ceph/OSD.pm: якщо метадані OSD мають ключ bluefs, це BlueStore, а все інше FileStore18. FlashStore не має BlueFS, бо під ним немає RocksDB, тож в одному полі він звітує BlueStore, а за іншим отримує мітку FileStore. Жодне не правильне. А панель це те, куди більшість адміністраторів Proxmox дивляться першими.

Стовпці затримок у простої показують 0 / 0. Під час встановлення нижче ceph osd perf показував затримки commit від 0 до 3 мс на всіх шести.

Start, Stop і Restart у панелі керують ceph-osd@N, класичним юнітом, а працює не він19. Тож панель це вікно на ці OSD, а не пульт для них. Для всього, що чіпає демони, використовуй systemctl … croit-flashstore-osd@N і CLI, а Create: OSD і Destroy на цих не чіпай узагалі.

Пул, сховище і ВМ на Fisher-Price OS (Windows)

Перша PG у кластері, з пулу .mgr менеджера, стала undersized+degraded, щойно OSD піднялися. Винен один вузол. Типове replicated_rule кладе кожну копію на інший хост, а хост один.

ceph osd crush rule create-replicated replicated_osd default osd nvme
ceph osd pool set .mgr crush_rule replicated_osd

Правило з доменом відмови osd і класом пристрою nvme20 кладе кожну копію на інший OSD, і PG стала active+clean за кілька секунд. На справжньому кластері з трьома і більше хостами залиш правило за хостами і пропусти це.

Усе далі це звичайний GUI Proxmox. Ceph → Pools → Create: назва flashstore, size 3, min size 2, правило replicated_osd, позначка Add as Storage. Пізніше для тесту навантаження нижче його змінили на size 2, min size 1.

Панель пулів Ceph у Proxmox з пулами .mgr і flashstore на replicated_osd, і flashstore (pve2) додано в дерево сховищ

Proxmox за один раз створив пул і визначення сховища RBD, і flashstore з’явився в дереві з 654 ГіБ корисного місця, тобто 2 ТіБ сирого місця, поділені на три копії, мінус накладні витрати. 129 PG стали active+clean, і невдовзі автомасштабувальник зменшив новий пул зі 128 до 32.

Тестовий гість це ВМ на Fisher-Price OS (Windows). Це не вподобання, це те, що значна частка клієнтів справді запускає на своїх пулах Proxmox, тож саме це навантаження й рахується: 16 ГіБ пам’яті, 4 ядра, диск на 60 ГіБ на flashstore з увімкненими discard і iothread. Вона ще й балакуча щодо диска і неефективна з ним, і в цьому суть: тест сховища хоче гостя, що найсильніше налягає на диск.

Від диска ВМ до OptaneДиск ВМscsi0, 60 ГіБQEMU + librbd21.2.0-pve1пул flashstorereplicated_osd, size 2FlashStore OSD, копія 1FlashStore OSD, копія 2Класична librbd від Proxmox говорить з OSD від croit; librustyrbd тут не встановлено.
Записи ВМ ідуть через librbd, яку постачає Proxmox, у правило пулу і далі на два OSD FlashStore за size 2. Власну librustyrbd від croit не встановлено, тож це класичний клієнт проти Rust-OSD.

Вибірка пулу кожні десять секунд протягом перших п’ятнадцяти хвилин встановлення:

Записи в пулмедіана 9,3 МБ/с під час активності, пік 302 МБ/с
Операції записупік 2486 за секунду
Читання з пулупік 60 МБ/с
Використано сирого місця35 ГіБ на шести OSD
СтанHEALTH_OK в усіх 90 вибірках
Перезапуски OSD0
Резидентна пам’ять OSDвід 565 до 871 МіБ кожен після цього

Це числа встановлювача, з ВМ і OSD на одному хості й незачепленими WARN щодо налаштувань, і про швидкість FlashStore вони нічого не кажуть. Кажуть вони те, що класичний клієнт Proxmox провів встановлення операційної системи на Rust-OSD, 35 ГіБ сирого місця, без жодного збою, а це і є твердження, яке цей допис узявся перевірити.

Що він робить під навантаженням

Встановлення доводить, що воно працює. Воно не каже, як цією ВМ користуватися.

Тож ВМ отримала CrystalDiskMark 9.0.321, тричі: профіль Real World Performance [+Mix], Read&Write [+Mix], файл на 16 ГіБ на C: і суміш читання й запису 70/30, один раз на три проходи і двічі на дев’ять. Цей профіль виконує все по одному запиту за раз в одному потоці, як справді робить робочий стіл чи невелика база даних, а не як робить специфікація.

На той час налаштування вже змінилися після встановлення. ВМ мала шість ядер, а пул у GUI змінили на size 2, min size 1 і 256 PG. Size 2 з min size 1 це лабораторне налаштування на одній машині: коли лишається одна копія, пул далі приймає записи, які одна-єдина відмова може потім утратити. Деінде тримай 3 і 2.

Диск був на типовому для Proxmox режимі без кешу, який типовий ще з Proxmox 222.

CrystalDiskMark 9.0.3 у ВМ на Fisher-Price OS (Windows) на пулі flashstore, профіль Real World Performance із сумішшю 70/30, 16 GiB на C:, дев’ять проходів: SEQ1M Q1T1 1852.32 MB/s читання, 580.08 запис, 986.10 суміш; RND4K Q1T1 23.37, 9.97 і 16.12 MB/s; 5705.57, 2434.81 і 3935.79 IOPS; 174.73, 409.77 і 253.25 мікросекунди

Real World Performance [+Mix], 16 ГіБ3 проходи9 проходівзнову 9 проходів
SEQ1M Q1T1 читання1279,71 МБ/с1675,33 МБ/с1852,32 МБ/с
SEQ1M Q1T1 запис563,67 МБ/с576,65 МБ/с580,08 МБ/с
SEQ1M Q1T1 суміш1043,75 МБ/с1043,28 МБ/с986,10 МБ/с
RND4K Q1T1 читання5342 IOPS, 186,57 мкс5659 IOPS, 176,17 мкс5706 IOPS, 174,73 мкс
RND4K Q1T1 запис2419 IOPS, 412,51 мкс2405 IOPS, 414,79 мкс2435 IOPS, 409,77 мкс
RND4K Q1T1 суміш3938 IOPS, 253,13 мкс3826 IOPS, 260,49 мкс3936 IOPS, 253,25 мкс

Записи і затримка дрібних блоків тримаються в межах приблизно 1 % від запуску до запуску. Послідовне читання за три запуски росте на 45 %. Це перша ознака того, що стовпець читання вимірює не те, чим здається.

Хост вибирали кожні п’ять секунд протягом усіх трьох, з /proc/diskstats для восьми Optane, ceph status для пулу і /proc для кожного процесу й потоку, і ці два погляди розповідають різні історії.

Записи: диск це найменша частина

Один випадковий запис 4 КіБ за раз, останній запуск
Час на запис з погляду ВМ409,77 мкс
Час на запис на кожному Optane17 мкс
Записів, що доходять до Optane, на один запис ВМ4,05: дві копії, приблизно по два записи
Великі послідовні записи580 МБ/с з ВМ, 1,14 ГБ/с на Optane, друга копія подвоює

Диск це менше 5 % дрібного запису. Решта 393 мкс це дорога: QEMU, librbd, месенджер до OSD, сам OSD і очікування другої копії. Нічого з цього тут окремо не вимірювали, тож число на кожен шматок я не ставитиму. Але це таки каже, що на цій машині Optane не є межею для вводу-виводу по одному запиту, і швидший диск ті 410 майже не зрушив би. Межа перейшла до клієнта, librbd, яку постачає Proxmox, і про це буде ще, коли тут розгорнуть власну librustyrbd від croit.

Читання: кеш, а не Optane

В останньому запуску прохід випадкового читання 4 КіБ робив 5700 читань за секунду по всьому файлу на 16 ГіБ, а вісім Optane не прочитали взагалі нічого. Послідовний прохід дійшов до 2,2 ГБ/с на пулі, тоді як власні читання дисків упали з 755 МБ/с до нуля. CrystalDiskMark обходить кеш гостя, а диск у QEMU кешу не має, тож пам’ять, що робить роботу, сидить в OSD. flashstore_obj_cache у цій збірці типово ввімкнено, частка файлу на кожен OSD за size 2 близько 2 ГіБ, і кожен OSD виріс приблизно до 2,6 ГіБ. FlashStore не звітує про свої влучання, тож назвімо це майже певним, а не доведеним. Через це ж послідовне читання росло з кожним запуском: більша частина файлу вже була там. Сприймай стовпець читання як цифру кешу, а не сховища.

CPU: куди пішли ядра

Останній запуск, у ядрахЗайнятість хостаOSDvCPU гостяlibrbd і клієнт CephQEMU
Простій між проходами20–24 %3,30,10,030,03
Випадковий запис 4 КіБ30 %3,90,380,200,08
Випадкове читання 4 КіБ30 %3,60,470,390,15
Послідовна суміш41–53 %3,81,5–2,30,50,12

Три стовпці ВМ узято з її потоків: QEMU називає vCPU гостя, а месенджер і робочі потоки librbd працюють у тому самому процесі.

Стовпець OSD ледь рухається. Вісім OSD, що опитують, коштують 3,3 ядра, нічого не роблячи, і 3,9 на повну, тож на 16-потоковій машині п’ята частина CPU зникає ще до того, як ВМ щось попросить. Ніщо інше не наблизилося до своєї межі. Найзайнятішим окремим потоком був vCPU гостя на 47 %, а найзайнятіший потік librbd тримався нижче 15 %. За одного запиту за раз межею є очікування, а не робота, і цифра CPU очікування показати не може.

Пам’ять: плануй під пік

За всі три запуски
СтанHEALTH_OK у кожній вибірці, кожна PG active+clean, жодного перезапуску OSD
Використано hugepages4 ГіБ від початку до кінця
Пам’ять хоста, яку ще можна роздати, з однією ВМ на 16 ГіБвід 3,1 до 4,0 ГіБ

Рядок hugepages це знову розділ про бюджет, цього разу під навантаженням: 512 МіБ на OSD, а решти 12 ГіБ ніхто не торкнувся.

Звичайна пам’ять це число, за яким треба стежити, бо кеш вище з неї й зроблено. Щойно читання затягнуло файл, кожен OSD тримався на близько 2,5 ГіБ, і ось скільки Ceph тримав на хості з 58,7 ГіБ:

Пам’ять Ceph на піку, типова ціль 4 ГіБ
Процеси OSD, усі вісім разом19,9 ГіБ, від 2,4 до 2,6 ГіБ кожен
Hugepages, зарезервовані для OSD16 ГіБ, з них використано 4 ГіБ
Монітор і менеджер0,3 ГіБ
Разом36,2 ГіБ, 62 % хоста
Лишилося хосту роздати, з однією ВМ на 16 ГіБ3,6 ГіБ

Вона таки повертається, але не за жодним розкладом, який я міг би побачити. Вона трималася на 19,9 ГіБ 25 хвилин, разом із паузами простою, потім упала до 13,9 ГіБ наприкінці останнього запуску, і хост знову мав 10,2 ГіБ на роздачу. osd_memory_target увесь цей час стояв на типових 4 ГіБ на OSD, тож вісім OSD мали право на 32 ГіБ ще до того, як порахувати хоч одну hugepage. На вузлі, що має ще й ВМ запускати, пік і є бюджетом, який треба розрахувати раніше за диски, і саме тут найбільше болять 12 ГіБ hugepages, що простоюють.

Три ВМ одночасно, на тіснішому бюджеті

Одна ВМ лишає вдосталь місця. На трьох бюджет мусить бути правильним. Тож спершу змінилися два налаштування.

ceph config set osd osd_memory_target 1073741824   # 1 GiB per OSD, was 4
sysctl -w vm.nr_hugepages=2048                     # what eight OSDs use, was 8192

Цілі більше нічого не треба: кожен OSD за кілька секунд повідомив нове значення, і їх однаково перезапустили по одному, з усіма 257 PG знову в active+clean перед наступним. З hugepages є підступ. Перед кожним стартом OSD croit-flashstore-prep хоче мати вільним цілий --mem, 2048 МіБ, і збільшує пул, якщо бракує, але ніколи не зменшує його назад. Перезапуск osd.7 після урізання одразу підняв пул назад:

croit-flashstore-prep[7]: hugepages 2048kB: free 256 < need 1024, nr_hugepages 2048 -> 2816

Тож нижня межа, що переживає перезапуск чи перезавантаження, це те, що використовують OSD, плюс запас на один старт: 2816 сторінок, 5,5 ГіБ, проти 16 ГіБ, які просить перевірка. Скрипт налаштування нижче тепер резервує саме стільки. Урізання назад до 2048, коли всі вісім піднялися, дає ще 1,5 ГіБ до наступного перезапуску.

Потім три клони ВМ, по 10 ГіБ кожен, запустили CrystalDiskMark одночасно: Real World Performance [+Mix], три проходи, але на файлі в 1 ГіБ кожен, а не 16 ГіБ. Через це стовпець читання ще більше стає цифрою кешу, тож читай записи.

CrystalDiskMark, три ВМ одночасноВМ 104ВМ 105ВМ 106Усі триОдна ВМ окремо
SEQ1M Q1T1 запис346,99 МБ/с318,99 МБ/с446,98 МБ/с1113 МБ/с580,08 МБ/с
SEQ1M Q1T1 читання796,05 МБ/с905,03 МБ/с1160,93 МБ/с2862 МБ/с1852,32 МБ/с
RND4K Q1T1 запис1901 IOPS1928 IOPS1862 IOPS5691 IOPS2435 IOPS
RND4K Q1T1 затримка запису524,56 мкс517,00 мкс535,42 мкс409,77 мкс
RND4K Q1T1 читання3773 IOPS3916 IOPS3909 IOPS11 598 IOPS5706 IOPS
RND4K Q1T1 суміш2978 IOPS3027 IOPS3411 IOPS9416 IOPS3936 IOPS

Три ВМ отримали в 2,3 раза більше дрібних записів, ніж одна, і кожна заплатила за це близько 27 % затримки. Optane досі не були причиною. Їхній пік був 20 900 записів за секунду по 17 мкс кожен, ті самі 17 мкс, що й з однією ВМ, а найзайнятіший із восьми був зайнятий на 14 %.

Хост, кожні п’ять секунд протягом запускуТипова ціль 4 ГіБ, одна ВМЦіль 1 ГіБ, три ВМ
Найбільший процес OSD2,7 ГіБ1,15 ГіБ на піку, 0,8 після
Вісім процесів OSD разом19,9 ГіБ8,0 ГіБ на піку, 5,8 після
Зарезервовано hugepages16 ГіБ, 4 використано4 ГіБ, усі використано
Пам’ять, віддана ВМ16 ГіБ30 ГіБ
Пам’ять хоста на роздачу, у найнижчій точці3,1 ГіБ14,8 ГіБ
Зростання swapнемаєнемає

Тож FlashStore таки тримається osd_memory_target. На піку проходу читання він перевищив його на 15 % і повернувся нижче, а кеш робив свою роботу всередині бюджету, а не поза ним. Між ціллю й урізанням 26 ГіБ повернулися до ВМ на тій самій машині.

CPU у ядрах, три ВМЗайнятість хостаOSDГостіlibrbd і клієнт CephQEMU
Три завантаження Fisher-Price OS (Windows)81–89 %3,4–3,66,3–7,90,4–0,70,3
Бенчмарк42–73 %3,7–4,51,2–4,00,4–1,60,2–0,4
Простій після20–24 %3,30,300

Завантаження трьох гостей навантажило CPU сильніше, ніж бенчмарк на них. Сховище під ними й близько до цього не підійшло, тобто межу задає міні-ПК, як і мало бути від самого початку.

Усе це одним скриптом

Усе вище зібрано в одному скрипті. Дай йому адреси PCI дисків, які хочеш зробити OSD, і він зробить решту, у тому порядку, у якому це робив цей допис, з обома виправленнями для Proxmox усередині.

flashstore-pve-setup.sh: OSD FlashStore на вузлі Proxmox VE flashstore-pve-setup.sh · 17 kB
lspci -D -d ::0108                                    # find the drives
bash flashstore-pve-setup.sh --dry-run 0000:05:00.0   # show the plan, change nothing
bash flashstore-pve-setup.sh 0000:05:00.0 0000:06:00.0
ПеревіряєЗаписуєЗапускає
Proxmox VE 9 і Ceph 21.2.0 Umbrellaключ bootstrap-osdпробне читання passthrough від імені ceph, щоб обрати kernel-cmd чи kernel
кожен диск: NVMe, без кешу запису, не змонтований, без розділів, ніким не утримуванийdrop-in «спершу root, потім --setuser»prepare і systemctl enable --now на кожен диск
немає даних у ділянках, які читає власна проба FlashStoreправило udev на кожен диск, за серійним номеромперевірку хоста, що зупиняється лише на тому, що потрібно OSD
блоки 4 КіБодну секцію [osd.N] на диск, по одному фізичному ядрузавантаження пакета, звірене з SHA-256 релізу

Нічого не знищується, поки ти не попросиш. --format-4k переформатовує диск, що не на 4 КіБ, по одному, кожен у власному юніті, щоб ніщо його не перервало, а --wipe дозволяє перезаписати диск, на якому є дані. --single-node додає правило replicated_osd, а повторний запуск пропускає диски, що вже є OSD.

Його перевірили тут, а не просто написали. Він відмовився від SN750 через кеш запису, відмовився від диска osd.7, поки на ньому ще було сховище, а потім, коли osd.7 вичистили і його вузли повернули root, перебудував його з нуля за 10,5 секунди, сам обравши бекенд kernel. Чого він не робить, так це не встановлює Ceph. Цей крок просить тебе погодитися на Technology Preview, і це твоє рішення, а не скрипта.

Що треба виправити

Ніщо з цього не зупинить наполегливого адміністратора, і все це зупинить зайнятого. Кожен пункт це твердження, яке croit робить кожному, хто завантажує пакет, і на кожен я натрапив з першої спроби.

ДеЩо відбуваєтьсяЩо б це виправило
юніт systemdUser=ceph не може прочитати pmxcfs, тож OSD ніколи не стартує на вузлі pvecephпостачати старт «спершу root, потім --setuser» або drop-in для Proxmox
запасний шлях kernel-cmdвідкочується лише коли відкинуто Identify; на ядрі PVE відкинуто Read, і OSD зупиняєтьсявідкочуватися на прямий ввід-вивід за будь-якого відкинутого passthrough вводу-виводу
udevдокументація вимагає правила, що дає ceph вузли простору імен; жодного не постачаютьпостачати правило, прив’язане до налаштованих пристроїв
підсумок --checkкаже, що kernel NVMe «compiled out», хоча це єдиний вкомпільований шлях до сховищавиправити мітку
код виходу --checkзавантажувальний SSD провалює тест PLP, тож вихід 0 недосяжнийоцінювати лише налаштовані чи кандидатські пристрої
hugepagesрозмір 2048 МіБ на OSD, і prep хоче мати їх вільними на кожному старті; бекенд ядра використовує 512задати бекенду ядра розмір за тим, що він використовує, і хай prep просить стільки ж
sha256sums.txtімена файлів не збігаються з файлами релізуназвати їх так, як опубліковано
назва пакетадокументація каже apt remove flashstore; пакет зветься croit-flashstore-osdодна назва, або правильна в документації
довідка flashstore_devперелічує лише spdk: і file:задокументувати kernel: і spdk: з бекендом ядра

Ніщо з цього не нова робота. Демон уже має скидання привілеїв, прямий бекенд і логіку запасного шляху. Їх просто не з’єднали для платформи, на якій більшість людей спробують його першою.

Прев’ю і є місцем, де це з’ясовують

Прев’ю це правильне місце для кожної з цих знахідок, і неправильне місце, щоб їх там лишити. Саме для цього прев’ю й існує: хтось забирає його додому, ставить на те залізо, яке в нього справді є, і записує, де воно падає. Частини, що важать, витримали. Сховище піднялося за мілісекунди, OSD приєдналися до кластера, збудованого чужими інструментами, і встановлення операційної системи пройшло на них без жодного збою.

Спіткнулося воно на всьому довкола демона. Файл конфігурації на файловій системі, яку юніт не міг прочитати, ядро, що каже «ні» на виклик, який upstream дозволяє, завантажувальний диск, який перевірка ніяк не переставала рахувати. Ніщо з цього не складне. Усе це різниця між ПЗ, що працює, і ПЗ, що працює на твоїй машині, і єдиний спосіб її закрити це тестувати на тих машинах, які в людей є, а не на тих, які ти для нього збудував.

При всьому цьому це багатообіцяючий початок. На паршивому міні-ПК, з клієнтським боком досі на класичній librbd і всіма вісьмома дисками на одному лінку PCIe 3.0, Optane тут працюють інтенсивніше, ніж під BlueStore. Коли це розвиватиметься, я до нього повернуся і копну глибше, коли буде замінено більше стеку, і погляну також на CephFS2.

«Drop-in» це обіцянка, дана адміністраторові, якому ніколи читати вихідний код. Монітори Proxmox, GUI Proxmox, ядро Proxmox і пакет від когось іншого це саме та ситуація, для якої ця обіцянка існує. Тепер вона її майже виконує. Дев’ять дрібних виправлень, і виконає, і я радше буду тим, хто знайшов їх у середу вранці, ніж клієнтом, який знайде їх у п’ятницю ввечері.


  1. croit/ceph-rust README — публічне прев’ю з 9 листопада 2026 року, «not yet recommended for production data», вимоги, швидкий старт, продакшен-набір функцій, перевірений коміт Ceph. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. croit/ceph-rust release snapshot-2026-11-10 — пакети, використані тут, разом із flashstore_…_debian-trixie_amd64.deb і sha256sums.txt. ↩︎ ↩︎

  3. croit/ceph-rust — hardware requirements — перевірка енергозалежного кешу запису, hugepages, примітки щодо версії ядра. ↩︎

  4. croit/ceph-rust — branches and versions — main цілиться у v21.2.0, v20.2.4 у v20.2.4; «The daemon refuses a cluster release outside its supported window.» ↩︎ ↩︎

  5. Proxmox pve-manager, PVE/Ceph/Releases.pm — umbrella у списку з release => '21.2' і unsupported => 1. ↩︎

  6. croit/ceph-rust — build and install packages — дистрибутиви, glibc 2.34, обробка ceph-osd.target, рядок apt remove. ↩︎ ↩︎ ↩︎

  7. croit/ceph-rust — configuration reference — flashstore_dev, flashstore_lcores, flashstore_report_objectstore і чому воно типово bluestore. ↩︎ ↩︎

  8. croit-flashstore-osd Cargo.toml — рядок 29, knet = [… "kernel-nvme"]. ↩︎

  9. croit/ceph-rust — first OSD tutorial — перевірка хоста лише на читання; «Exit 0 means no FAIL.» ↩︎ ↩︎

  10. croit/ceph-rust — ADR 0169, kernel NVMe backend — два режими ядра, виміряне порівняння, бюджет алокатора корисного навантаження, розв’язання адреси spdk: і запасний шлях лише для Identify (поправка 6). Додано в репозиторій того ж вечора, що й реліз. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  11. Proxmox VE — Proxmox Cluster File System (pmxcfs) — кластерна файлова система під /etc/pve і її фіксовані власник і права. ↩︎

  12. croit-flashstore-osd@.service — User=ceph, ExecStartPre=… activate і CapabilityBoundingSet без CAP_DAC_OVERRIDE. ↩︎ ↩︎

  13. croit-flashstore-osd privdrop.rs — класичне скидання привілеїв через --setuser/--setgroup. ↩︎

  14. croit/ceph-rust — prepare the host — «the namespace node must be readable and writable by user ceph (udev rule)». ↩︎

  15. Linux v7.0, drivers/nvme/host/ioctl.c — nvme_cmd_allowed(), правило для непривілейованого passthrough NVMe. ↩︎

  16. croit/ceph-rust — security — «prepare defaults --keyring to /var/lib/ceph/bootstrap-osd/<cluster>.keyring». ↩︎

  17. croit/ceph-rust — prepare, activate and list — проба на непорожній пристрій і --wipe. ↩︎

  18. Proxmox pve-manager, PVE/API2/Ceph/OSD.pm — osdtype дорівнює bluestore лише тоді, коли метадані містять bluefs, інакше filestore. ↩︎

  19. Proxmox pve-manager, PVE/Ceph/Services.pm — ceph_service_cmd() відображає osd.N на юніт systemd ceph-osd@N. ↩︎

  20. Ceph documentation — CRUSH maps — реплікаційні правила, домени відмови і класи пристроїв. ↩︎

  21. CrystalDiskMark — дисковий бенчмарк від Crystal Dew World; «Various measure mode (Peak/Real World/Demo)». ↩︎

  22. Proxmox VE wiki — Performance Tweaks — режими кешу диска: «cache=none seems to be the best performance and is the default since Proxmox 2.X». ↩︎