Skip to content
Crimson, власне переписування OSD від Ceph на Seastar із SeaStore, проти croit FlashStore, переписування на Rust із власним сховищем

FlashStore проти Crimson: два переписування того самого OSD

Crimson це власне переписування OSD від Ceph, на C++ у фреймворку Seastar, з новим рідним сховищем SeaStore; FlashStore це переписування від croit, на Rust, з власним сховищем. Обидва в стадії preview, і обидва націлені на NVMe та швидкі мережі. Тут вони порівнюються в тому вигляді, в якому Ceph 21.2.0 Umbrella постачає Crimson, за кодом і документацією Ceph та знімком ceph-rust від croit: звідки кожен походить і під якою ліцензією, чому Rust відповідає настановам Five Eyes щодо безпеки пам’яті, а C++ ні, чому Crimson потребує власних пулів і експериментального прапорця, а FlashStore стає в наявні пули, чому в Umbrella немає способу перетворити наявний пул на пул Crimson і дані доводиться копіювати, що кожен каже монітору під час завантаження, реактори Seastar проти закріплених ядер з опитуванням, те, що Crimson OSD за замовчуванням досі працює на BlueStore, дерева onode, OMAP і LBA у SeaStore проти одного дерева на шард у FlashStore, порядок, у якому кожен комітить запис, очищувач сегментів SeaStore і на якому обладнанні та з якими пулами кожен працюватиме.

11 листопада 2026 · 18 хвилин · 4395 words · Damien Dye
BlueStore з Umbrella, RocksDB на BlueFS на будь-якому диску, проти FlashStore від croit, B+дерева з копіюванням під час запису і WAL на кожне ядро на NVMe із захистом від втрати живлення

FlashStore проти BlueStore з Umbrella: що croit змінив під OSD

ceph-rust від croit це переписаний з нуля на Rust OSD для Ceph із власним сховищем об’єктів FlashStore, у публічному прев’ю з 9 листопада 2026. Тут він стоїть поруч із BlueStore саме таким, яким його постачає Ceph 21.2.0 Umbrella, за вихідним кодом і документацією обох проєктів: що є в репозиторії і під якими ліцензіями, де кожне сховище тримає метадані, як запис 4 KiB і запис менше 4 KiB доходять до диска в кожному з них, пули потоків Umbrella проти одного потоку на ядро у FlashStore, чому FlashStore робить захист від втрати живлення жорсткою вимогою, на чому він не працює, чому він каже твоїм моніторам, що він BlueStore, які параметри BlueStore він виконує, а які ігнорує, і чому єдиний шлях між ними це backfill.

11 листопада 2026 · 18 хвилин · 4389 words · Damien Dye
Вузол Proxmox VE з власними монітором і менеджером Ceph від Proxmox поруч з OSD croit FlashStore на восьми дисках Optane

FlashStore OSD на Proxmox VE: чого це коштувало на одному вузлі

FlashStore OSD від croit це заміна ceph-osd і BlueStore, написана на Rust, у публічному прев’ю з 9 листопада 2026 року. Тут її розгорнуто гіперконвергентно на одному вузлі Proxmox VE 9.2: Ceph Umbrella 21.2.0 з майстра PVE для монітора й менеджера, OSD FlashStore на дисках Intel Optane P4800X. Тут є те, чому Umbrella єдиний реліз Proxmox, що збігається, форматування дисків у 4 КіБ і скидання контролера, що перериває форматування, що повідомляє croit-flashstore-osd –check, чому постачений юніт не може прочитати ceph.conf від Proxmox і drop-in, що це виправляє, passthrough NVMe, який відкидає ядро Proxmox, і прямий бекенд, що працює, підготовка OSD за адресою PCI, що з них робить панель OSD у PVE, пул, сховище RBD і ВМ на Fisher-Price OS (Windows), встановлена на нього, CrystalDiskMark зсередини цієї ВМ, звірений із власними лічильниками дисків, пам’ять Ceph з усіма вісьмома активними OSD, три ВМ одночасно з ціллю пам’яті 1 ГіБ і скрипт, що робить усе це, перевірений перебудовою OSD з нуля.

11 листопада 2026 · 32 хвилини · 7007 words · Damien Dye
Диск NVMe заходить у трирежимний адаптер і виходить із нього як SCSI-диск з глибиною черги 128

Трирежимні адаптери купують гнучкість ціною твоїх черг NVMe

Трирежимний адаптер дає кожному відсіку SAS, SATA чи NVMe: це справжня гнучкість і причина, чому існують бекплейни U.3. Чого він не рекламує, так це того, що твої диски NVMe перестають бути дисками NVMe: вони приходять у Linux як SCSI-диски на mpt3sas, з глибиною черги 128, одним спільним пулом тегів і одним аплінком x8. Два диски Gen4 насичують карту. Один диск Gen5 уже за її межею. Чи має цей обмін сенс у 2026 році і чому універсальні відсіки належать бекплейну, а не контролеру.

13 серпня 2026 · 22 хвилини · 4578 words · Damien Dye
Три рівні зберігання: Optane поглинає записи, NVMe тримає метадані Ceph, а HDD дають основну місткість

Як зробити швидкими кластери Proxmox Ceph на HDD: метадані на NVMe, один Optane на шпиндель і чого це тобі коштує

Ціни на флеш зробили all-NVMe важким для виправдання, і корпоративні HDD знову варті уваги. Щоб отримати від них прийнятну затримку на гіперконвергентному Proxmox Ceph, треба забрати RocksDB зі шпинделя, дати кожному диску власний Optane через bcache (саме Optane, бо витривалість NAND для цієї роботи не годиться) і чесно оцінити режими відмов, які ти за це купуєш.

7 серпня 2026 · 32 хвилини · 6617 words · Damien Dye
Емульований контролер NVMe поруч зі шляхом VirtIO SCSI, причому Proxmox не бачить першого

Віртуальний пристрій NVMe у Proxmox і три речі, від яких ти відмовляєшся

QEMU вміє емулювати справжній контролер NVMe, тож гість використовує власний вбудований драйвер NVMe без носія VirtIO. Але такий пристрій за задумом не мігрує, невидимий для резервних копій Proxmox і не швидший за VirtIO SCSI. Ось як його додати і коли воно того варте.

7 серпня 2026 · 9 хвилин · 1755 words · Damien Dye
Вісім 512-байтових логічних блоків, відображених на один фізичний сектор 4K, поруч із відображенням 4K один до одного

4Kn, 512e і 512n: чому нативний 4K перемагає і чого коштує емуляція

Диски 512e показують 512-байтові сектори, яких у них немає, а прошивка покриває різницю на кожному невирівняному записі. Чого це коштує на носії, у хості та в підсиленні запису, чому прямі синхронні записи це найгірший випадок і як перевести парк дисків на 4Kn.

7 серпня 2026 · 23 хвилини · 4888 words · Damien Dye
Крива, що зростає від 36 відсотків bare metal на глибині черги 1 до різниці в кілька відсотків на глибині черги 32

Продуктивність PCIe passthrough у Proxmox VE: податок IOMMU і як його зменшити

Чому PCIe-пристрої втрачають пропускну здатність, коли їх передають у ВМ через VFIO, і практичні кроки налаштування, які повертають більшу частину втраченого.

7 серпня 2026 · 17 хвилин · 3537 words · Damien Dye