Розкриваю одразу: я працюю в croit, яка це написала. Усе нижче прочитано з опублікованого вихідного коду й документації обох проєктів, посилання внизу сторінки, і там, де власна документація croit розходиться з власним кодом croit, я про це кажу.

OSD для Ceph, переписаний з нуля

croit опублікувала ceph-rust, OSD для Ceph, написаний з нічого на Rust, із власним сховищем об’єктів FlashStore замість BlueStore1. Публічне прев’ю почалося 9 листопада 2026, а загальну доступність заплановано на перший квартал 20271. Це не форк. Власне правило проєкту таке: C++ від Ceph читають як довідку, записують як специфікацію власними словами croit, а потім реалізують за специфікацією2.

Твердження, яке має значення для всіх, хто тримає Ceph, це заміна без переробок. Твої монітори, менеджери, CLI ceph і клієнти лишаються як є. OSD із FlashStore приєднується до тих самих пулів і тих самих груп розміщення, що й класичні OSD, які вже там, і ти міняєш по одному диску за раз1.

Що замінюєтьсяceph-mon, ceph-mgrкласичні 21.2.0клієнтиlibrados, librbd, krbdодин пул, ті самі групи розміщенняceph-osdBlueStoreRocksDB на BlueFSC++, від Cephcroit-flashstore-osdFlashStoreCOW B+дерево + WALRust, від croit
Змінюється лише OSD. Монітори, менеджери й клієнти лишаються класичним Ceph, і одна група розміщення може тримати копію на кожному з двох видів.

Тож питання для адміністратора практичне. Якщо замінити OSD із BlueStore на OSD із FlashStore, що зміниться під ним? Не абстрактно і не порівняно з якимсь BlueStore з доповіді на конференції багато років тому. Порівняно з тим BlueStore, який ти справді запускаєш сьогодні, якщо ти на Umbrella, Ceph 21.2.0, а саме з цим випуском FlashStore збирають і тестують1.

Отже, порівняння тут саме таке, і тільки таке. BlueStore з Umbrella так, як його описують власний код і документація, проти FlashStore так, як його описують його код і записи рішень.

Це стосується всіх, у кого кластери Ceph на NVMe, і всіх, хто дивився, скільки ядер коштує їм OSD. Кластерів на HDD це не стосується взагалі, і чому саме, буде нижче.

Що є в репозиторії

Репозиторій це знімок приватного дерева розробки croit тільки для читання. Ні трекера задач, ні pull request; оновлення приходять як нові коміти-знімки1. Це стадія прев’ю, і вона існує для відгуків спільноти, поки croit всередині проганяє свої виробничі тестові сценарії, перш ніж позначити це безпечним для використання. Відкрита розробка почнеться після першого виробничого випуску, як це буває в більшості проєктів з відкритим кодом, які підтримує компанія. Цей знімок датовано 10 листопада 2026, і в ньому близько 700 000 рядків на Rust і понад 450 записів архітектурних рішень, ADR, тобто коротких документів, які фіксують, чому зроблено кожен вибір у дизайні.

Для такого порівняння ADR це найкорисніша частина. Вони прямі, у них є вимірювання, і вони записують не лише те, що лишилося, а й те, що спробували й викинули.

КомпонентЩо замінюєПрев’юGA (план)
OSD FlashStoreceph-osd + BlueStoreлист. 2026I кв. 2027
librustyradoslibradosлист. 2026I кв. 2027
librustyrbdlibrbdлист. 2026I кв. 2027
Транспорт RDMA (RoCEv2)в Umbrella нічоголист. 2026I кв. 2027
CephFS2, RGW на RustMDS, RGWI кв. 2027II кв. 2027
ceph-mon, ceph-mgrне замінюютьсян/дн/д

Ліцензії варто знати, перш ніж щось на цьому будувати. Демон і інструменти під LGPL-3.0-only, клієнтські бібліотеки під MPL-2.0, а документація під CC-BY-SA-4.03. Клієнтські бібліотеки пішли під MPL, щоб програма на Rust могла лінкувати їх статично без обов’язку перелінковування, який несе LGPL, і це обґрунтований вибір, так і записаний3.

Прев’ю означає саме те, що каже. Власний README від croit каже, що це для тестування й оцінки, і «not yet recommended for production data»1. Я б теж поки не клав на нього дані клієнтів, і ніщо в решті цього допису цього не змінює.

Два сховища поруч

OSD має дві половини. Верхня говорить протоколом Ceph, володіє групами розміщення, домовляється з іншими OSD, відновлює й перевіряє дані. Нижня, сховище об’єктів, перетворює «запиши ці байти в цей об’єкт» на блоки на диску й обіцяє, що вони переживуть вимкнення живлення.

BlueStore це нижня половина в Umbrella. Його документація каже, що він «reads and writes to the devices directly in a ‘raw’ fashion»4 і що він використовує «raw block devices or partitions»5. Дані об’єктів ідуть прямо на блоковий пристрій. Усе інше, метадані об’єктів, OMAP і його власний облік, іде у вбудовану базу ключ/значення RocksDB, а RocksDB лежить на BlueFS, маленькій файловій системі, яку BlueStore носить спеціально для неї56.

FlashStore відкидає все це. Одне B+дерево з копіюванням під час запису на кожен шард сховища тримає все: колекції, метадані об’єктів, розширені атрибути, карти екстентів, OMAP, журнал PG, лічильники посилань і навіть власну бітову карту алокатора7. Поруч лежать кільце журналу попереднього запису (WAL) для повторення і область даних. Немає ні RocksDB, ні BlueFS, ні другої бази даних, яку треба налаштовувати.

Два стеки під одним OSDBlueStore з UmbrellaFlashStoreceph-osd8 шардів × 2 потокиоб’єктний шар BlueStoreгібридний алокатордані об’єктівсирий блок, aioRocksDBonode, omap, відкладеніBlueFSblock або block.dbблоковий шар ядраflush перед фіксацієюHDD, SSD або NVMe, будь-який розділcroit-flashstore-osd1 закріплений потік на ядрошард сховища на ядросвій алокатор, без спільних блокуваньдані об’єктівсвіжі екстенти 4 KiBCOW B+деревомета, omap, журнал PGкільце WALжурнал redo, на шардSPDK (vfio) або io_uringбез flush на гарячому шляхуNVMe з PLP, 4 KiB, увесь простір імен
BlueStore в Umbrella розділяє дані й метадані нагорі й пропускає метадані через RocksDB і BlueFS. FlashStore натомість ділить за ядрами, і всередині кожного шарду одне дерево тримає все, що не є даними об’єктів.

Інший великий поділ це сам диск. BlueStore іде через блоковий шар ядра до всього, що ти йому даси. FlashStore говорить із NVMe або через SPDK, драйвер у просторі користувача, який забирає пристрій у ядра через vfio, або через ядро з io_uring89. SPDK це бекенд за замовчуванням. Рівень io_uring це той, що працює там, де vfio не працює, і саме на ньому я опинився в збірці на Proxmox.

Де лежать метадані

Почнімо звідси. Більшість решти випливає з цього.

BlueStore з UmbrellaFlashStore
Метадані об’єктівключі RocksDBCOW B+дерево на шард
OMAPключі RocksDBтипово те саме B+дерево; LSM або RocksDB на вибір під час prepare
Журнал PGключі RocksDBте саме B+дерево
Стан алокаторагібридний алокатор, список вільних блоків у RocksDBбітова карта на шард, усередині дерева
Пристрій для метаданихнеобов’язкові block.db і block.walнемає, той самий NVMe
Контрольні суми данихтипово crc32c на кожні 4 KiBcrc32c на кожні 4 KiB, у карті екстентів
Кількість сховищ на OSDоднеодне на ядро

Типові значення з боку BlueStore взято прямо з файлу параметрів Umbrella: RocksDB як бекенд ключ/значення, гібридний алокатор, контрольні суми crc32c61011. Контрольні суми метаданих у BlueStore «is handled by RocksDB and uses the crc32c algorithm», а дані коштують йому «a checksum value (usually 4 bytes) for every 4 KB block of data»4. Щодо контрольних сум ці два сховища згодні. FlashStore тримає crc32c на кожен блок 4 KiB у карті екстентів і перевіряє її під час читання7.

Розходяться вони в структурі. RocksDB у BlueStore це дерево злиття з журнальною структурою (LSM), тож воно пише, а потім ущільнює у фоні, переписуючи дані, які вже записало. Дерево FlashStore оновлюється копіюванням під час запису й скидається на диск у контрольних точках: кожні п’ять секунд, поки щось не збережено, або коли кільце WAL заповнюється наполовину7.

Ще один наслідок: у FlashStore немає швидкого пристрою для метаданих, бо він йому не потрібен. В Umbrella можна покласти block.db на швидший диск, і BlueStore покладе «as much metadata as it can on the DB device»4. FlashStore припускає, що кожен диск уже швидкий NVMe, і тримає метадані поруч із даними. Для заліза, на яке він націлений, це чесне припущення. І саме тому історії з HDD тут немає.

OMAP це єдине місце, де FlashStore підстраховується. Дерево типове, але сховище можна підготувати з власним рушієм LSM від croit або з RocksDB за тим самим інтерфейсом12. Рушій OMAP обирають під час створення сховища. На працюючому OSD його не перемкнеш.

Один запис 4 KiB, два способи

Ось різниця, яку ти відчуєш, якщо взагалі відчуєш.

Візьми запис 4 KiB в об’єкт на Umbrella з типовими налаштуваннями на флеші. bluestore_min_alloc_size_ssd дорівнює 4 KiB, а bluestore_prefer_deferred_size_ssd дорівнює 0, тож увесь запис 4 KiB іде в щойно виділені 4 KiB1314. BlueStore надсилає цей запис даних, і транзакція стоїть у STATE_AIO_WAIT, доки диск не скаже, що готово15. Лише тоді метадані стають у чергу до RocksDB, і потік синхронізації RocksDB скидає кеш блокового пристрою перед фіксацією16. Потім клієнт отримує підтвердження.

Дві поїздки до пристрою, одна за одною.

FlashStore надсилає обидві разом. Дані йдуть у свіжий екстент 4 KiB, а одиниця WAL паралельно йде в кільце журналу. Запис WAL несе crc32c кожного нового блоку даних, тож повторення після збою може визначити, чи дані дійшли7. Підтвердження йде в порядку журналу, коли дані, одиниця WAL і кожна попередня транзакція стали стійкими7. Власне обґрунтування дизайну в ADR звучить так: «parallel commit gives one device latency per ack»7.

Один запис 4 KiB на годинникуBlueStoreзапис данихнові 4 KiB, aio, чекатифіксація RocksDBжурнал BlueFS + flushпідтв.2 поїздкиFlashStoreдані, свіжі 4 KiBодиниця WAL, crc данихпідтв.1 поїздкачас
Той самий запис 4 KiB. BlueStore чекає на дані, перш ніж зафіксувати RocksDB; FlashStore пише дані та їхній запис у журналі разом.

Дві речі тримають це чесним. На завантаженому OSD обидва сховища групують фіксації, тож під навантаженням розрив менший за одну затримку пристрою на запис. А одна поїздка до пристрою на NVMe це кілька десятків мікросекунд. Чи помітиш ти її, залежить від того, чи твої клієнти чекають на затримку за малої глибини черги, як це часто буває з базами даних на RBD, чи женуть пропускну здатність, де вона розчиняється.

croit пробувала піти далі, до одного запису на пристрій на транзакцію, як у ZFS. Вони це побудували, виміряли й викинули: виграш був лише на глибині черги 1, і складність того не варта17. Я ціную це вище за будь-який графік бенчмарку. Це запис рішення, який публічно каже «ми це побудували, і воно того не варте».

Запис менше 4 KiB

Менший запис це місце, де ці двоє справді розходяться.

Скажімо, клієнт перезаписує 512 байтів посередині блоку, у якому вже є дані. Umbrella досі типово працює зі своїм початковим шляхом запису; bluestore_write_v2, перероблений варіант, постачається вимкненим18. На цьому шляху запис, менший за min_alloc_size, у вже виділений блок стає відкладеним записом19. Дані їдуть усередині транзакції RocksDB як ключ із префіксом L і йдуть на своє справжнє місце лише після того, як клієнтові сказали, що все безпечно2021.

Запис менше 4 KiBBlueStore, відкладено1 прочитати рештудоповнити до 4 KiB2 дані в ключ Lжурнал RocksDB3 фіксація, flushклієнту підтверджено4 запис на місціті самі 4 KiB знову5 видалити ключ Lще одна фіксаціяFlashStoreцілі свіжі 4 KiB + одиниця WALпаралельно, ніколи на місціклієнту підтвердженостарий блок звільнять
Відкладений шлях Umbrella для запису менше 4 KiB у зайнятий блок проти свіжого екстенту FlashStore. Рожевим позначено кожен раз, коли записуються самі дані.

Тож дані доходять до диска двічі. Документація Umbrella цього не приховує: «writes smaller than min_alloc_size must first pass through the BlueStore WAL»4.

FlashStore ніколи не перезаписує живі дані на місці, і крапка7. Об’єкти до 2 KiB ідуть далі й живуть цілком у дереві, тож один запис у WAL це вся фіксація7.

Це також означає, що у FlashStore немає черги відкладених записів, яку треба спорожнювати, немає повторення відкладених записів під час монтування і немає ключів L, які треба прибирати. Натомість він платить деінде: звільнені блоки тримаються до наступної контрольної точки, тож звільнене місце запізнюється щонайбільше на один інтервал контрольної точки7.

Потоки проти ядер

Верхня половина OSD відрізняється так само сильно.

ceph-osd в Umbrella це класичний багатопотоковий сервер, і кожне число в лівій половині діаграми нижче це одне з його типових значень на флеші22. Операція на своєму шляху перетинає кілька з цих пулів. Вони ділять стан за блокуваннями.

FlashStore тримає весь шлях на одному закріпленому ядрі, що опитує в циклі, від мережевої карти до диска і назад23. Кожна група розміщення належить рівно одному ядру, і так само все, чого торкається PG: «no locks, no atomics, no shared mutable state»24. Трафік між ядрами йде через кільця з одним виробником, і володіння повідомленням переходить разом із ним.

Потоки проти ядерceph-osd з Umbrella3 потоки messengerчерга операцій mClock8 шардів × 2 потокиbstore_kv_sync, bstore_kv_finalRocksDB, BlueFScroit-flashstore-osdядро 0ядро 1ядро nчерга NICmsgr2, PGшард сховищачерга NVMeчерга NICmsgr2, PGшард сховищачерга NVMeчерга NICmsgr2, PGшард сховищачерга NVMeкільця SPSC між ядрами, без блокувань
Umbrella передає операцію між пулами потоків. FlashStore тримає її на одному ядрі від мережі до диска і перетинає ядра лише через кільця.

Сховище йде за тим самим поділом. flashstore_store_shards типово дає один шард на ядро, кожен зі своїм кільцем WAL, деревом і алокатором, а PG живе рівно в одному шарді257. BlueStore це одне сховище на OSD з одним RocksDB.

Ціна є, і ADR її називає: «idle cores burn CPU (accepted; optional adaptive sleep later)»23. Пізніша робота додала адаптивний простій і очікування за таймінгом пристрою, щоб ядро не крутилося всю затримку пристрою на малій глибині черги8, але принцип стоїть, і flashstore_cores типово дорівнює 8, якщо не закріпити діапазон25. FlashStore ти віддаєш цілі ядра.

На виділеному вузлі зберігання це нормально. На гіперконвергентній машині, де ці ядра ще й крутять VM, це перша арифметика, яку треба зробити.

Диск мусить тримати своє слово

BlueStore написаний так, щоб упоратися з диском, який бреше про те, коли дані в безпеці. FlashStore відмовляється мати справу з таким диском узагалі.

BlueStore з UmbrellaFlashStore
Що робить запис стійкимскидання кешу блокового пристрою перед фіксацією RocksDBзавершення запису на диску з PLP
Скидання кешу на гарячому шляхутакні
Диск з енергозалежним кешем записувикористовується, кеш скидаєтьсяmkfs відмовляє; перевірка хоста FAIL
Обхідне потрібенлише для лабораторії: біт FUA на кожному стійкому записі

З боку BlueStore це вже згаданий потік синхронізації kv16. З боку FlashStore це ADR про стійкість і перевірка хоста: PLP означає, що диск не повідомляє про енергозалежний кеш запису, тож завершення означає, що дані на стабільному носії2426.

Для цільового заліза це правильне рішення, але треба чітко розуміти, що воно виключає, бо майже всі споживчі NVMe мають енергозалежний кеш і не мають PLP, і так само чимало «серверного» заліза, яке продають за ціною. Немає PLP, немає FlashStore. Що б ти ще про нього не думав.

На чому FlashStore не працює

Постав вимоги поруч, і цільовий ринок стає очевидним.

BlueStore з UmbrellaFlashStore
НосіїHDD, SSD, NVMeлише NVMe
Захист від втрати живленняне потрібенобов’язковий, без нього mkfs відмовляє
Формат сектора512 B або 4 KiBочікується 4 KiB, інакше попередження
Розміткарозділи, LVM через ceph-volumeцілі простори імен, без розділів
Окремий пристрій DB/WALпідтримуєтьсятакого немає
Шифрування даних у спокої--dmcrypt через ceph-volumeпоза межами
Клієнти msgr1типово прив’язанівідмова, лише msgr2
Багаторівневе кешуваннязастаріле, ще євідмова, пул стає пасивним
Вимоги до ядрабудь-яке підтримуванеio_uring: Linux 5.19+ або 5.14 з RHEL 9 з бекпортами; hugepages для SPDK

Стовпчик BlueStore взято з самої Umbrella: ceph-volume шифрує логічні томи «using dmcrypt by specifying the --dmcrypt flag»27, а ms_bind_msgr1 досі типово true28. Стовпчик FlashStore взято з його довідника з заліза і з рішення про межі проєкту2629.

Два з цих пунктів заслуговують на більше, ніж рядок таблиці.

Шифрування даних у спокої виключене, і з причиною: SPDK обходить dm-crypt, а шифрування всередині сховища не планується. Відповідь ADR це NVMe-диски із самошифруванням або шифрування над сховищем, на клієнті чи в RGW29. Якщо в тебе є вимога відповідності, яка називає dm-crypt на OSD, то сьогодні це стоп.

msgr1 виключено як прийнятий ризик. Клієнти ядра, старші за 5.11, і librados до Nautilus не можуть говорити з OSD FlashStore узагалі29. Більшість інфраструктур давно це пройшли. Деякі ні, і дізнається про це стара забута коробка в кутку.

Він каже монітору, що він BlueStore

Ось що підловить людей.

Типово OSD FlashStore завантажується і каже моніторам osd_objectstore=bluestore30. Він не ховається. Він додає поруч власні ключі flashstore_version і flashstore_build30. Причина в сумісності: монітор Umbrella дозволяє такі функції, як перезапис в EC на пулі, лише коли кожен OSD у ньому повідомляє BlueStore, а модулі менеджера, як-от Prometheus і телеметрія, розгалужуються за тим самим значенням30. ADR прямо каже, що bluestore тут «is a compat value for mon/mgr feature gates, not a product name»30.

Є перемикач, flashstore_report_objectstore=flashstore, який перейменовує все: метадані, ключі bluestore_bdev_*, лічильники продуктивності, команди tell і коди стану BLUESTORE_*. Він потребує пропатчених моніторів, а типовим лишається bluestore2530. Власні збірки Ceph від croit мають ці патчі, тож на них FlashStore називає себе flashstore, і нічого з написаного нижче не стосується. Ім’я bluestore там для стандартних моніторів і менеджерів, які люди запускають у продакшені сьогодні.

Що чує моніторOSD FlashStoreтипове налаштуванняosd_objectstore=bluestoreflashstore_version=…mon, mgr: BlueStoreперезапис EC дозволеноOSD FlashStorereport=flashstoreosd_objectstore=flashstoreflashstore_bdev_*класичний mon: не BlueStoreпотрібен пропатчений monСховище в обох рядках те саме. Змінюється лише ім’я, яке воно називає.
Те саме сховище, два імені. Типове значення тішить монітори й менеджери Umbrella ціною того, що OSD FlashStore рахуються як BlueStore скрізь, куди не глянь.

Я розумію чому. Перевірка монітора, прив’язана до рядка, це дизайн Ceph, а не croit, і відмова казати bluestore вимкнула б функції на непропатченому кластері. У цьому й пастка на стандартному кластері. Кожна панель моніторингу, кожен скрипт інвентаризації і кожен ceph osd count-metadata osd_objectstore, який ти запустиш, порахує OSD FlashStore як BlueStore. Під час міграції, коли найбільше треба знати, який OSD який, очевидне поле не каже тобі нічогісінько.

Тож перевіряй flashstore_version у ceph osd metadata, а не osd_objectstore. Внеси це в регламент ще до того, як стане перший OSD FlashStore.

Ті самі ручки, інша поведінка

FlashStore читає чимало наявних параметрів Ceph, і здебільшого це добра новина. Не кожен параметр означає те, що означав на Umbrella, і саме ті, що ні, дивують налаштований кластер.

ПараметрBlueStore з UmbrellaFlashStore
compression_mode, на пулnone, passive, aggressive, forceті самі чотири, те саме значення
compression_algorithmтипово snappysnappy, zlib, zstd, lz4; рівень zstd зафіксовано на 1
bluestore_compression_max_blob_size_ssd64 KiBшматки по 64 KiB
osd_memory_target4 GiB, кеші автоналаштовуються на льотучитається раз під час старту, задає розмір кешів сховища, без автоналаштування
osd_op_queuemclock_schedulerприймається й ігнорується
osd_mclock_*дієприймається й ігнорується
csum_typeтипово crc32c, доступні варіанти xxhashcrc32c зафіксовано; будь-яке інше значення пише попередження в журнал31

Стиснення збігається. Типовий режим BlueStore це none, а типовий алгоритм snappy3233; FlashStore реалізує ті самі чотири режими, ті самі параметри пулу й ті самі шматки по 64 KiB, і ADR зазначає, що шматок 64 KiB, стисливий на 50 %, займає однаково місця в обох34. Так було не завжди. Файл ADR досі називається no-store-compression, від початкового рішення, яке скасували, коли croit поставила вимогу повного функціонального паритету з класичним Ceph34.

Пам’ять це не паритет. Umbrella автоналаштовує кеші BlueStore під osd_memory_target, поки працює3536. FlashStore читає ціль раз під час старту, ділить її між шардами, а зміна через ceph config set набуває чинності під час наступного перезапуску37. Він також не тримає процес у межах цілі: hugepages, мережеві буфери й стан PG лежать поза нею37. Тож osd_memory_target задає розмір кешів FlashStore. Він не обмежує пам’ять OSD так, як ти, можливо, звик.

А mClock ігнорується повністю37. Не приглушується. Ігнорується. Немає планувальника операцій, який треба налаштовувати, бо кожне ядро володіє своїми PG. Відновлення й backfill стримуються натомість osd_max_backfills, osd_recovery_max_active і параметрами затримки37. Якщо ти налаштовував профілі mClock для перебудови на Umbrella, ці налаштування на OSD FlashStore нічого не роблять, і ніщо тебе про це не попередить.

Конвертації немає, в жоден бік

OSD із BlueStore не можна конвертувати в OSD із FlashStore. Посібник croit з міграції каже про це прямо: «There is no in-place conversion of a BlueStore device»38. Натомість він пропонує два порядки дій, і обидва це backfill38:

Додати, потім прибратиЗвільнити, потім додати
Потрібновільний слот NVMeнічого запасного
Крок 1підготувати FlashStore на новому дискуceph osd out, чекати на чистий стан
Крок 2чекати на active+cleanзупинити й видалити класичний OSD
Крок 3прибрати класичний OSDпідготувати FlashStore на звільненому диску
Ризик, поки це йденічого понад звичайний backfillна одну копію менше до кінця backfill

І пізніше легше не стане. Формат FlashStore на диску має біти функцій, і монтування відмовляє на невідомому біті: «Every format change means mkfs; unknown bits refuse mount (no downgrade)»7. Тож зміна формату в пізнішому випуску FlashStore це таке саме спорожнення й повторне заповнення, як і перша міграція.

Єдиний шлях на той бікOSD BlueStoreosd.N на nvme0OSD FlashStoreсвіжий mkfsконвертації немає, в жоден біккластерbackfill з копійout, purgebackfill туди
Backfill це єдиний міст між двома сховищами, і він же міст між двома форматами FlashStore.

Одне документація каже неправильно. Контрольний список у посібнику з міграції каже переконатися, що «the pools do not use erasure coding on croit-flashstore-osd OSDs»38. Посібник з кодування стирання в тому самому знімку каже, що FlashStore типово обслуговує старі пули EC, а власне типове значення коду для оптимізованого EC це all3940. Одне з цього застаріло, і судячи з коду, це посібник з міграції. Я б однаково прочитав посібник з EC повністю, перш ніж змішувати пули EC на обох видах OSD, бо збій, який він описує, це PG, що деградує, і backfill, що застрягає39.

Сховище для дисків, які ми справді купуємо

BlueStore будували, щоб він працював на всьому. Обертові диски, дешеві SSD, NVMe, розділи, LVM, зашифровані томи, швидкий пристрій DB перед повільним пристроєм даних. Ця широта й зробила його типовим вибором, і через неї ж у ньому є відкладений шлях запису, скидання кешу перед кожною фіксацією, база ключ/значення на власній файловій системі і пул потоків, щоб усе це крутилося. Кожне з цього існує, бо якомусь диску десь це було потрібно.

FlashStore починає з протилежного кінця. Він припускає, що диск це NVMe, що в нього є захист від втрати живлення і що він настільки швидкий, що вузьким місцем тепер є програмне забезпечення. А потім викидає все, що існувало лише заради інших дисків.

Чи це правильна ставка? Для нових повністю флешевих кластерів, побудованих на нормальних корпоративних NVMe, так. Саме туди йдуть кластери Ceph, і OSD, який витрачає свої ядра на блокування, передачі й базу даних, що ущільнюється за його спиною, платить кожну секунду кожного дня за гнучкість, якою такий кластер ніколи не скористається.

Але в ставки є ціна, і я волію, щоб ти її побачив, перш ніж вкладатися. Ти відмовляєшся від HDD, dm-crypt, msgr1, живого налаштування пам’яті і mClock. На стандартному кластері ти отримуєш OSD, який каже твоїм моніторам, що він BlueStore, бо сьогоднішні монітори й менеджери не лишають йому іншого шляху; власним збіркам croit цього не знадобиться. Ти отримуєш формат, у який не можна конвертувати і між версіями якого теж не можна конвертувати. І ти отримуєш це в прев’ю, від одного постачальника, який, так уже склалося, мене наймає.

Тож вважай доказом вихідний код, а не цей допис і не звіт croit про бенчмарки. Записи рішень публічні, і вони кажуть, що виміряли і що викинули. Прочитай їх, збери тестовий кластер на тому залізі, яке справді розгортав би, і виміряй своє власне навантаження. Якщо воно робить на твоїх дисках те, що кажуть ADR, ти знатимеш. Якщо ні, ти знатимеш і це, і дізнаєшся про це на тестовому кластері.


  1. croit ceph-rust, README at snapshot 48f9014 — компоненти, стан і дорожня карта, «not yet recommended for production data», сумісний на рівні протоколу з v21.2.0 і v20.2.4. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. ADR 0003, green-field, no Crimson fork — «No fork, no linking of Ceph code»; код Ceph читають як довідку, специфікації власними словами. ↩︎

  3. ADR 0164, licences — демон і інструменти під LGPL-3.0-only, клієнтські бібліотеки під MPL-2.0, документація під CC-BY-SA-4.0, і причина вибору MPL. ↩︎ ↩︎

  4. Ceph Umbrella, BlueStore configuration reference — прямий доступ до пристрою, пристрій DB, «writes smaller than min_alloc_size must first pass through the BlueStore WAL», контрольні суми. ↩︎ ↩︎ ↩︎ ↩︎

  5. Ceph Umbrella, storage devices — BlueStore «consumes raw block devices or partitions»; RocksDB вбудована для внутрішніх метаданих. ↩︎ ↩︎

  6. Ceph v21.2.0, bluestore_kvbackend — типово rocksdb. ↩︎ ↩︎

  7. ADR 0021, storage engine — COW B+дерево на шард, кільце WAL, паралельна фіксація, контрольні точки, вбудовані дані, утримувані звільнення, «Every format change means mkfs». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  8. ADR 0004, storage I/O — SPDK через vfio, доповнено до двох рівнів з io_uring, простій за таймінгом пристрою. ↩︎ ↩︎

  9. ceph-rust docs, prepare and activate — spdk це бекенд за замовчуванням, kernel і kernel-cmd лишають NVMe на драйвері ядра. ↩︎

  10. Ceph v21.2.0, bluestore_allocator — типово hybrid. ↩︎

  11. Ceph v21.2.0, bluestore_csum_type — типово crc32c. ↩︎

  12. ceph-rust, croit-flashstore-tool usage — «fresh prepare/mkfs –omap-engine btree|lsm|rocksdb». ↩︎

  13. Ceph v21.2.0, bluestore_min_alloc_size_ssd — типово 4 KiB. ↩︎

  14. Ceph v21.2.0, bluestore_prefer_deferred_size_ssd — типово 0. ↩︎

  15. Ceph v21.2.0, BlueStore.cc, transaction state machine — незавершені aio переводять транзакцію в STATE_AIO_WAIT, перш ніж її поставлять у чергу на фіксацію ключ/значення. ↩︎

  16. Ceph v21.2.0, BlueStore.cc, kv sync thread — «flush/barrier on block device» перед надсиланням у RocksDB. ↩︎ ↩︎

  17. ADR 0027, single-IO atomic commit, rejected — «gain only at QD1», побудовано й прибрано. ↩︎

  18. Ceph v21.2.0, bluestore_write_v2 — «Use faster write path», типово false. ↩︎

  19. Ceph v21.2.0, BlueStore.cc, _do_write_small — читання голови й хвоста, потім «chunk-aligned deferred overwrite». ↩︎

  20. Ceph v21.2.0, BlueStore.cc, “journal deferred items” — відкладена транзакція записується як ключ у ту саму транзакцію RocksDB. ↩︎

  21. Ceph v21.2.0, BlueStore.cc, key prefixes — PREFIX_DEFERRED = "L". ↩︎

  22. Типові значення потоків у Ceph v21.2.0 — osd_op_num_shards_ssd 8; osd_op_num_threads_per_shard_ssd 2; osd_op_queue mclock_scheduler; ms_async_op_threads 3; створення потоків у BlueStore.cc, bstore_kv_sync і bstore_kv_final. ↩︎

  23. ADR 0006, thread-per-core runtime — один закріплений потік з активним опитуванням на ядро, PG належать одному ядру, «idle cores burn CPU (accepted …)». ↩︎ ↩︎

  24. ADR 0008, concurrency and durability — «no locks, no atomics, no shared mutable state»; PLP обов’язковий, mkfs відмовляє дискам без PLP, обхід через FUA для лабораторії. ↩︎ ↩︎

  25. ceph-rust docs, configuration reference — flashstore_cores типово 8, flashstore_store_shards auto, flashstore_report_objectstore. ↩︎ ↩︎ ↩︎

  26. ceph-rust docs, hardware and host requirements — енергозалежний кеш запису FAIL, LBA 4 KiB, без розділів, вимоги до ядра й io_uring. ↩︎ ↩︎

  27. Ceph Umbrella, ceph-volume encryption — «Logical volumes can be encrypted using dmcrypt by specifying the --dmcrypt flag». ↩︎

  28. Ceph v21.2.0, ms_bind_msgr1 — типово true. ↩︎

  29. ADR 0168, encryption at rest, msgr1, cache tiering out of scope — «SPDK bypasses dm-crypt»; клієнти лише з v1 «cannot reach croit-flashstore-osd». ↩︎ ↩︎ ↩︎

  30. ADR 0019, report osd_objectstore=bluestore — перевірки функцій у моніторі, додаткові ключі flashstore_* і параметр звітування flashstore. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  31. ceph-rust, pgs.rs — «csum_type {v} unsupported; using fixed crc32c per 4096-byte block». ↩︎

  32. Ceph v21.2.0, bluestore_compression_mode — типово none. ↩︎

  33. Ceph v21.2.0, bluestore_compression_algorithm — типово snappy. ↩︎

  34. ADR 0059, per-pool store compression — ті самі режими й параметри, що в BlueStore, рівень zstd 1 зафіксовано, місце за стисливості 50 % «identical to BlueStore». ↩︎ ↩︎

  35. Ceph v21.2.0, osd_memory_target — типово 4 GiB. ↩︎

  36. Ceph v21.2.0, bluestore_cache_autotune — типово true. ↩︎

  37. ADR 0062, memory target and mClock — ціль читається раз, без автоналаштування, RSS не обмежується; параметри mClock «ACCEPTED and IGNORED». ↩︎ ↩︎ ↩︎ ↩︎

  38. ceph-rust docs, migrate from classic — «There is no in-place conversion of a BlueStore device»; два порядки дій; рядок контрольного списку про EC. ↩︎ ↩︎ ↩︎

  39. ceph-rust docs, erasure-coded pools — ec_enable_pools типово all, ec_enable_optimized типово all, і як виглядає відхилений пул. ↩︎ ↩︎

  40. ceph-rust, OSD config defaults — ("ec_enable_optimized", "all"). ↩︎