Розкриваю одразу: я працюю в croit, яка це написала. Усе нижче прочитано з опублікованого вихідного коду й документації обох проєктів, посилання внизу сторінки, і там, де власна документація croit розходиться з власним кодом croit, я про це кажу.
OSD для Ceph, переписаний з нуля
croit опублікувала ceph-rust, OSD для Ceph, написаний з нічого на Rust, із власним сховищем об’єктів FlashStore замість BlueStore1.
Публічне прев’ю почалося 9 листопада 2026, а загальну доступність заплановано на перший квартал 20271.
Це не форк.
Власне правило проєкту таке: C++ від Ceph читають як довідку, записують як специфікацію власними словами croit, а потім реалізують за специфікацією2.
Твердження, яке має значення для всіх, хто тримає Ceph, це заміна без переробок.
Твої монітори, менеджери, CLI ceph і клієнти лишаються як є.
OSD із FlashStore приєднується до тих самих пулів і тих самих груп розміщення, що й класичні OSD, які вже там, і ти міняєш по одному диску за раз1.
Тож питання для адміністратора практичне. Якщо замінити OSD із BlueStore на OSD із FlashStore, що зміниться під ним? Не абстрактно і не порівняно з якимсь BlueStore з доповіді на конференції багато років тому. Порівняно з тим BlueStore, який ти справді запускаєш сьогодні, якщо ти на Umbrella, Ceph 21.2.0, а саме з цим випуском FlashStore збирають і тестують1.
Отже, порівняння тут саме таке, і тільки таке. BlueStore з Umbrella так, як його описують власний код і документація, проти FlashStore так, як його описують його код і записи рішень.
Це стосується всіх, у кого кластери Ceph на NVMe, і всіх, хто дивився, скільки ядер коштує їм OSD. Кластерів на HDD це не стосується взагалі, і чому саме, буде нижче.
Що є в репозиторії
Репозиторій це знімок приватного дерева розробки croit тільки для читання. Ні трекера задач, ні pull request; оновлення приходять як нові коміти-знімки1. Це стадія прев’ю, і вона існує для відгуків спільноти, поки croit всередині проганяє свої виробничі тестові сценарії, перш ніж позначити це безпечним для використання. Відкрита розробка почнеться після першого виробничого випуску, як це буває в більшості проєктів з відкритим кодом, які підтримує компанія. Цей знімок датовано 10 листопада 2026, і в ньому близько 700 000 рядків на Rust і понад 450 записів архітектурних рішень, ADR, тобто коротких документів, які фіксують, чому зроблено кожен вибір у дизайні.
Для такого порівняння ADR це найкорисніша частина. Вони прямі, у них є вимірювання, і вони записують не лише те, що лишилося, а й те, що спробували й викинули.
| Компонент | Що замінює | Прев’ю | GA (план) |
|---|---|---|---|
| OSD FlashStore | ceph-osd + BlueStore | лист. 2026 | I кв. 2027 |
| librustyrados | librados | лист. 2026 | I кв. 2027 |
| librustyrbd | librbd | лист. 2026 | I кв. 2027 |
| Транспорт RDMA (RoCEv2) | в Umbrella нічого | лист. 2026 | I кв. 2027 |
| CephFS2, RGW на Rust | MDS, RGW | I кв. 2027 | II кв. 2027 |
| ceph-mon, ceph-mgr | не замінюються | н/д | н/д |
Ліцензії варто знати, перш ніж щось на цьому будувати. Демон і інструменти під LGPL-3.0-only, клієнтські бібліотеки під MPL-2.0, а документація під CC-BY-SA-4.03. Клієнтські бібліотеки пішли під MPL, щоб програма на Rust могла лінкувати їх статично без обов’язку перелінковування, який несе LGPL, і це обґрунтований вибір, так і записаний3.
Прев’ю означає саме те, що каже. Власний README від croit каже, що це для тестування й оцінки, і «not yet recommended for production data»1. Я б теж поки не клав на нього дані клієнтів, і ніщо в решті цього допису цього не змінює.
Два сховища поруч
OSD має дві половини. Верхня говорить протоколом Ceph, володіє групами розміщення, домовляється з іншими OSD, відновлює й перевіряє дані. Нижня, сховище об’єктів, перетворює «запиши ці байти в цей об’єкт» на блоки на диску й обіцяє, що вони переживуть вимкнення живлення.
BlueStore це нижня половина в Umbrella. Його документація каже, що він «reads and writes to the devices directly in a ‘raw’ fashion»4 і що він використовує «raw block devices or partitions»5. Дані об’єктів ідуть прямо на блоковий пристрій. Усе інше, метадані об’єктів, OMAP і його власний облік, іде у вбудовану базу ключ/значення RocksDB, а RocksDB лежить на BlueFS, маленькій файловій системі, яку BlueStore носить спеціально для неї56.
FlashStore відкидає все це. Одне B+дерево з копіюванням під час запису на кожен шард сховища тримає все: колекції, метадані об’єктів, розширені атрибути, карти екстентів, OMAP, журнал PG, лічильники посилань і навіть власну бітову карту алокатора7. Поруч лежать кільце журналу попереднього запису (WAL) для повторення і область даних. Немає ні RocksDB, ні BlueFS, ні другої бази даних, яку треба налаштовувати.
Інший великий поділ це сам диск. BlueStore іде через блоковий шар ядра до всього, що ти йому даси. FlashStore говорить із NVMe або через SPDK, драйвер у просторі користувача, який забирає пристрій у ядра через vfio, або через ядро з io_uring89. SPDK це бекенд за замовчуванням. Рівень io_uring це той, що працює там, де vfio не працює, і саме на ньому я опинився в збірці на Proxmox.
Де лежать метадані
Почнімо звідси. Більшість решти випливає з цього.
| BlueStore з Umbrella | FlashStore | |
|---|---|---|
| Метадані об’єктів | ключі RocksDB | COW B+дерево на шард |
| OMAP | ключі RocksDB | типово те саме B+дерево; LSM або RocksDB на вибір під час prepare |
| Журнал PG | ключі RocksDB | те саме B+дерево |
| Стан алокатора | гібридний алокатор, список вільних блоків у RocksDB | бітова карта на шард, усередині дерева |
| Пристрій для метаданих | необов’язкові block.db і block.wal | немає, той самий NVMe |
| Контрольні суми даних | типово crc32c на кожні 4 KiB | crc32c на кожні 4 KiB, у карті екстентів |
| Кількість сховищ на OSD | одне | одне на ядро |
Типові значення з боку BlueStore взято прямо з файлу параметрів Umbrella: RocksDB як бекенд ключ/значення, гібридний алокатор, контрольні суми crc32c61011. Контрольні суми метаданих у BlueStore «is handled by RocksDB and uses the crc32c algorithm», а дані коштують йому «a checksum value (usually 4 bytes) for every 4 KB block of data»4. Щодо контрольних сум ці два сховища згодні. FlashStore тримає crc32c на кожен блок 4 KiB у карті екстентів і перевіряє її під час читання7.
Розходяться вони в структурі. RocksDB у BlueStore це дерево злиття з журнальною структурою (LSM), тож воно пише, а потім ущільнює у фоні, переписуючи дані, які вже записало. Дерево FlashStore оновлюється копіюванням під час запису й скидається на диск у контрольних точках: кожні п’ять секунд, поки щось не збережено, або коли кільце WAL заповнюється наполовину7.
Ще один наслідок: у FlashStore немає швидкого пристрою для метаданих, бо він йому не потрібен.
В Umbrella можна покласти block.db на швидший диск, і BlueStore покладе «as much metadata as it can on the DB device»4.
FlashStore припускає, що кожен диск уже швидкий NVMe, і тримає метадані поруч із даними.
Для заліза, на яке він націлений, це чесне припущення. І саме тому історії з HDD тут немає.
OMAP це єдине місце, де FlashStore підстраховується. Дерево типове, але сховище можна підготувати з власним рушієм LSM від croit або з RocksDB за тим самим інтерфейсом12. Рушій OMAP обирають під час створення сховища. На працюючому OSD його не перемкнеш.
Один запис 4 KiB, два способи
Ось різниця, яку ти відчуєш, якщо взагалі відчуєш.
Візьми запис 4 KiB в об’єкт на Umbrella з типовими налаштуваннями на флеші.
bluestore_min_alloc_size_ssd дорівнює 4 KiB, а bluestore_prefer_deferred_size_ssd дорівнює 0, тож увесь запис 4 KiB іде в щойно виділені 4 KiB1314.
BlueStore надсилає цей запис даних, і транзакція стоїть у STATE_AIO_WAIT, доки диск не скаже, що готово15.
Лише тоді метадані стають у чергу до RocksDB, і потік синхронізації RocksDB скидає кеш блокового пристрою перед фіксацією16.
Потім клієнт отримує підтвердження.
Дві поїздки до пристрою, одна за одною.
FlashStore надсилає обидві разом. Дані йдуть у свіжий екстент 4 KiB, а одиниця WAL паралельно йде в кільце журналу. Запис WAL несе crc32c кожного нового блоку даних, тож повторення після збою може визначити, чи дані дійшли7. Підтвердження йде в порядку журналу, коли дані, одиниця WAL і кожна попередня транзакція стали стійкими7. Власне обґрунтування дизайну в ADR звучить так: «parallel commit gives one device latency per ack»7.
Дві речі тримають це чесним. На завантаженому OSD обидва сховища групують фіксації, тож під навантаженням розрив менший за одну затримку пристрою на запис. А одна поїздка до пристрою на NVMe це кілька десятків мікросекунд. Чи помітиш ти її, залежить від того, чи твої клієнти чекають на затримку за малої глибини черги, як це часто буває з базами даних на RBD, чи женуть пропускну здатність, де вона розчиняється.
croit пробувала піти далі, до одного запису на пристрій на транзакцію, як у ZFS. Вони це побудували, виміряли й викинули: виграш був лише на глибині черги 1, і складність того не варта17. Я ціную це вище за будь-який графік бенчмарку. Це запис рішення, який публічно каже «ми це побудували, і воно того не варте».
Запис менше 4 KiB
Менший запис це місце, де ці двоє справді розходяться.
Скажімо, клієнт перезаписує 512 байтів посередині блоку, у якому вже є дані.
Umbrella досі типово працює зі своїм початковим шляхом запису; bluestore_write_v2, перероблений варіант, постачається вимкненим18.
На цьому шляху запис, менший за min_alloc_size, у вже виділений блок стає відкладеним записом19.
Дані їдуть усередині транзакції RocksDB як ключ із префіксом L і йдуть на своє справжнє місце лише після того, як клієнтові сказали, що все безпечно2021.
Тож дані доходять до диска двічі. Документація Umbrella цього не приховує: «writes smaller than min_alloc_size must first pass through the BlueStore WAL»4.
FlashStore ніколи не перезаписує живі дані на місці, і крапка7. Об’єкти до 2 KiB ідуть далі й живуть цілком у дереві, тож один запис у WAL це вся фіксація7.
Це також означає, що у FlashStore немає черги відкладених записів, яку треба спорожнювати, немає повторення відкладених записів під час монтування і немає ключів L, які треба прибирати.
Натомість він платить деінде: звільнені блоки тримаються до наступної контрольної точки, тож звільнене місце запізнюється щонайбільше на один інтервал контрольної точки7.
Потоки проти ядер
Верхня половина OSD відрізняється так само сильно.
ceph-osd в Umbrella це класичний багатопотоковий сервер, і кожне число в лівій половині діаграми нижче це одне з його типових значень на флеші22.
Операція на своєму шляху перетинає кілька з цих пулів. Вони ділять стан за блокуваннями.
FlashStore тримає весь шлях на одному закріпленому ядрі, що опитує в циклі, від мережевої карти до диска і назад23. Кожна група розміщення належить рівно одному ядру, і так само все, чого торкається PG: «no locks, no atomics, no shared mutable state»24. Трафік між ядрами йде через кільця з одним виробником, і володіння повідомленням переходить разом із ним.
Сховище йде за тим самим поділом.
flashstore_store_shards типово дає один шард на ядро, кожен зі своїм кільцем WAL, деревом і алокатором, а PG живе рівно в одному шарді257.
BlueStore це одне сховище на OSD з одним RocksDB.
Ціна є, і ADR її називає: «idle cores burn CPU (accepted; optional adaptive sleep later)»23.
Пізніша робота додала адаптивний простій і очікування за таймінгом пристрою, щоб ядро не крутилося всю затримку пристрою на малій глибині черги8, але принцип стоїть, і flashstore_cores типово дорівнює 8, якщо не закріпити діапазон25.
FlashStore ти віддаєш цілі ядра.
На виділеному вузлі зберігання це нормально. На гіперконвергентній машині, де ці ядра ще й крутять VM, це перша арифметика, яку треба зробити.
Диск мусить тримати своє слово
BlueStore написаний так, щоб упоратися з диском, який бреше про те, коли дані в безпеці. FlashStore відмовляється мати справу з таким диском узагалі.
| BlueStore з Umbrella | FlashStore | |
|---|---|---|
| Що робить запис стійким | скидання кешу блокового пристрою перед фіксацією RocksDB | завершення запису на диску з PLP |
| Скидання кешу на гарячому шляху | так | ні |
| Диск з енергозалежним кешем запису | використовується, кеш скидається | mkfs відмовляє; перевірка хоста FAIL |
| Обхід | не потрібен | лише для лабораторії: біт FUA на кожному стійкому записі |
З боку BlueStore це вже згаданий потік синхронізації kv16. З боку FlashStore це ADR про стійкість і перевірка хоста: PLP означає, що диск не повідомляє про енергозалежний кеш запису, тож завершення означає, що дані на стабільному носії2426.
Для цільового заліза це правильне рішення, але треба чітко розуміти, що воно виключає, бо майже всі споживчі NVMe мають енергозалежний кеш і не мають PLP, і так само чимало «серверного» заліза, яке продають за ціною. Немає PLP, немає FlashStore. Що б ти ще про нього не думав.
На чому FlashStore не працює
Постав вимоги поруч, і цільовий ринок стає очевидним.
| BlueStore з Umbrella | FlashStore | |
|---|---|---|
| Носії | HDD, SSD, NVMe | лише NVMe |
| Захист від втрати живлення | не потрібен | обов’язковий, без нього mkfs відмовляє |
| Формат сектора | 512 B або 4 KiB | очікується 4 KiB, інакше попередження |
| Розмітка | розділи, LVM через ceph-volume | цілі простори імен, без розділів |
| Окремий пристрій DB/WAL | підтримується | такого немає |
| Шифрування даних у спокої | --dmcrypt через ceph-volume | поза межами |
| Клієнти msgr1 | типово прив’язані | відмова, лише msgr2 |
| Багаторівневе кешування | застаріле, ще є | відмова, пул стає пасивним |
| Вимоги до ядра | будь-яке підтримуване | io_uring: Linux 5.19+ або 5.14 з RHEL 9 з бекпортами; hugepages для SPDK |
Стовпчик BlueStore взято з самої Umbrella: ceph-volume шифрує логічні томи «using dmcrypt by specifying the --dmcrypt flag»27, а ms_bind_msgr1 досі типово true28.
Стовпчик FlashStore взято з його довідника з заліза і з рішення про межі проєкту2629.
Два з цих пунктів заслуговують на більше, ніж рядок таблиці.
Шифрування даних у спокої виключене, і з причиною: SPDK обходить dm-crypt, а шифрування всередині сховища не планується. Відповідь ADR це NVMe-диски із самошифруванням або шифрування над сховищем, на клієнті чи в RGW29. Якщо в тебе є вимога відповідності, яка називає dm-crypt на OSD, то сьогодні це стоп.
msgr1 виключено як прийнятий ризик. Клієнти ядра, старші за 5.11, і librados до Nautilus не можуть говорити з OSD FlashStore узагалі29. Більшість інфраструктур давно це пройшли. Деякі ні, і дізнається про це стара забута коробка в кутку.
Він каже монітору, що він BlueStore
Ось що підловить людей.
Типово OSD FlashStore завантажується і каже моніторам osd_objectstore=bluestore30.
Він не ховається. Він додає поруч власні ключі flashstore_version і flashstore_build30.
Причина в сумісності: монітор Umbrella дозволяє такі функції, як перезапис в EC на пулі, лише коли кожен OSD у ньому повідомляє BlueStore, а модулі менеджера, як-от Prometheus і телеметрія, розгалужуються за тим самим значенням30.
ADR прямо каже, що bluestore тут «is a compat value for mon/mgr feature gates, not a product name»30.
Є перемикач, flashstore_report_objectstore=flashstore, який перейменовує все: метадані, ключі bluestore_bdev_*, лічильники продуктивності, команди tell і коди стану BLUESTORE_*. Він потребує пропатчених моніторів, а типовим лишається bluestore2530.
Власні збірки Ceph від croit мають ці патчі, тож на них FlashStore називає себе flashstore, і нічого з написаного нижче не стосується.
Ім’я bluestore там для стандартних моніторів і менеджерів, які люди запускають у продакшені сьогодні.
Я розумію чому.
Перевірка монітора, прив’язана до рядка, це дизайн Ceph, а не croit, і відмова казати bluestore вимкнула б функції на непропатченому кластері.
У цьому й пастка на стандартному кластері.
Кожна панель моніторингу, кожен скрипт інвентаризації і кожен ceph osd count-metadata osd_objectstore, який ти запустиш, порахує OSD FlashStore як BlueStore.
Під час міграції, коли найбільше треба знати, який OSD який, очевидне поле не каже тобі нічогісінько.
Тож перевіряй flashstore_version у ceph osd metadata, а не osd_objectstore.
Внеси це в регламент ще до того, як стане перший OSD FlashStore.
Ті самі ручки, інша поведінка
FlashStore читає чимало наявних параметрів Ceph, і здебільшого це добра новина. Не кожен параметр означає те, що означав на Umbrella, і саме ті, що ні, дивують налаштований кластер.
| Параметр | BlueStore з Umbrella | FlashStore |
|---|---|---|
compression_mode, на пул | none, passive, aggressive, force | ті самі чотири, те саме значення |
compression_algorithm | типово snappy | snappy, zlib, zstd, lz4; рівень zstd зафіксовано на 1 |
bluestore_compression_max_blob_size_ssd | 64 KiB | шматки по 64 KiB |
osd_memory_target | 4 GiB, кеші автоналаштовуються на льоту | читається раз під час старту, задає розмір кешів сховища, без автоналаштування |
osd_op_queue | mclock_scheduler | приймається й ігнорується |
osd_mclock_* | діє | приймається й ігнорується |
csum_type | типово crc32c, доступні варіанти xxhash | crc32c зафіксовано; будь-яке інше значення пише попередження в журнал31 |
Стиснення збігається.
Типовий режим BlueStore це none, а типовий алгоритм snappy3233; FlashStore реалізує ті самі чотири режими, ті самі параметри пулу й ті самі шматки по 64 KiB, і ADR зазначає, що шматок 64 KiB, стисливий на 50 %, займає однаково місця в обох34.
Так було не завжди. Файл ADR досі називається no-store-compression, від початкового рішення, яке скасували, коли croit поставила вимогу повного функціонального паритету з класичним Ceph34.
Пам’ять це не паритет.
Umbrella автоналаштовує кеші BlueStore під osd_memory_target, поки працює3536.
FlashStore читає ціль раз під час старту, ділить її між шардами, а зміна через ceph config set набуває чинності під час наступного перезапуску37.
Він також не тримає процес у межах цілі: hugepages, мережеві буфери й стан PG лежать поза нею37.
Тож osd_memory_target задає розмір кешів FlashStore. Він не обмежує пам’ять OSD так, як ти, можливо, звик.
А mClock ігнорується повністю37.
Не приглушується. Ігнорується.
Немає планувальника операцій, який треба налаштовувати, бо кожне ядро володіє своїми PG.
Відновлення й backfill стримуються натомість osd_max_backfills, osd_recovery_max_active і параметрами затримки37.
Якщо ти налаштовував профілі mClock для перебудови на Umbrella, ці налаштування на OSD FlashStore нічого не роблять, і ніщо тебе про це не попередить.
Конвертації немає, в жоден бік
OSD із BlueStore не можна конвертувати в OSD із FlashStore. Посібник croit з міграції каже про це прямо: «There is no in-place conversion of a BlueStore device»38. Натомість він пропонує два порядки дій, і обидва це backfill38:
| Додати, потім прибрати | Звільнити, потім додати | |
|---|---|---|
| Потрібно | вільний слот NVMe | нічого запасного |
| Крок 1 | підготувати FlashStore на новому диску | ceph osd out, чекати на чистий стан |
| Крок 2 | чекати на active+clean | зупинити й видалити класичний OSD |
| Крок 3 | прибрати класичний OSD | підготувати FlashStore на звільненому диску |
| Ризик, поки це йде | нічого понад звичайний backfill | на одну копію менше до кінця backfill |
І пізніше легше не стане. Формат FlashStore на диску має біти функцій, і монтування відмовляє на невідомому біті: «Every format change means mkfs; unknown bits refuse mount (no downgrade)»7. Тож зміна формату в пізнішому випуску FlashStore це таке саме спорожнення й повторне заповнення, як і перша міграція.
Одне документація каже неправильно.
Контрольний список у посібнику з міграції каже переконатися, що «the pools do not use erasure coding on croit-flashstore-osd OSDs»38.
Посібник з кодування стирання в тому самому знімку каже, що FlashStore типово обслуговує старі пули EC, а власне типове значення коду для оптимізованого EC це all3940.
Одне з цього застаріло, і судячи з коду, це посібник з міграції.
Я б однаково прочитав посібник з EC повністю, перш ніж змішувати пули EC на обох видах OSD, бо збій, який він описує, це PG, що деградує, і backfill, що застрягає39.
Сховище для дисків, які ми справді купуємо
BlueStore будували, щоб він працював на всьому. Обертові диски, дешеві SSD, NVMe, розділи, LVM, зашифровані томи, швидкий пристрій DB перед повільним пристроєм даних. Ця широта й зробила його типовим вибором, і через неї ж у ньому є відкладений шлях запису, скидання кешу перед кожною фіксацією, база ключ/значення на власній файловій системі і пул потоків, щоб усе це крутилося. Кожне з цього існує, бо якомусь диску десь це було потрібно.
FlashStore починає з протилежного кінця. Він припускає, що диск це NVMe, що в нього є захист від втрати живлення і що він настільки швидкий, що вузьким місцем тепер є програмне забезпечення. А потім викидає все, що існувало лише заради інших дисків.
Чи це правильна ставка? Для нових повністю флешевих кластерів, побудованих на нормальних корпоративних NVMe, так. Саме туди йдуть кластери Ceph, і OSD, який витрачає свої ядра на блокування, передачі й базу даних, що ущільнюється за його спиною, платить кожну секунду кожного дня за гнучкість, якою такий кластер ніколи не скористається.
Але в ставки є ціна, і я волію, щоб ти її побачив, перш ніж вкладатися. Ти відмовляєшся від HDD, dm-crypt, msgr1, живого налаштування пам’яті і mClock. На стандартному кластері ти отримуєш OSD, який каже твоїм моніторам, що він BlueStore, бо сьогоднішні монітори й менеджери не лишають йому іншого шляху; власним збіркам croit цього не знадобиться. Ти отримуєш формат, у який не можна конвертувати і між версіями якого теж не можна конвертувати. І ти отримуєш це в прев’ю, від одного постачальника, який, так уже склалося, мене наймає.
Тож вважай доказом вихідний код, а не цей допис і не звіт croit про бенчмарки. Записи рішень публічні, і вони кажуть, що виміряли і що викинули. Прочитай їх, збери тестовий кластер на тому залізі, яке справді розгортав би, і виміряй своє власне навантаження. Якщо воно робить на твоїх дисках те, що кажуть ADR, ти знатимеш. Якщо ні, ти знатимеш і це, і дізнаєшся про це на тестовому кластері.
croit ceph-rust, README at snapshot 48f9014 — компоненти, стан і дорожня карта, «not yet recommended for production data», сумісний на рівні протоколу з v21.2.0 і v20.2.4. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ADR 0003, green-field, no Crimson fork — «No fork, no linking of Ceph code»; код Ceph читають як довідку, специфікації власними словами. ↩︎
ADR 0164, licences — демон і інструменти під LGPL-3.0-only, клієнтські бібліотеки під MPL-2.0, документація під CC-BY-SA-4.0, і причина вибору MPL. ↩︎ ↩︎
Ceph Umbrella, BlueStore configuration reference — прямий доступ до пристрою, пристрій DB, «writes smaller than min_alloc_size must first pass through the BlueStore WAL», контрольні суми. ↩︎ ↩︎ ↩︎ ↩︎
Ceph Umbrella, storage devices — BlueStore «consumes raw block devices or partitions»; RocksDB вбудована для внутрішніх метаданих. ↩︎ ↩︎
Ceph v21.2.0,
bluestore_kvbackend— типовоrocksdb. ↩︎ ↩︎ADR 0021, storage engine — COW B+дерево на шард, кільце WAL, паралельна фіксація, контрольні точки, вбудовані дані, утримувані звільнення, «Every format change means mkfs». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ADR 0004, storage I/O — SPDK через vfio, доповнено до двох рівнів з io_uring, простій за таймінгом пристрою. ↩︎ ↩︎
ceph-rust docs, prepare and activate —
spdkце бекенд за замовчуванням,kernelіkernel-cmdлишають NVMe на драйвері ядра. ↩︎Ceph v21.2.0,
bluestore_allocator— типовоhybrid. ↩︎Ceph v21.2.0,
bluestore_csum_type— типовоcrc32c. ↩︎ceph-rust, croit-flashstore-tool usage — «fresh prepare/mkfs –omap-engine btree|lsm|rocksdb». ↩︎
Ceph v21.2.0,
bluestore_min_alloc_size_ssd— типово 4 KiB. ↩︎Ceph v21.2.0,
bluestore_prefer_deferred_size_ssd— типово 0. ↩︎Ceph v21.2.0,
BlueStore.cc, transaction state machine — незавершені aio переводять транзакцію вSTATE_AIO_WAIT, перш ніж її поставлять у чергу на фіксацію ключ/значення. ↩︎Ceph v21.2.0,
BlueStore.cc, kv sync thread — «flush/barrier on block device» перед надсиланням у RocksDB. ↩︎ ↩︎ADR 0027, single-IO atomic commit, rejected — «gain only at QD1», побудовано й прибрано. ↩︎
Ceph v21.2.0,
bluestore_write_v2— «Use faster write path», типово false. ↩︎Ceph v21.2.0,
BlueStore.cc,_do_write_small— читання голови й хвоста, потім «chunk-aligned deferred overwrite». ↩︎Ceph v21.2.0,
BlueStore.cc, “journal deferred items” — відкладена транзакція записується як ключ у ту саму транзакцію RocksDB. ↩︎Ceph v21.2.0,
BlueStore.cc, key prefixes —PREFIX_DEFERRED = "L". ↩︎Типові значення потоків у Ceph v21.2.0 —
osd_op_num_shards_ssd8;osd_op_num_threads_per_shard_ssd2;osd_op_queuemclock_scheduler;ms_async_op_threads3; створення потоків уBlueStore.cc,bstore_kv_syncіbstore_kv_final. ↩︎ADR 0006, thread-per-core runtime — один закріплений потік з активним опитуванням на ядро, PG належать одному ядру, «idle cores burn CPU (accepted …)». ↩︎ ↩︎
ADR 0008, concurrency and durability — «no locks, no atomics, no shared mutable state»; PLP обов’язковий,
mkfsвідмовляє дискам без PLP, обхід через FUA для лабораторії. ↩︎ ↩︎ceph-rust docs, configuration reference —
flashstore_coresтипово 8,flashstore_store_shardsauto,flashstore_report_objectstore. ↩︎ ↩︎ ↩︎ceph-rust docs, hardware and host requirements — енергозалежний кеш запису FAIL, LBA 4 KiB, без розділів, вимоги до ядра й io_uring. ↩︎ ↩︎
Ceph Umbrella, ceph-volume encryption — «Logical volumes can be encrypted using dmcrypt by specifying the
--dmcryptflag». ↩︎Ceph v21.2.0,
ms_bind_msgr1— типово true. ↩︎ADR 0168, encryption at rest, msgr1, cache tiering out of scope — «SPDK bypasses dm-crypt»; клієнти лише з v1 «cannot reach croit-flashstore-osd». ↩︎ ↩︎ ↩︎
ADR 0019, report
osd_objectstore=bluestore— перевірки функцій у моніторі, додаткові ключіflashstore_*і параметр звітуванняflashstore. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ceph-rust,
pgs.rs— «csum_type {v} unsupported; using fixed crc32c per 4096-byte block». ↩︎Ceph v21.2.0,
bluestore_compression_mode— типовоnone. ↩︎Ceph v21.2.0,
bluestore_compression_algorithm— типовоsnappy. ↩︎ADR 0059, per-pool store compression — ті самі режими й параметри, що в BlueStore, рівень zstd 1 зафіксовано, місце за стисливості 50 % «identical to BlueStore». ↩︎ ↩︎
Ceph v21.2.0,
osd_memory_target— типово 4 GiB. ↩︎Ceph v21.2.0,
bluestore_cache_autotune— типово true. ↩︎ADR 0062, memory target and mClock — ціль читається раз, без автоналаштування, RSS не обмежується; параметри mClock «ACCEPTED and IGNORED». ↩︎ ↩︎ ↩︎ ↩︎
ceph-rust docs, migrate from classic — «There is no in-place conversion of a BlueStore device»; два порядки дій; рядок контрольного списку про EC. ↩︎ ↩︎ ↩︎
ceph-rust docs, erasure-coded pools —
ec_enable_poolsтиповоall,ec_enable_optimizedтиповоall, і як виглядає відхилений пул. ↩︎ ↩︎ceph-rust, OSD config defaults —
("ec_enable_optimized", "all"). ↩︎