Одразу розкриваю: я працюю в croit, яка написала FlashStore. Усе нижче прочитано з коду й документації Ceph на v21.2.0 та з опублікованого знімка ceph-rust від croit, і все це має посилання внизу сторінки. Там, де на одному боці аргументу стоять міркування самої croit, я кажу, чиї це міркування.
Два переписування того самого демона
Класичний Ceph OSD це багатопотоковий сервер на C++, який виріс на дисках, що крутяться. На швидких NVMe і швидких мережах він витрачає багато свого CPU на речі, які не є зберіганням твоїх даних: передачу операцій між пулами потоків, захоплення блокувань, очікування на інші потоки. Два проєкти взялися це виправити, переписавши OSD повністю.
Один це Crimson, власний проєкт Ceph.
Документація Umbrella називає його «the next generation ceph-osd», збудованим «to deliver enhanced performance on fast network and storage devices»1.
Другий це FlashStore OSD від croit, з проєкту ceph-rust, у публічному preview з 9 листопада 20262.
Обидва кажуть, що є прямою заміною. Обидва кажуть, що вони для NVMe. Обидва в preview, і жоден не повинен сьогодні тримати продакшн-дані. Тож якщо ти маєш Ceph на NVMe і думаєш, за яким із них стежити, варто знати, де вони насправді відрізняються, бо це не там, куди вказують заголовки.
Тут вони порівнюються такими, якими ти знайдеш їх у Ceph 21.2.0, Umbrella: Crimson так, як цей реліз його документує й постачає, проти FlashStore, який зібрано й перевірено на тому самому релізі2. Це продовження допису FlashStore проти Umbrella BlueStore, і все, що там уже сказано про FlashStore, вважається відомим.
Звідки кожен походить
Перша відмінність у тому, хто його будує і як.
| Crimson | FlashStore | |
|---|---|---|
| Хто будує | апстрім Ceph, в основному дереві | croit |
| Мова | C++ | Rust |
| Фреймворк | Seastar | власний однопотоковий виконавець croit |
| Код | у ceph/ceph | переписано з чистого аркуша, жодного коду Ceph не злінковано |
| Розробка | в апстрімі, відкрита | знімки лише для читання в preview; відкрита після першого продакшн-релізу |
| Ліцензія | ліцензія Ceph | демон LGPL-3.0, клієнти MPL-2.0 |
| Статус його ж словами | «not suitable for production use» | «not yet recommended for production data» |
| Запланований GA | не зазначено | Q1 2027 |
Crimson живе у власному репозиторії Ceph, і будують його власні розробники Ceph. Він написаний на Seastar, фреймворку C++ для серверів з потоком на ядро, який вийшов зі ScyllaDB3. Документація Umbrella прямо каже, що він «is in a tech-preview stage and is not suitable for production use»1.
FlashStore написано з нуля на Rust, і він не лінкує жодного коду Ceph; C++ Ceph читається як довідник і реалізується заново за власними специфікаціями croit4. Його README каже, що він для тестування й оцінки і «not yet recommended for production data», а загальна доступність запланована на перший квартал 20272. Публічний репозиторій це знімок лише для читання: «no issue tracker, no contribution workflow»2.
Цей рядок варто прочитати уважно. Crimson розробляють відкрито, і будь-хто може читати pull request і сперечатися в них. FlashStore поки що приходить готовими знімками від однієї компанії: ти можеш прочитати кожен рядок, але надіслати патч поки не можеш. Це стадія preview, а не план. Preview існує, щоб зібрати відгуки спільноти, поки croit проганяє свої продакшн-тести всередині, перш ніж позначить OSD як безпечний для використання. Відкрита розробка настає після першого продакшн-релізу, тим самим шляхом, яким іде більшість проєктів з відкритим кодом, що їх спонсорують компанії. Це йде зсередини croit, а не з опублікованої дорожньої карти, тож тримай їх за слово.
croit таки розглядала форк Crimson і записала, чому від нього відмовилася. Її ADR каже, що Crimson «tries to support everything (HDD, alienstore/BlueStore, all pool types)», і додає «Complex code is never fast»4. Це думка croit про Crimson, а не вимірювання, і я сприймав би її саме так. Той самий ADR відкинув форк почасти через LGPL4, а через вісім днів croit ліцензувала власний демон під LGPL-3.05. Тож ліцензія ніколи насправді не була причиною.
Безпека пам’яті: Rust проти C++
OSD це код, який тримає твої дані. Use-after-free чи переповнення буфера в ньому це не збій, після якого просто перезапускаєшся; це зіпсовані дані на диску, скопійовані на кожну репліку. Саме цей клас помилок західні кіберагенції останні три роки закликають галузь усувати на рівні дизайну.
| Настанова | Хто під нею підписався | Що вона каже |
|---|---|---|
| The Case for Memory Safe Roadmaps, грудень 2023 | CISA, NSA і FBI (США), ACSC від ASD (Австралія), CCCS (Канада), NCSC-UK, NCSC-NZ, CERT-NZ | C і C++ небезпечні щодо пам’яті; опублікуйте дорожню карту відходу від них |
| Product Security Bad Practices v2.0, січень 2025 | CISA і FBI | нові лінійки продуктів для критичної інфраструктури на C чи C++ «dangerous», якщо є мови з безпекою пам’яті |
Спільна настанова каже це прямо: «Programming languages such as C and C++ are examples of memory unsafe programming languages»6. CISA і FBI йдуть далі й називають небезпечною «the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)», коли можна було б використати альтернативу з безпекою пам’яті7. Це настанова, а не закон. Але сховище під критичними сервісами це саме той код, на який вона націлена, і обидва вони OSD наступного покоління, які судитимуть за нею.
FlashStore їй відповідає.
Він написаний на Rust, і ADR від croit дає причину одним рядком: «Storage = correctness-critical; memory-safety bugs = data loss»8.
Компілятор перевіряє безпеку пам’яті всюди, крім коду, позначеного unsafe, і той самий ADR обмежує його модулями FFI, DMA, NVMe і мережевих драйверів, кожен із коментарем SAFETY8.
Я порахував у знімку: 1216 рядків, що згадують unsafe, з 696 125 рядків Rust, близько 0,17 %, і вони сидять у крейтах RDMA, runtime, NVMe і сховища, де код говорить з обладнанням.
Спільна настанова сама називає цей аварійний люк, зазначаючи, що Rust «can contain the ‘unsafe’ keyword»6, тож чесна міра така: не нуль, але мало, відгороджено і там, де ти й очікуєш.
C, який він таки викликає, SPDK і DPDK, сидить за тими самими межами8.
Crimson не відповідає. Це новий OSD, написаний на C++ на фреймворку C++13, тобто тією мовою, яку названі вище агенції вважають небезпечною щодо пам’яті. Кожен його рядок лежить поза тим, що компілятор може перевірити на безпеку пам’яті, а в конфігурації за замовчуванням він передає сховище BlueStore, який теж на C++.
| Crimson | FlashStore | |
|---|---|---|
| Мова | C++ | Rust |
| Безпеку пам’яті перевіряє компілятор | ні | так, поза unsafe |
| Неперевірений код | увесь | близько 0,17 % рядків, код драйверів і FFI |
| Сховище за замовчуванням | BlueStore, C++ | FlashStore, Rust |
| Відповідає настановам Five Eyes щодо безпеки пам’яті | ні | так |
Розробники Ceph обрали C++ не з необережності; Crimson виріс із кодової бази на C++, і переписувати на місці означало в ній лишатися. Це розумний інженерний шлях. Але він усе одно лишає OSD наступного покоління Ceph написаним тим єдиним видом мови, від якого агенції п’яти країн просили новий критичний код відмовитися.
Як кожен приєднується до кластера
Це найбільша практична відмінність між ними, і вона взагалі не про продуктивність.
OSD на FlashStore приєднується до пулів, які в тебе вже є. Він стоїть у тих самих групах розміщення поруч із класичними OSD на BlueStore, і ти міняєш по одному диску2.
OSD на Crimson так не робить.
Навіть близько.
Документація Umbrella каже: «Crimson OSD won’t instantiate PGs from non-Crimson pools»1.
Код робить рівно це. Коли монітор просить Crimson OSD створити PG у пулі без прапорця crimson, той пише в журнал «pool lacks crimson flag» і скасовує створення9.
Тож випробування Crimson означає нові пули, створені з прапорцем crimson, і твої дані, перенесені в них.
І ці пули приходять з умовами, які застосовує монітор:
| Правило пулу Crimson (Umbrella) | Де |
|---|---|
| Автомасштабування PG має бути вимкнене при створенні пулу | OSDMonitor, створення пулу10 |
Злиття PG (зменшення pg_num) відхиляється | OSDMonitor, зміна pg_num11 |
Поділ PG дозволений лише поки crimson_allow_pg_split має значення true | там само, і сам параметр12 |
| Пули EC мають бути оптимізованого типу EC, без винятків | OSDMonitor, створення пулу13 |
| Жодного OMAP на пулах EC | там само13 |
FlashStore обслуговує класичні пули, і репліковані, і з кодуванням стирання, і відмовляється від конфігурацій EC, яких не підтримує, замість того щоб їх відхиляв монітор14. Жоден підхід не хибний. Але один дає тобі тестувати на копії твого справжнього планування пулів, а інший змушує спершу збудувати окреме.
Жодного шляху для пулів, які в тебе вже є
То чи можна перетворити наявний пул на пул Crimson і перевести його по одному диску? Ні.
Документація Umbrella каже, що Crimson «aiming to allow seamless migration from existing ceph-osd deployments»1.
Aiming, тобто «має на меті». Реліз цього не робить, і код показує, чому не може.
Прапорець crimson це опція ceph osd pool create і ніде більше15.
ceph osd pool set не має змінної crimson, яку можна встановити на пулі, що вже існує16.
А Crimson OSD ігнорує кожну PG у пулі без прапорця, як сказано вище9.
Я не знайшов інструмента конвертації ні в коді, ні в документації.
| Перенесення наявного пулу | Crimson (Umbrella) | FlashStore, сьогодні |
|---|---|---|
| Зберегти той самий пул | ні, потрібен новий пул | так |
| Чи можна позначити пул пізніше | ні, лише при створенні | не потрібно |
| Як переїжджають дані | ти копіюєш їх, з пулу в пул | кластер робить backfill |
| Клієнтів перенаправити | так, на новий пул | ні |
| По одному диску | ні | так |
Це робить перехід на Crimson копіюванням даних, яке ти проводиш сам: образи RBD можна мігрувати наживо «between different pools»17, а об’єктні чи файлові дані потребують того, чим твої застосунки їх копіюють. Потім кожного клієнта треба спрямувати на новий пул.
FlashStore сумісний з пулами, які в тебе працюють сьогодні. Ти готуєш його на диску, кластер робить backfill груп розміщення, які йому дісталися, а твої клієнти й не помічають, що пул під ними змінився, бо він не змінився18. У цьому вся різниця між переписуванням, яке приєднується до твого кластера, і тим, що стоїть поруч із ним.
Що кожен каже монітору
Crimson себе оголошує.
Під час завантаження він надсилає osd_type=crimson19, і монітор не пускає його, якщо не встановлено прапорець OSDMap allow_crimson, з рядком у журналі, що crimson-osd «is considered unstable and may result in crashes or data loss»20.
Щоб дійти до цього, потрібні чотири команди з документації, і перша з них встановлює параметр під назвою enable_experimental_unrecoverable_data_corrupting_features1.
FlashStore робить навпаки.
Він не надсилає osd_type взагалі і повідомляє osd_objectstore=bluestore, тож монітор бачить класичний OSD і питань не ставить21.
Попередній допис пояснює чому: монітор Umbrella відкриває такі функції, як перезапис у EC, лише коли кожен OSD у пулі повідомляє BlueStore21.
Це для стандартних моніторів і менеджерів, які сьогодні працюють у продакшні.
На власних збірках Ceph від croit, де їх пропатчено, щоб вони про нього знали, FlashStore повідомляє про себе як flashstore21.
Я волів би, щоб програма казала мені, що вона таке. Crimson каже. Його шлях чесний, а назва прапорця не лишає жодних сумнівів, на що ти погоджуєшся. Шлях FlashStore це те, що робить пряму заміну можливою на стандартних моніторах і менеджерах, якими люди користуються зараз, і це захід сумісності, а не кінцевий стан. Обидва навмисні, і обидва записані. Просто знай, з яким із них маєш справу, коли рахуєш свої OSD.
Ядра: реактори проти закріплених потоків з опитуванням
Обидва проєкти викинули пули потоків. Добре. Обидва запускають один потік на ядро й розбивають роботу на шарди за ядрами. Відмінність у тому, скільки вони вимагають від оператора і як міцно тримаються за ядро.
| Crimson | FlashStore | |
|---|---|---|
| Одиниця роботи | реактор Seastar на ядро | закріплений потік на ядро |
| Кількість ядер | crimson_cpu_num, без значення за замовчуванням, обов’язково задати | flashstore_cores, за замовчуванням 8 |
| Закріплення за ядрами | лише з crimson_cpu_set | так, flashstore_lcores |
| Поведінка в простої | опитує 200 µs, потім спить | опитує, адаптивний простій |
| Повне активне опитування | опційне, crimson_poll_mode | так задумано, з відступом у простої |
| Зміна після розгортання | ні | шарди сховища фіксуються при підготовці |
У Crimson crimson_cpu_num «does not have a default value», його треба задати до розгортання OSD, і він «cannot be changed after deployment»1.
Він не закріплює потоки, якщо ти не задаси ще й crimson_cpu_set, який документація описує як «generally less recommended due to its complexity»1.
Реактор у простої опитує 200 µs, перш ніж знову заснути, а повний режим опитування існує «at the expense of 100% cpu usage» і за замовчуванням вимкнений22.
SeaStore також відмовляється приймати зміну кількості реакторів після mkfs23.
FlashStore закріплює за задумом, опитує за задумом і відступає в простої2425. Кількість його шардів сховища фіксується, коли сховище готують, тобто те саме обмеження в іншому місці26.
На практиці обидва хочуть цілі ядра, і обидва хочуть, щоб ти розрахував їх до розгортання. Crimson робить опитування вибором, який треба ввімкнути. FlashStore робить його стандартом і дає логіці простою відвоювати частину CPU.
Сховище Crimson за замовчуванням це BlueStore
Ось що мене здивувало. А не мало б.
У Crimson два види об’єктних сховищ. Рідні працюють усередині реактора Seastar; нерідні працюють через «a thread pool proxy» до «alien threads: worker threads not managed by Seastar»1. SeaStore рідне. BlueStore нерідне. І BlueStore стоїть за замовчуванням.
Документація каже про це прямо.
SeaStore «is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages»1.
Cephadm розгортає Crimson з --objectstore bluestore, якщо не сказати інакше, і навіть тоді SeaStore не можна розгорнути з --method raw; тобі кажуть використовувати LVM1.
Тож Crimson OSD, розгорнутий сьогодні з налаштуваннями за замовчуванням, запускає фронтенд Seastar поверх того самого BlueStore, RocksDB і BlueFS, що й класичний OSD, з crimson_bluestore_num_threads потоками, відведеними для цього22.
З боку сховища порівняно з класичним OSD не змінилося нічогісінько.
Це розумний спосіб збудувати шлях міграції. І саме тому порівнювати «Crimson» з FlashStore за продуктивністю мало що означає, якщо не сказати, яке сховище працювало в Crimson.
Чесне порівняння сховища це SeaStore проти FlashStore. Про це решта допису.
SeaStore і FlashStore: де живуть метадані
Обидва сховища написані під NVMe з самого початку, обидва розбиті на шарди за ядрами, і обидва тримають метадані у власних B-деревах замість RocksDB. Але їхня будова дуже різна.
SeaStore дає кожному реактору власний корінь27. Під ним сидять дерево onode, дерево LBA і дерево backref. Onode кожного об’єкта далі вказує на власне B-дерево OMAP і власне B-дерево XATTR, а також на екстенти даних з логічними адресами27. Дерево LBA відображає ці логічні адреси на фізичні, тож блок може переміститися на диску, а власні дерева об’єкта не зміняться; документація називає цю непрямість причиною, з якої більшість екстентів «can be relocated freely»27.
FlashStore кладе все в одне B+-дерево з копіюванням під час запису на шард: onode, xattr, OMAP, мапи екстентів з crc32c на кожен блок 4 KiB, журнал PG і бітову мапу алокатора28. Мапи екстентів вказують прямо на фізичні блоки. Жодного логічного шару між ними.
Обидва вибори мають причину. Непрямість SeaStore це те, що робить його очищувач дешевим: він може переміщати живі дані, не переписуючи кожне дерево, яке на них вказує. FlashStore цього не потребує, бо очищувача в нього немає, як показано нижче. Його ADR перелічує «Per-object omap subtree/root» серед альтернатив, які розглянули й відкинули28.
Одна відмінність щодо контрольних сум, яку варто знати: SeaStore рахує свій crc32c по цілому кешованому екстенту29, тоді як FlashStore тримає по одному на кожен блок 4 KiB28.
Порядок, у якому комітиться запис
Тип пристрою SeaStore за замовчуванням SSD, і він використовує сегментований бекенд30.
На цьому бекенді транзакція це запис журналу з дельтами, і з даними може статися одне з двох.
Малі, короткоживучі екстенти можуть їхати всередині запису журналу, і тоді запис і є всім комітом27. Більші або довгоживучі екстенти йдуть в окремі позарядкові сегменти, і тоді документація задає порядок: «final record with the deltas should be written only once the other blocks are persisted»27. Це два записи послідовно, та сама форма, що й коміт у BlueStore: спершу дані, потім RocksDB.
FlashStore пише екстент даних і одиницю WAL одночасно, кладе crc32c нових даних у запис WAL, щоб відтворення могло його перевірити, і підтверджує, коли обидва стали стійкими28. Одна поїздка до пристрою, хоч який розмір.
Наскільки це важить, залежить від твого навантаження, рівно як у порівнянні з BlueStore. На малій глибині черги, де клієнти чекають на кожен запис, друга поїздка це справжня затримка. Під навантаженням пакетування ховає більшу її частину.
Як повернути місце
Друга половина журнально-структурованого дизайну це прибирання.
SeaStore на сегментованому бекенді пише лише у відкриті сегменти. Перш ніж сегмент можна використати знову, його живі блоки треба переписати деінде, і проєктний документ каже, скільки це коштує: «we must ‘clean’ one byte of an existing segment for every byte written at steady state»27. Частину цього очищення він домішує до поточних записів, щоб уникнути сплесків, а решту робить у фоні, коли диск тихіший27. Розмір сегмента за замовчуванням 64 MiB31.
У SeaStore таки є другий бекенд для NVMe, random block manager, про який документація каже, що він «Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren’t worth the overhead»27.
Він не за замовчуванням. Його обирають через seastore_main_device_type30.
У FlashStore немає очищувача сегментів. Жодного. Замінений блок повертається до алокатора шарду, щойно його пройде контрольна точка, а це стається кожні п’ять секунд, поки є незбережена робота, або раніше, коли кільце WAL наполовину заповнене28. Його проєктний документ прямо відкинув журнально-структуровану будову28. Це не означає, що фонової роботи немає: він досі зливає й ущільнює сторінки дерева і дефрагментує вільне місце, у темпі під клієнтський I/O28. Але він ніколи не копіює твої живі дані, щоб звільнити місце.
На флеші, який і так запускає власне збирання сміття всередині диска, я волів би, щоб OSD не запускав ще одне зверху. Власна документація SeaStore, здається, погоджується, судячи з того, що вона каже про бекенд RBM. Різниця в тому, що FlashStore зробив це єдиним варіантом, а SeaStore зробив його не стандартним.
На чому кожен працюватиме
| Crimson (Umbrella) | FlashStore | |
|---|---|---|
| HDD | так, з BlueStore; у SeaStore є тип сегмента для HDD | ні |
| NVMe | так | так, єдина ціль |
| Захист від втрати живлення | вимог не зазначено | обов’язковий, mkfs без нього відмовляє |
| Розмітка пристрою | LVM для SeaStore через cephadm | цілі namespace, без розділів |
| Протокол передачі | лише msgr2 | лише msgr2 |
| Бекенд I/O | за замовчуванням io_uring; linux-aio, epoll | за замовчуванням SPDK, рівень io_uring |
| Пули | нові пули з прапорцем crimson | наявні класичні пули |
| Перенесення наявних даних | скопіювати в новий пул | backfill у той самий пул |
| Чим розгортається | cephadm, --osd-type crimson | пакети, croit-flashstore-tool |
| Рекомендована збірка | найновіша CI-збірка main | знімки релізів |
Crimson зберігає широту.
Документація каже, що SeaStore «may not be suitable for traditional HDDs», але що «Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs»1, а проєктний документ SeaStore досі згадує інтерес до HDD27.
Його месенджер прямо відмовляє v1, «ProtocolV1 is no longer supported»32, той самий вибір, що зробив FlashStore33.
Його документація рекомендує «one of the latest available builds, as Crimson evolves rapidly», а на практиці це означає CI-образи main1.
FlashStore звужує все до NVMe із захистом від втрати живлення і саме з цього бере свою простоту34. Що рівно той компроміс, який описує ADR від croit, лише з іншого боку.
Дві відповіді на те саме питання
Обидва проєкти почали з того самого спостереження: класичний OSD марнує швидке обладнання. Відповіді вони дали дуже різні.
Відповідь Crimson це відповідь спільноти. Переписати OSD на місці, всередині Ceph, тримати кожне старе сховище і кожен старий диск у роботі, поки нове сховище дозріває, і дати всім бачити роботу по ходу. Це повільно, і це видно. В Umbrella Crimson OSD за замовчуванням досі працює на BlueStore через пул потоків, його власні пули відгороджені від твоїх, а щоб його ввімкнути, треба надрукувати слова «unrecoverable data corrupting». Але він належить кожному, хто запускає Ceph, і ніхто не може в тебе його відібрати.
Відповідь FlashStore це відповідь вендора. Обрати вужчу ціль, NVMe із захистом від втрати живлення, викинути все, що існувало лише для іншого обладнання, і постачити сховище, яке стає в пули, що в тебе вже є. Це швидше, і це теж видно. Але воно походить від однієї компанії, як знімки лише для читання до першого продакшн-релізу, а на стандартному кластері потрапляє всередину, кажучи монітору, що воно BlueStore.
Я працюю в цій компанії, тож зважай на це, читаючи далі. croit зробила правильну технічну ставку для повністю флешових кластерів. Crimson зробив правильну ставку для Ceph як проєкту. Це не одне й те саме. Проєкт, що служить усім, не може відмовитися від HDD. Вендор може, і повинен, якщо це те, що купують його клієнти.
Чого я не робив би, то це обирати між ними за графіком бенчмарку від будь-якої сторони. Цифри Crimson залежать від того, яке з трьох його сховищ працювало; цифри FlashStore походять із власної лаби croit. Обидва проєкти публікують свої проєктні документи. Прочитай їх, потім постав обидва на ті диски, які ти справді розгорнув би, і прожени своє власне навантаження. Той, що досі робить те, що кажуть його документи, коли на кону твої дані, і є тим, на який варто чекати.
Ceph Umbrella, Crimson (Tech Preview) — «the next generation
ceph-osd», «not suitable for production use», потрібні прапорці,crimson_cpu_num, рідні й нерідні бекенди, SeaStore «not the default»,--method rawне підтримується. Джерело:doc/crimson/crimson.rstна v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎croit ceph-rust, README у знімку 48f9014 — твердження про пряму заміну, preview з 9 листопада 2026, GA Q1 2027, «not yet recommended for production data», «no issue tracker, no contribution workflow». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
ceph-rust ADR 0003, з чистого аркуша, без форку Crimson — «Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -> complexity. Complex code is never fast.»; форк відкинуто через «C++, complexity, LGPL». ↩︎ ↩︎ ↩︎
ceph-rust ADR 0164, ліцензії — датовано 2026-10-17; демон
LGPL-3.0-only. ↩︎CISA, NSA, FBI, ASD’s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (грудень 2023) — «Programming languages such as C and C++ are examples of memory unsafe programming languages»; Rust «can contain the ‘unsafe’ keyword». ↩︎ ↩︎
CISA і FBI: Product Security Bad Practices, v2.0 (січень 2025) — нові лінійки продуктів для критичної інфраструктури «in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous». ↩︎
ceph-rust ADR 0002, мова: Rust — «Storage = correctness-critical; memory-safety bugs = data loss»;
unsafe«confined to ffi/dma/nvme/net-driver modules with SAFETY comments»; SPDK і DPDK через FFI. ↩︎ ↩︎ ↩︎Ceph v21.2.0,
crimson/osd/shard_services.cc— «ignoring pgid {}, pool lacks crimson flag». ↩︎ ↩︎Ceph v21.2.0,
OSDMonitor.cc, створення пулу crimson — «crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to ‘off’». ↩︎Ceph v21.2.0,
OSDMonitor.cc, зміниpg_numдля crimson — «pg merging is not yet supported in Crimson». ↩︎Ceph v21.2.0,
crimson_allow_pg_split— «Allow Crimson pools to increase their PG count (split)», за замовчуванням true. ↩︎Ceph v21.2.0,
OSDMonitor.cc, пули EC для Crimson — «For Crimson - only EC-optimized pools are supported», «Omap is not supported by EC pools in crimson». ↩︎ ↩︎Документація ceph-rust, пули з кодуванням стирання — застарілий і оптимізований EC обслуговуються за замовчуванням; непідтримувані пули OSD відхиляє. ↩︎
Ceph v21.2.0,
MonCommands.h,osd pool create—name=crimson,type=CephBool,req=false, єдине місце, де приймається прапорець. ↩︎Ceph v21.2.0,
MonCommands.h,osd pool set— змінні, які можна встановити;crimsonсеред них немає. ↩︎Ceph Umbrella, жива міграція образів RBD — «RBD images can be live-migrated between different pools». ↩︎
Документація ceph-rust, міграція з класичного — додати або звільнити диск, підготувати FlashStore, дати backfill перенести дані. ↩︎
Ceph v21.2.0,
crimson/osd/osd.cc—m->metadata["osd_type"] = "crimson". ↩︎Ceph v21.2.0,
OSDMonitor.cc, перевірка при завантаженні — «Disallowing boot of crimson-osd without allow_crimson OSDMap flag», «considered unstable and may result in crashes or data loss». ↩︎ceph-rust ADR 0019, повідомляти
osd_objectstore=bluestore— жодного ключаosd_type, перевірки функцій BlueStore у моніторі. ↩︎ ↩︎ ↩︎Ceph v21.2.0,
crimson.yaml.in—crimson_reactor_idle_poll_time_us200,crimson_poll_mode«at the expense of 100% cpu usage», за замовчуванням false,crimson_bluestore_num_threads. ↩︎ ↩︎Ceph v21.2.0,
seastore_require_partition_count_match_reactor_count— «disable osd shards changes upon restart», за замовчуванням true. ↩︎ceph-rust ADR 0006, runtime з потоком на ядро — один закріплений потік з активним опитуванням на ядро, кожна PG належить одному ядру. ↩︎
ceph-rust ADR 0004, I/O сховища — SPDK і рівень io_uring, простій за часом пристрою. ↩︎
Документація ceph-rust, довідник конфігурації —
flashstore_coresза замовчуванням 8,flashstore_lcores,flashstore_store_shardsфіксується при підготовці. ↩︎Ceph Umbrella, документація розробника SeaStore — корінь на реактор, дерева onode, OMAP, LBA і backref, «clean» один байт на кожен записаний байт, порядок запису журналу, бекенд RBM. Джерело:
doc/dev/crimson/seastore.rstна v21.2.0. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ceph-rust ADR 0021, рушій сховища — одне COW B+-дерево на шард, паралельний коміт, контрольні точки, фонове обслуговування, відкинуті альтернативи, зокрема журнально-структурована і «Per-object omap subtree/root». ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
Ceph v21.2.0,
crimson/os/seastore/cached_extent.h— «Returns crc32c of buffer». ↩︎Ceph v21.2.0,
seastore_main_device_type— «The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)», за замовчуваннямSSD. ↩︎ ↩︎Ceph v21.2.0,
seastore_segment_size— за замовчуванням 64 MiB. ↩︎Ceph v21.2.0,
crimson/net/SocketMessenger.cc— «ProtocolV1 is no longer supported». ↩︎ceph-rust ADR 0168, поза межами — msgr1 прибрано, лише v2. ↩︎
Документація ceph-rust, вимоги до обладнання й хоста — PLP обов’язковий, цілі namespace. ↩︎