Skip to content
Вузол Proxmox VE з власними монітором і менеджером Ceph від Proxmox поруч з OSD croit FlashStore на восьми дисках Optane

FlashStore OSD на Proxmox VE: чого це коштувало на одному вузлі

FlashStore OSD від croit це заміна ceph-osd і BlueStore, написана на Rust, у публічному прев’ю з 9 листопада 2026 року. Тут її розгорнуто гіперконвергентно на одному вузлі Proxmox VE 9.2: Ceph Umbrella 21.2.0 з майстра PVE для монітора й менеджера, OSD FlashStore на дисках Intel Optane P4800X. Тут є те, чому Umbrella єдиний реліз Proxmox, що збігається, форматування дисків у 4 КіБ і скидання контролера, що перериває форматування, що повідомляє croit-flashstore-osd –check, чому постачений юніт не може прочитати ceph.conf від Proxmox і drop-in, що це виправляє, passthrough NVMe, який відкидає ядро Proxmox, і прямий бекенд, що працює, підготовка OSD за адресою PCI, що з них робить панель OSD у PVE, пул, сховище RBD і ВМ на Fisher-Price OS (Windows), встановлена на нього, CrystalDiskMark зсередини цієї ВМ, звірений із власними лічильниками дисків, пам’ять Ceph з усіма вісьмома активними OSD, три ВМ одночасно з ціллю пам’яті 1 ГіБ і скрипт, що робить усе це, перевірений перебудовою OSD з нуля.

11 листопада 2026 · 32 хвилини · 7007 words · Damien Dye
Записи гостя ліворуч, VDO посередині, і лише близько чверті байтів доходить до диска праворуч

VDO під локальним LVM у Proxmox: до диска доходить менше байтів

VDO це шар дедуплікації і стиснення в ядрі. Під товстою групою томів LVM він дає локальним дискам Proxmox VE записувати одну копію кожного блока, спільного для VM, тож до диска доходить набагато менше байтів. Тут його збирають «товстим на товстому» на хості Proxmox VE 9, з розміром VDO під простір, який у нього справді є, щоб ніщо над ним не могло переобіцяти, з параметром scan_lvs у lvm.conf і його фільтром, і з потоками VDO під кількість CPU. Вимірюється, що заощадила дедуплікація на шаблоні та шести повних клонах, двох ISO, нулях і випадкових даних, скільки байтів диск справді отримав порівняно з тим, що записав гість, і скільки VDO коштує порівняно з тим самим Intel Optane зовсім без VDO. Потім пул збирають з індексом і журналами VDO на NVMe та даними на другому пристрої, доводять розкладку через vdolistmetadata, вимірюють, як ділиться I/O, потім ставлять VDO поверх bcache з одним NVMe, поділеним між кешем bcache і метаданими VDO, і вимірюють, скільки байтів доходить до кешу з VDO і без нього. Насамкінець міркування про те, що все це означає на апаратному HDD RAID6, і discard при видаленні.

27 жовтня 2026 · 26 хвилин · 5829 words · Damien Dye
Три рівні зберігання: Optane поглинає записи, NVMe тримає метадані Ceph, а HDD дають основну місткість

Як зробити швидкими кластери Proxmox Ceph на HDD: метадані на NVMe, один Optane на шпиндель і чого це тобі коштує

Ціни на флеш зробили all-NVMe важким для виправдання, і корпоративні HDD знову варті уваги. Щоб отримати від них прийнятну затримку на гіперконвергентному Proxmox Ceph, треба забрати RocksDB зі шпинделя, дати кожному диску власний Optane через bcache (саме Optane, бо витривалість NAND для цієї роботи не годиться) і чесно оцінити режими відмов, які ти за це купуєш.

7 серпня 2026 · 32 хвилини · 6617 words · Damien Dye