Skip to content
Węzeł Proxmox VE z własnym monitorem i managerem Ceph od Proxmoksa obok OSD croit FlashStore na ośmiu dyskach Optane

FlashStore OSD na Proxmox VE: czego to wymagało na jednym węźle

FlashStore OSD od croit to napisany w Rust zamiennik ceph-osd i BlueStore, w publicznej wersji zapoznawczej od 9 listopada 2026. Tutaj wdrażam go hiperkonwergentnie na pojedynczym węźle Proxmox VE 9.2: Ceph Umbrella 21.2.0 z kreatora PVE dla monitora i managera, OSD FlashStore na dyskach Intel Optane P4800X. Opisuję, dlaczego Umbrella to jedyne wydanie Proxmoksa, które pasuje, formatowanie dysków do 4 KiB i reset kontrolera, który przerywa formatowanie, co raportuje croit-flashstore-osd –check, dlaczego dostarczony unit nie może odczytać ceph.conf Proxmoksa i drop-in, który to naprawia, passthrough NVMe, którego odmawia jądro Proxmoksa, i bezpośredni backend, który działa, przygotowanie OSD po adresie PCI, co robi z nimi panel OSD w PVE, pulę, storage RBD i maszynę wirtualną z Fisher-Price OS (Windows) zainstalowaną na nim, CrystalDiskMark uruchomiony w tej VM i zestawiony z licznikami samych dysków, pamięć Ceph przy wszystkich ośmiu aktywnych OSD, trzy VM naraz przy docelowej pamięci 1 GiB oraz skrypt, który robi to wszystko, przetestowany przez odbudowę OSD od zera.

11 listopada 2026 · 32 min · 7028 słów · Damien Dye
Zapisy gościa po lewej, VDO pośrodku, a po prawej do dysku trafia tylko około jednej czwartej bajtów

VDO pod lokalnym LVM w Proxmoxie: do dysku trafia mniej bajtów

VDO to warstwa deduplikacji i kompresji w jądrze. Pod grubą grupą woluminów LVM daje lokalnym dyskom Proxmox VE zapis jednej kopii każdego bloku, który maszyny wirtualne współdzielą, więc do dysku trafia znacznie mniej bajtów. Buduję go tu gruby na grubym na hoście Proxmox VE 9, z VDO dopasowanym rozmiarem do miejsca, które naprawdę ma, tak żeby nic nad nim nie mogło nadmiernie przydzielać, z ustawieniem scan_lvs w lvm.conf i jego filtrem oraz z wątkami VDO dopasowanymi do liczby CPU. Mierzę, ile deduplikacja zaoszczędziła na szablonie i sześciu pełnych klonach, dwóch obrazach ISO, zerach i danych losowych, ile bajtów dysk faktycznie odebrał wobec tego, co zapisał gość, i ile VDO kosztuje wobec tego samego Intel Optane bez VDO. Potem buduję pulę z indeksem i dziennikami VDO na NVMe i danymi na drugim urządzeniu, dowodzę układu narzędziem vdolistmetadata, mierzę, jak dzieli się I/O, następnie stawiam VDO na bcache z jednym NVMe podzielonym między cache bcache a metadane VDO i mierzę, ile bajtów trafia do cache z VDO i bez niego. Rozważam, co to wszystko oznacza na sprzętowym RAID6 z HDD, i omawiam discard przy usuwaniu.

27 października 2026 · 26 min · 5788 słów · Damien Dye
Trzy warstwy pamięci masowej: Optane przyjmująca zapisy, NVMe trzymające metadane Ceph i dyski HDD dające pojemność

Jak przyspieszyć klastry Ceph w Proxmoksie na HDD: metadane na NVMe, jedna Optane na dysk i ile cię to kosztuje

Ceny flasha sprawiły, że całe NVMe trudno uzasadnić, a dyski HDD klasy enterprise warto obejrzeć ponownie. Wyciągnięcie z nich akceptowalnych opóźnień w hiperkonwergentnym Ceph na Proxmoksie oznacza zabranie RocksDB z talerzy, sparowanie każdego dysku z własną Optane przez bcache, właśnie Optane, bo trwałość NAND nie pasuje do tej pracy, oraz uczciwość co do trybów awarii, które w ten sposób kupujesz.

7 sierpnia 2026 · 32 min · 6681 słów · Damien Dye