Skip to content
Crimson, Cephs eigene Seastar-Neuschreibung des OSD mit SeaStore, gegen croit FlashStore, eine Neuschreibung in Rust mit eigenem Store

FlashStore gegen Crimson: Zwei Neuschreibungen desselben OSD

Crimson ist Cephs eigene Neuschreibung des OSD, in C++ auf dem Seastar-Framework, mit einem neuen nativen Store namens SeaStore; FlashStore ist croits Neuschreibung, in Rust, mit einem eigenen Store. Beide sind in der Preview, und beide zielen auf NVMe und schnelle Netze. Hier stehen sie nebeneinander, so wie Ceph 21.2.0 Umbrella Crimson ausliefert, gelesen aus Cephs Quellcode und Dokumentation und aus croits ceph-rust-Snapshot: woher jedes kommt und unter welcher Lizenz, warum Rust die Five-Eyes-Leitlinien zur Speichersicherheit erfüllt und C++ nicht, warum Crimson eigene Pools und ein experimentelles Flag braucht, während FlashStore in bestehende Pools einsteigt, warum Umbrella keinen Weg hat, einen bestehenden Pool in einen Crimson-Pool umzuwandeln, sodass die Daten kopiert werden müssen, was jedes beim Booten dem Monitor meldet, Seastar-Reaktoren gegen gepinnte pollende Kerne, die Tatsache, dass ein Crimson-OSD mit Standardeinstellungen noch BlueStore fährt, SeaStores Onode-, OMAP- und LBA-Bäume gegen FlashStores einen Baum pro Shard, die Reihenfolge, in der jedes einen Write committet, SeaStores Segment-Cleaner und welche Hardware und Pools jedes nimmt.

11. November 2026 · 19 Minuten · 4541 Wörter · Damien Dye
Umbrella-BlueStore, RocksDB auf BlueFS auf jedem Laufwerk, gegen croit FlashStore, ein Copy-on-Write-B+-Baum und WAL pro Kern auf NVMe mit Power-Loss-Protection

FlashStore gegen Umbrella-BlueStore: Was croit unter dem OSD geändert hat

croits ceph-rust ist ein Clean-Room-Nachbau des Ceph-OSD in Rust mit eigenem Object Store, FlashStore, seit 9. November 2026 in Public Preview. Hier steht es neben BlueStore, genau so, wie Ceph 21.2.0 Umbrella es ausliefert, gelesen aus Quellcode und Dokumentation beider Projekte: was im Repository steckt und unter welchen Lizenzen, wo jeder Store seine Metadaten ablegt, wie ein 4-KiB-Write und ein Write unter 4 KiB jeweils auf das Laufwerk kommen, Umbrellas Thread-Pools gegen FlashStores einen Thread pro Kern, warum FlashStore Power-Loss-Protection zur harten Bedingung macht, worauf es nicht läuft, warum es deinen Monitoren erzählt, es sei BlueStore, welche BlueStore-Optionen es beachtet und welche es ignoriert, und warum der einzige Weg zwischen beiden Backfill heißt.

11. November 2026 · 18 Minuten · 4379 Wörter · Damien Dye
Ein Proxmox-VE-Node mit Proxmox' eigenem Ceph-Monitor und -Manager neben croit-FlashStore-OSDs auf acht Optane-Laufwerken

FlashStore-OSD auf Proxmox VE: Was es auf einem Node gebraucht hat

croits FlashStore-OSD ist ein Ersatz für ceph-osd und BlueStore, geschrieben in Rust, seit 9. November 2026 in Public Preview. Hier läuft es hyperkonvergent auf einem einzelnen Node mit Proxmox VE 9.2: Ceph Umbrella 21.2.0 aus dem PVE-Assistenten für Monitor und Manager, FlashStore-OSDs auf Intel Optane P4800X. Es geht darum, warum Umbrella das einzige Proxmox-Release ist, das passt, um das Formatieren der Laufwerke auf 4 KiB und den Controller-Reset, der ein Format abbricht, um das, was croit-flashstore-osd –check meldet, warum die mitgelieferte Unit Proxmox’ ceph.conf nicht lesen kann und welches Drop-in das behebt, um das NVMe-Passthrough, das der Proxmox-Kernel verweigert, und das Direct-Backend, das funktioniert, um das Vorbereiten der OSDs per PCI-Adresse, was das PVE-OSD-Panel daraus macht, und um einen Pool, einen RBD-Storage und eine VM mit Fisher-Price OS (Windows), die darauf installiert wird, um CrystalDiskMark in dieser VM, gelesen gegen die Zähler der Disks selbst, um Cephs Speicher mit allen acht aktiven OSDs, um drei VMs gleichzeitig mit 1 GiB Speicherziel, und um ein Setup-Skript, das all das erledigt, getestet durch den Neuaufbau eines OSD aus dem Nichts.

11. November 2026 · 34 Minuten · 7429 Wörter · Damien Dye
Eine NVMe-Platte geht in einen Tri-Mode-Adapter hinein und kommt als SCSI-Platte mit einer Queue-Tiefe von 128 heraus

Tri-Mode-Adapter kaufen Flexibilität mit deinen NVMe-Queues

Ein Tri-Mode-Adapter lässt jeden Schacht SAS, SATA oder NVMe aufnehmen — echte Flexibilität, und der Grund, warum es U.3-Backplanes gibt. Was er nicht bewirbt, ist, dass deine NVMe-Platten aufhören, NVMe-Platten zu sein: sie kommen in Linux als SCSI-Platten an mpt3sas an, Queue-Tiefe 128, mit einem gemeinsamen Tag-Pool und einem x8-Uplink. Zwei Gen4-Platten sättigen die Karte. Eine einzelne Gen5 ist schon darüber. Ob dieser Handel 2026 noch aufgeht, und warum die universellen Schächte der Backplane gehören und nicht dem Controller.

13. August 2026 · 23 Minuten · 4884 Wörter · Damien Dye
Drei Speicherebenen: Optane nimmt Schreibvorgänge auf, NVMe hält die Ceph-Metadaten, und HDDs liefern die Massenkapazität

Proxmox-Ceph-Cluster auf HDDs schnell machen — Metadaten auf NVMe, eine Optane pro Spindel, und was es dich kostet

Die Preise für Flash machen alles auf NVMe schwer zu rechtfertigen, und HDDs für Unternehmen sind einen zweiten Blick wert. Erträgliche Latenz aus ihnen auf hyperkonvergentem Proxmox-Ceph zu holen heißt, RocksDB von der Spindel wegzuholen, jede Platte über bcache mit ihrer eigenen Optane zu paaren — Optane ausdrücklich, weil die Haltbarkeit von NAND für diese Aufgabe falsch ist — und ehrlich über die Fehlerfälle zu sein, die das einkauft.

7. August 2026 · 36 Minuten · 7457 Wörter · Damien Dye
Ein emulierter NVMe-Controller neben einem VirtIO-SCSI-Weg, und Proxmox kann den ersten nicht sehen

Ein virtuelles NVMe-Gerät in Proxmox — und die drei Dinge, die du aufgibst

QEMU kann einen echten NVMe-Controller emulieren, der Gast nutzt also seinen eigenen eingebauten NVMe-Treiber, ohne VirtIO-Medium. Es ist auch von Entwurf her nicht migrierbar, für Proxmox-Sicherungen unsichtbar und nicht schneller als VirtIO SCSI. Hier steht, wie man eines hinzufügt und wann es sich lohnt.

7. August 2026 · 10 Minuten · 1979 Wörter · Damien Dye
Acht logische Blöcke von 512 Byte, abgebildet auf einen physischen 4-K-Sektor, daneben eine 1:1-Abbildung mit 4 K

4Kn, 512e und 512n — warum natives 4K gewinnt, und was die Emulation kostet

512e-Laufwerke zeigen Sektoren von 512 Byte, die sie nicht haben, und die Firmware macht den Unterschied bei jedem fehlausgerichteten Schreibvorgang wieder gut. Was das auf dem Medium, im Host und an Schreibverstärkung kostet — warum direkte synchrone Schreibvorgänge der schlimmste Fall sind — und wie man einen ganzen Bestand auf 4Kn bringt.

7. August 2026 · 26 Minuten · 5507 Wörter · Damien Dye
Eine Kurve, die von 36 Prozent des Blechwerts bei Queue-Tiefe 1 bis Queue-Tiefe 32 auf wenige Prozent Abstand steigt

PCIe-Passthrough-Leistung auf Proxmox VE — die IOMMU-Steuer und wie man sie klein hält

Warum PCIe-Geräte Durchsatz verlieren, wenn man sie über VFIO an eine VM durchreicht, und die praktischen Schritte, die den größten Teil davon zurückholen.

7. August 2026 · 19 Minuten · 3916 Wörter · Damien Dye