Wie Ceph echt schrijft en gebruikt

Openheid vooraf: ik werk voor croit, dat Ceph verkoopt en in de tabellen hieronder voorkomt. Ik heb geprobeerd net zo kritisch over ons te zijn als over ieder ander. Elk getal komt uit de publieke git-geschiedenis, uit Ceph’s eigen vastlegging in de repository, of uit een openbare uitspraak met naam — allemaal reproduceerbaar, allemaal in de bronnen aan het eind.

Ceph houdt veel spullen overeind waar niemand aan denkt. Proxmox-clusters, OpenStack, Kubernetes, nationale onderzoekslaboratoria, banken, telecombedrijven, deeltjesversnellers. Twintig jaar later is het nog steeds het eerste antwoord als iemand blok-, bestands- en objectopslag uit één cluster van gewone hardware wil.

Wie schrijft het dus, wie onderhoudt het, en wie draait het?

Niet “wie staat op de mailinglijst” of “wie sprak op Cephalocon”. Ik heb ceph/ceph gekloond, elke commit zonder merge genomen die in de tien jaar tot 2026-08-27 is geschreven, en de auteurs op bedrijven gekoppeld met Ceph’s eigen .organizationmap plus een vastgelegde set correcties. Daarna heb ik Ceph’s bestuursbestand uit de repository genomen en alle 38 leden van het Steering Committee herleid naar de werkgever in hun eigen gepubliceerde adres. Daarna ben ik gaan zoeken wie publiek zegt dat hij het draait.

Dat komt op 69.613 commits van 1.718 mensen uit 478 organisaties. Het is een beter beeld dan ik vooraf verwachtte, en niet het beeld dat ik wilde schrijven.

Het decennium

Rij 1 en 3 zijn hetzelfde team. Op 4 oktober 2022 kondigden Red Hat en IBM aan dat het hele Ceph-team van Red Hat naar IBM verhuisde, waarbij IBM de sponsoring van Red Hat bij de Foundation overnam en meebetaalt aan het upstream-testlab. De mensen veranderden niet; hun e-mailadressen verhuizen nog steeds, één ingenieur per keer, vier jaar later.

Tel ze op: 46.662 commits. 67,0% van het decennium.

Sta daar even bij stil voordat er iets anders komt, want het is de afspraak die Ceph laat bestaan. Eén bedrijf heeft tientallen ingenieurs betaald om gedistribueerde opslag te bouwen en te onderhouden die het daarna weggeeft. Tien jaar lang, door twee overnames en een wisseling van moederbedrijf. Niemand heeft ze daartoe verplicht.

De laatste drie jaar

16.160 commits. Red Hat plus IBM: 11.091, of 68,6%.

De veerkracht waar niemand over praat

Hier is het stuk dat ik niet verwachtte, en het is het beste van de hele oefening.

Ceph heeft de twee gebeurtenissen die deze data je zou laten vrezen al doorstaan, en het vertrok geen spier.

Zijn schepper, Sage Weil, schreef 7.517 commits over het decennium — meer dan welke organisatie ook, behalve Red Hat, SUSE en IBM. In 2017 alleen schreef hij 2.184 commits, 21,5% van het hele project in zijn eentje. Hij trad in oktober 2021 terug na 17 jaar; zijn laatste commit is van 2022-01-20.

Zijn tweede grootste bijdrager van het decennium, SUSE, schreef 6.191 commits en piekte op 1.839 in één jaar. Daarna schrapte het SUSE Enterprise Storage voor Longhorn van Rancher en bouwde af: 463 in 2021, 110 in 2022, 14 in 2023, 10 in 2024, sindsdien niets.

Beide binnen dezelfde vijf jaar. Was een project met deze concentratie broos, dan was het toen geknapt.

Dat gebeurde niet. Het commit-tempo dit jaar is 14,6 per dag tegen 14,8 vorig jaar. Vlak. Releases bleven komen. Het bestuur werd herbouwd tot een Executive Council en een Steering Committee van 38 personen, en het hield.

(2026 loopt tot 27 augustus, ongeveer acht maanden.)

Tussen 57 en 72 procent van één leverancier, elk jaar, een decennium lang. Het volume is gezakt ten opzichte van de piek in 2016, en dat is wat er gebeurt als een project ophoudt zijn fundering te herbouwen en die begint te onderhouden. De laatste drie jaar zijn vlak, of een tikje omhoog.

Ceph heeft de bedrijven overleefd die het bouwden

Dit is het echte verhaal van het decennium, en in een venster van drie jaar zie je het helemaal niet.

Kijk naar rij 2, 5, 8, 10, 13 en 15. SUSE, ZTE, Mirantis, China Mobile, Cloudbase Solutions, XSKY — plus Inspur, EasyStack, UMCloud, Kylin, UnitedStack, Xtao, Istuary en meer verderop. Samen ruim meer dan 10.000 commits. Bijna alles is gestopt.

• SUSE: 6.191 commits, piek in 2020, nu nul.
• ZTE: 1.176 commits, 1.071 in 2016 alleen, laatste commit 2020.
• Mirantis: 566 commits, weg.
• XSKY, EasyStack, Inspur, UMCloud, Kylin, UnitedStack: het opslagcohort uit het OpenStack-tijdperk, allemaal afgebouwd.

Elk daarvan was een bedrijf dat een product op Ceph inzette. De producten werden geschrapt of gingen een andere kant op. En Ceph is er nog, en levert in hetzelfde tempo, met hun code nog in de boom en iemand anders die er op let.

De beste illustratie is het dashboard. Over het decennium ziet src/pybind/mgr/dashboard er zo uit:

Het Ceph-dashboard was grotendeels het werk van SUSE. SUSE verliet daarna het project volledig. In de laatste drie jaar is dezelfde map 57,5% IBM en 30,3% Red Hat, en het dashboard levert nog en krijgt nog functies.

Dat is upstream-first ontwikkelen dat precies het werk doet waar het voor is. Een leverancier stopte er veel in, de leverancier vertrok, en de gebruikers hielden de software. Had SUSE dat dashboard als een gesloten laag erbovenop gebouwd, zoals genoeg opslagleveranciers zouden doen, dan was het met de productlijn gestorven. Het ging in plaats daarvan upstream, dus het leefde.

Het volgende decennium wordt door meerdere bedrijven tegelijk gebouwd

Crimson is de herbouw vanaf de grond van de OSD — de daemon die je schijven bezit — op het Seastar-framework, gericht op het model van één thread per kern dat modern NVMe vraagt. Het is de grootste inzet op Ceph’s volgende tien jaar. Over het decennium:

En over de laatste drie jaar zijn Red Hat en IBM samen een minderheid met 45,4%, met QiAnXin op 28,4% en Intel op 13,4%.

Het belangrijkste dat er op dit moment in Ceph wordt gebouwd is echt een klus van meerdere bedrijven. Niet de routekaart van één leverancier met er wat bijdragers aan geschroefd — drie bedrijven die jarenlang zwaar ingenieurswerk doen aan hetzelfde subsysteem, in het openbaar.

QiAnXin verdient een aantekening, want het is geen naam die de meeste opslagmensen kennen. Het is een Chinees cyberbeveiligingsbedrijf, in 2014 opgericht als dochter van Qihoo 360 en rond 2016 afgesplitst; Qihoo 360 verkocht zijn resterende belang van 22,6% in april 2019 aan bedrijven verbonden aan China Electronics Corporation, en CEC had 38,3% bij de IPO-aanvraag in 2020. De bedrijfsgeschiedenis is leesbaar in het git-log: hun belangrijkste bijdrager, Xuehan Xu, heeft commits onder @360.cn in 2017 en 2018 en @qianxin.com vanaf 2021. Een beveiligingsbedrijf zonder opslagproduct te verkopen heeft 900 commits in Ceph’s toekomstige OSD gestopt. Dat is een open project dat werkt zoals op de doos staat.

Wie Ceph onderhoudt, en wie hen betaalt

Code schrijven is één ding; de sleutels hebben is een ander. Ceph houdt zijn bestuur in de repository, in doc/governance.rst, en het Ceph Steering Committee staat er met naam en e-mailadres. Daardoor is de vraag maintainer-naar-werkgever uit een primaire bron te beantwoorden in plaats van uit gokwerk.

Achtendertig zetels, herleid naar de werkgever in het door elk lid zelf opgegeven adres:

Red Hat en IBM hebben 25 van de 38 zetels — 65,8%. Tegen 67,0% van de commits van het decennium en 68,6% van die van de laatste drie jaar. Het bestuursorgaan spiegelt de code bijna exact, en dat is de gezonde richting: de mensen die het werk doen hebben het te zeggen, en niemand heeft dan ook een veto dat hij niet heeft verdiend.

Twee details zijn het uitlichten waard, en beide zeggen iets goeds.

XSKY en ZTE hebben nog steeds zetels. Geen van beide bedrijven heeft sinds 2020 een regel gecommit — de laatste commit van Haomai Wang is 2020-03-18, die van Xie Xingguo 2020-07-24, na 750 commits in het decennium. Ceph heeft ze er niet uitgezet. Een project dat jaren nadat hun werkgever is weggelopen een zetel warm houdt voor de mensen die grote delen van BlueStore en de OSD hebben gebouwd, behandelt bijdragers niet als wegwerpartikel.

Yehuda Sadeh zit in het comité met een adres op @ui.com. Hij schreef RADOS Gateway — de S3- en Swift-voordeur op RADOS, de Reliable Autonomic Distributed Object Store waar al het andere in Ceph op staat — te beginnen bij DreamHost in 2008, via Inktank, Red Hat en IBM: 972 commits in het decennium alleen en duizenden ervoor. Hij schreef in juli 2025 nog cephx-cryptocode. Toen deed hij in juni 2026 precies één commit, doc: governance/csc: update email address, waarmee hij zijn eigen regel naar Ubiquiti veranderde. Hij wisselde van werkgever en hield zijn zetel. Je staan reist hier met je mee, en dat is een van de betere dingen aan in de openheid werken.

De componentleiders

De componentleiders bezitten elk subsysteem van dag tot dag:

Tien genoemde leiders, negen bij Red Hat of IBM, en Seastore — de opslagbackend van Crimson — geleid vanuit Intel. Daarboven zit de Executive Council van drie personen, ingesteld toen Sage Weil vertrok: Dan van der Ster (Clyso), Neha Ojha (Red Hat), Patrick Donnelly (IBM). Clyso heeft een derde van het hoogste bestuursorgaan op 0,3% van de commits van het decennium — de raad is om oordeel en staan gebouwd, niet om aantallen.

De maintainers verhuisden, en de code bleef

Het sterkste argument dat Ceph een echte gemeenschappelijke voorziening is in plaats van het product van één bedrijf, is wat er gebeurt als zijn maintainers van baan wisselen. Elk van deze is via adressen in de repository na te trekken:

Elk drie werkgevers, in sommige gevallen vier, en het werk ging door bij elke overstap. Igor Fedotov heeft nu twee Ceph-strategieën van zijn werkgevers overleefd en onderhoudt nog steeds de motor die je bytes op de schijf zet. Het eerlijke antwoord op “wat als een leverancier vertrekt” is dus dit: de ingenieurs gaan door.

Wie Ceph echt draait

Bijdragen is maar de helft. Hier is wie hardop zegt dat hij Ceph draait, met de getallen die ze zelf hebben gepubliceerd.

CERN is een nadere blik waard, want het is het meest gedetailleerde publieke verslag dat iemand heeft gepubliceerd. Uit een presentatie van CERN IT in september 2024 door Enrico Bocchi:

EC 4+2 is erasure coding, vier datablokken op twee pariteitsblokken. HPC is high-performance computing, K8s is Kubernetes en OKD is de upstream-distributie ervan. De cijfers zijn ruwe capaciteit, voor de overhead van replicatie en coderen.

Negentien productieclusters, gedraaid op het uitgesproken beginsel “don’t put all your eggs in the same basket”, met vijf meer op weg naar een nieuw datacenter. De geschiedenis van de dienst is een stille reclame voor de software: 300 TB als proefopstelling in 2013, 3 PB in productie voor RBD in de december daarop, in 2016 van 3 PB naar 6 PB uitgebreid zonder uitval, S3 en CephFS in productie in 2018, in 2022 een heel CephFS-cluster fysiek verhuisd zonder uitval, kernel-RBD in productie in 2023.

Wat het bij CERN draagt is het sprekende deel: GitLab, OpenStack, OpenShift, Kubernetes, Harbor, Jenkins, Grafana, Kafka, OpenSearch, InfluxDB, HTCondor, Slurm, Jupyter, Spark, Zenodo, Indico, en de virtualisatie van NFS, AFS en CVMFS. Ceph is daar geen zijproefje. Het is de vloer waar de rest van het gebouw op staat.

En het cijfer voor de hele gemeenschap, uit de eigen aankondiging van de Squid-release door de Linux Foundation: 1 exabyte aan data over meer dan 3.000 Ceph-clusters.

Die exabyte is een vloer, geen totaal

Dit is het deel om bij stil te staan, want het verandert hoe je elk adoptiecijfer over Ceph leest.

De telemetrie van Ceph is opt-in. Je wordt alleen meegeteld als iemand ceph telemetry on --license sharing-1-0 draait. Iedereen die het nooit heeft gedraaid is onzichtbaar, en in de praktijk zijn dat de meesten, want het is niet de standaard en niets zeurt erover.

Voeg daar Proxmox aan toe. Proxmox VE levert Ceph als zijn hyperconvergente opslagoptie: drie nodes, een paar klikken in de web-UI, pveceph eronder, en je hebt een Ceph-cluster. Een zeer groot aantal mensen draait Ceph in productie zonder zich ooit als Ceph-gebruiker te beschouwen. Het zijn Proxmox-gebruikers. Ze zijn nooit op een mailinglijst gegaan, ze zullen nooit een aanbeveling schrijven, ze hebben telemetrie niet aangezet, en ze komen in geen van de tabellen hierboven voor.

Elk klein hostingbedrijf, elke beheerde-dienstverlener, elke universiteitsafdeling, elk homelab dat stilletjes in productie ging en elk kantoorcluster van drie nodes in die categorie is een echte Ceph-uitrol die geen enkel cijfer in dit bericht meetelt. Hetzelfde geldt voor iedereen die Ceph via Rook op Kubernetes krijgt, of binnen een leveranciersapparaat dat nooit zegt wat er onder de kap zit.

Dus 1 EB over 3.000 clusters is het getal van de clusters die hun hand hebben opgestoken. De echte geïnstalleerde basis is een flink stuk groter en niemand weet met hoeveel. Dat is een vreemde plek voor infrastructuursoftware — normaal weet de leverancier het, want je moest een licentie kopen — en het is een direct gevolg van dat het ding gratis is.

478 organisaties hebben code ingebracht

Het commit-log is tegelijk een lijst van wie Ceph op schaal draait, want een bedrijf dat patches instuurt is bijna altijd een bedrijf dat het ding draait. Over het decennium komen 478 verschillende organisatiedomeinen voor, 140 daarvan met vijf commits of meer.

De namen, gegroepeerd, alleen uit het git-log:

• Makers van chips, schijven en hardware: Intel, Samsung, Seagate, SanDisk, Western Digital, Quantum, Mellanox, Lenovo, Fujitsu, Hitachi, Nokia, Arm, Linaro, HiSilicon, Synology, 45Drives
• Clouds en hosters: DigitalOcean, OVH, IONOS, Akamai, Linode, Hetzner, Binero, City Network, iland, 11:11 Systems, Vexxhost, StackHPC, Canonical, Deutsche Telekom, China Telecom, China Unicom, China Mobile, Chunghwa Telecom
• Internet- en zakelijke gebruikers: Bloomberg, eBay, GoDaddy, Flipkart, Wikimedia, Naver, LINE, Kakao, SK Telecom, Alibaba, Tencent, Baidu, ByteDance, Kuaishou, UnionPay, SenseTime, Sangfor, Micro Focus, MITRE, Igalia, Walmart Labs
• Opslagleveranciers en integrators: SUSE, Mirantis, XSKY, EasyStack, Inspur, UMCloud, Kylin, UnitedStack, H3C, Xtao, Eisoo, Cloudin, Istuary, ProphetStor, SoftIron, Bigtera, Cloudbase Solutions, Digiware, Bisect, 42on, croit, Clyso, Proxmox, DreamHost
• Onderzoek en onderwijs: CERN, het Institute of Software van de Chinese Academy of Sciences (ISCAS), Pennsylvania State University, Boston University, de University of Michigan, Carnegie Mellon University, plus de Associate-leden van de Foundation — FAS Research Computing aan Harvard, het Greek Research and Technology Network (GRNET), Monash University, het South African Radio Astronomy Observatory (SARAO), de Science and Technology Facilities Council (STFC), SWITCH, SLAC aan Stanford, en het Center for Research in Open Source Software (CROSS) aan UC Santa Cruz

Niet al die zijn actueel, en dat is het punt van naar een decennium kijken. Het laat de volle spanwijdte zien van wie hard genoeg op deze software heeft geleund om patches terug te sturen, en hoe breed die spreiding is geweest.

De spelers die zeggen dat ze Ceph steunen, tegen wat ze leveren

Het lidmaatschap in lagen van de Foundation is waar bedrijven steun verklaren. De lagen volgen het ingenieurswerk niet, en de duidelijkste illustratie komt van de drie Diamond-leden die in de eigen aankondiging van de Ceph Squid-release door de Linux Foundation worden aangehaald.

De uitspraak van IBM wordt gedekt door de grootste ingenieursinzet in de geschiedenis van het project, en dan nog wat. Die van Bloomberg wordt gedekt door 220 commits, een zetel in het Steering Committee en een productieomgeving van 8 PB waar ze openlijk over praten — naar elke maat een serieuze bijdrage. 45Drives bouwt en verkoopt Ceph-hardwareapparaten en betaalt mee aan de gedeelde infrastructuur; dat is ook een echte bijdrage, en het is geen code.

Het volledige beeld over de lagen:

En in de andere richting — vier van de zeven grootste bijdragers zijn helemaal geen lid:

Ik lees dat niet als hypocrisie en ik zou willen dat niemand anders dat doet. Het geld van de Foundation betaalt het upstream-testlab, de continue integratie die elke pull request afgrendelt, Cephalocon en het gemeenschapspersoneel — dingen die Ceph niet zou kunnen missen, en dingen die een hardwareleverancier die Ceph-apparaten levert terecht financiert. Western Digital, DigitalOcean en OVHcloud verkopen allemaal producten die op Ceph leunen, en ze betalen in de gemeenschappelijke voorziening die het overeind houdt. Dat is een eerlijke ruil.

De praktische les is smal: lees de ledenpagina als een lijst van wie de gedeelde infrastructuur financiert, en het commit-log voor wie de code schrijft. Het zijn verschillende vragen met verschillende antwoorden, en beide antwoorden zijn nuttig.

De oprichters, acht jaar later

De Foundation ging op 12 november 2018 van start. De lijst staat twee keer vast — de aankondiging van de Linux Foundation en de persberichtversie — en ze komen exact overeen: dertien Premier-leden, tien General, acht Associate.

Tegen de ledenpagina van vandaag: vier van de dertien Premier-leden staan er nog onder hun eigen naam (Canonical, DigitalOcean, OVHcloud, Western Digital), vijf als je IBM als de zetel van Red Hat meerekent. Twee van de tien General-leden zijn over — croit en Intelligent Systems.

En alle acht Associate-leden staan er nog. Hun volledige namen, zoals de oprichtingsaankondiging ze geeft:

• Boston University Information Services and Technology
• CERN — de Europese Organisatie voor Kernonderzoek
• FAS Research Computing, Harvard University
• The Greek Research and Technology Network (GRNET)
• Monash University, Melbourne
• The South African Radio Astronomy Observatory (SARAO)
• The Science and Technology Facilities Council (STFC) bij UK Research and Innovation (UKRI)
• The Center for Research in Open Source Software (CROSS) aan de University of California, Santa Cruz — waar Ceph in de eerste plaats is geschreven, als het promotiewerk van Sage Weil met Scott Brandt, Ethan Miller, Darrell Long en Carlos Maltzahn; het oorspronkelijke artikel uit 2006 staat nog op ceph.io

Acht uit acht, over acht jaar.

De betalende leden wisselden. De universiteiten en onderzoekslaboratoria, die gratis toetreden, hebben het acht jaar volgehouden zonder dat er één is vertrokken. Dat zijn de mensen die Ceph op schaal draaien voor de wetenschap, en niet één is weggelopen.

De Quincy-documentatie draagt nog de ledenlijst zoals die rond 2022 stond, en dat geeft het halve punt: twaalf van de vierentwintig commerciële leden in die momentopname zijn sindsdien weg, precies de helft. Het tempo van Ceph over die periode veranderde niet.

Over croit, aangezien het mijn werkgever is en een van de overlevers. croit GmbH trad op dag één toe als oprichtend General-lid en is acht jaar later nog steeds lid — een langere reeks dan Intel, SUSE, ZTE, Arm of Samsung haalden. Het is ook 0,3% van de commits van het decennium. Blijven hangen is niet hetzelfde als bouwen, en ik ga lange adem niet als bijdrage verkleden voor het bedrijf dat mij betaalt.

De handleiding is één persoon, en de Foundation betaalt hem

Rij 7 van de decenniumtabel is “Ceph Foundation”, 691 commits. Dat is vrijwel één man.

Zac Dover heeft 1.060 commits over het decennium, bijna volledig documentatie. Over de laatste drie jaar is hij 28,4% van alles in doc/ — de grootste enkele bijdrager, vóór zowel Red Hat als IBM. Zijn adresgeschiedenis loopt @gmail.com, dan @clyso.com, dan @proton.me, in Ceph’s eigen vastlegging gekoppeld aan de Ceph Foundation.

doc/ is de ene map waar de grootste enkele bijdrager noch Red Hat noch IBM is, en dat zie je. De Ceph-handleiding is beter dan de meeste infrastructuursoftware van deze omvang voor elkaar krijgt. Een technisch schrijver betalen die aan geen leverancier verantwoording schuldig is, is het slimste dat de Foundation met het geld doet.

Individuen kunnen nog steeds het verschil maken

De grootste individuen van het decennium, gegroepeerd op auteursnaam:

Eenentwintig mensen schreven de helft van de commits van het decennium; eenennegentig schreven 80%. Dat is normaal voor een grote C++-codebase, en het is ook waarom individuen hier zo zwaar wegen.

Het duidelijkste bewijs dat de deur open staat: de vijfde plaats over de laatste drie jaar is één ingenieur bij IONOS. Max Kellermann heeft sinds 2024 498 commits — meer dan Intel, Proxmox, Bloomberg, croit of Clyso als bedrijf haalden — over src/mds, src/common, src/mon, src/tools, src/librbd, src/mgr en src/rgw. Hij is 19,3% van al het CephFS-metadatawerk in dat venster, tweede alleen na Red Hat.

Niemand heeft hem aangesteld. Hij kwam opdagen en begon dingen te repareren, en drie jaar later is hij een van de drukste bijdragers aan een project dat door een Fortune 50-bedrijf wordt gedraaid. Je kunt nog steeds Ceph binnenlopen en meetellen.

Proxmox is de andere kant van dezelfde munt: 249 commits over de laatste drie jaar, waarvan 241 van Kefu Chai sinds 30 september 2025. Proxmox ging in elf maanden van niets naar een Ceph-bijdrager in de top tien door één goede ingenieur aan te nemen.

RGW: waar het werk echt zit

Wil je weten waar het ingenieurswerk van Ceph naartoe gaat, dan is het antwoord objectopslag, en de reden is eenvoudig: RGW heeft de langste weg te gaan voordat het gelijk is aan het ding waarmee het concurreert.

src/rgw is over het decennium het grootste functionele subsysteem in Ceph — 6.958 commits, vóór de 5.827 van Crimson, de 4.499 van de OSD, de 3.848 van het dashboard, de 2.560 van BlueStore en de 2.546 van CephFS. Het is vier keer de omvang van de inzet op de bloklaag. In de laatste drie jaar nam het 1.705 commits, tweede alleen na Crimson, en Crimson is een herbouw op een lege akker. Op code die al levert is RGW het grootste doorlopende functieprogramma in het project.

De S3 van Amazon is een bewegend doel met een enorm API-oppervlak, en elk jaar groeien er functies bij die klanten daarna verwachten van alles dat zich S3-compatibel noemt. Dus jaagt RGW erop. Tel de laatste drie jaar aan RGW-commit-onderwerpen per functiegebied en de vorm van die jacht is duidelijk:

(Trefwoordtellingen over 1.705 commit-onderwerpen, dus een commit kan in meer dan één rij voorkomen — het punt is de verdeling, niet een precies totaal.)

Dat is geen onderhoud. Dat zijn identiteitsaccounts, rollen en policies, sessietokens, bucketmeldingen en topics, SSE-KMS, object lock, lifecycle-regels, S3 Select, checksums, cloudlagen en multisite-replicatie — de functielijst van AWS, die wordt uitgebouwd. Lees de recente onderwerpen en je vindt werk aan het verifiëren van SigV4-signaturen, het verwerken van x-amz-content-sha256, presigned URL’s. Priegelig compatibiliteitsdetail, het soort dat alleen uitmaakt omdat iemands clientbibliotheek precies het gedrag van Amazon verwacht en er zonder omvalt.

Het is ook waarom RGW de meest gemengde bijdragerslijst van de grote subsystemen heeft. Over het decennium is Red Hat er 64,3% van, maar Bloomberg (8,6% in het recente venster) en Cafe Bazaar (6,2%) zitten er ook in — bedrijven die grote objectopslag in productie draaien en de dingen repareren die hen bijten.

Weeg je Ceph af voor S3-werk, dan is dit het getal dat je zou moeten overtuigen. Het gat naar Amazon is waarom RGW meer aandacht krijgt dan iets anders in de boom, en de grootste enkele ingenieursinzet in het project is erop gericht dat te dichten.

RBD: stabiele code, geen achteruitgang

src/librbd is het blokapparaat van Ceph — wat Proxmox gebruikt, wat OpenStack Cinder gebruikt, wat de meeste Container Storage Interface-drivers voor Kubernetes gebruiken. Draai je Ceph, dan draai je vermoedelijk RBD. De commitgrafiek ziet er zo uit:

159 commits over de laatste drie jaar, ongeveer één per week, tegen 1.705 voor RGW en 1.944 voor Crimson.

Dat is hoe stabiele code eruitziet, en het is een goede eigenschap. Blokopslag over RADOS is een opgelost probleem. RBD heeft al jaren snapshots, clones, layering, mirroring, versleuteling, live migratie en een blijvende cache, en er is niets zoals de S3-API dat er vooruit op raast, want wat een hypervisor van een blokapparaat wil is in een decennium nauwelijks veranderd. Het functiewerk is klaar. Wat over is, is onderhoud: bugfixes, gelijk blijven lopen met de kernel, af en toe een prestatiewinst.

Zet het bewust tegenover RGW. RGW neemt tien keer de commits omdat het tien keer zo ver te gaan heeft. RBD niet, dus het doet het niet. Een onderdeel dat is opgehouden van vorm te veranderen is geen onderdeel dat verwildert — en zou librbd plotseling 400 commits per jaar nemen, dan zou ik willen weten wat er mis was gegaan, want dat zijn mijn schijven van virtuele machines die het vasthoudt.

Het ene ding dat je moet weten is dat het de kennis in heel weinig hoofden stopt. RBD is min of meer Ilya Dryomov, die op beide kanten let — upstream Ceph en de rbd-driver in de Linux-kernel. Dat is ongeveer de beste opstelling die er is, en het is nog steeds één persoon diep. Wat je vertelt wie je moet vragen, niet of je moet uitrollen.

Waar het werk zit

Dezelfde koppeling over de boom, decennium en recent venster naast elkaar:

Twee dingen zijn hiervan af te lezen. Eigendom: hoe dichter bij de onderdelen die een leverancier verkoopt — uitrolgereedschap, de GUI — hoe meer het één bedrijf is; hoe verder ervandaan — de OSD van de volgende generatie, de opslagmotor, de handleiding — hoe voller, en daar zit de ruimte als je wilt bijdragen op een plek die nog niet in bezit is.

Volume: op totale commits over het decennium is de rangorde RGW 6.958, Crimson 5.827, de OSD 4.499, het dashboard 3.848, de monitors 2.896, BlueStore 2.560, CephFS 2.546, RBD 1.750, cephadm 1.685. De inzet volgt de afstand-tot-klaar, niet het aandeel in uitrollen. RGW is eerste omdat gelijkheid met S3 nog een lange weg is; RBD zit bijna onderaan omdat blokopslag klaar is.

BlueStore verdient een eigen regel. Het is de motor die je bytes naar de schijf schrijft, en over de laatste drie jaar is de tweede grootste bijdrager na IBM croit met 18,1% — Igor Fedotov, de hoofdmaintainer ervan, bij een bedrijf van een paar dozijn mensen. Mijn werkgever, dus weeg mij daarnaar. Het punt staat wie zijn cheque ook ondertekent: een klein bedrijf kan de maintainer van een van de meest veiligheidskritische onderdelen in de stack in dienst hebben, en het project is er beter van.

Wie de merge-knop heeft

Ik heb ook de merges geteld — 7.893 in de laatste drie jaar, toegeschreven aan wie de knop indrukte:

69,5% van de merges tegen 68,6% van de commits. De poort en het werk hebben dezelfde vorm. Dit is niet één bedrijf dat de code schrijft en een ander dat bepaalt wat erin landt, en dat is de faalvorm die in bedrijfsmatige open source echt de zorg waard is. Ceph heeft die niet.

Waar de getallen vandaan komen

Alles is reproduceerbaar. Ceph houdt zijn eigen koppeling van bijdrager naar organisatie in de repository — .organizationmap, naast .mailmap, .peoplemap en .githubmap — en documenteert het commando om die te gebruiken.

git clone --filter=blob:none --no-checkout https://github.com/ceph/ceph.git
cd ceph
git show HEAD:.organizationmap > /tmp/orgmap

# Ceph's own documented method, over the last ten years
git log --no-merges --since=2016-08-27 --until=2026-08-27 --pretty='%aN <%aE>' \
  | git -c mailmap.file=/tmp/orgmap check-mailmap --stdin \
  | sort | uniq -c | sort -rn | head -30

# the maintainer-to-employer mapping, straight from the repo
git show HEAD:doc/governance.rst | sed -n '/^.. _csc:/,/^\.\. _ctl:/p' \
  | grep -oE '\* [^<]+<[^>]+>'

Draai de eerste en je krijgt een kleinere IBM dan de mijne, want de officiële koppeling is verouderd. Hij kent aainscow@uk.ibm.com, bill_scales@uk.ibm.com, ylifshit@ibm.com, rkachach@ibm.com, leonid.usov@ibm.com en de machinaal gegenereerde hostnamen li-*.ibm.com niet. Het eigen gereedschap van het project onderschat de concentratie.

Mijn correcties boven op de koppeling:

• Elk adres dat op ibm.com eindigt — inclusief uk.ibm.com, il.ibm.com, in.ibm.com, de.ibm.com en de vormen li-*.ibm.com — is IBM.
• redhat.com en inktank.com zijn Red Hat, apart weergegeven van IBM maar hetzelfde team sinds oktober 2022.
• Zeven persoonlijke adressen zijn aan werkgevers toegeschreven waar de repository het zelf bewijst: sage@newdream.net (Red Hat), idryomov@gmail.com (vermeld als idryomov@redhat.com in Ceph’s eigen doc/governance.rst), max.kellermann@gmail.com (IONOS), xxhdx1985126@gmail.com (QiAnXin), yuvalif@yahoo.com (IBM), yingxincheng@gmail.com (Intel), shraddha.agrawal000@gmail.com (IBM).
• Al het andere houdt zijn domein. Persoonlijke adressen blijven “geen werkgever te zien” in plaats van dat er naar wordt gegokt.

Kanttekeningen die ik niet kan oplossen. Commits zijn een grove eenheid — een zorgvuldige refactor van 900 regels telt één keer, veertig typefoutcorrecties tellen veertig keer, en niets hier is gewogen. E-maildomeinen zijn onvolmaakt: 9,0% van het decennium laat geen werkgever zien, en sommige van die mensen worden zeker betaald om Ceph te schrijven. Review is onzichtbaar in git — Ceph reviewt in pull requests op GitHub, niet in Reviewed-by:-regels, waarvan ik er twaalf in drie jaar vond; de belangrijkste poort in het project laat geen spoor achter in een kloon. De cijfers zijn alleen main, dus backports naar stabiele branches zijn niet meegeteld, wat het onderhoudswerk onderschat. En elk adoptiecijfer hier is een vloer, om de telemetriereden die hierboven staat.

Waar een bewering op een datum rust, heb ik de auteursdatum gebruikt; waar hij op iemands werkgever rust, een adres dat ze zelf hebben gepubliceerd.

Wat ik hieruit meeneem

Ceph is een door bedrijven gefinancierd project met een echte gemeenschap eromheen, en dat is het zijn hele commerciële leven geweest. Dat is geen sneer. Iemand moet ingenieurs betalen om gedistribueerde opslag op deze schaal te onderhouden, en tien jaar lang heeft iemand dat gedaan.

Ik ga niet doen alsof Ceph typisch is, want ik heb het nagekeken. De statistieken van LWN voor Linux 6.15 noteren 2.068 ontwikkelaars van ten minste 195 werkgevers, met het grootste enkele bedrijf, Intel, op 12,0% van de changesets. Ceph is 1.718 mensen over een decennium met één bedrijf op 67,0%. De kernel spreidt zijn bedrijfsafhankelijkheid over tientallen firma’s. Ceph propt die in één. Dat is een echt verschil, en “iedereen doet dit” zou een luie manier zijn om het weg te wuiven.

Maar hier is wat tien jaar data zegt over of dat uitmaakt, en het is een beter antwoord dan waar ik naar op zoek was:

Ceph is stevig op de manier die telt. Het verloor de man die het schreef, die een vijfde van het werk deed. Het verloor SUSE, zijn tweede grootste bijdrager en de auteur van het dashboard. Het verloor ZTE, Mirantis, XSKY, EasyStack, Inspur en de helft van de oprichtende leden van de Foundation. Het commit-tempo van vandaag zit binnen twee procent van dat van vorig jaar. Twintig jaar opslagtechniek zit in die boom onder LGPL-2.1 of LGPL-3, en niemand kan het sluiten, opnieuw licentiëren of terugnemen.

De maintainers zijn overdraagbaar. Fedotov heeft BlueStore door drie werkgevers overeind gehouden. Kefu Chai ging van Red Hat naar Proxmox en ging door. Sadeh schreef RGW bij DreamHost en veranderde zijn comitéadres deze juni naar Ubiquiti. Loopt een bedrijf weg, dan blijven zijn mensen vaak.

De deur staat echt open. Eén ingenieur bij IONOS werd in drie jaar de vijfde grootste bijdrager. Proxmox kwam met één aanname in de top tien. Een beveiligingsbedrijf zonder opslagproduct bouwt een vijfde van de OSD van de volgende generatie. 478 organisaties hebben patches gestuurd. Wil je erin, dan houdt niets je tegen behalve het werk.

De gebruikersbasis is veel groter dan iemand kan meten. Een exabyte over 3.000 clusters is wat zijn hand opstak via opt-in-telemetrie, en CERN alleen staat voor negentien productieclusters. Elk hyperconvergent Proxmox-cluster, elke Rook-uitrol, elk leveranciersapparaat met Ceph onder de kap is echt productiegebruik dat geen gepubliceerd cijfer meetelt. Software die zo breed en zo stil is uitgerold verdwijnt niet zomaar.

De inzet gaat waar het gat zit, niet waar de gebruikers zitten. RGW is het grootste programma in het project — 6.958 commits over het decennium — omdat Amazon inhalen op S3 een lange jacht op een bewegend doel is. RBD zit bijna onderaan omdat blokopslag klaar is. Een laag commit-aantal op een volwassen onderdeel is een afgemaakte klus en geen waarschuwing, en die twee getallen verkeerd om lezen is de makkelijkste fout die er is met data als deze. Ik maakte hem zelf bij de eerste doorgang.

Beoordeel leveranciers op commits, niet op lagen. De geschiedenis is publiek en vier regels shell laten je zien wie er echt op het ding let waarvan je afhankelijk gaat worden. Gesloten opslag biedt je dat voor geen prijs.

Dus weeg je Ceph af: de concentratie is het waard te weten als je vijf jaar vooruit plant, en het is geen reden je in te houden. Een volwassen bloklaag. De grootste ingenieursinzet van het project recht op gelijkheid met S3 gericht. Een toekomstige OSD die door drie bedrijven tegelijk wordt gebouwd. Een handleiding die beter is dan de meeste. Bestuur dat het verlies van zijn oprichter heeft doorstaan. Een decennium review in de openheid gedaan, het werk van 478 organisaties in de boom, en een licentie waarvan het slechtste geval een fork is en niet een doodlopende weg. Op het bewijs van 69.613 commits is dit project in goede gezondheid.

En tel het zelf na als je me niet gelooft. De commando’s staan er, de data is publiek, en niets in dit bericht hoef je op vertrouwen aan te nemen — het mijne of dat van wie ook.

Bronnen

Bronnen van het Ceph-project

• “Ceph: A Scalable, High-Performance Distributed File System” — Weil, Brandt, Miller, Long en Maltzahn, OSDI ‘06, november 2006. Het artikel waarmee Ceph begon
• ceph/ceph op GitHub — de repository waar elk commitcijfer uit komt; .organizationmap, .mailmap, .peoplemap, .githubmap, doc/governance.rst en COPYING staan er allemaal in
• Ceph governance — lidmaatschap van de Executive Council en het Ceph Steering Committee, met adressen
• Ceph component team — de componentleiders
• Ceph Foundation members — huidig lidmaatschap per laag
• Ceph Foundation documentation — de laagstructuur en het gratis Associate-lidmaatschap
• Ceph Foundation members, Quincy-documentatie — lidmaatschap zoals het rond 2022 stond
• Ceph telemetry module — bevestigt dat telemetrie opt-in is
• “Red Hat’s Ceph team is moving to IBM”, 4 oktober 2022
• Ceph Community Newsletter, november 2021 — Sage Weil treedt terug

Ceph Foundation en de Linux Foundation

• Introducing Ceph Squid — de hierboven aangehaalde uitspraken van de Diamond-leden, en de cijfers van 1 exabyte / 3.000+ clusters
• The Linux Foundation Launches Ceph Foundation, 12 november 2018 — de lijst met oprichtende leden
• Hetzelfde bericht via PRNewswire — gebruikt om de lijst onafhankelijk te bevestigen

Uitrollen

• “Ceph: Infrastructure Storage at CERN” — Enrico Bocchi, CERN IT Storage, 27 september 2024. Elk CERN-cijfer hierboven komt uit deze presentatie
• Why We Chose Ceph to Build Block Storage — DigitalOcean
• “We Added 6 Petabytes Of Ceph Storage and No Clients Noticed” — Matthew Leonard en Joseph Mundackal, Bloomberg, Cephalocon 2020
• Ceph op Wikitech — de vijf productieclusters van de Wikimedia Foundation
• Ceph RBD block storage — de eigen documentatie van OVHcloud
• Deploy Hyper-Converged Ceph Cluster — Proxmox VE dat Ceph als hyperconvergente opslag levert

Bedrijven

• “SUSE says tschüss to Ceph-based enterprise storage product”, The Register, 25 maart 2021 — SUSE Enterprise Storage geschrapt voor Longhorn
• Qi An Xin files for $634m IPO, Global Venturing, 13 mei 2020 — de oorsprong van QiAnXin bij Qihoo 360, het CEC-belang en de aandeelhouders

Vergelijking

• Development statistics for the 6.15 kernel, LWN.net — de tellingen van kernelontwikkelaars en werkgevers die voor de concentratievergelijking zijn gebruikt