Jestem Damien Dye.

Presales Engineer na Europę i region Azji i Pacyfiku w croit GmbH, firmie, która jest członkiem założycielem Ceph Foundation i oficjalnym Proxmox Gold Partnerem.

Ponad dwadzieścia lat tego było częścią płatną: platformy Microsoftu, Linux, aplikacje korporacyjne, wirtualizacja, sieci, pamięć masowa i bezpieczeństwo. Część płatna to nie wszystko. Buduję rzeczy i je psuję od połowy lat dziewięćdziesiątych, a Linuksa używam na poważnie od 1999 roku, wiele lat zanim ktokolwiek uznał, że warto mi za to płacić, i te lata też liczę, bo ze sprzętu, który jest twój, uczysz się tyle samo, co ze sprzętu, który ubezpieczył ktoś inny.

Jestem z South Yorkshire, więc powiem ci prosto z mostu. Jeśli coś działa, powiem ci dlaczego. Jeśli nie działa, też ci to powiem, i wolę to zrobić, zanim wydasz pieniądze, a nie po.

Początki

Rozbieram komputery, odkąd skończyłem osiem lat. Moją pierwszą maszyną było Atari STfm z 512K RAM.

Pierwszego peceta dostałem w wieku dwunastu lat, z Windows 3.11, a potem przeszedłem przez wszystkie po kolei: 95, 95b, 95c, 98, 98SE, a potem Windows 2000.

To nie było zwykłe używanie oprogramowania. To było rozpracowywanie, co się zmieniło między jedną wersją a następną, co się po drodze zepsuło i jak uruchomić coś, co postanowiło, że wolałoby nie działać.

MOJA DROGA PRZEZ WINDOWS NA DESKTOPIE: 3.11 → 103.1195982000XPXP64-bitVista64-bit764-bit8.110

Moim pierwszym połączeniem z internetem był modem dial-up 56k na Freeserve, jednym z pierwszych darmowych dostawców internetu w Wielkiej Brytanii. Na ADSL przeszedłem, gdy tylko stał się dostępny w 2001 roku, przez Demon Internet. Potem na VDSL w 2008 roku, a w końcu na FTTP w Zen Internet w 2017 roku, i tam pojawiło się natywne IPv6. Od tego wszystko się zaczęło, jeśli chodzi o sieci, i to daleka droga od sieci szkieletowych 100GbE, które projektuję teraz. Ale ciekawość była ta sama.

Sieć lokalna zaczęła się jeszcze wcześniej i była jeszcze bardziej surowa. Moim pierwszym LAN-em był 10BASE2: cienki kabel koncentryczny, złącza BNC i terminator 50 omów na każdym końcu, a wszystkie maszyny dzieliły jedną magistralę 10 Mbit. Dogadałem przez nią dwa pecety, a potem dołożyłem 5-portowy hub, gdy przybywało maszyn. Ten hub później zamienił się w switch, prawdziwy krok naprzód, bo każdy port dostawał własną domenę kolizyjną, zamiast żeby wszystko biło się o wspólny koncentryk. Potem przyszło bezprzewodowe, gdy tylko stało się przystępne cenowo: 802.11b przy 11 Mbit, na kartach PCMCIA Orinoco Gold w laptopach. Magistrala koncentryczna, potem wspólny hub, potem przełączany Ethernet, potem Wi-Fi: każdy z tych kroków przerobiłem własnymi rękami.

Budowałem też w pełni nienadzorowane instalacje Windows XP. Używały starych DriverPacks do wstrzykiwania sterowników i własnych skryptów do automatycznej instalacji aplikacji. Można było przejść od gołego sprzętu do w pełni skonfigurowanego systemu bez dotykania klawiatury. To było myślenie o automatyzacji wiele lat przed tym, zanim w ogóle usłyszałem o Ansible, i to na Windows, nie na Linuksie.

Odkrywanie Linuksa

Z Linuksem zacząłem w wieku piętnastu lat, na SuSE 6. Od razu sięgnąłem po dystrybucje, które zmuszały do zrozumienia, co dzieje się pod spodem.

W czasie świąt Bożego Narodzenia w 2001 roku zbudowałem cały system według książki Linux From Scratch. Każdy pakiet skompilowany ręcznie. Każda zależność zrozumiana. Każda decyzja konfiguracyjna podjęta świadomie.

W 2002 roku przeszedłem na Gentoo. Gentoo działa na tej samej zasadzie: budujesz cały system ze źródeł, rozumiesz, co robi każda flaga USE, a gdy coś się psuje, wiesz dokładnie, gdzie szukać.

LINUX: MOJA DROGA PRZEZ DYSTRYBUCJESuSE6–7.2MandrakeGentooUbuntuRHELFedora

Poznawanie innych platform

Nigdy nie trzymałem się jednej architektury.

Od 2001 do 2007 roku miałem system DEC Alpha. Alpha był 64-bitowym procesorem RISC firmy Digital Equipment Corporation, wprowadzonym w 1992 roku: prawdziwa maszyna 64-bitowa ponad dekadę przed tym, zanim x86 nadrobił zaległości z AMD64 w 2003 roku. Działały na nim Tru64 UNIX, OpenVMS, Windows NT i Linux, i przez pewien czas była to mniej więcej najszybsza rzecz, jaką można było postawić na biurku. Dzięki dyskusjom w społeczności uruchomiłem na nim USB i FireWire. Wstawiłem nawet z tyłu adapter PCMCIA na ISA, żeby te same karty PC Card, których używałem w laptopach, w tym bezprzewodowa Orinoco Gold, działały w stacjonarnej Alphie. Nie mała rzecz na platformie, na której nic nie miało gwarancji, że zadziała.

Spróbowałem BeOS. Podchodził do wielowątkowości i multimediów zupełnie inaczej niż cokolwiek innego w tamtych czasach.

Na studiach razem z kumplem uratowaliśmy stacje robocze Sun SPARC, które miały iść na śmietnik, i postawiliśmy na nich Gentoo. SPARC był architekturą RISC firmy Sun Microsystems, wprowadzoną w 1987 roku: silnikiem stacji roboczych i serwerów Sun, na których przez całe lata dziewięćdziesiąte działała spora część świata Uniksa, zwykle pod Solarisem. Uruchomienie Linuksa budowanego ze źródeł na tym sprzęcie było całym sensem tego przedsięwzięcia. Bo czemu nie, skoro sprzęt jest pod ręką, a ty chcesz zobaczyć, czy zadziała.

Budowałem też i pracowałem z Linuksem na ARM i ARM64, na Raspberry Pi i Odroidach. Uruchamiałem też Windows na ARM64.

Uruchom ten sam system operacyjny na x86, Alphie, SPARC, ARM i ARM64, a założenia, które przyjąłeś na jednej, nie przejdą z tobą na następną: kolejność bajtów, wyrównanie, rozmiary stron, obsługa sterowników i dziwactwa narzędzi kompilacji, wszystko to przesuwa się pod tobą. Ma to dziś większe znaczenie niż kiedykolwiek, skoro ARM64 stoi w centrum danych obok x86, i właśnie takie myślenie trzyma w ryzach mieszane pod względem architektur środowisko Ceph albo Proxmox.

Wcześnie eksperymentowałem też z IPv6. Miałem dostęp do 6bone, eksperymentalnej sieci testowej IPv6. 6bone była światowym poligonem testowym, działającym od 1996 roku, który miał pomóc rozwinąć i wdrożyć IPv6, zanim produkcyjny internet był na nie gotowy. Przenosiła IPv6 głównie przez tunele IPv4, używała własnej puli adresów 3ffe::/16 i została celowo wyłączona 6 czerwca 2006 roku, gdy natywne IPv6 dojrzało na tyle, żeby stać na własnych nogach. Uruchamiałem zarówno stos IPv6 Linuksa, jak i stos IPv6 Microsoft Research dla Windows XP. Przeszedłem przez wszystko. Zacząłem od tuneli IPv6 w IPv4. Przeszedłem na 6to4 (RFC 3056) do automatycznego tunelowania. Potem na pełne natywne IPv6, gdy przeniosłem się do porządnego dostawcy: Zen Internet. Większość ludzi nie dotknęła IPv6, dopóki pracodawca ich do tego nie zmusił. Ja do tego czasu przeszedłem już przez każdy mechanizm przejściowy, zarówno na Linuksie, jak i na Windows, bo chciałem zrozumieć, dokąd zmierzają sieci. Dlatego IPv6 wydaje mi się teraz naturalne, a nie czymś przykręconym na siłę po fakcie. Dziś dziewięćdziesiąt procent mojego ruchu idzie po natywnym IPv6. Używam rozszerzenia przeglądarki o nazwie IPvFoo, które pokazuje mi, czego używa każde połączenie i czy strony serwują mieszane protokoły, czy tylko IPv4. Stare nawyki: lubię widzieć, co się naprawdę dzieje, a nie tylko zakładać.

IPv6: DWIE DEKADY, OD EKSPERYMENTU DO INFRASTRUKTURY KRYTYCZNEJOd testowego stosu w domu do produkcyjnej infrastruktury w skali kraju6bone: eksperymentalna sieć testowa IPv6Stosy IPv6 Linuksa i Microsoft Research uruchomione obok siebieTunele IPv6 w IPv4IPv6 przenoszone przez internet IPv4, konfigurowane ręcznie6to4 (RFC 3056)Automatyczne tunelowanie: żadnego ręcznego brokera do utrzymaniaNatywne IPv6Od końca do końca w domu po FTTP · Zen Internet · 2017Nominet: krytyczna infrastruktura krajowaIPv6 w produkcji dla rejestru .uk · load balancery F5 na IPv4 i IPv6Dziś około 90% mojego ruchu idzie po natywnym IPv6.

Nauka przez działanie

Wszystkiego, co wiem technicznie, nauczyłem się, próbując. Budowałem rzeczy, psułem je, dochodziłem, dlaczego się zepsuły, i budowałem je od nowa.

Studia to było Business Studies and Computer Network Engineering na Sheffield Hallam i dały mi jedyną rzecz, której nie daje samodzielna nauka: jak naprawdę działa firma, jak decyzja techniczna zamienia się w wynik handlowy i jak myśleć o systemie w kategoriach problemu, który rozwiązuje dla tego, kto za niego płaci. To ukształtowało każdą rolę od tamtej pory.

Umiejętności techniczne wzięły się jednak z działania, nie ze studiowania. Problemy produkcyjne nie przychodzą z listą lektur. Umiejętność rozpracowania czegoś od podstaw jest warta więcej niż certyfikat na ścianie i nie traci ważności.

Skąd się bierze open source

Gdy kierownictwo Microsoftu nazwało na początku lat dwutysięcznych open source „rakiem”, ja już siedziałem głęboko w Linuksie. Budowałem systemy od zera. Używałem Gentoo. Udzielałem się w społecznościach.

Taka wrogość wobec ludzi, którzy dzielą się wiedzą i budują coś razem, mnie nie zniechęciła. Wciągnęła mnie jeszcze głębiej. Jeśli firma odpowiada na wspólne tworzenie oprogramowania, nazywając je chorobą, mówi ci to więcej o firmie niż o oprogramowaniu. Wgryzłem się głębiej w open source i zrobiłem z niego swój pierwszy wybór, zamiast popierać takie myślenie.

Z biegiem lat argument praktyczny dogonił ten zasadniczy. Platformy własnościowe działają wystarczająco dobrze, dopóki producent nie zmieni licencji, nie zostanie kupiony albo nie uzna, że twój przypadek użycia nie jest wart utrzymywania. Wtedy utknąłeś. Twoje dane, twoje procesy i wiedza twojego zespołu są przywiązane do platformy, której już nie kontrolujesz. Przejęcie VMware przez Broadcom to najnowszy i najbardziej widoczny przykład, ale daleko mu do jedynego.

To samo myślenie dotyczy chmury. Zapytaj, co tak naprawdę wynajmujesz, a odpowiedź brzmi: moc, którą mogłeś mieć na własność, na liczniku, który nigdy nie staje. Obiecane korzyści, czyli zwinność, elastyczność i mniej do zarządzania, rzadko lądują w takim kształcie, jaki opisywała prezentacja, a koszt rośnie rok po roku tak, jak sprzęt na własność nie rośnie. Dlatego byłem w stanie pokazać, za każdym razem, gdy ktoś mnie o to poprosił, że open source na dobrze zaprojektowanym sprzęcie daje lepszą wartość, więcej kontroli i mniej niespodzianek. To nie jest modne stanowisko. To stanowisko, pod którym mogę podpisać liczby.

Budowanie kariery

Moja kariera zaczęła się w 2005 roku w zakładzie odlewnictwa precyzyjnego w Worksop. Inżynier IT, część małego zespołu, obsługa około pięćdziesięciu użytkowników.

Ta pierwsza rola obejmowała porządny przekrój. Utrzymanie systemu ERP Manusoft i archiwizacji dokumentów. Administracja serwerami Linux i Windows 2003. Tworzenie raportów w Crystal Reports do podejmowania decyzji produkcyjnych i utrzymaniowych. Administracja centralą PBX. Integracja systemów CAD/CAM i zarządzanie wspomaganą komputerowo produkcją zrobotyzowaną. Zakupy sprzętu i oprogramowania. Szkolenie użytkowników końcowych i wsparcie przy ich stanowiskach.

Od pierwszego dnia pisałem też automatyzację. Zaktualizowałem firmowe Active Directory i napisałem skrypty VB, które automatycznie mapowały dyski, przypisywały drukarki i wdrażały oprogramowanie na podstawie członkostwa w grupach. To był rok 2006: porządna automatyzacja infrastruktury w mojej pierwszej zawodowej roli.

Takie jest IT w produkcji. Gdy linia staje przez coś, czym się opiekujesz, szybko się przekonujesz, że niezawodność to nie kwestia gustu, a ludzie stojący przy maszynie sami ci to powiedzą. To był też pierwszy raz, gdy zawodowo prowadziłem Linuksa i Windows w tym samym budynku, i tak już zostało.

Stamtąd przeszedłem do wsparcia technicznego pierwszej linii. Pierwsza i druga linia, na dedykowanym stanowisku dla dużego międzynarodowego klienta. Desktopy Windows, Active Directory, Exchange 2007, Cisco VPN, Cisco Call Manager, obsługa zgłoszeń według ITIL w Remedy. Ta dyscyplina ITIL, czyli zarządzanie zmianą, zarządzanie problemami, uporządkowane procesy, szła za mną do każdej kolejnej roli. Wcześnie łączyłem też światy Linuksa i Windows: konfigurowałem Services for Unix i rozwiązywałem problemy z dostępem z Citriksa do uniksowych udziałów NFS.

Nawet na tym stanowisku budowałem więcej, niż było w opisie stanowiska. Napisałem interfejs, który zakładał i wyłączał konta użytkowników prosto z danych kadrowych w Agresso, obsługując konto w Active Directory, członkostwo w grupach, konfigurację Office Communicator, skrzynkę Exchange i aliasy. To integracja systemów z fotela pierwszej linii, czego nazwa stanowiska wcale nie mówiła.

Jeden z klientów, których obsługiwałem na tym stanowisku, zatrudnił mnie później w następnej firmie.

Następna była globalna firma telekomunikacyjna, ICT i bezpieczeństwo. Tam na dobre zaczęło się tworzenie aplikacji. W ciągu dwóch i pół roku zbudowałem albo współtworzyłem sześć odrębnych systemów wewnętrznych. Własne webowe narzędzie do wycen. Interfejsy przetwarzania zamówień między Salesforce a Agresso. Katalog danych podstawowych w SharePoint zasilany z Salesforce i Agresso. Własny webowy system zarządzania projektami z interfejsami do MSPE i Agresso do obsługi finansowej. I migrację z dostosowanej aplikacji Salesforce Service Cloud do ServiceNow z pełnym wdrożeniem procesów ITIL. Pisałem też architekturę interfejsów SQL dla korporacyjnych aplikacji biznesowych i stroiłem wydajność MS SQL. Administrowałem IIS i Windows Server 2008 Terminal Services i odpowiadałem za korporacyjny model danych. Usługi katalogowe, czyli Active Directory i LDAP, stały się tu podstawową umiejętnością, która szła za mną przez każdą późniejszą rolę.

Prowadziłem też ogólnokrajowy program wymiany Windows 7 w Wielkiej Brytanii, przenosząc wszystkich brytyjskich użytkowników na nowy sprzęt HP w trzy tygodnie, a 95% z nich zgłosiło, że ich praca nie została w ogóle zakłócona. Trzy tygodnie to taka liczba, która wychodzi tylko wtedy, gdy przygotowanie zrobiono porządnie, a przygotowanie to ta mało efektowna połowa, o którą potem nikt nie pyta.

Potem przyszło zarządzanie. Firma projektująca półprzewodniki, z małym zespołem inżynierów rozsianych po kilku krajach. To połączyło kilka wątków naraz. Programowałem na platformie Force.com, czyli triggery, strony Visualforce, własne kontrolery, żeby zintegrować globalnie systemy księgowe i PSA Financial Force. W tym samym czasie budowałem dwa osobne klastry HPC bootowane przez PXE. Jeden dla brytyjsko-europejskiego działu inżynieryjnego i jeden dla chińskiego działu inżynieryjnego. Oba używały Red Hata z głównymi systemami plików na NFS, żeby stworzyć spójne, w 100% powtarzalne bezdyskowe farmy obliczeniowe. Wdrożyłem ZFS on Linux ze sprzętem Dell PowerVault jako ujednoliconą pamięć masową. Zastąpiłem przestarzałe, odizolowane środowiska bezpieczeństwa domeną Active Directory na Windows Server z natywnym Kerberosem i LDAP do pojedynczego logowania na Linuksie i Windows. Ustabilizowałem łączność międzynarodową, budując jednolitą sieć z tunelami OpenVPN w trudnych warunkach pracy do Chin.

Przez sporą część tej roli byłem jedyną osobą, która to wszystko ogarniała: linuksowe farmy obliczeniowe, wsparcie Windows, programowanie w Salesforce i wsparcie użytkowników w kilku strefach czasowych, przy obciążeniach projektowania SoC w zaawansowanych węzłach technologicznych. Jeden z inżynierów, którzy mi podlegali, został potem programistą Salesforce, i uważam to za lepszy wynik tamtych lat.

Następne było porządne zanurzenie w Linuksa. Wsparcie trzeciej linii w Pulsant, dostawcy chmury i hostingu, w całym stosie. RHEL, CentOS, Ubuntu. Klastrowanie MySQL z Galerą, sharding MongoDB, HAProxy z SNI i terminacją SSL, Apache, PostgreSQL, strojenie PHP-FPM pod wydajny e-commerce, poczta na Postfiksie, BIND i PowerDNS do hostingu DNS, Varnish do cache stron, Squid do cache proxy. IPTables, IPset i Cisco ASA jako zapory i ochrona przed DoS. Strojenie wydajności serwerów Linux pod sieć i pamięć masową. Rozwiązywanie problemów z CPanelem, tworzenie szablonów monitoringu SolarWinds i administracja New Relic. Wszystko to na VMware 5.5 z vCloud Director pod spodem.

To też nie było samo wsparcie. Zaprojektowałem tam produkt replikacji baz danych na Galerze i przeprowadziłem go od koncepcji przez prototyp do usługi, za którą klienci płacili. To nie było ćwiczenie w laboratorium. Zostało zbudowane i sprawdzone na prawdziwych obciążeniach należących do prawdziwych płacących klientów, a tego dostawca hostingu nie rozdaje lekką ręką.

Trzecia linia uczy, co znaczy być ostatnim szczeblem eskalacji. Gdy problem dociera do ciebie, za tobą nie ma już nikogo, kto go naprawi.

Potem Nominet, rejestr stojący za każdą domeną .uk. DNS w skali kraju. Infrastruktura musi być naprawdę solidna dwadzieścia cztery godziny na dobę, codziennie, bez przestojów i z dyżurami poza godzinami pracy. VMware 5.5 i 6, pamięć masowa HP 3par ze strefowaniem Fibre Channel na Brocade, RHEL 6 i 7 zarządzany przez Puppet, load balancery F5 na IPv4 i IPv6, poczta na Postfiksie i wdrożenie Zabbix, które zbudowałem, żeby zastąpić starzejący się monitoring VMware Hyperic. Przejąłem też i dostosowałem ServiceNow, wdrażając przepływy pracy, wdrażanie aplikacji i wykrywanie węzłów Linux na potrzeby zarządzania konfiguracją i inwentarza. Pomogłem zaprojektować i zbudować procesy outsourcingu service desku poza godzinami pracy, żeby zmniejszyć ciężar dyżurów.

W Nominet stałem się pierwszą osobą, którą pytano, czy chodziło o Linuksa, Uniksa, ServiceNow, czy o coś, czego nikt nie umiał przypisać, i pilnowałem, żeby wracać z czymś, co działa, a nie z czymś, co dobrze brzmi. To takie miejsce, w którym się uczysz, że nudne, zdyscyplinowane podejście do infrastruktury to to, które przetrwa zderzenie z wtorkowym porankiem.

Po Nominet przeszedłem do infrastruktury i hostingu. VMware 6.7, Zerto do odtwarzania po awarii, pamięć masowa Dell Compellent i Nexsan ze strefowaniem Fibre Channel na Brocade, Citrix Cloud z zarządzaniem profilami FSLogix obok Azure. Tam też wprowadziłem monitoring Zabbix, projektując szablony i skrypty od zera.

Potem handel detaliczny. Bezpośrednie kierowanie małym zespołem, odebranie administracji VMware 6.7 firmie zewnętrznej i przeniesienie jej z powrotem do firmy, wdrożenie monitoringu Zabbix (znowu, w miejsce czyjejś nieudanej próby), przebudowa wdrażania systemów wokół PXE i Chocolatey, modernizacja sieci sprzętem Fortinet i uporządkowanie zakupów sprzętu.

Potem rola, która zmieniła wszystko. W UK Centre for Ecology & Hydrology kierowałem zespołem obliczeń naukowych, czterema bezpośrednimi podwładnymi, i przebudowałem infrastrukturę od podstaw. 7-węzłowa prywatna chmura Proxmox VE z hiperkonwergentną pamięcią Ceph na podwójnych przełącznikach 100Gb. 8-węzłowy klaster HPC na HDR InfiniBand z Slurmem, z SR-IOV dającym maszynom wirtualnym dostęp do sieci szkieletowej i EasyBuild do budowania oprogramowania. Migracja z GPFS na pamięć Ceph w całości na NVMe. Ansible z Netboxem jako źródłem prawdy dla wszystkiego: zarządzania poprawkami, kontroli dryfu konfiguracji, integracji z Cloudflare, PowerDNS i Active Directory. Dynamiczny routing OSPF dla sieci chmurowych. Lokalne mirrory repozytoriów dla maksymalnej szybkości i spójności wdrożeń. Ponowne wdrożenie środowiska HPC z CentOS 7 na Rocky 9. Cloudflare do DNS (w tym DNSSEC), ochrony przed DDoS i zdalnego dostępu Zero Trust. Obejmowało to migrację 25 autorytatywnych stref DNS z samodzielnie hostowanego BIND 9 do Cloudflare w dwa dni robocze. Zaktualizowano kilka rejestrów, a całość zintegrowano z Ansible i Let’s Encrypt.

Wszystko na narzędziach open source, przy napiętym budżecie, celowo zbudowane tak, żeby uciec z pułapki licencyjnej Broadcom i VMware, zanim się zatrzasnęła. To rozstrzygnęło spór. Infrastruktura open source w tej skali nie jest tylko wykonalna: jest lepsza, a ja mam klaster i faktury, żeby to udowodnić.

Drugą połową tej pracy były cztery osoby w zespole. Naukowców nie obchodzi, jak nazywa się pamięć masowa. Obchodzi ich, czy zadanie ruszy dziś w nocy i czy osoba, którą pytają, umie wyjaśnić odpowiedź tak, żeby nie poczuli się głupio, że zapytali.

Jak to wszystko się łączy

Przejście do presales w croit nie było zmianą kierunku. To było wszystko, co wylądowało w jednym miejscu.

IT w produkcjiNiezawodność nie jest opcją, gdy produkcja zależy od ciebieWsparcie pierwszej liniiNauka słuchania, komunikacji i cierpliwościTworzenie aplikacjiBudowanie systemów, które rozwiązują prawdziwe problemy firmyGlobalne zarządzanie ITDźwiganie ciężaru technicznego i rozwijanie ludzi narazGłęboka inżynieria LinuksaOstatni szczebel eskalacji: nie ma do kogo zadzwonićKrytyczny DNS w NominetInfrastruktura w skali kraju i dyscyplinaInfrastruktura i hostingVMware, pamięć masowa i odtwarzanie po awarii na dużą skalęObliczenia naukowe (UKCEH)Przebudowa na Proxmox VE + Ceph + HPC, wszystko open sourcePresales w croitZaprojektuj system, obroń projekt, bądź w tym uczciwy

IT w produkcji nauczyło mnie, że niezawodność przestaje być kwestią gustu w chwili, gdy zależy od niej produkcja. Wsparcie pierwszej linii nauczyło mnie słuchać, zanim zrobię cokolwiek innego. Tworzenie aplikacji nauczyło mnie budować systemy, które rozwiązują problem firmy, a nie problem ciekawy. Kierowanie globalnym zespołem nauczyło mnie dźwigać ciężar techniczny i jednocześnie rozwijać ludzi wokół siebie, co jest trudniejsze niż każda z tych połówek osobno. Trzecia linia Linuksa nauczyła mnie, jak to jest być ostatnim szczeblem eskalacji. Dwadzieścia lat prowadzenia Windows i Linuksa obok siebie nauczyło mnie, jak platformy naprawdę zachowują się pod obciążeniem, w odróżnieniu od tego, co obiecuje karta katalogowa. VMware, które prowadziłem prawie w każdej roli od 2008 roku, nauczyło mnie, jak wygląda korporacyjna wirtualizacja na dużą skalę, a potem, co się dzieje, gdy grunt handlowy przesuwa się pod platformą, na której stoi całe środowisko. Pamięć masowa i sieci nauczyły mnie, gdzie mieszkają trudne problemy. Bezpieczeństwo przewijało się przez wszystko, od zapór i VPN-ów na początku po DNSSEC, Zero Trust i utwardzanie systemów teraz. Nominet nauczył mnie dyscypliny.

Złóż to wszystko razem i wychodzi presales. Projektujesz system, potem bronisz projektu i pozostajesz uczciwy co do tego, czego on nie zrobi, bo ktoś zaraz wyda prawdziwe pieniądze na twoje słowo.

W croit oznacza to pracę z firmami w Europie i regionie Azji i Pacyfiku, które przemyśliwają od nowa swoją wirtualizację i pamięć masową. Rozmowy zwykle dotyczą odejścia z VMware na Proxmox VE z Ceph. Obciążenia, które się przenoszą, to głównie Windows, więc doświadczenie z wieloma platformami to nie stara historia. To jest to, czym się teraz zajmuję.

Część, na której mi zależy, to uczciwość. To, co komuś przedstawiam, musi być rzeczą, która działa w jego budynku, w jego skali, z ograniczeniami, które naprawdę ma, a jeśli jego obecny sprzęt robi już większość roboty, to właśnie to mu powiem.

STOS, KTÓRY DZIŚ PROJEKTUJĘ I BUDUJĘAutomatyzacja i źródło prawdyAnsible · NetBox · Let's EncryptObliczeniaProxmox VE: maszyny wirtualne KVM + kontenery LXCPamięć masowaCeph: bloki RBD · CephFS · całość na NVMeSiećSieć szkieletowa 25/100GbE · BGP / OSPF · natywne IPv6FundamentOpen source, na sprzęcie, który należy do ciebie

Pamięć masowa

Pamięć masowa ciągle okazywała się miejscem, gdzie siedziały najtrudniejsze problemy. To nie był świadomy plan kariery: po prostu tak wyszło.

Fascynacja zaczęła się wcześnie. W latach dziewięćdziesiątych marzyłem o dyskach Iomega Zip i Jaz: 100MB, a potem cały gigabajt na jednej wymiennej kasecie, gdy dyskietki, którymi wszyscy inni się wymieniali, mieściły tylko 1,44MB. To był drogi sprzęt, więc przez lata pozostawał w kategorii „chciałbym”, a nie „mam”. Zanim w końcu dorobiłem się napędu Zip na USB, zaczęły się właśnie pojawiać pendrive’y, a format, którego tak długo chciałem, był już na wylocie. Wczesna lekcja tego, jak szybko zmienia się pamięć masowa i jak szybko dzisiejsze „muszę mieć” staje się jutrzejszym gratem w szufladzie.

Nośniki optyczne były częścią tej samej historii. W 1998 roku miałem czterobiegowy napęd HP CD-RW i był to prawdziwy skarb. Potrafił czytać i nadpisywać płyty, których późniejsze, szybsze napędy po prostu nie chciały ruszyć, więc zarabiał na siebie jako napęd ratunkowy długo po tym, jak powinien pójść na emeryturę.

Zaczęło się od interfejsów. Pracowałem ze sprzętem pamięci masowej wszelkiego rodzaju. IDE, kilka generacji SCSI, SATA, SAS i NVMe po stronie pamięci podłączanej bezpośrednio. ATA over Ethernet i iSCSI po stronie pamięci sieciowej. HP 3par, Dell Compellent, Dell PowerVault, Nexsan: każdy z własnymi dziwactwami i sposobami, w jakie się psuje.

Stamtąd poszło w górę stosu. Klastrowy LVM nauczył mnie, jak zachowuje się współdzielona pamięć masowa, gdy kilka węzłów potrzebuje jednoczesnego dostępu, i co się dzieje, gdy blokady i fencing nie są ustawione dobrze. ZFS nauczył mnie, co się dzieje, gdy naprawdę myślisz o integralności danych na poziomie systemu plików. GPFS pokazał mi równoległe systemy plików na dużą skalę. Ceph nauczył mnie, jak systemy rozproszone zachowują się inaczej przy awarii.

Z biegiem lat to, co zaczęło się jako „ten, co przy okazji robi też pamięć masową”, zamieniło się w „tego, do kogo dzwonisz, gdy pamięć masową trzeba porządnie zaprojektować”.

Sieci

Sieci były ze mną od samego początku. To nie jest umiejętność pomocnicza: to umiejętność podstawowa. TCP/IP, DHCP i DNS przewijają się przez każdą rolę, jaką miałem, od McKenna począwszy.

Praca w Nominet oznaczała pracę przy infrastrukturze stojącej za brytyjskim rejestrem nazw domen. To DNS w skali kraju. Nazewnictwo, rozwiązywanie nazw, delegacja i oczekiwanie, że zadziała za każdym razem.

Prowadziłem strefy autorytatywne na BIND 9, konfigurowałem DNSSEC, ustawiałem load balancery F5 dla IPv4 i IPv6, a później migrowałem całe środowiska DNS do Cloudflare z automatyzacją przez API i integracją z Let’s Encrypt. Budowałem infrastrukturę DNS do bootowania przez PXE przy wdrożeniach klastrów zarówno w Wielkiej Brytanii, jak i w Chinach. Rozumiem DNS z obu stron. Hostowany samodzielnie, gdzie każda awaria jest twoja. I zarządzany, gdzie ufasz dostawcy i musisz to zaufanie sprawdzać przez monitoring.

Poza DNS sieci przewijają się przez każdą rolę, jaką miałem. VLAN-y, bonding, LACP, strefowanie Fibre Channel z Brocade, zapory Fortinet i Cisco ASA, IPTables i IPset. Projektowanie sieci szkieletowych 25GbE i 100GbE, BGP, dynamiczny routing OSPF, zarządzanie MTU, architektura IPv6. Tunelowanie VPN: od OpenVPN na trudnych łączach międzynarodowych po WireGuard i cloudflared do nowoczesnego bezpiecznego dostępu. Samba też była moją zawodową umiejętnością w kilku rolach, łącząc udostępnianie plików na Linuksie z integracją z domeną Windows długo przed tym, zanim testowałem implementację AD w wersji alfa.

Klaster Ceph to aplikacja sieciowa. Sufit wydajności pamięci masowej wyznacza sieć pod spodem. Sposoby awarii to sieciowe sposoby awarii. Tego się nie uczysz z podręcznika. Tego się uczysz, rozwiązując problemy o drugiej w nocy.

Linux

Od ponad dwudziestu lat pracuję z rodzinami RHEL, Debian, SUSE i Fedora. Zawodowo oznaczało to RHEL i CentOS dla usług produkcyjnych, Ubuntu do hostingu aplikacji, Rocky do HPC, a Gentoo i Fedorę do użytku prywatnego. Zdałem test umiejętności z Linuksa na LinkedIn.

Głębia wzięła się z problemów, na które nie ma odpowiedzi na Stack Overflow, i tam właśnie poznajesz podsystem PCI porządnie, a nie z plotek: grupy IOMMU, ACS, VFIO, SR-IOV, Resizable BAR i to, ile po cichu kosztuje cię translacja DMA, a parametry rozruchowe jądra jako przełączniki, które zmieniają zachowanie maszyny, a nie listę do skopiowania z wiki, bo czyjś blog twierdził, że to naprawiło jego problem.

Problemy z wydajnością pamięci masowej i wirtualizacji prawie zawsze prowadzą do warstwy, w którą nikt nie zajrzał. Tam mieszka moja wiedza o Linuksie.

Windows

Linux to miejsce, gdzie teraz spędzam czas, ale strona Windows jest tak samo prawdziwa i była obecna w każdej pracy, jaką miałem. Windows Server, Active Directory, LDAP, Exchange, IIS, Microsoft SQL Server. Nic z tego nie jest dawną umiejętnością, którą odłożyłem.

Ma to znaczenie na poziomie gościa, czyli tam, gdzie większość ludzi przestaje patrzeć. Gdy obciążenie Windows działa na KVM, osoba, która umie ci powiedzieć, jak ten gość zachowuje się przy danej topologii procesora, i umie wyśledzić skargę na wydajność aż do poprawki Microsoftu, zamiast zrzucać winę na hiperwizor, to osoba, która spędziła lata po obu stronach płotu. Większość sporów o wydajność maszyn wirtualnych, jakie widziałem, wygrał ktoś, kto znał gościa, a nie hosta.

Ludzie, których wspierałem, to wszyscy od profesorów i członków zarządu po zespół, który dba o budynki. Praca jest w każdym przypadku ta sama. Dowiedz się, czego naprawdę potrzebują, spraw, żeby działało, i wyjaśnij to tak, żeby nie poczuli się głupio, że zapytali.

VMware

VMware to platforma, na której zawodowo dorastałem, w siedmiu rolach od 2008 roku, i prowadziłem cały jej stos: ESXi, vCenter, vSAN, klastrowanie vSphere, vMotion. Wiem, co robi dobrze. Wiem, gdzie nie. I patrzyłem, jak przejęcie przez Broadcom przepisuje rzeczywistość handlową pod firmami, które zbudowały na nim całe środowisko, a to coś innego niż czytanie o tym.

Nie pomożesz komuś odejść z platformy, na której nigdy porządnie nie pracowałeś. Dlatego mogę im powiedzieć, z czego rezygnują, co dostają i która część migracji będzie gorsza, niż dano im do zrozumienia.

Automatyzacja

Myślenie o automatyzacji zaczęło się w mojej pierwszej zawodowej roli w 2006 roku. Skrypty VB w McKenna do automatyzacji mapowania dysków w AD, przypisywania drukarek i wdrażania oprogramowania. Potem narzędzia do zakładania kont z danych kadrowych w AD w BT Engage IT. Potem systemy bootowania przez PXE dla bezdyskowych klastrów obliczeniowych w Sondrel. Potem Puppet w Nominet. Potem pakiety Chocolatey i przebudowa przez PXE w firmie handlowej. Potem dostosowywanie przepływów pracy w ServiceNow w kilku rolach.

Teraz to Ansible z Netboxem jako źródłem prawdy. Nie dlatego, że są modne, ale dlatego, że infrastruktura, której nie da się odbudować z kodu, nie jest infrastrukturą, której możesz ufać.

Dokumentacja to ten sam argument. Wiedza, która żyje tylko w czyjejś głowie, to pojedynczy punkt awarii, i o piątej po południu wychodzi z budynku razem z resztą. Tak samo jak dysk bez żadnej redundancji za nim, i traktuję ją z taką samą powagą.

Monitoring

Moje doświadczenie z monitoringiem zaczęło się od SolarWinds w Pulsant, przy monitoringu na dużą skalę całego środowiska hostingowego. Zabbix przyszedł później i zasłużył na osobną wzmiankę, bo wstawiałem go prawie wszędzie od tamtej pory. Zaczęło się w Nominet, gdzie prowadziłem przetarg i testy, a potem przenieśliśmy się na Zabbix w miejsce starzejącego się Hyperic od VMware, i wygrał tym, że był naprawdę intuicyjny, a nie kolejną rzeczą z Nagiosem pod spodem. Potem wdrożyłem go od zera na platformie hostingowo-infrastrukturalnej, zastąpiłem nim czyjąś nieudaną próbę w handlu detalicznym i używałem go do pilnowania 8-węzłowego klastra HPC w UKCEH.

Za każdym razem sam projektowałem szablony monitoringu i pisałem skrypty. Zanim podszedłem do egzaminów Zabbix Specialist i Professional w 2018 roku, wdrażałem go już od lat.

Komunikacja

Praca przy krytycznej infrastrukturze uczy precyzji. Praca w presales uczy jasności. Jedno z drugim jest powiązane, ale to nie to samo.

Precyzja nic nie znaczy, jeśli słuchacz nie nadąża za rozumowaniem, więc musiałem się nauczyć robić to samo wyjaśnienie dwa razy: raz dla inżyniera, który chce zobaczyć mapę CRUSH, i raz dla tego, kto musi zatwierdzić, dlaczego budżet jest taką liczbą, a nie inną. Niczego nie upraszczam na siłę. Po prostu pokazuję każdy krok rozumowania i pozwalam im mnie zatrzymać, gdzie chcą.

Lata pracy z użytkownikami końcowymi nauczyły mnie innego rodzaju cierpliwości. Ludzie, którzy uważają się za najmądrzejszych w pokoju, zwykle zachowują się najbardziej bezradnie. Ci, którzy zaczynają od „nie jestem zbyt techniczny”, zwykle słuchają, idą za krokami i mają sprawę załatwioną w dziesięć minut. A ci, którzy mówią ci, że dokładnie wiedzą, co robią, zazwyczaj zdążyli wszystko pogorszyć, zanim podnieśli słuchawkę.

Doświadczenie z systemami biznesowymi pomaga tu bardziej, niż ludzie się spodziewają, bo zawsze musiałem tłumaczyć w obie strony. Architektura SQL dla kierownika operacyjnego, projekt pamięci masowej dla CTO albo siedzenie obok kogoś przy jego własnym biurku i pokazywanie mu tego, czego nikt mu nigdy nie pokazał. Za każdym razem ta sama umiejętność.

Społeczność

Dzielenie się wiedzą przewijało się przez całą karierę.

Byłem aktywny na forach Gentoo, gdy budowałem systemy ze źródeł i musiałem zrozumieć, dlaczego dana kombinacja flag USE psuje kompilację. Udzielałem się na forach Samby, gdy przerabiałem problemy z udostępnianiem plików i integracją z domeną na Linuksie i Windows. To było coś więcej niż zadawanie pytań. Zbudowałem oparty na Sambie kontroler domeny Active Directory, gdy obsługa AD była jeszcze w wersji alfa. Testowałem go z klientami Windows 2000, XP i Vista i przekazywałem wyniki społeczności.

Teraz aktywnie udzielam się na forach społeczności Proxmox jako DamienDye. Pomagam przy wydajności passthrough NVMe, strojeniu maszyn wirtualnych z Windows, rozwiązywaniu problemów z Ceph i sieciach klastrów.

Technologie się zmieniają. Zasada nie. Jeśli coś rozpracowałem, nic nie zyskam, trzymając to dla siebie, a ktoś o drugiej w nocy za sześć miesięcy będzie zadowolony, że jest to zapisane.

Mam też zwyczaj wgryzania się w problemy dalej, niż wymaga samo zadanie. Zaprojektowałem własną płytkę ochrony przed utratą zasilania dla NVMe, bo chciałem dokładnie zrozumieć, dlaczego uszkodzenia FTL zdarzają się na poziomie sprzętu. Badałem protokoły samodzielnie hostowanej poczty, bo chciałem zrozumieć JMAP od RFC w górę, a nie po prostu ufać dostawcy. Zbudowałem tego bloga, bo porządne spisywanie rzeczy to sposób na znalezienie luk we własnym zrozumieniu.

Społeczność z dala od klawiatury

Nie wszystko to były fora.

W 2018 roku byłem jednym z założycieli Longford Park Community Association w Banbury, na osiedlu, na którym mieszkam. Cztery etapy nowej zabudowy, dom kultury wpisany w plany i nic, co mogłoby go prowadzić. Więc garstka mieszkańców coś założyła.

Najpierw zająłem się stroną IT, bo to miałem do dania. Domena lpca.org.uk ruszyła w styczniu 2018 roku, a za nią zbudowałem stronę, systemy pocztowe i listy komitetu oraz napisałem politykę prywatności.

Byłem w komitecie od początku, a jego przewodniczącym od grudnia 2018 do lutego 2020 roku. Czternaście miesięcy, i wszystko, co naprawdę miało znaczenie, zmieściło się w nich. Zarejestrowaliśmy stowarzyszenie jako organizację charytatywną 11 lutego 2019 roku, pod numerem 1181953. Załatwiłem komercyjną dzierżawę budynku. Potem otworzyliśmy dom kultury.

Po to był przewodniczący. Nie po porządki obrad i protokoły. Żeby otworzyć budynek, do którego może wejść kilkaset gospodarstw domowych. Mieszkańcy wolontariusze nadal go prowadzą dla etapów od 1 do 4 osiedla: trzy sale, kuchnia i parking, wynajmowane na godziny każdemu z osiedla, kto ich chce.

Komitety wolontariuszy działają na dobrej woli, a dobra wola to nie model zarządzania. Więc pilnowałem, żeby ludzie trzymali się statutu, łącznie ze mną. Pytałem, dlaczego rekrutujemy z zewnątrz, skoro statut mówił, żeby angażować mieszkańców, i zatrzymałem wysyłkę, która miała wylądować w każdym folderze spamu na osiedlu. Nie po to, żeby robić trudności. Stowarzyszenie mieszkańców, które nie potrafi dotrzeć do mieszkańców, już zawiodło w jedynym zadaniu, jakie ma, a razem ze skargą wysłałem linki, jak to naprawić.

Dom kultury nadal działa, a ja nie jestem w komitecie, i tak właśnie powinno być. Coś, co działa tylko wtedy, gdy stoisz obok i to podtrzymujesz, nigdy nie zostało porządnie zbudowane.

Ta strona

Ten blog to statyczna strona w Hugo z motywem PaperMod. Jest hostowana na Cloudflare Workers, które serwują zbudowaną stronę jako zasoby statyczne.

Piszę tu o infrastrukturze, z którą pracuję na co dzień: Proxmox VE, Ceph, Ansible, Netbox, certyfikaty i cokolwiek innego, w co akurat wgryzałem się w danym tygodniu. Jest pisana po to, żeby z niej korzystać, z poleceniami i liczbami w środku, bo wpis, za którym nie da się pójść przy klawiaturze, to tylko dekoracja. Bez marketingowej waty. Jeśli coś ma szorstkie krawędzie, wpis to mówi.

Kontakt

Znajdziesz mnie na LinkedIn albo na forach Proxmox.

Jeśli rozważasz Ceph albo Proxmox u siebie i chcesz porządnie o tym porozmawiać, a nie wysłuchać prezentacji sprzedażowej, napisz do mnie. Przynieś obciążenie, ograniczenia i budżet, który naprawdę masz. Powiem ci, co to zrobi, czego nie zrobi, a jeśli uczciwa odpowiedź brzmi, że powinieneś zostać przy tym, co masz, i porządnie to skonfigurować, to też dostaniesz taką odpowiedź.