Я Damien Dye.
Presales Engineer для Європи та Азійсько-Тихоокеанського регіону в croit GmbH, компанії, що є членом-засновником Ceph Foundation і офіційним Proxmox Gold Partner.
Понад двадцять років цього були оплачуваною частиною: платформи Microsoft, Linux, корпоративні застосунки, віртуалізація, мережі, зберігання даних і безпека. Оплачувана частина ще не все. Я будую і ламаю речі з середини дев’яностих, а Linux як слід запускаю з 1999 року, задовго до того, як комусь спало на думку мені за це платити, і я рахую ці роки, бо на власному залізі вчишся не менше, ніж на залізі, яке застрахував хтось інший.
Південний Йоркшир, тож почуєш усе прямо. Якщо щось працює, я скажу тобі чому. Якщо ні, скажу й це, і волію сказати до того, як ти витратиш гроші, а не після.
Ранні роки
Я розбираю комп’ютери з восьми років. Моєю першою машиною був Atari STfm з 512K оперативної пам’яті.
Перший ПК з’явився в дванадцять, з Windows 3.11, і звідти я пройшов їх усі: 95, 95b, 95c, 98, 98SE, а потім Windows 2000.
Це не було просто користування програмами. Це було з’ясування, що змінилося між однією версією і наступною, що зламалося дорогою і як запустити штуку, коли вона вирішила, що краще не буде.
Моїм першим підключенням до інтернету був dial-up модем на 56k через Freeserve, одного з перших безкоштовних провайдерів у Британії. Я перейшов на ADSL, щойно він став доступним у 2001 році, через Demon Internet. Потім на VDSL у 2008-му і нарешті на FTTP із Zen Internet у 2017-му, і саме тоді прийшов нативний IPv6. Ось звідки все почалося в плані мереж, і це дуже далеко від фабрик на 100GbE, які я проєктую тепер. Але цікавість була та сама.
Локальна мережа почалася ще раніше і була ще грубішою. Моя перша LAN була на 10BASE2: тонкий коаксіальний кабель, роз’єми BNC і термінатор на 50 Ом на кожному кінці, і всі машини ділили одну шину на 10 Мбіт. Я змусив два ПК говорити через неї, а потім додав 5-портовий хаб, коли з’явилися нові машини. Згодом той хаб став комутатором, і це був справжній крок уперед: кожен порт отримав власний домен колізій, замість того щоб усе билося за спільний коаксіал. Наступним, щойно стало по кишені, прийшов бездріт: 802.11b на 11 Мбіт, на картках PCMCIA Orinoco Gold у ноутбуках. Від коаксіальної шини до спільного хаба, до комутованого Ethernet, до Wi-Fi: кожен із цих кроків я пройшов власноруч.
Я також будував повністю автоматичні встановлення Windows XP. Вони використовували старі DriverPacks для впровадження драйверів і власні скрипти для автоматичного встановлення застосунків. Можна було пройти від голого заліза до повністю налаштованої системи, не торкнувшись клавіатури. Це було мислення в дусі автоматизації за роки до того, як я взагалі почув про Ansible, і було воно на Windows, а не на Linux.
Знайомство з Linux
Я почав з Linux у п’ятнадцять, на SuSE 6. Я одразу пішов до дистрибутивів, які змушували розуміти, що відбувається під капотом.
На різдвяних канікулах 2001 року я зібрав повну систему за книжкою Linux From Scratch. Кожен пакет скомпільований власноруч. Кожна залежність зрозуміла. Кожне рішення щодо конфігурації ухвалене свідомо.
У 2002 році я перейшов на Gentoo. Gentoo працює за тим самим принципом: ти збираєш усю систему з вихідного коду, розумієш, що робить кожен USE-прапорець, і коли щось ламається, точно знаєш, де шукати.
Інші платформи
Я ніколи не тримався однієї архітектури.
З 2001 до 2007 року в мене була система DEC Alpha. Alpha був 64-бітним RISC-процесором Digital Equipment Corporation, випущеним у 1992 році: справжня 64-бітна машина більш ніж за десять років до того, як x86 наздогнав її з AMD64 у 2003-му. На ній працювали Tru64 UNIX, OpenVMS, Windows NT і Linux, і якийсь час це була чи не найшвидша штука, яку можна було поставити на стіл. Завдяки обговоренням у спільноті я змусив на ній працювати USB і FireWire. Я навіть поставив ззаду перехідник PCMCIA на ISA, щоб ті самі PC Card, які я використовував у ноутбуках, серед них і бездротова Orinoco Gold, працювали в настільній Alpha. Не дрібниця на платформі, де ніщо не гарантовано працювало.
Я спробував BeOS. Вона підходила до багатопотоковості й мультимедіа зовсім інакше, ніж будь-що інше на той час.
В університеті ми з приятелем урятували робочі станції Sun SPARC, які збиралися викинути, і зібрали на них Gentoo. SPARC була RISC-архітектурою Sun Microsystems, представленою в 1987 році, рушієм робочих станцій і серверів Sun, на яких у дев’яностих трималася чимала частина світу Unix, зазвичай під Solaris. Запустити на цьому залізі Linux, зібраний з вихідного коду, і було всією метою. Бо чому б і ні, якщо залізо є, а ти хочеш побачити, чи воно працює.
Я також збирав Linux і працював з ним на ARM і ARM64, на Raspberry Pi та Odroid. А ще запускав Windows на ARM64.
Запусти ту саму операційну систему на x86, Alpha, SPARC, ARM і ARM64, і припущення, які ти зробив на одній, не підуть за тобою на наступну: порядок байтів, вирівнювання, розміри сторінок, підтримка драйверів і примхи інструментів збирання зсуваються під тобою. Тепер, коли ARM64 стоїть у дата-центрі поруч з x86, це важить більше, ніж будь-коли, і саме таке мислення тримає чесним змішаний за архітектурами парк Ceph чи Proxmox.
Я також рано почав експериментувати з IPv6.
У мене був доступ до 6bone, експериментальної тестової мережі IPv6.
6bone була глобальним випробувальним полігоном, що працював з 1996 року, щоб допомогти розробити і впровадити IPv6, поки виробничий інтернет до нього не був готовий.
Вона переносила IPv6 здебільшого тунелями через IPv4, мала власний діапазон адрес 3ffe::/16 і була свідомо закрита 6 червня 2006 року, коли нативний IPv6 дозрів достатньо, щоб стояти на власних ногах.
Я запускав і стек IPv6 у Linux, і стек Microsoft Research IPv6 для Windows XP.
Я пройшов усе.
Почав з тунелів IPv6-в-IPv4.
Перейшов на 6to4 (RFC 3056) для автоматичного тунелювання.
Потім на повний нативний IPv6, коли перейшов до пристойного провайдера, Zen Internet.
Більшість людей не торкалися IPv6, поки їх не змусив роботодавець.
Я на той час уже пройшов кожен механізм переходу, і на Linux, і на Windows, бо хотів розуміти, куди йдуть мережі.
Тому IPv6 тепер здається мені природним, а не чимось, прикрученим заднім числом.
Тепер дев’яносто відсотків мого трафіку йде нативним IPv6.
Я користуюся розширенням для браузера IPvFoo, яке показує, що використовує кожне з’єднання і чи сайти віддають змішані протоколи або лише IPv4.
Старі звички: я люблю бачити, що відбувається насправді, а не просто припускати.
Навчання на практиці
Усе, що я знаю в технічному плані, я навчився, беручись і пробуючи. Будував речі, ламав їх, з’ясовував, чому вони зламалися, будував знову.
Ступінь у мене з Business Studies and Computer Network Engineering у Sheffield Hallam, і він дав мені те єдине, чого не дає самонавчання: як насправді працює бізнес, як технічне рішення перетворюється на комерційний результат і як думати про систему з погляду проблеми, яку вона розв’язує для того, хто за неї платить. Це формувало кожну мою роль відтоді.
А от технічні навички прийшли з практики, а не з навчання. Проблеми у виробництві не приходять зі списком літератури. Уміння розібратися в чомусь із перших принципів варте більше, ніж сертифікат на стіні, і термін його дії не спливає.
Звідки береться відкритий код
Коли керівництво Microsoft на початку 2000-х назвало відкритий код «a cancer», я вже глибоко сидів у Linux. Збирав системи з нуля. Користувався Gentoo. Робив внесок у спільноти.
Така ворожість до людей, які діляться знаннями і будують щось разом, мене не відштовхнула. Вона штовхнула мене ще далі. Якщо відповідь компанії на спільну розробку полягає в тому, щоб назвати її хворобою, це більше каже про компанію, ніж про програми. Я заглибився у відкритий код і зробив його своїм вибором за замовчуванням, а не став підтримувати таке мислення.
З роками практичні аргументи наздогнали принципові. Пропрієтарні платформи працюють досить добре, поки постачальник не змінить ліцензування, не буде куплений або не вирішить, що твій випадок не варто підтримувати. Тоді ти застряг. Твої дані, твої робочі процеси і знання твоєї команди прив’язані до платформи, яку ти більше не контролюєш. Купівля VMware компанією Broadcom є найсвіжішим і найпомітнішим прикладом, але далеко не єдиним.
Те саме мислення стосується хмари. Спитай, що ти насправді орендуєш, і відповідь буде: потужності, якими ти міг би володіти повністю, на лічильнику, який ніколи не зупиняється. Обіцяні переваги, гнучкість, еластичність і менше клопоту з управлінням, рідко приходять у тій формі, яку описувала презентація, а вартість наростає рік за роком так, як із власним залізом не буває. Тож я щоразу, коли мене просили, міг показати, що відкритий код на добре спроєктованому залізі дає кращу цінність, більше контролю і менше сюрпризів. Не модна позиція. Але я можу підкріпити її числами.
Побудова кар’єри
Моя кар’єра почалася в 2005 році на заводі точного лиття у Ворксопі. ІТ-інженер у невеликій команді, підтримка близько п’ятдесяти користувачів.
Та перша роль охоплювала чималий діапазон. Супровід ERP-системи Manusoft і архівування документів. Адміністрування серверів Linux і Windows 2003. Розробка звітів Crystal Reports для ухвалення рішень у виробництві та обслуговуванні. Адміністрування АТС. Інтеграція систем CAD/CAM і керування комп’ютеризованим роботизованим виробництвом. Закупівля обладнання і програм. Навчання користувачів і підтримка на їхніх робочих місцях.
Я з першого дня писав і автоматизацію. Я оновив Active Directory компанії і написав VB-скрипти, які автоматично підключали диски, призначали принтери і розгортали програми залежно від членства в групах. Це був 2006 рік: справжня автоматизація інфраструктури в моїй першій професійній ролі.
Таке воно, виробниче ІТ. Коли лінія зупиняється через щось, за що відповідаєш ти, швидко дізнаєшся, що надійність не є питанням смаку, а люди, які стоять біля верстата, самі тобі про це скажуть. Там я також уперше за гроші тримав Linux і Windows в одній будівлі, і відтоді так було завжди.
Звідти я перейшов у технічну підтримку першої лінії. Перша і друга лінія, на окремому деску для великого міжнародного клієнта. Десктопи Windows, Active Directory, Exchange 2007, Cisco VPN, Cisco Call Manager, керування заявками за ITIL у Remedy. Ця дисципліна ITIL, керування змінами, керування проблемами, структуровані процеси, супроводжувала мене в кожній ролі відтоді. Я також рано почав поєднувати світи Linux і Windows: налаштовував Services for Unix і розв’язував проблеми доступу Citrix до спільних ресурсів NFS в Unix.
Навіть на тому деску я виходив за межі посадової інструкції. Я написав інтерфейс, який створював і вимикав облікові записи користувачів прямо з даних відділу кадрів в Agresso, обробляючи обліковий запис Active Directory, членство в групах, конфігурацію Office Communicator, поштову скриньку Exchange і псевдоніми. Це системна інтеграція з крісла першої лінії, а назва посади про таке не казала.
Один із клієнтів, яких я підтримував на тому деску, пізніше найняв мене в наступній компанії.
Далі була глобальна комунікаційна компанія, ІКТ і безпека. Там по-справжньому почалася розробка застосунків. За два з половиною роки я збудував шість окремих внутрішніх систем або доклав руку до них. Власний вебінструмент для комерційних пропозицій. Інтерфейси обробки замовлень між Salesforce та Agresso. Каталог основних даних у SharePoint, що наповнювався із Salesforce та Agresso. Власна вебсистема керування проєктами з інтерфейсами до MSPE та Agresso для фінансової обробки. І міграція з доопрацьованого застосунку Salesforce Service Cloud на ServiceNow з повним впровадженням процесів ITIL. Я також писав архітектуру SQL-інтерфейсів для корпоративних бізнес-застосунків і налаштовував продуктивність MS SQL. Я адміністрував IIS і Terminal Services у Windows Server 2008 і відповідав за корпоративну модель даних. Каталожні служби, Active Directory і LDAP, стали тут ключовою навичкою, яка супроводжувала мене в кожній наступній ролі.
Я також провів по всій Британії програму заміни на Windows 7, перевівши всю британську базу користувачів на нове залізо HP за три тижні, і 95 % з них повідомили, що їхня робота взагалі не постраждала. Три тижні є таким числом, яке виходить лише тоді, коли підготовку зробили як слід, а підготовка і є тією непоказною половиною, про яку потім ніхто не питає.
Потім було керівництво. Компанія з проєктування напівпровідників з невеликою командою інженерів, розкиданих по кількох країнах. Це звело докупи кілька ниток одразу. Я розробляв на платформі Force.com, тригери, сторінки Visualforce, власні контролери, щоб глобально інтегрувати облікову систему і PSA від Financial Force. Водночас я будував два окремі HPC-кластери із завантаженням через PXE. Один для британських і європейських інженерних підрозділів, другий для китайських. Обидва на Red Hat з кореневими файловими системами на NFS, щоб отримати однакові, на 100 % відтворювані бездискові обчислювальні ферми. Я розгорнув ZFS on Linux з обладнанням Dell PowerVault для уніфікованого зберігання. Я замінив застарілі ізольовані середовища безпеки на Active Directory у Windows Server з нативними Kerberos і LDAP для єдиного входу в Linux і Windows. Я стабілізував міжнародний зв’язок, збудувавши єдину мережу з тунелями OpenVPN у складних умовах роботи в Китаї.
Чималу частину тієї ролі я був єдиною людиною, яка закривала все це: обчислювальні ферми на Linux, підтримку Windows, розробку під Salesforce і підтримку користувачів у кількох часових поясах, під навантаженнями проєктування SoC на передових технологічних нормах. Один з інженерів, які мені підпорядковувалися, згодом став розробником Salesforce, і я вважаю це кращим підсумком тих років.
Далі було справжнє занурення в Linux. Підтримка третьої лінії в Pulsant, хмарному і хостинг-провайдері, по всьому стеку. RHEL, CentOS, Ubuntu. Кластеризація MySQL з Galera, шардинг MongoDB, HAProxy з SNI і термінацією SSL, Apache, PostgreSQL, налаштування PHP-FPM для високопродуктивної електронної комерції, пошта на Postfix, BIND і PowerDNS для DNS-хостингу, Varnish для вебкешування, Squid для кешування проксі. IPTables, IPset і Cisco ASA для міжмережевого екрана і захисту від DoS. Налаштування продуктивності серверів Linux для мережі та зберігання. Усунення проблем у CPanel, розробка шаблонів моніторингу SolarWinds і адміністрування New Relic. І все це на VMware 5.5 з vCloud Director під низом.
І це була не лише підтримка. Я спроєктував там продукт реплікації баз даних на Galera і провів його від концепції через прототипування до сервісу, за який платили клієнти. Це не була лабораторна вправа. Його збудували і перевірили на реальних навантаженнях реальних клієнтів, які платили, а хостинг-провайдер таким легко не розкидається.
Третя лінія вчить, що означає бути останньою лінією ескалації. Коли проблема доходить до тебе, за тобою вже ніхто її не виправить.
Потім Nominet, реєстр, що стоїть за кожним доменним іменем .uk. DNS у національному масштабі. Інфраструктура має бути залізобетонною двадцять чотири години на добу, щодня, без жодного простою і з черговістю в неробочий час. VMware 5.5 і 6, сховища HP 3par із зонуванням fibre channel на Brocade, RHEL 6 і 7 під керуванням Puppet, балансувальники навантаження F5 на IPv4 і IPv6, пошта на Postfix і розгортання Zabbix, яке я збудував на заміну застарілому моніторингу VMware Hyperic. Я також запровадив і доопрацював ServiceNow, впровадивши робочі процеси, розгортання застосунків і виявлення вузлів Linux для керування конфігураціями та інвентаризації. Я допомагав проєктувати і будувати процеси для передачі сервісдеску в неробочий час на аутсорс, щоб зменшити навантаження чергувань.
У Nominet я врешті став тим, кого питали першим, хоч ішлося про Linux, Unix, ServiceNow чи щось, що ніхто не міг віднести нікуди, і я завжди намагався повертатися з чимось, що працює, а не з чимось, що добре звучить. Це саме таке місце, де дізнаєшся, що нудний, дисциплінований підхід до інфраструктури і є тим, що переживає зустріч із вівторковим ранком.
Після Nominet я працював в інфраструктурі та хостингу. VMware 6.7, Zerto для аварійного відновлення, сховища Dell Compellent і Nexsan із зонуванням fibre channel на Brocade, Citrix Cloud з керуванням профілями FSLogix поряд з Azure. Там я теж запровадив моніторинг Zabbix, спроєктувавши шаблони і скрипти з нуля.
Потім роздрібна торгівля. Лінійне керівництво невеликою командою, повернення адміністрування VMware 6.7 від сторонньої компанії назад усередину, розгортання моніторингу Zabbix (знову на заміну чиїйсь невдалій спробі), перебудова розгортання ОС навколо PXE і Chocolatey, оновлення мережі на обладнанні Fortinet і наведення ладу в закупівлях заліза.
Потім була роль, яка змінила все. У UK Centre for Ecology & Hydrology я керував командою наукових обчислень, чотири прямі підлеглі, і перебудував інфраструктуру з нуля. Приватна хмара Proxmox VE на 7 вузлів з гіперконвергентним сховищем Ceph на подвійній комутації 100Gb. HPC-кластер на 8 вузлів на HDR InfiniBand під Slurm, з SR-IOV для доступу віртуальних машин до фабрики і EasyBuild для збирання програм. Міграція з GPFS на сховище Ceph повністю на NVMe. Ansible з Netbox як єдиним джерелом правди для всього: керування оновленнями, контроль дрейфу конфігурації, інтеграції з Cloudflare, PowerDNS і Active Directory. Динамічна маршрутизація OSPF для хмарних мереж. Локальні дзеркала репозиторіїв для максимальної швидкості і узгодженості розгортання. Перерозгортання HPC-середовища з CentOS 7 на Rocky 9. Cloudflare для DNS (включно з DNSSEC), захисту від DDoS і віддаленого доступу Zero Trust. Сюди входила міграція 25 авторитативних зон DNS із самостійно розміщеного BIND 9 на Cloudflare за два робочі дні. Оновили кілька реєстрів, і все це інтегрували з Ansible та Let’s Encrypt.
Усе на інструментах з відкритим кодом, на тісному бюджеті, свідомо збудоване так, щоб оминути пастку ліцензування Broadcom і VMware, поки вона не захлопнулася. Це закрило суперечку. Інфраструктура з відкритим кодом у такому масштабі не просто придатна до роботи, вона краща, і в мене є кластер і рахунки, щоб це підтвердити.
Другою половиною тієї роботи були четверо людей у команді. Науковцям байдуже, як називається сховище. Їм важливо, чи запуститься задача сьогодні вночі і чи зможе людина, яку вони питають, пояснити відповідь так, щоб вони не почувалися дурнями через те, що спитали.
Як усе це сходиться докупи
Перехід у presales у croit не був зміною напрямку. Це було все, що зійшлося в одному місці.
Виробниче ІТ навчило мене, що надійність перестає бути питанням смаку тієї миті, коли від неї залежить виробництво. Підтримка першої лінії навчила мене слухати, перш ніж щось робити. Розробка застосунків навчила мене будувати системи, які розв’язують бізнес-проблему, а не цікаву. Керування глобальною командою навчило мене нести технічне навантаження і водночас розвивати людей навколо, а це важче, ніж кожна з половин окремо. Третя лінія Linux навчила мене, як воно, бути останньою лінією ескалації. Двадцять років роботи з Windows і Linux пліч-о-пліч навчили мене, як платформи справді поводяться під навантаженням, на відміну від того, що обіцяє специфікація. VMware, яку я тримав майже в кожній ролі з 2008 року, навчила мене, як виглядає корпоративна віртуалізація в масштабі, а потім що буває, коли комерційний ґрунт зсувається під платформою, на якій стоїть увесь парк. Зберігання даних і мережі навчили мене, де живуть складні проблеми. Безпека проходила крізь усе, від міжмережевих екранів і VPN на початку до DNSSEC, Zero Trust і посилення захисту тепер. Nominet навчив мене дисципліни.
Склади все це разом, і вийде presales. Ти проєктуєш систему, потім захищаєш проєкт і лишаєшся чесним щодо того, чого вона не робитиме, бо хтось от-от витратить справжні гроші, поклавшись на твоє слово.
У croit це означає роботу з компаніями по всій Європі та в Азійсько-Тихоокеанському регіоні, які переосмислюють свою віртуалізацію і зберігання. Розмови здебільшого про перехід з VMware на Proxmox VE з Ceph. Навантаження, що переїжджають, здебільшого на Windows, тож досвід роботи з різними платформами не є старою історією. Це те, чим я займаюся зараз.
Для мене важлива чесність. Те, що я кладу перед людиною, має бути тим, що працює в її будівлі, у її масштабі, з тими обмеженнями, які в неї справді є, а якщо її наявне залізо вже робить більшу частину роботи, то саме це я їй і скажу.
Зберігання даних
Зберігання даних щоразу виявлялося місцем, де сиділи найважчі проблеми. Це не був свідомий кар’єрний план, просто так склалося.
Захоплення почалося змалку. У 90-ті я мріяв про диски Iomega Zip і Jaz: 100MB, а потім цілий гігабайт на одному змінному картриджі, тоді як дискети, якими всі інші обмінювалися, вміщали лише 1,44MB. Це було дороге залізо, тож роками воно лишалося бажаним, а не наявним. Коли я нарешті дістав USB-привід Zip, якраз почали з’являтися USB-флешки, і формат, якого я так довго хотів, уже йшов зі сцени. Ранній урок того, як швидко рухається зберігання даних і як швидко сьогоднішнє «конче треба» стає завтрашнім мотлохом у шухляді.
Оптичні диски були частиною тієї ж історії. У 1998 році в мене був чотиришвидкісний привід HP CD-RW, і він був чудовий. Він читав і перезаписував диски, від яких пізніші, швидші приводи просто відмовлялися, тож відробляв своє як рятувальний привід ще довго після того, як мав би піти на пенсію.
Почалося з інтерфейсів. Я працював зі сховищами всіх мастей. IDE, кілька поколінь SCSI, SATA, SAS і NVMe з боку прямого підключення. ATA over Ethernet та iSCSI з боку мережевих сховищ. HP 3par, Dell Compellent, Dell PowerVault, Nexsan, кожне з власними примхами і способами відмовляти.
Звідти воно пішло вгору по стеку. Кластерний LVM навчив мене, як поводиться спільне сховище, коли кільком вузлам потрібен одночасний доступ, і що буває, коли блокування і fencing налаштовані не так. ZFS навчила мене, що буває, коли справді думаєш про цілісність даних на рівні файлової системи. GPFS показала мені паралельні файлові системи в масштабі. Ceph навчив мене, як по-іншому поводяться розподілені системи під час відмов.
З роками те, що починалося як «людина, яка ще й зберіганням займається», стало «людиною, якій дзвониш, коли зберігання треба спроєктувати як слід».
Мережі
Мережі були зі мною від самого початку. Це не допоміжна навичка, а одна з ключових. TCP/IP, DHCP і DNS проходять крізь кожну роль, яку я обіймав, починаючи з McKenna.
Робота в Nominet означала роботу з інфраструктурою, що стоїть за реєстром доменних імен Британії. Це DNS у національному масштабі. Іменування, розв’язання, делегування і очікування, що все це спрацює кожного разу.
Я тримав авторитативні зони на BIND 9, налаштовував DNSSEC, ставив балансувальники навантаження F5 для IPv4 і IPv6, а пізніше мігрував DNS-господарства на Cloudflare з автоматизацією через API та інтеграцією Let’s Encrypt. Я будував DNS-інфраструктуру для завантаження через PXE під розгортання кластерів і в Британії, і в Китаї. Я розумію DNS з обох боків. Самостійно розміщений, де кожна відмова твоя. І керований, де ти довіряєш провайдеру і мусиш перевіряти цю довіру моніторингом.
Поза DNS мережі проходять крізь кожну мою роль. VLAN, бондинг, LACP, зонування fibre channel на Brocade, міжмережеві екрани Fortinet і Cisco ASA, IPTables і IPset. Проєктування фабрик на 25GbE і 100GbE, BGP, динамічна маршрутизація OSPF, керування MTU, архітектура IPv6. Тунелювання VPN: від OpenVPN через складні міжнародні канали до WireGuard і cloudflared для сучасного захищеного доступу. Samba теж була професійною навичкою в кількох ролях, вона поєднувала обмін файлами в Linux та інтеграцію з доменом Windows задовго до того, як я тестував реалізацію AD в альфа-версії.
Кластер Ceph є мережевим застосунком. Стелю продуктивності сховища задає мережа під ним. Способи відмов є мережевими способами відмов. Цього не вивчиш з підручника. Цього вчишся, розбираючись із проблемами о другій ночі.
Linux
Я понад два десятиліття працюю з родинами RHEL, Debian, SUSE і Fedora. Професійно це означало RHEL і CentOS для робочих сервісів, Ubuntu для хостингу застосунків, Rocky для HPC, а Gentoo і Fedora для особистого користування. Я склав оцінку навичок Linux від LinkedIn.
Глибина прийшла з проблем, на які немає відповіді на Stack Overflow, і саме там ти зрештою вивчаєш підсистему PCI як слід, а не з чуток: групи IOMMU, ACS, VFIO, SR-IOV, Resizable BAR і те, чого тобі тихо коштує трансляція DMA, а також параметри завантаження ядра як важелі, що змінюють поведінку машини, а не список, який копіюють з вікі, бо в чиємусь блозі написано, що це виправило їхню проблему.
Проблеми продуктивності зберігання і віртуалізації майже завжди ведуть до шару, на який ніхто не подивився. Саме там живуть мої знання Linux.
Windows
Linux тепер забирає мій час, але бік Windows такий самий справжній, і він був у кожній моїй роботі. Windows Server, Active Directory, LDAP, Exchange, IIS, Microsoft SQL Server. Ніщо з цього не є застарілою навичкою, яку я відклав.
Це важливо на рівні гостьової системи, а саме там більшість людей перестає дивитися. Коли навантаження Windows працює на KVM, людина, яка може сказати, як цей гість поводиться за певної топології CPU, і може простежити скаргу на продуктивність до патча Microsoft, замість того щоб звинувачувати гіпервізор, це людина, яка роками стояла по обидва боки паркану. Більшість суперечок про продуктивність віртуальних машин, які я бачив, вигравав той, хто знав гостя, а не хоста.
Люди, яких я підтримував, бували від професорів і членів правління до команди, яка доглядає за будівлями. Робота в кожному випадку та сама. З’ясуй, що їм насправді потрібно, змусь це працювати і поясни так, щоб вони не почувалися дурнями через те, що спитали.
VMware
VMware є платформою, на якій я професійно виріс, у семи ролях з 2008 року, і я тримав увесь її стек: ESXi, vCenter, vSAN, кластеризацію vSphere, vMotion. Я знаю, що вона робить добре. Я знаю, де ні. І я бачив, як купівля Broadcom переписала комерційну реальність під компаніями, які збудували на ній увесь свій парк, а це зовсім не те саме, що читати про це.
Не допоможеш людині піти з платформи, з якою сам ніколи як слід не працював. Тож я можу сказати їм, від чого вони відмовляються, що отримують і яка частина міграції буде гіршою, ніж їм дали зрозуміти.
Автоматизація
Мислення в дусі автоматизації почалося в моїй першій професійній ролі у 2006 році. VB-скрипти в McKenna для автоматичного підключення дисків AD, призначення принтерів і розгортання програм. Потім інструменти створення облікових записів AD із даних відділу кадрів у BT Engage IT. Потім системи завантаження через PXE для бездискових обчислювальних кластерів у Sondrel. Потім Puppet у Nominet. Потім пакування Chocolatey і перебудова через PXE в роздрібній компанії. Потім доопрацювання робочих процесів ServiceNow у кількох ролях.
Тепер це Ansible з Netbox як єдиним джерелом правди. Не тому, що це модно, а тому, що інфраструктура, яку не можна відбудувати з коду, не є інфраструктурою, якій можна довіряти.
Документація є тим самим аргументом. Знання, яке живе лише в чиїйсь голові, є єдиною точкою відмови, і о п’ятій вечора воно виходить з будівлі разом з усіма. Те саме, що диск без жодного резервування за ним, і ставитися до нього треба з тією самою серйозністю.
Моніторинг
Мій досвід моніторингу почався з SolarWinds у Pulsant, з масштабного моніторингу всього хостингового парку. Zabbix прийшов пізніше, і він заслужив окремої згадки, бо я ставив його майже в кожному місці відтоді. Почалося в Nominet, де я провів тендер і тестування, а потім перевів нас на Zabbix на заміну застарілому Hyperic від VMware, і він переміг тим, що справді інтуїтивний, а не ще однією штукою з Nagios під низом. Після цього я поставив його з нуля на хостинговій та інфраструктурній платформі, замінив ним чиюсь невдалу спробу в роздрібній торгівлі і стежив ним за HPC-кластером на 8 вузлів у UKCEH.
Щоразу я сам проєктував шаблони моніторингу і писав скрипти. Коли я в 2018 році складав іспити Zabbix Specialist і Professional, я вже роками його розгортав.
Комунікація
Робота в критичній інфраструктурі вчить бути точним. Робота в presales вчить бути зрозумілим. Ці дві речі пов’язані, але не однакові.
Точність нічого не варта, якщо слухач не може простежити міркування, тож мені довелося навчитися робити те саме пояснення двічі: раз для інженера, який хоче бачити CRUSH map, і раз для того, хто має підписати, чому бюджет саме такий. Я нічого не спрощую до примітиву. Я просто роблю видимим кожен крок міркування і даю людям зупинити мене там, де вони хочуть.
Роки роботи з користувачами навчили мене іншого терпіння. Ті, хто вважає себе найрозумнішими в кімнаті, зазвичай поводяться найбезпорадніше. Ті, хто починає з «я не дуже технічний», як правило, слухають, виконують кроки і розв’язують усе за десять хвилин. А ті, хто каже, що точно знає, що робить, зазвичай устигли все погіршити, перш ніж узяли слухавку.
Досвід з бізнес-системами допомагає тут більше, ніж люди очікують, бо мені завжди доводилося перекладати в обидва боки. Архітектура SQL для операційного менеджера, проєкт сховища для CTO або сидіти поруч із кимось за його власним столом і показувати те, чого йому ніколи не показували. Щоразу та сама навичка.
Спільнота
Обмін знаннями проходить крізь усю кар’єру.
Я був активним на форумах Gentoo, коли збирав системи з вихідного коду і мусив розуміти, чому певна комбінація USE-прапорців ламає компіляцію. Я дописував на форуми Samba, коли розбирався з проблемами обміну файлами та інтеграції з доменом у Linux і Windows. Це було більше, ніж просто ставити питання. Я збудував контролер домену Active Directory на основі Samba, коли підтримка AD була ще в альфа-версії. Я тестував його з клієнтами Windows 2000, XP і Vista і передавав результати спільноті.
Тепер я активно дописую на форумах спільноти Proxmox як DamienDye. Я допомагаю з продуктивністю прокидання NVMe, налаштуванням віртуальних машин Windows, розбором проблем Ceph і мережами кластерів.
Технології змінюються. Принцип ні. Якщо я розібрався з проблемою, нема чого виграти, сидячи на цьому, а хтось о другій ночі через пів року зрадіє, що це записано.
У мене також є звичка копати проблеми глибше, ніж суворо вимагає задача. Я спроєктував саморобну плату захисту NVMe від втрати живлення, бо хотів точно зрозуміти, чому корупція FTL трапляється на апаратному рівні. Я досліджував протоколи для самостійно розміщеної пошти, бо хотів зрозуміти JMAP від RFC і вище, а не просто довіряти провайдеру. Я збудував цей блог, бо записувати речі як слід і є способом знайти прогалини у власному розумінні.
Спільнота поза клавіатурою
Не все це були форуми.
У 2018 році я був одним із засновників Longford Park Community Association у Банбері, у житловому масиві, де я живу. Чотири черги новобудов, громадський центр, записаний у планах, і нічого, що могло б ним керувати. Тож кілька мешканців дещо створили.
Спершу я взяв на себе ІТ-частину, бо саме це я міг дати. Домен lpca.org.uk запрацював у січні 2018 року, і за ним я збудував вебсайт, поштові системи і списки розсилки комітету, а також написав політику конфіденційності.
Я був у комітеті від самого початку і був його головою з грудня 2018 до лютого 2020 року. Чотирнадцять місяців, і все, що справді мало значення, вмістилося в них. Ми зареєстрували його як благодійну організацію 11 лютого 2019 року, номер 1181953. Я владнав комерційну оренду будівлі. А потім ми відкрили центр.
Ось для чого був голова. Не для порядків денних і протоколів. Для того, щоб відкрити будівлю, куди можуть зайти кілька сотень домогосподарств. Мешканці-волонтери досі керують нею для черг з 1 по 4 забудови: три кімнати, кухня і парковка, які погодинно здають усім на масиві, кому вони потрібні.
Волонтерські комітети тримаються на добрій волі, а добра воля не є моделлю управління. Тож я тримав людей у межах статуту, себе теж. Я питав, чому ми набираємо людей ззовні, коли статут каже залучати мешканців, і я зупинив розсилку, яка потрапила б у кожну папку зі спамом на масиві. Не щоб упиратися. Асоціація мешканців, яка не може достукатися до мешканців, уже провалила єдину роботу, яку має, і разом зі скаргою я надіслав посилання, як це виправити.
Центр і далі відкритий, а я вже не в комітеті, і саме так і має бути. Усе, що працює, лише поки ти стоїш поруч і тримаєш його, ніколи не було збудоване як слід.
Цей сайт
Цей блог є статичним сайтом на Hugo з темою PaperMod. Він розміщений на Cloudflare Workers, який віддає зібраний сайт як статичні ресурси.
Я пишу тут про інфраструктуру, з якою працюю щодня: Proxmox VE, Ceph, Ansible, Netbox, сертифікати і все інше, у що я того тижня вгризався. Написано так, щоб цим користуватися, з командами і числами, бо допис, за яким не можна пройти за клавіатурою, є лише прикрасою. Жодної маркетингової води. Якщо в чогось є шорсткості, допис так і каже.
Зв’язатися зі мною
Мене можна знайти в LinkedIn або на форумах Proxmox.
Якщо ти придивляєшся до Ceph чи Proxmox для свого місця і хочеш нормальної розмови про це, а не презентації продажу, напиши мені. Принеси навантаження, обмеження і бюджет, який у тебе справді є. Я скажу тобі, що воно робитиме, чого ні, і якщо чесна відповідь полягає в тому, що тобі варто лишити те, що маєш, і налаштувати його як слід, ти почуєш і таку відповідь.