我是 Damien Dye。

在 croit GmbH 担任售前工程师,负责欧洲和亚太地区。croit 是 Ceph Foundation 的创始成员,也是官方 Proxmox Gold Partner。

其中二十多年是拿工资的部分:Microsoft 平台、Linux、企业应用、虚拟化、网络、存储和安全。 拿工资的部分并不是全部。 我从九十年代中期就开始捣鼓东西、再把它们弄坏,从 1999 年起正经地用 Linux,那时离有人觉得值得为此付我钱还早好几年。这些年我也算在里面,因为在自己的设备上学到的东西,和在别人投了保的设备上学到的一样多。

我是南约克郡人,所以你会听到直话。 有东西管用,我会告诉你为什么。 不管用,我也照样告诉你,而且我宁愿在你花钱之前说,而不是之后。

早年

我八岁起就开始拆电脑。 我的第一台机器是一台 Atari STfm,512K 内存。

十二岁有了第一台 PC,跑的是 Windows 3.11。从那以后我一个不落地用过来:95、95b、95c、98、98SE,然后是 Windows 2000。

那不是在用软件。 那是在弄明白一个版本和下一个版本之间改了什么,升级路上弄坏了什么,以及当一个东西打定主意不想跑的时候,怎样让它跑起来。

WINDOWS 桌面之路:3.11 → 103.1195982000XPXP64 位Vista64 位764 位8.110

我的第一个互联网连接是 Freeserve 上的 56k 拨号调制解调器,Freeserve 是英国最早的免费 ISP 之一。 2001 年 ADSL 一能用,我就通过 Demon Internet 换了过去。 2008 年换成 VDSL,最后在 2017 年换成 Zen Internet 的 FTTP,原生 IPv6 就是那时来的。 就网络而言,一切都是从那里开始的,离我现在设计的 100GbE 网络还远得很。 但好奇心是一样的。

本地网络开始得更早,也更粗糙。 我的第一个局域网是 10BASE2:细同轴电缆,BNC 接头,两端各一个 50 欧姆终端电阻,每台机器共享一条 10 Mbit 总线。 我先让两台 PC 在上面通了话,机器多起来以后又加了一个 5 口集线器。 那个集线器后来换成了交换机,这是实打实的进步:每个端口有了自己的冲突域,而不是所有东西挤在一根共享同轴线上抢。 接着是无线,一买得起就上了:11 Mbit 的 802.11b,笔记本里插着 Orinoco Gold PCMCIA 网卡。 从同轴总线到共享集线器,到交换式以太网,再到 Wi-Fi,每一步我都是亲手走过来的。

我还做过全自动无人值守的 Windows XP 安装。 用的是老的 DriverPacks 注入驱动,再用自定义脚本自动安装应用。 从裸机到一台完全配置好的系统,全程不用碰键盘。 那是在我听说 Ansible 之前好多年的自动化思维,而且是在 Windows 上,不是 Linux。

遇见 Linux

我十五岁开始用 Linux,从 SuSE 6 起步。 我直奔那些逼着你弄懂底层在发生什么的发行版。

2001 年圣诞假期,我照着 Linux From Scratch 那本书搭了一整套系统。 每个软件包都是手工编译的。 每个依赖都弄明白了。 每个配置决定都是有意做出的。

到 2002 年我转到了 Gentoo。 Gentoo 遵循同样的原则:整个系统从源码构建,你明白每个 USE 标志的作用,出了问题你确切知道该去哪里找。

LINUX:发行版之路SuSE6–7.2MandrakeGentooUbuntuRHELFedora

探索其他平台

我从来没有只守着一种架构。

2001 年到 2007 年我有一台 DEC Alpha。 Alpha 是 Digital Equipment Corporation 的 64 位 RISC 处理器,1992 年推出。它是真正的 64 位机器,比 x86 在 2003 年靠 AMD64 追上来早了十多年。 它能跑 Tru64 UNIX、OpenVMS、Windows NT 和 Linux,有一段时间它差不多是你能放在桌上的最快的东西。 通过社区里的讨论,我让它用上了 USB 和 FireWire。 我甚至在它背后装了一块 PCMCIA 转 ISA 的转接卡,让我在笔记本里用的那些 PC 卡,包括 Orinoco Gold 无线网卡,也能在台式 Alpha 上跑。 在一个啥都不保证能用的平台上,这可不是小事。

我也玩过 BeOS。 它在多线程和多媒体上的思路,和当时其他任何东西都完全不同。

上大学时,我和一个哥们把一批要被扔掉的 Sun SPARC 工作站救了回来,在上面装了 Gentoo。 SPARC 是 Sun Microsystems 的 RISC 架构,1987 年推出。整个九十年代,Unix 世界的很大一部分都跑在 Sun 的工作站和服务器上,通常用的是 Solaris,背后就是 SPARC。 在那套硬件上跑起一个从源码构建的 Linux,就是全部的意义。 设备就在那儿,你又想看看它能不能跑,为什么不试?

我还在 ARM 和 ARM64 上构建和使用过 Linux,用的是 Raspberry Pi 和 Odroid。 我也在 ARM64 上跑过 Windows。

在 x86、Alpha、SPARC、ARM 和 ARM64 上跑同一个操作系统,你在一种架构上做的假设不会跟着你到下一种:字节序、对齐、页大小、驱动支持和工具链的怪癖,都会在你脚下变化。 如今 ARM64 和 x86 一起进了数据中心,这一点比以往任何时候都重要。正是这种思维,让一套混合架构的 Ceph 或 Proxmox 环境保持靠谱。

我很早就开始试验 IPv6。 我接入过 6bone,那个实验性的 IPv6 测试网络。 6bone 是一个全球测试床,从 1996 年开始运行,目的是在正式的互联网准备好之前,帮助开发和部署 IPv6。 它主要通过 IPv4 隧道承载 IPv6,用自己的 3ffe::/16 地址段,并在原生 IPv6 成熟到可以自立之后,于 2006年6月6日被有意关闭。 我同时跑过 Linux 的 IPv6 协议栈,和 Microsoft Research 为 Windows XP 做的 IPv6 协议栈。 这些我全都经历过。 从 IPv6-in-IPv4 隧道开始。 然后换成 6to4(RFC 3056)自动隧道。 等我换到一家像样的 ISP,也就是 Zen Internet,就用上了完整的原生 IPv6。 大多数人直到雇主逼着才碰 IPv6。 到那时我已经在 Linux 和 Windows 上把每一种过渡机制都走了一遍,因为我想弄明白网络往哪里去。 所以 IPv6 现在对我来说很自然,而不是事后硬拧上去的东西。 现在,我九成的流量走原生 IPv6。 我装了一个叫 IPvFoo 的浏览器扩展,它告诉我每个连接用的是什么协议,以及网站是混合提供,还是只有 IPv4。 老习惯了:我喜欢看到真实发生的事,而不是光靠猜。

IPv6:二十年,从实验到关键基础设施从家里的测试床协议栈,到国家级的生产基础设施6bone:实验性的 IPv6 测试床Linux 和 Microsoft Research 的 IPv6 协议栈并排运行IPv6-in-IPv4 隧道在 IPv4 互联网上承载 IPv6,全靠手工配置6to4(RFC 3056)自动隧道,不用维护手工的隧道代理原生 IPv6家里通过 FTTP 端到端 · Zen Internet · 2017Nominet:关键国家基础设施.uk 注册局生产环境中的 IPv6 · F5 负载均衡器横跨 IPv4 和 IPv6如今,我大约 90% 的流量走原生 IPv6。

动手中学习

我在技术上懂的一切,都是靠上手试学来的。 搭起来,弄坏,搞清楚为什么坏,再搭一遍。

我的学位是 Sheffield Hallam 大学的商科与计算机网络工程。它给了我自学给不了的一样东西:一家企业实际上是怎样运转的,一个技术决定怎样变成商业结果,以及怎样从“它为付钱的人解决了什么问题”的角度去看一个系统。 从那以后的每一份工作都受它影响。

不过技术能力来自动手,不是来自读书。 生产环境的问题不会附带一份书单。 能从第一性原理把一件事弄明白,比墙上挂一张证书更值钱,而且它不会过期。

开源从哪里来

二十一世纪初,Microsoft 的领导层把开源说成“癌症”的时候,我早已深陷 Linux。 从零搭建系统。 跑 Gentoo。 给社区做贡献。

对分享知识、一起做东西的人抱有这种敌意,并没有把我吓跑。 反而把我推得更深。 如果一家公司对协作开发的回应是把它叫做一种病,那它告诉你的,更多是这家公司,而不是这个软件。 我更深地钻进开源,把它当成首选,而不是去支持那种心态。

这些年里,实际的理由追上了原则的理由。 专有平台用起来还行,直到厂商改了许可,被收购了,或者决定你的用例不值得保留。 然后你就被困住了。 你的数据、你的工作流程和你团队的经验,全都绑在一个你已经控制不了的平台上。 Broadcom 收购 VMware 是最近、最显眼的例子,但远不是唯一的一个。

云也是同样的道理。 问问你实际上租的是什么,答案是:本来可以直接买下的容量,挂在一个永远不停的计费表上。 承诺的好处,敏捷、弹性、要管的东西更少,很少以推销时描述的样子落地,而成本年复一年地累积,自己的设备则不会这样。 正因如此,每次有人问我,我都能证明:在设计良好的硬件上跑开源,性价比更高,控制权更多,意外更少。 这不是个时髦的立场。 但它是我能拿数字说话的立场。

建立职业生涯

我的职业生涯 2005 年始于 Worksop 的一家精密铸件制造商。 IT 工程师,小团队中的一员,支持大约五十个用户。

那第一份工作覆盖面相当广。 维护 Manusoft ERP 系统和文档归档。 Linux 和 Windows 2003 服务器管理。 为生产和维护决策开发 Crystal Reports 报表。 PBX 电话交换机管理。 CAD/CAM 系统集成,以及计算机辅助机器人制造的管理。 硬件和软件采购。 培训最终用户,在他们的工位上处理支持问题。

我从第一天起就在写自动化。 我升级了公司的 Active Directory,写了 VB 脚本,根据组成员身份自动映射驱动器、分配打印机和部署软件。 那是 2006 年:在我第一份正式工作里,就是正经的基础设施自动化。

这就是制造业的 IT。 当生产线因为你负责的东西停下来,你很快就会明白,可靠性不是一种偏好,站在机器旁边的人会亲口告诉你。 那也是我第一次靠在同一栋楼里同时跑 Linux 和 Windows 吃饭,从那以后一直是这个模式。

之后我转去做一线技术支持。 一线和二线,在为一家大型跨国客户专设的服务台工作。 Windows 桌面、Active Directory、Exchange 2007、Cisco VPN、Cisco Call Manager,在 Remedy 上做基于 ITIL 的工单管理。 那套 ITIL 纪律,变更管理、问题管理、结构化流程,从此跟着我进了每一份工作。 我也很早就在打通 Linux 和 Windows 两个世界:配置 Services for Unix,解决 Citrix 访问 Unix NFS 共享的问题。

即使在那个服务台,我做的也超出了岗位描述。 我写了一个接口,直接根据 Agresso 里的人事数据开通和停用用户账户,处理 Active Directory 账户、组成员身份、Office Communicator 配置、Exchange 邮箱和别名。 那是坐在一线位置上做的系统集成,和岗位名称说的不是一回事。

我在那个服务台支持过的一位客户,后来在下一家公司雇了我。

下一家是一家全球通信公司,做 ICT 和安全。 正经的应用开发就是从那里开始的。 两年半里,我搭建或参与了六个不同的内部系统。 一个定制的网页报价工具。 Salesforce 和 Agresso 之间的订单处理接口。 一个由 Salesforce 和 Agresso 供数的 SharePoint 主数据目录。 一个定制的网页项目管理系统,带有通往 MSPE 和 Agresso 的财务处理接口。 以及从一个定制的 Salesforce Service Cloud 应用迁移到 ServiceNow,并完整实施 ITIL 流程。 我还为公司业务应用编写 SQL 接口架构,调优 MS SQL 性能。 我管理 IIS 和 Windows Server 2008 Terminal Services,并负责公司的数据模型。 目录服务,Active Directory 和 LDAP,在这里成了核心技能,之后跟着我进了每一份工作。

我还负责了一个全英国范围的 Windows 7 换机项目,三周内把整个英国的用户迁到新的 HP 设备上,95% 的人报告工作完全没受影响。 三周这种数字,只有准备工作做到位才拿得下来,而准备工作是那不起眼的一半,事后没人会问。

然后是管理岗。 一家半导体设计公司,一支分布在几个国家的小工程师团队。 这一下把好几条线拧到了一起。 我在 Force.com 平台上做开发,trigger、Visualforce 页面、自定义 controller,在全球范围集成 Financial Force 的财务和 PSA 系统。 同时我在搭建两套独立的 PXE 启动 HPC 集群。 一套给英国的欧洲工程团队,一套给中国的工程团队。 两套都用 Red Hat 加 NFS 根文件系统,做成一致的、100% 可重复的无盘计算集群。 我在 Linux 上部署了 ZFS,配合 Dell PowerVault 设备做统一存储。 我用一套 Windows Server Active Directory 取代了老旧、彼此隔离的安全环境,用原生 Kerberos 和 LDAP 在 Linux 和 Windows 之间实现单点登录。 在通往中国的困难网络条件下,我用 OpenVPN 隧道搭了一张统一的网络,让国际连接稳定下来。

那份工作有相当长一段时间,所有这些都只有我一个人在扛:Linux 计算集群、Windows 支持、Salesforce 开发,还有跨几个时区的用户支持,同时承受着先进工艺节点上的 SoC 设计负载。 向我汇报的一位工程师后来成了 Salesforce 开发者,我把这算作那几年更好的收获。

接下来是一头扎进 Linux。 在云和托管服务商 Pulsant 做三线支持,覆盖整个技术栈。 RHEL、CentOS、Ubuntu。 用 Galera 做 MySQL 集群,MongoDB 分片,带 SNI 和 SSL 卸载的 HAProxy,Apache,PostgreSQL,为高性能电商调优 PHP-FPM,Postfix 邮件,用 BIND 和 PowerDNS 做 DNS 托管,用 Varnish 做网页缓存,用 Squid 做代理缓存。 用 IPTables、IPset 和 Cisco ASA 做防火墙和 DoS 防护。 Linux 服务器在网络和存储方面的性能调优。 CPanel 排障,SolarWinds 监控模板开发,以及 New Relic 管理。 底下全都跑在 VMware 5.5 和 vCloud Director 上。

也不只是支持。 我在那里设计了一个 Galera 数据库复制产品,从概念到原型,一直做成客户付费的服务。 那不是实验室练习。 它是在真正付费客户的真实负载上搭起来、证明过的,托管服务商可不会随便把这种事交出去。

三线会教你,做最后一道升级关口意味着什么。 事情到了你这里,你身后没人会去修它。

然后是 Nominet,每一个 .uk 域名背后的注册局。 国家规模的 DNS。 基础设施必须一天二十四小时、天天稳如磐石,零停机,下班后还要值班待命。 VMware 5.5 和 6,HP 3par 存储加 Brocade 上的光纤通道分区,用 Puppet 管理的 RHEL 6 和 7,横跨 IPv4 和 IPv6 的 F5 负载均衡器,Postfix 邮件,还有我搭建的 Zabbix 部署,用来替换老化的 VMware Hyperic 监控。 我还引入并定制了 ServiceNow,实现了工作流、应用部署,以及用于配置管理和资产清单的 Linux 节点发现。 我参与设计和搭建了下班后服务台外包的流程,减轻值班负担。

在 Nominet,不管是 Linux、Unix、ServiceNow,还是谁也说不清归谁的东西,最后都是先来问我,而我坚持拿回来的是能用的东西,而不是听起来好听的东西。 在那种地方你会学到:对基础设施采取枯燥、守纪律的做法,才是能扛过一个周二早上的做法。

离开 Nominet 后,我在基础设施和托管领域辗转。 VMware 6.7,用 Zerto 做灾备,Dell Compellent 和 Nexsan 存储加 Brocade 光纤通道分区,Citrix Cloud 配合 FSLogix 配置文件管理,再加 Azure。 我在那里也引入了 Zabbix 监控,模板和脚本从零设计。

然后是零售。 直接管理一个小团队,把 VMware 6.7 的管理从第三方收回内部,部署 Zabbix 监控(又一次,替换别人失败的尝试),围绕 PXE 和 Chocolatey 重建操作系统部署,用 Fortinet 设备升级网络,理顺硬件采购。

然后是改变一切的那份工作。 在 UK Centre for Ecology & Hydrology,我管理科学计算团队,四名直接下属,并从头重建了基础设施。 一个 7 节点的 Proxmox VE 私有云,超融合 Ceph 存储,跑在双 100Gb 交换上。 一个 8 节点的 HPC 集群,HDR InfiniBand,跑 Slurm,用 SR-IOV 让虚拟机接入网络结构,用 EasyBuild 构建软件。 从 GPFS 迁移到全 NVMe 的 Ceph 存储。 Ansible 配合 Netbox 作为一切的唯一可信数据源:补丁管理、配置漂移控制,以及与 Cloudflare、PowerDNS 和 Active Directory 的集成。 云网络用 OSPF 动态路由。 本地软件仓库镜像,让部署又快又一致。 HPC 环境从 CentOS 7 重新部署到 Rocky 9。 用 Cloudflare 做 DNS(包括 DNSSEC)、DDoS 防护和 Zero Trust 远程访问。 其中包括在两个工作日内,把 25 个权威 DNS 区域从自托管的 BIND 9 迁到 Cloudflare。 更新了多个注册局,整件事都和 Ansible 以及 Let’s Encrypt 集成在一起。

全部用开源工具,预算很紧,而且是有意这样搭的,要在 Broadcom 和 VMware 的许可陷阱合上之前躲开它。 这就把争论定了。 那种规模的开源基础设施,不只是能用,而是更好,我有集群和发票可以证明。

那份工作的另一半,是团队里的四个人。 科学家不在乎存储叫什么。 他们在乎的是作业今晚能不能跑,以及他们去问的那个人,能不能把答案讲清楚,又不让他们觉得自己问了个蠢问题。

这一切怎样汇到一起

转到 croit 做售前,并不是换了方向。 而是所有东西落到了同一个地方。

制造业 IT生产靠你的时候,可靠性不是可选项一线支持学会倾听、沟通和保持耐心应用开发搭建解决真实业务问题的系统全球 IT 管理扛起技术重担,同时培养人深度 Linux 工程最后一道升级关口,没有别人可以找Nominet 的关键 DNS国家规模的基础设施与纪律基础设施与托管大规模的 VMware、存储和灾备科学计算(UKCEH)用 Proxmox VE + Ceph + HPC 重建,全程开源croit 售前设计系统,捍卫设计,对它说实话

制造业 IT 教会我:生产一旦靠它,可靠性就不再是一种偏好。 一线支持教会我:做任何事之前先听。 应用开发教会我:搭的系统要解决业务问题,而不是解决一个有趣的问题。 管理一个全球团队教会我:既扛起技术重担,又培养身边的人,这比单做其中任何一半都难。 三线 Linux 教会我:做最后一道升级关口是什么滋味。 二十年来并排运行 Windows 和 Linux,教会我平台在负载下实际上怎样表现,而不是数据手册上说它会怎样。 VMware 我从 2008 年起几乎每份工作都在用,它教会我企业级虚拟化在规模上是什么样子,然后又教会我,当整个环境都坐在一个平台上,而这个平台底下的商业地基移动时,会发生什么。 存储和网络教会我:难题住在哪里。 安全贯穿了所有这些,早年是防火墙和 VPN,现在是 DNSSEC、Zero Trust 和加固。 Nominet 教会了我纪律。

把这些放在一起,你就得到了售前。 你设计系统,然后捍卫这个设计,并对它做不到的事保持诚实,因为有人马上要凭你一句话花真金白银。

在 croit,这意味着和欧洲及亚太地区正在重新考虑虚拟化和存储的机构合作。 谈的通常是离开 VMware,转向 Proxmox VE 加 Ceph。 迁过来的负载大多是 Windows,所以跨平台的经验不是陈年旧事。 它就是我现在做的事。

我在乎的部分是诚实。 我摆在别人面前的,必须是在他们的楼里、在他们的规模下、在他们实际有的约束下能用的东西。如果他们现有的设备已经能干大部分的活,那我就会这样告诉他们。

我今天设计和搭建的技术栈自动化与唯一可信数据源Ansible · NetBox · Let's Encrypt计算Proxmox VE:KVM 虚拟机 + LXC 容器存储Ceph:RBD 块存储 · CephFS · 全 NVMe网络25/100GbE 网络结构 · BGP / OSPF · 原生 IPv6基础开源,跑在你自己拥有的硬件上

存储

最难的问题,总是待在存储那里。 这不是有意的职业规划,只是恰好走成了这样。

这份着迷开始得很早。 九十年代我做梦都想要 Iomega 的 Zip 和 Jaz 磁盘:一张可移动盒片上 100MB,后来干脆是整整 1GB,而别人互相传来传去的软盘只能装 1.44MB。 那是很贵的设备,所以好多年里它们只是想要,而不是拥有。 等我终于弄到一台 USB Zip 驱动器,USB 闪存盘刚刚开始出现,我想了那么久的格式已经在退场的路上了。 这是早早上的一课:存储变得有多快,今天的必备品又多快变成明天抽屉里的杂物。

光存储也是同一个故事的一部分。 1998 年我有一台四倍速的 HP CD-RW 刻录机,那可是个好东西。 后来更快的驱动器干脆拒读的光盘,它都能读、能重写,所以在本该退休之后很久,它还作为救援驱动器发挥着作用。

一切从接口开始。 存储硬件我几乎全都碰过。 直连这边有 IDE、好几代 SCSI、SATA、SAS 和 NVMe。 网络存储这边有 ATA over Ethernet 和 iSCSI。 HP 3par、Dell Compellent、Dell PowerVault、Nexsan,每一个都有自己的怪癖和故障模式。

从那里一路往上走过整个技术栈。 集群 LVM 教会我,多个节点需要并发访问时共享存储怎样表现,以及锁和隔离(fencing)没做对时会发生什么。 ZFS 教会我,当你真正在文件系统层面考虑数据完整性时会发生什么。 GPFS 让我见识了大规模的并行文件系统。 Ceph 教会我,分布式系统在故障下的表现有多么不同。

这些年里,一开始的“顺便也管存储的那个人”,变成了“存储需要好好设计时你去找的那个人”。

网络

网络从一开始就在那里。 它不是辅助技能,而是核心技能。 从 McKenna 起,我做过的每一份工作都离不开 TCP/IP、DHCP 和 DNS。

在 Nominet 工作,意味着在英国域名注册局背后的基础设施上工作。 那是国家规模的 DNS。 命名、解析、委派,以及每一次都必须能用的预期。

我在 BIND 9 上运行权威区域,配置 DNSSEC,为 IPv4 和 IPv6 配置 F5 负载均衡器,后来又把 DNS 环境迁到 Cloudflare,用 API 自动化并集成 Let’s Encrypt。 我在英国和中国都为集群部署搭建过 PXE 启动的 DNS 基础设施。 DNS 的两面我都懂。 自托管,每一次故障都是你自己的。 托管,你在信任一家服务商,并且需要通过监控来验证这份信任。

DNS 之外,网络贯穿了我做过的每一份工作。 VLAN、bonding、LACP,Brocade 上的光纤通道分区,Fortinet 和 Cisco ASA 防火墙,IPTables 和 IPset。 25GbE 和 100GbE 网络结构设计、BGP、OSPF 动态路由、MTU 管理、IPv6 架构。 VPN 隧道:从跨越困难国际链路的 OpenVPN,到用于现代安全访问的 WireGuard 和 cloudflared。 Samba 也在好几份工作里是我的专业技能,早在我在 alpha 阶段测试它的 AD 实现之前,就一直在打通 Linux 文件共享和 Windows 域集成。

Ceph 集群是一个网络应用。 存储性能的天花板,由它底下的网络决定。 它的故障模式就是网络的故障模式。 这不是你从课本上学来的东西。 这是你凌晨两点排障时学来的东西。

Linux

二十多年来,我在 RHEL、Debian、SUSE 和 Fedora 几个家族之间工作。 在工作中,这意味着用 RHEL 和 CentOS 跑线上服务,用 Ubuntu 托管应用,用 Rocky 跑 HPC,个人则用 Gentoo 和 Fedora。 我通过了 LinkedIn 的 Linux 技能评估。

深度来自那些在 Stack Overflow 上找不到答案的问题。正是在那里,你才会真正学懂 PCI 子系统,而不是道听途说:IOMMU 组、ACS、VFIO、SR-IOV、Resizable BAR,以及 DMA 地址转换在悄悄让你付出什么代价;还有内核启动参数,它们是改变机器行为的控制项,而不是因为某人的博客说它修好了他的问题,就从 wiki 上照抄的一串列表。

存储和虚拟化的性能问题,几乎总能追溯到一个没人看过的层。 我的 Linux 知识就住在那里。

Windows

我现在的时间都花在 Linux 上,但 Windows 这一面同样真实,我做过的每一份工作里都有它。 Windows Server、Active Directory、LDAP、Exchange、IIS、Microsoft SQL Server。 这些都不是我已经放下的过时技能。

它在客户机层面很重要,而大多数人恰恰就在那里停止了查看。 当一个 Windows 负载跑在 KVM 上,能告诉你这台客户机在某种 CPU 拓扑下怎样表现、能把一次性能投诉追溯到某个 Microsoft 补丁而不是怪罪虚拟化层的人,是那个在篱笆两边都待了好些年的人。 我见过的大多数虚拟机性能争论,赢的人靠的是懂客户机,而不是懂宿主机。

我支持过的人,从教授和董事会成员,到负责大楼的后勤团队都有。 每种情况下工作都是一样的。 弄清楚他们实际需要什么,让它跑起来,再用一种不让他们觉得自己问了蠢问题的方式解释清楚。

VMware

VMware 是我在职业上一路成长起来的平台,从 2008 年起跨了七份工作,而且我跑过它的完整技术栈:ESXi、vCenter、vSAN、vSphere 集群、vMotion。 我知道它擅长什么。 也知道它不擅长什么。 我还亲眼看着 Broadcom 的收购改写了那些把整个环境建在它上面的机构脚下的商业现实,这和读新闻是两回事。

一个你从没正经用过的平台,你没法帮别人离开它。 正因如此,我能告诉他们放弃的是什么,得到的是什么,以及迁移的哪一部分会比别人让他们预期的更难。

自动化

自动化思维始于 2006 年我的第一份正式工作。 在 McKenna 用 VB 脚本自动化 AD 驱动器映射、打印机分配和软件部署。 然后在 BT Engage IT 做从人事系统到 AD 的账户开通工具。 然后在 Sondrel 为无盘计算集群做 PXE 启动系统。 然后在 Nominet 用 Puppet。 然后在一家零售公司做 Chocolatey 打包和 PXE 重建。 然后在好几份工作里定制 ServiceNow 工作流。

现在是 Ansible 配合 Netbox 作为唯一可信数据源。 不是因为它们时髦,而是因为不能从代码重建的基础设施,不是你能信任的基础设施。

文档是同一个道理。 只存在于某个人脑子里的知识,是一个单点故障,五点钟一到,它就跟着其他人一起走出大楼。 这和一块背后没有冗余的硬盘一样,应该同样严肃地对待。

监控

我的监控经历始于 Pulsant 的 SolarWinds,在整个托管环境上做大规模监控。 Zabbix 来得晚一些,它值得单独一提,因为从那以后我几乎在每个地方都部署了它。 它始于 Nominet:我在那里负责了招标和测试,然后把我们迁到 Zabbix,替换老化的 VMware Hyperic。它赢在真正直观,而不是又一个底下套着 Nagios 的东西。 之后我在一个托管和基础设施平台上从零部署了它,在零售业替换了别人失败的尝试,又在 UKCEH 用它监控一个 8 节点的 HPC 集群。

每一次,监控模板都是我设计的,脚本都是我写的。 到 2018 年我参加 Zabbix Specialist 和 Professional 考试的时候,我已经部署它好几年了。

沟通

在关键基础设施领域工作,教会你精确。 在售前工作,教会你清楚。 这两者相关,但不是一回事。

如果听的人跟不上推理,精确就一文不值,所以我不得不学会把同一个解释讲两遍:一遍给想看 CRUSH map 的工程师,一遍给要签字确认预算为什么是这个数的人。 我什么都不往简单里糊弄。 我只是把推理的每一步都摆出来,让他们想在哪儿打断我就在哪儿打断。

多年和最终用户打交道,教会了我另一种耐心。 自认为是屋里最聪明的人,往往表现得最无助。 一开口就说“我不太懂技术”的人,往往会认真听、照着步骤做,十分钟就搞定了。 而那些告诉你他们完全知道自己在干什么的人,通常在拿起电话之前就已经把事情弄得更糟了。

业务系统的背景在这里帮的忙比人们想象的大,因为我一直得在两个方向上翻译。 给运营经理讲 SQL 架构,给 CTO 讲存储设计,或者坐在某人自己的工位旁,给他看那个从来没人给他看过的东西。 每次都是同一种技能。

社区

分享知识贯穿了我的整个职业生涯。

我从源码构建系统、需要弄懂为什么某个 USE 标志组合会让编译失败的时候,在 Gentoo 论坛上很活跃。 我在 Linux 和 Windows 之间处理文件共享和域集成问题的时候,在 Samba 论坛上做过贡献。 那不只是提问。 在 AD 支持还处于 alpha 阶段时,我就搭了一个基于 Samba 的 Active Directory 域控制器。 我用 Windows 2000、XP 和 Vista 客户端测试它,并把结果反馈给社区。

现在我以 DamienDye 的名字在 Proxmox 社区论坛 上积极贡献。 我帮人解决 NVMe 直通性能、Windows 虚拟机调优、Ceph 排障和集群网络的问题。

技术在变。 原则不变。 一个问题我弄明白了,捂着它没有任何好处,而六个月后某个凌晨两点的人会庆幸它被写了下来。

我还有个习惯:对问题的深挖往往超出任务严格需要的程度。 我设计过一块 DIY 的 NVMe 掉电保护板,因为我想确切弄懂 FTL 损坏在硬件层面为什么会发生。 我研究过自托管的邮件协议,因为我想从 RFC 起弄懂 JMAP,而不是只信任一家服务商。 我建这个博客,是因为把事情好好写下来,正是你发现自己理解中空白的方法。

键盘之外的社区

并不全是论坛。

2018 年,我是 Banbury 的 Longford Park Community Association 的创始人之一,就在我住的那个小区。 四期新建住宅,规划里写进了一个社区中心,却根本没有任何组织来运营它。 于是几个住户自己搭了个班子。

我先做的是 IT 这一头,因为那是我能拿出来的。 lpca.org.uk 这个域名在 2018年1月上线,在它背后,我搭了网站、邮件系统和委员会邮件列表,还写了隐私政策。

我从一开始就在委员会里,并在 2018年12月到 2020年2月担任主席。 十四个月,真正要紧的事都落在了这段时间里。 我们在 2019年2月11日让它注册成为慈善机构,编号 1181953。 我搞定了这栋楼的商业租约。 然后我们把中心开了起来。

主席就是为这个而设的。 不是议程和会议纪要。 而是让一栋几百户人家都能走进去的楼开门。 住户志愿者至今仍在为这个开发项目的第 1 到第 4 期运营它:三个房间、一个厨房和一个停车场,按小时出租给小区里任何想用的人。

志愿者委员会靠善意运转,而善意不是一种治理模式。 所以我让大家遵守章程,包括我自己。 章程说要动员住户,我就问为什么要从外面招人;有一封要发出去的通知会落进小区里每个人的垃圾邮件文件夹,我就把它拦了下来。 不是为了找茬。 一个联系不上住户的住户协会,已经在它唯一的工作上失败了,所以我在提意见的同时,把修复的链接也一起发了过去。

中心至今还开着,而我已经不在委员会里了,这才是对的顺序。 任何只有你站在那里撑着才能运转的东西,从来就没有被好好建起来。

这个网站

这个博客是一个 Hugo 静态网站,使用 PaperMod 主题。 它托管在 Cloudflare Workers 上,把构建好的网站作为静态资源提供。

我在这里写我日常打交道的基础设施:Proxmox VE、Ceph、Ansible、Netbox、证书,以及那一周我正在深挖的任何东西。 它是写来用的,里面有命令,有数字,因为一篇你没法坐在键盘前照着做的文章,只是装饰。 没有营销废话。 如果有东西还有毛边,文章会直说。

联系我

你可以在 LinkedIn 或 Proxmox 论坛 上找到我。

如果你正在为你那里考虑 Ceph 或 Proxmox,想要一次正经的交流而不是一场推销,给我留个言。 带上你实际有的负载、约束和预算。 我会告诉你它能做什么,不能做什么;如果诚实的答案是你应该保留现有的东西、把它好好配置起来,你也会得到这个答案。