你不用买的那台交换机

一个跑 Ceph 的三节点 Proxmox 集群,节点之间需要快速网络。 常见的答案是一台 100 Gbit 交换机,常见的反对理由是它的价格。

对三个节点还有另一个答案:把它们直接互连成三角形,在上面做路由。 存储路径上根本没有交换机。

任何设计里最便宜的部件,就是你没买的那个,也只有它永远不会坏。

这换来了四样东西。

交换机的成本没了。 你需要的是网卡和三根线,而不是一台端口数相配的 100 或 200 Gbit 交换机。

数据路径没有单点故障。 一台交换机坏了或者重启,整个集群的东西向流量就跟着没了。 直接互连的节点不在乎楼里别处的交换机出了什么事。

重流量走自己的线。 实时迁移和 Ceph 复制留在网格上,不和办公、管理流量抢。

扩容是接线的活,不是端口预算的活。 没有一个中心设备充当带宽或端口数的天花板,所以只要每台服务器还有空闲 PCIe 插槽,这个网络就能长。OpenFabric 会自己在新链路上做路由。

还有一个老实话里的限制,因为它比那四个好处更重要。 全网格需要每两个节点之间都有一根线。 三个节点三根线。四个节点六根。五个节点十根。 接线增长得比节点数快,这个设计撑不过小集群,再往上就得换成有交换机的方案,比如 leaf-spine。

三个节点正是全网格合理的地方。再往上,每个节点只有两个网格端口,你还能搭的是一个环,而它需要一样这次搭建本来避开的东西,下面会讲。

搭出来的是什么

三台 Proxmox VE 主机,每台有两个专用的 100 Gbit 接口,接成三角形,这样每个节点都有两个直接邻居。

Proxmox SDN 负责路由。 协议是 OpenFabric:它算出网格上的最佳路径,拔掉一根线或者一条链路掉了,它就通过剩下的路径重新路由。不需要任何人登录。

这个网络在 10.10.10.0/24 里,专门留给网格,别的什么都不用:不做管理,不给客户机,不做存储寻址,也不对外。

节点网格地址网格接口
mesh110.10.10.1/32nic1, nic2
mesh210.10.10.2/32nic1, nic2
mesh310.10.10.3/32nic1, nic2

每个节点得到一个 /32,而不是子网的一段。 这正是路由网格而非桥接网格的意义所在。地址标识节点,OpenFabric 通告它,两条物理链路只是到达它的路径。 Proxmox 会创建一个 dummy 环回接口来承载它。

三节点三角形,以及每根线接在哪块网卡上2.5 Gbit 交换机管理 + 客户mesh110.10.10.1/32mesh210.10.10.2/32mesh310.10.10.3/32DAC-01nic1 ↔ nic1DAC-03nic2 ↔ nic2DAC-02mesh2 nic2 ↔ mesh3 nic1nic0nic0nic0每个节点都直达另外两个,所以网格里每一跳都只有一跳。虚线的 nic0 链路是独立的 2.5 Gbit 管理路径:从不属于网格,也正因为它,网格坏了你仍然能登录。
三根线,六个端口,到每个节点都有两条路径。随便拔掉一根线,每个节点仍然可达:剩下两条链路组成一条链,OpenFabric 会绕过去路由。

接线

有源光纤 DAC 线缆,接成三角形,每个节点的两个网格接口都开启巨型帧。

线缆从到
DAC-01mesh1 nic1mesh2 nic1
DAC-02mesh2 nic2mesh3 nic1
DAC-03mesh3 nic2mesh1 nic2

选有源光纤而不是铜缆 DAC,有两个理由,都关乎机柜而不是网络:

  • 理线。 有源光纤 DAC 比铜缆细得多,也软得多,走线整齐,不会在服务器背后堆成一团。
  • 风道。 机箱背后的线少了,对前进后出风道的干扰就少,几条高速链路落在同几个 U 里时,这一点很要紧。

两张网,不是一张

网格不是唯一的网络,也绝不能变成唯一的网络。

每个节点的 nic0 接在一台 2.5 Gbit 交换机上,在 Proxmox 里呈现为 vmbr0 网桥。 它承载 Web 界面、管理访问和客户流量。它也是你搭建网格时用的路径,所以它必须独立于网格。

nic0 被刻意排除在网格之外。 创建网格节点时只选 nic1 和 nic2。

网格承载三样东西:

  • Ceph。 超融合存储的节点间复制、恢复和回填。
  • 客户虚拟网络。 基于 VXLAN 的 VNet 把客户机网络延伸到三个节点上,用路由网格做底层。
  • Corosync,作为第二条路径。 集群成员流量同时走管理网络和网格,这样仲裁不依赖其中任何一条单独存活。
什么走管理网络,什么走网格,以及两边都走的那一样2.5 Gbit 管理网络nic0 → vmbr0 → 交换机Proxmox Web 界面管理访问面向客户的流量100 Gbit 路由网格nic1 + nic2 → 直连 DAC,无交换机Ceph 复制、恢复、回填VXLAN 客户虚拟网络实时迁移Corosync:两条路径集群成员关系不依赖任何一张网单独存活。分离本身就是设计。不管 100 Gbit 接口处于什么状态,管理始终可达,正因如此,从 Web 界面搭建网格、以及回滚网格,才是安全的。
只有 Corosync 两边都走。其他每样东西都只有一个归宿,而管理访问是你在改动另一张网时必须一直能用的那个。

值得写进变更单的规则:不管 100 Gbit 接口处于什么状态,管理和客户访问都始终通过 2.5 Gbit 交换机保持可用。

全部通过 Web 界面

这次搭建完全在 Proxmox Web 界面里完成。 这是有意的选择,不是工具的限制。

刻意不用的:

  • 手工编辑 /etc/network/interfaces。
  • 手工编辑 FRR 配置文件。
  • 用 vtysh 作为搭建方法。

Proxmox 根据你定义的 SDN 对象生成底层网络和路由配置。 如果某样东西确实没法在界面里设置,那应该把它作为前提条件明确指出来,而不是在命令行上悄悄修好。下一个打开 Web 界面的人不会知道你做过什么。

下面出现的命令行输出只作为证据,绝不是搭建步骤。

搭建过程

1. 打开 Proxmox Web 界面,进入 Datacentre → SDN → Fabrics。

Proxmox 数据中心 SDN Fabrics 视图,带 Add Fabric 按钮

2. 添加网格。给它起名,填上网格前缀,设置计时器。

Create OpenFabric 对话框,Name 设为 Mesh,IPv4 Prefix 为 10.10.10.0/24,Hello Interval 为 1,CSNP Interval 为 1

Hello 和 CSNP 间隔设为 1,在有变化时尽快更新状态,这正是这么小的网络想要的。 代价是控制面的消息更多。在三个节点、每个两条链路的规模上无关紧要,如果网络哪天长大了,值得再想一想。

3. 用 Add node 添加每个节点。从网格范围里给它一个地址,勾上参与的接口。

mesh1 的 Create Node 对话框,IPv4 为 10.10.10.1,选中 nic1 和 nic2

注意没勾的是什么:nic0 留在外面,vmbr0 保留管理地址。 前两个节点用 Create another,最后一个用 Create。

4. 应用之前先检查结果。

Fabrics 列表,显示 Mesh 网格在 10.10.10.0/24 上使用 OpenFabric,mesh1、mesh2、mesh3 分别在 10.10.10.1、.2、.3,各自使用 nic1 和 nic2

三个节点,三个地址,每个都是 nic1, nic2,全部标着 new,还什么都没写入。

5. 应用 SDN 配置。

SDN Status 视图,带 Apply 和 Dry-Run 按钮,三个节点的 zone 状态都是 ok

Apply 旁边有一个 Dry-Run,如果你想先看看它打算做什么的话。

怎么知道它成了

状态视图里,三个节点的 zone 和 fabric 条目都应该是 ok,也没有剩下待应用的改动。

SDN Status 显示 mesh1、mesh2、mesh3 上的 zone 和 fabric 条目状态都是 ok

然后从某个节点自己的角度检查网格。 先看路由:每个节点都应该有到其他每个节点的 /32,Via 列告诉你它用的是哪个邻居。

节点 mesh1 上的 Fabric Mesh,Routes 标签页显示 10.10.10.2/32 经 10.10.10.2,10.10.10.3/32 经 10.10.10.3

再看邻居。三节点三角形上有两个,都是 Up。

节点 mesh1 上的 Fabric Mesh,Neighbors 标签页显示 mesh2 和 mesh3 都是 Up

然后是接口,这里能看出整个东西的形状:dummy_Mesh 作为承载路由器地址的环回接口,nic1 和 nic2 是 Point-To-Point 而不是广播网段。

节点 mesh1 上的 Fabric Mesh,Interfaces 标签页显示 dummy_Mesh 为 Loopback,nic1 和 nic2 为 Point-To-Point,全部 Up

最后,端到端证明它。

节点 mesh1 上的 shell ping 10.10.10.2 和 10.10.10.3,各四个包,0% 丢包,平均往返 0.134 ms 和 0.141 ms

没有丢包,平均 0.134 ms 和 0.141 ms。 两个邻居都只隔一个直连跳,这正是三角形给你的。

值得做、却没有截图能显示的检查:拔掉一根线,确认一切仍然可达。 这正是选择路由网格而不是一对点对点链路的全部理由。因此,这是唯一要紧的测试。

超过三个节点:环

三角形就是全网格。每个节点到其他每个节点都有直连线,每一跳都只有一跳,没有哪个节点会承载不属于自己的流量。

这个特性是每节点两个网格端口在三个节点时换来的,到了四个节点就正好失去。不是失去一部分,是全部。四节点全网格每台需要三个端口。只有两个的话,你最多能接成一个环。

环改变了流量模型。相邻节点仍然有直连线,但环上相对的两个节点没有,它们的流量必须穿过一个中间节点。而那个节点必须愿意在它的两个网格接口之间转发数据包,Linux 默认不会这么做。内核文档把 ip_forward 描述为“Forward Packets between interfaces”,并且“Default: 0 (disabled)”。

四节点环:相对的节点之间没有线,由一个节点替它们转发mesh110.10.10.1mesh2转发mesh310.10.10.3mesh410.10.10.4mesh1 → mesh3两者之间没有线所以经过 mesh2中转节点在 nic1 和 nic2之间转发4 节点全网格6 根线,每节点 3 个端口无中转,无转发环:4 根线,2 个端口,所以你才读到这里六对节点中有两对没有直连线。它们的流量由邻居承载,也就是说邻居的链路除了自己的 Ceph 复制,还要承载别的节点的,这是三角形没有的代价。
mesh1 到 mesh3 没有线。它的流量穿过 mesh2 或 mesh4,而那个节点之所以转发,只是因为在流量进入的两个接口上开启了转发。

只为网格接口打开它,别的不开:

# /etc/sysctl.d/99-mesh-forwarding.conf
net.ipv4.conf.nic1.forwarding = 1
net.ipv4.conf.nic2.forwarding = 1
sysctl --system

读回来确认,而不是想当然:

sysctl net.ipv4.conf.nic1.forwarding net.ipv4.conf.nic2.forwarding

按接口设置在这里是正确的范围,而且它单独就能生效。全局的 net.ipv4.ip_forward 不是前提条件。内核的转发判断读的是接收接口自己的值:

#define IN_DEV_FORWARD(in_dev)   IN_DEV_CONF_GET((in_dev), FORWARDING)

IN_DEV_CONF_GET 返回的是该设备自己的设置,而不是和全局设置做与运算。所以 nic1 和 nic2 为网格转发过境流量,而 nic0 和 vmbr0 保持它们应有的样子:不做路由的主机接口。打开全局开关会让这台机器上的每个接口都变成路由器,包括面向你办公网络的那个。这个设计压根不需要这个。

关于全局 IPv4 开关,即使你不设置它,也有一件事要知道:net.ipv4.ip_forward 是一个批量设置项,所以内核文档警告说改变它会“resets all configuration parameters to their default state”。如果主机上有任何别的东西写了它,就会覆盖这些按接口的值。在你花一下午琢磨为什么过境流量不通之前,值得知道这一点。

IPv6 是例外,也是唯一需要全局开关的地方。 内核文档在 conf/all/forwarding 下直接这么说:

Enable global IPv6 forwarding between all interfaces. IPv4 and IPv6 work differently here; the force_forwarding flag must be used to control which interfaces may forward packets.

所以 IPv6 没有上面那种整洁的按接口做法。如果网格承载 IPv6,你就全局开启转发,然后用 force_forwarding 限定范围,文档里写的是“Enable forwarding on this interface only — regardless of the setting on conf/all/forwarding”。注意同样的覆盖行为反过来也成立:把 conf.all.forwarding 设为 0,会重置每个接口上的 force_forwarding。

上面的搭建把网格的 IPv6 前缀留空了,所以这些在这里都不适用,只有你加上一个时才要紧。

注意转发没有改变什么:OpenFabric 本来就在通告每个节点的 /32,本来就在算出穿过环的路径。转发是缺失的许可,不是缺失的脑子。路由表一直都是对的,只是内核不肯当路由器而已。

和三角形相比,环的代价:

  • 过境流量。 在四节点环上,两对对角节点要穿过一个中间节点,所以它们的流量除了占用自己的链路带宽,还占用那个节点的。Ceph 最先察觉,因为复制是全对全,而不是只在邻居之间。
  • 多一跳的延迟,在这些路径上,叠加在无交换机设计通常的亚毫秒数字之上。
  • 故障余量更小。 断一条链路,环就变成链:仍然全连通,但路径更长,过境更多。再断一条,集群就被分割。三角形断一条也完全没有过境流量。

而且它变糟的方式画出来比说出来容易。加上第五个节点,集群里每两个节点里就有一半要靠别人转发:

五节点环:一半的节点对要靠别人转发mesh1mesh2mesh3mesh4mesh5有线:直连,一跳无线:需要邻居转发五个节点,各两个端口共 10 对节点5 对有直连线5 对没有,经邻居中转每个节点现在都要转发不属于自己的流量。换成全网格?10 根线,每节点 4 个端口每台服务器多两块网卡,设计就到此为止了。三个节点时没有中转。四个节点时有两对。五个节点时一半都要中转,而且断一处,每条路径都变长。
十对节点,五根线。虚线是之间没有线的节点对:每一对都是 Ceph 流量穿过第三个节点的链路。能避免这一点的全网格要求每台服务器四个端口。

这才是这个设计真正的天花板,而且不是路由协议。OpenFabric 应付得很好。问题在于每节点的端口数是固定的,所以超过三个节点后,每多一台机器,就把你更多的流量变成别人的过境流量。

还有一句老实话,因为对一个到这里为止都只用 Web 界面的搭建来说它很重要:sysctl 不是 Web 界面里的操作。 按照前面立下的规则,这让它成为一个要明确指出的前提条件,而不是在命令行上悄悄修好的东西。把它写进运维手册,因为下一个打开 SDN 面板的人会看到一个健康的网格,却看不到任何提示说明这个环依赖 /etc/sysctl.d 里的一个文件。

撤销它

拆除就是把搭建倒过来,在同一个界面里:删除为网格创建的 SDN 对象,应用配置,确认管理访问没受影响。

最后这一步正是 nic0 和 2.5 Gbit 交换机存在的原因。 如果回滚网格可能让你失去 Web 界面,那这个设计在你动手之前就已经错了。

动手之前

  • 管理访问确实独立于网格。去检查,不要想当然。
  • 任何 SDN 改动之前,三个节点都是健康的。
  • 节点名、接口名和接线都写下来,因为一台主机上的 nic1 在另一台上是 nic2,那会是个糟糕的下午。
  • 两个网格接口都设置了巨型帧,并且 MTU 考虑了 VXLAN 在底层上的开销。
  • 网格地址范围已经保留,别处没有在用。

参考资料