O switch que não compras

Um cluster Proxmox de três nós com Ceph quer uma rede rápida entre os nós. A resposta habitual é um switch de 100 Gbit, e a objeção habitual é quanto custa.

Para três nós há outra resposta: liga-os diretamente uns aos outros em triângulo e encaminha através dele. Nenhum switch no caminho do armazenamento.

O componente mais barato de qualquer desenho é aquele que não compras, e é o único que nunca avaria.

Isso compra quatro coisas.

O custo do switch desaparece. Precisas de placas de rede e de três cabos, não de um switch de 100 ou 200 Gbit com o número de portas a condizer.

O caminho dos dados não tem um ponto único de falha. Um switch que avaria ou reinicia leva consigo todo o tráfego leste-oeste do cluster. Nós ligados diretamente uns aos outros não querem saber do que acontece a um switch noutro ponto do edifício.

O tráfego pesado tem os seus próprios fios. A migração em direto e a replicação do Ceph ficam na mesh em vez de competirem com o tráfego do escritório e de gestão.

Crescer é um trabalho de cablagem, não de orçamento de portas. Não há uma caixa central a servir de teto à largura de banda ou ao número de portas, por isso a fabric cresce enquanto cada servidor tiver uma ranhura PCIe livre. O OpenFabric encaminha pelas novas ligações sozinho.

E um limite honesto, porque importa mais do que os quatro benefícios. Uma mesh completa precisa de um cabo entre cada par de nós. Três nós são três cabos. Quatro são seis. Cinco são dez. A cablagem cresce mais depressa do que o número de nós, e este desenho não sobrevive para lá de um cluster pequeno sem passar para algo comutado, como leaf-spine.

Três nós é exatamente onde uma mesh completa faz sentido. Para lá disso, com duas portas de mesh por nó, o que ainda consegues construir é um anel — e isso precisa de uma coisa que esta montagem evita de resto, explicada mais abaixo.

O que se constrói

Três anfitriões Proxmox VE, cada um com duas interfaces de 100 Gbit dedicadas, cablados em triângulo para que cada nó tenha dois vizinhos diretos.

O SDN do Proxmox trata do encaminhamento. O OpenFabric é o protocolo: calcula o melhor caminho pela mesh e, quando um cabo é puxado ou uma ligação cai, reencaminha pelo caminho que resta. Ninguém faz login.

A fabric vive em 10.10.10.0/24, reservado para a mesh e para mais nada — nem gestão, nem convidados, nem endereçamento de armazenamento, nem nada externo.

NóEndereço na meshInterfaces da mesh
mesh110.10.10.1/32nic1, nic2
mesh210.10.10.2/32nic1, nic2
mesh310.10.10.3/32nic1, nic2

Cada nó recebe um /32, não uma fatia da sub-rede. É esse o sentido de uma mesh encaminhada em vez de uma em ponte. O endereço identifica o nó, o OpenFabric anuncia-o e as duas ligações físicas são apenas caminhos para lá chegar. O Proxmox cria uma interface de loopback dummy para o guardar.

O triângulo de três nós, e em que NIC chega cada caboswitch de 2,5 Gbitgestão + clientesmesh110.10.10.1/32mesh210.10.10.2/32mesh310.10.10.3/32DAC-01nic1 ↔ nic1DAC-03nic2 ↔ nic2DAC-02mesh2 nic2 ↔ mesh3 nic1nic0nic0nic0Cada nó chega aos outros dois diretamente, por isso cada salto na mesh é um salto. As ligações nic0tracejadas são o caminho de gestão de 2,5 Gbit à parte — nunca parte da fabric, e a razãopor que ainda consegues entrar se a mesh estiver partida.
Três cabos, seis portas e dois caminhos para cada nó. Puxa um cabo qualquer e todos os nós continuam alcançáveis — as duas ligações que restam formam uma cadeia que o OpenFabric contorna.

A cablagem

Cabos DAC de fibra ativa, em triângulo, com jumbo frames ativadas nas duas interfaces da mesh em todos os nós.

CaboDePara
DAC-01mesh1 nic1mesh2 nic1
DAC-02mesh2 nic2mesh3 nic1
DAC-03mesh3 nic2mesh1 nic2

Fibra ativa em vez de DAC de cobre, por duas razões que têm a ver com o bastidor e não com a rede:

  • Gestão de cabos. Os DAC de fibra ativa são mais finos e muito mais flexíveis do que os de cobre, por isso passam de forma limpa e não se amontoam atrás dos servidores.
  • Fluxo de ar. Menos volume de cabos atrás do chassis significa menos perturbação do fluxo de ar da frente para trás, o que importa quando várias ligações de alta velocidade chegam às mesmas poucas unidades de bastidor.

Duas redes, não uma

A mesh não é a única rede, e não pode passar a sê-lo.

Cada nó tem a nic0 num switch de 2,5 Gbit, apresentada ao Proxmox como a bridge vmbr0. Essa transporta a interface web, o acesso de administração e o tráfego dos clientes. É também o caminho que usas enquanto constróis a fabric, e é por isso que tem de ser independente dela.

A nic0 fica deliberadamente de fora da fabric. Só a nic1 e a nic2 são selecionadas quando se criam os nós da fabric.

A mesh transporta três coisas:

  • Ceph. Replicação, recuperação e backfill de nó para nó para o armazenamento hiperconvergente.
  • Rede virtual dos clientes. VNets suportadas por VXLAN estendem as redes dos convidados pelos três nós, usando a mesh encaminhada como underlay.
  • Corosync, como segundo caminho. O tráfego de pertença ao cluster corre pela rede de gestão e pela mesh, por isso o quórum não depende de nenhuma delas sobreviver sozinha.
O que vai pela rede de gestão, o que vai pela mesh, e a única coisa nas duasRede de gestão de 2,5 Gbitnic0 → vmbr0 → switchInterface web do ProxmoxAcesso de administraçãoTráfego dos clientesMesh encaminhada de 100 Gbitnic1 + nic2 → DAC direto, sem switchReplicação, recuperação e backfill do CephRedes virtuais de clientes VXLANMigração em diretoCorosync — os dois caminhosA pertença ao cluster não depende de nenhuma das redes sobreviver sozinha.A separação é o desenho. A gestão continua alcançável seja qual for o estado das interfacesde 100 Gbit, e é isso que torna seguro construir — e reverter — a fabric a partir da interfaceweb.
O Corosync é a única coisa que está nas duas. Tudo o resto tem exatamente uma casa — e o acesso de gestão é o que tem de continuar a funcionar enquanto mexes no outro.

A regra que vale a pena escrever no pedido de alteração: o acesso de gestão e dos clientes fica disponível através do switch de 2,5 Gbit em todos os momentos, seja qual for o estado das interfaces de 100 Gbit.

Tudo pela interface web

Esta montagem é feita inteiramente na interface web do Proxmox. É uma escolha deliberada, não um limite das ferramentas.

Não usado, de propósito:

  • Editar /etc/network/interfaces à mão.
  • Editar ficheiros de configuração do FRR à mão.
  • O vtysh como método de montagem.

O Proxmox gera a configuração de rede e de encaminhamento subjacente a partir dos objetos SDN que defines. Se alguma coisa genuinamente não puder ser definida na interface, vale a pena apontá-la como pré-requisito em vez de a corrigir às escondidas na linha de comandos. A próxima pessoa a abrir a interface web não vai saber que o fizeste.

A saída da linha de comandos aparece abaixo apenas como prova, nunca como passo de montagem.

A montagem

1. Abre a interface web do Proxmox e vai a Datacentre → SDN → Fabrics.

Vista Datacenter SDN Fabrics do Proxmox com o botão Add Fabric

2. Adiciona a fabric. Dá-lhe um nome, o prefixo da mesh e define os temporizadores.

Diálogo Create OpenFabric com Name definido como Mesh, IPv4 Prefix 10.10.10.0/24, Hello Interval 1 e CSNP Interval 1

Intervalos de Hello e CSNP de 1 atualizam o estado o mais depressa possível quando algo muda, que é o que queres numa fabric tão pequena. O custo é mais conversa no plano de controlo. Irrelevante com três nós e duas ligações cada, merece uma segunda reflexão se a fabric alguma vez crescer.

3. Adiciona cada nó com Add node. Dá-lhe um endereço da gama da mesh e marca as interfaces que participam.

Diálogo Create Node para mesh1 com IPv4 10.10.10.1 e nic1 e nic2 selecionadas

Repara no que não está marcado: a nic0 fica de fora e a vmbr0 mantém o endereço de gestão. Usa Create another para os dois primeiros nós e Create no último.

4. Verifica o resultado antes de o aplicar.

Lista de fabrics com a fabric Mesh a usar OpenFabric em 10.10.10.0/24 com mesh1, mesh2 e mesh3 em 10.10.10.1, .2 e .3, cada um a usar nic1 e nic2

Três nós, três endereços, nic1, nic2 em cada um, todos marcados new — ainda nada foi escrito.

5. Aplica a configuração SDN.

Vista SDN Status com os botões Apply e Dry-Run, a mostrar o estado da zona ok nos três nós

Há um Dry-Run ao lado de Apply se preferires ver primeiro o que ele tenciona fazer.

Saber que funcionou

A vista de estado deve mostrar as entradas de zona e de fabric ok nos três nós, e nenhuma alteração pendente por aplicar.

SDN Status com as entradas de zona e de fabric no estado ok em mesh1, mesh2 e mesh3

Depois verifica a fabric do ponto de vista do próprio nó. Primeiro as rotas — cada nó deve ter um /32 para cada um dos outros, e a coluna Via diz-te que vizinho está a usar.

Fabric Mesh no nó mesh1, separador Routes com 10.10.10.2/32 via 10.10.10.2 e 10.10.10.3/32 via 10.10.10.3

A seguir os vizinhos. Dois, ambos Up, num triângulo de três nós.

Fabric Mesh no nó mesh1, separador Neighbors com mesh2 e mesh3 ambos Up

Depois as interfaces, que é onde se vê a forma da coisa: dummy_Mesh como o loopback que guarda o endereço do router, e a nic1 e a nic2 como Point-To-Point em vez de segmentos de broadcast.

Fabric Mesh no nó mesh1, separador Interfaces com dummy_Mesh como Loopback e nic1 e nic2 como Point-To-Point, todas Up

Por fim, prova-o de ponta a ponta.

Shell no nó mesh1 a fazer ping a 10.10.10.2 e 10.10.10.3, quatro pacotes cada, 0% de perda de pacotes, tempo de ida e volta médio de 0,134 ms e 0,141 ms

Sem perdas, e médias de 0,134 ms e 0,141 ms. Os dois vizinhos estão a um salto direto de distância, que é o que um triângulo te dá.

A verificação que vale a pena fazer e que nenhuma captura de ecrã consegue mostrar: puxa um cabo e confirma que tudo continua alcançável. É essa a razão de ser de escolher uma mesh encaminhada em vez de um par de ligações ponto a ponto. Como tal, é o único teste que importa.

Para lá de três nós: o anel

Um triângulo é uma mesh completa. Cada nó tem um cabo direto para todos os outros, cada salto é um salto, e nenhum nó transporta tráfego que não seja seu.

É essa propriedade que duas portas de mesh por nó te compram com três nós, e é exatamente o que perdes com quatro. Não parte dela. Toda ela. Uma mesh completa de quatro nós precisa de três portas cada. Com duas, o máximo que consegues cablar é um anel.

Um anel muda o modelo de tráfego. Os nós adjacentes continuam a ter um cabo direto, mas os nós em lados opostos do anel não — o tráfego deles tem de atravessar um nó intermédio. E esse nó tem de estar disposto a reencaminhar pacotes entre as suas duas interfaces da mesh, coisa que o Linux não faz por omissão. O kernel documenta o ip_forward como «Forward Packets between interfaces» com um «Default: 0 (disabled)».

Um anel de quatro nós: os nós opostos não têm cabo, por isso um nó reencaminha por elesmesh110.10.10.1mesh2reencaminhamesh310.10.10.3mesh410.10.10.4mesh1 → mesh3sem cabo entre elespor isso atravessa mesh2nó de trânsitoreencaminha entrenic1 e nic2Mesh completa com 4 nós6 cabos, 3 portas por nósem trânsito nem reencaminhamentoAnel: 4 cabos, 2 portas —e é por isso que aqui estásDois dos seis pares de nós não têm cabo direto. O tráfego deles é levado por um vizinho, o quesignifica que as ligações desse vizinho levam a replicação Ceph de outros nós além da sua — ocusto que o triângulo não tem.
Entre mesh1 e mesh3 não há cabo. O tráfego atravessa mesh2 ou mesh4, e esse nó só o reencaminha porque o reencaminhamento está ativado nas duas interfaces por onde chega.

Ativa-o nas interfaces da mesh, e só nessas:

# /etc/sysctl.d/99-mesh-forwarding.conf
net.ipv4.conf.nic1.forwarding = 1
net.ipv4.conf.nic2.forwarding = 1
sysctl --system

Lê-os de volta em vez de presumir:

sysctl net.ipv4.conf.nic1.forwarding net.ipv4.conf.nic2.forwarding

A definição por interface é o âmbito certo aqui, e funciona sozinha. O net.ipv4.ip_forward global não é pré-requisito. A decisão de reencaminhamento do kernel lê o valor próprio da interface que recebe:

#define IN_DEV_FORWARD(in_dev)   IN_DEV_CONF_GET((in_dev), FORWARDING)

O IN_DEV_CONF_GET devolve a definição desse dispositivo, não um AND com a global. Assim, a nic1 e a nic2 reencaminham tráfego de trânsito para a fabric enquanto a nic0 e a vmbr0 ficam exatamente como devem ser: interfaces do anfitrião que não encaminham. Ligar o interruptor global faria de todas as interfaces da máquina um router, incluindo a que está virada para a rede do escritório. É coisa de que este desenho não precisa para nada.

Uma coisa a saber sobre o interruptor global do IPv4, mesmo não o definindo: o net.ipv4.ip_forward é um definidor em massa, e é por isso que a documentação do kernel avisa que alterá-lo «resets all configuration parameters to their default state». Se alguma outra coisa no anfitrião o escrever, sobrepõe-se a estes valores por interface. Vale a pena saber antes de passares uma tarde a perceber porque é que o trânsito deixou de funcionar.

O IPv6 é a exceção, e é o único sítio onde o interruptor global tem lugar. A documentação do kernel di-lo diretamente em conf/all/forwarding:

Enable global IPv6 forwarding between all interfaces. IPv4 and IPv6 work differently here; the force_forwarding flag must be used to control which interfaces may forward packets.

Por isso não há equivalente IPv6 da abordagem arrumada por interface acima. Se a fabric transportar IPv6, ativas o reencaminhamento globalmente e depois limitas o âmbito com force_forwarding, documentado como «Enable forwarding on this interface only — regardless of the setting on conf/all/forwarding». Repara que o mesmo comportamento de sobreposição se aplica ao contrário: pôr conf.all.forwarding a 0 repõe o force_forwarding em todas as interfaces.

A montagem acima deixa vazio o prefixo IPv6 da fabric, por isso nada disto se aplica aqui — só importa se acrescentares um.

Repara no que o reencaminhamento não muda: o OpenFabric já estava a anunciar o /32 de cada nó e já estava a calcular o caminho pelo anel. O reencaminhamento é a permissão em falta, não o cérebro em falta. A tabela de encaminhamento esteve sempre certa. O kernel estava simplesmente a recusar-se a fazer de router.

O que o anel custa, comparado com o triângulo:

  • Tráfego de trânsito. Num anel de quatro nós, os dois pares diagonais atravessam um nó intermédio, por isso o tráfego deles consome a largura de banda das ligações desse nó além da sua própria. O Ceph é o primeiro a notar, porque a replicação é de todos para todos e não de vizinho para vizinho.
  • Um salto extra de latência nesses caminhos, por cima dos valores habituais abaixo do milissegundo do desenho sem switch.
  • Menos margem para falhas. Uma ligação partida transforma um anel numa cadeia: continua totalmente ligada, mas com caminhos mais longos e mais trânsito. Uma segunda quebra parte o cluster. Um triângulo tolera uma quebra sem trânsito nenhum.

E piora de uma forma que é mais fácil de desenhar do que de descrever. Junta um quinto nó e metade de todos os pares de nós do cluster dependem de alguém que reencaminhe:

Um anel de cinco nós: metade dos pares de nós depende agora de outro que reencaminhemesh1mesh2mesh3mesh4mesh5cabo — direto, um saltosem cabo — um vizinho reencaminhaCinco nós, duas portas cada10 pares de nós no total5 têm um cabo direto5 não têm, e transitam por um vizinhoCada nó reencaminha agora tráfegoque não é seu.E uma mesh completa?10 cabos, e 4 portas por nó— mais duas NIC em cada servidor,que é onde o desenho para.Com três nós nada transita. Com quatro, dois pares. Com cinco, metade deles — e uma únicaquebra alonga todos os caminhos.
Dez pares de nós, cinco cabos. As linhas tracejadas são pares sem cabo entre eles — cada um desses é tráfego Ceph a passar pelas ligações de um terceiro nó. A mesh completa que o evitaria quer quatro portas por servidor.

Esse é o verdadeiro teto deste desenho, e não é o protocolo de encaminhamento. O OpenFabric aguenta-se bem. É que as portas por nó são fixas, por isso, a partir de três nós, cada máquina nova converte mais do teu tráfego em trânsito de outro.

E a nota honesta, porque importa numa montagem que até aqui foi só pela interface web: um sysctl não é uma ação da interface web. Pela regra definida antes, isso faz dele um pré-requisito a apontar em vez de algo a corrigir às escondidas na linha de comandos — escreve-o no runbook, porque a próxima pessoa a abrir o painel SDN vai ver uma fabric saudável e nenhum indício de que um anel depende de um ficheiro em /etc/sysctl.d.

Desfazer

A remoção é a montagem ao contrário, na mesma interface: apaga os objetos SDN criados para a mesh, aplica a configuração e confirma que o acesso de gestão não foi tocado.

Esse último passo é a razão de existirem a nic0 e o switch de 2,5 Gbit. Se reverter a mesh te pudesse custar a interface web, o desenho estava errado antes de começares.

Antes de começares

  • O acesso de gestão é genuinamente independente da mesh. Verifica-o, não o presumas.
  • Os três nós estão saudáveis antes de qualquer alteração SDN.
  • Os nomes dos nós, os nomes das interfaces e a cablagem estão escritos, porque a nic1 de um anfitrião ser a nic2 de outro é uma tarde má.
  • As jumbo frames estão definidas nas duas interfaces da mesh, e a MTU tem em conta o overhead do VXLAN no underlay.
  • A gama da mesh está reservada e não está em uso em mais lado nenhum.

Referências

  • Proxmox VE — Software-Defined Network — a documentação das SDN Fabrics. As fabrics «provide automated routing between nodes in a cluster», o OpenFabric é «based on IS-IS and optimized for the spine-leaf topology common in data centers», cada nó precisa de um Router-ID único, e «a dummy ’loopback’ interface with the router-id is automatically created»
  • Proxmox VE — Cluster Manager — a rede do Corosync e as ligações redundantes, por trás do desenho de pertença com dois caminhos
  • Proxmox VE — Deploy Hyper-Converged Ceph Cluster — as expectativas de rede para um cluster hiperconvergente
  • Linux kernel — IP sysctl documentation — o ip_forward e o seu valor por omissão de 0, o controlo forwarding por interface, e o aviso de que alterar o interruptor global repõe a configuração por interface