Комутатор, якого ти не купуєш

Кластер Proxmox із трьох вузлів із Ceph хоче швидкої мережі між вузлами. Звична відповідь це комутатор на 100 Гбіт, а звичне заперечення це його ціна.

Для трьох вузлів є інша відповідь: з’єднай їх кабелями напряму один з одним трикутником і маршрутизуй через нього. Жодного комутатора на шляху зберігання взагалі.

Найдешевший компонент у будь-якій схемі той, якого ти не купуєш, і тільки він ніколи не ламається.

Це дає чотири речі.

Витрати на комутатор зникають. Потрібні мережеві карти і три кабелі, а не комутатор на 100 чи 200 Гбіт із відповідною кількістю портів.

Шлях даних не має єдиної точки відмови. Комутатор, який відмовляє або перезавантажується, забирає з собою весь трафік схід-захід кластера. Вузлам, з’єднаним напряму один з одним, байдуже, що діється з комутатором деінде в будівлі.

Важкий трафік іде своїми дротами. Жива міграція і реплікація Ceph лишаються в сітці, а не змагаються з офісним і керівним трафіком.

Розширення це робота з кабелями, а не з бюджетом портів. Немає центральної коробки, що ставить стелю для пропускної здатності чи кількості портів, тож фабрика росте, доки в кожному сервері є вільний слот PCIe. OpenFabric сам маршрутизує через нові лінки.

І одне чесне обмеження, бо воно важить більше, ніж чотири переваги. Повна сітка потребує кабелю між кожною парою вузлів. Три вузли це три кабелі. Чотири це шість. П’ять це десять. Кабелів стає більше швидше, ніж вузлів, і ця схема не виживає за межами невеликого кластера без переходу на щось комутоване, як-от leaf-spine.

Три вузли саме те місце, де повна сітка має сенс. Далі, з двома портами сітки на вузол, ти ще можеш побудувати кільце, а воно потребує однієї речі, якої ця збірка інакше уникає. Про неї нижче.

Що будуємо

Три хости Proxmox VE, кожен із двома виділеними інтерфейсами на 100 Гбіт, з’єднані трикутником, тож кожен вузол має двох прямих сусідів.

Маршрутизацією займається Proxmox SDN. Протокол OpenFabric: він визначає найкращий шлях через сітку, а коли кабель висмикнуто чи лінк падає, перемаршрутизує через шлях, що лишився. Ніхто не заходить на машини.

Фабрика живе в 10.10.10.0/24, відведеній лише для сітки і більше ні для чого: не для керування, не для гостьових систем, не для адресації сховища, не для чогось зовнішнього.

ВузолАдреса в сітціІнтерфейси сітки
mesh110.10.10.1/32nic1, nic2
mesh210.10.10.2/32nic1, nic2
mesh310.10.10.3/32nic1, nic2

Кожен вузол отримує /32, а не шматок підмережі. У цьому і суть маршрутизованої сітки замість мостової. Адреса ідентифікує вузол, OpenFabric її оголошує, а два фізичні лінки лише шляхи, щоб до неї дістатися. Proxmox створює для неї фіктивний loopback-інтерфейс.

Трикутник із трьох вузлів і на яку NIC приходить кожен кабельКомутатор 2,5 Гбіткерування + клієнтиmesh110.10.10.1/32mesh210.10.10.2/32mesh310.10.10.3/32DAC-01nic1 ↔ nic1DAC-03nic2 ↔ nic2DAC-02mesh2 nic2 ↔ mesh3 nic1nic0nic0nic0Кожен вузол дістає два інші напряму, тож кожен перехід у сітці один. Пунктирні лінки nic0 цеокремий шлях керування на 2,5 Гбіт: ніколи не частина фабрики, і саме тому ти все щезможеш зайти, якщо сітка зламана.
Три кабелі, шість портів і два шляхи до кожного вузла. Висмикни будь-який один кабель, і кожен вузол лишається досяжним: два лінки, що лишилися, утворюють ланцюжок, яким OpenFabric прокладе маршрут в обхід.

Кабелювання

Активні оптичні кабелі DAC, трикутником, з jumbo frames на обох інтерфейсах сітки на кожному вузлі.

КабельЗвідкиКуди
DAC-01mesh1 nic1mesh2 nic1
DAC-02mesh2 nic2mesh3 nic1
DAC-03mesh3 nic2mesh1 nic2

Активна оптика, а не мідний DAC, з двох причин, які стосуються стійки, а не мережі:

  • Укладання кабелів. Активні оптичні DAC тонші й набагато гнучкіші за мідні, тож їх легко прокласти і вони не накопичуються купою за серверами.
  • Потік повітря. Менше кабельної маси за шасі означає менше перешкод потоку повітря спереду назад, а це важливо, коли кілька швидкісних лінків сходяться в тих самих кількох юнітах стійки.

Дві мережі, а не одна

Сітка не єдина мережа, і вона не повинна нею стати.

Кожен вузол має nic0 на комутаторі на 2,5 Гбіт, представлений у Proxmox як міст vmbr0. Він несе вебінтерфейс, адміністративний доступ і клієнтський трафік. Це також шлях, яким ти користуєшся, поки будуєш фабрику, і саме тому він мусить бути від неї незалежним.

nic0 навмисно лишено поза фабрикою. Коли створюють вузли фабрики, вибирають лише nic1 і nic2.

Сітка несе три речі:

  • Ceph. Реплікація між вузлами, відновлення і backfill для гіперконвергентного сховища.
  • Віртуальні мережі клієнтів. VNet на основі VXLAN розтягують гостьові мережі на всі три вузли, використовуючи маршрутизовану сітку як underlay.
  • Corosync, як другий шлях. Трафік членства в кластері йде мережею керування і сіткою, тож кворум не залежить від того, чи виживе одна з них сама.
Що йде мережею керування, що йде сіткою, і єдине, що йде обомаМережа керування 2,5 Гбітnic0 → vmbr0 → комутаторВебінтерфейс ProxmoxАдміністративний доступКлієнтський трафікМаршрутизована сітка 100 Гбітnic1 + nic2 → прямий DAC, без комутатораРеплікація Ceph, відновлення, backfillКлієнтські віртуальні мережі VXLANЖива міграціяCorosync: обидва шляхиЧленство в кластері не залежить від того, чи виживе одна з мереж сама.Розділення і є схемою. Керування лишається досяжним, хай у якому стані інтерфейси 100 Гбіт,і саме це робить безпечним будувати фабрику з вебінтерфейсу, а такожвідкочувати її.
Corosync єдиний є на обох. Усе інше має рівно один дім, а керівний доступ це той, що мусить працювати, поки ти змінюєш інший.

Правило, яке варто записати в заявку на зміну: керування і клієнтський доступ лишаються доступними через комутатор на 2,5 Гбіт завжди, хай у якому стані інтерфейси на 100 Гбіт.

Усе через вебінтерфейс

Ця збірка зроблена повністю у вебінтерфейсі Proxmox. Це свідомий вибір, а не обмеження інструментів.

Навмисно не використовується:

  • Ручне редагування /etc/network/interfaces.
  • Ручне редагування файлів конфігурації FRR.
  • vtysh як спосіб збірки.

Proxmox генерує нижчу конфігурацію мережі й маршрутизації з об’єктів SDN, які ти визначаєш. Якщо щось справді не можна задати в інтерфейсі, це варто назвати передумовою, а не тихо виправляти в командному рядку. Наступна людина, що відкриє вебінтерфейс, не знатиме, що ти це зробив.

Вивід командного рядка нижче з’являється лише як доказ, ніколи як крок збірки.

Збірка

1. Відкрий вебінтерфейс Proxmox і перейди до Datacentre → SDN → Fabrics.

Вигляд Proxmox Datacenter SDN Fabrics із кнопкою Add Fabric

2. Додай фабрику. Дай їй назву, префікс сітки і задай таймери.

Діалог Create OpenFabric із Name Mesh, IPv4 Prefix 10.10.10.0/24, Hello Interval 1 і CSNP Interval 1

Інтервали Hello і CSNP зі значенням 1 оновлюють стан якомога швидше, коли щось змінюється, а це те, що треба на такій маленькій фабриці. Ціна: більше балачок на площині керування. На трьох вузлах із двома лінками кожен це неважливо, а якщо фабрика колись виросте, варто подумати ще раз.

3. Додай кожен вузол через Add node. Дай йому адресу з діапазону сітки і познач інтерфейси, що беруть участь.

Діалог Create Node для mesh1 з IPv4 10.10.10.1 і вибраними nic1 та nic2

Зверни увагу, що не позначено: nic0 лишається поза фабрикою, а vmbr0 зберігає адресу керування. Для перших двох вузлів використай Create another, а для останнього Create.

4. Перевір результат, перш ніж застосовувати.

Список Fabrics із фабрикою Mesh на OpenFabric у 10.10.10.0/24 з mesh1, mesh2 і mesh3 на 10.10.10.1, .2 і .3, кожен з nic1 і nic2

Три вузли, три адреси, nic1, nic2 на кожному, усе позначено new: нічого ще не записано.

5. Застосуй конфігурацію SDN.

Вигляд SDN Status із кнопками Apply і Dry-Run, статус зони ok на всіх трьох вузлах

Поруч з Apply є Dry-Run, якщо ти волієш спершу побачити, що воно збирається зробити.

Як знати, що все запрацювало

Вигляд статусу має показувати записи і зони, і фабрики як ok на всіх трьох вузлах, і жодних незастосованих змін.

SDN Status із записами зони і фабрики зі статусом ok на mesh1, mesh2 і mesh3

Потім перевір фабрику з погляду самого вузла. Спершу маршрути: кожен вузол повинен мати /32 до кожного з інших, а стовпчик Via каже, якого сусіда він використовує.

Fabric Mesh на вузлі mesh1, вкладка Routes з 10.10.10.2/32 via 10.10.10.2 і 10.10.10.3/32 via 10.10.10.3

Далі сусіди. Двоє, обидва Up, на трикутнику з трьох вузлів.

Fabric Mesh на вузлі mesh1, вкладка Neighbors з mesh2 і mesh3, обидва Up

Потім інтерфейси, і тут видно форму всієї штуки: dummy_Mesh як loopback, що тримає адресу маршрутизатора, а nic1 і nic2 як Point-To-Point, а не широкомовні сегменти.

Fabric Mesh на вузлі mesh1, вкладка Interfaces з dummy_Mesh як Loopback і nic1 та nic2 як Point-To-Point, усі Up

Нарешті доведи це від краю до краю.

Shell на вузлі mesh1 пінгує 10.10.10.2 і 10.10.10.3, по чотири пакети, 0% втрат, середній час обходу 0,134 мс і 0,141 мс

Без втрат, і середні 0,134 мс і 0,141 мс. Обидва сусіди за один прямий перехід, а це саме те, що дає трикутник.

Перевірка, яку варто зробити і якої не покаже жоден знімок екрана: висмикни один кабель і переконайся, що все лишається досяжним. Саме через це взагалі вибирають маршрутизовану сітку замість пари з’єднань точка-точка. Отож, це єдиний тест, що має значення.

Більше трьох вузлів: кільце

Трикутник це повна сітка. Кожен вузол має прямий кабель до кожного іншого, кожен перехід один, і жоден вузол ніколи не несе трафіку, що не його.

Ця властивість це те, що два порти сітки на вузол дають тобі на трьох вузлах, і саме її ти втрачаєш на чотирьох. Не частину. Усю. Повна сітка з чотирьох вузлів потребує трьох портів на кожен. З двома найбільше, що можна з’єднати, це кільце.

Кільце змінює модель трафіку. Сусідні вузли досі мають прямий кабель, а вузли на протилежних боках кільця ні: їхній трафік мусить перетнути проміжний вузол. І той вузол мусить бути готовий пересилати пакети між своїми двома інтерфейсами сітки, чого Linux за замовчуванням не робить. Ядро документує ip_forward як «Forward Packets between interfaces» з «Default: 0 (disabled)».

Кільце з чотирьох вузлів: протилежні вузли без кабелю, тож за них пересилає іншийmesh110.10.10.1mesh2пересилаєmesh310.10.10.3mesh410.10.10.4mesh1 → mesh3між ними немає кабелютож трафік іде через mesh2транзитний вузолпересилає міжnic1 і nic2Повна сітка на 4 вузли6 кабелів, 3 порти на вузолбез транзиту, без пересиланняКільце: 4 кабелі, 2 порти,і саме тому ти тутДві з шести пар вузлів не мають прямого кабелю. Їхній трафік несе сусід, а отжелінки сусіда несуть чужу реплікацію Ceph на додачу до власної. Цієї цінитрикутник не має.
Між mesh1 і mesh3 немає кабелю. Їхній трафік іде через mesh2 або mesh4, і той вузол пересилає його лише тому, що пересилання ввімкнене на двох інтерфейсах, якими він приходить.

Увімкни його для інтерфейсів сітки, і лише для них:

# /etc/sysctl.d/99-mesh-forwarding.conf
net.ipv4.conf.nic1.forwarding = 1
net.ipv4.conf.nic2.forwarding = 1
sysctl --system

Прочитай значення назад, а не припускай:

sysctl net.ipv4.conf.nic1.forwarding net.ipv4.conf.nic2.forwarding

Налаштування на рівні інтерфейсу тут правильний масштаб, і воно працює саме по собі. Глобальний net.ipv4.ip_forward не передумова. Рішення ядра про пересилання читає власне значення приймального інтерфейсу:

#define IN_DEV_FORWARD(in_dev)   IN_DEV_CONF_GET((in_dev), FORWARDING)

IN_DEV_CONF_GET повертає налаштування цього пристрою, а не AND із глобальним. Тож nic1 і nic2 пересилають транзитний трафік фабрики, а nic0 і vmbr0 лишаються саме тим, чим мають бути: інтерфейсами хоста, що не маршрутизують. Увімкнення глобального перемикача зробило б маршрутизатором кожен інтерфейс на машині, включно з тим, що дивиться в офісну мережу. Цій схемі це геть ні до чого.

Одна річ про глобальний перемикач IPv4, хоч ти його і не ставиш: net.ipv4.ip_forward це масовий сетер, тому документація ядра попереджає, що його зміна «resets all configuration parameters to their default state». Якщо щось інше на хості колись його запише, воно перезапише ці значення для окремих інтерфейсів. Краще знати це до того, як витратиш пів дня на з’ясування, чому транзит перестав працювати.

IPv6 це виняток, і лише тут місце глобальному перемикачу. Документація ядра каже це прямо під conf/all/forwarding:

Enable global IPv6 forwarding between all interfaces. IPv4 and IPv6 work differently here; the force_forwarding flag must be used to control which interfaces may forward packets.

Тож для IPv6 немає відповідника охайного підходу на рівні інтерфейсу, описаного вище. Якщо фабрика несе IPv6, ти вмикаєш пересилання глобально, а потім обмежуєш його через force_forwarding, задокументований як «Enable forwarding on this interface only — regardless of the setting on conf/all/forwarding». Зверни увагу, що та сама поведінка перезапису діє і навпаки: встановлення conf.all.forwarding у 0 скидає force_forwarding на кожному інтерфейсі.

Збірка вище лишає префікс IPv6 фабрики порожнім, тож нічого з цього тут не застосовується: це важить лише тоді, коли ти його додаси.

Зверни увагу, чого пересилання не змінює: OpenFabric уже оголошував /32 кожного вузла і вже прокладав шлях через кільце. Пересилання це відсутній дозвіл, а не відсутній розум. Таблиця маршрутизації весь час була правильна. Ядро просто відмовлялося діяти як маршрутизатор.

Чого кільце коштує порівняно з трикутником:

  • Транзитний трафік. На кільці з чотирьох вузлів дві діагональні пари перетинають проміжний вузол, тож їхній трафік з’їдає пропускну здатність лінків того вузла на додачу до його власного. Ceph помічає це першим, бо реплікація йде всіх до всіх, а не сусіда до сусіда.
  • Додатковий перехід затримки на цих шляхах, понад звичні для безкомутаторної схеми значення менше мілісекунди.
  • Менший запас на відмови. Один розірваний лінк перетворює кільце на ланцюжок: досі повністю зв’язний, але з довшими шляхами і більшим транзитом. Другий розрив ділить кластер. Трикутник витримує один розрив зовсім без транзиту.

І гіршає воно так, що це легше намалювати, ніж описати. Додай п’ятий вузол, і половина всіх пар вузлів у кластері залежить від того, що хтось інший пересилає:

Кільце з п’яти вузлів: половина пар вузлів залежить від чужого пересиланняmesh1mesh2mesh3mesh4mesh5кабель: напряму, один перехідбез кабелю: потрібен сусід, що пересилаєП’ять вузлів, по два порти10 пар вузлів загалом5 мають прямий кабель5 не мають і йдуть через сусідаКожен вузол тепер пересилаєчужий трафік.А повна сітка?10 кабелів і 4 порти на вузолтобто ще дві NIC у кожному сервері,і тут схема зупиняється.На трьох вузлах транзиту немає. На чотирьох його мають дві пари. На п’яти половина, а одинрозрив подовжує кожен шлях.
Десять пар вузлів, п’ять кабелів. Пунктирні лінії це пари без кабелю між ними: кожна з них це трафік Ceph, що їде через лінки третього вузла. Повна сітка, яка б цього уникла, хоче чотирьох портів на сервер.

Ось справжня стеля цієї схеми, і це не протокол маршрутизації. OpenFabric справляється добре. Справа в тому, що кількість портів на вузол фіксована, тож після трьох вузлів кожна нова машина перетворює більше твого трафіку на чужий транзит.

І чесна примітка, бо це важливо для збірки, яка досі була суто у вебінтерфейсі: sysctl це не дія у вебінтерфейсі. За правилом, викладеним раніше, це робить його передумовою, яку треба назвати, а не тихо виправити в командному рядку. Запиши її в ранбук, бо наступна людина, що відкриє панель SDN, побачить здорову фабрику і жодного натяку, що кільце залежить від файлу в /etc/sysctl.d.

Відкат

Видалення це збірка навпаки, в тому самому інтерфейсі: видали об’єкти SDN, створені для сітки, застосуй конфігурацію і переконайся, що доступ до керування не зачеплено.

Саме через цей останній крок існують nic0 і комутатор на 2,5 Гбіт. Якщо відкат сітки міг коштувати тобі вебінтерфейсу, схема була хибна ще до того, як ти почав.

Перш ніж почати

  • Доступ до керування справді незалежний від сітки. Перевір це, а не припускай.
  • Усі три вузли здорові перед будь-якою зміною SDN.
  • Назви вузлів, назви інтерфейсів і кабелювання записані, бо nic1 на одному хості, який є nic2 на іншому, це поганий пів дня.
  • Jumbo frames виставлені на обох інтерфейсах сітки, а MTU враховує накладні витрати VXLAN в underlay.
  • Діапазон сітки зарезервований і ніде більше не використовується.

Джерела

  • Proxmox VE — Software-Defined Network — документація SDN Fabrics. Фабрики «provide automated routing between nodes in a cluster», OpenFabric «based on IS-IS and optimized for the spine-leaf topology common in data centers», кожен вузол потребує унікального Router-ID, і «a dummy ’loopback’ interface with the router-id is automatically created»
  • Proxmox VE — Cluster Manager — мережа Corosync і резервні лінки, на яких стоїть схема членства з двома шляхами
  • Proxmox VE — Deploy Hyper-Converged Ceph Cluster — мережеві очікування для гіперконвергентного кластера
  • Linux kernel — IP sysctl documentation — ip_forward і його значення за замовчуванням 0, керування forwarding на рівні інтерфейсу і попередження, що зміна глобального перемикача скидає конфігурацію окремих інтерфейсів