Комутатор, якого ти не купуєш
Кластер Proxmox із трьох вузлів із Ceph хоче швидкої мережі між вузлами. Звична відповідь це комутатор на 100 Гбіт, а звичне заперечення це його ціна.
Для трьох вузлів є інша відповідь: з’єднай їх кабелями напряму один з одним трикутником і маршрутизуй через нього. Жодного комутатора на шляху зберігання взагалі.
Найдешевший компонент у будь-якій схемі той, якого ти не купуєш, і тільки він ніколи не ламається.
Це дає чотири речі.
Витрати на комутатор зникають. Потрібні мережеві карти і три кабелі, а не комутатор на 100 чи 200 Гбіт із відповідною кількістю портів.
Шлях даних не має єдиної точки відмови. Комутатор, який відмовляє або перезавантажується, забирає з собою весь трафік схід-захід кластера. Вузлам, з’єднаним напряму один з одним, байдуже, що діється з комутатором деінде в будівлі.
Важкий трафік іде своїми дротами. Жива міграція і реплікація Ceph лишаються в сітці, а не змагаються з офісним і керівним трафіком.
Розширення це робота з кабелями, а не з бюджетом портів. Немає центральної коробки, що ставить стелю для пропускної здатності чи кількості портів, тож фабрика росте, доки в кожному сервері є вільний слот PCIe. OpenFabric сам маршрутизує через нові лінки.
І одне чесне обмеження, бо воно важить більше, ніж чотири переваги. Повна сітка потребує кабелю між кожною парою вузлів. Три вузли це три кабелі. Чотири це шість. П’ять це десять. Кабелів стає більше швидше, ніж вузлів, і ця схема не виживає за межами невеликого кластера без переходу на щось комутоване, як-от leaf-spine.
Три вузли саме те місце, де повна сітка має сенс. Далі, з двома портами сітки на вузол, ти ще можеш побудувати кільце, а воно потребує однієї речі, якої ця збірка інакше уникає. Про неї нижче.
Що будуємо
Три хости Proxmox VE, кожен із двома виділеними інтерфейсами на 100 Гбіт, з’єднані трикутником, тож кожен вузол має двох прямих сусідів.
Маршрутизацією займається Proxmox SDN. Протокол OpenFabric: він визначає найкращий шлях через сітку, а коли кабель висмикнуто чи лінк падає, перемаршрутизує через шлях, що лишився. Ніхто не заходить на машини.
Фабрика живе в 10.10.10.0/24, відведеній лише для сітки і більше ні для чого: не для керування, не для гостьових систем, не для адресації сховища, не для чогось зовнішнього.
| Вузол | Адреса в сітці | Інтерфейси сітки |
|---|---|---|
| mesh1 | 10.10.10.1/32 | nic1, nic2 |
| mesh2 | 10.10.10.2/32 | nic1, nic2 |
| mesh3 | 10.10.10.3/32 | nic1, nic2 |
Кожен вузол отримує /32, а не шматок підмережі.
У цьому і суть маршрутизованої сітки замість мостової. Адреса ідентифікує вузол, OpenFabric її оголошує, а два фізичні лінки лише шляхи, щоб до неї дістатися.
Proxmox створює для неї фіктивний loopback-інтерфейс.
Кабелювання
Активні оптичні кабелі DAC, трикутником, з jumbo frames на обох інтерфейсах сітки на кожному вузлі.
| Кабель | Звідки | Куди |
|---|---|---|
| DAC-01 | mesh1 nic1 | mesh2 nic1 |
| DAC-02 | mesh2 nic2 | mesh3 nic1 |
| DAC-03 | mesh3 nic2 | mesh1 nic2 |
Активна оптика, а не мідний DAC, з двох причин, які стосуються стійки, а не мережі:
- Укладання кабелів. Активні оптичні DAC тонші й набагато гнучкіші за мідні, тож їх легко прокласти і вони не накопичуються купою за серверами.
- Потік повітря. Менше кабельної маси за шасі означає менше перешкод потоку повітря спереду назад, а це важливо, коли кілька швидкісних лінків сходяться в тих самих кількох юнітах стійки.
Дві мережі, а не одна
Сітка не єдина мережа, і вона не повинна нею стати.
Кожен вузол має nic0 на комутаторі на 2,5 Гбіт, представлений у Proxmox як міст vmbr0.
Він несе вебінтерфейс, адміністративний доступ і клієнтський трафік. Це також шлях, яким ти користуєшся, поки будуєш фабрику, і саме тому він мусить бути від неї незалежним.
nic0 навмисно лишено поза фабрикою. Коли створюють вузли фабрики, вибирають лише nic1 і nic2.
Сітка несе три речі:
- Ceph. Реплікація між вузлами, відновлення і backfill для гіперконвергентного сховища.
- Віртуальні мережі клієнтів. VNet на основі VXLAN розтягують гостьові мережі на всі три вузли, використовуючи маршрутизовану сітку як underlay.
- Corosync, як другий шлях. Трафік членства в кластері йде мережею керування і сіткою, тож кворум не залежить від того, чи виживе одна з них сама.
Правило, яке варто записати в заявку на зміну: керування і клієнтський доступ лишаються доступними через комутатор на 2,5 Гбіт завжди, хай у якому стані інтерфейси на 100 Гбіт.
Усе через вебінтерфейс
Ця збірка зроблена повністю у вебінтерфейсі Proxmox. Це свідомий вибір, а не обмеження інструментів.
Навмисно не використовується:
- Ручне редагування
/etc/network/interfaces. - Ручне редагування файлів конфігурації FRR.
vtyshяк спосіб збірки.
Proxmox генерує нижчу конфігурацію мережі й маршрутизації з об’єктів SDN, які ти визначаєш. Якщо щось справді не можна задати в інтерфейсі, це варто назвати передумовою, а не тихо виправляти в командному рядку. Наступна людина, що відкриє вебінтерфейс, не знатиме, що ти це зробив.
Вивід командного рядка нижче з’являється лише як доказ, ніколи як крок збірки.
Збірка
1. Відкрий вебінтерфейс Proxmox і перейди до Datacentre → SDN → Fabrics.

2. Додай фабрику. Дай їй назву, префікс сітки і задай таймери.

Інтервали Hello і CSNP зі значенням 1 оновлюють стан якомога швидше, коли щось змінюється, а це те, що треба на такій маленькій фабриці.
Ціна: більше балачок на площині керування. На трьох вузлах із двома лінками кожен це неважливо, а якщо фабрика колись виросте, варто подумати ще раз.
3. Додай кожен вузол через Add node. Дай йому адресу з діапазону сітки і познач інтерфейси, що беруть участь.

Зверни увагу, що не позначено: nic0 лишається поза фабрикою, а vmbr0 зберігає адресу керування.
Для перших двох вузлів використай Create another, а для останнього Create.
4. Перевір результат, перш ніж застосовувати.

Три вузли, три адреси, nic1, nic2 на кожному, усе позначено new: нічого ще не записано.
5. Застосуй конфігурацію SDN.

Поруч з Apply є Dry-Run, якщо ти волієш спершу побачити, що воно збирається зробити.
Як знати, що все запрацювало
Вигляд статусу має показувати записи і зони, і фабрики як ok на всіх трьох вузлах, і жодних незастосованих змін.

Потім перевір фабрику з погляду самого вузла.
Спершу маршрути: кожен вузол повинен мати /32 до кожного з інших, а стовпчик Via каже, якого сусіда він використовує.

Далі сусіди. Двоє, обидва Up, на трикутнику з трьох вузлів.

Потім інтерфейси, і тут видно форму всієї штуки: dummy_Mesh як loopback, що тримає адресу маршрутизатора, а nic1 і nic2 як Point-To-Point, а не широкомовні сегменти.

Нарешті доведи це від краю до краю.

Без втрат, і середні 0,134 мс і 0,141 мс. Обидва сусіди за один прямий перехід, а це саме те, що дає трикутник.
Перевірка, яку варто зробити і якої не покаже жоден знімок екрана: висмикни один кабель і переконайся, що все лишається досяжним. Саме через це взагалі вибирають маршрутизовану сітку замість пари з’єднань точка-точка. Отож, це єдиний тест, що має значення.
Більше трьох вузлів: кільце
Трикутник це повна сітка. Кожен вузол має прямий кабель до кожного іншого, кожен перехід один, і жоден вузол ніколи не несе трафіку, що не його.
Ця властивість це те, що два порти сітки на вузол дають тобі на трьох вузлах, і саме її ти втрачаєш на чотирьох. Не частину. Усю. Повна сітка з чотирьох вузлів потребує трьох портів на кожен. З двома найбільше, що можна з’єднати, це кільце.
Кільце змінює модель трафіку. Сусідні вузли досі мають прямий кабель, а вузли на протилежних боках кільця ні: їхній трафік мусить перетнути проміжний вузол. І той вузол мусить бути готовий пересилати пакети між своїми двома інтерфейсами сітки, чого Linux за замовчуванням не робить. Ядро документує ip_forward як «Forward Packets between interfaces» з «Default: 0 (disabled)».
Увімкни його для інтерфейсів сітки, і лише для них:
# /etc/sysctl.d/99-mesh-forwarding.conf
net.ipv4.conf.nic1.forwarding = 1
net.ipv4.conf.nic2.forwarding = 1
sysctl --system
Прочитай значення назад, а не припускай:
sysctl net.ipv4.conf.nic1.forwarding net.ipv4.conf.nic2.forwarding
Налаштування на рівні інтерфейсу тут правильний масштаб, і воно працює саме по собі. Глобальний net.ipv4.ip_forward не передумова. Рішення ядра про пересилання читає власне значення приймального інтерфейсу:
#define IN_DEV_FORWARD(in_dev) IN_DEV_CONF_GET((in_dev), FORWARDING)
IN_DEV_CONF_GET повертає налаштування цього пристрою, а не AND із глобальним. Тож nic1 і nic2 пересилають транзитний трафік фабрики, а nic0 і vmbr0 лишаються саме тим, чим мають бути: інтерфейсами хоста, що не маршрутизують. Увімкнення глобального перемикача зробило б маршрутизатором кожен інтерфейс на машині, включно з тим, що дивиться в офісну мережу. Цій схемі це геть ні до чого.
Одна річ про глобальний перемикач IPv4, хоч ти його і не ставиш: net.ipv4.ip_forward це масовий сетер, тому документація ядра попереджає, що його зміна «resets all configuration parameters to their default state». Якщо щось інше на хості колись його запише, воно перезапише ці значення для окремих інтерфейсів. Краще знати це до того, як витратиш пів дня на з’ясування, чому транзит перестав працювати.
IPv6 це виняток, і лише тут місце глобальному перемикачу. Документація ядра каже це прямо під conf/all/forwarding:
Enable global IPv6 forwarding between all interfaces. IPv4 and IPv6 work differently here; the
force_forwardingflag must be used to control which interfaces may forward packets.
Тож для IPv6 немає відповідника охайного підходу на рівні інтерфейсу, описаного вище. Якщо фабрика несе IPv6, ти вмикаєш пересилання глобально, а потім обмежуєш його через force_forwarding, задокументований як «Enable forwarding on this interface only — regardless of the setting on conf/all/forwarding». Зверни увагу, що та сама поведінка перезапису діє і навпаки: встановлення conf.all.forwarding у 0 скидає force_forwarding на кожному інтерфейсі.
Збірка вище лишає префікс IPv6 фабрики порожнім, тож нічого з цього тут не застосовується: це важить лише тоді, коли ти його додаси.
Зверни увагу, чого пересилання не змінює: OpenFabric уже оголошував /32 кожного вузла і вже прокладав шлях через кільце. Пересилання це відсутній дозвіл, а не відсутній розум. Таблиця маршрутизації весь час була правильна. Ядро просто відмовлялося діяти як маршрутизатор.
Чого кільце коштує порівняно з трикутником:
- Транзитний трафік. На кільці з чотирьох вузлів дві діагональні пари перетинають проміжний вузол, тож їхній трафік з’їдає пропускну здатність лінків того вузла на додачу до його власного. Ceph помічає це першим, бо реплікація йде всіх до всіх, а не сусіда до сусіда.
- Додатковий перехід затримки на цих шляхах, понад звичні для безкомутаторної схеми значення менше мілісекунди.
- Менший запас на відмови. Один розірваний лінк перетворює кільце на ланцюжок: досі повністю зв’язний, але з довшими шляхами і більшим транзитом. Другий розрив ділить кластер. Трикутник витримує один розрив зовсім без транзиту.
І гіршає воно так, що це легше намалювати, ніж описати. Додай п’ятий вузол, і половина всіх пар вузлів у кластері залежить від того, що хтось інший пересилає:
Ось справжня стеля цієї схеми, і це не протокол маршрутизації. OpenFabric справляється добре. Справа в тому, що кількість портів на вузол фіксована, тож після трьох вузлів кожна нова машина перетворює більше твого трафіку на чужий транзит.
І чесна примітка, бо це важливо для збірки, яка досі була суто у вебінтерфейсі: sysctl це не дія у вебінтерфейсі. За правилом, викладеним раніше, це робить його передумовою, яку треба назвати, а не тихо виправити в командному рядку. Запиши її в ранбук, бо наступна людина, що відкриє панель SDN, побачить здорову фабрику і жодного натяку, що кільце залежить від файлу в /etc/sysctl.d.
Відкат
Видалення це збірка навпаки, в тому самому інтерфейсі: видали об’єкти SDN, створені для сітки, застосуй конфігурацію і переконайся, що доступ до керування не зачеплено.
Саме через цей останній крок існують nic0 і комутатор на 2,5 Гбіт. Якщо відкат сітки міг коштувати тобі вебінтерфейсу, схема була хибна ще до того, як ти почав.
Перш ніж почати
- Доступ до керування справді незалежний від сітки. Перевір це, а не припускай.
- Усі три вузли здорові перед будь-якою зміною SDN.
- Назви вузлів, назви інтерфейсів і кабелювання записані, бо
nic1на одному хості, який єnic2на іншому, це поганий пів дня. - Jumbo frames виставлені на обох інтерфейсах сітки, а MTU враховує накладні витрати VXLAN в underlay.
- Діапазон сітки зарезервований і ніде більше не використовується.
Джерела
- Proxmox VE — Software-Defined Network — документація SDN Fabrics. Фабрики «provide automated routing between nodes in a cluster», OpenFabric «based on IS-IS and optimized for the spine-leaf topology common in data centers», кожен вузол потребує унікального Router-ID, і «a dummy ’loopback’ interface with the router-id is automatically created»
- Proxmox VE — Cluster Manager — мережа Corosync і резервні лінки, на яких стоїть схема членства з двома шляхами
- Proxmox VE — Deploy Hyper-Converged Ceph Cluster — мережеві очікування для гіперконвергентного кластера
- Linux kernel — IP sysctl documentation —
ip_forwardі його значення за замовчуванням 0, керуванняforwardingна рівні інтерфейсу і попередження, що зміна глобального перемикача скидає конфігурацію окремих інтерфейсів