Y Switsh Nad Wyt Ti’n ei Brynu
Mae clwstwr Proxmox tri nod gyda Ceph eisiau rhwydwaith cyflym rhwng y nodau. Yr ateb arferol yw switsh 100 Gbit, a’r gwrthwynebiad arferol yw faint mae un yn ei gostio.
Mae ateb arall i dri nod: ceblau’n syth o un i’r llall mewn triongl, a llwybro ar ei draws. Dim switsh yn llwybr y storfa o gwbl.
Y gydran rataf mewn unrhyw gynllun yw’r un nad wyt ti’n ei phrynu, a hi yw’r unig un sydd byth yn methu.
Mae hynny’n prynu pedwar peth.
Mae cost y switsh yn diflannu. Rwyt ti angen cardiau rhwydwaith a thri chebl, nid switsh 100 neu 200 Gbit gyda’r nifer o byrth i gyd-fynd.
Does gan lwybr y data ddim un pwynt methu. Mae switsh sy’n methu neu’n ailgychwyn yn mynd â holl draffig dwyrain-gorllewin y clwstwr gydag ef. Does dim ots gan nodau sydd wedi’u gwifrio’n uniongyrchol beth sy’n digwydd i switsh yn rhywle arall yn yr adeilad.
Mae’r traffig trwm ar ei wifrau ei hun. Mae mudo byw a dyblygu Ceph yn aros ar y rhwyll yn hytrach na chystadlu â thraffig y swyddfa a’r rheolaeth.
Mae ei dyfu yn waith gwifrio, nid gwaith cyllideb pyrth. Does dim bocs canolog yn gweithredu fel nenfwd lled band neu nifer pyrth, felly mae’r ffabrig yn tyfu cyn belled â bod gan bob gweinydd slot PCIe rhydd. Mae OpenFabric yn llwybro ar draws dolenni newydd ar ei ben ei hun.
Ac un terfyn gonest, oherwydd ei fod yn bwysicach na’r pedair mantais. Mae rhwyll lawn angen cebl rhwng pob pâr o nodau. Tri nod yw tri chebl. Pedwar yw chwech. Pump yw deg. Mae’r gwifrio’n tyfu’n gyflymach na nifer y nodau, ac nid yw’r cynllun hwn yn goroesi y tu hwnt i glwstwr bach heb symud at rywbeth â switsh, fel leaf-spine.
Tri nod yw’r union fan lle mae rhwyll lawn yn gwneud synnwyr. Y tu hwnt i hynny, gyda dau borth rhwyll i bob nod, yr hyn y gelli di ei adeiladu o hyd yw cylch, ac mae hwnnw angen un peth y mae’r adeilad hwn fel arall yn ei osgoi, a eglurir isod.
Beth Sy’n Cael ei Adeiladu
Tri gwesteiwr Proxmox VE, pob un â dau ryngwyneb 100 Gbit penodol, wedi’u ceblo mewn triongl fel bod gan bob nod ddau gymydog uniongyrchol.
Proxmox SDN sy’n rhedeg y llwybro. OpenFabric yw’r protocol: mae’n gweithio allan y llwybr gorau ar draws y rhwyll, a phan fydd cebl yn cael ei dynnu neu ddolen yn disgyn, mae’n ailgyfeirio drwy’r llwybr sy’n weddill. Does neb yn mewngofnodi.
Mae’r ffabrig yn byw yn 10.10.10.0/24, wedi’i gadw ar gyfer y rhwyll a dim byd arall: nid rheolaeth, nid gwesteion, nid cyfeiriadau storfa, nid unrhyw beth allanol.
| Nod | Cyfeiriad rhwyll | Rhyngwynebau rhwyll |
|---|---|---|
| mesh1 | 10.10.10.1/32 | nic1, nic2 |
| mesh2 | 10.10.10.2/32 | nic1, nic2 |
| mesh3 | 10.10.10.3/32 | nic1, nic2 |
Mae pob nod yn cael /32, nid tafell o’r is-rwydwaith.
Dyna bwynt rhwyll wedi’i llwybro yn hytrach nag un wedi’i phontio. Mae’r cyfeiriad yn adnabod y nod, mae OpenFabric yn ei hysbysebu, a dim ond llwybrau i’w gyrraedd yw’r ddwy ddolen ffisegol.
Mae Proxmox yn creu rhyngwyneb loopback ffug i’w ddal.
Ei Wifrio
Ceblau DAC ffibr gweithredol, mewn triongl, gyda fframiau jumbo wedi’u galluogi ar y ddau ryngwyneb rhwyll ar bob nod.
| Cebl | O | I |
|---|---|---|
| DAC-01 | mesh1 nic1 | mesh2 nic1 |
| DAC-02 | mesh2 nic2 | mesh3 nic1 |
| DAC-03 | mesh3 nic2 | mesh1 nic2 |
Ffibr gweithredol yn hytrach na DAC copr, am ddau reswm sy’n ymwneud â’r rac yn hytrach na’r rhwydwaith:
- Rheoli ceblau. Mae DACs ffibr gweithredol yn deneuach ac yn llawer mwy hyblyg na chopr, felly maen nhw’n llwybro’n daclus a dydyn nhw ddim yn pentyrru y tu ôl i’r gweinyddion.
- Llif aer. Llai o swmp ceblau y tu ôl i’r siasi yw llai o amharu ar y llif aer o’r blaen i’r cefn, sy’n bwysig pan fydd sawl dolen gyflym yn glanio yn yr un ychydig unedau rac.
Dau Rwydwaith, Nid Un
Nid y rhwyll yw’r unig rwydwaith, a rhaid iddi beidio â dod yn unig rwydwaith.
Mae gan bob nod nic0 ar switsh 2.5 Gbit, wedi’i gyflwyno i Proxmox fel y bont vmbr0.
Mae honno’n cario’r rhyngwyneb gwe, mynediad gweinyddol a thraffig cleientiaid. Hi hefyd yw’r llwybr rwyt ti’n ei ddefnyddio wrth adeiladu’r ffabrig, a dyna pam mae’n rhaid iddi fod yn annibynnol arno.
Mae nic0 yn cael ei gadael allan o’r ffabrig yn fwriadol. Dim ond nic1 a nic2 sy’n cael eu dewis pan fydd nodau’r ffabrig yn cael eu creu.
Mae’r rhwyll yn cario tri pheth:
- Ceph. Dyblygu, adfer a backfill rhwng nodau ar gyfer y storfa hyper-gydgyfeiriol.
- Rhwydweithio rhithwir cleientiaid. Mae VNets sy’n seiliedig ar VXLAN yn ymestyn rhwydweithiau gwesteion ar draws y tri nod, gan ddefnyddio’r rhwyll wedi’i llwybro fel yr haen isod.
- Corosync, fel ail lwybr. Mae traffig aelodaeth y clwstwr yn rhedeg dros y rhwydwaith rheoli a’r rhwyll, felly nid yw cworwm yn dibynnu ar y naill na’r llall yn goroesi ar ei ben ei hun.
Y rheol sy’n werth ei hysgrifennu ar y tocyn newid: mae mynediad rheoli a mynediad cleientiaid yn aros ar gael drwy’r switsh 2.5 Gbit bob amser, beth bynnag yw cyflwr y rhyngwynebau 100 Gbit.
Popeth Drwy’r Rhyngwyneb Gwe
Mae’r adeilad hwn yn cael ei wneud yn llwyr yn rhyngwyneb gwe Proxmox. Dewis bwriadol yw hynny, nid cyfyngiad ar yr offer.
Heb eu defnyddio, yn fwriadol:
- Golygu
/etc/network/interfacesâ llaw. - Golygu ffeiliau ffurfweddu FRR â llaw.
vtyshfel dull adeiladu.
Mae Proxmox yn cynhyrchu’r ffurfweddiad rhwydwaith a llwybro sylfaenol o’r gwrthrychau SDN rwyt ti’n eu diffinio. Os oes rhywbeth wir na ellir ei osod yn y rhyngwyneb, mae’n werth ei nodi fel rhagofyniad yn hytrach na’i drwsio’n dawel ar y llinell orchymyn. Fydd y person nesaf i agor y rhyngwyneb gwe ddim yn gwybod dy fod ti wedi gwneud hynny.
Mae allbwn y llinell orchymyn yn ymddangos isod fel tystiolaeth yn unig, byth fel cam adeiladu.
Yr Adeiladu
1. Agora ryngwyneb gwe Proxmox a cer i Datacentre → SDN → Fabrics.

2. Ychwanega’r ffabrig. Rho enw iddo, rho’r rhagddodiad rhwyll iddo, a gosoda’r amseryddion.

Mae cyfyngau Hello a CSNP o 1 yn diweddaru’r cyflwr mor gyflym â phosibl pan fydd rhywbeth yn newid, a dyna beth rwyt ti eisiau ar ffabrig mor fach â hwn.
Y gost yw mwy o sgwrsio ar y plân rheoli. Amherthnasol ar dri nod gyda dwy ddolen yr un, ond yn werth ail feddwl os bydd y ffabrig byth yn tyfu.
3. Ychwanega bob nod gydag Add node. Rho gyfeiriad iddo o’r ystod rhwyll a thicia’r rhyngwynebau sy’n cymryd rhan.

Sylwa beth sydd heb ei dicio: mae nic0 yn aros allan, ac mae vmbr0 yn cadw’r cyfeiriad rheoli.
Defnyddia Create another ar gyfer y ddau nod cyntaf a Create ar yr olaf.
4. Gwiria’r canlyniad cyn ei weithredu.

Tri nod, tri chyfeiriad, nic1, nic2 ar bob un, pob un wedi’i farcio’n new: does dim byd wedi’i ysgrifennu eto.
5. Gweithreda’r ffurfweddiad SDN.

Mae Dry-Run wrth ymyl Apply os byddai’n well gen ti weld beth mae’n bwriadu ei wneud yn gyntaf.
Gwybod Ei Fod Wedi Gweithio
Dylai’r golwg statws ddangos cofnodion y parth a’r ffabrig yn ok ar y tri nod, a dim newidiadau yn aros i’w gweithredu.

Yna gwiria’r ffabrig o safbwynt nod ei hun.
Llwybrau’n gyntaf: dylai fod gan bob nod /32 i bob un o’r lleill, ac mae’r golofn Via yn dweud wrthyt ti pa gymydog y mae’n ei ddefnyddio.

Cymdogion nesaf. Dau, y ddau yn Up, ar driongl tri nod.

Yna’r rhyngwynebau, sef lle mae siâp y peth yn dangos: dummy_Mesh fel y loopback sy’n dal cyfeiriad y llwybrydd, a nic1 a nic2 fel Point-To-Point yn hytrach na segmentau darlledu.

Yn olaf, profa fe o un pen i’r llall.

Dim colled, a chyfartaleddau o 0.134 ms a 0.141 ms. Mae’r ddau gymydog un naid uniongyrchol i ffwrdd, sef yr hyn mae triongl yn ei roi i ti.
Y gwiriad sy’n werth ei wneud na all unrhyw sgrinlun ei ddangos: tyn un cebl a chadarnha fod popeth yn dal i’w gyrraedd. Dyna’r holl reswm dros ddewis rhwyll wedi’i llwybro yn hytrach na phâr o ddolenni pwynt-i-bwynt. O’r herwydd, dyma’r unig brawf sy’n cyfrif.
Y Tu Hwnt i Dri Nod: Y Cylch
Rhwyll lawn yw triongl. Mae gan bob nod gebl uniongyrchol i bob nod arall, mae pob naid yn un naid, a does yr un nod byth yn cario traffig nad yw’n eiddo iddo.
Dyna’r nodwedd y mae dau borth rhwyll i bob nod yn ei phrynu i ti ar dri nod, a dyna’n union beth rwyt ti’n ei golli ar bedwar. Nid peth ohono. Y cyfan. Mae rhwyll lawn o bedwar nod angen tri phorth yr un. Gyda dau, y mwyaf y gelli di ei wifrio yw cylch.
Mae cylch yn newid model y traffig. Mae gan nodau cyfagos gebl uniongyrchol o hyd, ond nid oes gan nodau ar ochrau cyferbyn y cylch: mae’n rhaid i’w traffig groesi nod yn y canol. Ac mae’n rhaid i’r nod hwnnw fod yn fodlon anfon pecynnau ymlaen rhwng ei ddau ryngwyneb rhwyll, rhywbeth nad yw Linux yn ei wneud yn ddiofyn. Mae’r cnewyllyn yn dogfennu ip_forward fel ‘Forward Packets between interfaces’ gyda ‘Default: 0 (disabled)’.
Tro fe ymlaen ar gyfer y rhyngwynebau rhwyll, a’r rheini’n unig:
# /etc/sysctl.d/99-mesh-forwarding.conf
net.ipv4.conf.nic1.forwarding = 1
net.ipv4.conf.nic2.forwarding = 1
sysctl --system
Darllena nhw’n ôl yn hytrach na chymryd yn ganiataol:
sysctl net.ipv4.conf.nic1.forwarding net.ipv4.conf.nic2.forwarding
Y gosodiad fesul rhyngwyneb yw’r cwmpas cywir yma, ac mae’n gweithio ar ei ben ei hun. Nid yw’r net.ipv4.ip_forward byd-eang yn rhagofyniad. Mae penderfyniad anfon ymlaen y cnewyllyn yn darllen gwerth y rhyngwyneb sy’n derbyn:
#define IN_DEV_FORWARD(in_dev) IN_DEV_CONF_GET((in_dev), FORWARDING)
Mae IN_DEV_CONF_GET yn dychwelyd gosodiad y ddyfais honno, nid AND gyda’r un byd-eang. Felly mae nic1 a nic2 yn anfon traffig tramwy ymlaen ar gyfer y ffabrig tra bod nic0 a vmbr0 yn aros yn union fel y dylen nhw fod: rhyngwynebau gwesteiwr nad ydyn nhw’n llwybro. Byddai troi’r switsh byd-eang ymlaen yn gwneud pob rhyngwyneb ar y bocs yn llwybrydd, gan gynnwys yr un sy’n wynebu rhwydwaith dy swyddfa. Does dim angen hynny o gwbl ar y cynllun hwn.
Un peth i’w wybod am y switsh IPv4 byd-eang er nad wyt ti’n ei osod: mae net.ipv4.ip_forward yn osodwr swmp, a dyna pam mae dogfennaeth y cnewyllyn yn rhybuddio bod ei newid yn ‘resets all configuration parameters to their default state’. Os bydd unrhyw beth arall ar y gwesteiwr byth yn ei ysgrifennu, mae’n trosysgrifo’r gwerthoedd fesul rhyngwyneb hyn. Gwerth ei wybod cyn i ti dreulio prynhawn yn holi pam y peidiodd tramwy â gweithio.
IPv6 yw’r eithriad, a dyna’r unig le y mae’r switsh byd-eang yn perthyn. Mae dogfennaeth y cnewyllyn yn dweud hynny’n uniongyrchol o dan conf/all/forwarding:
Enable global IPv6 forwarding between all interfaces. IPv4 and IPv6 work differently here; the
force_forwardingflag must be used to control which interfaces may forward packets.
Felly does dim cyfwerth IPv6 i’r dull taclus fesul rhyngwyneb uchod. Os yw’r ffabrig yn cario IPv6, rwyt ti’n galluogi anfon ymlaen yn fyd-eang ac yna’n ei gyfyngu gyda force_forwarding, sydd wedi’i ddogfennu fel ‘Enable forwarding on this interface only — regardless of the setting on conf/all/forwarding’. Sylwa fod yr un ymddygiad trosysgrifo yn gweithio i’r cyfeiriad arall: mae gosod conf.all.forwarding i 0 yn ailosod force_forwarding ar bob rhyngwyneb.
Mae’r adeilad uchod yn gadael rhagddodiad IPv6 y ffabrig yn wag, felly nid oes dim o hynny’n berthnasol yma. Dim ond os wyt ti’n ychwanegu un y mae’n bwysig.
Sylwa beth nad yw anfon ymlaen yn ei newid: roedd OpenFabric eisoes yn hysbysebu /32 pob nod ac eisoes yn gweithio allan y llwybr ar draws y cylch. Anfon ymlaen yw’r caniatâd coll, nid yr ymennydd coll. Roedd y tabl llwybro’n gywir drwy’r amser. Yn syml, roedd y cnewyllyn yn gwrthod gweithredu fel llwybrydd.
Beth mae’r cylch yn ei gostio, o’i gymharu â’r triongl:
- Traffig tramwy. Ar gylch pedwar nod, mae’r ddau bâr croeslin yn croesi nod yn y canol, felly mae eu traffig yn defnyddio lled band dolenni’r nod hwnnw yn ogystal â’i draffig ei hun. Ceph sy’n sylwi ar hyn gyntaf, oherwydd mae dyblygu yn bawb-i-bawb yn hytrach na chymydog-i-gymydog.
- Naid ychwanegol o oedi ar y llwybrau hynny, ar ben ffigurau is-filieiliad arferol y cynllun heb switsh.
- Llai o le i fethiant. Mae un ddolen wedi torri yn troi cylch yn gadwyn: wedi’i gysylltu’n llawn o hyd, ond gyda llwybrau hirach a mwy o dramwy. Mae ail doriad yn rhannu’r clwstwr. Mae triongl yn goddef un toriad heb ddim tramwy o gwbl.
Ac mae’n gwaethygu mewn ffordd sy’n haws ei thynnu na’i disgrifio. Ychwanega bumed nod ac mae hanner pob pâr o nodau yn y clwstwr yn dibynnu ar rywun arall yn anfon ymlaen:
Dyna’r nenfwd go iawn ar y cynllun hwn, ac nid y protocol llwybro yw e. Mae OpenFabric yn ymdopi’n iawn. Y broblem yw bod nifer y pyrth i bob nod yn sefydlog, felly y tu hwnt i dri nod mae pob bocs newydd yn troi mwy o dy draffig yn dramwy i rywun arall.
A’r nodyn gonest, oherwydd ei fod yn bwysig i adeilad sydd wedi bod drwy’r rhyngwyneb gwe yn unig hyd yma: nid gweithred yn y rhyngwyneb gwe yw sysctl. Yn ôl y rheol a osodwyd yn gynharach, mae hynny’n ei wneud yn rhagofyniad i’w nodi yn hytrach na rhywbeth i’w drwsio’n dawel ar y llinell orchymyn. Ysgrifenna fe yn y llyfr rhedeg, oherwydd bydd y person nesaf i agor y panel SDN yn gweld ffabrig iach a dim awgrym bod cylch yn dibynnu ar ffeil yn /etc/sysctl.d.
Ei Dynnu’n Ôl
Yr adeilad o chwith yw ei dynnu, yn yr un rhyngwyneb: dilea’r gwrthrychau SDN a grëwyd ar gyfer y rhwyll, gweithreda’r ffurfweddiad, a chadarnha nad yw mynediad rheoli wedi’i gyffwrdd.
Y cam olaf hwnnw yw’r rheswm pam mae nic0 a’r switsh 2.5 Gbit yn bodoli. Os gallai tynnu’r rhwyll yn ôl gostio’r rhyngwyneb gwe i ti, roedd y cynllun yn anghywir cyn i ti ddechrau.
Cyn i Ti Ddechrau
- Mae mynediad rheoli wir yn annibynnol ar y rhwyll. Gwiria fe, paid â chymryd yn ganiataol.
- Mae’r tri nod yn iach cyn unrhyw newid SDN.
- Mae enwau nodau, enwau rhyngwynebau a’r ceblau wedi’u hysgrifennu i lawr, oherwydd mae
nic1ar un gwesteiwr ynnic2ar un arall yn brynhawn gwael. - Mae fframiau jumbo wedi’u gosod ar y ddau ryngwyneb rhwyll, ac mae’r MTU yn ystyried gorbenion VXLAN ar yr haen isod.
- Mae’r ystod rhwyll wedi’i chadw a heb ei defnyddio yn unman arall.
Cyfeiriadau
- Proxmox VE — Software-Defined Network — dogfennaeth SDN Fabrics. Mae ffabrigau’n ‘provide automated routing between nodes in a cluster’, mae OpenFabric yn ‘based on IS-IS and optimized for the spine-leaf topology common in data centers’, mae angen Router-ID unigryw ar bob nod, ac mae ‘a dummy ’loopback’ interface with the router-id is automatically created’
- Proxmox VE — Cluster Manager — rhwydweithio Corosync a dolenni wrth gefn, y tu ôl i’r cynllun aelodaeth dau lwybr
- Proxmox VE — Deploy Hyper-Converged Ceph Cluster — disgwyliadau rhwydwaith ar gyfer clwstwr hyper-gydgyfeiriol
- Linux kernel — IP sysctl documentation —
ip_forwarda’i ragosodiad o 0, y rheolaethforwardingfesul rhyngwyneb, a’r rhybudd bod newid y switsh byd-eang yn ailosod y ffurfweddiad fesul rhyngwyneb