100G QSFP28 selgroog-Lehekujundus: vältige pordivigu

100G selgroog-lehtkangas on üks kõige töökindlamaid viise 25G serverite, 100G üleslinkide, salvestusklastrite ja ida--lääne-suure töökoormuse ühendamiseks kaasaegses andmekeskuses. QSFP28 võlu seisneb selle paindlikkuses: üks port võib kanda natiivset 100G linki või jaguneda neljaks 25G serveriühenduseks, nii et üks lüliti võib teenindada nii juurdepääsuserva kui ka kanga südamikku.

Kiired lülitid on lihtne osa. 100G disain elab või sureb enne ostutellimust tehtud otsustest: kuidas iga port jaotatakse, milline näeb välja ületellimuse suhe tavalistes ja rikketingimustes, milline optika vastab tegelikule kaablikäigule, kui palju see optika soojust lisab ja kas kangas võib kasvada 400 G suunas ilma tõstuki uuendamiseta.

See juhend on tarnija{0}}neutraalne planeerimisviide võrgu- ja infrastruktuurimeeskondadele. Allolevad joonised järgivad praegusi IEEE 802.3 Etherneti spetsifikatsioone ja asjakohaseid optilise mitme allika lepinguid, kuid igal kommutaatoril ja transiiveril on oma andmeleht, seega kontrollige ostetava riistvara täpseid numbreid.

Kuidas lugeda selle juhendi näiteid.Kui pole öeldud teisiti, eeldavad nad üksikuid-koduservereid, millel on igaühel üks 25G NIC, 48 hostiporti lehe kohta, 100G lehtede-to-üleslingid, täisvõrk, milles iga leht ühendub iga selgrooga, ja edasisuunas veaparandus on lubatud, kui optika seda nõuab. Kahe-homing, kiiremad NIC-id või erinevad portide arvud muudavad iga järgnevat numbrit.

Mis on 100G Spine{1}}Leaf Network?

Spine{0}}leaf on kahe-tasandi andmekeskuse arhitektuur, mis on üles ehitatud lehtlülititest ja selgroolülititest. Lehtlülitid asuvad iga riiuli ülaosas ja pakuvad serveri{3}}poolseid porte ja üleslülitusi selgroogu. Lülisambalülitid moodustavad{5}}kiire selgroo. Iga leht ühendub iga selgrooga, nii et riiulite vaheline liiklus liigub võrdsel-pikkusel teekonnal lehtedelt okstele.

Disain on populaarne, kuna see pakub:

• Prognoositav, võrdne teepikkus mis tahes kahe riiuli vahel
• Tugi intensiivsele ida{0}}läänesuunalisele liiklusele
• Kõik üleslingid on aktiivsed läbi ECMP, mitte ei blokeeritud ulatuva puuga
• Lihtne horisontaalne skaleerimine - lisage portide jaoks lehti, lisage mahutavuse jaoks ogasid

100 G kanga puhul töötavad lehtede---lülid 100 G juures, samas kui serveri-poolsed pordid töötavad olenevalt töökoormusest 10 G, 25 G, 50 G või 100 G. Tänapäeval on 25G juurdepääs 100G üleslingiga kõige levinum ettevõtete kombinatsioon.

Füüsiline disain vs loogiline disain

"Võrgukujundus" katab kaks kihti, mida on lihtne omavahel ühendada. See juhend keskendub füüsilisele ja mahutavuse kihile - pordid, optika, ületellimus, kaabeldus -, sest see on see, mida te riistvara ostmisel järgite. Kuid loogiline kiht otsustab, kuidas kangas liiklust edasi suunab, ja see kujundab mitmeid füüsilisi valikuid.

Füüsilisel küljel on lüliti ja pordi valik, võrguühenduse kiirused, ületellimus, optika, kaabeldus, toide ja jahutus. Loogilise poole pealt tasakaalustab ECMP koormus{1}}üleslinkide vahel; ülekate, näiteks VXLAN koos BGP EVPN-i juhttasandiga mitme rentniku 2. ja 3. kihi jaoks marsruuditud aluskihil; dual{5}}homing MLAG või MC-LAG ja LACP-ga juurdepääsuservas; ja domeeni suuruse määramise ebaõnnestumine-. RDMA kangaste jaoks peate looma ka peaaegu-kadudeta võrgu, mida käsitletakse allpool. Määrake loogiline mudel varakult, sest see mõjutab üleslingi loendeid, ECMP laiuse jaoks vajalike ogade arvu ja seda, kas lehti kasutatakse MLAG-paaridena.

Samm 1 - Määrake serveri kiirus ja töökoormus

Alusta töökoormusest, mitte optikast. Üldine virtualiseerimisklaster, salvestuskangas ja AI-treeningpodil on väga erinevad vajadused ning õige disain järgib liiklust.

25G serverid 100G üleslingiga

Enamiku ettevõtete ja privaatsete-pilvekeskkondade jaoks on 25G-juurdepääs 100G lehtedega-to{4}}spine-uplinkidega magus koht: suur hüpe üle 10G, hoides võrguühenduse, kaabli ja lüliti kulud mõistlikud. Tüüpiline versioon ühendab 25G allalingi, 100G üleslingi ja 2:1 kuni 3:1 suhet üldiseks arvutamiseks, kusjuures salvestusruumi ja latentsustundlike tasandite jaoks on reserveeritud madalam ületellimus. See sobib virtualiseerimise, privaatpilve, veebitasandite ja enamiku ettevõtte andmekeskustega.

Natiivne 100G salvestusruumi, AI ja HPC jaoks

Mõned töökoormused vajavad serverile natiivset 100G: hajutatud ja NVMe-oF-salvestus, AI ja masinõppe koolitus, HPC, suuremahuline-analüütika ja madala-latentsusega RDMA. Siin peaks ületellimus olema madal - sageli mitte-blokeeriv või sellele lähedane -, kuna probleem on liiklusmustris, mitte ainult helitugevuses.

Tehisintellekti, HPC ja RDMA töökoormused genereerivad tihedat, sünkroonitud liiklust -kõiki idast-läände: paljud sõlmed edastavad samal hetkel paljudesse sõlmedesse, seega ei kehti enam statistiline silumine, mis säästab teid virtualiseerimiskangas. RDMA over Converged Ethernet (RoCE) lisab teise piirangu, kuna see eeldab peaaegu-kadudeta kangast, mis praktikas tähendab prioriteedivoolu juhtimist (PFC) ja selgesõnalist ummikuteatist (ECN), mis on häälestatud otsast lõpuni. Kangas, mis langetab kaadreid ummiku all, jälgib RoCE jõudluse kokkuvarisemist, nii et need klastrid on tavaliselt ehitatud suhtega 1:1 hoolika puhvri ja ummikukonfiguratsiooniga.

Samm 2 - Kuidas arvutada 100 G kanga jaoks lehtede ja selgroolülitite porte

Sadama planeerimine algab lehest, mitte selgroost. Töötage serveritest väljapoole:

1. Arvestage serveri{0}}poolseid porte riiuli kohta.
2. Otsustage, kas kumbki on native 25G, native 100G või breakout rada.
3. Broneerige QSFP28 pordid selgroo üleslinkide jaoks.
4. Lisage varupordid kasvu, koondamise, testimise ja asendamise jaoks.
5. Arvutage ületellimus uuesti pärast katkestuse määramist, mitte enne.

Loendage serveri{0}}poolseid porte

Määrake iga riiuli jaoks serverite arv, NIC-i kiirus, ühe - või kahe-koduvõrgu NIC-id serveri kohta ja vajalikud varuosad. 48 serverist koosnev riiul koos ühe 25G NIC-iga vajab 48 hostiporti. Ühendage need serverid-lehepaariga ja pääsuportide arv paaris kahekordistub.

Broneerige üleslingi pordid ja vaadake topelt{0}}loendust

Pärast hosti porte reserveerige QSFP28 pordid selgroo jaoks. Siin peitubki kõige levinum viga: kui 4x25G läbimurdmiseks kasutatakse samu QSFP28 porte, pole need enam üleslinkidena saadaval. Suurim planeerimisviga ei seisne mitte 100G üleslinkide valesti arvestamises, vaid ülehindamises, kui üleslingi pordid, mis jäävad alles, kui läbimurre on need sisse söönud. Määrake eraldusmärk enne ületellimuse matemaatikat või arvutatud suhtarv on väljamõeldis.

Töötatud näide aitab. Võtke tavaline 1U leht 48 SFP28 hostipordi ja 8 QSFP28 pordiga:

Kuue üleslingiga, mis kannavad 1200 G juurdepääsuliiklust, töötab leht vahekorras 2:1 ja kaks QSFP28 porti jäävad reservi. Andke igale pordile arvutustabelis üks selge roll, enne kui muudate suurust.

Jäta vaba võimsust

Ärge tarbige iga ports esimesel päeval. Reserveerige ruumi uute serverite, täiendavate keermete, ajutiste testlinkide, ebaõnnestunud-pordivahetuste, puudutuste jälgimise ja migratsiooni jaoks. Väike kasutamata võimsus on palju odavam kui ümberkujundamine.

Samm 3 - Arvutage ületellimus, sealhulgas N-1

Ületellimine võrdleb kogu serveri{0}}ribalaiust lehel selle kogu üleslingi ribalaiusega selgroog:

Ületellimuse suhe=kogu allalingi ribalaius / kogu üleslingi ribalaius

Ülaltoodud lehe puhul 48 x 25G=1,200G alla ja 6 x 100G=600G üles, andes 1200 / 600=2:1. See tähendab kaks korda suuremat teoreetilist juurdepääsu ribalaiust kui üleslingi ribalaius - on tavaliselt hea üldiseks arvutamiseks, kus serverid edastavad harva kõik korraga liinikiirusega, kuid see on tõeline piirang salvestusruumi, AI, HPC ja RDMA jaoks.

Kontrollige alati N-1 korpust

Kangas võib normaalse töö käigus terve välja näha ja rikke korral lämbuda. Vaatleme lehte, millel on kaheksa 100G üleslingi, mis on ühtlaselt laiali üle nelja oga - kaks oga kohta, kokku 800G, nii et 1200G ligipääsu annab 1,5:1. Kui kaotate ühe selgroo ja leht langeb kaks üleslüli 600 G-ni, surudes katkestuse ajaks suhte 2:1-ni. Kui teie eesmärk pole "isegi ebaõnnestumise korral halvem kui 2:1", peate alustama 1,5:1 lähedalt. Arvutage nii normaalsuhe kui ka N-1 suhe pärast ühe selgroo või üleslingi kaotamist; teine ​​number on see, mis hoolduse käigus näksib.

Planeerimisvahemikud töökoormuse järgi

Universaalset suhet ei ole, seega käsitlege järgmist planeerimisvahemikena, mitte standarditena ja kinnitage mõõdetud liikluse põhjal, kui saate.

Täiendusel vaadake üle praegune üleslingi kasutus, tipp- ja ida{0}}lääne mustrid, salvestusvood ja varuaknad, enne kui nõustute suhtega.

Samm 4 - Valige QSFP28 optika ja kaablid

QSFP{0}}G liidesed on standarditud IEEE 802.3 - poolt802.3bm muudatuslisatud 100 GBASE-SR4 koos ühe-režiimiga LR4 PHY. Valige optika kauguse, kiu tüübi, pistiku, toite ja lülitite ühilduvuse järgi ning vältige pikima ulatuse vaikimisi muutmist: katvus, mida te ei vaja, tähendab tavaliselt kulusid ja võimsust, mida te ei vaja. Sobitage moodul mõistliku varuga jooksuga.

DAC ja AOC lühikeste serverilinkide jaoks

Püsi{0}}asiseste ja külgnevate{1}}riiuliühenduste jaoks on praktilised QSFP28 otse-kinnitusega vask (DAC) ja aktiivsed optilised kaablid (AOC). Passiivne DAC sobib kõige lühematele hüpetele - mõne meetri kaugusele - madalaima kulu ja võimsusega, samas kui AOC laiendab ulatust ning on kergem ja paindlikum, kui vaskmass muutub probleemiks. 25G juurdepääsu korral on QSFP28 kuni 4x SFP28 läbimurde DAC või AOC tavaline, kui lüliti toetab katkestust.

100 GBASE-SR4 lühikeste mitmerežiimiliste üleslinkide jaoks

SR4 kannab 100G ülekaheksa paralleelset mitmemoodilist kiudukasutades MPO/MTP-pistikut, mis muudab selle kulu{0}}efektiivseks valikuks lühikeste lehtede---lülide jaoks reas. Selle katvus sõltub kiu klassist - ligikaudu 70 m OM3-l ja 100 m OM-l4 -, seega tasub teada katvust, mida võite oodataOM3, OM4 ja OM5 mitmemoodiline kiudteie põrandal. Peamiseks planeerimispiiranguks on paralleelkaabeldus: MPO paikamine ja polaarsus tuleb eelnevalt välja töötada.

CWDM4 või FR ühe-režiimi jaoks kestab umbes 2 km

Inter-ridade,-ruumide või-saalidevaheliste linkide jaoks sobib paremini ühe-režiimiga optika, nagu CWDM4 või FR. The100G CWDM4 MSAmääratleb 2 km ulatuse ühe paari ühemoodiliste{1}}kiudude puhul, millel on dupleks-LC-pistik ja FEC. Kuna nad kasutavad paralleelse MPO asemel duplekskiudu, langevad CWDM4- ja FR-optikad sageli ühe -režiimiga seadmesse puhtamalt kui SR4 - ja nende vahemaade vahel onOS1 ja OS2 ühemoodi-kiudhakkab teie kahjueelarve jaoks oluline olema. Lühemad ühe{1}}režiimi variandid, nagu DR, katavad ligikaudu 500 m, kus see on kõik, mida vajate.

100 GBASE-LR4 ülikoolilinnaku ja DCI jaoks

LR4 on pika-ulatusega valik, mis kannab 100 Gkuni umbes 10 km üle dupleks{1}}ühemoodilise kiuülikoolilinnaku, hoone-hoone-või andme{2}}keskuse-ühenduslinkide jaoks. Kasutage seda ainult seal, kus vahemaa seda tõesti nõuab; pika-ulatusega optika lühikestel andmekeskusesisestel

QSFP{0}}G optika võrdlus

Tabelis on kokkuvõte, kuhu iga valik sobib. Käsitlege ulatusi tüüpiliste planeerimisnäitajatena ja kinnitage iga mooduli andmelehel täpsed arvud, kiu klass ja FEC-nõue.

Töötatud näited: väikesed, keskmised ja suured kangad

Need on lihtsustatud planeerimismudelid, mitte kavandid. Seljade arv valitakse tavaliselt üleslinkide ühtlaseks jaotamiseks ja ECMP laiuse määramiseks: kaks selgroogu on liiasuse praktiline miinimum, neli annab peenema N-1 granulaarsuse ja parema koormuse hajutamise ning kaheksa sobivad suurtele kangastele. Lehtede loendus kaalub vajalike serveriportidega.

Väike kangas

• 8 lehtlülitit
• 2 selgroolülitit
• 48 x 25G serveriporti lehe kohta
• 4 x 100G üleslinki lehe kohta
• 384 ühe-kodu 25G serveri porti

Lehe kohta: 1200 G alla, 400 G üles, seega 3:1. Töötab üldiseks arvutamiseks, kuid kitsas raskete salvestusruumide või AI jaoks. Kui vajate väiksemat suhet, lisage üleslingid või kärpige juurdepääsu lehe kohta.

Keskmine kangas

• 16 lehtlülitit
• 4 selgroolülitit
• 48 x 25G serveriporti lehe kohta
• 6 x 100G üleslinki lehe kohta
• 768 ühe-koduse 25G serveri porti

Lehe kohta: 1200 G alla, 600 G üles, seega 2:1. Kindel tasakaal virtualiseerimise ja ettevõtte töökoormuse jaoks ning neli selgroogu levitavad ECMP-d paremini kui kaks.

Suur kangas

• 32 lehtlülitit
• 8 selgroolülitit
• 48 x 25G serveriporti lehe kohta
• 8 x 100G üleslinki lehe kohta
• 1536 ühe-koduse 25G serveri porti

Lehe kohta: 1200 G alla, 800 G üles, seega 1,5:1. Rohkem üleslingi ruumi, kuid rohkem optikat, kiudaineid, kulusid, võimsust ja kaabeldust hallata. Selles mahus on dokumentatsioon osa disainist: märgistus, pordikaardid, polaarsus, varuoptika, õhuvool ja jälgimine tuleb kõik enne paigaldamist planeerida.

QSFP28 Breakout Planning (100G kuni 4x25G)

Breakout on QSFP28 disaini kõige kasulikum ja kõige valesti mõistetud osa. Kui lüliti, kaabel ja konfiguratsioon seda võimaldavad, jaguneb üks QSFP28 port neljaks 25G SFP28 lingiks, mis ühendab neli 25G serverit ühest 100G pordist. See teenib oma koha, kui vajate suurt 25G tihedust, kui teil on palju QSFP28 porte, soovite alandada serveriühenduse maksumust või ehitate üleminekuperioodi 25G/100G kangast, kasutades QSFP28 kuni 4x SFP28 DAC, AOC või AOC.MTP/MPO katkestuskaablidsõltuvalt kaugusest.

Konks on selles, et Breakout tarbib QSFP28 porte. Kui 32-pordiga QSFP28 lüliti eraldab 16 porti 4x25G katkestuse jaoks, toetavad need 16 porti 64 serverit, kuid ainult 16 QSFP28 porti jääb üleslinkide, salvestusruumi, ühenduste ja varuosade jaoks. Rusikareegel on see, et kõigepealt loendatakse katkestuspordid, seejärel loendatakse üleslinkide jaoks allesjäänud osa.

Enne pühendumist kinnitage mõned asjad ja otsustage varakult, kas iga jooks peaks olema apagasiruumi või väljatõmbesõlme:

• Millised pordid toetavad väljamurdmist ja kas on pordi{0}}rühma piiranguid?
• Kas väljamurdmise lubamine keelab külgnevad pordid?
• Kas lüliti operatsioonisüsteem toetab teile vajalikku režiimi?
• DAC, AOC või Breakout optika iga sõidu jaoks?
• Kas kõiki nelja sõidurada on vaja praegu või alles hiljem?
• Kuidas mõjutab väljamurdmine tulevast üleminekut 100G algserveritele?

Toite-, jahutus- ja kaablihaldus

100 G kangas toodab rohkem kui ribalaiust -, see tekitab soojust, õhuvoolu koormust ja kaabli tihedust. Toiteeelarve peaks hõlmama lülitite šassiid ja ventilaatoreid, QSFP28 optilisi mooduleid (ja DAC-i või AOC-i, kui neid kasutatakse), üleliigseid toiteallikaid, rack{4}}võimsust ja kasvuvaru. Jahutus peaks arvestama kuuma- ja külma-vahekäikude paigutust, ühtlast esi----- või taga--eesmist õhuvoolu, varjepaneele, kaablite takistust, ümbritseva õhu temperatuuri ja mooduli-temperatuuri jälgimist, sest selgroog on täis soojuslikku optikat.

Kaabel kaalub kiiresti: 16 lehte kuni 4 ogani on juba 64 lehte-to-lüli, millest igaüks tuleb märgistada, suunata, testida ja dokumenteerida. Täis-võrkkangast on palju lihtsam ehitada ja hooldada, kui see on eelnevalt-lõhustatudMPO/MTP magistraalkaabelduskui väljal{0}}lõpetatud kiu puhul. Meeskonnad peaksid ka eelnevalt leppima pistikute ja polaarsuse kokkulepped; apraktilised erinevused MTP ja MPO vaheltasub enne tellimist kinnitada. Lohakas dokumentatsioon ei maksa esimesel päeval midagi ja esimese katkestuse ajal palju.

Projekteerimine 400G versiooniuuenduse jaoks

Kujundage kangas realistliku uuendusteega. Esimesel päeval pole 400G igal pool vaja, kuid tasuks vältida valikuid, mis muudavad kolimise hiljem valusaks. Hakake mõtlema 400G valmisolekule, kui selgroo üleslingid on juba tugevasti koormatud, kui 100G lülide lisamine muutub ebamugavaks, kui ECMP teede arv läheneb platvormipiirangutele või kui AI, salvestusruum või ida-lääne kasv kiireneb.

Tavaline strateegia on uuendada esmalt selgroogu: lehed säilitavad oma 100G üleslingid, samas kui suurema-võimsusega selgroog - kasutades selliseid porte naguQSFP-DD- lisab ruumi, sageli 400G pordid, mis väljuvad 4x100G tagasi olemasolevate lehtede poole. Laiema trajektoori määrab tööstusharu:Etherneti liidu tegevuskavatöötab nüüd läbi 400G, 800G ja rohkemgi, mida juhib suuresti AI. Lülitite hindamisel kontrollige, kas platvorm toetab kiirusi, optikat, katkestusrežiime ja tarkvarafunktsioone, mida etapiviisiline uuendamine vajab.

Kui 100 G selgroog-lehekujundus pole õige valik

See disain ei ole universaalne ja mõnel juhul on vaja midagi muud. Käputäis servereid ühes või kahes riiulis õigustavad harva täielikku lülisamba{1}}lehte, kus paar üleliigset lülitit on lihtsam ja odavam. Väga suured AI-treeningklastrid võivad ületada 100G juurdepääsu ja 100G selgroogu hästi hakkama saada, maandudes algusest peale 400G või 800G kangastele - või isegi spetsiaalsele InfiniBandi võrgule -. Ja kui peaaegu kogu liiklus on riiulite vahel pigem põhja-lõuna suunas kui läände, mitte ida{11}}lääne pool, siis ida-läänepoolsetel lehtedel{13}} on vähem tähtsust, seega tuleks topoloogiat põhjendada pigem kasvu ja tööga, mitte eeldada. Sobitage arhitektuur liikluse ja mastaabiga, mitte vastupidi.

Levinud 100G selgroo{1}}vead lehtede kujundamisel

• QSFP28 portide loendamine kaks korda.Port on kas 4x25G vahelüli või 100G üleslink, mitte kunagi mõlemat. Andke igale sadamale üks roll.
• Optika valimine maksimaalse ulatuse järgi.Pikem ulatus lisab kulusid ja võimsust; sobitage optika kiu tegeliku kauguse ja tüübiga.
• N-1 ignoreerimine.Kontrollige suhet normaalse töö ajal ja pärast lülisamba kaotamist.
• Unustades optilise võimsuse ja soojuse.QSFP28 mooduleid täis selgroog on tõeline soojuskoormus, seega lisage optika võimsuse ja jahutuse matemaatikasse.
• Kaablite käsitlemine kui järelmõte.Marsruutimine, märgistus, polaarsus ja dokumentatsioon kuuluvad kujundusse, mitte installimisse.
• Disain ainult tänapäeva serveri kiiruse jaoks.Kui 25G juurdepääs nihkub 100G-le, jätke ruumi 100G või 400G-le.

Järeldus

Hea 100 G selgroog-lehekujundus on enne riistvara saabumist tehtud otsuste summa: töökoormuse määramine, pordide korrektne loendamine, ületellimuse arvutamine nii tavaliste kui ka rikete korral, optika valimine kauguse järgi, läbimurde planeerimine, toite- ja jahutuseelarve ning ruumi jätmine 400 G jaoks. Enamiku ettevõtete andmekeskuste jaoks jääb 25G juurdepääs 100G QSFP28 üleslinkidega jõudluse, kulude ja ulatuse tugevaks tasakaaluks, samas kui salvestusruum, AI ja HPC nõuavad lihtsalt väiksemat ületellimust ja rangemat valideerimist. Usaldusväärne lähenemine ei muutu: kujundage serverist väljapoole, tõestage matemaatikat tavalistes ja N-1 tingimustes ning dokumenteerige iga link enne juurutamist.