AI klastri võrgukujundus: Spine{0}}Leaf, RoCE ja NIC-id

AI-klastri võrgu kujundamine on protsess, mille käigus määratakse GPU-serveri võrgukaartide, lehtede{0}}spine'i ribalaiuse, ületellimissuhte, RoCE-seadete, optika ja kaablite suuruse määramine, nii et hajutatud treeningliiklus jääb klastri ulatudes prognoositavaks. Kui tehke mõni neist valesti, muutub kitsaskohaks võrk -, mitte GPU -.

Miks AI klastri võrgundus on erinev?

Traditsioonilises ettevõtte andmekeskuses haldab võrk põhja{0}}lõunasuuna kasutajaliiklust, juurdepääsu salvestusruumile, virtualiseerimist ja haldamist. Ida-läänesuunaline liiklus on olemas, kuid see on harva domineeriv koormus. AI klastris muutub olukord ümber. Jaotatud koolitust kasutavad GPU-serverid vahetavad gradiente ja sünkroonivad parameetreid töö iga etapi ajal. See suhtlus on osa arvutusest, mitte selle kõrvalmõju.

Kui 30 000-dollarine GPU kulutab kõigi-vähendamise toimingute ajal 30% oma ajast võrgus oodates, maksab klaster 30% oma arvutusvõimsusest jõudeoleku eest. See on majanduslik põhjus, miks tehisintellekti võrgustikule nii palju tähelepanu pööratakse.

Disaini juhivad kolm töökoormuse omadust:

• Tugev ida{0}}lääneliiklus.Kollektiivsed sidetoimingud, nagu kõik-vähendavad, kõik-koguvad ja vähendavad-hajumist, tekitavad sünkroonitud purskeid paljude sõlmede vahel samaaegselt.
• Saba{0}}latentsustundlikkus.Üksainus aeglane sõlm lükkab kogu treeningetapi edasi. Prognoositav latentsusaeg on keskmisest olulisem.
• Kasv{0}}mahandada.Klastrid, mis algavad 32 GPU-st, kasvavad sageli 18 kuu jooksul 256-ni või 1024-ni. Kangas peab skaleerima ilma ümberkujundamiseta.

Miks Spine{0}}Leaf sobib tehisintellektiklastritega?

Spine{0}}leaf on hüperskaala andmekeskuste standardmaterjal, kuna see annab igale serverile-serverisse{2}} sama hüpete arvu ja sama teoreetilise ribalaiuse. Tehisintellekti töökoormuste puhul tähendab see ühtsus otseselt etteaimatavamat treeningu sammude aega.

Lülisamba{0}}lehe topoloogias loovad GPU-serverid ühenduse lehtede lülititega ja iga leht ühendub iga selgrooga. Igasugune GPU-to-GPU side läbib täpselt ühe lehe, ühe selgroo ja veel ühe lehe. Puuduvad koondamiskihid, mis võtaksid kasutusele muutuva latentsuse või tõkkepunktid.

Prognoositav latentsusaeg

Võrdse-kuluga mitme-tee (ECMP) marsruutimine jaotab vood selgroolülitite vahel. Kui see on kohandatud marsruutimise või dünaamilise koormuse tasakaalustamisega õigesti konfigureeritud, hoiab see ära räsikokkupõrked, mille tõttu on mõned vood teistest palju aeglasemad - tuntud probleem staatilistes ECMP kangastes, mis kannavad vähe, kuid suuri voogusid, mis on täpselt see, mida AI-treening tekitab.

Kõrge poolitamise ribalaius

Poolitamise ribalaius on läbilaskevõime, mis on saadaval klastri mis tahes kahe võrdse poole vahel. AI-treening saab kasu mitte-blokeerivatest või peaaegu-mitte-blokeerivatest konstruktsioonidest, kus lehtede---üleslingi võimsus on võrdne või peaaegu võrdne serverite poole suunatud allalingi võimsusega. IETF määratleb ja arutab neid mõisteidRFC 7938, mis hõlmab BGP{0}}marsruutitud Clos-kangaid, mida kasutatakse laialdaselt-suurtes andmekeskustes.

Lihtsam skaleerimine-

Lisage rohkem lehti, et lisada rohkem servereid. Lisage rohkem ogasid, et lisada rohkem poolitamise ribalaiust. Klastrite puhul, kus on rohkem kui paar tuhat GPU-d, laiendab super-spine (5-etapp Clos) või rööbastele optimeeritud topoloogia sama põhimõtet ühe kihi võrra edasi.

AI klastri võrgu põhikomponendid

GPU-serverid ja NIC-id

NIC on koht, kus kangas kohtub peremehega. AI-klastrites juhib NIC-i valik kõike allavoolu - lüliti pordi kiirust, optika valikut ja kaablite tihedust.

AI töökoormuste valikukriteeriumid:

• Pordi kiirus:200G, 400G või 800G pordi kohta. Ühildub GPU genereerimise ja PCIe ribalaiusega.
• PCIe genereerimine:400G NIC vajab PCIe Gen5 x16, et vältida hosti-poolset piirangut. Kasutatavad PCIe Gen4 x16 korgid kiirusega ~256 Gbps.
• RDMA ja RoCEv2 tugi:Nõutav kerneli{0}}GPU sideteekide (nt NCCL) möödaviimiseks.
• GPUDirect RDMA:Võimaldab suunata GPU-d-NIC DMA-le, eemaldades hostimälu koopiad.
• Mitme{0}}raudtee võimalus:Paljud AI-serverid kasutavad raudtee optimeeritud topoloogiate jaoks 4 või 8 NIC-i sõlme kohta, ühte GPU paari kohta.

Tüüpiline 8-GPU-server kasutab tänapäeval olenevalt töökoormusest ja eelarvest kas 4 × 400 G NIC-sid (üks kahe GPU kohta) või 8 × 400 G NIC-i (üks GPU kohta). Viitearhitektuurid alatesNVIDIA võrgu dokumentatsioonkirjeldage üksikasjalikult disaini kompromisse.

Lehtede ja selgroolülitid

AI-kangaste lülitite valikukriteeriumid erinevad ettevõtte valikust. Puhvri suurus, ummikukontrolli käitumine ja telemeetria on olulisemad kui funktsiooni laius.

• Pordi kiiruse ja raadiuse kohta-:51,2 Tbps lüliti ASIC pakub 64 × 800 G porti või 128 × 400 G porti. Radix määrab, kui tasane võib kangas olla.
• Puhvri arhitektuur:Sügavad puhvrid neelavad incast purskeid, kuid lisavad latentsust. Madalad puhvrid vähendavad latentsust, kuid nõuavad täpset ummikute kontrolli.
• RoCE funktsioonide komplekt:ECN-märgistus, PFC, DCQCN või samaväärne ummikukontroll ja prioriteetsete järjekordade nõuetekohane käsitlemine lõpuni{0}}lõpuni-.
• Telemeetria:Sisevõrgu telemeetria (INT), -järjekorra sügavuse aruandlus ja mikrosekundi-eraldusvõime loendurid ECN-märkide ja PFC-pauside jaoks.

Optika, DAC ja AOC kaabeldus

400G ja 800G juures muutub kaabeldustehas tõeliseks inseneriprobleemiks. Vormitegurid, linkide eelarved ja katkestuskonfiguratsioonid vajavad varakult planeerimist.

• DAC (otseühendusega vask):Kuni ~3 meetrit 400G jaoks, madalaim kulu ja väikseim võimsus. Raske ja mahukas.
• AOC (aktiivne optiline kaabel):Kuni ~30 meetrit, õhem kui DAC, kuid fikseeritud-pikkusega ja tarbib mõlemast otsast optilist voolu.
• Ühendatav optika:Nõutav väljaspool AOC vahemaad. QSFP-DD ja OSFP vormitegurid domineerivad 400G/800G. MPO/MTP kiudkoostud tegelevad paralleelsete{5}}kiudühendustega.

Inter-rack-linkide ja 400G/800G struktureeritud kaablite jaoks on nüüd standardseks paralleeloptika MPO-otstega. Valik magistraalkaablite ja jaotussõlmede vahel sõltub teie kommutaatori pordi paigutusest - vaadake meieMPO katkestuskaabli juhendpraktilise valikuloogika jaoks ja laiemaltMPO pagasiruumi ja läbimurde võrdluskui planeerite lehtede{0}}kuni-jookse.

RoCE ja kadudeta Ethernet AI kangastes

RoCEv2 (RDMA over Converged Ethernet v2) on AI töökoormuste jaoks domineeriv Etherneti transport. See võimaldab võrgukaartidel andmeid otse GPU-mälupiirkondade vahel teisaldada, ilma kummaski otsas kernelit kaasamata. NCCL, peaaegu kõigi hajutatud koolitusraamistike aluseks olev GPU suhtlusteek, kasutab RoCEv2, kui InfiniBand pole saadaval.

RoCE töötab hästi, kui see on õigesti seadistatud. See ebaõnnestub kole, kui see on valesti seadistatud. TheInfiniBand Trade Associationavaldab RoCE spetsifikatsioonid ning enamik NIC-i ja lülitite tarnijaid avaldab üksikasjalikud konfiguratsioonijuhendid, mida tuleks järgida lõpuni-lõpuni-.

Miks on kadudeta käitumine oluline?

RDMA kavandati kadudeta transpordi eeldusel. Kui paketid langevad, on RDMA taastamine kulukas - go-back-N kordusedastus võib treeningsammu millisekunditeks peatada, mis on mikrosekundilise-skaala RDMA eelarvega võrreldes tohutult palju.

Kadudeta käitumise ligikaudseks hindamiseks Ethernetis kasutab kangas kahte koos töötavat mehhanismi:

• PFC (Priority Flow Control, IEEE 802.1Qbb):Lüliti peatab konkreetse prioriteedijärjekorra sissetuleva liikluse, kui selle puhver täitub. See on viimane-abinõu.
• ECN (Explicit Congestion Notification, RFC 3168):Vahetab märgipakette, kui järjekorrad lähenevad lävele. NIC vähendab saatmiskiirust enne, kui puhvrid täituvad, vältides ideaaljuhul täielikult PFC-d.

Eesmärgiks on, et ECN tegeleks peaaegu kogu ummikute juhtimisega, kasutades PFC-d turvavõrguna. Kui näete pidevas-liikluses sagedasi PFC pause, on teie ECN-i läved valed või kangas on alamõõduline.

Levinud RoCE juurutamise tõrked

Kuidas kujundada AI klastri võrku: toimiv raamistik

See on jaotis, mille enamik AI võrguartikleid vahele jätab. Allolevad seitse sammu annavad teile igas etapis konkreetsed sisendid ja väljundid.

1. samm: määrake töökoormus ja ulatus

Sisendid:Töökoormuse tüüp (eelõpe,{0}}peenhäälestus, järeldus, segatud), siht-GPU arv täna, siht-GPU arv 18 kuu pärast, mudeli suuruse vahemik.

Väljund:Töökoormuse profiil, mis teavitab NIC-i kiirust ja ületellimuse tolerantsi. Piirimudelite ulatuslik eelkoolitus nõuab, et 400 g+ kangad ei blokeeriks-. Töökoormuste peenhäälestus{5}} talub 2:1 ületellimust. Järeldusklastrid vajavad sageli väiksemat ribalaiust, kuid madalamat latentsusaega.

2. samm: valige NIC-i kiirus ja loendus serveri kohta

Otsuste loogika:

• Suurte mudelite eelkoolitus, 8-GPU-serverid → 4–8 × 400G võrgukaarti serveri kohta või 4 × 800G
• Keskmise-mahuga koolitus, 8-GPU-serverid → 2–4 × 400G NIC-i serveri kohta
• Järelduste teenindamine → 1–2 × 200G või 400G NIC-i serveri kohta, olenevalt mudeli paralleelsusest

Kontrollige hostis PCIe ribalaiust. Üks 400G port nõuab liinikiirusel töötamiseks PCIe Gen5 x16; kahekordistamine 800G-ni nõuab Gen6 või jagamist kahe pesa vahel.

3. samm: määrake lehekihi suurus

Töötatud näide - 32-sõlmede klaster, 8 GPU-d sõlme kohta, 4 × 400 G võrgukaarti sõlme kohta:

• Vajalikud serveri{0}}poolsed pordid kokku: 32 × 4=128 porti 400 G juures
• Allalingi ribalaius sõlme kohta: 4 × 400=1.6 Tbps
• Kogu klastri allalingi ribalaius: 32 × 1.6=51.2 Tbps

Kasutades 64-pordilist 400G lehtlülitit (25,6 Tbps koguvõimsus), saab iga leht ühendada 32 serveriporti ja kasutada ülejäänud 32 porti üleslingidena. 4 lehega katate kõik 128 serveriporti. Iga leht annab selgroo suunas 32 × 400 G=12.8 Tbps üleslingi.

4. samm: määrake selgroo kihi suurus

Mitteblokeeruva (1:1) kujunduse korral peab üleslingi kogumaht võrduma allalingi koguvõimsusega. Alates 3. sammust:

• Vajalik lehtede üleslink kokku: 4 lehte × 12,8 Tbps=51.2 Tbps
• Kui igal selgrool on 32 × 400 G porti=12.8 Tbps, vajate 4 selgroogu
• Iga leht ühendub kõigi nelja ogaga, kasutades 8 üleslinki selgroo kohta (8 × 400 G × 4=12.8 Tbps lehe kohta - vastet)

Kui kasutate 64-pordilisi 400G selgroolüliteid, on igal selgrool vaba võimsust klastri kasvatamiseks, mis on kasulik 18-kuulise plaani jaoks alates 1. sammust.

5. samm: määrake ületellimuse suhe

6. samm: eraldage arvutus-, salvestus- ja haldusliiklus

Kolm võimalust isolatsiooni suurendamise järjekorras:

• Jagatud kangas QoS-klassidega:Arvutage, salvestage ja haldavad eraldi DSCP prioriteete. Madalaim hind; nõuab hoolikat QoS-i seadistamist.
• Loogiliselt eraldatud VLAN-id/VRF-id:Sama riistvara, eraldi juhtimistasandid. Kasulik mitme üürniku{1}}klastrite jaoks.
• Füüsiliselt eraldatud kangad:Spetsiaalsed NIC-id, lülitid ja kaablid arvutamiseks vs salvestusruumiks. Kõrgeim hind; levinud piiriäärsetes-mudelklastrites, kus igasugune vaidlus on vastuvõetamatu.

Tehisintellekti salvestusliiklus on iseenesest raske - kontrollpunkti kirjutamine suure mudeli jaoks võib liigutada sadu gigabaite lühikeste katkestustega. Planeerige see selgesõnaliselt. Suure-tihedusega struktureeritud kaabeldustehas, mis kasutabMPO/MTP magistraalkaablidlihtsustab paralleelsete kangaste käitamist samas füüsilises infrastruktuuris.

7. samm: kinnitage enne tootmist

Võrgu{0}}taseme testid tuvastavad mõned probleemid. Ülejäänud püüavad kinni töökoormuse-taseme testid.

• Ribalaius:iperf3 või ib_send_bw iga sõlmepaari vahel; peaks jõudma 90%+ NIC-liini määrast.
• Latentsus:ib_read_lat või sarnane; kontrollige jaotust, mitte ainult keskmist. P99.9 on olulisem kui keskmine.
• Paketi kadu:Käivitage 24-tunnine leotustest koormuse all; igasugune nullist erinev kadu RoCE liiklusklassis on probleem.
• ECN-i märgistuse käitumine:Kontrollige, et märgid ilmuksid enne PFC süttimist; kui püsiolekus on PFC pausid sagedased, häälestage uuesti.
• Kollektiivne suhtlus:Käivitage NCCL-testid (all_reduce_perf, all_gather_perf) klastri täissuuruses. Võrrelge müüja viitenumbritega.
• Töö{0}}taseme test:Tehke esinduslikku koolitustööd 4–6 tundi. Vaadake GPU kasutuse - püsivad väärtused alla 50% õige-suurusega mudelil viitavad tavaliselt võrguprobleemile.

Traditsiooniline andmekeskuste võrk vs AI selgroog{0}}lehekangas

Ethernet RoCE vs InfiniBand: Otsuste kiirjuhend

See küsimus kerkib esile peaaegu igas AI klastri projektis. Mõlemad töötavad. Valik taandub tavaliselt töösobivusele, mitte puhtale jõudlusele.

• Valige InfiniBand, kui:Teie meeskond juba opereerib InfiniBandi kangaid, soovite kõige lihtsamat teed kadudeta transpordini või ostate täielikult{0}}integreeritud tarnija võrdlusarhitektuuri.
• Valige Ethernet RoCE, kui:Teie operatiivmeeskond on Ethernet{0}}natiivne, soovite mitme-müüja lülitusvõimalusi, peate integreerima tehisintellekti olemasolevate andmekeskuste võrkudega või eeldate skaleerimist kaugemale sellest, mida praegused InfiniBandi topoloogiad puhtalt toetavad.

2023. aastal moodustatud Ultra Etherneti konsortsium töötab aktiivselt spetsiaalselt AI töökoormuste jaoks mõeldud Etherneti täiustuste standardimise nimel. Enamiku 2026. aasta uute klastrite jaoks on Ethernet RoCE kaitsev vaikeseade, kui pole konkreetset põhjust teisiti valida.

Levinud vead, mida vältida

Lülitite uuendamine ilma võrgukaarte kontrollimata

800G lüliti ei tee teie heaks midagi, kui teie võrgukaartidel töötab 400 G või kui teie hosti PCIe ribalaius saab otsa. Kujundage esmalt hosti pool, seejärel lüliti pool. PCIe Gen5 x16 piirab ühe pordi kiirust umbes 504 Gbps-ni reaalmaailma -reaalmaailma läbilaskevõimega -, mis on mugav 400 G jaoks, marginaalne 800 G puhul.

Pordi kiiruse optimeerimine, kuid kaablite tiheduse ignoreerimine

64-pordi 400G juures võib iga lüliti all olev kaabeldus ilma planeerimata füüsiliselt juhitamatuks muutuda. Kasutage vajadusel katkestuskaableid, suunake kiud läbi struktureeritud radade ja standardiseerige pistikutüüpe. Suurtel kiirustel on oluline pistiku kvaliteet ja lõpetamine – meiefiiberoptiliste pistikute tüüpide juhendhõlmab kompromisse LC, MPO ja esilekerkivate suure{0}}tihedusega vormitegurite vahel.

RoCE käsitlemine kui Plug{0}}and-Play

Tõeliste tehisintellekti klastrite suurim disainiviga on vale lüliti valimata jätmine -, vaid alahindamine, kui palju on vaja RoCE konfiguratsiooni otstest-otsani-. Eelarveaeg ECN-i lävede, PFC prioriteetide ja MTU järjepidevuse häälestamiseks. Planeerige spetsiaalne valideerimisfaas enne tootmistöökoormuse käivitamist.

Kogu liikluse segamine ühel kangal ilma QoS-ita

Salvestusruumi replikatsioon, jälgimisagendid ja haldusliiklus võivad treeninguid vähendada, kui nad jagavad puhvreid arvutusliiklusega. Eraldage need füüsiliselt või rakendage ranged QoS-klassid eraldi prioriteetide ja ECN-i konfiguratsiooniga.

Ehitamine ainult tänasele klastrile

Enamik AI klastreid kasvab kahe aasta jooksul pärast esmast kasutuselevõttu 4–8 korda. Valige lüliti radiks ja lülisamba maht, mis võimaldab -häirimatut laienemist. Juhtmete tõmbamine elavas tehisintellekti andmekeskuses on kallis; kanalite ja paikade võimsuse planeerimine juurutamise ajal on odav.

Millal suurendada 400 G-lt 800 G-le

800G NIC-id ja lülitid on saadaval, kuid pordi kohta on need kallimad. Kaaluge kiirendamist, kui:

• Per-GPU ribalaiuse vajadused ületavad 400G pakutavat - näiteks H100 ja uuemad NVLink 5-ga GPU-d eeldavad suuremat välist ribalaiust
• NCCL kõik{0}}vähendab kordade skaala klastri suurusega halvasti, mis näitab võrgu küllastust
• Kaabli tihedus 400G juures muutub füüsiliselt juhitamatuks - vähem 800G porte võib asendada rohkem 400G porte
• Teie tegevuskava järgmine GPU põlvkond vajab seda eeldatavasti klastri amortisatsiooniaknas
• Olete ehitamas eesrindlikku-mudelkoolitusklastrit, kus igasugune arvutustöö jõudeaeg maksab oluliselt rohkem kui optika uuendamine

Enamiku tootmisklastrite jaoks jääb 2026. aastal 400G õigeks tasakaaluks kulude, ökosüsteemi küpsuse ja võimekuse vahel. 800G on otstarbekas tipptasemel ja tulevikuinvesteeringuna täna rajatavatesse klastritesse, mis eeldatavasti töötavad 4–5 aastat.

Järeldus

Tugevaim AI-klastri võrk ei ole see, millel on kõige kiiremad lülitid. See on see, kus NIC-valik, lehtede / selgroo suurus, ületellimus, RoCE konfiguratsioon, liikluse eraldamine ja füüsiline kaabeldus toetavad üksteist ja töökoormust, mille jaoks need valiti.

Alustage töökoormusest ja 18-kuulisest kasvuplaanist. Arvutage iga kihi ribalaiuse vajadused reaalarvude, mitte ainult rusikareeglite abil. Seadistage RoCE lõpp-lõpuks- ja kinnitage tõeliste kollektiivse suhtluse etalonidega. Kaablitehase eelarve – 400G ja 800G juures pole füüsiline kiht enam tühine.

Kõigile nendele kihtidele tähelepanu pööras klaster, mis hoiab oma GPU-sid hõivatuna 95%+ kasutusega igal koolitusetapil. Kiirema lüliti ja aeglasema kangaga tarnitav klaster kulutab aastaid selgitamaks, miks GPU-d on jõude.

Edasine Lugemine

• RFC 7938 - BGP suuremahulistes-andmekeskustes
• InfiniBand Trade Association - RoCE spetsifikatsioonid
• NVIDIA võrgudokumentatsioon
• Kiudoptilise kaabli paigaldamise juhend
• Sisestamise kadu vs tagastuskaotuse selgitus