InfiniBand vs RoCE AI järeldusvõrkude jaoks

ValiInfiniBandkui teie järelduste töökoormus elab või sureb prognoositava saba latentsuse järgi, ja valigeRoCE(RDMA konvergeeritud Etherneti kaudu), kui soovite RDMA{0}}klassi jõudlust Etherneti võrgus, saate skaleerida, jagada ja töötada juba olemasoleva meeskonnaga. Kumbki variant ei võida kõikjal. Õige kõne sõltub teie järeldusmustrist, teie p99 ja p999 latentsuse sihtmärkidest, GPU skaalast, eelarvest ja sellest, kui palju kadudeta-Etherneti häälestamise oskusteavet teie meeskonnas tegelikult leidub.

Miks on võrk olulisem, kui meeskonnad eeldavad?

Aastaid käsitleti järeldusi GPU loo lihtsa poolena: ühte sõlme laaditud mudel, päringuid teenindatakse iseseisvalt, ida{0}}läänesuunaline liiklus on väga väike. See pilt on nüüdseks aegunud. Kaasaegsed järeldused levivad üha enam ja mitmed mustrid avaldavad kangale tõelist survet.

• Tensoride paralleelsusjagab GPU-de vahel ühe kihi, nii et iga märgi samm käivitab nende vahel kõik-vähendamise või kõigi{1}}kogumistoimingud. See on sagedane, latentsus-tundlik, rist-GPU-liiklus, mille GPU-d ootamise ajal blokeerivad.
• Torujuhtme paralleelsusKäte aktiveerimised ühest etapist teise, sageli sõlmede vahel, lisades igale edasipääsule rist-sõlmede sõltuvused.
• Eraldatud eeltäitmine ja dekodeerimineeraldab arvutus-raske eeltäide faasi latentsustundlikust-dekodeerimise faasist, seejärel liigutab KV vahemälu nende vahel. Need edastused on suured ja katkendlikud ning viivitus ilmneb otse aeglasema aja-esimese-ni ja -tokenidevahelise latentsuna.
• Otsimine{0}}laiendatud põlvkond (RAG)lisab ida{0}}läänesuunalise liikluse vektor- ja otsinguteenustele. Tavaliselt on see vähem latentsus-kriitiline kui kollektiivsed toimingud, kuid see siiski koormab kangast, eriti suure päringumahu korral.
• Mitme{0}}üürniku teenindaminepaneb paljud mudelid ja kasutajad samale kangale, kus mikropursked ja müra{0}}naaberefektid muutuvad domineerivaks riskiks.

Kui kitsaskohaks on võrk, on sümptomid kallid: pikem-aeg-esimese-luba saamiseks, GPU-d seiskuvad andmete ootel, läbilaskevõime, mis katkeb katkestuste ajal ning ebastabiilne p95 ja p99. Ja siin on see osa, mis viib võrdlusaluste üles: keskmine latentsus peidab selle kõik. Tootmisjäreldusi hinnatakse saba, mitte keskmise järgi.

InfiniBand vs RoCE: AI järelduste kokkuvõtlik tabel

Mis on InfiniBand?

InfiniBand on otstarbeks-ehitatud võrgukangas, mis on algusest peale loodud madala latentsuse, suure läbilaskevõime ja kadudeta side jaoks. See ei ole Etherneti kiirem maitse. Sellega on kaasas oma hostikanali adapterid, lülitid, alamvõrguhaldur, kaabelduse ökosüsteem ja ummikute{3}}juhtimismudel. Selle määravaks väärtuseks on deterministlik käitumine: paljud GPU-d suudavad suhelda rangete ajastusnõuetega ja kangas käitub järjepidevalt isegi siis, kui kollektiivne liiklus on tihe.

Kaasaegsed tehisintellektile{0}}orienteeritud InfiniBand platvormid laiendavad seda baasi võimalustega, mis on suunatud täpselt suurtele GPU-klastritele. Näiteks NVIDIA Quantum InfiniBand liin lisabadaptiivne marsruutimine,-võrgusisene andmetöötlus ja telemeetria-põhine ülekoormuse kontroll, mis aitavad kangal liiklust arukalt hajutada ja isoleerida ühe üürniku koorma teise omast. Järelduste tegemiseks teenib InfiniBand oma koha, kui töökoormus ei talu värinat või kui mitu GPU-sõlme peavad andmeid kiiresti ja järjepidevalt vahetama.

Kompromiss{0}}on kulu, ökosüsteemi kontsentratsioon ja tegevuse spetsialiseerumine. Spetsiaalne InfiniBandi kangas tähendab spetsiaalseid lüliteid, adaptereid, kaableid või optilisi mooduleid ja insenerid, kes tunnevad InfiniBandi kanga haldamist. Organisatsiooni jaoks, millel on juba suured Etherneti valdused, muudab eraldi kanga kinnitamine keerukamaks hankimise,{3}}varuosade planeerimise ja jälgimise.

Mis on RoCE (RDMA over Converged Ethernet)?

RoCE toob Etherneti võrkudesse RDMA, otsemälu-to-mälu andmeliikumise vähese protsessoriga. Kaasaegsetes andmekeskustes kasutatav versioon RoCEv2 on marsruutitav üle 3. kihi IP-võrkude ja selle on standardinudInfiniBand Trade Association. See suunatavus võimaldab RoCE-l loomulikult sobituda Etherneti lehtede{1}}selja kujundusega, kasutades samal ajal tuttavaid võrgukaarte, lüliteid, optikat ja jälgimistööriistu.

Konks on selles, et RDMA-edastused eeldavad peaaegu{0}}kadudeta võrku. Loobuge pakett ja transport naaseb taasedastuskäitumisele, mis vähendab saba latentsust. Seega vajab RoCE selle all olevat Etherneti, et käituda nagu kadudeta kangas, ja see sõltub eelkõige kahe mehhanismi hoolikast seadistamisest:Prioriteedi voolu juhtimine (IEEE 802.1Qbb), mis peatab ühe liiklusklassi kukkumiste vältimiseks jaSelgesõnaline ülekoormuse teatis (ECN), mis annab ummikutest varakult märku, nii et saatjad aeglustavad enne puhvrite ületäitumist. Kui lisada sellele järjekorrahaldus, puhvri eraldamine ja QoS-i vastendamine, saab selgeks, et suure jõudlusega-RoCE ei ole tavaline Ethernet.

Hästi tehtud, pakub RoCE piisavalt latentsust ja läbilaskevõimet paljude tootmisjärelduste teenuste jaoks ning paljud järelduste töökoormused on vähem sünkroniseeritud kui hajutatud koolitus, mis töötab RoCE kasuks. Kui see on halvasti tehtud, põhjustab see pakettide kadu, liini pea-blokeeringut, ummikuid levib ja ebastabiilseid sabasid, mis kõik tähendavad teenuse kvaliteedi halvenemist.

InfiniBand vs RoCE latentsusaeg: kumb on parem p99 järelduste jaoks?

Mõlemad kangad võivad pakkuda suure{0}}ribalaiuse ja madala-latentsusega võrguühendust. Need erinevad selle poolest, kuidas nad sinna jõuavad. InfiniBand on ehituselt deterministlik, nii et värin püsib madalana isegi segakoormuse korral. RoCE sobib sellega paljude töökoormuste jaoks, kuid tulemus sõltub Etherneti kangast ja sellest, kui hästi see on häälestatud.

Kasutuselevõtu seisukohast on tootmise tegelik probleem harva maksimaalne ribalaius. See väriseb segatud, katkendliku ja mitme rentniku liikluse{1}} korral. RoCE-kangas, mis läbib puhta, iperf-stiilis läbilaskevõime testi, võib siiski oma p99 sihtmärgist mööda minna, kui pildile tulevad mikropursked ja tüli. See lõhe labori etaloni ja tootmise SLA vahel on koht, kus elab kõige rohkem üllatusi.

InfiniBandil on tavaliselt eelis, kui:

• Teenusel on ranged p99 või p999 latentsuseesmärgid.
• Järeldus hõlmab mitut GPU sõlme tensori või konveieri paralleelsusega või kasutab liigendatud eeltäitmist ja dekodeerimist.
• GPU-kasutus on võrgu viivituse suhtes väga tundlik, seega on seiskud kallid.
• Klastril on väike arv kõrge{0}}prioriteetseid töökoormusi, mille puhul prognoositavus kaalub üles paindlikkuse.

RoCE on tavaliselt piisavalt hea, kui:

• Taotlused on enamasti sõltumatud või seos on lõtv.
• Töö toimub sõlme või väikese arvu sõlmede piires.
• Partii läbilaskevõime on olulisem kui ülimalt{0}}madal latentsusaeg.
• Meeskond juba kasutab Etherneti ja kulude või tarnija paindlikkus on prioriteet.
• Klaster toetab mitut rentnikku või segatud töökoormust.

RoCE vs InfiniBand hind: mis tegelikult juhib TCO-d?

RoCE-d nimetatakse sageli odavamaks variandiks, kuid lüliti hind on väike osa pildist. Realistlik võrdlus vaatleb kogu pinu: võrguadapterid või HCA-d, lülitid, optilised moodulid, DAC, AOC ja kiudkaablid, racki topoloogia, toide ja jahutus, võrgu operatsioonisüsteem, jälgimine ja telemeetria, projekteerimisaeg, varuosad, müüja tugi ja tee 400G või 800G-ni.

InfiniBandil on tavaliselt suurem eelkulu, kuna see nõuab spetsiaalset kangast ja spetsiaalseid komponente. Keskkondades, kus deterministlik käitumine on esmatähtis, võib see vähendada häälestus- ja tõrkeotsingu pingutusi, mida kadudeta Etherneti võrk nõuab. RoCE alandab riistvarakulusid, kui olemasolevat Etherneti komplekti koos õige andmekeskuse sildamise toega saab uuesti kasutada, kuid see suunab jõupingutused kadudeta kanga kujundamisele, valideerimisele, jälgimisele ja tõrkeotsingule. Madala-kuluga RoCE disain muutub kiiresti kalliks, kui see põhjustab ebastabiilset latentsust ja korduvat tulekahju kustutamist.

Kulud ja riskid koonduvad kiiruse kasvades füüsilisele kihile. 400G ja 800G puhul domineerib optika nii arve kui ka tõrkerežiimide puhul. Enamik kiireid{4}}porte maandubQSFP-DD või võrreldavad vormitegurid, ja vastavad paremaleühe--- või mitmerežiimiline optikaTeie tegeliku ulatuse saavutamiseks on üks lihtsamaid viise, kuidas vältida liigset kulutust kangale, mis ei vaja pika{0}}vahemooduleid.

Otse öeldes: RoCE pole odavam valik, kui teie meeskonnal puuduvad kadudeta{0}}Etherneti teadmised. Riistvara kokkuhoiu saab kiiresti ära süüa kanga stabiilsena hoidmise insenerikulud.

Skaleeritavus ja toimingud

Skaleeritavus on rohkem kui portide arv. See hõlmab seda, kui hõlpsalt kangast kasutusele võtta, jälgida, laiendada ja taastada, kui midagi ebaõnnestub.

InfiniBand on tugev, kui klaster on esimesest päevast alates loodud spetsiaalse suure{0}}jõudlusega kangana. See tagab ühtlase käitumise mastaabis, kuid eeldab InfiniBandi-spetsiifilisi tööriistu, nagu alamvõrguhaldur ja ühtne kangahaldus, ning töötajaid, kes tunnevad InfiniBandi kontseptsioone hästi. See sobib loomulikuks tsentraliseeritud AI-klastritele, mis on üles ehitatud GPU töökoormusele.

RoCE ühendab Etherneti andmekeskuse kujundusega: lehtede{0}}spine topoloogiad, IP-marsruutimine, ECMP ja tuttavad jälgimistavad. Just seetõttu meeldib see pilve{2}}stiili ja mitme rentniku GPU infrastruktuurile. Distsipliin, mida see nõuab, on järjepidevus. PFC, ECN, QoS, puhvrihaldus ja ummistuse juhtimine peavad olema kujundatud ühtselt kogu tee ulatuses, sest väike vale konfiguratsioon kanga ühes nurgas võib levida ja halvendada korraga palju töökoormust. Ka füüsiline kiht peab skaleerima puhtalt; kõrge-tihedusegaMPO ja MTP magistraal- ja katkestuskaabeldushoiab kasvava lehe{0}}seljakanga hallatavana, mitte ei muudaks iga laiendust kaabeldusmõistatuseks.

Peegelpildi-punkt väärib märkimist: InfiniBandi on raske õigustada, kui järeldused jäävad enamasti ühe sõlme piiresse ja kangast vaevalt treenitakse.

Milline võrk iga järelduse töökoormuse jaoks

Millal RoCE on piisavalt hea ja kui see muutub riskantseks

RoCE on piisavalt hea sõltumatute või lõdvalt seotud päringute, läbilaskevõimele-orienteeritud pakktöö ja mitme-üürniku klastrite jaoks, kus saate isolatsiooni häälestada, eriti kui meeskond valdab andmekeskuse sild Etherneti. See muutub riskantseks konkreetsetel ja äratuntavatel viisidel:

• PFC tormid.Peatuskaadrid levivad ülesvoolu ja külmutavad liiklust, millel polnud algse ummikuga midagi pistmist.
• Liini blokeerimise-pea-.Prioriteedi jäme kaardistamine võimaldab ühel ülekoormatud klassil teistel järjekorda jagada.
• ECN valesti häälestamine.Märkige liiga hilja ja saate tilgad; märkige liiga agressiivselt ja gaasi läbilaskevõimet tarbetult.
• Mikropurske ummikud.Alam-sekundilised sarivõtted täituvad puhvritest, kuid jäävad nähtamatuks, et jälgida proovide võtmist ühe-sekundilise eraldusvõimega.
• Ebaühtlane konfiguratsioon.Lehtede ja selgroo mittevastavad sätted põhjustavad ummikuid pigem leviku kui lokaalse püsimise asemel.

Ükski neist ei ole põhjus RoCE vältimiseks. Need on põhjused, miks kujundada kadudeta kangas ühtselt otsast lõpuni ja investeerida enne skaleerimist peene-teralise, mikrolaine{2}}teadlikusse telemeetriasse.

Millal InfiniBand on seda väärt ja kui ostate üle

InfiniBand on oma lisatasu väärt rangete p99 ja p999 sihtmärkide, tihedalt seotud mitme-sõlme teenindamise ja missiooni-kriitiliste töökoormuste eest, kus SLA-karistused on kõrged, eriti spetsiaalse GPU-klastri puhul, mis on loodud ümber kanga. Tõenäoliselt ostate üle, kui järeldus jääb sõlme piiresse, kui töö on läbilaskevõimele{5}}orienteeritud, kui vajate sama kangast ka salvestusruumi, halduse ja mitme rentniku pilveliikluse edastamiseks- või kui teil lihtsalt puudub InfiniBandi hästi käitamiseks töövõime.

Kulud, mida kommutaatori hinnapakkumises ei kajastu, on reaalsed: ökosüsteemi kontsentratsioon, Etherneti võrguga paralleelselt teise kanga käitamise üldkulud ning varuosade, optika ja seire eraldi planeerimine.

Kuidas testida InfiniBand vs RoCE enne valimist

Ärge otsustage protokolli maine või spetsifikatsioonilehe üle. Otsustage tootmist meenutava võrdlusaluse kasuks. Praktiline jada:

• Määratlege SLA sabades.Määrake p50, p95, p99 ja p999 aja-to{5}}esimese-ni ja inter-tokenide latentsusajaks, mitte ainult keskmiseks.
• Taasesita realistlikku liiklust.Kasutage ühe puhta voo asemel sarivõtteid, erineva suurusega mudeleid ja mitme{0}}üürniku samaaegsust.
• Koormus ummikuni.Lükake kangast, kuni see on tõeliselt vastu, ja seejärel mõõtke GPU kasutust. Kui GPU-d võrgus seiskuvad, on kangas teie kitsaskoht.
• Vaadake õigeid loendureid.Jälgige pausikaadreid, ECN-i märke, pakettide kukkumisi, uuesti edastusi, pordi vealoendureid ja 400G ja 800G puhul FEC-vigu.
• Kinnitage füüsiline kiht.Puhtad, õigesti paigaldatud kiudained;ettevaatlik kiudude paigaldamineväldib vahelduvaid,{0}}raskesti-diagnoositavaid vigu, millele kiired{2}}lingid kalduvad.

Kui RoCE hoiab oma p99 sihtmärki realistliku, vaieldava, mitme rentniku ja stabiilsete loenduritega koormuse all, on see tugev ja kulutõhus{2}}valik. Kui see läbib ainult puhtad ühe-voo testid, pole te veel testinud asja, mis otsustab teie SLA üle.

Levinud vead, mida vältida

• Eeldusel, et kõik järeldused on kerge võrgustumine.Mõned järeldused on lihtsad ja sõltumatud; osa on hajutatud, latentsus-tundlik ja ribalaiuse-näljas. Kui käsitleda seda kõike lihtsana, tekib infrastruktuur vähe.
• Võrreldes ainult keskmist latentsust.Tootmise järeldus sõltub sabast. Hinnake p95, p99 ja p999 alati realistliku liikluse korral.
• RoCE käsitlemine plug{0}}and-ethernetina.Suure jõudlusega-RoCE vajab teadlikku kadudeta-kangakujundust, ummikute kontrolli ja pidevat jälgitavust.
• InfiniBandi valimine ainult seetõttu, et see on kiirem.Parim tulemuslikkus ei ole alati parim ärivalik. Kui töökoormus ei vaja deterministlikku käitumist, võib RoCE pakkuda paremat väärtust.
• Füüsilise kihi ignoreerimine.400G ja 800G puhul tekitavad kaablid, optika, pistikud ja kiudude puhtus vahelduvaid vigu, mida on raske leida ja mille parandamine on kallis.

Alumine rida

Tehisintellekti järeldamiseks kehtivad mõlemad InfiniBand ja RoCE ning need teenivad erinevaid prioriteete. Valige InfiniBand, kui vajate kõige järjepidevamat madala-latentsusega võrku-reaalajas, SLA-tundlikuks või tihedalt seotud järelduste tegemiseks. Valige RoCE, kui vajate skaleeritavat Etherneti-põhist kulu-efektiivset struktuuri pakettjäreldamiseks, mitme -üürniku GPU-teenuste, RAG-i töökoormuse ja paindliku infrastruktuuri jaoks.

Otsus peaks algama töökoormusest, latentsuse sihtmärgist, klastri skaalast, teie toimimisvõimalustest ja versiooniuuenduse tegevuskavast, mitte protokollist. Kui teie klaster peab suure koormuse all hoidma rangelt p99, väärib InfiniBand tõsist kaalumist. Kui teie eesmärk on teha järeldusi Etherneti andmekeskuses säästlikult, on RoCE tavaliselt praktilisem tee. Mõlemal juhul tehke enne kohustuse võtmist võrdlusuuringut tootmises-, näiteks laadimist.