Murtaa muistimuuri laajamittaisessa tekoälykoulutuksessa

Eteläkorealaiset tutkijat ovat onnistuneesti kehittäneet ydinteknologian, joka voi perustavanlaatuisesti ratkaista "muistipulan", kroonisen pullonkaulan laajamittaisessa tekoälyn (AI) koulutuksessa.

Elektroniikan ja televiestinnän tutkimuslaitos (ETRI) ilmoitti kehittäneensä uuden muistiteknologian nimeltä ”OmniXtend”, joka ratkaisee näytönohjaimen muistikapasiteettirajoitukset ja datansiirron aiheuttamat lisäkustannukset, joita pidetään suurimpina ongelmina laajamittaisessa tekoälykoulutuksessa.

Viime aikoina, kun laaja-alaisten tekoälymallien ja suurteholaskennan (HPC) kysyntä on kasvanut räjähdysmäisesti, käsiteltävän datan määrä kasvaa eksponentiaalisesti. GPU-suorituskyvyn paranemisesta huolimatta "muistiseinän" ongelma – jossa laskennallinen tehokkuus laskee jyrkästi muistikapasiteetin vuoksi – on kuitenkin pysynyt ratkaisemattomana haasteena.

ETRIn kehittämä OmniXtend ratkaisee tämän hyödyntämällä standardi-Ethernetiä muistin yhteenliitännän perustana, mikä mahdollistaa muistin jakamisen palvelimien ja kiihdyttimien välillä ja käsittelee hajautettuja resursseja tehokkaasti yhtenä massiivisena "muistipoolina".

Toisin sanoen muistiresurssit, jotka olivat perinteisesti tiiviisti kytkettyjä ja paikallisesti rajoitettuja, on nyt eritelty ja käytettävissä verkossa, mikä mahdollistaa muistikapasiteetin dynaamisen ja skaalautuvan allokoinnin tekoälytyökuormille.

OmniXtend demonstroi tätä skaalautuvaa jaettua muistiarkkitehtuuria Ethernetin yli saavuttaen samanaikaisesti hyperskaalautuvan tekoälykoulutuksen suorituskyvyn, skaalautuvuuden ja kustannustehokkuuden.

Ensinnäkin se paransi tekoälyn koulutusnopeutta minimoimalla datansiirron viiveen. Lisäksi muistikapasiteettia voidaan laajentaa ilman palvelimien vaihtamista, mikä johtaa datakeskusten käyttöönotto- ja käyttökustannusten pienenemiseen.

Erityisesti perinteisillä nopeisiin sarjaliitäntöihin, kuten PCIe:hen, perustuvilla arkkitehtuureilla oli rajoituksia laitteiden välisen yhteysetäisyyden ja järjestelmän skaalautuvuuden suhteen. Sitä vastoin OmniXtend hyödyntää perinteisiä Ethernet-kytkimiä useiden fyysisesti hajautettujen laitteiden yhdistämiseen yhtenäiseksi muistipooliksi, mikä tekee siitä sopivan hyvin erittäin skaalautuviin, laaja-alaisiin tekoälyjärjestelmäympäristöihin.

ETRIn tutkijat kehittivät ideaan keskeisiä mahdollistavia teknologioita, mukaan lukien FPGA-pohjaisen muistinlaajennussolmun ja Ethernet-pohjaisen muistinsiirtokoneen ja varmistivat järjestelmän vakaan toiminnan.

Todellisessa demonstraatiossa he esittelivät onnistuneesti useita Ethernet-ympäristössä olevia laitteita, jotka muodostivat jaetun muistipoolin ja käyttivät toistensa muistia reaaliajassa.

Aiheesta aiemmin:

Tekoälyä myös teollisuudelle

Koodittomat koneoppimisen kehitystyökalut

Tekoälyn tulevaisuus riippuu laitteistoinnovaatioista