Syväoppimisen uudelleenarviointi

Ricen yliopiston Anshumali Shrivastava johti ryhmää, joka toteutti syväoppimisen tekniikka ilman erikoistuneita kiihdytyslaitteita kuten GPU-yksiköitä.

Rice yliopiston tietotekniikan tutkijat ovat voittaneet vauhdikkaasti kasvavan tekoälyteollisuuden esteen osoittamalla, että on mahdollista nopeuttaa syväoppimisen tekniikkaa ilman erikoistuneita kiihdytyslaitteita, kuten grafiikkaprosessointiyksiköitä (GPU).

Monet yritykset investoivat voimakkaasti GPU-laitteisiin ja muihin erikoistuneisiin laitteistoihin syväoppimisen toteuttamiseksi. Ricen kustannustehokas vaihtoehto GPU:lle on algoritmi nimeltään ”sub-linear deep learning engine SLIDE”, joka tukeutuu yleiskäyttöisiin keskusyksiköihin (CPU) ilman erikoistuneita kiihdytyslaitteita.

”Testimme osoittavat, että SLIDE:n ensimmäiset älykkäät algoritmiset syväoppimisen toteutukset CPU-prosessorilla ovat parempia kuin GPU-kiihdyttimillä teollisuusmittakaavan aineistoilla ja suurilla täysin kytketyillä arkkitehtuureilla,” toteaa Anshumali Shrivastava.

SLIDE ei tarvitse GPU:ta, koska sillä on erilainen lähestymistapa syväoppimiseen. Tavanomainen " back-propagation" harjoitustekniikka syvissä hermoverkoissa vaatii matriisin kertolaskun, ihanteellisen työmäärä GPU:ille. SLIDE:n avulla Shrivastava ja kumppanit muuttivat neuroverkkoharjoituksen hakuongelmaksi, joka voitiin ratkaista hash-taulukoilla.

Tämä vähentää radikaalisti SLIDE:n laskennallisia yleiskustannuksia verrattuna takaisin etenemis -harjoitteluun.

Hajautus (hashing) on dataindeksoinnin menetelmä, joka keksittiin Internet-haulle 1990-luvulla. Se käyttää numeerisia menetelmiä koodaamaan suuria määriä tietoja, kuten kirjan kokonaisia verkkosivuja tai lukuja, numeroiden merkkijonona, jota kutsutaan hashiksi. Hash-taulukot ja niiden listat tekevät haun erittäin nopeaksi.

Shrivastava sanoi, että SLIDE:n suurin etu taaksepäin leviämiseen verrattuna on, että se on dataa rinnakkain.

”Datalla rinnakkain tarkoitan, että jos minulla on kaksi datatapausta, joita halutaan harjoittaa. Kun yksi on kuva kissasta ja toinen bussista, ne todennäköisesti aktivoivat erilaisia neuroneja ja SLIDE voi päivittää tai kouluttaa näitä kahta itsenäisesti. Tämä on paljon parempi rinnakkaisuuden hyödyntämisen tapa CPU:lle, toteaa Shrivastava.

Haittapuoli verrattuna GPU:han on, että vaaditaan suuri muisti, "Päämuistissa on välimuistin hierarkia, ja jos et ole varovainen sen suhteen, voit joutua törmäystilaan, jossa tulee paljon välimuistipuutteita.

"Yhteistyökumppanimme Inteliltä tunnistivat välimuistiongelman", Shrivastava kertoo. ”He kertoivat meille, että he voisivat työskennellä kanssamme saadaksemme sen harjoituksen entistä nopeammaksi, ja he olivat oikeassa. Tuloksemme paranivat heidän avullaan noin 50%.”

Shrivastava kommentoi, että SLIDE ei ole vielä lähestynyt täyttä potentiaalinsa mutta se on silti tärkeä, koska se osoittaa, että on olemassa muitakin tapoja syväoppimiseen.

Aiheesta aiemmin: Sulautettua tekoälyä