Veijo Hänninen

Transistoreista neuristoreihin

Neuromorfisista laskentamenetelmistä tulee yhä tärkeämpiä, kun on vastattava tuleviin tarpeisiin käsitellä valtavia datamääriä tehokkaasti.

Perinteiset laskentajärjestelmät joutuvat umpikujaan pääasiassa siksi, että CMOS-teknikkaan perustuvaa tietokonetta on vaikea skaalata aivojen monimutkaisuuteen. Tärkeä rajoittava tekijä on myös kohtuuttoman suuri energiankulutus siru- ja järjestelmätasolla.

Suuri osa neuroverkkoihin ja neuromorfiseen laskemiseen liittyvää kehitystyötä hyödyntää edelleen CMOS-tekniikkaa kuten graafisia prosessointiyksiköitä (GPU) tai tensoriprosessointiyksiköitä (TPU:ita), jotka on optimoitu suorittamaan monia neuroverkoissa käytettyjä vektori-matriisikertoja. Tämä on toistaiseksi kaupallisesti kannattavin lähestymistapa.

Suuret yritykset ovat kehittäneet erikoissiruja, jotka ovat optimoitu keinotekoisten neuroverkkoalgoritmien suorittamiseen. Lisäksi on hyödynnetty hybridejä tekniikoita, joissa neuronit toteutetaan fyysisesti analogisella elektroniikalla.

Purduen yliopiston tutkijat ovat puolestaan kehitelleet neuropiirejään perovskiittinikkelaatista, jota voidaan työstää nykyisillä puolijohdevalmistuksen tekniikoilla ja ne toimisivat huonelämpötilassa.

Kvanttimateriaalit avuksi

Kehitystyön edelleen jatkamiseksi apuun suunnitellaan otettavaksi kvanttimateriaalien ainutlaatuiset ominaisuudet.

Yksi tapa vähentää energiankulutusta keinotekoisissa neurosoluissa ja muissa aivojen inspiroiman laskennan lähestymistavoissa on hyödyntää kvanttimateriaalien voimakkaita epälineaarisia ominaisuuksia.

Tämän energiatehokkuuden pääajatuksena on, että kvanttimateriaaleissa pieni sähköinen ärsyke voi tuottaa materiaalin tilanmuutoksen kautta suuren vasteen, joka voi olla sähköinen, mekaaninen, optinen, magneettinen jne. Esimerkiksi useissa oksideissa on metalli-eriste siirtymiä, joissa pieni jännite tai virta voi aiheuttaa suurusluokkien resistiivisyyden muutoksen.

Lisäksi resistiivisen kytkennän aikana Joule-lämmitys tarjoaa sisäisen fyysisen mekanismin lyhyt- ja pitkäkestoisen plastisuuden emulointiin sekä piikitysajoituksesta riippuvaan plastisuuteen, jotka ovat keskeisiä oppimisen mekanismeja ilman ulkoista sähköistä pulssiohjausta.

Yksi kvanttimateriaalien määrittelevistä ominaisuuksista ovat monimutkaiset Hamilton ominaisuudet, jotka tuottavat odottamattomia ja hyödyllisiä ominaisuuksia, jotka liittyvät hilaan, spiniin, varaukseen ja kiertoradan luonteeseen.

Eri toimintoja samassa materiaalissa

Tämä kvantti-ilmiöiden kirjo tarjoaa joitain etuja nykyisin käytettäviin yksitoimisiin puolijohteisiin verrattuna.

Ensinnäkin kvanttimateriaalit voivat tarjota erilaisiatoimintoja, jotka on rakennettu samaan materiaaliin. Esimerkiksi materiaalilla voi olla resistiivisiä ja magneettisia ominaisuuksia, joita voidaan virittää toisistaan riippumatta sopivilla ulkoisilla häiriöillä.

Toiseksi hallitsevat vuorovaikutukset, vaikka ne ovat alkuperältään mikroskooppisia, kytkeytyvät materiaalissa termodynaamisesti laajempien asteikkojen yli, jolloin saadaan mesoskooppisia ja makroskooppisia faaseja, joita ilmenee luonnossakin.

Laajat kvanttimateriaaleihin perustuvat verkot voivat siten olla hyödyllisiä neuromorfisessa laskennassa, koska koko verkon ilmenevät ominaisuudet (jotka eroavat kategorisesti kaikkien yksittäisten laitteiden ominaisuuksista) jäljittelevät tapaa, jolla aivot toimivat ja ne ovat monimutkaisempia kuin vain lineaarinen neuronien ja synapsien yhdistäminen. Näin ollen esiin tulevan neuroverkon koko makroskooppinen tila voi säilyttää informaatiota, oppia ja mahdollisesti mukautua erilaisiin ärsykkeisiin.

Keskeistä näissä ideoissa on, että kvanttimateriaalien ominaisuuksia hallitsevat perustavanlaatuinen kvanttimekaniikka eri pituusasteikoilla.

Neuristori

Neuristorin ideaa kehiteltiin jo 1960-luvulla mutta enemmän idea on saanut ilmaa alleen memristorin esiintulon kautta 1980-luvulla. Ensimmäinen neurotransistorikin esiteltiin jo vuonna 2020.

Kalifornian San Diego yliopiston fyysikkoryhmät kertoivat keväällä 2021 ottaneensa harppauksen eteenpäin luodessaan uudenlaisen nanomittakaavan neuristorin, joka jäljittelee aivojen oppimistoimintoja

"Se, että voimme tehdä rakenteita, jotka toimivat ja ovat samanlaisia kuin neuronit - mutta voivat olla jopa parempia kuin luonnon luomat neuronit - on melko yllättävää", Oleg Shpyrko sanoi. "On kokonainen luokka tehtäviä, joissa aivomme ovat edelleen tietojenkäsittelyssä tehokkaampia kuin perinteiset puolijohdemenetelmät. Käytämme näitä aivojen inspiroimia lähestymistapoja kehittääksemme laitteita, jotka voivat suorittaa samantyyppisiä laskentatoimia."

Tutkijat kehittivät kvanttimateriaalista tehdyn rakenteen, joka voisi toiminnallisesti oppia toistuvilla ärsykkeillä. Toistuvilla harjoituksilla neuristorit voivat oppia samalla tavalla kuin ihmiset oppivat pyöräilemään, uuden kielen tai soittamaan pianoa.

Keskeinen haaste aivojen kaltaisten laitteiden kehittämisessä on ensin kehittää keinotekoisia neurosoluja, soluja jotka lähettävät ja vastaanottavat informaatiota aivojen ja neuronien kautta.

Neuristoreiden saaminen toimimaan neuronien tavoin edellyttää kahden kvanttimateriaalin perustyypin toiminnon eli haihtuvan ja jatkuvan resistiivisen kytkennän nanomittakaavaisen mekanismien hallintaa

Tutkijoiden kehittelemät neuristorit antoivat heille mahdollisuuden hallita tätä vaihtoprosessia, mikä avasi oven neurosolumaiselle oppimiselle toistuvien ärsykkeiden kautta minimaalisella energiantarpeella.

"Energiatehokkuuden parantaminen saa nämä neuronit lähestymään aivojen neuronien toimintoja", totesi UC San Diegon fysiikan professori ja Q-MEEN-C:n johtaja Ivan Schuller,

"Tärkeää on, että ensimmäistä kertaa voimme ottaa tämän neurosolujen käyttäytymistä simuloivan neuristorirakenteen ja harjoittaa sitä", Shpyrko sanoi. "Toistuvien ärsykkeiden kautta neuristori 'ohjelmoi' itsensä uudelleen käyttäytymään hyvin eri tavalla kuin se toimi aiemmin ja muodostaa jatkuvan johtavan reitin. Tämä on tärkeä askel kohti pienen tehonkäytön lähestymistapoja neuromorfiseen laskentaan."

Todistettuaan yksittäisen neuristorin suunnitelman tutkijat suunnittelivat jatkavansa työtä rakentamalla useita laiterakenteita, jotka voivat puhua keskenään ja kehittyä lopulta neuristorien verkostoksi.

Kohti verkostoa

Sitten syksyllä 2021 ryhmä UC San Diegon ja Purduen yliopiston tutkijoita kertoi simuloineensa uudentyyppisten tekoälyn laskentalaitteiden perustaa ja he osoittivat onnistuneesti piirien ja rakenneosien muodostamien verkkojen selkärangan, jotka matkivat biologisissa neuroverkoissa esiintyviä neuronien ja synapsien yhteyksiä.

Covid-pandemian puhjettua Alex Frañó ja hänen kollegansa joutuivat eristyksiin ja pähkäilivät sitä, kuinka he jatkaisivat tutkimustaan. Lopulta he ymmärsivät, että he voisivat edistää tiedettään kvanttimateriaalien simulaatioiden näkökulmasta.

"Tämä on pandemiapaperi", sanoi Frañó. ”Päätimme tutkijoideni kanssa tutkia tätä asiaa teoreettisemmasta näkökulmasta, joten istuimme alas ja aloimme pitää viikoittaisia nettikokouksia. Lopulta idea kehittyi ja lähti liikkeelle."

Tutkijoiden innovaatio perustui kahdentyyppisten kvanttiaineiden yhdistämiseen – kuparioksidipohjaisiin suprajohtaviin materiaaleihin ja nikkelioksidipohjaisiin metalli-eriste siirtymän materiaaliin. Nämä materiaalit vaativat erittäin kylmiä toimintaolosuhteita. (kryoelektroniikkaa) mutta siitä huolimatta sen arvellaan tuovan tekniikalle energiankäytön etuja.

He loivat perustason "silmukkarakenteita", joita voitiin ohjata tarkasti nanomittakaavassa heliumilla ja vedyllä, kuvastaen tapaa, jolla neuronit ja synapsit ovat yhteydessä toisiinsa. Kun näitä keskenään yhdistäviä ja informaatiota vaihtavia rakenteita lisättiin, simulaatiot osoittivat, että lopulta ne mahdollistaisivat joukon verkotettuja rakenteita, jotka osoittivat esiin tulevia ominaisuuksia, kuten eläimen aivot.

Kuten aivot, neuromorfisia laitteita suunnitellaan tehostamaan yhteyksiä, jotka ovat tärkeämpiä kuin muut, samalla tavalla kuin aivojen synapsit painottavat tärkeämpiä viestejä kuin muut.

"On yllättävää, että kun lisäät silmukoita, alat nähdä käyttäytymistä, jota et odottanut", sanoi. ”Tästä simulaatiosta voimme kuvitella tekevämme tämän kuudella, 20:llä tai sadalla tällaisella rakenteella, jolloin se rikastuu eksponentiaalisesti. Viime kädessä tavoitteena on luoda erittäin laaja ja monimutkainen verkosto näistä laitteista, joilla on kyky oppia ja mukautua."

Pandemian helpotettua Frañó ja kumppanit siirtyivät takaisin laboratorioon testaamaan teoreettisia simulaatioitaan reaalimaailman instrumenteilla.

Q-MEEM-C

Vuodesta 2018 lähtien Kalifornian San Diegon yliopiston johtama Quantum Materials for Energy Efficient Neuromorphic Computing (Q-MEEN-C) on ollut tämän tutkimuksen eturintamassa. Nyt Yhdysvaltain energiaministeriö on ilmoittanut keskukselle 12,6 miljoonan dollarin rahoituksen uusimisesta.

UC San Diegon johtama keskus on yhteistyöhanke, joka kokoaa yhteen tutkijoita ympäri maailmaa.

"Nykyisellä tekniikalla aivoja jäljittelevän laitteen valmistamiseksi paikallinen energiantarve on niin suuri, että se ei ole käytännöllistä", totesi Q-MEEN-C:n johtaja fysiikan professori Ivan K. Schuller. "Puolijohdevallankumouksen aikana materiaalitiede auttoi kehittäjiä tunnistamaan piin ja germaniumin ihanteelliseksi materiaaliksi. Sama tapahtuu nyt, kun näemme kvanttimateriaalit avaimena laskentatehon lisäämiseen ja samalla paikallisen energiankulutuksen vähentämiseen.

Kvanttimateriaalit ovat luokka uusia materiaaleja, joilla on monimutkaisempi kvanttimekaaninen käyttäytyminen kuin piillä ja joiden ominaisuudet sopivat erinomaisesti tehokkaampaan ja transformatiiviseen neuromorfiseen laskentaan.

Kun Q-MEEN-C perustettiin, tutkijat päättivät selvittää, ovatko kvanttimateriaalit edes käyttökelpoisia energiatehokkaana materiaalina neuromorfisessa laskennassa. Viimeisten neljän vuoden aikana he ovat onnistuneesti osoittaneet, että kvanttimateriaalilla on suuri potentiaali niiden epätavallisten elektronisten ja magneettisten ominaisuuksien vuoksi.

"Tämä on vasta alkua", totesi fysiikan professori Alex Frañó. ”Nyt kun olemme löytäneet käyttökelpoisia materiaaleja, luomme pohjan tulevalle tutkimukselle.

”Meitä motivoi jatkuva ihmetyksen tunne. Ehkä neuromorfinen tietojenkäsittely ei avaudu niin kuin kuvittelemme sen tänään, mutta se kehittyy jotenkin. Siitä voi kulua vuosikymmeniä ja se todennäköisesti ylittää sen, mitä voimme tällä hetkellä ennustaa, Schuller sanoi. "Mutta seuraava sukupolvi - he näkevät jotain ihmeellistä."

Lokakuu 2022