Kohinalla hehkuttaen

Taiteilijan tulkinta metallijohteista, jotka yhdistävät memristorit ristikkäin, pikkupallojen viitatessa elektroniseen kohinaan.

Ne, jotka suunnittelevat syviä neuroverkkoja tekoälylle, löytävät inspiraationsa usein ihmisen aivoista. Ihmisen aivot ovat erittäin hyviä täydentämään puuttuvaa informaatiota ja lajittelemaan kohinan avulla tarkan tuloksen.

Aivotoiminnan epätäsmällinen luonne on inspiroinut stokastisten neuroverkkojen kehittymistä. Ja niistä on nyt tullut huipputekninen lähestymistapa koneoppimisen, informaatioteorian ja tilastojen ongelmien ratkaisemiseen.

"Jos haluat stokastisen järjestelmän, sinun on generoitava kohinaa, kirjoittavat Kalifornian Barbaran yliopiston tohtoritutkija Mohammad Mahmoodi ja hänen avustajansa Dimitri Strukov ja Mirko Prezioso tutkimusjulkaisulla, joka kuvaa tällaisen kohisevan järjestelmän luomista.

Tunnetuin stokastiseen laskentaan perustuva verkko on ns. Boltzmann-kone, joka voi optimoida vaikeita kombinatorisia optimointiongelmia kuten kauppamatkustajan ongelmaa.

Tätä ongelmanratkaisua voidaan helpottaa soveltamalla simuloitua hehkutusta, mikä on inspiroitu materiaalifysiikan kiteytysprosessista.

Simuloidussa hehkutuksessa käytetään alkuun liikaa kohinaa - analogisesti liian korkeaa lämpötilaa kiteiden muodostamisessa. Tuloksena on, että neuroverkon laskelmat ovat stokastisia tai satunnaisia. Sitten kohinan määrää pienennetään hitaasti siirtyessään kohti determinististä tai täysin ennustettavaa laskentaa. Tämä menetelmä parantaa verkon kykyä tutkia hakuavaruutta ja johtaa paljon parempaan loppuratkaisuun, selvittää Mahmoudi.

Tutkimuskysymys olikin, pystytäänkö rakentamaan stokastisen neuroverkko, joka on nopea, energiatehokas ja jota voidaan operoida säädettävällä kohinalla.

Useimmissa keinotekoisissa neuroverkoissa on kaksi yhteistä asiaa: valtava määrä painoarvoja, jotka ovat lähinnä viritettäviä parametreja, joita verkot oppivat harjoituksen aikana; ja erilaisten laskennallisten lohkojen perusta, suorittaen pääasiassa kerto- ja ynnäysoperaatiot.

Energiatehokkaan, korkean suorituskyvyn neuroverkon rakentaminen vaatii siksi laitteita, jotka voivat tallentaa enemmän informaatiota tietylle alalle ja piirejä, jotka voivat suorittaa laskennan nopeammin ja paremmalla energiatehokkuudella. Vaikka kertolaskupiireistä ja toisaalta stokastisia neuroneista on ollut monenlaisia demonstraatioita, tehokas laitteistototeutus, joka yhdistää molemmat toiminnot, puuttuu.

Tutkijat työskentelivät kahdella valtavirran teknologialla, jotka ovat avainasemassa neuroverkkojen toteuttamisessa: memristorit ja sulautettu flash. Kun esimerkiksi SRAM voi tallentaa vain yhden bitin tutkijoiden memristorit tai flash-solut pystyvät tallentamaan yli viisi bittiä dataa.

Niiden avulla voi suunnitella sekasignaalien neuroverkkoja, joissa on sekä analogisia että digitaalisia piirejä ja jotka ovat sen vuoksi paljon nopeampia ja tehokkaampia kuin puhtaat digitaaliset järjestelmät.

Piirien korkea suorituskyky johtuu sekasignaalitoteutuksesta, kun taas tehokas stokastinen toiminta saavutetaan käyttämällä piirin luontaista kohinaa.

Työssään tutkijat pystyivät osoittamaan, että piirillä voidaan tehokkaasti ratkaista optimointiongelmat suuruusluokkaa nopeammin ja paljon energiatehokkaammin kuin CPU-prosessoreilla, iloitsevat tutkijat saavutuksestaan.

Aiheesta aiemmin:

Aivomaista tietotekniikkaa

Itseoppimiseen tukeutuva konenäkö