911±¬ÁÏÍø

Mitä tutkit ja miksi?

Yritän ymmärtää aivojen toimintaa ja käyttää tätä ymmärrystä parempien koneoppimis- ja tekoälyjärjestelmien kehittämiseen.

Viimeisimmän vuosikymmenen aikana olemme nähneet isoja edistysaskeleita koneoppimisessa, ja ne ovat tuottaneet lukuisia vaikuttavia tuloksia muun muassa visuaalisen tunnistuksen ja kielen ymmärtämisen aloilla. Teollisuudella on ollut merkittävä rooli näissä harppauksissa, ja niiden moottoreina on ollut erityisesti kaksi asiaa: paljon dataa ja paljon laskentatehoa. Aivojen toiminnan ymmärtämisellä ei ole ollut merkittävää roolia.

Minusta tämä on menetetty mahdollisuus. Aivot ovat nykyisiä koneoppimisjärjestelmiä paljon tehokkaammat: Ne tarvitsevat paljon vähemmän dataa kuin tämänhetkiset mallit, joita koulutetaan valtavilla teksti- tai kuva-aineistoilla, ja ne kuluttavat paljon vähemmän energiaa. Aivot tarvitsevat saman määrän energiaa kuin lamppu -- vain 20 wattia -- toimiakseen. Tämä on merkittävästi tehokkaampaa kuin mihin nykyiset koneoppimissovellusten grafiikkaprosessorit ja algoritmit pystyvät. Niinpä ajattelen, että meillä on vielä paljon opittavaa aivoilta. Tästä syystä teen tutkimusta tässä rajapinnassa.

Miten sinusta tuli professori?

Tein väitöskirjani Ranskassa Vision Institutessa, jossa tutkin verkkokalvoja. Nauhoitin ja tein neurotieteen kokeita sekä mallinsin verkkokalvoja neuroverkkojen avulla. Ymmärsin, että verkkokalvojen prosessointi on hyvin monimutkaista: Ne eivät lähetä aivoille yhtä viestiä niin kuin kamera tekisi, vaan ne lähettävät useita viestejä rinnakkain, ja jokainen niistä prosessoidaan omalla tavallaan.

Tämä monimutkaisuus kiehtoi minua, ja halusin ymmärtää sitä teoreettisemmalla tasolla. Näin päädyin Stanfordiin laboratorioon, jossa tutkittiin neurotiedettä teoreettisemmasta näkökulmasta. Tämän kokemuksen jälkeen siirryin tutkijatohtoriksi Facebook AI:hin, jossa vietin kaksi vuotta kehittäen aivoista inspiraationsa hakevia koneoppimistyökaluja. Se johti minut hakemaan professorin paikkoja, ja niin päädyin Aaltoon.

Mikä on urasi kohokohta?

Olen erityisen ylpeä työstä, jossa ymmärsimme yksinkertaisista periaatteista käsin tiettyjä verkkokalvon ominaisuuksia. Kuten aiemmin kerroin, verkkokalvo lähettää aivoille useita rinnakkaisia kuvia, jotka kaikki prosessoidaan omalla tavallaan. Tälle ei aiemmin ollut selitystä.

Minulla oli Stanfordissa yhteistyö fyysikkoryhmän kanssa, ja sen puitteissa löysimme tälle rakenteelle selityksen yksinkertaisen tehokkuusperiaatteen avulla: Jos verkkokalvon tarkoitus on lähettää visuaalinen tieto aivoihin mahdollisimman tehokkaasti, sen täytyy lähettää tieto juuri käytettyjä reittejä pitkin ja prosessoida se valitulla tavalla. Osa ennustuksistamme oli täsmälleen linjassa verkkokalvon toiminnan kanssa. Näin siis pystyimme selittämään periaatteiden kautta aivoista löytyviä monimutkaisia rakenteita. Tämä oli minusta hyvin jännittävää.

Myöhemmin sama periaate osoittautui hyödylliseksi myös koneoppimisessa. Löytömme taustalla oleva periaate on 1960-luvulta, ja sen mukaan jokaisen neuronin pitäisi kuljettaa tietoa niin itsenäisesti kuin mahdollista. Tämä periaate on erittäin hyödyllinen, kun yritetään ymmärtää visuaalisen järjestelmän rakennetta. Sitä ei silti juurikaan ole hyödynnetty koneoppimisessa. 

Kun aloitin Facebookilla, yksi projekteistani oli kehittää mallia, joka hyödyntäisi tätä periaatetta. Työstä seurasi visuaalisen tunnistuksen malli, joka oli vuosi sitten alan kärkiteknologiaa.

Stéphane Deny aloitti uutena apulaisprofessorina joulukuun alussa. Hänen roolinsa jakautuu neurotieteen ja lääketieteellisen tekniikan laitokselle sekä tietotekniikan laitokselle.