Heti kun tohtori Blake Richards kuuli syvällisestä oppimisesta, hän tajusi, että hän on edessään enemmän kuin vain menetelmä, joka mullistaa tekoälyn. Hän tajusi katselevansa jotain perustavaa ihmisen aivoista. Oli 2000-luvun alku ja Richards opetti kurssia Toronton yliopistossa Jeff Hintonin kanssa. Hintonille, joka oli taustalla maailman valloittaneen algoritmin luomisesta, tarjottiin johdantokurssi hänen opetusmenetelmästään ihmisen aivojen innoittamana.
Avainsanat tässä ovat "aivojen innoittamat". Huolimatta Richardsin vakaumuksesta veto pelattiin häntä vastaan. Ihmisen aivoilla, kuten kävi ilmi, ei ole tärkeätä toimintoa, joka on ohjelmoitu syvän oppimisen algoritmeihin. Pinnalla nämä algoritmit rikkoivat biologisia perustietoja, jotka neurotieteilijät ovat jo todistaneet.
Mutta entä jos syvä oppiminen ja aivot ovat todella yhteensopivia?
Ja niin, eLife: ssä julkaistussa uudessa tutkimuksessa Richards ehdotti yhdessä DeepMindin kanssa uutta algoritmia, joka perustuu neokorteksin neuronien biologiseen rakenteeseen. Aivokuori, aivokuori, asuu korkeammissa kognitiivisissa toiminnoissa, kuten päättelyssä, ennustamisessa ja joustavassa ajattelussa.
Ryhmä yhdisti keinotekoiset neuroninsa kerrokselliseksi verkostoksi ja haastoi sen klassisen tietokonevision tehtävään - käsinkirjoitettujen numeroiden tunnistamiseen.
Uusi algoritmi teki erinomaista työtä. Mutta toinen asia on tärkeä: hän analysoi esimerkkejä oppimisesta samalla tavalla kuin syvän oppimisen algoritmit, mutta rakensi täysin aivojen perusbiologian.
"Syvä oppiminen on mahdollista biologisessa rakenteessa", tutkijat totesivat.
Koska tämä malli on tällä hetkellä tietokoneversio, Richards toivoo siirtävänsä batonin kokeellisille neurotieteilijöille, jotka voisivat testata, toimiiko tällainen algoritmi oikeissa aivoissa.
Mainosvideo:
Jos näin on, tietoja voidaan syöttää atk-tutkijoille kehittääkseen massiivisesti rinnakkaisia ja tehokkaita algoritmeja, joita koneemme käyttävät. Tämä on ensimmäinen askel kohti kahden alueen yhdistämistä keksintöjen ja innovaatioiden "hyveellisessä tanssissa".
Syntipukin löytäminen
Vaikka olet todennäköisesti kuullut, että AI on äskettäin voittanut parhaimmat Go-parhaimmat, tuskin tiedät tarkalleen, kuinka tämän AI: n taustalla olevat algoritmit toimivat.
Lyhyesti sanottuna syvä oppiminen perustuu keinotekoiseen hermoverkkoon, jossa on virtuaaliset "hermosolut". Kuten pitkä pilvenpiirtäjä, verkko on rakenteeltaan hierarkiassa: matalan tason neuronien prosessitulo - esimerkiksi vaaka- tai pystysuuntaiset palkit, jotka muodostavat numeron 4 - ja korkean tason neuronit prosessoivat numeron 4 abstrakteja näkökohtia.
Verkon kouluttamiseksi annat sille esimerkkejä etsimästäsi. Signaali leviää verkon kautta (kiipeää rakennuksen askeleita), ja jokainen neuroni yrittää nähdä jotain perustavaa laatua "neljän" työssä.
Kun lapset oppivat uusia asioita, verkosto ei pärjää ensin. Hän antaa kaiken, mikä hänen mielestään näyttää numerolta neljä - ja saat kuvia Picasson hengessä.
Mutta juuri näin oppiminen etenee: algoritmi sovittaa lähdön ihanteelliseen tuloon ja laskee näiden kahden eron (lue: virheet). Virheet "leviävät takaisin" verkon kautta kouluttaen jokaista hermostoa, he sanovat, että tämä ei ole mitä etsit, näytä paremmalta.
Miljoonien esimerkkien ja toistojen jälkeen verkko alkaa toimia virheetömästi.
Virhesignaali on erittäin tärkeä oppimisen kannalta. Ilman tehokasta "virheen takaisinsyöttöä" verkko ei tiedä mitkä sen neuroneista ovat väärässä. Kun etsit syntipukkaa, tekoäly parantaa itseään.
Myös aivot tekevät sen. Mutta miten? Meillä ei ole aavistustakaan.
Biologinen umpikuja
Selvää on, että syväoppimisratkaisu ei toimi.
Virheen takaisinsyöttö on erittäin tärkeä ominaisuus. Se vaatii tietyn infrastruktuurin toimiakseen oikein.
Ensinnäkin jokaisen verkon neuronin on saatava virheilmoitus. Mutta aivoissa neuronit ovat yhteydessä vain muutamiin (jos sellaisia on) alavirran kumppaneihin. Jotta aivokuormitus toimisi aivoissa, ensimmäisten tasojen hermosolujen on havaittava tiedot miljardien yhteyksien kautta alavirran kanavissa - ja tämä on biologisesti mahdotonta.
Ja vaikka jotkut syvän oppimisen algoritmit mukauttavat virheen takaisinpropagaation paikallisen muodon - lähinnä neuronien välillä -, se edellyttää, että heidän edestakaiset yhteydet ovat symmetrisiä. Aivojen synapsissa tätä ei tapahdu melkein koskaan.
Modernit algoritmit mukauttavat hieman erilaisen strategian toteuttamalla erillisen palautepolun, joka auttaa neuroneja löytämään virheet paikallisesti. Vaikka tämä on biologisesti enemmän mahdollista, aivoilla ei ole erillistä laskentaverkkoa, joka on omistettu syntipukkien löytämiseen.
Mutta siinä on neuroneja, joilla on monimutkaiset rakenteet, toisin kuin homogeenisissa "palloissa", joita nykyään käytetään syvässä oppimisessa.
Haaroittuneet verkot
Tutkijat innoittavat ihmisen aivokuorta täyttävistä pyramidisoluista.
"Suurin osa näistä neuroneista on muodoltaan puita, joiden" juuret "ovat syvällä aivoissa ja" oksat "tulevat ulos pinnalle", sanoo Richards. "Huomattavana on, että juuret saavat yhden sisääntulon ja oksat erilaiset."
Se on utelias, mutta hermosolujen rakenne osoittautuu usein "täsmälleen niin, kuin sitä tarvitaan" laskennallisen ongelman ratkaisemiseksi tehokkaasti. Otetaan esimerkiksi aistinkäsittely: pyramidaalisten neuronien pohjat ovat siellä, missä niiden pitäisi olla aistitulon vastaanottamiseksi, ja yläosat sijaitsevat kätevästi virheiden lähettämiseksi palautteen kautta.
Voisiko tämä monimutkainen rakenne olla evoluutioratkaisu väärän signaalin käsittelemiseksi?
Tutkijat ovat luoneet monikerroksisen neuroverkon, joka perustuu aiempiin algoritmeihin. Mutta homogeenisten neuronien sijaan he antoivat hänelle keskimmäisissä kerroksissa olevat neuronit - sijoitettuna sisäänmenon ja ulostulon väliin - samanlaisiksi kuin oikeat. Oppimalla käsin kirjoitetuista numeroista, algoritmi suoritti paljon paremmin kuin yksikerroksinen verkko, huolimatta virheen klassisesta taustapropalaatiosta. Solukkorakenteet voisivat itse tunnistaa virheen. Sitten oikealla hetkellä neuroni yhdisti molemmat tietolähteet löytääkseen parhaan ratkaisun.
Tätä varten on olemassa biologinen perusta: neurotieteilijät ovat jo kauan tienneet, että neuronin sisääntulohaarat suorittavat paikallisia laskelmia, jotka voidaan integroida lähtöhaarajen takaisinpropagaatiosignaaleihin. Mutta emme tiedä, toimivatko aivot todella tällä tavalla - niin Richards tilasi neurotieteilijöitä selvittämään.
Lisäksi tämä verkko käsittelee ongelmaa samalla tavalla kuin perinteinen syväoppimismenetelmä: se käyttää kerroksellista rakennetta purkamaan vähitellen abstraktimpia ideoita jokaisesta numerosta.
"Tämä on syvän oppimisen piirre", kirjoittajat selittävät.
Syvän oppimisen aivot
Ei ole epäilystäkään siitä, että tässä tarinassa on enemmän käänteitä, kun tietotekniikan tutkijat tuovat enemmän biologisia yksityiskohtia AI-algoritmeihin. Richards ja hänen tiiminsä tarkastelevat ylhäältä alas suuntautuvaa ennustefunktiota, jossa korkeampien tasojen signaalit vaikuttavat suoraan siihen, kuinka alemmat tasot reagoivat tuloon.
Palaute korkeammista kerroksista ei vain paranna virheiden signalointia; se voi myös rohkaista alhaisemman prosessoinnin neuroneja toimimaan "paremmin" reaaliajassa, Richards sanoo. Toistaiseksi verkko ei ole ylittänyt muita kuin biologisia syvän oppimisen verkkoja. Mutta sillä ei ole väliä.
"Syvällä oppimisella on ollut valtava vaikutus AI: hen, mutta tähän saakka sen vaikutus neurotieteeseen on ollut vähäinen", tutkimuksen kirjoittajat sanovat. Nyt neurotieteilijöillä on tekosyy suorittaa kokeellinen testi ja selvittää, onko neuronien rakenne syvän oppimisen luonnollisen algoritmin taustalla. Ehkä seuraavan kymmenen vuoden aikana aloitetaan molemminpuolisesti hyödyllinen tietojenvaihto neurotieteilijöiden ja tekoälyn tutkijoiden välillä.
Ilja Khel