Viimeisen 10 vuoden aikana olemme saaneet ns. Syvän oppimisen menetelmän ansiosta parhaat tekoälyjärjestelmät - esimerkiksi älypuhelimien puheentunnistimet tai viimeisimmän automaattisen kääntäjän Googlelta. Syvästä oppimisesta on itse asiassa tullut uusi suuntaus jo tunnetuissa hermoverkoissa, jotka ovat olleet muodissa ja tulossa ulos yli 70 vuoden ajan. Warren McCullough ja Walter Pitts ehdottivat hermoverkkoja ensimmäisen kerran vuonna 1994, kaksi tutkijaa Chicagon yliopistosta. Vuonna 1952 he lähtivät työskentelemään Massachusettsin teknilliseen instituuttiin luodakseen perustan ensimmäiselle kognition laitokselle.
Neuraaliverkot olivat yksi päätutkimuslinjoja sekä neurotieteessä että tietotekniikassa vuoteen 1969 saakka, jolloin legendan mukaan MIT: n matemaatikot Marvin Minsky ja Seymour Papert tappoivat heidät. Heistä tuli vuotta myöhemmin MIT: n uuden tekoälyn laboratorion johtajat.
Tämä menetelmä kokenut elvytyksen 1980-luvulla, hiukan muuttunut varjoihin uuden vuosisadan ensimmäisellä vuosikymmenellä ja palasi fanfaarilla toisella, näytönohjaimien uskomattoman kehityksen ja niiden prosessointitehon harjassa.
"On olemassa käsitys, että tieteen ideat ovat kuin virusten epidemioita", sanoo MIT: n kognition ja aivotieteiden professori Tomaso Poggio.”Influenssaviruksia on todennäköisesti viisi tai kuusi, ja yksi niistä tulee takaisin kadehdittavan 25 vuoden tahdilla. Ihmiset tarttuvat, hankkivat immuniteetin eivätkä tule sairaiksi seuraavan 25 vuoden ajan. Sitten ilmestyy uusi sukupolvi, joka on valmis tartuttamaan samalla viruskannalla. Tieteessä ihmiset rakastuvat ajatukseen, se ajaa kaikki hulluiksi, sitten he lyövät sen kuolemaan ja saavat siihen immuniteetin - kyllästyvät siihen. Ideoiden tulisi olla samanlainen taajuus."
Painoarvoiset kysymykset
Neuraaliverkot ovat menetelmä koneoppimiseen, jossa tietokone oppii suorittamaan tiettyjä tehtäviä analysoimalla koulutusesimerkkejä. Tyypillisesti nämä esimerkit merkitään manuaalisesti etukäteen. Esimerkiksi esineiden tunnistusjärjestelmä voi imeä tuhansia merkittyjä kuvia autoista, taloista, kahvikuppeista ja niin edelleen, ja sitten pystyä löytämään visuaalisia kuvioita kuvista, jotka korreloivat johdonmukaisesti tiettyjen tunnisteiden kanssa.
Neuraaliverkkoa verrataan usein ihmisen aivoihin, jolla on myös sellaisia verkkoja, jotka koostuvat tuhansista tai miljoonista yksinkertaisista prosessointisolmuista, jotka ovat läheisesti toisiinsa yhteydessä. Useimmat nykyaikaiset hermoverkot on järjestetty solmukerroksiin, ja data virtaa niiden läpi vain yhteen suuntaan. Yksittäinen solmu voidaan liittää useisiin solmuihin sen alla olevassa kerroksessa, josta se vastaanottaa dataa, ja useisiin solmuihin yllä olevassa kerroksessa, joille se lähettää dataa.
Mainosvideo:
Solmu antaa numeron jokaiselle näille tuleville linkille - "paino". Kun verkko on aktiivinen, solmu vastaanottaa erilaiset datajoukot - eri numerot - jokaiselle näistä yhteyksistä ja kerrotaan sopivalla painolla. Sitten hän laskee tulokset yhdeksi numeroksi. Jos tämä luku on kynnyksen alapuolella, solmu ei lähetä dataa seuraavalle kerrokselle. Jos numero ylittää kynnyksen, solmu "herää" lähettämällä numero - painotetun tulotiedon summa - kaikille lähteville yhteyksille.
Kun hermoverkkoa koulutetaan, kaikki sen painot ja kynnysarvot asetetaan alun perin satunnaisessa järjestyksessä. Harjoitustiedot syötetään alempaan kerrokseen - tulokerrokseen - ja kulkee seuraavien kerrosten läpi, kertomalla ja summaamalla monimutkaisella tavalla, kunnes lopulta saapuu, jo muunnettu, lähtökerrokseen. Harjoituksen aikana painoja ja kynnysarvoja säädetään jatkuvasti, kunnes samoilla merkinnöillä tehdyt harjoitustiedot tuottavat samanlaisia johtopäätöksiä.
Mieli ja koneet
McCulloughin ja Pittsin vuonna 1944 kuvaamilla hermoverkoilla oli sekä kynnysarvot että painot, mutta niitä ei järjestetty kerroksiin, eikä tutkijat määritelleet mitään erityistä oppimismekanismia. Mutta McCullough ja Pitts osoittivat, että hermoverkko pystyy periaatteessa laskemaan minkä tahansa toiminnon, kuten mikä tahansa digitaalinen tietokone. Tulos oli enemmän neurotieteen kuin tietotekniikan kentältä: piti olettaa, että ihmisen aivoja voidaan pitää tietokonelaitteina.
Neuraaliverkot ovat edelleen arvokas työkalu neurobiologiseen tutkimukseen. Esimerkiksi verkon yksittäiset kerrokset tai painojen ja kynnysarvojen säätämistä koskevat säännöt toivat ihmisen neuroanatomian ja kognitiivisten toimintojen havaitut piirteet ja vaikuttivat siten siihen, kuinka aivot käsittelevät tietoa.
Cornellin yliopiston psykologi Frank Rosenblatt osoitti vuonna 1957 ensimmäisen kouluttavan hermoverkon, Perceptronin (tai Perceptronin). Perceptronin suunnittelu oli samanlainen kuin nykyaikainen hermoverkko, paitsi että siinä oli yksi kerros, jossa tulo- ja lähtökerrosten välissä oli säädettävät painot ja kynnykset.
"Perceptroneja" tutkittiin aktiivisesti psykologiassa ja tietotekniikassa vuoteen 1959 saakka, jolloin Minsky ja Papert julkaisivat kirjan "Perceptrons", joka osoitti, että melko tavallisten laskujen tekeminen havainnoista oli ajallisesti epäkäytännöllistä.
"Tietysti kaikki rajoitukset katoavat, jos teet koneista hieman monimutkaisempia" esimerkiksi kahdessa kerroksessa ", Poggio sanoo. Mutta tuolloin teoksella oli kylmävaikutus hermoverkkojen tutkimukseen.
"Näitä asioita kannattaa harkita historiallisessa yhteydessä", Poggio sanoo.”Todiste rakennettiin ohjelmointiin Lisp-kaltaisilla kielillä. Ei kauan ennen sitä, ihmiset olivat mukavia käyttää analogisia tietokoneita. Tuolloin ei ollut täysin selvää, mihin ohjelmointi johtaisi. Mielestäni he ylittivät sen hiukan, mutta kuten aina, et voi jakaa kaikkea mustavalkoiseksi. Jos ajattelet sitä kilpailuna analogisen ja digitaalisen tietojenkäsittelyn välillä, he taistelivat tarvittavan puolesta.
Jaksotus
1980-luvulle mennessä tutkijat olivat kuitenkin kehittäneet algoritmeja hermoverkkojen painojen ja kynnysarvojen muuttamiseksi, jotka olivat riittävän tehokkaita verkoille, joissa on useampi kuin yksi kerros, poistaen monet Minskyn ja Papertin tunnistamista rajoituksista. Tämä alue on kokenut renessanssin.
Mutta kohtuullisesta näkökulmasta jotain puuttui hermoverkoista. Tarpeeksi pitkä harjoitusistunto voi johtaa verkkoasetusten tarkistamiseen, kunnes se alkaa luokitella tietoja hyödyllisellä tavalla, mutta mitä nämä asetukset tarkoittavat? Mitä kuvan piirteitä esineentunnistin tarkastelee ja miten se yhdistää ne muodostamaan autojen, talojen ja kahvikupillien visuaaliset allekirjoitukset? Yksittäisten yhdisteiden painojen tutkimus ei vastaa tähän kysymykseen.
Viime vuosina tietotekniikan tutkijat ovat alkaneet keksiä kekseliäitä menetelmiä neuroverkkojen käyttämien analyyttisten strategioiden määrittämiseksi. Mutta 1980-luvulla näiden verkostojen strategiat olivat käsittämättömiä. Siksi vuosisadan vaihteessa neuroverkot korvattiin vektorikoneilla, joka on vaihtoehtoinen lähestymistapa koneoppimiseen puhtaan ja tyylikkään matematiikan perusteella.
Viimeaikainen hermostuneiden verkkojen kiinnostuksen lisääntyminen - syvän oppimisen vallankumous - on pelattu pelialalla. Nykyaikaisten videopelien monimutkainen grafiikka ja nopea vauhti vaativat laitteistoa, joka voi pysyä mukana kehityksessä, mikä johtaa GPU: han (grafiikan prosessointiyksikkö), jossa on tuhansia suhteellisen yksinkertaisia prosessorisydämiä yhdellä sirulla. Tutkijat huomasivat pian, että GPU-arkkitehtuuri oli täydellinen hermoverkkoihin.
Nykyaikaiset GPU-laitteet mahdollistivat 1960-luvun verkkojen ja 1980- luvun kaksi- ja kolmikerroksisten verkkojen rakentamisen nykypäivän 10-, 15- ja jopa 50-kerrosverkoiksi. Tästä sana "syvä" on vastuussa "syvällisessä oppimisessa". Verkon syvyyteen. Syväoppiminen on tällä hetkellä vastuussa tehokkaimmista järjestelmistä melkein kaikilla tekoälyn tutkimuksen aloilla.
Konepellin alle
Verkon läpinäkymättömyys huolestuttaa edelleen teoreetikkoja, mutta tällä alalla on edistytty. Poggio johtaa tutkimusohjelmaa älykkyyden teoreettisista perusteista. Äskettäin Poggio ja hänen kollegansa julkaisivat teoreettisen tutkimuksen hermostoverkoista kolmeen osaan.
Ensimmäinen osa, joka julkaistiin viime kuussa International Journal of Automation and Computing -lehdessä, käsittelee laskenta-alueita, joita syväoppimisverkot voivat tehdä, ja kun syvät verkot hyödyntävät matalia. Luentoina julkaistut kaksi ja kolme osaa käsittelevät globaalin optimoinnin haasteita, toisin sanoen sen varmistamista, että verkko löytää koulutuksen tiedot parhaiten sopivat asetukset sekä tapaukset, joissa verkko ymmärtää niin hyvin koulutustietojensa erityispiirteet. joka ei voi yleistää samojen luokkien muita ilmenemismuotoja.
Edessä on vielä monia teoreettisia kysymyksiä, joihin vastaukset on annettava. Mutta on toivoa, että hermoverkot kykenevät vihdoin murtamaan sukupolvien kiertokulun, joka syöksyy ne kuumuuteen ja joskus kylmään.
ILYA KHEL