Suurin oppitunti 70 vuoden AI-tutkimuksesta on, että laskentaa käyttävät yleiset menetelmät ovat viime kädessä tehokkaimpia - ja suurella marginaalilla. Lopullinen syy tähän on Mooren laki. Tai pikemminkin sen yleistäminen: prosessorien kustannusten jatkuva ja eksponentiaalinen aleneminen. Tämän "katkeran oppitunnin" jakoi kanadalainen tietotekniikan tutkija Richard Sutton. Edelleen - ensimmäisestä henkilöstä.
Miksi tekoälyn tutkimus on ollut pysähtyneenä 70 vuotta?
Suurin osa tekoälytutkimuksista on suoritettu ikään kuin agentin käytettävissä olevat laskelmat olisivat jatkuvia (ja tässä tapauksessa ihmisten tiedon käyttö olisi yksi ainoista tavoista parantaa suorituskykyä). Mutta ajan kuluessa - paljon enemmän kuin tyypillinen tutkimusprojekti tarvitsee - väistämättä tulee paljon enemmän laskentaa. Tutkiessaan parannuksia, joista voi olla apua lyhyellä aikavälillä, tutkijat yrittävät maksimoida ihmisen tietämyksen tällä alalla, mutta ainoa asia, joka on tärkeä pitkällä tähtäimellä, on laskennan lisääntyvä käyttö. Nämä kaksi näkökohtaa eivät saisi olla ristiriidassa toistensa kanssa, mutta käytännössä niin. Yhdessä heistä vietetty aika ei ole yhtä suuri kuin toisessa vietetty aika. Toiseen lähestymistapaan sijoittamiseen liittyy psykologisia velvoitteita. Ja inhimillisen tietämyksen lähestymistapa pyrkii monimutkaista menetelmiä siten, että niistä tulee vähemmän sopivia hyödyntämään laskentaa käyttäviä yleisiä menetelmiä.
On ollut monia esimerkkejä siitä, että AI-tutkijat ymmärtävät tämän katkeran oppitunnin myöhässä. On opastavaa tarkastella joitain näkyvimpiä esimerkkejä.
Tietokone shakissa menetelmät, jotka voittivat maailmanmestari Kasparovin vuonna 1997, perustuivat massiiviseen, syvään etsintään. Tuolloin useimmat tietokone shakkitutkijat suhtautuivat heihin kauhistuttavasti. He käyttivät menetelmiä, jotka perustuvat ihmisen ymmärrykseen shakin erityisestä rakenteesta. Kun yksinkertaisempi hakupohjainen lähestymistapa erikoistuneilla laitteistoilla ja ohjelmistoilla osoittautui paljon tehokkaammaksi, shakin ihmisen ymmärtämiseen perustuvat tutkijat eivät tunnustaneet tappionsa. He sanoivat:”Tällä kertaa raa'an voiman lähestymistapa on saattanut voittaa, mutta siitä ei tule yleistä strategiaa, ja varmasti ihmiset eivät pelaa shakkia tällä tavalla. Nämä tutkijat halusivat ihmispohjaisten menetelmien voittavan, ja olivat erittäin pettyneitä, kun eivät.
Mainosvideo:
Samanlainen kuva tutkimuksen edistymisestä nähtiin tietokonekäytössä, vain 20 vuoden viiveellä. Aluksi pyrittiin välttämään etsiminen ihmisen tiedon tai pelin avulla, mutta kaikki nämä pyrkimykset olivat tarpeettomia tai vielä pahempaa, kun hakua tehtiin tehokkaasti ja laajassa mittakaavassa. Oppimisen käyttö oli tärkeätä myös itsenäisen pelin prosessissa arvofunktion oppimiseksi (kuten monissa muissa peleissä ja jopa shakissakin, vain oppiminen ei ollut suuressa roolissa ohjelmassa vuonna 1997, joka voitti maailmanmestari ensimmäistä kertaa). Oppiminen leikkiä itsensä kanssa, oppiminen kokonaisuutena on kuin haku, jonka avulla voit käyttää valtavia laskentataulukoita. Haku ja oppiminen ovat kaksi tärkeintä tekniikan luokkaa, joihin liittyy valtavia määriä laskentaa AI-tutkimuksessa. TietokoneessaKuten tietokone shakissa, tutkijoiden alkuperäiset pyrkimykset kohdistuivat ihmisen ymmärryksen hyödyntämiseen (niin että hakua oli vähemmän), ja paljon enemmän menestystä saavutettiin vasta myöhemmin hakua ja oppimista käyttämällä.
Puhetunnistuksen alalla järjestettiin 1970-luvulla DARPAn tukema kilpailu. Osallistujat esittelivät erilaisia menetelmiä, joissa hyödynnettiin ihmisen tietämystä - sanojen tai foneemien, ihmisen ääniratojen tuntemusta ja niin edelleen. Barikadien toisella puolella oli uudempia menetelmiä, luonteeltaan tilastollisia ja tekeviä enemmän laskentaa, perustuen piilotettuihin Markov-malleihin (HMM). Tilastolliset menetelmät voittivat taaskin tietopohjaisten menetelmien parissa. Tämä johti merkittäviin muutoksiin kaikessa luonnollisessa kielenkäsittelyssä, jotka otettiin vähitellen käyttöön vuosikymmenien aikana, kunnes lopulta tilastot ja laskenta alkoivat hallita kenttää. Äänentunnistuksen syvän oppimisen viimeaikainen nousu on viimeisin askel tähän johdonmukaiseen suuntaan. Syvä oppiminen riippuu vielä vähemmän ihmisen tiedosta ja käyttää entistä enemmän laskentaa sekä valtavien näytteiden sarjojen koulutusta ja tuottaa uskomattomia puheentunnistusjärjestelmiä.
Richard Sutton, kanadalainen tietotekniikan tutkija.
Kuten peleissäkin, tutkijat ovat aina yrittäneet luoda järjestelmiä, jotka toimivat niin kuin kuvitellaan heidän päässään - he yrittivät laittaa tämän tiedon järjestelmiin - mutta kaikki tuli tuloksena erittäin hedelmättömäksi, tutkijat vain hukkasivat aikaa, kun taas - Mooren lain takia - yhä massiivisempi laskelma tuli saataville ja löysi erinomaisia sovelluksia.
Samanlainen kuva oli tietokoneenäköalalla. Ensimmäisiä menetelmiä pidettiin tiettyjen ääriviivojen, yleistettyjen sylinterien etsimisenä tai SIFT: n ominaisuuksien käyttäjänä (ominaisuuksien mittakaavan variaatiomuutos). Mutta tänään kaikki tämä heitettiin uuniin. Nykyaikaiset syvän oppimisen hermoverkot käyttävät vain konvoluution käsitettä ja tiettyjä invarianteja ja toimivat paljon paremmin.
Tämä on hieno oppitunti.
Missä tahansa katsommekin, teemme samoja virheitä kaikkialla. Jos haluat nähdä tämän ja käsitellä sitä tehokkaasti, sinun on ymmärrettävä, miksi nämä virheet ovat niin houkuttelevia. Meidän on opittava katkera oppitunti, joka rakentaa ajattelumme siitä, mistä ajattelemme, että se ei toimi pitkällä aikavälillä. Katkera oppitunti, joka perustuu historiallisiin havaintoihin, osoittaa, että: 1) AI-tutkijat ovat usein yrittäneet rakentaa tietoa agentteihinsa; 2) se auttoi aina lyhyellä aikavälillä ja toi tutkijoille tyytyväisyyttä; 3) mutta pitkällä tähtäimellä kaikki pysähtyi ja esti kehitystä edelleen; 4) hajottavaan kehitykseen tuli väistämättä päinvastainen lähestymistapa, joka perustui laskennan laskemiseen etsinnän ja oppimisen kautta. Menestyksellä oli katkera maku, eikä se usein imeytynyt täysin.koska se on laskennan menestys, ei ihmiskeskeisten lähestymistapojen menestys.
Yksi asia, joka on opittava tästä katkerasta oppitunnista, on yleiskäyttöisten menetelmien valtava voima, menetelmät, jotka jatkavat mittaamista laskennan kasvun kanssa, vaikka käytettävissä oleva laskenta tulee erittäin suureksi. Kaksi menetelmää, jotka näyttävät mittaavan mielivaltaisesti tällä tavalla, ovat haku ja oppiminen.
Toinen asia, joka on opittava tästä katkerasta oppitunnista, on, että mielen todellinen sisältö on erittäin ja tarpeettoman monimutkainen; meidän pitäisi lakata yrittämästä löytää yksinkertaisia tapoja mielen sisällön ymmärtämiseksi, samoin kuin yksinkertaisia tapoja ymmärtää tilaa, esineitä, useita aineita tai symmetrioita. Ne ovat kaikki osa mielivaltaisesti monimutkaista ulkoista maailmaa. Meidän ei pitäisi yrittää rakentaa heille, koska niiden monimutkaisuus on ääretön; meidän olisi rakennettava metamenetelmiin, joilla voidaan löytää ja tarttua tähän mielivaltaiseen monimutkaisuuteen. Nämä menetelmät voivat löytää hyviä lähestymistapoja, mutta niiden etsimisen tulisi tapahtua menetelmillämme, ei meillä. Tarvitsemme AI-agentteja, jotka voivat löytää samalla tavalla kuin voimme, eivätkä sisällä mitä olemme löytäneet. Löytämisillemme rakentaminen vain vaikeuttaa löytö- ja etsintäprosessia.
Ilja Khel