Tekoäly. Kuinka paljon hänestä on sanottu, mutta emme ole vielä edes alkaneet puhua vielä. Lähes kaikki, mitä kuulet tekoälyn etenemisestä, perustuu läpimurtoon, joka on kolmekymmentä vuotta vanha. Edistymisvauhdin ylläpitäminen vaatii vakavien ja suurten rajoitusten kiertämistä. Seuraavaksi ensimmäisessä henkilössä - James Somers.
Seisun siellä missä maailman keskusta on pian, tai yksinkertaisesti suuressa huoneessa kiiltävän tornin seitsemännessä kerroksessa Toronton keskustassa - kummalta puolelta katsot. Minua seuraa Jordan Jacobs, tämän paikan perustaja: The Vector Institute, joka avaa ovensa tänä syksynä ja lupaa olla maailmanlaajuinen tekoälyn keskuksessa.
Olemme Torontossa, koska Jeffrey Hinton on Torontossa. Ja Jeffrey Hinton on "syvän oppimisen" isä, joka on AI-hypeen taustalla oleva tekniikka. "30 vuoden kuluttua katsomme taaksepäin ja sanomme, että Jeff on AI: n Einstein, syvä oppiminen, mitä tahansa kutsumme tekoälyksi", Jacobs sanoo. Kaikista AI: n tutkijoista Hintonia mainitaan useammin kuin kolme häntä seuraavaa yhdessä. Hänen perus- ja jatko-opiskelijansa työskentelevät AI-laboratoriossa Applessa, Facebookissa ja OpenAIssa; Hinton itse on johtava tutkija Google Brain AI -tiimissä. Lähes jokaisella AI: n etenemisellä viimeisen vuosikymmenen aikana - kääntämisessä, puheentunnistuksessa, kuvan tunnistamisessa ja pelaamisessa - on jotain tekemistä Hintonin työn kanssa.
Vector Institute, muistomerkki Hintonin ideoiden nousulle, on tutkimuskeskus, jossa yritykset ympäri Yhdysvaltoja ja Kanadaa - kuten Google, Uber ja NVIDIA - tukevat yrityksiä markkinoida AI-tekniikoita. Rahaa valuu nopeammin kuin Jacobs voi pyytää sitä; kaksi sen perustajatoimistosta teki tutkimuksia Toronton alueen yrityksistä, ja AI-asiantuntijoiden kysyntä oli kymmenen kertaa suurempi kuin Kanadan toimituksien vuosittain. Vector-instituutti on tietyssä mielessä käyttämätön neitsyt maaperä yrittääkseen mobilisoida maailmaa syvän oppimisen ympärille: investoida, opettaa, hioa ja soveltaa tätä tekniikkaa. Tietokeskuksia rakennetaan, pilvenpiirtäjiä täynnä startup-yrityksiä ja alueen sukupolvia opiskelijoita.
Kun seisot Vektorin lattialla, saat tunteen, että olet jonkin alussa. Mutta syvä oppiminen on ytimessä, hyvin vanhaa. Hintonin läpimurtoartikkeli, jonka kirjoittivat David Rumelhart ja Ronald Williams, julkaistiin vuonna 1986. Työssä kuvailtiin yksityiskohtaisesti virheen takaisinsyöttötapaa (takaisinsyöttö). Backprop on John Cohenin mukaan "kaikki syvälle oppiminen perustuu - kaikki".
Juuressaan AI on nykyään syväoppiminen, ja syväoppiminen on backprop. Mikä on hämmästyttävää, kun otetaan huomioon, että taustatuki on yli 30 vuotta vanha. On yksinkertaisesti välttämätöntä ymmärtää, kuinka tämä tapahtui: kuinka tekniikka voisi odottaa niin kauan ja sitten aiheuttaa räjähdyksen? Koska kun tiedät backprop: n historian, ymmärrät, mitä AI: n kanssa tapahtuu nyt, ja myös sitä, että emme ehkä ole vallankumouksen alussa. Ehkä olemme yhden lopussa.
Kävely vektorin instituutista Hintonin Google-toimistoon, jossa hän viettää suurimman osan ajastaan (hän on nyt Toronton yliopiston emeritusprofessori), on eräänlainen elävä mainos kaupungille, ainakin kesällä. On selvää, miksi Hinton, joka on kotoisin Isosta-Britanniasta, muutti tänne 1980-luvulla työskenneltyään Pittsburghin Carnegie Mellon -yliopistossa.
Mainosvideo:
Ehkä emme ole juuri vallankumouksen alussa
Toronto on Pohjois-Amerikan neljänneksi suurin kaupunki (México, New York ja Los Angeles jälkeen) ja se on varmasti monimuotoisempi: yli puolet väestöstä syntyi Kanadan ulkopuolella. Ja voit nähdä sen, kun kävelet ympäri kaupunkia. Yleisö on monikansallinen. Siellä on ilmainen terveydenhuolto ja hyvät koulut, ihmiset ovat ystävällisiä, poliitikot ovat suhteellisen vasemmistolaisia ja vakaita; kaikki tämä houkuttelee ihmisiä, kuten Hinton, jonka mukaan hän lähti Yhdysvalloista Iranin portin takia (Iran-Contra on suuri poliittinen skandaali Yhdysvalloissa 1980-luvun jälkipuoliskolla; sitten tuli tietää, että tietyt Yhdysvaltain hallinnon jäsenet järjestivät salaisuuden. aseiden toimittaminen Iranille, mikä rikkoo tätä maata koskevaa asevientikieltoa). Tässä keskustelumme alkaa ennen lounasta.
"Monet ajattelivat, että Yhdysvallat voisi hyökätä Nicaraguaan", hän sanoo. "Jostain syystä he uskoivat Nicaraguan kuuluvan Yhdysvaltoihin." Hän kertoo tehneensä äskettäin suuren läpimurton projektissa: "Erittäin hyvä nuorempi insinööri aloitti työskentelyni kanssani", nainen nimeltä Sarah Sabour. Sabur on iranilainen ja häneltä on evätty viisumi työskennellä Yhdysvalloissa. Googlen Toronton toimisto veti sen ulos.
Hinton on 69-vuotias. Hänellä on terävä, ohut englantilainen kasvo, jolla on ohut suu, suuret korvat ja ylpeä nenä. Hän syntyi Wimbledonissa ja muistuttaa keskusteluissa lastenkirjaa kertomuksesta tieteestä: utelias, houkutteleva, yrittänyt selittää kaiken. Hän on hauska ja soittaa vähän yleisölle. Se sattuu istumaan selkäongelmien takia, joten hän ei voi lentää, ja hammaslääkärin vastaanotolla hän makaa laitteella, joka muistuttaa surffilautaa.
1980-luvulla Hinton oli, kuten hän on nyt, hermoverkkojen asiantuntija, aivojemme neuronien ja synapsien verkoston huomattavasti yksinkertaistettu malli. Tuolloin kuitenkin sovittiin vakaasti, että hermoverkot olivat umpikuja AI-tutkimuksessa. Vaikka aivan ensimmäinen hermoverkko, Perceptron, kehitettiin 1960-luvulla, ja sitä pidettiin ensimmäisenä askeleena ihmisen tason koneintelligenssiin, Marvin Minsky ja Seymour Papert osoittivat vuonna 1969 matemaattisesti, että tällaiset verkot voivat suorittaa vain yksinkertaisia toimintoja. Näissä verkoissa oli vain kaksi neuronikerrosta: tulokerros ja lähtökerros. Verkot, joissa on useita kerroksia tulo- ja lähtöneuronien välillä, voisivat teoriassa ratkaista monenlaisia ongelmia, mutta kukaan ei tiennyt kuinka niitä kouluttaa, joten käytännössä ne olivat turhia. Perceptronien takia melkein kaikki ovat hylänneet hermoverkkojen ajatuksen muutamalla poikkeuksella.mukaan lukien Hinton.
Hintonin läpimurto vuonna 1986 oli osoitus siitä, että takaisikasvu voi kouluttaa syvän hermoverkon, jossa on enemmän kuin kaksi tai kolme kerrosta. Mutta kesti vielä 26 vuotta, ennen kuin laskentateho kasvoi. Hinton ja kaksi Toronton opiskelijaa osoittivat vuoden 2012 lehdessä, että syvä neuroverkot, jotka on koulutettu selkänojalla, ylittivät parhaat kuvan tunnistusjärjestelmät. Syväoppiminen on alkanut saada pitoa. Maailma päätti yön yli, että AI ottaa haltuunsa aamulla. Hintonille tämä oli tervetullut voitto.
Todellisuuden vääristymän kenttä
Neuraaliverkko kuvataan yleensä voileivänä, jonka kerrokset ovat päällekkäin. Nämä kerrokset sisältävät keinotekoisia hermosoluja, jotka ovat olennaisesti pieniä laskennallisia yksiköitä, jotka ampuvat - kuten todellinen neuroni ampuu - ja välittävät tämän jännityksen muihin neuroneihin, joihin ne ovat kytketty. Neuron viritystä edustaa luku, esimerkiksi 0,13 tai 32,39, joka määrittää neuronin heräteasteen. Ja jokaisella kahden neuronin välisellä yhteydellä on toinen tärkeä luku, joka määrittelee kuinka paljon herätystä tulisi siirtää yhdestä toiseen. Tämä luku mallintaa aivojen neuronien välisten synapsien voimakkuutta. Mitä suurempi luku, sitä vahvempi yhteys, mikä tarkoittaa sitä, että enemmän jännitystä virtaa yhdestä toiseen.
Yksi onnistuneimmista syvien hermoverkkojen sovelluksista on ollut kuvan tunnistaminen. Nykyään on ohjelmia, jotka tunnistavat, onko kuvassa hot dog. Noin kymmenen vuotta sitten ne olivat mahdottomia. Jotta ne toimisivat, sinun on ensin otettava kuva. Oletetaan yksinkertaisuuden vuoksi, että tämä on 100 x 100 pikselin mustavalkoinen kuva. Syötät sen hermoverkkoon asettamalla jokaisen simuloidun neuronin ampumisen tulokerrokseen siten, että se on yhtä suuri kuin kunkin pikselin kirkkaus. Tämä on kerroskerroksen alakerros: 10 000 neuronia (100 x 100), joka edustaa kuvan jokaisen pikselin kirkkautta.
Sitten yhdistät tämän suuren kerroksen neuroneja toiseen suureen kerrokseen neuroneja, jo korkeampia, sanotaan esimerkiksi useita tuhansia, ja ne puolestaan toiseen kerrokseen, jossa on useita tuhansia neuroneja, mutta vähemmän, ja niin edelleen. Lopuksi voileivän yläkerros - lähtökerros - koostuu kahdesta neuronista - toinen edustaa hotdogia ja toinen ei hotdogia. Ideana on kouluttaa hermoverkko ampumaan vain ensimmäinen näistä neuroneista, jos kuvassa on hot dog, ja toinen, jos ei. Backprop, sellainen lisääntymistekniikka, johon Hinton on rakentanut uransa, tekee juuri sen.
Backprop on erittäin yksinkertainen, vaikka se toimii parhaiten valtavien tietomäärien kanssa. Siksi iso data on AI: lle niin tärkeä - miksi Facebook ja Google ovat niin intohimoisia siihen ja miksi Vector Institute päätti muodostaa yhteyden Kanadan neljään suurimpaan sairaalaan ja jakaa tietoja.
Tässä tapauksessa tiedot ovat miljoonien kuvien muodossa, joissa toisissa on koiria, joissa joissakin ei; temppu on merkitä nämä kuvat kuumakoirina. Kun luot ensin hermoverkon, neuronien välisillä yhteyksillä on satunnaisia painoja - satunnaislukuja, jotka ilmaisevat kuinka paljon viritystä siirretään kunkin yhteyden kautta. Ikään kuin aivojen synapsit eivät ole vielä viritetty. Taustapalvelun tarkoituksena on muuttaa näitä painoja siten, että verkko toimii: niin että kun syötät hot dog-kuvan alakerrokseen, ylin kerros hot-dog-neuroni ampuu.
Oletetaan, että otat ensimmäisen pianonopetuskuvan. Muunat 100x100-kuvan pikseli-intensiteetit 10 000 numeroksi, yksi jokaiselle verkon alakerroksen neuronille. Kun viritys leviää verkon läpi vierekkäisten kerrosten neuronien yhteyden voimakkuuden mukaisesti, kaikki asteittain tulee viimeiseen kerrokseen, joka on toinen kahdesta neuronista, jotka määrittävät, onko kuvassa hot dog. Koska tämä on kuva pianosta, hot dog -neuronin pitäisi olla nolla ja non-hot dog -neuronin pitäisi olla suurempi. Sanotaan, että asiat eivät toimi niin. Oletetaan, että verkko on väärässä kuvassa. Backprop on menettely kunkin verkon yhteyden vahvuuden vahvistamiseksi, jonka avulla voit korjata virheen annetussa harjoitusesimerkissä.
Kuinka se toimii? Aloitat kahdesta viimeisestä neuronista ja selvittää kuinka väärässä ne ovat: mikä on ero heidän ampumislukujensa ja sen, minkä sen pitäisi olla. Sitten tarkastellaan kutakin yhteyttä, joka johtaa näihin neuroneihin - menee kerroksia alas - ja määrität niiden vaikutuksen virheeseen. Jatkat tätä, kunnes pääset ensimmäiseen yhteysjoukkoon verkon alaosassa. Tässä vaiheessa tiedät kuinka yksittäinen yhteys vaikuttaa yleiseen virheeseen. Lopuksi muutat kaikkia painoja vähentääksesi yleistä virhemahdollisuutta. Tämä niin kutsuttu "virheen etenemistekniikka" on, että suoritat virheitä takaisin verkon kautta, alkaen takaa, ulos.
Uskomatonta alkaa tapahtua, kun teet sen miljoonilla tai miljardeilla kuvilla: verkko alkaa selvittää, onko kuva hot dog vai ei. Vielä huomattavampi on se, että näiden kuvan tunnistusverkkojen yksittäiset kerrokset alkavat "nähdä" kuvia samalla tavalla kuin oma visuaalinen järjestelmämme. Toisin sanoen ensimmäinen kerros havaitsee muodot - neuroneja potkaistaan, kun muodot ovat, ja ei potkaista, kun niitä ei ole; seuraava kerros määrittelee polkujoukot, kuten kulmat; seuraava kerros alkaa erottaa muotoja; seuraava kerros löytää kaikenlaisia elementtejä, kuten "avoin pulla" tai "suljettu pulla", koska vastaavat neuronit aktivoituvat. Verkko organisoituu hierarkkisiksi tasoiksi edes ohjelmoimatta tällä tavalla.
Totta älykkyyttä ei sekoiteta, kun ongelma muuttuu hieman.
Tämä hämmästyttää kaikkia niin paljon. Ei niinkään, että hermostoverkot ovat hyviä luokittelemaan hot dog-kuvia: ne rakentavat ideoiden esityksiä. Tekstin kanssa tämä tulee entistä selvemmäksi. Voit syöttää Wikipedian tekstin, useita miljardeja sanoja, yksinkertaiselle hermoverkolle opettamalla sitä antamaan jokaiselle sanalle numerot, jotka vastaavat kerroksen kunkin neuronin herätettä. Jos ajattelet kaikkia näitä lukuja koordinaateina monimutkaisessa tilassa, löydät pisteen, joka tunnetaan tässä yhteydessä vektorina, jokaiselle sanan tilalle. Sitten harjoittelet verkkoa niin, että Wikipedian sivuilla vierekkäin esiintyvät sanat saavat samanlaiset koordinaatit - ja voila, tapahtuu jotain outoa: Sanat, joilla on samanlainen merkitys, ilmestyvät vierekkäin tässä tilassa. "Hullu" ja "järkyttynyt" ovat siellä; "Kolme" ja "seitsemän" myös. Lisäksi,vektoriaritmeettinen voit vähentää vektorin "Ranska" "Pariisista", lisätä sen "Italiaan" ja löytää "Rooman" lähistöltä. Kukaan ei kertonut hermoverkolle, että Rooma on Italialle sama kuin Pariisi on Ranskalle.
"Se on uskomatonta", Hinton sanoo. "Se on järkyttävää." Neuraaliverkkoja voidaan nähdä yrittäessä ottaa asioita - kuvia, sanoja, keskustelujen nauhoituksia, lääketieteellistä tietoa - ja sijoittaa ne, kuten matemaatikot sanovat, moniulotteiseen vektoritilaan, jossa asioiden läheisyys tai etäisyys heijastaa todellisen maailman tärkeimpiä näkökohtia. Hinton uskoo, että tämä on mitä aivot tekevät. "Jos haluat tietää, mikä ajatus on", hän sanoo, "voin kertoa sen sinulle sanasarjana. Voin sanoa, "John ajatteli" oho. " Mutta jos kysyt: mitä ajatellaan? Mitä Johnille tarkoittaa tämä ajatus? Loppujen lopuksi hänen päässään ei ole avauslainauksia, "oho", sulkevia lainauksia, yleensä sellaista ei ole. Jonkinlainen hermoaktiivisuus on meneillään hänen päänsä ". Suuret kuvat hermoaktiivisuudesta, jos olet matemaatikko, voidaan vangita vektoriavaruuteen,jossa jokaisen neuronin aktiivisuus vastaa lukua, ja jokainen luku vastaa erittäin suuren vektorin koordinaattia. Hintonille ajatus on vektorien tanssi.
Nyt on selvää, miksi Vector Institute -instituuttia kutsuttiin niin?
Hinton luo eräänlaisen todellisuuden vääristymän kentän, sinulle siirretään itseluottamuksen ja innostumisen tunne, joka uskoo, että vektoreille mikään ei ole mahdotonta. Loppujen lopuksi he ovat jo luoneet itse ajavat autot, syöpää havaitsevat tietokoneet ja välittömän puhutun kielen kääntäjät.
Vasta kun lähdet huoneesta, muistat, että nämä syvän oppimisen järjestelmät ovat edelleen melko tyhmästä huolimatta heidän demonstratiivisesta ajatteluvoimastaan. Tietokone, joka näkee kasa munkkeja pöydällä ja merkitsee sen automaattisesti nimellä "kasa munkkeja pöydällä", näyttää ymmärtävän maailmaa; mutta kun sama ohjelma näkee tytön harjaavan hampaitaan ja sanoo olevansa "poika, jolla on pesäpallomaila", ymmärrät, kuinka vaikea tämä ymmärrys on.
Neuraaliverkot ovat vain mielettömiä ja epämääräisiä kuvotunnistimia, ja kuinka hyödyllisiä tällaiset kuvotunnistimet voivatkin olla - pyrkivätkin integroimaan ne mihin tahansa ohjelmistoon - ne ovat parhaimmillaan rajoitettua älykkyyslajia, joka on helppo huijata. Kuvia tunnistava syvä neuroverkko voi olla täysin hämmentynyt, jos vaihdat yhden pikselin tai lisäät visuaalista kohinaa, joka on ihmisille näkymätöntä. Lähes yhtä usein kuin löydämme uusia tapoja käyttää syvää oppimista, kohtaamme usein sen rajoituksia. Itse ajavat autot eivät voi ajaa olosuhteissa, joita ei ole ennen nähty. Koneet eivät voi jäsentää lauseita, jotka vaativat tervettä järkeä ja ymmärrystä maailman toiminnasta.
Syväoppiminen jäljittelee ihmisen aivoissa tapahtuvaa tavalla, mutta pinnallisesti - mikä ehkä selittää miksi hänen älykkyys on toisinaan pinnallinen. Selkäosaa ei löydetty aivojen upotuksen aikana yrittäen tulkita itse ajatusta; se kasvoi eläinten oppimisen malleista kokeellisesti ja virheellisesti vanhanaikaisissa kokeissa. Ja useimmat tärkeät askeleet, jotka on toteutettu sen perustamisen jälkeen, eivät sisältäneet mitään uutta neurotiedestä; nämä olivat teknisiä parannuksia, jotka ansaitsivat matemaatikkojen ja insinöörien vuosittaiset työt. Se mitä tiedämme älykkyydestä, ei ole mitään verrattuna siihen, mitä emme vielä tiedä siitä.
Toronton yliopiston Hintonin kanssa saman laitoksen apulaisprofessori David Duvenaudin mukaan syväoppiminen on samanlaista kuin tekniikka ennen fysiikan käyttöönottoa. "Joku kirjoittaa teoksen ja sanoo:" Tein tämän sillan, ja se on sen arvoista! " Toinen kirjoittaa: "Tein tämän sillan ja se romahti, mutta lisäsin tuet ja se seisoo." Ja kaikki hulluina tukevat. Joku lisää kaaren - ja kaikki ovat sellaisia: kaaret ovat viileitä! Fysiikan avulla voit itse selvittää, mikä toimii ja miksi. Olemme vasta äskettäin alkaneet siirtyä kohti ainakin jonkinlaista tekoälyn ymmärtämistä."
Ja Hinton itse sanoo:”Useimmissa konferensseissa puhutaan pienten muutosten tekemisestä sen sijaan, että ajateltaisiin kovasti ja kysytään:” Miksi se, mitä teemme nyt, ei toimi? Mikä syy tähän on? Keskitytään tähän."
On vaikea saada ulkopuolista näkökulmaa, kun kaikki näet etenemisen etenemisen jälkeen. Mutta viimeisimmät edistysaskeleet AI: ssä ovat olleet vähemmän tieteellisiä ja enemmän tekniikoita. Vaikka meillä on parempi käsitys siitä, mitkä muutokset parantavat syväoppimisjärjestelmiä, meillä on silti epämääräinen käsitys siitä, kuinka nämä järjestelmät toimivat ja voivatko ne koskaan tulla yhteen niin voimakkaaseen kuin ihmismieli.
On tärkeää ymmärtää, pystyimmekö kaappaamaan kaiken, mitä pystymme. Jos niin, niin meillä on ylätaso tekoälyn kehittämisessä.
kärsivällisyys
Jos haluat nähdä seuraavan läpimurron, kuten jonkin verran kehystä koneille, joilla on paljon joustavampaa älykkyyttä, sinun pitäisi teoriassa kääntyä 80-luvun backprop -tutkimuksen kaltaiseen tutkimukseen: kun älykkäät ihmiset luopuivat, koska heidän ideansa eivät vielä toimineet. …
Muutama kuukausi sitten vierailin mielen, aivojen ja koneiden keskuksessa (MIT) sijaitsevassa monitoimilaitoksessa katsomaan ystäväni Eyal Dechterin puolustavan väitöskirjaansa kognitiivisessa tieteessä. Ennen esityksen alkua hänen vaimonsa Amy, koira Ruby ja tyttärensä Suzanne tukivat häntä ja toivoivat hänelle onnea.
Eyal aloitti puheensa kiehtovalla kysymyksellä: miten tapahtui, että vain kahden vuoden ikäinen Suzanne oppi puhumaan, soittamaan, seuraamaan tarinoita? Mikä ihmisen aivoissa antaa hänelle mahdollisuuden opiskella niin hyvin? Opettaako tietokone koskaan oppimaan niin nopeasti ja sujuvasti?
Ymmärrämme uusia ilmiöitä asioista, jotka jo ymmärrämme. Me jaamme verkkotunnuksen paloiksi ja tutkimme sitä palasta. Eyal on matemaatikko ja ohjelmoija, hän ajattelee tehtäviä - kuten soufflen tekemistä - monimutkaisina tietokoneohjelmina. Mutta et oppi tekemään soufflea muistamalla satoja minuutin ohjelmointiohjeita, kuten "käännä kyynärpääsi 30 astetta, katso sitten pöydälle, ojenna sitten sormesi ja sitten …". Jos joudut tekemään tämän jokaisessa uudessa tapauksessa, oppimisesta tulee sietämätöntä ja lopetat kehityksen. Sen sijaan näemme ohjelmassa korkean tason askeleita, kuten”lyödä valkoisia”, jotka itse koostuvat aliohjelmista, kuten”rikkoa munat” ja “erottaa valkuaiset keltuaisista”.
Tietokoneet eivät tee tätä ja vaikuttavat siksi tyhmältä. Jotta voisit oppia tuntemaan hot dog -sovelluksen, sinun on syötettävä sille 40 miljoonaa hot dog -kuvaa. Mitä Suzanne tunnisti hot dog, näytä vain hot dog. Ja kauan ennen sitä hänellä on kielen ymmärtäminen, joka menee paljon syvemmälle kuin erillisten sanojen yhdessä tunnistamisen tunnustaminen. Toisin kuin tietokone, hänen päällään on käsitys siitä, miten maailma toimii. "On yllättävää, että ihmiset pelkäävät tietokoneiden ottavan työnsä", Eyal sanoo.”Tietokoneet eivät voi korvata lakimiehiä, koska lakimiehet tekevät jotain vaikeaa. Mutta koska lakimiehet kuuntelevat ja puhuvat ihmisille. Tässä mielessä olemme kaukana kaikesta tästä."
Totta älykkyyttä ei sekoiteta, jos muutat hieman ongelman ratkaisemisen vaatimuksia. Ja Eyalin keskeinen opinnäyte oli periaatteessa osoittaa täsmälleen, kuinka saada tietokone toimimaan tällä tavoin: soveltaa nopeasti kaikki, mitä se tietää, ratkaista uusia ongelmia, tarttua nopeasti lennossa, tulla asiantuntijaksi aivan uudella alalla.
Pohjimmiltaan tätä hän kutsuu etsintä-pakkausalgoritmiksi. Se antaa tietokoneelle ohjelmoijan toiminnon ja rakentaa kirjaston uudelleenkäytettävistä modulaarisista komponenteista, jotta voidaan luoda monimutkaisempia ohjelmia. Tietämättä mitään uudesta verkkotunnuksesta, tietokone yrittää rakentaa tietoa siitä, yksinkertaisesti tutkimalla sitä, lujittamalla löytöjä ja tutkimalla sitä edelleen kuin lapsi.
Hänen neuvonantaja Joshua Tenenbaum on yksi mainituimmista AI-tutkijoista. Tenenbaumin nimi tuli esiin puolessa keskusteluista, joita minulla oli muiden tutkijoiden kanssa. Jotkut DeepMindin avainhenkilöistä - AlphaGon kehitysryhmä, joka legendaarisesti voitti maailmanmestarin vuonna 2016 - ovat työskennelleet hänen alaisuudessaan. Hän on mukana käynnistyksessä, joka yrittää antaa itsenäisille autoille intuitiivisen ymmärryksen fysiikan perusteista ja muiden kuljettajien aikomuksista, jotta he voisivat paremmin ennakoida mitä tapahtuu tilanteissa, joita ei ole aiemmin havaittu.
Eyalin tutkielmaa ei ole vielä sovellettu käytännössä, sitä ei ole edes otettu ohjelmiin. "Ongelmat, joita Eyal työskentelee, ovat erittäin, erittäin vaikeita", Tenenbaum sanoo. "Kestää monien sukupolvien."
Kun istuimme kupillisen kahvia, Tenenbaum kertoi tutkivansa taustaprofiilin historiaa inspiraatiota varten. Backprop on ollut vuosikymmenien ajan tyylikäs matematiikka, suurin osa siitä ei pysty mihinkään. Kun tietokoneet nopeutuivat ja tekniikka vaikeutui, asiat muuttuivat. Hän toivoo, että jotain vastaavaa tapahtuu hänen omalle ja opiskelijoiden työlle, mutta "se voi viedä vielä pari vuosikymmentä".
Hintonille hän on vakuuttunut, että AI: n rajoitusten voittaminen tarkoittaa "sillan luomista tietotekniikan ja biologian välille". Backprop oli tästä näkökulmasta biologisesti innoitetun tietojenkäsittelyn voitto; idea ei alun perin johdettu tekniikasta, vaan psykologiasta. Joten nyt Hinton yrittää toistaa tämän tempun.
Nykyään hermostoverkot koostuvat suurista litteistä kerroksista, mutta ihmisen neokorteksissa oikeat hermosolut rinnastuvat paitsi vaaka- että pystysuunnassa myös sarakkeisiin. Hinton arvaa mitä näille sarakkeille on tarkoitettu - esimerkiksi visiossa, niiden avulla voit tunnistaa esineet myös silloin, kun muutat näkökulmaa. Joten hän luo keinotekoisen version - ja kutsuu niitä "kapseliksi" - testaamaan tätä teoriaa. Toistaiseksi mitään ei tule esiin: kapselit eivät ole parantaneet merkittävästi hänen verkkojensa suorituskykyä. Mutta 30 vuotta sitten se oli sama backprop: n kanssa.
"Sen pitäisi toimia", hän sanoo kapseliteoriasta nauraen omalle bravadolleen. "Ja mikä ei vielä toimi, on vain väliaikainen ärsytys."
Perustuu Medium.com-sivuston materiaaleihin
Ilja Khel