Googlen tekoälyosasto ilmoitti luoneen uuden menetelmän hermoverkkojen kouluttamiseksi yhdistämällä edistyneiden algoritmien ja vanhojen videopelien käytön. Vanhoja Atari-videopelejä käytetään oppimisympäristönä.
DeepMind-ohjelmiston kehittäjät (muistavat, että nämä ihmiset loivat AlphaGo-hermoverkon, joka on toistuvasti voittanut parhaat logiikkapelin pelaajat) uskovat, että koneet voivat oppia samalla tavalla kuin ihmiset. Käyttämällä DMLab-30-koulutusjärjestelmää, joka perustuu Quake III: n ampuja- ja Atari-arcade-peleihin (käytetään 57 erilaista peliä), insinöörit ovat kehittäneet uuden IMPALA (merkityspainotettu näyttelijä-oppija -arkkitehtuurit) koneoppimisalgoritmin. Se antaa yksittäisten osien oppia suorittamaan useita tehtäviä kerralla ja vaihtamaan tietoja keskenään.
Uusi järjestelmä perustui monella tavalla aikaisempaan asynkroniseen näyttelijä-kriittiseen agenttiin (A3C), jossa yksittäiset edustajat tutkivat ympäristöä, prosessi keskeytetään ja he vaihtavat tietoja keskuskomponentin, "opiskelijan", kanssa. IMPALAssa voi olla enemmän edustajia, ja itse oppimisprosessi tapahtuu hieman eri tavalla. Siinä edustajat lähettävät tietoja kahdelle "opiskelijalle" kerralla, jotka sitten vaihtavat tietoja myös keskenään. Lisäksi, jos A3C: ssa laskentahäviöfunktion gradientin (toisin sanoen ero ennustettujen ja saatujen parametriarvojen välillä) tekevät edustajat itse, jotka lähettävät tietoja keskusydämelle, niin IMPALA-järjestelmässä tämän tehtävän suorittavat "opiskelijat".
Esimerkki henkilöstä, joka pelaa pelin kautta:
Näin IMPALA-järjestelmä hoitaa saman tehtävän:
Yksi päähaasteista AI: n kehittämisessä on aika ja korkean laskentatehon tarve. Jopa itsenäisesti koneet tarvitsevat sääntöjä, joita ne voivat noudattaa omissa kokeissaan ja löytää tapoja ratkaista ongelmia. Koska emme voi vain rakentaa robotteja ja antaa heidän oppia, kehittäjät käyttävät simulaatioita ja syvän oppimisen tekniikoita.
Jotta modernit hermoverkot oppivat jotain, heidän on prosessoitava valtava määrä tietoa, tässä tapauksessa miljardeja kehyksiä. Ja mitä nopeammin he tekevät sen, sitä vähemmän aikaa vie oppiminen.
Mainosvideo:
Riittävällä prosessorilla DeepMind sanoo, että IMPALA saavuttaa 250 000 kuvaa sekunnissa tai 21 miljardia kuvaa päivässä. Tämä on ehdoton ennätys tällaisille tehtäville, The Next Web -lehden mukaan. Kehittäjät itse kommentoivat, että heidän AI-järjestelmänsa selviytyvät tehtävästä paremmin kuin vastaavat koneet ja ihmiset.
Tulevaisuudessa samanlaisia AI-algoritmeja voidaan käyttää robotiikassa. Optimoimalla koneoppimisjärjestelmiä, robotit mukautuvat ympäristöönsä nopeammin ja toimivat tehokkaammin.
Nikolay Khizhnyak