Amerikan länsirannikolla maailman arvokkaimmat yritykset yrittävät tehdä tekoälyä älykkäämmäksi. Google ja Facebook uskovat kokeiluihin, joissa käytetään miljardeja valokuvia ja tuhansia korkean suorituskyvyn prosessoreita. Mutta viime vuoden lopulla Tennessee-idän itäosassa toteutettu projekti ylitti hiljaisesti minkään yrityksen AI-laboratorion mittakaavan. Ja sitä hoiti Yhdysvaltojen hallitus.
Yhdysvaltain hallituksen supertietokone rikkoo ennätyksiä
Ennätysmääräiseen projektiin osallistui maailman tehokkain supertietokone, Summit, Oak Ridgen kansallisessa laboratoriossa. Tämä auto voitti kruunun viime kesäkuussa palatakseen tittelin Yhdysvaltoihin viisi vuotta myöhemmin, kun Kiina kärjessä listalla. Osana ilmastotutkimusprojektia jättiläinen tietokone käynnisti koneoppimiskokeen, joka oli nopeampaa kuin koskaan ennen.
Huippukokouksessa, joka kattaa kaksi tenniskenttää vastaavan alueen, käytettiin tässä projektissa yli 27 000 voimakasta GPU: ta. Hän käytti heidän voimaansa syvällisten oppimisalgoritmien kouluttamiseen, juuri tekniikka, joka on kehittyneen tekoälyn perustana. Syvässä oppimisessa algoritmit suorittavat harjoituksia miljardilla operaatiolla sekunnissa, mikä tunnetaan supertietokonepiireissä lisäosana.
"Syväoppiminen ei ole koskaan saavuttanut tätä suorituskykytasoa aikaisemmin", sanoo Prabhat, Lawrence Berkeleyn kansallisen laboratorion kansallisen energian tutkimuskeskuksen tutkimusryhmän johtaja. Hänen tiiminsä teki yhteistyötä tutkijoiden kanssa Summitin päämajassa, Oak Ridge National Laboratory.
Kuten saatat arvata, maailman tehokkaimman tietokoneen AI-koulutus keskittyi yhteen maailman suurimmista haasteista - ilmastonmuutoksesta. Tekniikkayritykset kouluttavat algoritmeja kasvojen tai liikennemerkkien tunnistamiseksi; hallituksen tutkijat ovat kouluttaneet heitä tunnistamaan säämallit, kuten syklonit ilmastomalleista, jotka tiivistävät maan ilmapiirin satavuotisennusteita kolmeen tuntiin. (On kuitenkin epäselvää, kuinka paljon energiaa projekti vaati ja kuinka paljon hiiltä vapautui ilmaan tässä prosessissa).
Mainosvideo:
Huippukokouksella on vaikutuksia tekoälyn ja klimatologian tulevaisuuteen. Projekti osoittaa tieteellisen potentiaalin mukauttaa syväoppiminen supertietokoneisiin, jotka perinteisesti simuloivat fysikaalisia ja kemiallisia prosesseja, kuten ydinräjähdyksiä, mustia aukkoja tai uusia materiaaleja. Se osoittaa myös, että koneoppimisessa voi olla hyötyä enemmän laskentateholla - jos löydät sen - ja tarjota läpimurtoja tulevaisuudessa.
"Emme tienneet, että sitä voitaisiin tehdä tällä mittakaavalla, kunnes teimme sen", sanoo Rajat Monga, Google CTO. Hän ja muut Google-työntekijät auttoivat hanketta mukauttamalla yrityksen avoimen lähdekoodin TensorFlow-koneoppio-ohjelmistot Summitin jättimittaiseen mittakaavaan.
Suuri osa syvän oppimisen skaalaamisesta on tehty Internet-yritysten tietokeskuksissa, joissa palvelimet työskentelevät yhdessä ongelmien kanssa ja erottavat ne toisistaan, koska ne ovat suhteellisen hajaantuneita sen sijaan, että ne olisivat koottu yhdeksi jättiläiseksi tietokoneeksi. Supertietokoneilla, kuten Summitilla, on erilainen arkkitehtuuri, ja niille on omistettu nopea yhteys, joka yhdistää tuhansien prosessoriensa yhteen järjestelmään, joka voi toimia kokonaisuutena. Viime aikoihin asti on ollut suhteellisen vähän työtä koneoppimisen mukauttamiseksi toimimaan tällaisen laitteiston kanssa.
Monga sanoo, että TensorFlowin mukauttaminen Summit-mittakaavaan tukee myös Googlen pyrkimyksiä laajentaa sisäistä tekoälyjärjestelmäänsä. Nvidian insinöörit osallistuivat myös tähän projektiin varmistaen, että kymmenet tuhannet tämän koneen Nvidia-GPU: t toimivat ilman kiinnitystä.
Löydä tapoja hyödyntää enemmän laskentatehoa syvän oppimisen algoritmeissa on ollut avuksi nykyisessä tekniikan kehityksessä. Samasta tekniikasta, jota Siri käyttää äänentunnistukseen ja Waymo-autoihin liikennemerkkien lukemiseen, tuli hyötyä vuonna 2012, kun tutkijat mukauttivat sen toimimaan Nvidia-GPU-laitteissa.
Viime toukokuussa julkaistussa analyysissä Elon Muskin perustaman San Franciscon tutkimusinstituutin OpenAI: n tutkijat arvioivat, että laskentatehon määrä suurimmissa julkisissa koneoppimiskokeissa on kaksinkertaistunut suunnilleen 3,43 kuukauden välein vuodesta 2012; tämä merkitsisi 11-kertaista lisäystä vuodessa. Tämä eteneminen auttoi aakkosbottia voittamaan mestarit haastavissa lauta- ja videopeleissä, ja paransi merkittävästi myös Googlen kääntäjän tarkkuutta.
Google ja muut yritykset luovat tällä hetkellä uudenlaisia AI-yhteensopivia siruja jatkaaksesi tätä suuntausta. Google sanoo, että palot, joissa on tuhansia sen AI-siruja, jotka sijaitsevat tiukasti etäisyydellä toisistaan - kopioidut tensoriprosessorit tai TPU: t - voivat tarjota 100 pikselin prosessointitehoa, joka on kymmenesosa huippukokouksen saavuttamasta nopeudesta.
Huippukokouksen panos ilmastotieteeseen osoittaa, kuinka jättimäinen AI voi parantaa ymmärrystämme tulevista sääoloista. Kun tutkijat tuottavat vuosisadan vanhoja sääennusteita, tuloksena olevien ennusteiden lukeminen tulee haastavaksi.”Kuvittele, että sinulla on YouTube-elokuva, jota on näytetty 100 vuotta. Kaikkia kissoja ja koiria ei voida löytää manuaalisesti tästä elokuvasta”, Prabhat sanoo. Yleensä ohjelmistoja käytetään automatisoimaan tämä prosessi, mutta se ei ole täydellinen. Huippukokouksen tulokset osoittivat, että koneoppiminen voi tehdä tämän paljon paremmin, minkä pitäisi auttaa ennustamaan myrskyjä, kuten tulvia.
Kalifornian Irvine-yliopiston professorin Michael Pritchardin mukaan syväoppimisen aloittaminen supertietokoneissa on suhteellisen uusi idea, joka tuli sopivana ajankohtana ilmastotutkijoille. Perinteisten prosessorien kehityksen hidastuminen on saanut insinöörit varustamaan supertietokoneet yhä useammalla näytönohjaimella suorituskyvyn parantamiseksi johdonmukaisemmin. "On tullut aika, jolloin et voi enää lisätä prosessointitehoa tavanomaisella tavalla", Pritchard sanoo.
Tämä muutos joutui perinteisen mallinnuksen pysähtymiseen, ja siksi sen oli mukauduttava. Se myös avaa oven syvän oppimisen voiman hyödyntämiseen, mikä luonnollisesti soveltuu grafiikkapiiriin. Ehkä saamme selkeämmän kuvan ilmastomme tulevaisuudesta.
Ilja Khel