Keinotekoisen älykkyyden alaa verrataan usein öljyteollisuuteen: Kun uutetut ja jalostetut tiedot, kuten öljykin, voivat tulla erittäin kannattaviksi hyödykkeiksi. Nyt on kuitenkin käynyt ilmeiseksi, että tämä metafora laajenee. Fossiilisten polttoaineiden tavoin syvällä oppimisella on valtava vaikutus ympäristöön. Massachusettsin yliopiston Amherstin tutkijat arvioivat uudessa tutkimuksessa useiden yleisten suurten AI-mallien oppimisen elinkaaren.
Se havaitsi, että tämä prosessi voi tuottaa yli 626 000 puntaa (noin 300 000 kg) hiilidioksidiekvivalenttia, mikä on lähes viisinkertainen tyypillisen auton päästöihin viiden vuoden aikana (mukaan lukien itse auton tuotanto).
Kuinka AI-mallit koulutetaan
Tämä on upea määrä siitä, mitä AI-tutkijat ovat kauan epäilleet.
Luonnollisen kielen käsittely hiilijalanjälki
Mainosvideo:
Artikkelissa käsitellään erityisesti luonnollisen kielen käsittelymallin (NLP) koulutusprosessia, joka on AI: n osakenttä, joka käsittelee ihmisten kielen kanssa työskenteleviä koulutuslaitteita. Kahden viime vuoden aikana NLP-yhteisö on tehnyt useita tärkeitä virstanpylväitä konekääntämisen, lauseiden suorittamisen ja muiden vakioarviointitehtävien aloilla. Kuuluisa OpenAI GPT-2 -malli on esimerkiksi onnistunut kirjoittamaan vakuuttavia vääriä uutisia.
Mutta tällainen kehitys vaatii yhä suurempien mallien kouluttamista venytetyistä tietojoukoista Internetistä vedetyistä lauseista. Tämä lähestymistapa on laskennallisesti kallis ja erittäin energiaintensiivinen.
Tutkijat tarkastelivat neljää mallia alueella, joka vastaa suorituskyvyn suurimmista hyppyistä: Transformer, ELMo, BERT ja GPT-2. He kouluttivat jokaisen yhdellä GPU: lla päiväksi mittaamaan virrankulutusta.
Sitten he laskivat alkuperäisissä malli-asiakirjoissa määritetyn harjoitustuntien määrän laskeakseen koko koulutusprosessin aikana kuluneen energian kokonaismäärän. Tämä määrä muutettiin kiloa hiilidioksidia vastaavaksi, mikä oli yhdenmukainen Amazonin, maailman suurimman pilvipalvelujen tarjoajan AWS-energiasekoituksen kanssa.
Se havaitsi, että koulutuksen laskennalliset ja ympäristökustannukset nousivat suhteessa mallin kokoon, ja sitten nousivat eksponentiaalisesti, kun mallin lopullista tarkkuutta muutettiin. Neuraaliarkkitehtuurin haku, joka yrittää optimoida mallin muuttamalla asteittain hermoverkkorakennetta kokeilu- ja virhetoimenpiteillä, aiheuttaa erittäin korkeita kustannuksia, mutta suorituskyvyn paraneminen on vähäistä. Ilman sitä kallein BERT-malli jätti hiilijalanjäljensä 1 400 puntaa (635 kg) lähelle Amerikan välistä edestakaista matkaa.
Lisäksi näitä lukuja olisi pidettävä vain lähtökohtina.
Kaiken kaikkiaan tutkijoiden arvion mukaan julkaisemisen arvoisen lopullisen mallin luomis- ja testausprosessi vaati 4777 mallin kouluttamista kuuden kuukauden aikana. CO2-ekvivalenttina tämä on noin 35 000 kg.
Näiden lukujen merkitys on valtava, etenkin ottaen huomioon nykyiset suuntaviivat AI-tutkimuksessa. Yleensä AI-tutkimus jättää tehokkuuden huomiotta, koska suuret hermoverkot tunnustetaan hyödyllisiksi useissa tehtävissä ja yritykset, joilla on rajoittamaton laskentaresurssi, käyttävät niitä kilpailuedun saavuttamiseen.
Ilja Khel