Venäläiset Samsung AI-Moskovan tekoälykeskuksen asiantuntijat ovat yhteistyössä Skolkovon tiede- ja teknologiainstituutin insinöörien kanssa kehittäneet järjestelmän, joka pystyy luomaan realistisia animoituja kuvia ihmisen kasvoista vain muutaman staattisen ihmisen kehyksen perusteella. Yleensä tässä tapauksessa vaaditaan suurten kuvatietokantojen käyttö, mutta kehittäjien esittämässä esimerkissä järjestelmä opetettiin luomaan animoitu kuva ihmisen kasvoista vain kahdeksasta staattisesta kehyksestä, ja joissain tapauksissa yksi riitti. Lisätietoja kehityksestä on ArXiv.org-online-arkistossa julkaistussa artikkelissa.
Ihmisten kasvojen fotorealistisen henkilökohtaisen moduulin toistaminen on yleensä melko vaikeaa, koska ihmisen pään toisto on erittäin fotometristä, geometristä ja kinemaattista monimutkaisuutta. Tämä selittyy paitsi koko kasvojen mallintamisen monimutkaisuudesta (tätä varten on olemassa suuri joukko lähestymistapoja mallintamiseen), mutta myös tiettyjen piirteiden: suuontelon, hiusten ja niin edelleen mallinnuksen monimutkaisuudesta. Toinen monimutkaistava tekijä on taipumuksemme havaita pieniäkin puutteita ihmisten päiden valmiissa mallissa. Tämä pieni virhe mallintamisvirheiden suhteen selittää puhelinneuvotteluissa käytettyjen ei-fotorealististen avatarien nykyisen esiintyvyyden.
Kirjailijoiden mukaan Fewshot-oppimiseksi puhuttu järjestelmä pystyy luomaan erittäin realistisia malleja puhuvista ihmisten päistä ja jopa muotokuvamaalauksista. Algoritmit syntetisoivat saman henkilön pään kuvan kasvon viittausviivoilla, jotka on otettu videon toisesta fragmentista, tai käyttämällä toisen henkilön kasvojen viitepisteitä. Järjestelmän koulutuksen materiaalilähteenä kehittäjät käyttivät laajaa julkkisten videokuvien tietokantaa. Jotta saataisiin mahdollisimman tarkka puhepää, järjestelmän on käytettävä yli 32 kuvaa.
Realistisempien animoitujen kasvokuvien luomiseksi kehittäjät käyttivät aikaisempaa kehitystä generatiivisessa kilpailevassa mallinnuksessa (GAN, jossa hermoverkko ajattelee kuvan yksityiskohtia, itse asiassa tullessa taiteilijaksi), samoin kuin konemeto-oppimislähestymistapaa, jossa jokainen järjestelmän osa on koulutettu ja suunniteltu ratkaisemaan joitain tietty tehtävä.
Meta-oppimisjärjestelmä.
Mainosvideo:
Kolme hermoverkkoa käytettiin staattisten ihmisten kuvien käsittelemiseen ja niiden muuttamiseen animoiduiksi: Embedder (toteutusverkko), Generator (sukupolviverkko) ja Discriminator (syrjivä verkko). Ensimmäinen osittaa pääkuvat (likimääräisillä kasvojen maamerkeillä) upotusvektoreihin, jotka sisältävät poseeraa riippumattoman informaation, toinen verkko käyttää upotusverkon saamia kasvojen maamerkkejä ja tuottaa niihin perustuvaa uutta tietoa joukon konvoluutiokerroksia, jotka tarjoavat vastustuskyvyn mittakaavan muutoksille, siirtymille, käännökset, kulman muutos ja muut alkuperäisen kasvokuvan vääristymät. Verkon erotinta käytetään arvioimaan kahden muun verkon laatua ja aitoutta. Seurauksena on, että järjestelmä muuntaa henkilön kasvot maamerkeistä realistisen näköisiä, henkilökohtaisia kuvia.
Kehittäjät korostavat, että heidän järjestelmänsä pystyy alustamaan sekä generaattoriverkon että syrjivän verkon parametrit erikseen jokaiselle kuvassa olevalle henkilölle, joten oppimisprosessi voi perustua vain muutamiin kuviin, mikä lisää nopeutta huolimatta tarpeesta valita kymmeniä miljoonia parametreja.
Nikolay Khizhnyak
