Viime aikoina hermostoverkot ovat yllättäneet osaamisellaan - voisitko kymmenen vuotta sitten uskoa, että tietokone pystyy "animoimaan" Dostojevskin ja Marilyn Monroen muotokuvia? Valmistaudu yllättämään edelleen, koska MIT: n tutkijat ovat luoneet Speech2Face-hermoverkon, joka pystyy piirtämään ihmisten muotokuvia yksinkertaisesti kuuntelemalla heidän äänensä. Teknologia ei ole kaukana ihanteellisesta, mutta sen kyky määrittää ihmisen sukupuoli, kansallisuus ja ikä on vaikuttava.
Neuraaliverkon kouluttamiseen AVSpeech-sarjaa käytettiin miljoonalla lyhyellä videolla tuhansien puhuvien ihmisten kanssa. Video- ja ääniraidat on erotettu toisistaan, joten järjestelmä pystyi tutkimaan jokaisen tyyppistä materiaalia mahdollisimman yksityiskohtaisesti. Ensimmäisessä työvaiheessa VGG-Face -algoritmi tutki videofragmentteja ja loi muotokuvia ihmisistä heidän koko kasvojensa ja neutraalien ilmeidensä avulla. Toinen osa algoritmia tutki äänen spektrogrammaa ja sovelsi lisämuutoksia tuloksena oleviin muotokuviin - seurauksena saatiin likimääräinen muotokuva jokaisesta puhuvasta henkilöstä.
Neuraali verkko äänipohjaisten muotokuvien luomiseksi on jo todellisuus
Jos vertaat henkilön kasvoja videoon ja algoritmin ehdottamaan vaihtoehtoon, löydät monia eroja. Tutkijat vakuuttavat kuitenkin, että he alun perin eivät halunneet luoda samankaltaista ihmisen muotokuva - monet tekijät vaikuttavat ihmisen äänen äänentoistoon ja intonaatioon, joten heillä ei kuitenkaan olisi ollut ihanteellista tulosta. Mutta hermoverkko tekee erinomaista työtä tutkijoille tärkeän aseman, nimittäin sukupuolen, kansallisuuden ja iän tarkan määrittämisen suhteen.
Työn kirjoittajat huomauttivat, että algoritmi on tällä hetkellä heikko ikän määrittämisessä, mutta ne voivat parantaa tarkkuutta. Todettiin myös, että algoritmi luo entistä paremmin eurooppalaiset ja aasialaiset kasvot, mutta tämä johtuu vain siitä, että koulutusvideoissa oli epätasainen määrä eri kansallisuuksien kasvoja.
Mainosvideo:
Miksi tarvitset hermoverkkoa?
Kuinka tämä tekniikka voi olla hyödyllinen tulevaisuudessa? Vaihtoehtoisesti sen avulla voidaan joskus luoda palvelu, jossa käyttäjän virtuaalinen avataari luodaan automaattisesti hänen äänensä perusteella. Uudella tutkimuksella on myös suuria tieteellisiä etuja - tutkimalla tietoja tutkijat voivat löytää yhteyden ihmisen ulkonäön ja äänensä välillä. Voit kuunnella ääniä ja katsoa muotokuvia, jotka on luotu niiden perusteella projektin verkkosivuilla.
Ramis Ganiev