Yrittäessään auttaa ihmisiä, jotka eivät osaa puhua, neurotieteilijät ovat kehittäneet laitteen, joka muuntaa aivosignaalit puheeksi. Tätä tekniikkaa ei ole vielä kehitetty tarpeeksi käytettäväksi laboratorion ulkopuolella, vaikka sitä voidaan käyttää kokonaisten lauseiden syntetisoimiseksi, jotka ymmärretään pääosin, kirjoittaa "Nature".
Yrittäessään auttaa ihmisiä, jotka eivät osaa puhua, neurotieteilijät ovat kehittäneet laitteen, joka muuntaa aivosignaalit puheeksi.
Tämä tekniikka ei ole vielä tarpeeksi kypsä käytettäväksi laboratorion ulkopuolella, vaikka sitä voidaan käyttää syntetisoimaan kokonaisia lauseita, jotka yleensä ymmärretään. Puhedekooderin luojat esittelivät sen kuvauksen Nature-lehdessä 24. huhtikuuta julkaistussa artikkelissa.
Tutkijat ovat aiemmin käyttäneet tekoälyä muuntaaksesi aivosignaalit yhdeksi, useimmiten tavun sanoiksi, sanoo Georgian Atlantan Emoryn yliopiston neuroinsinööri Chethan Pandarinath, joka kirjoitti kommentin artikkeliin. "Hyppääminen tavusta lauseisiin on teknisesti haastavaa, ja siksi työ on niin vaikuttava", hän sanoo.
Muunna liike ääneksi
Monet ihmiset, jotka ovat menettäneet puhekykynsä, kommunikoivat laitteella, joka vaatii heitä pienten liikkeiden tekemiseen osoittimen avulla kirjainten tai sanojen valitsemiseksi näytöllä. Yksi kuuluisa esimerkki oli brittiläinen fyysikko Stephen Hawking, jolla oli motorinen hermosairaus. Hän käytti posken lihaksen aktivoimaa puhelaitetta, kertoi tutkimuksen johtaja Edward Chang, neurokirurgi Kalifornian yliopistossa, San Franciscossa.
Koska sellaisia laitteita käyttävien ihmisten on kirjoitettava sanat kirjaimelta, nämä laitteet voivat olla erittäin hitaita, “puhua” jopa kymmenen sanaa minuutissa, Chang sanoo. Luonnollinen puhe sisältää keskimäärin 150 sanaa minuutissa. "Tämä johtuu ääniratojen tehokkuudesta", hän sanoo. Ja niin Chang ja hänen tiiminsä päättivät simuloida äänijärjestelmää puhedekooderin rakentamisessa.
Mainosvideo:
Tutkijat työskentelivät viiden ihmisen kanssa, joille implantoitiin elektrodit aivojen pinnalle epilepsian hoitoprosessissa. Aluksi, kun kokeilun osanottajat luivat satoja lauseita ääneen, tutkijat kirjasivat aivojen toiminnan. Chang ja hänen kollegansa yhdistivät sitten nämä nauhoitukset aiempien kokeilujen tietoihin, joissa tarkasteltiin, kuinka kielen, huulten, leuan ja kurkunpään liikkeet tuottavat ääntä.
Tietoja käyttämällä tutkijat "kouluttivat" syvän oppimisalgoritmin ja sisällyttivät tämän ohjelman dekooderiinsa. Laite muuntaa aivosignaalit ääniradan tietyiksi liikkeiksi ja muuntaa nämä liikkeet synteettisiksi puheiksi. Ihmiset, jotka kuuntelivat 101 syntetisoitua lausetta, pystyivät ymmärtämään keskimäärin 70% sanoista, Chang sanoo.
Toisessa kokeessa tutkijat pyysivät yhtä osallistujaa lukemaan lauseet ääneen ja mykistämään samat lauseet suullaan. Tässä tapauksessa syntetisoidut lauseet olivat huonompaa laatua kuin”puhutun” puheen syntetisoidut lauseet, Chang sanoo, mutta tulokset ovat edelleen rohkaisevia.
Syntetisoidun puheen ymmärtäminen on tulevaisuuden kysymys
Puhetta, joka syntetisoidaan muuntamalla aivosignaalit ääniradan liikkeiksi ja kääntämällä ne ääniksi, on helpompi ymmärtää kuin puhetta, joka syntetisoidaan muuntamalla aivosignaalit suoraan ääneksi, sanoo San Diegon osavaltion yliopiston neurotieteilijä Stephanie Riès. Kaliforniassa.
Mutta on epäselvää, toimiiko uusi puhedekooderi sanoilla, joita ihmiset vain “puhuvat” mielessään, sanoo Amy Orsborne, neuroteknikko Washingtonin yliopistossa Seattlessa. "Artikkeli osoittaa todella hyvin, että laite toimii matkimispuheen kanssa", hän sanoo. "Mutta miten se toimii, jos henkilö ei liikuta huuliaan?"
Chicagon Illinoisissa sijaitsevan Northwestern Universityn neurotieteilijä Marc Slutzky on samaa mieltä ja sanoo, että puhedekooderi voi olla tehokkaampi. Hän toteaa, että kuuntelijat tunnistivat syntetisoidun puheen valitsemalla sanat vaihtoehdoista, mutta vaihtoehtojen lukumäärän kasvaessa sanojen ymmärtäminen tuli vaikeammaksi.
Tämä tutkimus "on todella tärkeä askel, mutta vielä on vielä paljon tehtävää, jotta syntetisoitu puhe voidaan ymmärtää helposti", Slutsky sanoo.
Georgia Guglielmi (Giorgia Guglielmi)