Teknologian avulla aivojen toiminnan, tekoälyn ja puhesyntetisaattorin skannaamiseen Columbian yliopiston (USA) tutkijat ovat luoneet laitteen, joka kykenee kääntämään ihmisen ajatukset artikuloiduksi puheeksi. Tieteellisissä raporteissa julkaistut tutkimustulokset ovat tärkeä askel aivojen ja tietokoneiden rajapintojen parantamisessa. Tulevaisuudessa sellaisia laitteita voivat käyttää ihmiset, jotka ovat menettäneet puhekykynsä vamman tai sairauden seurauksena.
Tutkimuksen laatija, neurotieteilijä Nima Mesgarani ja hänen kollegansa kääntyivät puhesyntetisaattorin ja tekoälyn kykyjen yhdistämiseen käytettävän laitteen kehittämiseen syvien koneoppimis- ja puhesynteesitekniikoiden uusimpaan kehitykseen. Heidän työnsa tuloksena on tekoälypohjainen vokooderi, joka kykenee melko tarkasti tulkitsemaan aivojen toiminnan suoraan kuulokorteksista ja kääntämään sen sitten ymmärrettäväksi puheeksi. Työn kirjoittajat huomauttavat, että puhe osoittautuu tässä tapauksessa erittäin tietokoneelliseksi, mutta ihmiset tunnistavat sanat useimmissa tapauksissa.
Luojien mukaan tuloksena olevan puheen toistamiseen käytetty uusi laite perustuu samaan tekniikkaan, jota käytetään digitaalisissa avustajissa, kuten Alexa, Siri ja Google Assistant.
Ensinnäkin asiantuntijat kouluttivat vokooderin tulkitsemaan oikein ihmisen aivojen toimintaa. Tätä varten tutkijat kutsuivat viisi epilepsian hoidossa olevaa vapaaehtoista osallistumaan kokeeseen. Kaikilla viidellä oli elektrodit implantoitu kuulokkeeseen lukemaan elektroenkefalogrammi.
”Pyysimme epilepsiapotilaita, joille on jo tehty aivoleikkaus, kuuntelemaan lauseita, joita eri ihmiset sanovat. Samalla analysoimme potilaiden aivojen toiminnan kuvioita. Vokooderi koulutettiin saatujen hermomallien perusteella”, Mesgarani selittää.
Potilaita pyydettiin kuuntelemaan nauhoitukset, joissa näyttelijät lukevat numeroiden sekvenssit välillä 0 - 9. Samanaikaisesti tutkijat tallensivat aivojen signaalit ja kuljettivat niitä sitten vokooderin läpi, jonka signaalit korjattiin selvyyden parantamiseksi neuroverkolla, joka analysoi itse vokooderin äänet ja tuotti ääniä vasteena näihin signaaleihin. Seurauksena oli robottiääni, joka toisti puhuttujen numeroiden sarjan. Tulosten arvioimiseksi tutkijat kutsuivat 11 ihmistä, joilla oli erinomainen kuulo.
Kävi ilmi, että ihmiset tunnistavat sanat noin 75% ajasta, mikä on huomattavasti parempi kuin kaikki aiemmat yritykset. Herkkä vokooderi ja voimakkaat hermoverkot tuottivat ääniä, joita potilaat kuuntelivat uskomattoman tarkasti”, Mesgarani kommentoi.
Mainosvideo:
Jatkossa Mesgaranin joukkue aikoo opettaa hermoverkon ääntämään monimutkaisempia sanoja, lauseita ja jopa kokonaisia lauseita. Sen jälkeen he haluavat kehittää implantin, joka kääntää ihmisen ajatukset täysipuheeksi.
"Jos esimerkiksi implantin omistaja ajattelee:" Tarvitsen lasillisen vettä ", järjestelmämme lukee aivosignaalit ja kääntää ne puheeksi. Tämä antaa jokaiselle, joka on menettänyt puhumiskyvyn vamman tai sairauden takia, uuden mahdollisuuden kommunikoida ympäröivän maailman kanssa”, Mesgarani lisää.
Nikolay Khizhnyak