Keinotekoinen älykkyys kehittyy aktiivisesti Venäjällä ja muualla maailmassa - emotionaalinen mukaan lukien. Hän on kiinnostunut suurista yrityksistä ja kunnianhimoisista startup-yrityksistä, jotka tuovat esiin uutta kehitystä vähittäiskaupassa, markkinoinnissa, koulutuksessa, pankkitoiminnassa ja rekrytoinnissa. Mordor Intelligencen mukaan tunteiden tunnistusmarkkinoiden arvoksi arvioitiin 12 miljardia dollaria vuonna 2018 ja kasvaa 92 miljardiin dollariin vuoteen 2024 mennessä.
Mikä on emotionaalinen AI
Emotion AI (Emotion AI) on AI, joka antaa tietokoneelle mahdollisuuden tunnistaa, tulkita ja vastata ihmisen tunteisiin. Kamera, mikrofoni tai puettava anturi lukee henkilön tilan ja hermoverkko prosessoi tiedot tunteen määrittämiseksi.
Tunteita voidaan analysoida kahdella tavalla:
- Ottaa yhteyttä. Henkilö asetetaan laitteeseen, joka lukee hänen pulssinsa, kehon sähköiset impulssit ja muut fysiologiset indikaattorit. Tällaiset tekniikat voivat määrittää tunneiden lisäksi myös stressin tason tai epileptisen kohtauksen todennäköisyyden.
- Kontaktiton. Tunteita analysoidaan video- ja äänitallenteiden perusteella. Tietokone oppii ilmeitä, eleitä, silmäliikkeitä, ääntä ja puhetta.
Neuraaliverkon kouluttamiseksi tietojen tutkijat keräävät näytteen tiedoista ja merkitsevät manuaalisesti henkilön emotionaalisen tilan muutoksen. Ohjelma tutkii malleja ja ymmärtää, mitkä merkit mihin tunteisiin kuuluvat.
Neuraaliverkko voidaan kouluttaa eri datalle. Jotkut yritykset ja laboratoriot käyttävät videonauhoitusta, toiset tutkivat ääntä ja toiset hyötyvät useista lähteistä. Mutta mitä monipuolisempia tietoja, sitä tarkempi tulos on.
Tarkastellaan kahta päälähdettä:
Mainosvideo:
Valokuvia ja valokuvia videosta
Kuvat käsitellään ensin, jotta AI: n olisi helpompi työskennellä. Kasvojen piirteet - kulmakarvat, silmät, huulet ja niin edelleen - on merkitty pisteillä. Neuraaliverkko määrittelee pisteiden sijainnin, vertaa niitä tunteiden merkkeihin mallista ja päättää, mikä tunne heijastuu - viha, pelko, yllätys, suru, ilo tai rauhallisuus.
On myös toinen lähestymistapa. Tunteiden merkit havaitaan välittömästi kasvoihin - esimerkiksi hymy tai kulmakarvojen kulma. Sitten hermoverkko etsii merkkejä kuvasta, analysoi niiden yhdistelmiä ja määrittelee henkilön tilan.
Tunnemerkkien tutkimus aloitettiin 1900-luvulla. Totta, silloin niitä tarkasteltiin erillään hermoverkoista. Tutkijat Paul Ekman ja Wallace Friesen kehittivät kasvohoitojen koodausjärjestelmän (FACS) vuonna 1978. Se jakaa kasvoilmaisut yksittäisiksi lihasliikkeiksi tai toimintayksiköiksi. Tutkija tutkii moottoriyksiköitä ja vertaa niitä tunteisiin.
Ääni ja puhe
Neuraaliverkko poimii akustisesta signaalista monia äänen parametrejä - esimerkiksi äänen ja rytmin. Hän tutkii heidän ajanmuutoksensa ja määrittelee puhujan tilan.
Joskus harjoitteluun käytetään spektrogrammaa - kuva, joka näyttää signaalin voimakkuuden ja taajuuden ajan myötä. Lisäksi AI analysoi sanastoa tarkempien tulosten saamiseksi.
Missä on käytetty tekniikka
Myynti ja mainonta
Tunteiden tunnistustekniikan ilmeisin käyttö on markkinoinnissa. Heidän avulla voit selvittää, miten mainosvideo vaikuttaa henkilöihin. Voit tehdä tämän esimerkiksi asentamalla kameralla rakenteen, joka muuttaa mainontaa ohikulkijoiden mielialasta, sukupuolesta ja iästä riippuen.
Samanlaisen suunnittelun ovat kehittäneet aloittelijat Cloverleaf ja Affectiva. He esittelivät elektronisen hyllypistemainoksen nimeltään shelfPoint, joka kerää tietoja ostajien tunteista. Procter & Gamble, Walmart ja muut suuret yritykset ovat testanneet uusia tekniikoita. Cloverleafin mukaan myynti kasvoi 10–40%, kun taas asiakas sitoutuminen kasvoi 3–5 kertaa.
Epätavallisempi vaihtoehto on robotti-konsultti, jolla on tekoäly. Hän on vuorovaikutuksessa asiakkaiden kanssa, lukee heidän tunteita ja vaikuttaa heihin. Ja tee myös henkilökohtaisia tarjouksia.
Palvelurobotin esitteli venäläinen startup Promobot. Se käyttää Neurodata Labin kehittämää hermoverkkoa, joka määrittelee tunteet useista lähteistä kerralla: kasvojen, äänen, liikkeiden sekä hengityksen ja pulssin nauhoitukset.
Promobot myy aktiivisesti robottejaan ulkomaille. Vuonna 2018 startup allekirjoitti sopimuksen amerikkalaisen Intellitronix-yhtiön kanssa 56,7 miljoonasta dollarista, ja seuraavassa se sopi toimittavansa laitteita Saudi-Arabiaan, Israeliin, Kuwaitiin ja Ruotsiin - heille yritys saa 1,1 miljoonaa dollaria. Promobotin mukaan tänään toimii 492 robottia. 34 maassa ympäri maailmaa oppaina, conciergeina, konsultteina ja edistäjinä.
pankit
Tunteiden tunnistustekniikat auttavat pankkeja saamaan asiakaspalautetta ilman tutkimuksia ja parantamaan palvelua. Videokamerat on asennettu osastoille, ja tallennusalgoritmit määrittävät vierailijoiden tyytyväisyyden. Neuraaliverkot voivat myös analysoida asiakkaan ja operaattorin ääntä ja puhetta puhelinsoiton yhteydessä yhteyskeskukseen.
Venäjällä he ovat yrittäneet toteuttaa tunteellista AI: tä jo pitkään: se testattiin Sberbankissa jo vuonna 2015, ja kolme vuotta myöhemmin Alfa-Bank käynnisti kokeilunsa analysoida tunteita videosta. Valvontakameroiden tallenteiden lisäksi käytetään myös puhelutallenteita. VTB käynnisti kokeiluhankkeen tunne-AI: n toteuttamiseksi vuonna 2019. Ja Rosbank on yhdessä Neurodata Labin kanssa jo testannut asiakkaiden tunteiden määrittämistä äänen ja puheen avulla. Asiakas soitti pankkiin, ja hermoverkko analysoi tilansa ja keskustelun merkityksen. Lisäksi AI huomasi taukoja operaattorin puheessa, äänenvoimakkuudessa ja kommunikaatioajassa. Tämän avulla ei vain voitu tarkistaa tyytyväisyyttä palveluun, vaan myös seurata yhteyskeskuksen ylläpitäjien työtä.
Nyt Rosbank on ottanut käyttöön oman ratkaisunsa tunteiden tunnistamiseen. Akustisen signaalin sijasta järjestelmä analysoi tekstiä, kun tarkkuus on edelleen korkea.
Puheteknologiakeskus on myös mukana tunteiden tunnistamisessa puheessa (Sberbank omistaa enemmistön). Smart Logger -palvelu analysoi asiakkaiden ja operaattoreiden ääniä ja sanastoa, puheaikaa ja taukoa selvittääkseen tyytyväisyyden palveluun.
Viihdepallo
Tunteiden tunnistusjärjestelmiä voidaan käyttää käyttäjien reaktion mittaamiseen elokuvalle. Disney toteutti vuonna 2017 yhteistyössä tutkijoiden kanssa kokeilun: asensi kamerat elokuvateatteriin ja liitti syvät oppimisalgoritmit katsojien tunteiden arvioimiseen. Järjestelmä voisi ennustaa ihmisten reaktioita tarkkailemalla heitä vain muutaman minuutin. Kokeilun aikana keräsimme vaikuttavan aineiston: 68 merkitsintä jokaiselta 3 179 katsojalta. Kaikkiaan saatiin 16 miljoonaa kasvokuvaa.
Tätä tarkoitusta varten YouTube-videohotelli on luonut oman AI-nimisen nimeltään YouFirst. Sen avulla videobloggarit ja yritykset voivat testata sisältöä ennen julkaisua käyttöympäristölle. Käyttäjät napsauttavat erityistä linkkiä, sitoutuvat kuvaamaan videon ja katsomaan videota. Tässä vaiheessa hermoverkko määrittelee heidän reaktionsa ja lähettää tiedot kanavan omistajalle.
Venäläisten yritysten keskuudessa videoita koskevia reaktioita voi analysoida esimerkiksi Neurobotics. Yhtiö on kehittänyt EmoDetect-ohjelman, joka tunnistaa iloa, surua, yllätys, pelkoa, vihaa, inhoa ja puolueettomuutta. Ohjelma tutkii jopa 20 paikallista kasvoominaisuutta jäädytetyissä kehyksissä ja sarjassa kuvia. Järjestelmä analysoi moottoriyksiköitä ja käyttää FACS-kasvojen koodaustekniikkaa. On mahdollista tallentaa videoita verkkokamerasta. EmoDetect-sovellusliittymä antaa sinun integroida tuotteen ulkoisiin sovelluksiin.
Emotionaalinen AI on alkanut soveltaa myös peliteollisuudessa. Se auttaa pelin mukauttamisessa ja lisää vuorovaikutusta pelaajan kanssa.
Esimerkiksi amerikkalainen emotionaalinen AI-yritys Affectiva auttoi luomaan psykologisen trillerin Nevermind. Jännitys riippuu pelaajan tilasta: juoni muuttuu tummemmaksi, kun pelaaja on stressissä, ja päinvastoin.
koulutus
Tunteiden tunnustaminen koskee myös koulutusta. Sitä voidaan käyttää opiskelijoiden mielialan ja huomion tutkimiseen luokan aikana.
Venäläiset kehittäjät ovat soveltaneet emotionaalista AI: tä Permiin. Teknologian kehityksen vauhtina olivat oppilaiden hyökkäykset ala-asteen oppilaiden ja opettajan suhteen. Rostelecom ja startup New Vision ovat kehittäneet Älykäs ja turvallinen koulu -ohjelman lasten tunnetilan seuraamiseksi. Tämä auttaa tunnistamaan epäsosiaaliset murrosikäiset ennen tragedian tapahtumista.
Se perustui Paul Ekman -järjestelmään. Neuraaliverkko analysoi pienimmätkin lihasliikkeet käyttämällä kasvojen 150 pistettä. Oppitunnin aikana kerättiin suuri määrä tietoa: 5-6 tuhat kehystä jokaiselle oppilaalle. Ohjelma tutki aineistoa ja laski jokaisen lapsen tunnetilan. Luojaten mukaan tarkkuus oli 72%.
HR
Emotionaalinen AI voi olla hyödyllinen työssä henkilöstön kanssa. Se auttaa määrittämään työntekijän tilan, huomaamaan hänen väsymyksensä tai tyytymättömyytensä ajallaan ja jakamaan tehtävät tehokkaammin.
Lisäksi tekniikka auttaa rekrytoinnissa. Emotionaalisen AI: n avulla voit tarkistaa työnhakijan tai valheita haastattelun aikana.
Amerikkalainen HireVue käyttää tekoälyä ehdokkaiden arviointiin. Hakija käy läpi videohaastattelun, ja hermoverkko määrittelee hänen tilansa avainsanojen, ääni-intonaation, liikkeiden ja ilmeiden perusteella. AI korostaa työlle tärkeitä ominaisuuksia ja antaa pisteitä, ja henkilöstöjohtaja valitsee oikeat ehdokkaat.
Lontoossa toimiva startup Human käyttää videota tunnistaakseen tunteet ja sovittaa ne luonteenpiirteisiin. Videohaastattelun jälkeen rekrytoijat saavat raportin, jossa kerrotaan kuinka rehellinen, utelias, innostunut, innostunut ja itsevarma ehdokas oli ja kuinka hän vastasi kysymyksiin.
Lääke
Tällä alueella ei vain kosketuksettomien, vaan myös kontaktimenetelmien avulla määritetään tunteita. Ulkomaiset startupit toteuttavat niitä aktiivisesti - esimerkiksi Affectiva ja Brain Power. Yritysten kehitykseen kuuluu AI-lasit, jotka autismin autistisia lapsia ja aikuisia tunnistamaan muiden tunteet ja kehittämään sosiaalisia taitoja.
Mutta hermostoverkot voivat auttaa potilaita ilman puettavia antureita. Massachusettsin teknillisen instituutin tutkijat ovat luoneet hermoverkon, joka havaitsee masennuksen analysoimalla henkilön puhetta. Tuloksen tarkkuus oli 77%. Ja Startup Beyond Verbal käyttää AI: tä analysoimaan potilaiden mielenterveyttä. Tässä tapauksessa hermoverkko valitsee äänitallenteesta vain äänibiomarkkerit.
Autot
Massachusetts Institute of Technology kehittää AE-nimistä nimeä AutoEmotive, joka määrittää kuljettajan ja matkustajien tilan. Hän ei vain tarkkaile stressitasoa, vaan yrittää myös vähentää sitä - soittamalla pehmeää musiikkia, säätämällä lämpötilaa matkustamossa tai valitsemalla vähemmän kiireisen reitin.
Tunteellisen AI: n rajoitukset
Neuraaliverkko ei voi ottaa huomioon asiayhteyttä
AI on oppinut tunnistamaan ihmisen perustiedot ja tunteet, mutta toistaiseksi se ei selviä hyvin monimutkaisista tilanteista. Tutkijat huomauttavat, että kasvoilmaisut eivät aina osoita tarkasti sitä, miltä ihminen todella tuntuu. Hänen hymynsä voi olla heikko tai sarkastinen, ja tämän voi määrittää vain konteksti.
NtechLab-asiantuntijat uskovat, että tämän tai toisen tunteen syyn on edelleen vaikea määrittää tarkasti.
NtechLab painottaa, että on tarpeen tunnistaa paitsi kasvoilmaisut myös ihmisen liikkeet. Monipuoliset tiedot tekevät tunne-AI: stä paljon tehokkaamman. VisionLabs-kasvotunnistustuotekehitysyrityksen johtava tutkija Daniil Kireev on samaa mieltä tästä. Hänen mukaansa algoritmien tarkkuus kasvaa suurella tietomäärällä.
”Virheitä on, niiden lukumäärä riippuu monista tekijöistä: harjoitusnäytteen laadusta, koulutetusta hermoverkosta, tiedosta, jolla lopullinen järjestelmä toimii. Lisäämällä tietoa eri lähteistä - esimerkiksi ääni - voit parantaa järjestelmän laatua. Samanaikaisesti on tärkeää ymmärtää, että kasvot määrittelemme pikemminkin sen ilmaisun kuin lopullisen tunteen. Algoritmi voi yrittää määrittää simuloidun tunteen, mutta tätä varten teknologian kehittämisen on otettava pieni askel eteenpäin”, Daniil Kireev sanoo.
Huono laite
Ulkoiset tekijät vaikuttavat algoritmien laatuun. Jotta tunneiden tunnistuksen tarkkuus olisi korkea, videokameroiden ja mikrofonien on oltava korkealaatuisia. Lisäksi tulokseen vaikuttavat valaistus ja kameran sijainti. Daniil Kireevin mukaan hallitsemattomat olosuhteet vaikeuttavat henkilön tilojen määrittämisprosessia.
Jotta emotionaalinen AI voi kehittyä, tarvitset laadukasta laitteistoa. Jos löydät hyviä laitteita ja asennat ne oikein, tulosten tarkkuus on erittäin korkea. Ja kun siitä tulee helpompaa ja laajemmin levinnyttä, tunneentunnistustekniikoita parannetaan ja otetaan käyttöön aktiivisemmin.
”Järjestelmän tarkkuus riippuu monista tekijöistä. Tärkein on kameran still-kuvien laatu, jotka annetaan järjestelmälle tunnustamista varten. Stillkuvien laatuun puolestaan vaikuttavat kameran asetukset ja ominaisuudet, matriisi, valaistus, laitteen sijainti, kehyksessä olevien kasvojen lukumäärä. Laitteiden ja ohjelmistojen oikeilla määrityksillä on mahdollista saavuttaa havaitun tunteen tarkkuus jopa 90-95%: iin”, toteaa pilvivideomonitorointi- ja videoanalyysipalvelun Ivideon tuotepäällikkö Vitaly Vinogradov.
Teknologinen näkökulma
Nyt Venäjällä emotionaalinen älykkyys on vain vauhtia. Startup-yritykset kehittävät tekniikkaa ja markkinoivat tuotteitaan, ja asiakkaat testaavat niitä varovaisesti.
Mutta Gartner arvioi, että vuoteen 2024 mennessä yli puolet verkkomainoksista tehdään käyttämällä tunnepitoista AI: tä. Tietojen näkemyksestä, jota käytetään tunteiden tunnistamiseen, tulee yksi tärkeimmistä tekniikoista seuraavien 3-5 vuoden aikana. Ja MarketsandMarkets ennustaa, että tunneanalyysimarkkinat kaksinkertaistuvat vuoteen 2024 mennessä - 2,2 miljardista dollarista 4,6 miljardiin dollariin.
Lisäksi suuret yritykset ovat kiinnostuneita tunneiden tunnistamisesta - esimerkiksi Procter & Gamble, Walmart, VTB, Rosbank, Sberbank ja Alfa-Bank. Ja kotimaiset startupit kehittävät pilottiprojekteja, joista tulee tulevaisuuden valmiita ratkaisuja yrityksille.
Evgeniya Khrisanfova