Tulosta odotettiin yleensä, vaikka virhetasot ovatkin varsin vaikuttavia.
Yhdysvaltain kansallinen standardi- ja teknologiainstituutti on käynnistänyt sarjan tutkimuksia, joiden tarkoituksena on selvittää, kuinka hyvin kasvontunnistusalgoritmit toimivat maskin tilassa. Kysymys on tänään erittäin tärkeä, ja jotkut valmistajat sanovat, että he ovat jo kehittäneet järjestelmiä, jotka tunnistavat naamioidut kasvot. Mutta NIST alkoi järjestyksessä ja ensimmäisessä tutkimuksessa testattiin 89 algoritmia, jotka oli luotu jo ennen pandemian alkamista.
Testissä käytettiin yli kuusi miljoonaa valokuvaa ja algoritmien avulla oli määritettävä, kuinka ihmisen yksi kuva vastaa toista - yleisin ongelma tällaisissa tapauksissa, jota käytetään erityisesti älypuhelimien lukituksen avaamiseen. Tutkijat päättivät kieltäytyä vaikeammasta tehtävästä - löytää vastaavuus yhdelle koko tietokannasta. Yhdeksän naamarimuotoa, jotka olivat muodoltaan ja väriltään erilaisia, asetettiin digitaalisesti kuvien päälle.
Seurauksena jopa 89: n paras algoritmi, joka tunnisti kasvot normaalisti 99,7%: lla, erehtyi, kun maskeja käytettiin vähintään 5% ajasta. Suurimmalle osalle virheaste oli kuitenkin 20-50%.
Pääsyy oli tietojen puute kasvojen erityispiirteistä, jotka tosiasiassa ovat välttämättömiä tunnistusalgoritmeille. Samanaikaisesti NIST-asiantuntijat huomasivat, että naamion muoto ja väri vaikuttavat virhetasoon - mitä suurempi maski on ja sitä korkeampi se peittää nenän, sitä vaikeampi algoritmin on tunnistaa kuva. Virheiden lukumäärä oli myös suurempi mustia naamioita käytettäessä, mutta kuten tutkimuksen kirjoittajat itse myöntävät, heillä ei ollut tarpeeksi aikaa tutkia "väri" -kohtaa tarkemmin.
Seuraavassa tutkimuksessa NIST-asiantuntijat aikovat testata uusia algoritmeja, jotka sisältävät jo peitettyjen kasvojen tunnistustoiminnon.