Amazonin tekoäly, joka on suunniteltu lajittelemaan työnhakijoiden ansioluettelot, sijoitti miehet naisia korkeammalle. Erityisesti hän hylkäsi ansioluettelot, joissa oli sana "naisellinen", ja tarjosi palkata ehdokkaita, jotka käyttivät puheessaan tyypillisiä maskuliinisia verbejä, vaikka näillä ihmisillä ei olisi tarvittavia taitoja. Seurauksena oli, että yrityksen oli suljettava projekti.
Keinotekoinen HR-älykkyys
Amazonin koneoppimisasiantuntijat ovat havainneet, että keinotekoinen äly, joka käsittelee ehdokkaiden jatkamista yrityksen tehtäviin, syrjii naispuolisia työnhakijoita, Reuters kertoi. Tätä ominaisuutta ei ollut tarkoituksella sisällytetty järjestelmään - se oli koneoppimisen tulos.
Edinburghin 12 hengen ryhmä on kehittänyt Amazonissa keinotekoiseen älyyn perustuvaa jatkolajittelulaitetta vuodesta 2014 lähtien. Yhtiö huomasi jo vuonna 2015, että uusi järjestelmä ei noudattanut sukupuolineutraalisuuden periaatetta arvioidessaan ohjelmistokehityspaikkojen ehdokkaita ja muita teknisiä avoimia työpaikkoja.
Pian he tajusivat syyn: tosiasia on, että järjestelmä on koulutettu yrityksen antamien jatko-ohjeiden perusteella viimeisen 10 vuoden aikana. Suurin osa näistä ansioluetteloista oli miesten hallussa, mikä heijastaa yleisesti tietotekniikka-alan tilannetta. Tämän seurauksena Amazonin tekoäly sai tietää, että miehet ovat työnhakijoita mieluummin kuin naiset.
Kielellinen hylkääminen
Mainosvideo:
Seurauksena oli, että tekoäly alkoi hylätä jatkamisen, joka sisälsi sanan "nainen" sellaisissa ilmaisuissa kuin "naisten shakkiklubin kapteeni". Mekanismi alensi myös kahden naisopiston valmistuneiden astetta, mutta Reutersin lähteissä ei määritelty heidän nimeään. Arvioidessaan jatkamista keinotekoinen älykkyys antoi heille yhden ja viiden tähden - hyvin samanlainen kuin kuinka ostajat arvioivat tuotteita Amazonissa.
Järjestelmä kiinnitti huomiota myös muihin sanoihin. Kehittäjät ovat luoneet 500 tietokonemallia erilaisille työtehtäville ja maantieteellisille sijainneille. Jokainen malli koulutettiin tunnistamaan noin 50 tuhat signaalisanaa, jotka olivat läsnä hakijan ansioluettelossa.
On huomionarvoista, että mekanismi ei huomioinut taitoja kuvaavia sanoja, jotka usein kirjoitetaan tietotekniikan ammattilaisten ansioluetteloissa, kuten kyky kirjoittaa erilaisia koodeja jne. Sen sijaan järjestelmä seurasi esimerkiksi miespuheelle tyypillisiä verbejä ehdokkaiden itsekuvauksessa, kuten "täyttynyt". (teloitettu) tai "vangittu", koska heidät nähtiin säännöllisesti vanhoissa ansioluetteloissa, joista kone oppi. Tällä lähestymistavalla sukupuoleen perustuva syrjintä ei ollut ainoa ongelma - mekanismi suositteli usein ihmisiä, joilla ei ollut tehtävään tarvittavia taitoja.
Hankkeen tuleva kohtalo
Amazon on säätänyt järjestelmää siten, että se ei enää reagoi signaalin sanoihin. Tämä ei kuitenkaan ollut tae siitä, että mekanismi ei löydä toista tapaa tunnistaa naisten omistamat jatkamiset. Vuoden 2017 alkupuolelle mennessä yritys oli pettynyt projektiin ja hajotti ryhmän. Reuters-lähteiden mukaan HR-asiantuntijat ottivat huomioon järjestelmän suositukset, mutta eivät koskaan luottaneet vain niihin.
Yksi lähteistä kertoo, että projekti on päättynyt. Toinen väittää, että Edinburghiin perustettiin uusi ryhmä jatkamaan mekanismin kehittämistä, mutta tällä kertaa keskitytään pääomaan ja osallisuuteen. Toinen lähde kertoo, että moottorin voimakkaasti muokattua versiota käytetään nyt suorittamaan rutiinitöitä, kuten poistamaan kaksoiskappaleet uudelleen tietokannasta.