Amazonova umělá inteligence, navržená k třídění životopisů uchazečů o zaměstnání, řadí muže výše než ženy. Zejména odmítl životopisy slovem „ženský“a nabídl najmout kandidáty, kteří ve své řeči používali typické mužské slovesa, i když tito lidé neměli potřebné dovednosti. V důsledku toho musela společnost projekt uzavřít.
Umělá HR inteligence
Odborníci na strojové učení Amazonu zjistili, že umělá inteligence, která zpracovává životopis uchazečů o pozice ve společnosti, diskriminuje uchazeče o zaměstnání, uvedla agentura Reuters. Tato funkce nebyla úmyslně začleněna do systému - byla výsledkem strojového učení.
V Amazonu vyvíjí v Amazonu od roku 2014 vývojový třídicí stroj založený na umělé inteligenci týmem 12 osob v Edinburghu. Již v roce 2015 si společnost všimla, že nový systém nedodržuje zásadu genderové neutrality při hodnocení kandidátů na pozice v oblasti vývoje softwaru a dalších technických pozic.
Brzy si uvědomili důvod: faktem je, že systém byl vyškolen na pokračování, které společnost vstoupila za posledních 10 let. Většinu těchto životopisů pořádali muži, což obecně odráží situaci v IT průmyslu. V důsledku toho se Amazonova umělá inteligence dozvěděla, že mužští uchazeči o zaměstnání mají přednost před ženami.
Jazykové odmítnutí
Propagační video:
Výsledkem je, že umělá inteligence začala vyřazovat životopisy obsahující slovo „žena“v takových výrazech, jako „kapitán ženského šachového klubu“. Mechanismus také snížil hodnocení absolventů dvou ženských vysokých škol, ale zdroje Reuters neuvedly jejich jména. Při vyhodnocování životopisů jim umělá inteligence dala mezi jednu až pět hvězdiček - velmi podobné tomu, jak kupující hodnotí produkty na Amazonu.
Systém věnoval pozornost i jiným slovům. Vývojáři vytvořili 500 počítačových modelů pro různé pracovní povinnosti a geografická umístění. Každý model byl vyškolen, aby rozpoznal asi 50 tisíc signálních slov, která byla přítomna v životopise žadatele.
Je pozoruhodné, že tento mechanismus ignoroval slova označující dovednosti, které jsou často uváděny v životopisech odborníků v oblasti IT, jako je schopnost psát různé kódy atd. Místo toho systém sledoval v samopopisu kandidátů například typická slovesa pro mužskou řeč, například „splnil“. (popraven) nebo „zajat“, jak byli pravidelně vidět ve starých životopisech, ze kterých se stroj poučil. S tímto přístupem nebyla diskriminace na základě pohlaví jediným problémem - mechanismus často doporučoval lidem, kteří na tuto pozici neměli potřebné dovednosti.
Další osud projektu
Amazon upravil systém tak, aby již nereagoval na signální slova. Nebyla to však záruka, že tento mechanismus nenajde jiný způsob, jak identifikovat životopisy vlastněné ženami. Začátkem roku 2017 se společnost rozčarovala projektem a rozpustila tým. Zdroje Reuters říkají, že personalisté vzali v úvahu doporučení systému, ale nikdy se na ně nespoléhali.
Jeden ze zdrojů říká, že projekt je uzavřen. Jiný argument tvrdí, že v Edinburghu byl vytvořen nový tým, který bude pokračovat v rozvoji mechanismu, ale tentokrát se zaměřením na spravedlnost a začlenění. Jiný zdroj uvádí, že k provádění rutinní práce se nyní používá silně upravená verze motoru, například odstranění duplicitních obnovení z databáze.