Několik let v 80. letech byli uchazeči na St George's Hospital Medical School v Londýně vybíráni pomocí high-tech metody. Počítačový program, jeden z prvních svého druhu, skenovaný pokračuje, vybírá ze všech přihlášek asi 2 000 kandidátů ročně. Program přezkoumával záznamy o přijetí, zkoumal vlastnosti úspěšných uchazečů a upravoval tak, aby jeho rozhodnutí odpovídala stanovisku přijímací komise.
Program se však naučil najít více než dobré známky a známky akademického úspěchu. Čtyři roky po zavedení programu dva lékaři v nemocnici zjistili, že tento program měl tendenci odmítat uchazeče a jednotlivce s neevropskými jmény bez ohledu na jejich akademické zásluhy. Lékaři zjistili, že přibližně 60 uchazečům bylo každý rok jednoduše odmítnuto interview kvůli jejich pohlaví nebo rase. Program začlenil gender a rasovou zaujatost do údajů používaných pro jeho výcvik - ve skutečnosti se dozvěděl, že lékaři a cizinci nejsou nejlepšími kandidáty na lékaře.
O třicet let později se potýkáme s podobným problémem, ale programy s interními zkreslením jsou nyní rozšířenější a přijímají rozhodnutí s ještě vyššími sázkami. Algoritmy umělé inteligence založené na strojovém učení se používají ve všem, od vládních agentur po zdravotnictví, rozhodování a předpovědi na základě historických dat. Zkoumáním vzorců v datech také absorbují zkreslení v datech. Google například zobrazuje více reklam na placená místa ženám než mužům; Amazonská jednodenní doprava obchází černé čtvrti a digitální fotoaparáty se snaží rozpoznat nebílé tváře.
Je těžké vědět, zda je algoritmus neobjektivní nebo spravedlivý, a dokonce i počítačoví odborníci si to myslí. Jedním z důvodů je to, že podrobnosti o vytvoření algoritmu jsou často považovány za chráněné informace, takže je majitelé pečlivě chrání. Ve složitějších případech jsou algoritmy tak složité, že ani tvůrci nevědí, jak přesně fungují. To je problém tzv. „Černé skříňky“AI - naší neschopnosti vidět vnitřek algoritmu a porozumět tomu, jak jde o řešení. Pokud bude uzamčena, naše společnost by mohla být vážně poškozena: digitální prostředí představuje historickou diskriminaci, kterou jsme bojovali po mnoho let, od otroctví a nevolnictví až po diskriminaci žen.
Tyto obavy, dříve vyslovené v malých komunitách výpočetní techniky, nyní nabývají na síle. Za poslední dva roky se v této oblasti objevilo poměrně málo publikací o průhlednosti umělé inteligence. Spolu s tímto vědomím roste i smysl pro zodpovědnost. „Neměli bychom něco stavět?“Zeptá se Keith Crawford, výzkumník společnosti Microsoft a spoluzakladatel AI Now Insitution v New Yorku.
"Strojové učení se konečně dostalo do popředí." Nyní se ho snažíme použít pro stovky různých úkolů v reálném světě, “říká Rich Caruana, vedoucí vědec společnosti Microsoft. „Je možné, že lidé budou schopni zavést škodlivé algoritmy, které z dlouhodobého hlediska významně ovlivní společnost. Zdá se, že najednou si všichni uvědomili, že se jedná o důležitou kapitolu v našem oboru. “
Propagační video:
Neautorizovaný algoritmus
Algoritmy používáme již dlouhou dobu, ale problém s černou skříní je bezprecedentní. První algoritmy byly jednoduché a transparentní. Mnoho z nich stále používáme - například k posouzení bonity. S každým novým použitím vstupuje do hry regulace.
"Lidé používají algoritmy k posuzování bonity po celá desetiletí, ale tyto oblasti měly několik docela silných osad, která rostla souběžně s použitím prediktivních algoritmů," říká Caruana. Regulační pravidla zajišťují, že prediktivní algoritmy poskytují vysvětlení pro každé skóre: byli jste odmítnuti, protože máte hodně kreditu nebo příliš malý příjem.
V jiných oblastech, jako je právní systém a reklama, neexistují žádná pravidla zakazující používání záměrně nečitelných algoritmů. Možná nevíte, proč vám byla půjčka odmítnuta nebo nebyla najata, protože nikdo nenutí majitele algoritmu vysvětlit, jak to funguje. "Ale víme, že protože algoritmy jsou trénovány na reálných datech, musí být zkreslené - protože skutečný svět je zkreslený," říká Caruana.
Zvažte například jazyk, jeden z nejzjevnějších zdrojů zaujatosti. Když jsou algoritmy cvičeny z psaného textu, vytvářejí určitá spojení mezi slovy, která se objevují častěji. Například se dozvídají, že „pro muže být počítačovým programátorem to samé jako pro ženu v domácnosti.“Pokud je úkolem tohoto algoritmu najít vhodný životopis pro práci programátora, bude pravděpodobně vybrán z mužských kandidátů.
Problémy, jako jsou tyto, lze snadno vyřešit, ale mnoho společností to prostě neudělá. Místo toho skryjí takové rozpory za štítem chráněných informací. Bez přístupu k podrobnostem algoritmu nebudou odborníci v mnoha případech schopni určit, zda existuje zaujatost nebo ne.
Protože tyto algoritmy jsou tajné a zůstávají mimo jurisdikci regulátorů, je téměř nemožné, aby občané žalovali tvůrce algoritmů. V roce 2016 Wisconsinův vrchní soud zamítl žádost osoby o přezkoumání vnitřního fungování COMPAS. Muž, Eric Loomis, byl odsouzen na šest let vězení, protože ho COMPAS považoval za „vysoce rizikové“. Loomis říká, že jeho právo na řádný proces bylo porušeno závislostí soudce na neprůhledném algoritmu. Konečná žádost u Nejvyššího soudu USA selhala v červnu 2017.
Ale tajné společnosti si svou svobodu nebudou užívat donekonečna. Do března EU přijme zákony, které budou vyžadovat, aby společnosti mohly zájemcům vysvětlit, jak jejich algoritmy fungují a jak se přijímají rozhodnutí. USA v pracích takové právní předpisy nemají.
Černá skříňka forenzní
Bez ohledu na to, zda se do toho všeho zapojují regulátoři, kulturní posun ve způsobu navrhování a nasazování algoritmů by mohl snížit prevalenci předpojatých algoritmů. Jak se stále více společností a programátorů zavazuje k tomu, že jejich algoritmy budou transparentní a vysvětlitelné, někteří doufají, že společnosti, které tak neučiní, ztratí na veřejnosti dobré jméno.
Nárůst výpočetního výkonu umožnil vytvořit algoritmy, které jsou přesné a vysvětlitelné - technická výzva, kterou vývojáři historicky nedokázali překonat. Nedávný výzkum naznačuje, že lze vytvořit vysvětlitelné modely, které předpovídají opakování zločinců stejně přesně jako černá skříňka forenzních vědců, jako je COMPAS.
"Hotovo - víme, jak vytvářet modely bez černých skříní," říká Cynthia Rudin, odborná asistentka informatiky a elektrotechniky na Duke University. "Ale není tak snadné upozornit lidi na tuto práci." Pokud by vládní agentury přestaly platit za modely černé skříňky, pomohlo by to. Pokud soudci odmítnou použít pro odsouzení modely černé skříňky, pomůže to také. “
Jiní se snaží vymyslet způsoby, jak otestovat platnost algoritmů vytvořením systému kontrol a vyvážení před tím, než se algoritmus uvolní do světa, stejně jako je testován každý nový lék.
„Modely se nyní vyrábějí a nasazují příliš rychle. Neexistuje řádná validace před uvolněním algoritmu, “říká Sarah Tan z Cornell University.
V ideálním případě by vývojáři měli smazat stranou známá zkreslení - jako je pohlaví, věk a rasa - a provádět interní simulace, aby otestovali své algoritmy na další problémy.
Mezitím, než se dostaneme k bodu, kdy budou všechny algoritmy důkladně testovány před vydáním, je již možné určit, které z nich budou trpět zaujatostí.
Tan, Caruana a jejich kolegové ve své poslední práci popsali nový způsob, jak pochopit, co se může dít pod algoritmy černé skříňky. Vědci vytvořili model, který napodobuje algoritmus černé skříňky a učí se odhadovat riziko recidivy pomocí dat COMPAS. Vytvořili také další model, který trénoval na reálných datech, aby ukázal, zda se předvídaný recidivismus skutečně vyskytl. Porovnání těchto dvou modelů umožnilo vědcům posoudit přesnost předpokládaného skóre bez analýzy algoritmu. Rozdíly ve výsledcích obou modelů mohou naznačovat, které proměnné, jako je rasa nebo věk, mohou být v konkrétním modelu důležitější. Jejich výsledky ukázaly, že COMPAS diskriminuje černé lidi.
Správně navržené algoritmy mohou eliminovat dlouhodobé předpojatosti v trestním soudnictví, policejním řízení a mnoha dalších oblastech společnosti.
Ilya Khel