Za oknem je 2022. Řídíte autem, jako obvykle, městem. Auto se přiblíží ke značce zastavení, kterou mnohokrát prošlo, ale tentokrát se nezastaví před ní. Tato stopka je pro vás jako ostatní. Ale pro auto je to úplně jiné. O pár minut dříve, bez varování někoho, útočník vložil na tabuli malou desku, neviditelnou pro lidské oko, ale která technologie si toho nemůže nevšimnout. To znamená, že malá nálepka na znamení změnila stopku na něco úplně jiného než stopku.
To vše se může zdát neuvěřitelné. Rostoucí oblast výzkumu však dokazuje, že umělá inteligence může být podvedena v něco podobného, pokud vidí nějaké drobné detaily, které jsou pro člověka zcela neviditelné. Protože se algoritmy strojového učení stále častěji objevují na našich silnicích, našich financích, našem zdravotnickém systému, počítačoví vědci doufají, že se dozvědí více o tom, jak je chránit před takovými útoky - než se je někdo skutečně pokusí oklamat.
"Toto je rostoucí problém v oblasti strojového učení a AI komunity, zejména protože tyto algoritmy jsou stále více využívány," říká Daniel Lode, odborný asistent na Katedře počítačové a informační vědy na University of Oregon. „Pokud spam prochází nebo je blokován několika e-maily, nejde o konec světa. Ale pokud se spoléháte na systém vidění v autě s vlastním pohonem, který říká autu, jak řídit, aniž by narazilo na cokoli, sázky jsou mnohem vyšší. “
Ať už se stroj rozpadne nebo se hackne, algoritmy strojového učení, které „vidí“svět, budou trpět. A tak k autu panda vypadá jako gibbon a školní autobus vypadá jako pštros.
V jednom experimentu vědci z Francie a Švýcarska ukázali, jak by takové poruchy mohly způsobit, že počítač zamění veverku za lišku šedou a kávový hrnec za papouška.
Jak je tohle možné? Přemýšlejte o tom, jak se vaše dítě učí rozpoznávat čísla. Při pohledu na symboly jeden po druhém si dítě začíná všímat některých společných charakteristik: některé jsou vyšší a štíhlejší, šestky a devět obsahují jednu velkou smyčku, osm jich obsahuje dvě atd. Jakmile uvidí dostatek příkladů, mohou rychle rozpoznat nová čísla jako čtyři, osm nebo trojice - i když díky písmu nebo rukopisu nevypadají přesně jako jakákoli jiná čtyři, osm nebo trojice, jaké kdy měli. viděl předtím.
Algoritmy strojového učení se učí číst svět podobným procesem. Vědci živí počítač stovkami nebo tisíci (obvykle označenými) příklady toho, co by v počítači chtěli najít. Když stroj posouvá data - to je číslo, to není, to je číslo, to není - začne si všímat funkcí, které vedou k odpovědi. Brzy se může podívat na obrázek a říct: „To je pět!“s vysokou přesností.
Propagační video:
Lidské děti i počítače se tak mohou naučit rozpoznávat velké množství předmětů, od čísel po kočky, od lodí po jednotlivé lidské tváře.
Na rozdíl od lidského dítěte však počítač nevěnuje pozornost detailům na vysoké úrovni - jako jsou chlupaté uši koček nebo výrazný úhlový tvar čtyř. Nevidí celý obrázek.
Místo toho se dívá na jednotlivé pixely v obraze - a nejrychlejší způsob, jak oddělit objekty. Pokud má drtivá většina jednotek černý pixel v určitém bodě a několik bílých pixelů v jiných bodech, stroj se velmi rychle naučí je určit pomocí několika pixelů.
Nyní zpět na stopku. Nepostřehnutelnou korekcí pixelů v obraze - experti nazývají toto rušení „poruchami“- můžete přimět počítač, aby si myslel, že ve skutečnosti neexistuje žádná stopka.
Podobné studie z Evoluční laboratoře umělé inteligence na University of Wyoming a Cornell University vytvořily několik optických iluzí pro umělou inteligenci. Tyto psychedelické obrazy abstraktních vzorů a barev jsou na rozdíl od člověka něco, ale počítač je rychle rozpoznává jako hadi nebo pušky. To naznačuje, jak se umělá inteligence může dívat na něco a nevidět objekt, nebo místo toho vidět něco jiného.
Tato slabina je běžná ve všech typech algoritmů strojového učení. "Dalo by se očekávat, že každý algoritmus bude mít v brnění díru," říká Yevgeny Vorobeychik, docent počítačové vědy a výpočetní techniky na Vanderbiltově univerzitě. "Žijeme ve velmi komplexním vícerozměrném světě a algoritmy svou podstatou ovlivňují pouze jeho malou část."
Sparrow je "velmi jistý", že pokud tyto zranitelnosti existují, někdo přijde na to, jak je zneužít. Pravděpodobně to už někdo udělal.
Zvažte spamové filtry, automatizované programy, které odfiltrují nepříjemné e-maily. Spameri se mohou pokusit tuto bariéru obejít změnou pravopisu slov (namísto Viagra - vi @ gra) nebo přidáním seznamu „dobrých slov“, která se obvykle nacházejí v běžných písmenech: jako „aha“, „mě“, „rád“. Mezitím se mohou spammery pokusit odstranit slova, která se často objevují v spamu, například „mobilní“nebo „výhra“.
Kde se podvodníci mohou dostat do jednoho dne? Samohybné auto oklamané nálepkou stopky je klasický scénář, který vymysleli odborníci v oboru. Další data mohou pomoci pornografii proklouznout přes bezpečné filtry. Ostatní se mohou pokusit zvýšit počet kontrol. Hackeři mohou vylepšit kód škodlivého softwaru, aby se vyhnuli vymáhání práva.
Útočníci mohou zjistit, jak vytvořit chybějící data, pokud získají kopii algoritmu strojového učení, který chtějí oklamat. Nemusí to ale být algoritmus. Jeden může jednoduše zlomit to s hrubou silou tím, že hodí mírně odlišné verze e-mailu nebo obrázků na to, než oni projdou. Postupem času to mohlo být dokonce použito pro zcela nový model, který ví, co hledají dobří kluci a jaká data mají produkovat, aby je oklamali.
„Lidé manipulovali se systémy strojového učení od jejich prvního zavedení,“říká Patrick McDaniel, profesor informatiky a inženýrství na University of Pennsylvania. "Pokud lidé používají tyto metody, možná o tom ani nebudeme vědět."
Tyto metody mohou používat nejen podvodníci - lidé se mohou skrývat před rentgenovými očima moderních technologií.
"Pokud jste nějakým politickým disidentem v represivním režimu a chcete vést události bez znalosti zpravodajských agentur, možná budete muset zabránit automatickým metodám pozorování založeným na strojovém učení," říká Lode.
V jednom projektu zveřejněném v říjnu vytvořili vědci na Carnegie Mellon University pár brýlí, které mohou jemně uvést v omyl systém rozpoznávání obličeje, což způsobí, že počítač zaměňuje herečku Reese Witherspoon za Russell Crowe. Zní to směšně, ale taková technologie by se mohla hodit pro kohokoli, kdo se zoufale snaží vyhnout cenzuře u moci.
Co s tím vším? "Jediným způsobem, jak tomu úplně zabránit, je vytvořit perfektní model, který bude vždy správný," říká Lode. I kdybychom dokázali vytvořit umělou inteligenci, která ve všech ohledech předčí člověka, svět může stále vrhnout prasátko na neočekávané místo.
Algoritmy strojového učení jsou obvykle posuzovány na základě jejich přesnosti. Program, který rozpoznává židle 99% času, bude jednoznačně lepší než program, který rozpoznává 6 židlí z 10. Ale někteří odborníci navrhují jiný způsob, jak posoudit schopnost algoritmu vyrovnat se s útokem: čím těžší, tím lépe.
Dalším řešením by mohlo být to, že odborníci budou moci nastavit tempo programů. Vytvořte si vlastní příklady útoků v laboratoři na základě schopností zločinců podle vašeho názoru a poté je ukažte algoritmu strojového učení. To mu může v průběhu času pomoci odolávat - samozřejmě za předpokladu, že testovací útoky jsou typu, který bude testován v reálném světě.
„Systémy strojového učení jsou nástrojem k přemýšlení. Musíme být inteligentní a racionální ohledně toho, co jim dáváme a co nám říkají, “řekl McDaniel. "Neměli bychom s nimi zacházet jako s dokonalými věštci pravdy."
ILYA KHEL
