Divize umělé inteligence společnosti Google oznámila vytvoření nové metody pro trénink neuronových sítí kombinující použití pokročilých algoritmů a starých videoher. Jako výukové prostředí se používají staré videohry Atari.
Vývojáři DeepMind (vzpomeňte, že tito lidé vytvořili neurální síť AlphaGo, která opakovaně porazila nejlepší hráče v logické hře go) věří, že stroje se mohou učit stejným způsobem jako lidé. Pomocí výcvikového systému DMLab-30, založeného na střeleckých hrách Quake III a arkádových hrách Atari (používá se 57 různých her), vyvinuli inženýři nový algoritmus strojového učení IMPALA (Importance Weighted Actor-Learner Architectures). Umožňuje jednotlivým částem naučit se provádět několik úkolů najednou a poté si mezi sebou vyměňovat znalosti.
V mnoha ohledech byl nový systém založen na dřívějším architektonickém systému asynchronních herců a kritických agentů (A3C), ve kterém jednotliví agenti prozkoumávají prostředí, pak je proces pozastaven a vyměňují si znalosti s ústřední složkou „student“. Pokud jde o IMPALA, může mít více agentů a samotný proces učení probíhá poněkud odlišným způsobem. V tom agenti zasílají informace dvěma „studentům“najednou, kteří si pak navzájem také vyměňují data. Kromě toho, pokud v A3C je výpočet gradientu ztrátové funkce (jinými slovy, nesoulad mezi předpovězenými a získanými hodnotami parametrů) prováděny samotnými agenty, kteří zasílají informace do centrálního jádra, pak v systému IMPALA, je tento úkol prováděn „studenty“.
Příklad osoby hrající hru:
Zde je návod, jak systém IMPALA zpracovává stejný úkol:
Jednou z hlavních výzev při vývoji umělé inteligence je čas a potřeba vysokého výpočetního výkonu. I když jsou autonomní, stroje potřebují pravidla, která mohou dodržovat ve svých vlastních experimentech a hledání způsobů řešení problémů. Protože nemůžeme jen stavět roboty a nechat je učit se, vývojáři používají simulace a techniky hloubkového učení.
Aby se moderní neuronové sítě něco naučily, musí zpracovat obrovské množství informací, v tomto případě miliardy rámců. A čím rychleji to dělají, tím méně času je třeba se učit.
Propagační video:
S dostatkem procesorů DeepMind říká, že IMPALA dosahuje 250 000 snímků za sekundu nebo 21 miliard snímků za den. Toto je absolutní záznam pro úkoly tohoto druhu, podle The Next Web. Vývojáři sami komentují, že jejich AI systém zvládne tento úkol lépe než podobné stroje a lidé.
V budoucnu mohou být podobné algoritmy AI použity v robotice. Optimalizací systémů strojového učení se roboti přizpůsobí svému prostředí rychleji a efektivněji pracují.
Nikolay Khizhnyak