Jakmile Dr. Blake Richards slyšel o hlubokém učení, uvědomil si, že čelí více než jen metodě, která by revolucionizovala umělou inteligenci. Uvědomil si, že se dívá na něco zásadního z lidského mozku. Bylo to na začátku roku 2000 a Richards vyučoval kurz na University of Toronto s Jeffem Hintonem. Hintonovi, který stál za vytvořením algoritmu, který dobyl svět, byl nabídnut úvodní kurz jeho vyučovací metody inspirovaný lidským mozkem.
Klíčová slova jsou „inspirovaná mozkem“. Přes Richardsovo přesvědčení vsadila proti němu sázka. Lidský mozek, jak se ukázalo, nemá důležitou funkci, která je naprogramována v algoritmech hlubokého učení. Na povrchu tyto algoritmy porušily základní biologická fakta, která již neurovědci prokázali.
Ale co když hluboké učení a mozek jsou skutečně kompatibilní?
A tak v nové studii zveřejněné v eLife Richards ve spolupráci s DeepMindem navrhl nový algoritmus založený na biologické struktuře neuronů v neokortexu. Kůra, mozková kůra, je domovem vyšších kognitivních funkcí, jako je uvažování, předpovídání a flexibilní myšlení.
Tým spojil své umělé neurony do vrstvené sítě a vyzval je k úkolu klasického počítačového vidění - k identifikaci ručně psaných čísel.
Nový algoritmus odvedl vynikající práci. Ale další věc je důležitá: analyzoval příklady učení stejným způsobem jako algoritmy hlubokého učení, ale byl postaven výhradně na základní biologii mozku.
"Hluboké učení je možné v biologické struktuře," dospěli vědci k závěru.
Protože je tento model v současné době počítačovou verzí, Richards doufá, že obušek předá experimentálním neurovědcům, kteří by mohli otestovat, zda takový algoritmus funguje ve skutečném mozku.
Propagační video:
Pokud ano, mohou být data předána počítačovým vědcům, aby vyvinuli masivně paralelní a efektivní algoritmy, na kterých budou naše stroje běžet. Toto je první krok k sloučení těchto dvou oblastí do „ctnostného tance“objevování a inovací.
Hledání obětního beránka
I když jste pravděpodobně slyšeli, že AI nedávno porazila to nejlepší z nejlepších v Go, stěží víte přesně, jak algoritmy za tímto AI fungují.
Stručně řečeno, hluboké učení je založeno na umělé neuronové síti s virtuálními „neurony“. Stejně jako vysoký mrakodrap je síť strukturována v hierarchii: vstup neuronů na nízké úrovni - například horizontální nebo vertikální pruhy, které tvoří číslo 4 - a neurony na vysoké úrovni zpracovávají abstraktní aspekty čísla 4.
Chcete-li školit síť, dejte jí příklady toho, co hledáte. Signál se šíří sítí (stoupá po schodech budovy) a každý neuron se snaží v práci „čtyř“vidět něco zásadního.
Protože se děti učí nové věci, síť se nejprve nedaří. Vydává všechno, co podle jejího názoru vypadá jako číslo čtyři - a vy dostanete obrázky v duchu Picasso.
Ale to je přesně to, jak učení pokračuje: algoritmus přizpůsobí výstup ideálnímu vstupu a vypočítá rozdíl mezi těmito dvěma (čtení: chyby). Chyby "šíří zpět" v síti, školení každého neuronu, říkají, to není to, co hledáte, vypadat lépe.
Po milionech příkladů a opakování začne web bezchybně fungovat.
Chybový signál je pro učení nesmírně důležitý. Bez účinné „chybové zpětné propagace“síť nebude vědět, které z jejích neuronů jsou špatné. Při hledání obětního beránka se umělá inteligence zlepšuje.
Mozek to také dělá. Ale jak? Nemáme tušení.
Biologická slepá ulička
Je zřejmé, že řešení pro hluboké učení nefunguje.
Zpětná propagace chyby je velmi důležitá funkce. Vyžaduje určitou infrastrukturu, aby fungovala správně.
Za prvé, každý neuron v síti musí obdržet oznámení o chybě. Ale v mozku jsou neurony spojeny pouze s několika (pokud vůbec) partnery po proudu. Aby backpropagace fungovala v mozku, musí neurony na prvních úrovních vnímat informace z miliard připojení v downstream kanálech - a to je biologicky nemožné.
A zatímco některé algoritmy pro hluboké učení přizpůsobují místní formu zpětného propouštění chyb - v podstatě mezi neurony - vyžaduje to, aby jejich spoje tam a zpět byly symetrické. V mozkových synapsích se to téměř nikdy nestane.
Modernější algoritmy přizpůsobují mírně odlišnou strategii implementací samostatné cesty zpětné vazby, která pomáhá neuronům lokalizovat chyby. I když je to biologicky proveditelnější, mozek nemá samostatnou výpočetní síť, která by se věnovala hledání obětních beránků.
Má však neurony se složitými strukturami, na rozdíl od homogenních „kuliček“, které se v současnosti používají v hlubokém učení.
Větvení sítí
Vědci se inspirují pyramidovými buňkami, které zaplňují lidskou kůru.
"Většina z těchto neuronů je ve tvaru stromů, jejich kořeny jsou hluboko v mozku a" větve "vystupují na povrch," říká Richards. "Je pozoruhodné, že kořeny získají jednu sadu vstupů a větve se liší."
Je to zvědavé, ale struktura neuronů se často ukáže jako „přesně tak, jak je to potřeba“pro efektivní řešení výpočetního problému. Vezměte si například smyslové zpracování: dna pyramidálních neuronů jsou tam, kde by měly být přijímány smyslové vstupy, a vrcholy jsou vhodně umístěny, aby přenášely chyby prostřednictvím zpětné vazby.
Mohla by tato složitá struktura být evolučním řešením pro řešení špatného signálu?
Vědci vytvořili vícevrstvou neuronovou síť založenou na předchozích algoritmech. Ale místo homogenních neuronů dali neurony ve středních vrstvách - sendviče mezi vstupem a výstupem - podobné skutečným. Algoritmus se učil z ručně psaných čísel a fungoval mnohem lépe než jednovrstvá síť, navzdory absenci klasického zpětného šíření chyby. Samotné buněčné struktury mohly chybu identifikovat. Poté ve správný okamžik neuron spojil oba zdroje informací, aby nalezl nejlepší řešení.
Existuje biologický základ: neurovědci již dlouho věděli, že vstupní větve neuronu provádějí lokální výpočty, které lze integrovat se signály zpětného propouštění z výstupních větví. Ale nevíme, jestli mozek opravdu funguje tímto způsobem - tak Richards pověřil neurovědce, aby to zjistili.
Tato síť navíc řeší problém podobným způsobem jako tradiční metoda hlubokého učení: používá vrstevnatou strukturu k extrahování progresivně abstraktnějších myšlenek o každém čísle.
"To je vlastnost hlubokého učení," vysvětlují autoři.
Hluboce se učící mozek
V tomto příběhu bude bezpochyby více zvratů a obratů, protože počítačoví vědci přinášejí do algoritmů AI více biologických detailů. Richards a jeho tým se dívají na prediktivní funkci shora dolů, kde signály z vyšších úrovní přímo ovlivňují, jak nižší úrovně reagují na vstup.
Zpětná vazba z vyšších vrstev nejen zlepšuje signalizaci chyb; může také povzbudit neurony s nižším zpracováním, aby se v reálném čase chovaly „lépe“, říká Richards. Síť dosud nepřekonala jiné nebiologické sítě pro hluboké učení. Ale to nevadí.
„Hluboké učení mělo obrovský dopad na AI, ale jeho dopad na neurovědu byl dosud omezený,“tvrdí autoři studie. Nyní budou mít neurovědci výmluvu, aby provedli experimentální test a zjistili, zda struktura neuronů je základem přirozeného algoritmu hlubokého učení. Snad v příštích deseti letech začne oboustranně výhodná výměna dat mezi neurovědci a vědci v oblasti umělé inteligence.
Ilya Khel