Za posledních 10 let jsme díky tzv. Metodě hlubokého učení dostali nejlepší systémy umělé inteligence - například rozpoznávače řeči na chytrých telefonech nebo nejnovější automatický překladač od společnosti Google. Hluboké učení se ve skutečnosti stalo novým trendem v již známých neuronových sítích, které byly v módě a vycházejí více než 70 let. Neuronové sítě byly poprvé navrženy Warrenem McCulloughem a Walterem Pittsem v roce 1994, dvěma vědci na University of Chicago. V roce 1952 odešli do technologického institutu v Massachusetts, aby položili základy prvnímu kognitivnímu oddělení.
Neuronové sítě byly jednou z hlavních linií výzkumu v oblasti neurovědy i informatiky až do roku 1969, kdy podle legendy byly zabity matematiky MIT Marvinem Minským a Seymourem Papertem, který se o rok později stal spoluzakladatelem nové laboratoře umělé inteligence MIT.
Tato metoda zažila oživení v 80. letech 20. století, mírně vybledla ve stínu v první dekádě nového století a ve druhém se vrátila s fanfárou na hřebeni neuvěřitelného vývoje grafických čipů a jejich zpracovatelské síly.
„Existuje dojem, že vědecké nápady jsou jako epidemie virů,“říká Tomaso Poggio, profesor poznání a mozkových věd na MIT. "Pravděpodobně existuje pět nebo šest hlavních kmenů chřipkových virů a jeden z nich se vrací závratným tempem 25 let." Lidé se nakazí, získají imunitu a během následujících 25 let neochorí. Poté se objeví nová generace připravená k infikování stejným kmenem viru. Ve vědě se lidé zamilují do myšlenky, nutí každého k šílenství, pak ho zbijí k smrti a získají imunitu vůči němu - unaví se z toho. Nápady by měly mít podobnou frekvenci. “
Vážné otázky
Neuronové sítě jsou metodou strojového učení, kdy se počítač učí provádět určité úkoly analýzou příkladů školení. Obvykle jsou tyto příklady ručně označeny předem. Například systém rozpoznávání objektů může nasáknout tisíce značených obrazů automobilů, domů, šálků kávy atd., A pak být schopen najít vizuální vzory v obrazech, které konzistentně korelují s určitými značkami.
Neuronová síť je často porovnávána s lidským mozkem, který také má takové sítě, sestávající z tisíců nebo milionů jednoduchých uzlů zpracování, které jsou úzce propojeny. Většina moderních neuronových sítí je uspořádána do vrstev uzlů a data jimi prochází pouze jedním směrem. Jednotlivý uzel může být spojen s několika uzly ve vrstvě pod ním, ze které přijímá data, a několika uzly ve vrstvě nad, do které přenáší data.
Propagační video:
Uzel přiřadí každému z těchto příchozích odkazů číslo - „váha“. Když je síť aktivní, uzel přijímá různé sady dat - různá čísla - pro každé z těchto spojení a vynásobí se příslušnou hmotností. Poté sčítá výsledky do jediného čísla. Pokud je toto číslo pod prahem, uzel nepřenáší data do další vrstvy. Pokud číslo přesáhne práh, uzel se „probudí“odesláním čísla - součtu vážených vstupních dat - do všech odchozích připojení.
Když je nervová síť trénována, jsou všechny její hmotnosti a prahy zpočátku nastaveny v náhodném pořadí. Výcviková data jsou vkládána do spodní vrstvy - vstupní vrstvy - a prochází následujícími vrstvami, komplexně se násobí a sčítá, až nakonec dorazí, již transformována, do výstupní vrstvy. Během tréninku se hmotnosti a prahy průběžně upravují, dokud údaje o tréninku se stejnými štítky nevyvolají podobné závěry.
Mysl a stroje
Neuronové sítě popsané McCulloughem a Pittsem v roce 1944 měly jak prahové hodnoty, tak váhy, ale nebyly uspořádány do vrstev a vědci nespecifikovali žádný specifický mechanismus učení. McCullough a Pitts však ukázali, že neuronová síť by v zásadě mohla spočítat jakoukoli funkci, jako jakýkoli digitální počítač. Výsledek byl více z oblasti neurověd než počítačové vědy: bylo třeba předpokládat, že lidský mozek lze považovat za výpočetní zařízení.
Neuronové sítě jsou i nadále cenným nástrojem pro neurobiologický výzkum. Například jednotlivé vrstvy sítě nebo pravidla pro úpravu vah a prahů reprodukovaly pozorované rysy lidské neuroanatomie a kognitivních funkcí, a proto ovlivnily, jak mozek zpracovává informace.
První trénovatelnou neuronovou síť, Perceptron (nebo Perceptron), demonstroval v roce 1957 psycholog Cornell University Frank Rosenblatt. Perceptronův design byl podobný moderní neuronové síti, až na to, že měla jedinou vrstvu s nastavitelnými váhami a prahy vloženými mezi vstupní a výstupní vrstvu.
„Perceptrony“byly aktivně zkoumány v psychologii a informatice až do roku 1959, kdy Minsky a Papert publikovali knihu nazvanou „Perceptrony“, která ukázala, že provádění docela běžných výpočtů na perceptronech je z časového hlediska nepraktické.
„Samozřejmě všechna omezení zmizí, pokud učiníte stroje trochu složitějšími,“například ve dvou vrstvách,”říká Poggio. Ale v té době měla kniha chladivý vliv na výzkum neuronových sítí.
"Tyto věci stojí za zvážení v historickém kontextu," říká Poggio. "Důkaz byl vytvořen pro programování v jazycích, jako je Lisp." Nedlouho předtím lidé tiše používali analogové počítače. V té době nebylo úplně jasné, k čemu by programování vedlo. Myslím, že to trochu přehnali, ale jako vždy nemůžete všechno rozdělit na černé a bílé. Pokud to považujete za konkurenci mezi analogovým a digitálním výpočtem, pak bojovali o to, co bylo potřeba. ““
Periodicita
V 80. letech 20. století však vědci vyvinuli algoritmy pro úpravu hmotností a prahů neurální sítě, které byly dostatečně účinné pro sítě s více než jednou vrstvou, čímž odstranily mnoho omezení identifikovaných Minským a Papertem. Tato oblast zažila renesanci.
Z rozumného hlediska však v nervových sítích něco chybělo. Dost dlouhá tréninková relace by mohla vést k revizi nastavení sítě, dokud nezačne užitečným způsobem klasifikovat data, ale co tato nastavení znamenají? Na jaké vlastnosti obrazu se rozpoznávač objektů dívá a jak je spojuje, aby vytvořily vizuální podpisy automobilů, domů a šálků kávy? Studie hmotností jednotlivých sloučenin na tuto otázku neodpoví.
V posledních letech začali počítačoví vědci přicházet s důmyslnými metodami určujícími analytické strategie přijaté neuronovými sítěmi. Ale v 80. letech byly strategie těchto sítí nepochopitelné. Proto na přelomu století byly neuronové sítě nahrazeny vektorovými stroji, což je alternativní přístup ke strojovému učení založený na čisté a elegantní matematice.
Nedávný nárůst zájmu o neuronové sítě - hluboká revoluce v učení - je dlužen hernímu průmyslu. Složitá grafika a rychlé tempo moderních videoher vyžaduje hardware, který dokáže držet krok s trendem, což vede k GPU (jednotka zpracování grafiky) s tisíci relativně jednoduchých jader zpracování na jediném čipu. Vědci si brzy uvědomili, že architektura GPU je ideální pro neuronové sítě.
Moderní GPU umožnily vybudovat sítě šedesátých a dvou a třívrstvých sítí osmdesátých let na kytice dnešních 10, 15 a dokonce i 50 vrstev. Za toto je slovo „hluboké“zodpovědné v „hlubokém učení“. Do hloubky sítě. Hluboké učení je v současné době odpovědné za nejúčinnější systémy téměř ve všech oblastech výzkumu umělé inteligence.
Pod kapotou
Neprůhlednost sítě se stále obává teoretiků, ale v této frontě je pokrok. Poggio vede výzkumný program teoretických základů inteligence. Poggio a jeho kolegové nedávno vydali teoretickou studii neuronových sítí ve třech částech.
První část, která byla zveřejněna minulý měsíc v Mezinárodním věstníku automatizace a výpočetní techniky, se zabývá řadou výpočtů, které mohou hluboké vzdělávací sítě udělat, a když hluboké sítě využívají mělké sítě. Části dvě a tři, které byly vydány jako přednášky, se zabývají výzvami globální optimalizace, tj. Zajišťováním toho, aby síť našla nastavení, která nejlépe vyhovují jejím školicím datům, a také případům, kdy síť tak dobře rozumí specifikům svých tréninkových dat. které nemohou zobecnit jiné projevy stejných kategorií.
Před námi je stále mnoho teoretických otázek, na které bude třeba odpovědět. Ale existuje naděje, že neuronové sítě budou konečně schopny přerušit cyklus generací, které je ponoří do tepla a někdy zima.
ILYA KHEL