Největší ponaučení ze 70 let výzkumu umělé inteligence je, že obecné metody využívající výpočet jsou v konečném důsledku nejúčinnější - a s velkým rozpětím. Konečným důvodem je Mooreův zákon. Nebo spíše jeho zobecnění: pokračující exponenciální snižování nákladů na výpočetní procesory. Tuto „hořkou lekci“sdílel Richard Sutton, kanadský počítačový vědec. Dále - od první osoby.
Proč byl výzkum umělé inteligence zastaven 70 let?
Většina výzkumů umělé inteligence byla prováděna, jako by výpočty dostupné agentovi byly trvalé (av tomto případě by použití lidských znalostí bylo jedním z jediných způsobů, jak zlepšit výkon). Ale postupem času - mnohem více, než vyžaduje typický výzkumný projekt - je nevyhnutelně k dispozici mnohem více výpočtů. Při hledání vylepšení, která mohou krátkodobě pomoci, se vědci snaží maximalizovat lidské znalosti v této oblasti, ale jediné, na čem záleží, je rostoucí využívání výpočetní techniky. Tyto dva aspekty by neměly být proti sobě, ale v praxi tomu tak je. Čas strávený na jednom z nich se nerovná času strávenému na druhém. Existují psychologické povinnosti investovat do jednoho nebo druhého přístupu. A přístup k lidským znalostem má sklon komplikovat metody takovým způsobem, že se stanou méně vhodnými pro využití výhod obecných metod, které používají výpočet.
Existuje mnoho příkladů výzkumníků umělé inteligence opožděně chápajících tuto hořkou lekci. Bude poučné zvážit některé z nejvýznamnějších příkladů.
V počítačovém šachu byly metody, které v roce 1997 porazily mistra světa Kasparova, založeny na rozsáhlém a hlubokém hledání. V té době je s hrůzou viděl většina počítačových šachových vědců, kteří používali metody založené na lidském chápání konkrétní struktury šachů. Když se ukázalo, že jednodušší přístup založený na vyhledávání se specializovaným hardwarem a softwarem byl mnohem efektivnější, vědci, kteří staví na lidském chápání šachů, nepřiznali porážku. Řekli: „Tentokrát by síla brute-force možná zvítězila, ale nestane se to celkovou strategií a lidé tak určitě nehrají šachy. Tito vědci chtěli vyhrát metody založené na lidech a byli velmi zklamaní, když ne.
Propagační video:
Podobný obraz pokroku výzkumu byl zaznamenán u počítačů, pouze se zpožděním dalších 20 let. Zpočátku bylo vynaloženo velké úsilí, aby se zabránilo hledání pomocí lidských znalostí nebo hraní, ale všechna tato úsilí byla zbytečná nebo dokonce horší, jakmile bylo hledání použito efektivně a ve velkém měřítku. Bylo také důležité používat učení v procesu nezávislé hry, abychom se naučili hodnotové funkci (jak tomu bylo v mnoha jiných hrách a dokonce i v šachu, pouze učení nehrálo velkou roli v programu z roku 1997, který poprvé porazil mistra světa). Naučit se hrát se sebou samým, učit se jako celek, je jako hledání, které vám umožní použít obrovské pole výpočtů. Hledání a učení jsou dvě nejdůležitější třídy technik, které zahrnují obrovské množství výpočtů ve výzkumu AI. V počítači jděteStejně jako v počítačovém šachu bylo počáteční úsilí výzkumníků zaměřeno na používání lidského porozumění (aby bylo méně hledání) a mnohem většího úspěchu bylo dosaženo až mnohem později pomocí vyhledávání a učení.
V oblasti rozpoznávání řeči se v 70. letech konala soutěž sponzorovaná DARPA. Účastníci představili různé metody, které využívaly lidské znalosti - znalost slov nebo fonémů, lidského hlasového traktu atd. Na druhé straně barikád byly novější metody, statistické povahy a provádějící další výpočet, založené na skrytých Markovových modelech (HMM). Statistické metody opět získaly nad metodami založenými na znalostech. To vedlo k zásadním změnám ve všech procesech přirozeného jazyka, které byly postupně zaváděny v průběhu několika desetiletí, až nakonec začaly dominovat statistiky a výpočet. Nedávný nárůst hlubokého učení v rozpoznávání řeči je posledním krokem tímto důsledným směrem. Hluboké učení se ještě méně spoléhá na lidské znalosti a používá ještě více výpočtů, spolu s výcvikem na obrovských sadách vzorků a vytváří úžasné systémy rozpoznávání řeči.
Richard Sutton, kanadský počítačový vědec.
Stejně jako ve hrách se vědci vždy snažili vytvořit systémy, které budou fungovat tak, jak si představují ve svých hlavách - pokusili se tyto znalosti vložit do svých systémů - ale všechno vyšlo velmi neproduktivně, vědci jen ztráceli čas - v důsledku Mooreova zákona - K dispozici bylo stále více a více masivních výpočtů a byly nalezeny vynikající aplikace.
Podobný obrázek byl v oblasti počítačového vidění. První metody byly vnímány jako hledání určitých obrysů, zobecněných válců nebo pomocí schopností SIFT (měřítko-invariantní transformace prvků). Ale dnes to všechno bylo hodeno do pece. Moderní neuronové sítě s hlubokým učením používají pouze koncept konvoluce a určitých invariantů a fungují mnohem lépe.
To je skvělá lekce.
Kamkoli se podíváme, všude děláme stejné chyby. Abyste to mohli vidět a efektivně se s tím vypořádat, musíte pochopit, proč jsou tyto chyby tak atraktivní. Musíme se naučit hořkou lekci, která buduje, jak si myslíme z toho, jak si myslíme, že z dlouhodobého hlediska nebude fungovat. Hořká lekce založená na historickém pozorování ukazuje, že: 1) Vědci o umělé inteligenci se často snažili zabudovat znalosti do svých agentů; 2) vždy to krátkodobě pomohlo a přineslo vědcům spokojenost; 3) ale z dlouhodobého hlediska se vše zastavilo a bránilo dalšímu pokroku; 4) rušivý pokrok nevyhnutelně přišel s opačným přístupem, založeným na výpočtu měřítka pomocí vyhledávání a učení. Úspěch měl hořkou chuť a často nebyl zcela absorbován.protože je to úspěch výpočetní techniky, nikoli úspěch přístupů zaměřených na člověka.
Jedna věc, kterou se z této hořké lekce poučit, je obrovská síla metod pro všeobecné účely, metody, které se stále rozšiřují s růstem výpočtu, i když je výpočet k dispozici velmi velký. Vyhledávat a učit se jsou dvě metody, které se zdají být libovolně měněny tímto způsobem.
Druhou věcí, kterou si z této hořké lekce můžeme vzít, je to, že skutečný obsah mysli je extrémně a zbytečně složitý; měli bychom přestat hledat jednoduché způsoby, jak pochopit obsah mysli, podobné jednoduchým způsobům, jak pochopit prostor, objekty, více agentů nebo symetrie. Všechny jsou součástí libovolně složitého vnějšího světa. Neměli bychom se o ně pokoušet stavět, protože jejich složitost je nekonečná; měli bychom stavět na meta-metodách, které dokážou najít a zachytit tuto libovolnou složitost. Tyto metody mohou najít dobré aproximace, ale jejich hledání by mělo být provedeno našimi metodami, ne námi. Potřebujeme agenty umělé inteligence, kteří mohou objevovat stejným způsobem, jaký můžeme, a neobsahují to, co jsme objevili. Stavět na našich objevech komplikuje proces objevování a vyhledávání.
Ilya Khel