Před několika dny zveřejnil portál předtisku bioRxiv.org práci ruských vědců z Moskevského institutu fyziky a technologie a společností Neurobotics and Neuroassistive Technologies, kteří se zabývají vytvářením rozhraní neurokomputerů. Článek tvrdí, že vědcům a vývojářům se podařilo naučit algoritmus v reálném čase k rekonstrukci videa sledovaného osobou pomocí signálů EEG. Zní to opravdu cool a zajímavě - téměř jako čtení mysli. Ve skutečnosti vše samozřejmě není tak jednoduché: počítače se nenaučily číst myšlenky. Stručně řečeno, počítač se ze záznamu EEG naučil určit, který obraz z pěti různých dříve známých tříd, které subjekt viděl. O tom, jak byl experiment vytvořen, jaké úkoly vědci stanovili a proč je nepravděpodobné, že čtení mysli bude v blízké budoucnosti realizováno, říkáme na našem blogu.
Obecně řečeno, myšlenka čtení elektrického signálu mozku a jeho dešifrování, aby bylo vidět, co člověk v daném okamžiku myslí nebo dělá, vzhledem k tempu současného technologického pokroku, se nezdá tak obtížná. Zde je signál a zde je to, co tento signál znamená: přidejte dvě a dvě, zaškolte klasifikátor a získejte výsledek, který potřebujeme.
Výsledkem je to, co by futuristé a nevědomí lidé nazvali „čtením mysli“. A zdá se, že taková technologie by se mohla ocitnout v různých aplikacích: od dokonalých rozhraní neurokomputerů, která vám umožňují ovládat inteligentní protézy, až po vytvoření systému, který vám konečně řekne, co si tam vaše kočka myslí.
Ve skutečnosti samozřejmě není všechno tak jednoduché a myšlenka vytvoření takového algoritmu se téměř okamžitě rozpadne na hlavní překážku: musíme se vypořádat s mozkem. Mozek je velmi složitá věc: má více než 80 miliard neuronů a jejich propojení je několik tisíckrát více.
I pro laiky je to jasné: to je příliš na to, abychom pochopili, za co je zodpovědná každá buňka a jejich agregát. Vědci dosud nerozluštili lidský konektom - i když se to snaží s relativním úspěchem.
Vyvstává logická otázka: je vůbec nutné porozumět funkcím každého neuronu, aby bylo možné přesně představit, co se děje v mozku? Existuje například opravdu málo funkčních map?
Odpověď na tuto otázku by ve skutečnosti měla být „ano“, ale ani zde to není tak jednoduché. Pokud by se lidstvo spoléhalo na dekódování konektomu jako jediného klíče k odemčení tajemství mozku, dnes bychom byli velmi blízko. Víme však něco o tom, jak náš mozek funguje, a samozřejmě ho můžeme úspěšně použít.
Propagační video:
Jedním z nejjasnějších a nejzřetelnějších příkladů využití znalostí, které vědci shromažďují o práci mozku, jsou samozřejmě neurointerfaces. Obecně lze říci, že dnes existují skutečně technologie, které umožňují čtení mozkové aktivity a její použití k ovládání například kurzoru počítačové myši nebo dokonce pohybu protéz.
Existují dva způsoby, jak dosáhnout efektivní činnosti neurálního rozhraní. První metodou jsou evokované potenciály: podíváme se na křivku elektrické aktivity určitých částí mozku a vybereme na ní ty změny signálu, které, jak víme jistě, se objevují v určitém okamžiku po podání stimulu.
Druhým způsobem není vůbec se spoléhat na stimulaci, ale využít představivost člověka k vygenerování elektrického signálu, který lze přečíst. Například může být osoba požádána, aby si představila, jak pohybuje nohou nebo paží.
Obě metody mají značné nevýhody. Prvnímu brání skutečnost, že počet spolehlivě evokovaných potenciálů, o nichž víme, není tak velký: jejich počet nemůže přesně pokrýt všechny možné činnosti prováděné osobou. Nevýhodou druhého je, že k dosažení alespoň nějakého účinku je nutný dlouhý výcvik.
Autoři předtisků se rozhodli kombinovat oba přístupy k vytvoření rozhraní neurokomputerů a správně věřili, že by to zachránilo obě metody před významnými omezeními a umožnilo vyvinout novou a nejúčinnější metodu pro práci s neurointerfaces dnes.
Rovněž se předpokládalo, že tato metoda bude uzavřena (uzavřená smyčka), to znamená, že výsledek získaný s její pomocí bude mít zase vliv na fungování algoritmu. Ale o tom později.
Na začátku algoritmus rozdělí všechny obrázky do samostatných komponentních značek, distribuovaných ve vektorovém prostoru, s pomocí kterých pak mohou korelovat s určitými mozkovými signály zaznamenanými pomocí EEG.
V této počáteční fázi se používá binární klasifikátor - zhruba řečeno, velmi „dva a dva“: s dostatečně čistým signálem (záznam EEG byl očištěn od motorických artefaktů), můžete si vybrat jeden nebo druhý s přesností vyšší než náhodný zásah.
V jejich experimentech vědci použili videa s objekty pěti tříd: obrazy lidí, vodopády, abstraktní geometrické tvary, extrémní sporty a auta Goldberg. Na jedné straně se taková množina zdá divná, na druhé straně se zdá, že všechny tyto objekty se od sebe velmi liší. Opravdu existuje něco společného mezi lidskými tvářemi a abstraktními geometrickými tvary?
Mezitím, podle binárního klasifikátoru, abstraktní postavy a lidské tváře jsou od sebe nerozeznatelné: výsledky devíti ze 17 účastníků studie ukazují, že neurální rozhraní mezi nimi zjevně nedokázalo rozlišit. Ale Goldbergovy stroje a stejné tváře se z pohledu mozku naopak navzájem dobře liší.
Výsledky klasifikace. A - abstraktní tvary, W - vodopády, HF - lidské tváře, GM - Goldberg auta, extrémní sporty.
Na první pohled není jasné, proč se to děje: spíše nelze stejné stroje a geometrické tvary od sebe odlišit. Když se podíváte na příklad snímků z použitých videí, stane se vše jasnější.
Ukázkové obrázky z pěti tříd.
S největší pravděpodobností (samozřejmě zde můžeme předpokládat pouze), úspěch klasifikátoru závisí na tom, do jaké míry se obrázky použité ve dvou třídách od sebe liší v některých povrchních základních funkcích - především v barvě. To také dobře koreluje se skutečností, že rozměr latentního prostoru v autoencoderu je 10.
Obecně, za účelem klasifikace obrázků pěti tříd, stačí pět, ale v tomto případě to bude provedeno s maximem barevného histogramu - což znamená, že se rozměr 10 příliš nezlepší a výsledek zpřesní.
Není příliš jasné, proč autoři nepoužili lineární klasifikátor pro pět tříd najednou namísto deseti binárních klasifikátorů: s největší pravděpodobností by to bylo lepší.
Pak přichází fáze rekonstrukce výsledného obrazu. Skutečnost, že vyjde rozmazaná, je pochopitelná - bod je ve stejné dimenzi latentního prostoru. Ale zde jsou dvě věci matoucí.
První je, že původní a rekonstruované obrazy jsou si velmi podobné. Tady, samozřejmě, nechci nikoho naštvat (včetně nás - jsme stále v pokroku), ale není to kvůli skutečnosti, že signál je tak dobře zaznamenáván a dekódován (a dokonce v reálném čase!), Ale vzhledem k tomu, že algoritmus obnovuje přesně obrázky, které již měl.
Navíc to nefunguje vždy tak dobře, jak bychom chtěli: pokud se například podíváte na video o fungování systému, všimnete si, že ve videu s plačícím mužem z nějakého důvodu vidí nervové rozhraní žena. Je to proto, že algoritmus nereflektuje obrázky, ale objekty určité třídy: i když to dělá dostatečně účinně, nic nebrání algoritmu v tom, aby viděl loď v obraze motocyklu - jednoduše proto, že patří do stejné třídy.
To, co se během rekonstrukce zobrazuje na obrazovce, je proto často jen průměrný obraz všech použitých objektů třídy.
Pokud jde o smysluplnost používání uzavřeného systému, pak s tím není vše jasné: při plnění úkolu člověk vidí jak záznam EEG signálů, tak obraz, který se postupně vynořuje z jeho hlavy. Zda to vlastně pomůže, je těžké říci - autoři nesrovnali výkon rozhraní s a bez posílení. Ale na první pohled se zdá, že to tak není. Pokud to pomůže, opravdu chci vědět, jak na to.
Obecně lze konstatovat, že počítače se nenaučily číst myšlenky. A ani se nenaučili, jak video znovu vytvořit. Na základě práce vědců se naučili pouze klasifikovat předměty, které viděli, do pěti tříd na základě některých základních kritérií. Dokázaly to počítače dříve? Samozřejmě mohli. Je tady mozek? Samozřejmě existuje: ale je to mozek, který vidí, nikoli mozek, který chápe, co přesně viděl.
Elizaveta Ivtushok