Vědci z Columbia University (USA) vytvořili pomocí technologie ke skenování mozkové činnosti, umělé inteligence a syntetizátoru řeči zařízení schopné převést lidské myšlenky do artikulované řeči. Výsledky výzkumu zveřejněné ve vědeckých zprávách představují důležitý krok ke zlepšení rozhraní mozek-počítač. V budoucnu mohou taková zařízení používat lidé, kteří ztratili schopnost mluvit v důsledku zranění nebo nemoci.
Při vývoji zařízení, které kombinuje schopnosti syntetizátoru řeči a umělé inteligence, se autor studie, neurovědec Nima Mesgarani a jeho kolegové obrátili na nejnovější pokroky v technologiích hlubokého strojového učení a syntézy řeči. Výsledkem jejich práce je vokodér založený na umělé inteligenci schopný zcela přesně interpretovat mozkovou aktivitu přímo ze sluchové kůry a poté ji převést do srozumitelné řeči. Autoři práce poznamenávají, že řeč v tomto případě se ukáže být velmi počítačová, ale lidé ve většině případů rozpoznávají slova.
Podle tvůrců je nové zařízení používané k reprodukci výsledné řeči založeno na stejné technologii používané v digitálních asistentech, jako jsou Alexa, Siri a Google Assistant.
Nejprve odborníci vyškolili vokodér, aby správně interpretoval aktivitu lidského mozku. Za tímto účelem vědci pozvali pět dobrovolníků, kteří podstoupili léčbu epilepsie, aby se zúčastnili experimentu. Všech pět z nich mělo elektrody implantované do sluchové kůry, aby si přečetly elektroencefalogram.
"Požádali jsme epileptické pacienty, kteří již podstupují operaci mozku, aby poslouchali věty, které říkají různí lidé." Současně jsme analyzovali vzorce mozkové aktivity pacientů. Vokodér byl vycvičen na získaných neurálních modelech, “vysvětluje Mesgarani.
Pacienti byli požádáni, aby poslouchali nahrávky, ve kterých herci čtou posloupnosti čísel od 0 do 9. Současně vědci zaznamenali mozkové signály a poté je prošli vokodérem, jehož signály byly opraveny, aby se zlepšila jasnost neuronovou sítí, která analyzovala zvuky samotného vokodéru, který produkoval zvuky v reakci na tyto signály. V důsledku toho bylo slyšet robotický hlas opakující sekvenci mluvených čísel. K vyhodnocení výsledků vědci pozvali 11 lidí s vynikajícím sluchem.
"Ukázalo se, že lidé dokážou rozpoznat slova asi 75% času, což je výrazně lepší než jakékoli předchozí pokusy." Citlivý vokodér a silné neuronové sítě generovaly zvuky, které pacienti poslouchali s úžasnou přesností, “komentuje Mesgarani.
Propagační video:
V budoucnu se Mesgaraniho tým chystá naučit neuronovou síť vyslovovat složitější slova, fráze a dokonce celé věty. Poté chtějí vyvinout implantát, který dokáže převést myšlenky člověka do plné řeči.
"Pokud si například majitel implantátu myslí:" Potřebuji sklenici vody, "čte náš systém mozkové signály a převádí je do řeči. To každému, kdo ztratil schopnost mluvit kvůli zranění nebo nemoci, poskytne novou příležitost komunikovat s okolním světem, “dodává Mesgarani.
Nikolay Khizhnyak