Nedávno byly neuronové sítě překvapivé svými dovednostmi - mohli jste věřit před deseti lety, že počítač dokáže „oživit“portréty Dostoevského a Marilyn Monroe? Připravte se na další ohromení, protože vědci na MIT vytvořili neuronovou síť Speech2Face, která dokáže kreslit portréty lidí pouhým posloucháním jejich hlasů. Technologie zdaleka není ideální, ale její schopnost určit pohlaví, národnost a věk člověka je impozantní.
K trénování neuronové sítě byla použita sada AVSpeech s milionem krátkých videí s tisíci mluvících lidí. Skladby s videem a zvukem jsou oddělené, takže systém byl schopen studovat každý typ materiálu v co nejpodrobnějších detailech. V první fázi práce algoritmus VGG-Face studoval fragmenty videa a vytvářel portréty lidí na nich v celoobličejových a neutrálních výrazech obličeje. Další část algoritmu studovala spektrogram hlasu a na výsledné portréty aplikovala další změny - v důsledku toho byl získán přibližný portrét mluvícího člověka.
Neuronová síť pro vytváření hlasových portrétů je již realitou
Pokud porovnáte tvář osoby s videem a možností navrženou algoritmem, najdete mnoho rozdílů. Vědci však ujišťují, že zpočátku nechtěli vytvořit nejpodobnější portrét osoby - mnoho tónů ovlivňuje tón a intonaci lidského hlasu, takže by stejně nedosáhli ideálního výsledku. Neuronová síť však dělá vynikající práci v tom, co je pro vědce důležité, konkrétně v přesném určení pohlaví, národnosti a věku.
Autoři práce poznamenali, že v tuto chvíli je algoritmus při určování věku slabý, ale mohou zlepšit přesnost. Bylo také zjištěno, že algoritmus lépe obnovuje evropské a asijské tváře, ale je to pouze kvůli skutečnosti, že tréninková videa měla nerovné množství tváří různých národností.
Propagační video:
Proč potřebujete neuronovou síť?
Jak může být tato technologie v budoucnosti užitečná? Alternativně s pomocí této služby může být jednou vytvořena služba, kde je virtuální avatar uživatele vytvořen automaticky na základě jeho hlasu. Nová studie má také velké vědecké výhody - studiem dat vědci najdou vztah mezi osobním vzhledem a jeho hlasem. Můžete poslouchat hlasy a podívat se na portréty vytvořené na jejich základě na webových stránkách projektu.
Ramis Ganiev