S rozvojem neuronových sítí a technologií strojového učení se rozsah jejich aplikace také rozšiřuje. Pokud byly dřívější neuronové sítě použity výhradně pro provádění složitých matematických, lékařských, fyzických, biologických výpočtů a předpovídání, nyní si tyto technologie získávají širokou popularitu v „běžnějším“prostředí - v oblasti zábavy. Již v tomto směru podnikají pouze první kroky a jsou již schopny prokázat úžasné a někdy i vynikající výsledky. Dnes budeme analyzovat několik ilustrativních příkladů.
Proces remasterování videa je tak komplikovaný a časově náročný, že bychom nikdy neviděli mnoho mistrovských děl světové klasiky s novým, moderním, jasným a šťavnatým obrazem. Svět je však plný inteligentních fanoušků a nadšenců, kteří dobře znají nové technologie, zejména neuronové sítě a technologie strojového učení, s nimiž můžete dosáhnout úžasných výsledků i doma. Například uživatel YouTube Stefan Rumen s pseudonymem CaptRobau se rozhodl demonstrovat některé schopnosti neuronových sítí při zpracování videí ze staré série science fiction.
Jeho dřívější prací je Remako Mod, remake HD klasické a velmi populární japonské RPG Final Fantasy VII. K tomu použil algoritmus AI AI Gigapixel, pomocí kterého dokázal čtyřikrát změnit měřítko obrazu původního obrázku a převést jej na rozlišení HD bez výrazných změn v původním uměleckém designu. Takže, zatímco čekáte na další desetiletí až do okamžiku, kdy japonský vývojář a vydavatel počítačových her Square Enix oficiálně vydá remaster snad jedné z nejlepších částí této herní série, můžete si vyzkoušet mod Stefan Stefena sami stažením z tohoto webu.
Mimochodem, nedávno se technologie neuronových sítí pro remastarování starých her a jejich uvedení na relevantnější a modernější vzhled beze změny obecného původního konceptu stala skutečným trendem mezi různými modifikátory. Například nedávno jsme hovořili o technologii ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), která implementuje technologie škálování obrazu s dvojnásobným až 8násobným zvýšením kvality. Algoritmus je „napájen“původní snímek s nízkým rozlišením, po kterém nejen zvyšuje jeho původní rozlišení, ale také zlepšuje kvalitu obrazu malováním na realistické detaily a vytvářením „přirozenějších“textur.
Porovnání kvality textury: vlevo je původní textura ze hry Morrowind, vpravo - zpracovaná neuronovou sítí.
Postava z Doom (vlevo - byla, vpravo -).
Zpracování pozadí v Resident Evil 3.
Propagační video:
Ať už je to tak, v intervalech mezi remasteringem „Sedmého finále“se Stefan Rumen rozhodl zahájit další projekt - použít stejnou technologii strojového učení, ale tentokrát zpracovat rámce klasické sci-fi série 90. let. Rumen si vybral Star Trek: Deep Space Nine jako předmět pro své experimenty.
Měřítko živého obrazu televizního seriálu je velmi složité od škálování předem vykresleného obrazu Final Fantasy VII, autor poznamenává, takže konečný výsledek, i když vypadá znatelně lépe než původní materiály v nízkém rozlišení, ale tento obrázek je stále daleko od ideálu, o kterém mohl jste snít, protože první Blu-ray přehrávače vstoupily na trh. Na obrazovce se občas objeví malé „artefakty“. Obecně však vše vypadá víc než hodné. Ale obecně se přesvědčte sami.
Pro tento projekt použil Rumen také algoritmus AI Gigapixel, který byl vyškolen k úpravám obrázků na základě skutečných fotografií. Autor poznamenává, že nový snímek byl pořízen v rozlišení 1080p a 4k, ale protože Rumen nemá televizor ani monitor s nativním rozlišením 4K, nemůže adekvátně posoudit verzi 4K.
Bohužel nemůžete sledovat celou řadu v kvalitě Full HD. Proces zpracování veškerého zdrojového materiálu by trval velmi dlouho, takže Rumen pro demonstraci použil pouze oddělené snímky z různých sérií. Podle něj vzal tento projekt jen z jednoho důvodu - aby ukázal, že je to opravdu možné. Podle jeho názoru bude celý tým profesionálů, kteří pracují ve velké televizní společnosti a mají k dispozici vhodnější a výkonnější počítačové vybavení pro tuto práci, schopen zvládnout tento úkol mnohem lépe.
Použití neuronových sítí ke zjednodušení práce při zpracování starých obrázků z videoher a filmů není jedinou oblastí, kde takové technologie dokážou ukázat svůj talent. V moderním světě, kde panoramatické kamery schopné produkovat 360 stupňů, jakož i náhlavní soupravy virtuální reality, získávají na popularitě, začali vývojáři aktivně zkoumat potenciál panoramatické fotografie.
Jedním z nejnovějších vývojů v tomto směru je neuronová síť schopná vydávat panoramatické statické obrazy. Je napsán odborníky na strojové učení z Massachusetts University, Columbia University a George Mason University.
Vytvořený algoritmus určuje typ prostředí a objektů na fotografii a poté vybere a uspořádá zvuky z použité databáze v souladu s prostorovým výpočtem vzdálenosti od jejich zdrojů v tomto obrázku. Díky tomu získává panoramatický obraz realistický a prostorný zvuk, který vám umožňuje hodnotit prezentovaný obraz zcela novým způsobem.
Podle vývojářů této neuronové sítě může technologie najít zájem mezi vývojáři obsahu VR (filmy a hry). V takovém případě nemusí manuálně překrývat všechny zvuky na panoramatickém obrazu, neuronová síť bude schopna vše dělat sama.
Nikolay Khizhnyak