Vytvoření algoritmů pro práci s obrázky bylo vždy poměrně obtížným, ale slibným úkolem. Když jsem v roce 1999 ještě psal svůj diplomový projekt, téma „rozpoznávání vzorů“bylo v systémech automatického řízení a správy velmi důležité.
To mohou dnes dělat. Indičtí vývojáři představili systém, který umí vytvářet krátká videa z rozmazaných obrazů. Algoritmus pracuje na základě konvolučních a opakujících se neuronových sítí a umožňuje vám proměnit pohybové artefakty v obrazech na krátké (až deset snímků) video.
Více informací …
Při prohlížení rozmazaného obrazu může člověk mentálně dokončit obraz toho, co se děje. Například, vidět fotografii ptáka s fuzzy křídly naznačuje, že rozmazání obrazu je způsobeno artefakty v pohybu křídla během akvizice. Pro systémy počítačového vidění je však tento úkol obtížnější a většina známých metod je zaměřena pouze na odstranění pohybových artefaktů a vyhlazovacích rámců.
Vědci z Indického technologického institutu pod vedením AN Rajagopalana navrhli, aby byl k vytvoření celého krátkého videa použit jediný rozmazaný obraz: to znamená obnovit původní pohyb z jeho artefaktů v obraze. Za tímto účelem vyvinuli algoritmus založený na konvolučních neuronových sítích, které se aktivně používají pro úkoly související s automatickým rozpoznáváním obrazu, jakož i na opakující se neuronové sítě.
Model je vyškolen na velkém počtu videí, která jsou rozdělena do rámečků. Poté neuronová síť hledá takový rámec, artefakty, na nichž se nejvíce shodují s artefakty rámce tréninkového vzorku. Poté dekodér „obnoví“artefakty rámečku ukázkového tréninku do pohybu zachyceného na videu. Model tedy ukládá data o možných zpětně získaných pohybech z každého rozmazaného snímku dostupného ve cvičném vzorku.
Propagační video:
Výsledkem práce je, že neuronová síť produkuje video rekonstruované z rozmazaného obrazu, sestávající z deseti snímků. Vyvinutý algoritmus bude podle tvůrců v budoucnu schopen pomoci nejen zlepšit restaurování rozmazaných obrazů, ale i samotných videí.
Odstranění artefaktů pohybu v jednotlivých rámcích může také zlepšit streamování videa. Dosud se pro tento účel používají hlavně algoritmy pro přizpůsobení datového toku v závislosti na rychlosti videa a jeho ukládání do vyrovnávací paměti.
Elizaveta Ivtushok