Polscy studenci opracowali algorytm do przekształcania wideo w komiks

12 stycznia 2019


Studenci Politechniki Warszawskiej opracowali algorytm do przekształcania wideo w komiks. Inicjatywa spotkała się z zainteresowaniem na całym świecie. W ciągu niespełna miesiąca strona Comixify zanotowała ponad 180 tysięcy wejść i wygenerowano na niej ponad 22 tysiące komiksów ? poinformował PAP dr inż. Tomasz Trzciński z PW.

Comixify automatycznie wybiera najciekawsze i najważniejsze klatki z przesłanego filmu, a następnie układa je, dopasowuje do ramek i przerabia graficznie. Tak powstają kadry komiksu.

Autorami projektu są studenci Wydziału Elektroniki i Technik Informacyjnych Politechniki Warszawskiej: inż. Maciej Pęśko, Adam Svystun i inż. Paweł Andruszkiewicz. Opiekę naukową sprawowali pracownicy Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr hab. inż. Przemysław Rokita i dr. inż. Tomasz Trzciński.

Comixify wziął się z połączenia zainteresowań studentów związanych z komiksami i transferem stylu przy użyciu uczenia maszynowego oraz dotychczasowych publikacji Zakładu dotyczących m.in. przewidywania popularności treści w internecie.

W komunikacie zamieszczonym na stronie internetowej Politechniki twórcy wyjaśniają, jak działa algorytm. Przekształcanie filmu w komiks jest podzielone na dwa główne etapy: ekstrakcję klatek i transfer stylu. Najpierw wyodrębniane są reprezentatywne sceny z nagrania. Żeby to zrobić, naukowcy rozwinęli algorytm oparty o metodę uczenia ze wzmocnieniem (Reinforcement Learning), a mający na celu inteligentne podsumowanie filmu.

Poprzez dodanie modułu estymującego jakość zdjęcia oraz jego popularność, Comixify jest w stanie ? zdaniem jego twórców ? nie tylko wybrać z filmu klatki najbardziej reprezentatywne, ale również te, które prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność.

Po uzyskaniu ramek następuje transfer stylu do obrazów, czyli nadanie im komiksowego charakteru. W tym celu naukowcy wdrażają generatywny model sieci neuronowych typu GAN. Jest to technika uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Podczas trenowania algorytm otrzymuje dane, np. obrazki, które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator zaś ma na celu sprawdzenie, czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Proces trwa do momentu, w którym generator będzie tworzył instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy ? opisują autorzy projektu.

Na stronie Comixify można zobaczyć komiksy wygenerowane z fragmentów „Pulp fiction”, „Gwiezdnych wojen: Mrocznego widma”, „Gry o tron”, „Iron Mana”, teledysków muzycznych oraz innych materiałów wideo. Narzędzie opracowane przez zespół z Politechniki Warszawskiej można bezpłatnie przetestować, przesyłając własne pliki (o rozmiarze do 50 MB) albo korzystając z linków z YouTube`a.

Według przedstawicieli uczelni, publikacja naukowa opisująca algorytm wywołała falę zainteresowania na całym świecie. Twórcy otrzymali liczne zapytania od zainteresowanych tym rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych. Aktualnie poszukują możliwości dalszego finansowania projektu i jego komercjalizacji ? dodaje dr inż. Tomasz Trzciński. Badacze z Politechniki Warszawskiej zamierzają udoskonalać swój projekt, rozszerzając go o nowe funkcjonalności m.in. rozpoznawanie głosu oraz generowanie tak zwanych „dymków”, czyli dodawanie tekstu do obrazów.

źródło: www.naukawpolsce.pap.pl, szu/ agt/

Tematy: , , , , , ,

Kategoria: newsy