Нейросеть – это аппаратное, программное воплощение биологических нейронных сетей живых организмов. Первые прототипы появились в далеком 1943 году, а сегодня они уже используются по всему миру для аналитики и мониторинга различных объектов в сети, в качестве голосового и интеллектуального интерфейса, для управления потоками информации баз данных и прочего. Даже среднестатистический бот отправляющий голосовые, звуковые сообщения при входе на сайт, может быть частью нейросети.
В последнее время они нашли еще одно применение – редактирование качества отдельной картинки, кадров и звуковых файлов в видеоиграх, фильмах, виртуальной реальности. Результаты впечатляющие – благодаря быстрой обучаемости, программы значительно улучшают четкость изображения даже старых кинематографических картин, с которыми не справится обычный ремастеринг.
Первая работа
Как ни странно, но в отличие от профи, аматоры активно взялись за идею «воскрешения» в первую очередь любимых игр. CaptRobau, пользователь YouTube, больше известный как Стефан Румен, использовал в работе алгоритм AI Gigapixel – нейросеть, которая умеет исправлять изображение на основе настоящих фото. В результате был создан Remako Mod – отредактированный аналог японской игры в жанре RPG под названием «Последняя фантазия 7». В процессе нейросеть смогла увеличить масштаб картинки в четыре раза, перевести его в HD-качество. При этом полностью сохранилась первоначальная концепция, расстановка образов и дизайн.
Кстати ютубер не исключает возможности применения нейросетей для «воскрешения» первопроходцев в игровой сфере. Аркады и файтинги, популярные в 90-х могут вновь завоевать симпатию зрителя. Вполне реально, что технология будет применима и для онлайн-казино, список которых можно увидеть на ТопКазиноЭксперт.
Переделка седьмой «Последней фантазии» уже дала значительный толчок в популяризации способов, позволяющих приводить игры к современному, более актуальному для пользователей, виду. Например, технология под названием Enhanced Super Resolution Generative Adversarial Networks, сокращенно – ESRGAN. Его отличие от нейросети Румена в том, что алгоритм сканирует «фото» низкого качества, масштабирует образ несколько раз, потом увеличивает качество в двух или восьмикратно. Ну а далее программа дорисовывает наиболее реалистичные варианты к размытым частям картинки.
HD-ремейки
Обработка видео, процесс улучшения четкости отдельных кадров занимает очень много времени и требует определенной сноровки. Именно по этой причине специалисты неохотно берутся за «воскрешение» шедевров кино. Но зато этим активно занимаются любители.
К примеру, Стефан Румен, после работы над «Финалкой», потрудился над обработкой старого сериала в жанре фантастика, отснятого еще в начале 90-х годов, но до сих пор любимого фанатами. «СтарТрек: Дальний космос девять» стал одной из наиболее трудоемких работ, поэтому было отредактировано всего несколько минут. Качество изображения улучшилось в разы, объекты обрели четкость, ушла размытость линий. Румен использовал AI Gigapixel, благодаря чему полученные кадры достигают качества 1080p, что приравнивается к современному разрешению.
Румен высказал мнение, что если он в «домашних условиях» смог добиться такого результата, то мастера кинематографической обработки с необходимым компьютерным оборудованием смогут гораздо больше. Вполне вероятно, что с развитием технологий мир может вновь увидеть шедевры прошлого века, но в более высоком разрешении и качестве.
Другие сферы применения
Ввиду популярности широкоформатных обзорных камер и очков виртуальной реальности, появляется еще одна сфера деятельности, где нейросеть станет не менее востребована, чем в ремастеринге компьютерных игр и кино. Панорамная съемка – новый шаг в развитии технологий.
Над алгоритмом, способным озвучить панорамные статические картинки, трудились профессионалы в сфере обучения машин сразу из трех университетов – имени Джорджа Мейсона, Массачусетского и Колумбийского. Съемка выходит панорамной с обзором на 360 градусов, высоким качеством, несмотря на количество задействованных и зафиксированных объектов.
Более того, оно невероятно реалистичное и объемное. Это происходит благодаря поэтапным действиям:
- определение типа окружения;
- фиксация объектов;
- анализ расстояния до целей;
- подбор и расстановка звука из имеющейся базы данных.
Как считают создатели, техника фиксации целей и накладка звука – это начало к разработке более качественного контента, в частности игр, фильмов, для виртуальной или дополненной реальности. На данный момент при создании продукта специалисты накладывают звук на цели вручную, что отнимает достаточно много времени. Нейросети с заданным алгоритмом могут делать работу самостоятельно, при этом в несколько раз быстрее, но с сохранением необходимого качества.