В современных художественных фильмах и сериалах очень часто используются захватывающие кадры и сцены, сгенерированные компьютерами при помощи специальных систем рендеринга. Эти системы рассчитывают каждый кадр последовательности будущего видео, используя описание трехмерного виртуального пространства, виртуальных источников света и виртуальных камер. И чем больше полигонов, которые образуют сложные поверхности, и источников света используется в процессе рендеринга, тем качественней получается конечное изображение, но вместе с этим кардинально увеличивается количество ресурсов вычислительной системы, производящей череду сложнейших математических расчетов.
Одним из путей сокращения времени и требовательности к ресурсам процесса рендеринга является сокращение числа полигонов и количества источников света. Но такой подход приводит к появлению погрешности, которая "зашумляет" конечное изображение и снижает его качество.
Для решения описанной выше проблемы исследователи из компаний Disney Research, Pixar Animation Studios и Калифорнийского университета в Санта-Барбаре разработали новую технологию удаления шумов из изображений, полученных путем скоростного рендеринга, основанную на использовании нейронных сетей, глубинного машинного обучения и искусственного интеллекта. Внедрение этих "умных" технологий в стандартный процесс рендеринга позволило сократить его требовательность к ресурсам и повысить скорость обработки.
Для обучения нейронной сети Convolutional Neural Network исследователи использовали миллионы кадров мультипликационных фильмов Pixar "Finding Dory", которые были представлены в двух вариантах качества. Это, в свою очередь, позволило обучить нейронную сеть процедуре удаления шумов из изображений, полученных путем низкокачественного рендеринга. После обучения система смогла самостоятельно повысить до максимального уровня качество кадров нескольких фильмов компании Pixar, "Cars 3" и "Coco", несмотря на кардинальную разницу в стиле и цветовой палитре, использованных в этих фильмах.
Данная работа представляет собой революцию в существующих технологиях удаления шумов из изображений, все другие существующие технологии оставляют за собой остаточные шумы или искажения исходных кадров. В самом скором времени компании Disney и Pixar планируют начать практическое использование новой технологии, что, в свою очередь, позволит ускорить выход новых фильмов, сократив, одновременно, производственные затраты.
Более детально разработанная система будет представлена на конференции ACM SIGGRAPH 2017, главном мероприятии мирового уровня, посвященном технологиям компьютерной графики. И что является самым примечательным, программный код системы и все необходимые дополнительные данные будут помещены в открытый доступ. По мнению разработчиков системы это позволит не только улучшить качество видео, создаваемого другими компаниями, но и довести до идеального состояния саму систему удаления шумов.
