Инженеры AMD представили экспериментальную технологию, в которой глобальное освещение сцены рассчитывается не традиционными методами рендеринга, а генерируется нейросетью. Система получает относительно простое изображение с прямым освещением и восстанавливает на его основе мягкие тени, отражённый свет и другие эффекты, необходимые для более реалистичной картинки. В перспективе подобный подход может сократить объём дорогостоящих вычислений, которые сегодня выполняются с применением трассировки лучей и других методов.

Пока технология далека от использования в обычных играх. Экспериментальная модель работает с изображениями разрешением 512 × 512 пикселей и, по опубликованным разработчиками данным, на GeForce RTX 3090 обрабатывает один кадр примерно за 0,29 секунды — это около 3,45 кадра в секунду. Причём речь идёт только о генерации глобального освещения, а не о полном рендеринге игры. Поэтому разработку AMD правильнее рассматривать как исследование возможного будущего нейронной графики, а не как готовую замену трассировке лучей.

Глобальное освещение превратили в задачу для генеративного ИИ

Разработанная специалистами AMD технология получила название Temporally Stable Generative Illumination with a Single-Step Diffusion Model — «временно стабильное генеративное освещение с помощью одношаговой диффузионной модели».

Вместо непосредственного вычисления всех необходимых отражений света исследователи предлагают рассматривать глобальное освещение как задачу генерации изображения.

В качестве исходных данных система получает кадр с прямым освещением. То есть на нём уже присутствует свет, непосредственно попадающий от источников на объекты, но отсутствует значительная часть сложного непрямого освещения.

После этого нейросеть должна дополнить изображение и восстановить визуальные эффекты, которые обычно требуют дополнительных вычислений: отражённый от поверхностей свет, мягкие тени и характерное распределение освещения внутри сцены.

По словам одного из разработчиков AMD Сунге Кима, именно глобальное освещение играет важную роль в реалистичности изображения и одновременно остаётся одной из наиболее вычислительно затратных частей рендеринга.

В основе эксперимента — Stable Diffusion

Для исследования специалисты AMD использовали Stable Diffusion 2.1 Turbo, адаптировав модель под специализированную задачу обработки освещения.

Одного обычного изображения для получения предсказуемого результата недостаточно. Генеративная модель может создать визуально убедительную картинку, которая при этом не соответствует реальной геометрии сцены или расположению источников света.

Чтобы уменьшить вероятность подобных ошибок, системе передаются дополнительные данные о сцене. Среди них — информация об освещении, яркости, свойствах материалов и геометрии.

Такой подход ограничивает свободу генеративной модели и помогает ей концентрироваться именно на восстановлении освещения, а не на самостоятельном изменении объектов в кадре.

Для обучения подготовили 31 тысячу кадров

Исследователи сформировали синтетический набор данных из 31 000 предварительно отрендеренных кадров интерьерных сцен.

В обучающих примерах использовались различные условия: в одной сцене могло находиться от одного до 30 источников света, а также движущиеся объекты. Благодаря этому модель получила примеры большого количества вариантов расположения и взаимодействия освещения.

Обучение проводилось на ускорителях AMD Instinct MI210. Полный набор данных использовался в процессе обучения 50 раз.

Выбор синтетических сцен в данном случае имеет важное преимущество: разработчики заранее располагают точными сведениями о геометрии, материалах и освещении каждого кадра. Это позволяет предоставить нейросети контролируемые эталонные данные.

Отдельная технология борется с мерцанием между кадрами

Для игры недостаточно получить один качественный кадр. Последовательность изображений должна оставаться стабильной при движении камеры и объектов.

Это одна из принципиальных проблем генеративных методов. Даже небольшие различия между результатами обработки соседних кадров способны проявляться в виде мерцания, изменения деталей или нестабильных теней.

Для решения этой задачи исследователи применили временной VAE — TVAE. Система использует векторы движения, чтобы сопоставлять элементы текущего изображения с предыдущими кадрами.

Кроме того, учитывается история ранее полученных результатов. Благодаря этому нейросеть получает временной контекст и должна сохранять освещение более последовательным при движении сцены.

Разработчики утверждают, что такой метод позволяет восстанавливать мягкие тени и непрямое освещение, одновременно уменьшая характерные для некоторых генеративных моделей ошибки, включая искажение геометрии и появление деталей, которых не должно быть в исходной сцене.

Производительности пока недостаточно для игр

Главным препятствием остаётся скорость обработки.

Согласно приведённым исследователями результатам, на GeForce RTX 3090 обработка изображения размером 512 × 512 пикселей занимает около 0,29 секунды. Это соответствует приблизительно 3,45 кадра в секунду.

Кроме того, модель занимает порядка 8–9 Гбайт видеопамяти.

Эти показатели нельзя напрямую сравнивать с обычной частотой кадров в игре. Нейросеть выполняет только одну часть графического конвейера — создаёт глобальное освещение. Геометрию, материалы, анимацию и остальные составляющие изображения всё равно необходимо обрабатывать отдельно.

При современных игровых разрешениях и целевых 60, 120 и более кадрах в секунду разрыв между экспериментальной реализацией и необходимой производительностью остаётся очень большим.

AMD развивает нейронный рендеринг в рамках FSR Diamond

Исследование соответствует более широкому направлению развития графических технологий AMD. Ранее компания анонсировала набор технологий FSR Diamond, среди направлений которого заявлен нейронный рендеринг нового поколения.

В него также входят улучшенное масштабирование изображения, машинное обучение для многокадровой генерации и технологии, связанные с реконструкцией результатов трассировки лучей и путей.

Таким образом, генеративное глобальное освещение можно рассматривать не как отдельную попытку полностью отказаться от существующего рендеринга, а как часть более масштабного перехода к гибридной графике, где нейросети берут на себя отдельные особенно дорогостоящие этапы формирования изображения.

Нейросети могут изменить сам подход к рендерингу

Исследование AMD показывает интересное направление развития компьютерной графики: вместо того чтобы исключительно ускорять всё более сложные физические расчёты, часть результата потенциально можно реконструировать с помощью обученной модели.

Однако говорить о полноценной «замене трассировки лучей нейросетью» пока преждевременно. Представленная система решает конкретную задачу глобального освещения, требует значительных ресурсов и работает с производительностью, недостаточной для современного игрового рендеринга в реальном времени.

Тем не менее сама концепция может оказаться важной для будущих графических технологий. Если подобные модели удастся существенно ускорить и сделать достаточно стабильными, нейронные методы смогут выполнять часть работы, для которой сегодня необходимы многочисленные лучи, выборки и сложные алгоритмы реконструкции. В таком случае развитие игровой графики будет зависеть уже не только от производительности классических вычислительных блоков GPU, но и от того, насколько эффективно видеокарты способны выполнять задачи машинного обучения.