Компания Arm объявила о планах внедрить нейронные технологии в новое поколение мобильных графических процессоров, выход которых запланирован на 2026 год. Эти инновации призваны повысить качество изображения и увеличить производительность при одновременном снижении энергопотребления.

Основные возможности нейронных ускорителей в GPU

Arm рассматривает нейронные ускорители в первую очередь для следующих задач:

• Масштабирование графики до более высокого разрешения без снижения частоты кадров;

• Интерполяция кадров для удвоения FPS (частоты кадров);

• Повышение качества трассировки пути в реальном времени при снижении количества лучей на пиксель.

Научный сотрудник Arm по ИИ Герайнт Норт отметил, что слияние ИИ и графики в реальном времени требует интегрированных и энергоэффективных решений, которые упростят разработку нейронных функций на GPU.

Технические особенности и архитектура

Подробности о нейронных ускорителях будут раскрыты при анонсе новых графических процессоров серии Mali пятого поколения, но известно, что нейросетевые блоки будут встроены в шейдерные ядра. Количество нейронных ядер и производительность сетей будут варьироваться в зависимости от конфигурации GPU, в том числе вплоть до 16 ядер.

Текущие технологии Arm для нейронной графики

В 2024 году Arm представила технологию масштабирования Arm Accuracy Super Resolution (ASR), которая снижает нагрузку на GPU, позволяя рендерить изображение в более низком разрешении с последующим качественным масштабированием. На базе нейронных ускорителей разработана технология Neural Super Sampling (NSS), способная масштабировать картинку с 540p до 1080p всего за 4 миллисекунды на кадр, снижая нагрузку на графику на 50%.

Кроме того, представлены технологии:

• Neural Frame Rate Upscaling (NFRU) — увеличивает FPS за счёт генерации промежуточных кадров с помощью нейронных сетей и нового аппаратного ускорения движения пикселей;

• Neural Super Sampling and Denoising (NSSD) — улучшает качество трассировки пути, добавляя недостающие детали с помощью ИИ, что позволяет использовать меньше лучей на пиксель без потери визуального качества.

Поддержка разработчиков и инструменты

Arm уже предоставила разработчикам программный интерфейс (API) и плагины для Unreal Engine, которые упрощают интеграцию нейронных технологий в игры. Модели доступны в открытых форматах на платформах GitHub и Hugging Face. Также реализована эмуляция расширений Arm ML Vulkan для ПК, что позволяет тестировать нейронные функции без необходимости иметь новое мобильное оборудование.

Конкурентный контекст

Arm не первая компания, внедряющая ИИ в мобильные чипы. Лицензиат Arm — Qualcomm — активно развивает нейронные процессоры (NPU) в своих платформах, демонстрируя масштабные языковые модели и инструменты для разработчиков.