Qualcomm раскрыла новые подробности о следующем поколении флагманской мобильной платформы Snapdragon, полноценная презентация которой ожидается на Snapdragon Summit 22 сентября. Одним из главных нововведений станет существенно переработанный нейропроцессор Hexagon NPU. Он рассчитан прежде всего на локальную работу генеративного ИИ и автономных ИИ-агентов, способных выполнять сложные многоэтапные задачи непосредственно на смартфоне.

Возможности новой архитектуры позволят запускать на мобильных устройствах модели Mixture-of-Experts (MoE) общим объёмом до 30 млрд параметров. При этом все параметры такой модели не обрабатываются одновременно: для конкретного запроса задействуется лишь необходимая часть «экспертов». Такой подход заметно сокращает требования к вычислительной мощности, пропускной способности памяти и энергопотреблению — критически важным ресурсам для смартфона.

Qualcomm делает ставку на ИИ, работающий без облака

В последние годы производители мобильных процессоров всё активнее переносят обработку искусственного интеллекта непосредственно на устройство. Это позволяет уменьшить задержки, снизить зависимость от подключения к интернету и в некоторых сценариях повысить конфиденциальность, поскольку исходные пользовательские данные не обязательно отправлять на удалённый сервер.

Qualcomm развивает эту концепцию в следующем поколении Hexagon NPU. Компания рассчитывает уже не только ускорять отдельные функции генеративного ИИ, но и обеспечивать работу более сложных агентных сценариев.

Такие агенты отличаются от обычного чат-бота тем, что могут последовательно анализировать задачу, учитывать контекст, обращаться к доступным инструментам и выполнять несколько связанных действий. Именно длительные цепочки операций предъявляют повышенные требования как к вычислительным блокам, так и к памяти.

В Hexagon появился новый Element Accelerator

Одно из наиболее важных изменений архитектуры — специализированный Element Accelerator, оптимизированный под операции, характерные для трансформерных моделей. Он работает вместе со скалярными, векторными и тензорными вычислительными блоками Hexagon.

По замыслу Qualcomm, подобное разделение позволяет эффективнее распределять разные части ИИ-нагрузки между специализированными блоками. В результате мобильный процессор сможет быстрее обрабатывать запросы и выполнять более сложные последовательности действий без необходимости постоянно обращаться к облачным вычислительным ресурсам.

При этом Qualcomm пока не раскрыла все характеристики нового NPU, поэтому оценивать абсолютную производительность будущего Snapdragon исключительно по предварительным заявлениям компании рано.

Собственной памяти у NPU станет на 50 % больше

Не менее существенное изменение касается памяти. Qualcomm сообщила об увеличении объёма общей памяти внутри нового Hexagon NPU на 50 % относительно предыдущего поколения. Абсолютный её объём компания пока не называет.

Для современных языковых моделей это имеет большое значение. Во время генерации необходимо постоянно работать с состоянием модели, контекстом и KV-кэшем. Чем больше нужных данных удаётся сохранить рядом с вычислительными блоками NPU, тем реже приходится обращаться к внешней оперативной памяти смартфона.

Это потенциально сокращает задержки и энергозатраты, одновременно позволяя ИИ работать с более продолжительным контекстом. Qualcomm также ориентирует новую архитектуру на одновременную работу нескольких агентов и мультимодальные модели.

Зачем смартфону модель на 30 млрд параметров

Заявленная поддержка моделей размером до 30 млрд параметров звучит особенно впечатляюще, однако здесь есть важное уточнение: речь идёт о моделях архитектуры Mixture-of-Experts, а не о классической плотной нейросети, в которой при каждом запросе задействованы все параметры.

MoE состоит из набора специализированных компонентов — «экспертов». Система определяет, какие из них нужны для обработки конкретных входных данных, и активирует только соответствующую часть модели.

Например, в приведённом Qualcomm сценарии модель с 30 млрд параметров может использовать примерно 3 млрд маршрутизируемых параметров при генерации отдельного токена. Таким образом, смартфону не приходится одновременно выполнять вычисления для всех 30 млрд параметров.

Это принципиально важная оговорка: заявление Qualcomm не означает, что будущие смартфоны смогут с той же лёгкостью запускать любую обычную 30-миллиардную LLM. Речь идёт об оптимизированных MoE-моделях и специально разработанной схеме их исполнения.

INT4-модели получат заметное ускорение

Qualcomm также заявляет о приросте скорости предварительной обработки запроса. Для моделей с четырёхбитной точностью INT4 новый NPU обеспечивает до 50 % более высокую производительность на этапе prefill по сравнению с предыдущим поколением. Также обещаны ускоренное декодирование, улучшенное speculative decoding и увеличение количества генерируемых токенов в секунду.

Prefill — это начальный этап работы языковой модели, когда она анализирует полученный запрос и входной контекст. После него начинается decode — последовательная генерация ответа токен за токеном. Поэтому ускорение первого этапа должно прежде всего уменьшить время ожидания перед началом ответа, тогда как повышение пропускной способности декодирования способно сделать сам процесс генерации быстрее.

При этом заявленные 50 % не следует воспринимать как увеличение общей производительности NPU в полтора раза во всех сценариях. Qualcomm говорит именно о prefill для INT4-моделей.

ИИ-агенты становятся одной из ключевых задач Snapdragon

Главная цель изменений выходит за рамки обычного ускорения чат-ботов. Qualcomm хочет подготовить мобильную платформу к поколению локальных ИИ-агентов, которые смогут выполнять на устройстве длинные последовательности связанных операций.

Увеличенная память Hexagon, Element Accelerator, поддержка MoE и оптимизация работы с моделями низкой точности должны позволить агенту хранить больше контекста и быстрее переходить от анализа запроса к выполнению следующих действий. При этом часть задач сможет выполняться без постоянного обращения к удалённым серверам.

Это не означает полного отказа от облачного ИИ. Qualcomm прямо указывает, что небольшие и эффективные модели могут брать на себя больше локальных операций, тогда как особенно ресурсоёмкие задачи по-прежнему смогут передаваться более крупным моделям. Фактически речь идёт о гибридной схеме, где смартфон самостоятельно решает всё, что способен эффективно обработать на месте.

Подробности станут известны 22 сентября

Обновление Hexagon — лишь одна часть новой мобильной архитектуры Qualcomm. Ранее компания начала раскрывать особенности следующего поколения процессорных ядер Oryon, а также графической подсистемы Adreno с новыми средствами ИИ-ускорения рендеринга. Полную картину производительности, энергопотребления и возможностей следующего Snapdragon компания должна представить во время Snapdragon Summit, который стартует 22 сентября.

Уже сейчас направление развития платформы выглядит достаточно ясно: Qualcomm пытается превратить смартфон из устройства, которое преимущественно обращается к облачным ИИ-сервисам, в самостоятельную вычислительную платформу для генеративного ИИ. Поддержка MoE-моделей до 30 млрд параметров в этом случае важна не столько как рекордная цифра, сколько как показатель того, насколько быстро сложные нейросетевые задачи перемещаются с серверов непосредственно в карманные устройства.