Компания Nvidia представила новую модель искусственного интеллекта Nemotron 3.5 Transcribe, предназначенную для распознавания речи, перевода и интеллектуального анализа аудиозаписей. Разработка поддерживает 40 языков, включая русский, и способна обрабатывать записи продолжительностью до одного часа. Благодаря открытым весам технологию можно адаптировать для корпоративных сервисов, медицинских учреждений, образовательных платформ и других специализированных задач.

Главная особенность новинки заключается в объединении нескольких возможностей в одной системе. Искусственный интеллект не только преобразует речь в текст, но и различает участников разговора, переводит сказанное, выделяет важную информацию и отвечает на вопросы по содержанию записи. При этом модель демонстрирует высокую точность даже в сложных диалогах, когда несколько человек говорят одновременно.

От обычной расшифровки до полноценного анализа разговоров

Nemotron 3.5 Transcribe выходит за рамки традиционных систем распознавания речи. Вместо простой текстовой расшифровки пользователь может сформулировать запрос и получить результат в нужном формате.

Например, система способна подготовить протокол совещания, выделить основные решения, составить краткое содержание беседы или перевести разговор на другой язык.

Модель поддерживает перевод между английским и 31 другим языком, а также определение участников разговора на 13 языках. В одной записи она может различать до восьми собеседников, включая ситуации с пересекающейся речью.

Для повышения точности предусмотрены контекстные подсказки. Пользователь может заранее указать профессиональные термины, названия препаратов или другую специфическую лексику, которую важно правильно распознать.

Высокая производительность без постоянной нагрузки на все параметры

Архитектура Nemotron 3.5 Transcribe содержит 30 миллиардов параметров, однако при выполнении конкретной задачи задействует приблизительно 4 миллиарда.

Такой подход позволяет сократить вычислительные затраты и использовать модель на оборудовании с ограниченными ресурсами по сравнению с системами, активирующими все параметры одновременно.

По данным Nvidia, решение может работать на одном совместимом графическом ускорителе, в том числе в компактной системе DGX Spark.

На профессиональном ускорителе RTX PRO 6000 Blackwell Server Edition модель способна обработать 100 часов аудиоматериалов менее чем за три минуты при использовании вычислений в формате NVFP4.

Результаты тестирования: точность на уровне ведущих разработок

В рейтинге Open ASR Leaderboard на платформе Hugging Face новая система Nvidia заняла первое место среди моделей с открытыми весами. Средний показатель ошибок распознавания слов составил 5,33%.

Дополнительное тестирование Artificial Analysis показало результат 2,81%. Для сравнения, модель Mistral Voxtral Small продемонстрировала 2,77%, но использует примерно в шесть раз больше активных параметров.

Особенно заметным оказалось преимущество Nvidia при работе с разговорами нескольких человек.

В испытаниях VoiceArena, где сравнивались 14 систем, Nemotron 3.5 Transcribe заняла лидирующую позицию. Доля пропущенных слов при одновременной речи участников составила 8,32%, тогда как медианный результат других решений находился около 31%.

Granary v2: масштабная база для обучения речевого ИИ

Вместе с моделью Nvidia опубликовала обновлённый набор данных Granary v2, предназначенный для разработки и совершенствования технологий обработки речи.

Его объём достиг приблизительно 844 тысяч часов аудио на 48 языках. Предыдущая версия включала около 643 тысяч часов записей на 25 языках.

Новый набор содержит различные варианты текстового представления речи, включая дословные расшифровки с сохранением слов-паразитов и альтернативные способы записи чисел.

Разработчики могут использовать эти материалы вместе с инструментами Nvidia для подготовки собственных обучающих наборов и адаптации модели под конкретную профессиональную область.

Эффективность такого подхода компания продемонстрировала на медицинских аудиозаписях. После дополнительного обучения на речи индийских врачей и студентов-медиков уровень ошибок сократился с 30,8% до 11,8%.

При проверке на ранее неизвестных модели голосах показатель также улучшился — с 22,44% до 12,17%.

Где можно применять новую технологию

Возможности Nemotron 3.5 Transcribe открывают перспективы для автоматизации обработки аудио в различных сферах.

В корпоративной среде система может использоваться для расшифровки совещаний и подготовки протоколов. В образовании — для преобразования лекций в текст и создания кратких конспектов. В медицинских организациях — для обработки профессиональных записей с учётом специальной терминологии.

Технология также представляет интерес для контакт-центров, медиакомпаний и разработчиков голосовых сервисов, которым необходимо анализировать большие объёмы разговоров.

При этом открытые веса позволяют организациям разворачивать собственные решения, не ограничиваясь исключительно готовыми облачными сервисами.

Доступность и существующие ограничения

Nemotron 3.5 Transcribe и набор данных Granary v2 опубликованы на Hugging Face. Nvidia также подготовила демонстрационную версию, инструкции по дообучению и инструменты, упрощающие настройку модели с помощью ИИ-ассистентов для программирования.

Несмотря на впечатляющие результаты, технология пока имеет определённые ограничения. Качество распознавания зависит от языка, особенностей записи и количества участников разговора.

Кроме того, система ориентирована на обработку уже записанного аудио, а не на непрерывное распознавание речи в реальном времени. Nvidia рекомендует дополнительно проверять правильность имён и моменты смены говорящих.

Выход Nemotron 3.5 Transcribe делает современные технологии обработки речи доступнее для разработчиков и организаций. Возможность самостоятельно адаптировать мощную многоязычную модель под конкретные задачи может ускорить внедрение голосового искусственного интеллекта в повседневные цифровые сервисы.