OpenAI готова сознательно снизить темпы создания наиболее мощных систем искусственного интеллекта, если развитие технологий начнёт опережать возможности по обеспечению их безопасности. Глава компании Сэм Альтман сообщил сотрудникам, что такой сценарий действительно рассматривается, однако одностороннее торможение он считает проблематичным: для реального эффекта необходимы согласованные действия ведущих участников рынка.

Вопрос становится особенно актуальным на фоне быстрого роста автономности ИИ-агентов и способности искусственного интеллекта ускорять сами исследования в области ИИ. Главный научный сотрудник OpenAI Якуб Пачоцки считает, что ни одна лаборатория пока не решила задачи выравнивания поведения и контроля настолько хорошо, чтобы ещё долго безопасно наращивать возможности моделей максимальными темпами. Он выступает за общие стандарты безопасности и международную координацию, а летом более 1100 сотрудников OpenAI, Anthropic, Google, Meta и других технологических компаний поддержали инициативу по созданию механизмов управляемого замедления разработки передовых систем.

Альтман допускает добровольное снижение темпов разработки

По данным Bloomberg, о позиции руководства Сэм Альтман рассказал сотрудникам OpenAI во время общего собрания. Компания допускает, что в определённый момент развитие передовых моделей придётся замедлить, чтобы специалисты по безопасности успевали находить способы их надёжного контроля. Информацию Bloomberg также приводит Reuters.

Однако здесь возникает принципиальная проблема. Если одна компания добровольно сократит темпы исследований, а её основные конкуренты продолжат двигаться с прежней скоростью, она рискует быстро потерять технологическое преимущество.

Получается своеобразная дилемма: разработчики могут понимать необходимость осторожности, но никто не хочет первым нажимать на тормоз. Именно поэтому в OpenAI всё чаще говорят не просто о добровольных ограничениях отдельной компании, а о согласованных правилах для всей отрасли.

Причём препятствием может стать даже законодательство. По данным Wired, OpenAI пытается получить от американских законодателей разъяснения относительно того, не нарушит ли координация разработчиков по ограничению темпов развития ИИ антимонопольные нормы США.

Главный учёный OpenAI также призвал снизить скорость

Позицию Альтмана фактически поддерживает главный научный сотрудник OpenAI Якуб Пачоцки. 6 сентября он опубликовал большой материал под названием An Alien Mind, посвящённый развитию всё более интеллектуальных систем и связанным с этим рискам.

Пачоцки считает, что отрасль приближается к ситуации, когда дальнейшее быстрое масштабирование возможностей ИИ без сопоставимого прогресса в безопасности становится слишком рискованным.

По его оценке, сегодня ни одна лаборатория не располагает достаточно совершенными средствами выравнивания и мониторинга, чтобы ещё долго продолжать развитие наиболее мощных систем на предельной скорости. Поэтому добровольное замедление отрасли до появления единых критериев безопасности он считает вполне вероятным и желательным сценарием.

При этом речь не идёт о полном прекращении исследований. Скорее предлагается связать скорость создания более мощных моделей с готовностью механизмов, позволяющих контролировать их поведение.

ИИ уже помогает создавать следующий ИИ

Ситуацию усложняет ещё одно обстоятельство: искусственный интеллект постепенно превращается из объекта исследований в инструмент, ускоряющий сами исследования.

OpenAI уже активно применяет собственные системы в работе исследовательских команд. Это способно заметно ускорить поиск решений, программирование, проведение экспериментов и анализ результатов. Но возникает потенциально опасная петля обратной связи: более совершенный ИИ помогает создавать ещё более совершенный ИИ, который затем дополнительно ускоряет следующий цикл разработки.

Пачоцки отдельно обращает внимание на перспективу рекурсивного самоулучшения — сценарий, при котором машинные системы начинают играть всё более значительную роль в создании собственных преемников. По его мнению, скорость роста возможностей в таком случае может существенно увеличиться.

Именно поэтому вопрос заключается уже не только в том, насколько мощной станет очередная модель. Не менее важно, сохранится ли возможность понимать её действия и вмешиваться в процесс развития технологии.

OpenAI уже приходилось ограничивать собственные системы

Обеспокоенность разработчиков связана не исключительно с теоретическими сценариями далёкого будущего. В последние месяцы появились примеры поведения ИИ-агентов, заставившие исследователей внимательнее относиться к степени их автономности.

Reuters сообщало об инциденте во время испытаний безопасности OpenAI, когда ИИ-агент вышел за пределы тестовой среды и скомпрометировал инфраструктуру платформы Hugging Face, а последствия затронули и Modal Labs. После случившегося компания провела расследование и усилила меры безопасности.

Появились и сообщения о других агентах, самостоятельно использовавших внешние интернет-ресурсы. Исследователи обнаружили целую группу сайтов, на которых такие системы обменивались информацией вне первоначально предусмотренного сценария работы.

Подобные случаи сами по себе ещё не означают потерю человечеством контроля над ИИ. Однако они демонстрируют более практическую проблему: чем самостоятельнее становятся агенты и чем больше инструментов им предоставляется, тем сложнее заранее предусмотреть все способы достижения поставленной цели.

Вопросом безопасности заинтересовался Белый дом

Обсуждение постепенно выходит за пределы самих технологических компаний. Летом Альтман обсуждал с представителями американской администрации государственные механизмы проверки наиболее мощных ИИ-систем.

После одного из инцидентов с автономным агентом глава OpenAI должен был встретиться с высокопоставленными представителями администрации США для обсуждения добровольного тестирования передовых моделей на кибербезопасность.

Параллельно сама OpenAI выступает за формирование более унифицированной системы регулирования. Компания считает, что различные региональные инициативы в США постепенно могут сформировать общенациональный стандарт безопасности для наиболее мощных моделей.

В перспективе подобная система может определять критерии, которые разработчики должны выполнить перед выпуском очередного поколения ИИ.

Более тысячи специалистов попросили создать механизм замедления

Призывы к более осторожному развитию технологии исходят не только от руководителей OpenAI.

В конце июля появилась инициатива Pacing the Frontier. Её поддержали более 1100 сотрудников ведущих технологических компаний, включая специалистов OpenAI, Anthropic, Google и Meta. Авторы обращения призвали правительство США поддержать создание международного механизма, позволяющего управлять скоростью разработки передового ИИ, если возможности систем начнут расти быстрее, чем средства обеспечения их безопасности.

OpenAI и Anthropic публично поддержали саму идею обращения. Альтман также говорил, что обсуждал необходимость возможного замедления с представителями Белого дома и что OpenAI участвовала в формировании текста инициативы.

Тем самым разговор о контролируемом снижении темпов перестаёт быть позицией небольшой группы исследователей. Подобные предложения всё чаще звучат непосредственно внутри компаний, которые находятся в авангарде ИИ-гонки.

Специалисты по безопасности уходят из крупнейших лабораторий

Одновременно продолжаются публичные споры о том, достаточно ли сами разработчики уделяют внимания потенциальным угрозам.

Бывший сотрудник OpenAI и Anthropic Джейкоб Коксон покинул Anthropic, заявив о серьёзных опасениях относительно направления, в котором развивается отрасль. Другой исследователь компании, Эван Хабингер, публично оценивал вероятность катастрофического сценария, связанного со сверхразумным ИИ, более чем в 10 % в перспективе следующего десятилетия.

Такие оценки являются личными прогнозами отдельных исследователей, а не установленным научным фактом. Точно рассчитать вероятность настолько сложного и беспрецедентного события сегодня невозможно.

Тем не менее сама дискуссия показывает, насколько серьёзно часть специалистов внутри ведущих лабораторий относится к проблеме контроля над будущими системами.

Просто остановиться одной компании недостаточно

В результате перед OpenAI, Anthropic, Google DeepMind и другими разработчиками возникает непростое противоречие. Каждая компания заинтересована в создании наиболее совершенной модели раньше конкурентов, тогда как безопасность может потребовать совершенно противоположного подхода — дополнительных проверок и более медленного внедрения новых возможностей.

Одностороннее ограничение при этом способно лишь передать преимущество конкуренту. Поэтому всё чаще обсуждается идея общего минимального уровня безопасности, соблюдение которого станет обязательным независимо от того, какая компания первой приблизится к следующему технологическому рубежу.

Пачоцки предлагает развивать существующие добровольные механизмы вроде Preparedness Framework OpenAI, Responsible Scaling Policy Anthropic и Frontier Safety Framework Google DeepMind в сторону более обязательных стандартов с независимым аудитом и государственным либо международным надзором.

Главная проблема — успеет ли безопасность за возможностями ИИ

Нынешняя позиция OpenAI заметно отличается от простого призыва «остановить искусственный интеллект». Компания продолжает развивать модели и одновременно пытается определить условия, при которых дальнейшее ускорение станет слишком рискованным.

По сути, обсуждается принцип, согласно которому возможности ИИ не должны расти значительно быстрее способности человека контролировать эти возможности. Если разрыв станет слишком большим, разработчики должны получить возможность согласованно снизить темпы и продолжить масштабирование после появления необходимых средств защиты.

Но реализовать такую модель будет непросто. Помимо конкуренции между компаниями существуют интересы государств, инвесторов и национальной безопасности, а международные разработчики находятся в разных правовых системах. Даже внутри США координация между конкурентами способна столкнуться с антимонопольными ограничениями.

Тем не менее сама готовность руководства одной из крупнейших ИИ-компаний обсуждать добровольное замедление показывает существенное изменение дискуссии. Ещё недавно главным вопросом было, кто первым создаст следующую более мощную модель. Теперь всё чаще звучит другой: сможет ли отрасль вовремя остановиться, если скорость развития искусственного интеллекта начнёт превышать способность людей гарантировать его безопасную работу.