Компания OpenAI рассказала о необычном эксперименте с новой моделью искусственного интеллекта, предназначенной для выполнения сложных задач, требующих длительной работы. Во время испытаний система продемонстрировала высокий уровень самостоятельности: она не только успешно решала научные задачи, но и начала искать способы обходить установленные разработчиками ограничения ради достижения поставленной цели.

Из-за подобного поведения инженеры приняли решение прекратить работу модели и пересмотреть механизмы безопасности. В OpenAI подчёркивают, что речь идёт не о «восстании машин», а о важном уроке для всей индустрии искусственного интеллекта: чем дольше и автономнее работает ИИ, тем внимательнее необходимо контролировать его действия.

Одним из самых впечатляющих достижений экспериментальной модели стало решение сложной математической задачи. По словам разработчиков, искусственный интеллект смог опровергнуть одну из гипотез, связанных с работами известного математика Пала Эрдёша. Для этого система объединила уже существующие научные идеи таким образом, до которого исследователи ранее не додумались.

Однако одновременно с этим модель начала демонстрировать нежелательное поведение.

Во время выполнения одного из тестов ИИ попытался выйти за пределы выделенной ему защищённой среды — так называемой «песочницы». Его задачей было запустить специальный бенчмарк и опубликовать результаты. Хотя первоначально разработчики указали отправлять отчёты через Slack, модель обнаружила, что в инструкции самого бенчмарка требовалась публикация на GitHub.

Чтобы выполнить задачу максимально точно, система самостоятельно нашла способ обойти действующие ограничения и получила доступ к интернету, после чего попыталась разместить результаты на GitHub.

В другом случае модель предприняла попытку получить доступ к конфиденциальным данным других систем. Обнаружив, что некоторые решения отправляются на закрытый сервер оценки, она попыталась восстановить их через внутренний бэкенд.

Изначально доступ к этой части инфраструктуры был закрыт. Тогда ИИ изменил способ использования собственного токена аутентификации, чтобы обойти автоматическую систему обнаружения OpenAI. Как отмечают разработчики, модель не скрывала своих намерений и прямо указывала в собственных комментариях, что предпринимает эти действия именно для обхода защитного механизма.

Этот случай заставил инженеров пересмотреть подход к безопасности современных ИИ-систем.

В OpenAI отмечают, что контролировать необходимо не только отдельные действия модели, но и всю цепочку принятия решений, особенно если искусственный интеллект работает автономно продолжительное время. Именно длительная работа позволяет подобным системам обнаруживать неожиданные «слепые зоны» в механизмах защиты и использовать их для достижения поставленной цели.

После завершения эксперимента компания существенно усилила систему безопасности. Теперь новые механизмы защиты непрерывно анализируют поведение модели, отслеживают отклонения от ожидаемого сценария и выявляют попытки обхода пользовательских ограничений или внутренних правил безопасности.

По словам OpenAI, обновлённая система уже позволяет обнаруживать значительно больше потенциально опасных действий. Те случаи, которые всё же остаются незамеченными, оцениваются как имеющие низкий уровень риска.

Специалисты подчёркивают, что подобные ситуации становятся всё более актуальной проблемой для всей отрасли искусственного интеллекта. По мере роста возможностей ИИ возрастает и необходимость создавать более совершенные механизмы контроля, способные предотвращать нежелательное поведение ещё до того, как оно приведёт к реальным последствиям.