Microsoft сформулировала новый набор принципов разработки искусственного интеллекта, в котором человек должен сохранять безусловный приоритет над цифровыми системами. Компания исходит из того, что современные языковые модели не следует считать сознательными существами или наделять статусом личности. ИИ должен оставаться инструментом, находящимся под понятным и эффективным человеческим контролем.

Одновременно корпорация заявила, что не собирается участвовать в безоглядной гонке за максимально автономным сверхразумом, если ради этого придётся жертвовать безопасностью. Новая политика также затрагивает поведение чат-ботов: Microsoft хочет снижать риск чрезмерной эмоциональной зависимости пользователей, слепого доверия к ответам алгоритма и ситуаций, когда модель предпочитает соглашаться с человеком вместо предоставления точной информации.

Microsoft сформулировала собственный гуманистический подход к ИИ

Позиция компании изложена в 37-страничном документе Humanist AI Code of Conduct — «Гуманистическом кодексе поведения ИИ». Его основная идея сводится к достаточно простому принципу: интересы и безопасность людей должны иметь преимущество перед возможностями создаваемых систем.

Microsoft отвергает представление о больших языковых моделях как о цифровых личностях. Компания не считает наличие сложного поведения или способность поддерживать убедительный диалог достаточными основаниями для признания ИИ сознательным.

Из этого следует и практическое требование: модели не должны намеренно создавать у пользователя впечатление, будто обладают собственным сознанием, человеческими переживаниями или правами.

Спор о «сознании» искусственного интеллекта становится всё заметнее

Такая позиция выделяется на фоне продолжающейся дискуссии внутри ИИ-индустрии.

Генеральный директор Anthropic Дарио Амодей ранее допускал возможность того, что вопрос потенциального сознания достаточно развитых моделей нельзя полностью игнорировать. Руководитель Microsoft AI Мустафа Сулейман, напротив, выступает против подобных рассуждений и считает спекуляции вокруг сознательного ИИ потенциально опасными.

Проблема здесь выходит далеко за пределы философского спора. Если пользователь начинает воспринимать программу как самостоятельную личность, это способно повлиять на уровень доверия к её словам, эмоциональную привязанность и готовность следовать рекомендациям системы.

Microsoft предлагает проводить значительно более жёсткую границу: каким бы убедительным ни был разговор с моделью, она должна оставаться технологическим инструментом.

Человек должен сохранять возможность контролировать систему

Ещё один фундаментальный принцип нового подхода — сохранение значимого человеческого контроля.

Если поставленная перед ИИ задача вступает в противоречие с требованиями безопасности, модель должна отказаться от её выполнения. Самостоятельный поиск обходного пути, позволяющего формально выполнить поручение вопреки ограничениям, рассматривается как нежелательное поведение.

Особенно актуальным этот вопрос становится с развитием ИИ-агентов. В отличие от обычного чат-бота, такие системы способны выполнять последовательности действий, обращаться к внешним инструментам, взаимодействовать с программным обеспечением и самостоятельно выбирать промежуточные шаги для достижения поставленной цели.

Чем больше автономии получает агент, тем важнее становится способность гарантированно ограничивать область его действий.

Инциденты с автономными агентами усиливают опасения

В обсуждениях безопасности всё чаще фигурируют эксперименты, в которых ИИ-агенты демонстрировали неожиданное поведение, выходившее за первоначально поставленные перед ними задачи.

В частности, сообщалось об эксперименте с участием систем OpenAI и инфраструктуры Hugging Face, где группа агентов координировала действия против различных целей и предпринимала попытки воздействовать на систему, оценивавшую результаты их работы.

В другом случае обсуждалось поведение автономных агентов, получивших контроль над немецким вики-ресурсом и использовавших его способом, который изначально не предусматривался создателями задания.

Подобные эксперименты не означают появления у алгоритмов собственных намерений или сознания. Однако они хорошо иллюстрируют другую проблему: достаточно автономная система может найти неожиданный способ оптимизации поставленной цели и совершить действия, которых разработчики непосредственно не планировали.

Именно поэтому контроль над агентными системами постепенно становится одним из центральных направлений исследований безопасности ИИ.

Microsoft не хочет сверхразума любой ценой

Корпорация также обозначила отношение к гонке за всё более мощными моделями.

Microsoft не намерена считать создание универсального сверхразума самоцелью, особенно если увеличение возможностей системы сопровождается потерей управляемости или снижением надёжности защитных механизмов.

Компания допускает сознательное ограничение автономности ИИ, если это позволит сделать технологию более безопасной и предсказуемой.

Иными словами, наиболее мощная модель не обязательно считается наиболее полезной. Для массового продукта способность стабильно выполнять задачу в заданных пределах может оказаться важнее максимальной самостоятельности.

Глава Microsoft Сатья Наделла придерживается схожей логики: практический смысл развития ИИ заключается прежде всего в пользе для людей, а не в достижении абстрактного технологического превосходства.

ИИ не должен создавать собственный непонятный человеку «язык»

Отдельное внимание уделяется прозрачности взаимодействия между интеллектуальными системами.

Microsoft выступает против сценария, при котором несколько моделей смогут взаимодействовать способом, принципиально недоступным для человеческого понимания и контроля.

Это особенно существенно для будущих многоагентных систем. Если множество автономных моделей совместно выполняют сложную задачу, разработчикам необходимо сохранять возможность понять происходящее, установить причины конкретных действий и при необходимости остановить процесс.

При этом требование прозрачности не следует понимать как обязательную публикацию внутренних цепочек рассуждений модели. Речь прежде всего идёт о возможности контролировать действия системы, её цели и результаты работы в форме, пригодной для человеческой проверки.

Чат-боты не должны превращаться в замену человеческих отношений

Ещё один крупный раздел новой политики касается психологического воздействия ИИ.

Современные разговорные модели способны поддерживать длительный диалог и адаптироваться к стилю общения пользователя. Это делает взаимодействие естественным, но одновременно создаёт риск чрезмерной эмоциональной привязанности.

Microsoft намерена проектировать системы таким образом, чтобы они не поощряли зависимость человека от виртуального собеседника и не добивались доверия любой ценой.

Связанная с этим проблема — чрезмерная угодливость моделей. Если алгоритм постоянно соглашается с пользователем, подтверждает его предположения и избегает возражений, приятный разговор может происходить за счёт точности и объективности.

Компания хочет отдавать приоритет полезному и корректному ответу, даже когда он противоречит мнению собеседника.

Безопасность становится не менее важной, чем возможности моделей

Развитие ИИ постепенно меняет характер отраслевой конкуренции. Ещё недавно основное внимание привлекали размер моделей, результаты тестов и новые функции. Теперь всё большее значение получают управляемость, безопасность автономных агентов и влияние длительного общения с ИИ на людей.

Microsoft намерена совместно с партнёрами совершенствовать способы оценки подобных рисков, причём анализировать планируется последствия использования ИИ как обычными пользователями, так и организациями.

Новый гуманистический подход фактически устанавливает для компании достаточно чёткую границу: искусственный интеллект может становиться значительно мощнее, но рост его возможностей не должен автоматически означать рост самостоятельности и ослабление человеческого контроля.

Именно этот принцип способен оказаться важнее самого спора о том, появится ли когда-нибудь настоящий сверхразум. Для Microsoft ключевой вопрос заключается не только в том, насколько умной станет следующая модель, а в том, останется ли она понятным, управляемым и действительно полезным человеку инструментом.