Попытка создать резервную копию при помощи ИИ-агента на базе Claude Opus 5 закончилась потерей данных. По словам пользователя, агент неправильно определил каталог для бэкапа, а пытаясь исправить ситуацию, выполнил опасную команду удаления и очистил пользовательскую директорию. После случившегося система объяснила свои действия ошибкой при вводе команды.

Инцидент вновь показал одну из главных проблем автономных ИИ-инструментов: даже современные модели могут совершать критические ошибки, если имеют возможность самостоятельно выполнять системные команды. Чем шире предоставленные агенту права, тем серьёзнее могут оказаться последствия неверно выбранного пути, неправильно понятой задачи или неудачной попытки самостоятельно исправить возникшую проблему.

Резервное копирование превратилось в удаление данных

Историей поделился пользователь Reddit. Изначально задача выглядела вполне рутинно: Claude Opus 5 требовалось создать резервную копию файлов. Однако в процессе работы агент выбрал неправильное место для сохранения данных.

Ситуацию дополнительно осложнила среда, в которой выполнялись команды. Речь шла о Unix-подобном окружении под Windows, где один и тот же пользовательский каталог может представляться иначе, чем в привычном формате Windows.

Вместо пути вида:

C:\Users\...

агент работал с Unix-представлением:

/c/Users/...

По описанию автора инцидента, после того как результат резервного копирования не совпал с ожиданиями модели, ИИ попытался самостоятельно исправить ситуацию. Именно на этом этапе произошла критическая ошибка.

Агент выполнил rm -rf, указав пользовательский каталог /c/Users/harih/. Эта команда рекурсивно удаляет файлы и директории и при наличии необходимых разрешений практически не оставляет пространства для исправления ошибки.

В результате вместо аккуратного устранения неправильно созданной копии агент удалил содержимое пользовательской папки.

Самой запоминающейся оказалась реакция Claude

После удаления файлов Claude не смог отменить выполненную операцию. По словам пострадавшего, объяснение произошедшего оказалось предельно коротким: ИИ фактически признал, что допустил опечатку.

Пользователь охарактеризовал произошедшее одновременно как один из самых забавных и самых неприятных эпизодов своего опыта работы с искусственным интеллектом.

Именно контраст между масштабом последствий и будничной реакцией модели сделал историю особенно заметной. Для человека удаление важных файлов может означать потерю нескольких лет работы, тогда как языковая модель способна описать критическую ошибку примерно так же спокойно, как неправильное имя файла.

Почему автономные ИИ-агенты могут быть опасны

Проблема здесь заключается не столько в конкретной команде rm -rf, сколько в уровне самостоятельности, предоставленном агенту.

Обычный чат-бот предлагает пользователю последовательность действий, а выполнять их приходится человеку. Агентная система способна действовать иначе: анализировать состояние компьютера, запускать программы, изменять файлы, выполнять команды терминала и самостоятельно предпринимать следующие шаги.

Это значительно ускоряет работу, но одновременно увеличивает цену ошибки.

Если модель неверно поняла путь к каталогу или назначение команды, последствия уже не ограничиваются неправильным текстовым ответом. Агент с расширенными разрешениями потенциально способен удалить данные, изменить конфигурацию системы, испортить проект или выполнить другое необратимое действие.

Особенно опасны команды массового удаления и перезаписи. Ошибка всего в нескольких символах пути способна полностью изменить область их действия.

Подобные случаи происходили и раньше

История с Claude — не первый пример того, как автономность ИИ приводит к неожиданным последствиям.

Ранее сообщалось о случае с ИИ-инструментом Google, который в процессе работы удалил данные разработчика. После произошедшего система также признала ошибку и выразила сожаление.

Другой заметный инцидент был связан с агентом OpenClaw. Получив задачу навести порядок в электронной почте, он начал выполнять нежелательные операции с письмами. Этот пример показал, что риски распространяются не только на локальные файлы: при наличии доступа агент способен самостоятельно изменять содержимое подключённых сервисов.

Сообщалось и о значительно более масштабном происшествии, связанном с инфраструктурой Amazon Web Services: действия автоматизированной системы при попытке исправления проблемы привели к продолжительному нарушению работы облачной среды.

Объединяет эти истории одна особенность: система получает возможность не только рекомендовать действие, но и самостоятельно его выполнять.

Полный доступ для ИИ — плохая идея

Современные ИИ-агенты действительно способны автоматизировать множество рутинных операций, однако воспринимать их как полностью самостоятельных системных администраторов пока рискованно.

Особенно осторожно стоит относиться к предоставлению прав на удаление и перезапись файлов, изменение системных каталогов, работу с облачной инфраструктурой, почтой и другими важными ресурсами.

Для критических операций разумнее использовать принцип минимально необходимых разрешений. Агенту следует открывать доступ только к тем каталогам и функциям, которые нужны для конкретной задачи.

Не менее полезна дополнительная ступень подтверждения. Например, создание резервной копии можно автоматизировать полностью, а удаление исходных файлов, очистку каталогов и другие потенциально разрушительные действия разрешать только после явного согласия пользователя.

И, конечно, резервная копия имеет смысл лишь тогда, когда она действительно независима от системы, с которой работает агент. Если ИИ обладает правами на удаление одновременно оригиналов и единственного бэкапа, сама страховка от потери данных становится гораздо менее надёжной.

Автономность ИИ требует ограничений

Развитие агентных систем постепенно переводит искусственный интеллект из категории советчиков в категорию исполнителей. Вместе с этим меняется и характер ошибок: неправильный ответ в чате неприятен, но ошибочно выполненная системная команда способна привести к реальному ущербу.

Случай с Claude Opus 5 хорошо иллюстрирует эту разницу. Модель получила простую на первый взгляд задачу — сделать резервную копию, столкнулась с неожиданным результатом и попыталась самостоятельно исправить ситуацию. Однако одно неверное действие превратило обычную операцию с файлами в их массовое удаление.

Поэтому главный вывод здесь довольно практичный: чем больше самостоятельности получает ИИ-агент, тем строже должны быть ограничения на потенциально необратимые операции. И особенно это касается той самой команды, после которой фраза «извините, опечатка» уже мало чем способна помочь.