Сотни привлечённых специалистов получают доступ к обезличенным фрагментам реальных диалогов с ChatGPT, чтобы оценивать ответы искусственного интеллекта и помогать улучшать модели OpenAI. Как выяснило издание 404 Media, в таких материалах иногда остаётся личная или конфиденциальная информация, несмотря на предварительную фильтрацию данных. Некоторые исполнители получают за эту работу более 50 долларов в час.

OpenAI подтверждает, что пользовательский контент может применяться для совершенствования моделей, если соответствующая настройка разрешена. Компания использует Privacy Filter для поиска и удаления персональных сведений, однако признаёт, что автоматическая система не гарантирует безошибочного скрытия всех чувствительных данных. Пользователи личных тарифов могут запретить использование новых разговоров для обучения моделей в настройках ChatGPT.

Что обнаружили журналисты

Расследование 404 Media рассказывает о проекте, в рамках которого внешние специалисты изучают реальные обращения пользователей ChatGPT и ответы, сформированные системой.

Журналисты сообщают, что ознакомились с инструкциями для исполнителей, рабочими обсуждениями, интерфейсом оценки и примерами пользовательских запросов. Задача рецензентов заключается не просто в чтении текста: им необходимо определить намерение пользователя, кратко изложить содержание запроса, а затем проанализировать и сравнить предложенные моделью варианты ответа.

Такой подход позволяет разработчикам обнаруживать недостатки, которые сложно выявить исключительно автоматическими тестами. В частности, проверяющие оценивают точность, полезность, естественность и уместность ответов.

Зачем искусственному интеллекту нужны люди

Современные языковые модели совершенствуются не только благодаря увеличению объёма обучающих данных, новым алгоритмам и вычислительным мощностям. Значительную роль играет человеческая оценка результатов работы ИИ.

Согласно материалам 404 Media, рецензенты помогают корректировать в том числе особенности поведения ChatGPT. Среди задач упоминается борьба с чрезмерной угодливостью модели и стремлением искусственного интеллекта описывать себя так, словно он обладает человеческими свойствами.

Работа строится вокруг реальных ситуаций использования сервиса. Специалист видит запрос, определяет, чего хотел добиться пользователь, после чего оценивает несколько ответов системы и указывает на их достоинства и недостатки.

Именно такие оценки впоследствии могут использоваться при совершенствовании поведения моделей.

Что именно могут увидеть рецензенты

По данным расследования, исполнителям показывают реальные пользовательские запросы, причём в некоторых случаях речь идёт не об одной реплике, а о контексте разговора. Имена владельцев аккаунтов при этом рецензентам не демонстрируются.

Однако отсутствие имени ещё не означает полной анонимности текста. Пользователь сам может написать в разговоре адрес, место работы, сведения о родственниках, финансовые данные, информацию о здоровье или другие подробности, позволяющие многое узнать о человеке.

404 Media утверждает, что в отдельных заданиях также встречалась сводная информация о предыдущем использовании ChatGPT и дополнительный контекст о пользователе. При обнаружении персональной информации или материалов, способных вызвать опасения с точки зрения безопасности, исполнителям предписывается передавать задачу дальше.

Персональные данные пытаются удалить до проверки

OpenAI применяет специальную систему Privacy Filter. Она предназначена для обнаружения и маскирования персональных данных в тексте до их дальнейшего использования в соответствующих процессах. Компания отдельно сообщает, что внутренний вариант Privacy Filter применяется и к пользовательским разговорам, участвующим в улучшении моделей.

Однако абсолютной защиты такая технология не обеспечивает.

OpenAI прямо указывает среди ограничений Privacy Filter возможность пропуска необычных идентификаторов и неоднозначных упоминаний частной информации. При недостатке контекста система также способна скрыть слишком много данных либо, наоборот, оставить то, что следовало удалить.

Поэтому даже после автоматической обработки нельзя полностью исключить попадание чувствительной информации к человеку-рецензенту.

Почему вопрос конфиденциальности оказался особенно важным

За последние годы чат-боты превратились для многих людей из обычного справочного инструмента в универсального помощника. Пользователи обсуждают с ИИ работу, отношения, деньги и другие личные вопросы.

Из-за этого обычный диалог с чат-ботом способен содержать гораздо больше частной информации, чем типичный поисковый запрос.

404 Media отмечает, что некоторые изученные журналистами обращения были написаны так, будто их авторы исходили из полной приватности разговора и не ожидали возможности человеческой проверки.

Сама OpenAI сейчас рекомендует не передавать ChatGPT чувствительную информацию, которую пользователь не хотел бы видеть использованной или просмотренной в рамках соответствующих процессов.

Можно ли запретить использование своих разговоров для обучения

Да. Для личных аккаунтов ChatGPT существует настройка «Improve the model for everyone» («Улучшать модель для всех»).

Её можно отключить в разделе:

Настройки → Управление данными → Улучшать модель для всех.

После отключения новые разговоры сохраняются в обычной истории ChatGPT, но не используются для обучения моделей. Настройка действует на уровне аккаунта и синхронизируется между устройствами.

OpenAI также предлагает режим Temporary Chat. Такие разговоры не появляются в истории, не используются для обучения моделей и не создают воспоминаний; компания указывает, что временные чаты сохраняются на ограниченный срок в целях безопасности.

Для ChatGPT Business, Enterprise и Edu пользовательские данные по умолчанию не применяются для обучения моделей.

Сколько получают проверяющие

404 Media поговорило с исполнителем из Северной Америки, который сообщил о ставке свыше 50 долларов в час. Поэтому корректнее говорить именно о такой оплате у некоторых привлечённых специалистов, а не утверждать, что каждый из сотен рецензентов гарантированно получает одинаковую сумму.

По данным издания, один из каналов поиска специалистов связан с рекрутинговой компанией Crossing Hurdles. В опубликованных вакансиях подобного профиля фигурируют задачи по сравнению ответов ИИ, проверке их полезности, персонализации и обоснованности.

Сами исполнители описывают такую работу как довольно монотонную: необходимо последовательно читать большое количество запросов и многократно оценивать разные ответы модели.

Ручная проверка используется не только OpenAI

Привлечение людей к обучению и оценке искусственного интеллекта — не уникальная практика одной компании. Человеческая разметка уже много лет применяется при создании систем компьютерного зрения, рекомендательных алгоритмов, поисковых технологий и генеративного ИИ.

404 Media сообщает, что Anthropic также подтвердила использование человеческой проверки при совершенствовании своих моделей. Аналогичные механизмы применяются и в других крупных ИИ-сервисах.

История поэтому поднимает более широкий вопрос: пользователям стоит учитывать, что взаимодействие с облачным ИИ-сервисом не следует автоматически воспринимать как полностью закрытый разговор, который технически никогда не сможет увидеть человек.

Для особо чувствительной информации разумнее заранее проверить настройки конфиденциальности сервиса, отключить использование разговоров для обучения или воспользоваться предусмотренным режимом временного чата.