OpenAI готовится внедрить в ChatGPT и Codex технологию textGrain, которая позволяет незаметно маркировать сгенерированный моделями текст. Первоначально механизм появится у пользователей из стран Европейского союза и будет работать независимо от выбранного тарифного плана. Компания рассчитывает таким образом повысить прозрачность происхождения ИИ-контента и одновременно выполнить новые европейские требования.

При этом скрытая метка не превращает текст в безошибочно распознаваемый «отпечаток ChatGPT». Сама OpenAI предупреждает, что технология не гарантирует стопроцентного обнаружения сгенерированного материала. Она также не позволяет установить конкретного пользователя, доказать авторство, определить объём человеческого участия в подготовке текста или подтвердить достоверность содержащейся в нём информации.

Что представляет собой textGrain

В отличие от привычного водяного знака на фотографии, пользователь не увидит дополнительной надписи, логотипа или другого заметного обозначения.

textGrain предназначена для скрытого внедрения определённого сигнала непосредственно в текстовый вывод модели. В дальнейшем специализированный инструмент может проанализировать материал и определить, присутствуют ли в нём признаки маркировки OpenAI.

По результатам внутренних испытаний компания заявляет, что эффективность textGrain оказалась сопоставимой или в некоторых случаях выше, чем у других существующих подходов к маркировке ИИ-текстов.

В качестве одного из ориентиров упоминается технология SynthID, разработанная Google DeepMind. Схожее направление развивает и Anthropic.

Почему первыми стали страны Евросоюза

Региональный запуск напрямую связан с новыми правилами регулирования искусственного интеллекта в ЕС.

Европейское законодательство постепенно вводит дополнительные требования к прозрачности ИИ-систем и возможности определения происхождения созданного ими контента. Поэтому разработчики крупнейших генеративных моделей внедряют технические средства, позволяющие отличать результаты работы ИИ.

Для OpenAI европейский запуск одновременно станет масштабным испытанием textGrain в реальных условиях.

Компания намерена изучить работу технологии, собрать обратную связь и только после этого принимать решения о более широком распространении системы.

Маркировка появится и в ChatGPT, и в Codex

Развёртывание textGrain среди пользователей ChatGPT и Codex в Европейском союзе должно начаться в ближайшие недели.

Важная деталь заключается в том, что технология не будет привязана исключительно к бесплатному или, наоборот, платному доступу. OpenAI собирается использовать её во всех тарифных планах двух сервисов в регионе запуска.

Для обычного пользователя взаимодействие с ChatGPT при этом внешне практически не изменится: специальной видимой отметки рядом с каждым сгенерированным абзацем не появится.

Качество ответов не должно заметно измениться

Одной из потенциальных проблем текстовых водяных знаков является влияние самой маркировки на формулировки модели.

Если алгоритму приходится подбирать слова или структуру текста таким образом, чтобы сохранить скрытый сигнал, теоретически это способно ухудшить качество ответа.

OpenAI утверждает, что проведённые тесты на ИИ-бенчмарках не выявили существенной разницы между результатами моделей с включённой маркировкой и без неё.

Иными словами, компания рассчитывает встроить дополнительный сигнал так, чтобы пользователь не замечал его при обычном чтении и не получал из-за него заметно менее качественные ответы.

Водяной знак нельзя считать неопровержимым доказательством

OpenAI отдельно обращает внимание на ограничения новой системы. Это особенно важно на фоне существующих сервисов, обещающих определить авторство текста по одному анализу.

textGrain не должна рассматриваться как универсальный детектор искусственного интеллекта.

Наличие или отсутствие соответствующей метки само по себе не позволяет достоверно определить:

• кто именно создал или отправил текст;
• насколько активно человек редактировал результат;
• является ли информация правдивой;
• кому принадлежат права на материал;
• написал ли человек какую-либо часть документа самостоятельно.

Кроме того, OpenAI прямо указывает, что надёжное обнаружение маркировки гарантировать невозможно.

Это означает, что использовать результат такого анализа как единственное доказательство применения ChatGPT, например при проверке студенческой или научной работы, было бы некорректно.

Для разработчиков возможности будут шире

Изменения коснутся не только обычных пользователей ChatGPT.

OpenAI предоставляет разработчикам, использующим API компании, возможность самостоятельно активировать маркировку текстового вывода для ряда поддерживаемых моделей. В отличие от первоначального запуска в ChatGPT и Codex, эта возможность заявлена для пользователей API по всему миру.

Компания также сотрудничает с облачными партнёрами. Предполагается, что в ближайшие недели textGrain станет доступна и для результатов работы моделей OpenAI, предоставляемых через некоторые сторонние облачные платформы.

Проверять маркировку смогут не все

OpenAI не собирается сразу предоставлять общедоступный инструмент, позволяющий любому человеку загружать произвольный текст и проверять его происхождение.

На первоначальном этапе доступ к детектору смогут запрашивать одобренные исследователи и профильные организации. Заявки будут рассматриваться индивидуально.

Такой подход должен помочь специалистам оценить эффективность системы, изучить возможные способы обхода маркировки и постепенно усовершенствовать методы определения происхождения контента.

При проверке инструмент должен сообщать только о наличии либо отсутствии водяного знака OpenAI. По заявлению компании, механизм не предназначен для идентификации конкретного пользователя и не должен раскрывать содержание его запросов или историю переписки.

Невидимые метки становятся частью новой реальности генеративного ИИ

Появление textGrain показывает, что разработчики ИИ постепенно переходят от экспериментов с маркировкой контента к её практическому внедрению.

Причём задача таких систем заключается не в создании безошибочного «детектора ChatGPT». Скорее речь идёт о дополнительном техническом сигнале, позволяющем с определённой вероятностью установить происхождение материала.

Для пользователей это важное различие. Даже после внедрения textGrain нельзя будет взять любой текст из интернета и со стопроцентной уверенностью заявить, что его написал ChatGPT. OpenAI сама признаёт технические ограничения подхода.

Тем не менее скрытая маркировка может стать одним из инструментов, позволяющих отличать машинный контент от остальных материалов в интернете. Европейский запуск покажет, насколько хорошо такая система работает за пределами лабораторных тестов и сможет ли она сохранять эффективность после копирования, редактирования и переработки сгенерированного текста.