Учёные выяснили, что популярные языковые модели по-разному оценивают угрозу искусственного интеллекта для различных профессий. Анализ показал, что OpenAI ChatGPT, Google Gemini и Claude от Anthropic нередко дают противоречивые прогнозы относительно того, какие специалисты рискуют потерять работу из-за автоматизации.

Исследователи считают, что такие расхождения ставят под сомнение надёжность так называемых индексов подверженности ИИ — специальных оценок, которые всё чаще используются государственными структурами, работодателями и аналитиками для прогнозирования будущего рынка труда. По мнению авторов работы, слепо доверять подобным оценкам пока слишком рано.

Учёные сравнили ответы трёх популярных ИИ-моделей

Авторами исследования стали экономисты Michelle Yin и Hoa Vu из Северо-Западного университета, а также Claudia Persico из Американского университета.

В рамках работы специалисты попросили несколько крупных языковых моделей оценить, насколько разные профессии уязвимы перед искусственным интеллектом и автоматизацией.

Результаты оказались далеко не одинаковыми.

Например, Claude оценил профессию бухгалтера как одну из наиболее подверженных влиянию ИИ, тогда как Gemini присвоил ей значительно более низкий уровень риска. Аналогичные расхождения возникли при оценке рекламных менеджеров и руководителей высшего звена.

Даже ChatGPT и Gemini, которые оказались наиболее близки по своим выводам, расходились примерно в каждом четвёртом случае.

Почему ИИ-модели дают разные прогнозы

Исследователи считают, что причина заключается не только в архитектурных различиях между самими моделями.

Оказалось, что на оценки влияет и то, представители каких профессий уже активно используют нейросети в своей работе. Специалисты, которые раньше других начали внедрять ИИ-инструменты, генерируют больше данных для обучения будущих моделей.

В качестве примера авторы исследования приводят финансовых аналитиков. Поскольку они активно работают с ИИ-сервисами, модели получают больше информации об их задачах и особенностях работы. Это может влиять на то, как системы в дальнейшем оценивают вероятность автоматизации таких профессий.

Фактически ИИ частично формирует собственное представление о рынке труда на основе активности своих же пользователей.

Как создаются индексы подверженности ИИ

Сегодня подобные индексы формируются тремя основными способами.

Экспертная оценка

В этом случае специалисты вручную анализируют профессии и определяют, насколько искусственный интеллект способен ускорить или заменить выполнение отдельных задач.

Однако такой подход часто критикуют за субъективность.

Опросы пользователей ИИ

Некоторые исследования строятся на опросах людей, уже использующих нейросети и ИИ-платформы в работе.

Проблема в том, что подобные данные отражают опыт ограниченного круга пользователей и не всегда показывают реальную ситуацию на всём рынке труда.

Оценка через LLM-модели

Третий вариант предполагает использование самих больших языковых моделей для прогнозирования автоматизации профессий.

Именно этот метод сейчас становится всё популярнее, однако новое исследование показывает, что разные модели могут приходить к совершенно разным выводам.

Почему это вызывает беспокойство

Авторы работы подчёркивают, что подобные индексы уже активно используются:

• в аналитических отчётах;
• консалтинговых исследованиях;
• корпоративных прогнозах;
• документах для обоснования политических решений.

Проблема заключается в том, что многие могут воспринимать подобные оценки как объективный и окончательный прогноз будущего рынка труда, хотя сами модели пока не демонстрируют достаточной согласованности.

По мнению исследователей, опасность появляется в тот момент, когда работодатели, чиновники или даже обычные люди начинают принимать серьёзные карьерные решения исключительно на основе таких прогнозов.

Учёные призвали осторожнее относиться к прогнозам ИИ

Экономисты считают, что при анализе влияния ИИ на рынок труда необходимо использовать сразу несколько моделей, а не полагаться на выводы одной нейросети.

Кроме того, исследователи предлагают прямо указывать степень неопределённости результатов, поскольку технологии продолжают стремительно развиваться и сами оценки могут быстро меняться.

Авторы работы также полагают, что более точную картину смогут дать реальные исследования внедрения ИИ в экономику — то есть анализ того, как именно компании используют искусственный интеллект и какие задачи действительно автоматизируются на практике.

Как отметила Мишель Инь, не стоит принимать подобные прогнозы как окончательную истину при выборе профессии или планировании будущего:

«Я бы точно не стала опираться на один показатель, чтобы решать, нужно ли менять работу или выбирать другую специальность».