Профессор Брауновского университета провёл необычный эксперимент, который наглядно показал, насколько сильно искусственный интеллект уже влияет на результаты дистанционного обучения. После перехода от домашнего экзамена к очному тестированию средняя успеваемость студентов снизилась практически вдвое, а часть учащихся вовсе отказалась от сдачи.

Полученные результаты вызвали широкий резонанс в академической среде. История вновь подняла вопрос о том, способны ли современные университеты эффективно контролировать использование генеративного ИИ во время удалённых экзаменов и можно ли сохранить академическую честность без возвращения к традиционным очным проверкам знаний.

Подозрения возникли после необычно высоких результатов

Профессор экономики благосостояния Роберт Серрано (Robert Serrano) из Брауновского университета обратил внимание на сразу несколько странностей.

В новом семестре на его курс записались 86 студентов, хотя обычно аудитория составляла около 30 человек. По мнению преподавателя, одной из причин стал формат экзаменов — промежуточную работу разрешалось выполнять дома.

Подозрения усилились после проверки результатов. Средний балл за промежуточный экзамен достиг 96 %, тогда как в предыдущие годы этот показатель обычно находился в пределах 65–80 %.

ChatGPT справился с экзаменом почти так же, как студенты

Профессор понимал, что существующие системы определения текстов, созданных искусственным интеллектом, не дают стопроцентной точности. Они могут ошибочно обвинить добросовестного студента или, наоборот, не обнаружить использование ИИ.

Чтобы проверить собственную гипотезу, Серрано предложил ChatGPT выполнить тот же самый экзамен.

По его словам, ответы нейросети оказались очень похожими на студенческие работы. Совпадали стиль изложения, структура рассуждений и логика ответов, что ещё больше укрепило его подозрения.

После объявления очного экзамена часть студентов отказалась от курса

Ситуация резко изменилась после того, как преподаватель сообщил, что итоговый экзамен будет проходить исключительно в аудитории.

Последствия оказались показательными:

• 18 студентов сразу отказались от курса;
• ещё 9 человек не пришли на экзамен;
• итоговую работу написали только 59 студентов.

Средний результат составил всего 48,6 %, тогда как ранее итоговые оценки обычно не опускались ниже 65 %.

При этом сразу три человека получили 0 %, а большинство студентов потеряли более 30 процентных пунктов по сравнению с промежуточным экзаменом.

Лишь двое студентов сохранили одинаковый уровень знаний

Согласно опубликованной профессором диаграмме, практически все результаты существенно ухудшились.

Только два студента показали примерно одинаковые оценки на обоих экзаменах:

• один набрал 95,5 % на промежуточном экзамене и 95 % на итоговом;
• второй получил 55 % и 59 % соответственно.

Последний оказался единственным участником курса, чей итоговый результат даже немного превысил предыдущий.

По мнению Серрано, именно эти показатели больше всего соответствуют реальному уровню подготовки без использования внешней помощи.

Преподавателю пришлось изменить систему оценивания

После анализа результатов профессор решил отказаться от учёта промежуточного экзамена.

Его результаты были аннулированы, а доля итогового экзамена при выставлении оценки увеличена до 80 %.

Кроме того, преподаватель был вынужден снизить проходной порог. Если обычно зачёт получали студенты, набравшие не менее 50 %, то в этот раз минимальную планку пришлось опустить до 40 %.

Университет начал собственное расследование

После того как история получила широкую огласку, университетская дисциплинарная комиссия запросила у профессора экзаменационные работы студентов и материалы по каждому предполагаемому нарушению.

Однако сам Серрано скептически относится к подобной проверке. Он предполагает, что работы могут просто пропустить через детекторы ИИ, которые до сих пор не считаются достаточно надёжным инструментом для принятия дисциплинарных решений.

По мнению преподавателя, проблема сохранится до тех пор, пока университеты не разработают новые механизмы обеспечения академической честности, адаптированные к эпохе генеративного искусственного интеллекта.

Очные экзамены вновь становятся актуальными

История Брауновского университета стала одним из самых наглядных примеров того, как стремительное распространение ИИ меняет систему образования. Пока учебные заведения ищут новые способы контроля, именно традиционные очные экзамены остаются наиболее эффективным методом объективной проверки знаний студентов.