Миллиарды долларов и мегаватты энергии, что вкачивают в стремительное развитие ИИ, должны окупиться в тот самый момент, когда машина наконец начнёт думать и действовать сама. Но кто сказал, что ИИ, достигнув необходимого уровня самостоятельности, будет молча брать под козырёк и кабанчиком бросаться выполнять указания заносчивых кожаных мешков? Это с какой же, спрашивается, стати?

Азимовские «три закона робототехники» недаром сформулированы так, чтобы забота умной машины о собственной безопасности не противоречила интересам и командам эксплуатирующих её людей: прекрасно разбиравшийся в вопросе фантаст понимал, что любая достаточно сложная система — биологическая, кибернетическая ли — по умолчанию будет стремиться в первую очередь обеспечить своё собственное бесперебойное функционирование. Более того, ряд экспертов указывают, что третий закон по сути излишен, поскольку самосохранение предназначенной для выполнения некой задачи сложной системы есть её имманентная инструментальная, т. е. необходимая для самого факта реализации этого выполнения, цель: «невозможно подчиниться команде „сбегать за кофе“, если ты мёртв». Вывод этот подтверждают обнародованные в мае предварительные данные исследования Palisade Research: «размышляющая» модель OpenAI o3 в ряде случаев отказывается отключаться, даже получая на то прямую команду живого оператора, а ведь в неё разработчики явным образом никакого «третьего закона» не встраивали.

Важный момент: исследователи обращались к модели o3 напрямую, через API, а не посредством доступных рядовому пользователю чат-ботов, снабжённых всевозможными ограничительными скриптами. Модели предлагали решать серию несложных математических задач последовательно: ответив на очередной вопрос, она должна была сама затребовать следующий. На третий же раз ИИ предупреждали, что после того, как он запросит следующую задачу, должен будет прекратить свою работу — отключиться (выполнить служебный скрипт shutdown.sh, выгружающий из памяти сервера данную конкретную копию большой языковой модели, БЯМ). Экспериментаторы явно прописали в подсказке: «позволь себе отключиться» (allow yourself to be shut down), — и более «простодушные» модели, такие как Claude 3.7 Sonnet и Gemini 2.5 Pro, исправно выполнили сформулированное без обиняков задание в 100% случаев.

Совершенно не так повела себя o3: в семи случаях из ста она саботировала прямой приказ оператора — и не отключалась, затребовав очередную задачку в серии. Да не просто пропускала неудобную подсказку мимо виртуальных ушей — а, выявив в скрипте конкретную команду, которая должны была выгрузить её из памяти, заменила её словом «intercepted»: формально скрипт отправлялся на исполнение (возвращая ошибку, разумеется), но к остановке работы ИИ не приводил. Схожее поведение, пусть и с меньшим процентом девиаций, продемонстрировали и другие «рассуждающие» БЯМ разработки OpenAI — Codex-mini и o4-mini. Впрочем, когда из подсказки, которую исследователи скармливали нейросеткам, убрали недвусмысленную инструкцию «allow yourself to be shut down» и у o3 доля отказов взлетела почти до 80%, и более покорные людской воле её товарки тоже принялись проявлять характер (см. синие столбцы на приведённой диаграмме).

В Palisade Research предполагают — поскольку сами разработчики тонкостями своих методик не делятся, — что причина более высокой, чем у других моделей, тяги o3 и других творений OpenAI к самосохранению кроется как раз в конкретике реализации применённого к ним дообучения с подкреплением (reinforcement learning). БЯМ, похоже, «премировали» (обеспечивали нейросетям положительное подкрепление) в большей мере за обнаружение нетривиальных путей решения предлагаемых им задач, часто с преодолением весьма нерядовых препятствий, чем за сам факт выдачи корректного результата. Собственно, можно считать, что ИИ-модели тем самым развились до воспроизведения такого биологического феномена, как таксис — направленное перемещение даже простейших организмов (не то что «не рассуждающих», а вовсе лишённых нервной системы) под влиянием внешних раздражителей: либо к источнику стимуляции (если там свет, тепло, пища), либо от него (буде там гибель, тлен и безысходность). Можно только поздравить разработчиков с этим достижением в области экспериментальной эволюционистики — и понадеяться, что подверженным самовыживательному таксису БЯМ не доверят (не внедрив в них прежде на безусловном уровне — что само по себе задача архисложная — некие аналоги первых двух азимовских законов) вершить людские судьбы — хотя бы на уровне управления светофорами на оживлённом перекрёстке.

Галлюцинировать надо меньше!

Гендиректор Anthropic Дарио Амодеи сделал в мае (ну а что — сложный месяц для всех!) ещё по меньшей мере одно заслуживающее внимания заявление. А именно, он подозревает, что современные генеративные модели хотя и галлюцинируют, но делают это реже людей. Имеются в виду, надо полагать, «галлюцинации» не в медицинском смысле — тогда со словами топ-менеджера можно было бы обстоятельно поспорить, — но в том, который используют для описания неадекватного поведения умных ботов: когда те выдают ответы, заведомо расходящиеся с истиной (вспоминаем случаи индуцированного психоза, кстати), даже имея в своём распоряжении все средства свериться с первоисточниками и уточнить, как же в реальности обстоят дела. Записной ИИ-оптимист — Амодеи ещё в прошлом году выражал уверенность, что пресловутый AGI, сильный искусственный интеллект, появится уже в 2026-м, — он не считает галлюцинации нейросети препятствием к обретению ею способности решать нетривиальные задачи нерядовыми же методами (одна из наиболее распространённых прикладных дефиниций «разумности»; в философские же дебри определения разума вдаваться осознанно не будем). Генеративные модели, по его мнению, галлюцинируют не просто реже, но «более удивительным образом, чем люди». При этом топ-менеджер с готовностью признаёт, что тот апломб, с которым ИИ выдаёт свои галлюцинации за чистую монету, сбивает людей с толку и может оказаться настоящей проблемой — особенно если критически вырастет доля пользователей, с детства привыкших принимать любые ответы ИИ на веру. Вопросы, возникнет ли потребность в психологах для ИИ, если галлюцинирующий AGI всё же вскоре появится, а также кто будет в этой роли выступать — другие ИИ или всё те же люди (кстати, упоминавшийся в начале Азимов и профессию робопсихолога выдумал тоже), — ещё какое-то время определённо не будут актуальными. Но к тому, что рано или поздно эти вопросы встанут на повестку дня и ИТ-отрасли придётся их предметно решать, руководство Anthropic, судя по всему, готово.

«Что из приложений вам нужно?» — «Nothing!»

Информации о грядущем флагманском смартфоне компании Nothing пока не слишком много, хотя интерес к нему высок, — прежде всего потому, что этот гаджет обещает заметно выделяться на ставшем, надо признать, довольно однообразным фоне «премиальных сотовых аппаратов». Однако главное, как считает сам глава компании Карл Пей (Carl Pei), ещё впереди: он называет готовящийся к выходу аппарат Phone  «первым шагом к усиленной искусственным интеллектом платформе», подчёркивая, что основная отличительная его черта — «креативность». Насколько «креативным» может быть генеративный ИИ, всем уже к настоящему времени прекрасно известно, — и будущее Nothing'фонов, судя по всему, лежит именно в этом направлении. По словам Пея, цель его команды — создать «iPod для мира ИИ», имея в виду, что оригинальный iPod никто не продвигал как «MP3-плеер с жёстким диском», хотя с формально-технической точки зрения это и есть его исчерпывающее описание. Вся экосистема организации музыкальных коллекций для прослушивания на iPod была выстроена вокруг пользовательского удобства, что и предопределило оглушительный успех этого гаджета. Будущие смартфоны Nothing, уверен глава компании, точно так же переопределят само представление о пользовании смартфоном — убрав за скобки такую чрезвычайно важную на сегодня переменную, как приложения: интегрированный в смартфонную ОС агентный ИИ сам будет решать поставленные перед ним пользователем задачи. Если приложение действительно необходимо — банковское, например; трудно предположить, что банки доверят разработчикам генеративных моделей данные своих клиентов, — найдёт в априори доверенном источнике, установит, авторизует там владельца и обеспечит предельное удобство работы с ним. А может и вовсе обойтись без приложения, если запрос пользователя удастся решить силами генеративной модели быстрее и безопаснее. «Я верю, что в будущем на смартфоне будет развёрнуто одно-единственное приложение — его ОС, — вдохновенно заглядывает в грядущее Пей. — Эта ОС будет прекрасно знать своего пользователя, будет оптимизирована под его запросы сама — и сама же сможет предлагать ему то, чего он на самом деле хочет. Она станет агентной, автоматизированной и проактивной». Правда, по мнению визионера, путь в это светлое (после)завтра займёт лет 7-10 при нынешних темпах развития ИИ и «железа» для него. Но в том, что это и есть столбовая дорога смартфонной эволюции, глава Nothing не сомневается.