Можно ли узнать, что происходит внутри языковой модели, по её ответу? В обычном разговоре это трудно проверить: система может убедительно описывать «свои мысли», не опираясь на внутреннее состояние. Исследователи попробовали обойти эту трудность: искусственно меняли активации модели, а затем спрашивали, заметила ли она вмешательство.

Здесь легко смешать три разных результата. Модель может обнаружить, что произошло что-то необычное, угадать содержание изменения или действительно отслеживать собственное состояние. Одно не доказывает другое. Чтобы увидеть разницу, стоит сопоставить исходный эксперимент, его воспроизведения и критические проверки.

29 октября 2025 года Джек Линдси из Anthropic опубликовал на сайте Transformer Circuits исследовательский отчёт «Возникающее интроспективное осознание в больших языковых моделях». На странице не указан статус рецензирования. Линдси проверял, зависит ли самоотчёт модели от её внутренних представлений: извлекал векторы активности, связанные с понятиями, и вводил их в остаточный поток модели на разных слоях. Затем Claude спрашивали, обнаружила ли она внедрённую «мысль» и о чём та.

В систематической части работы использовали 50 случайно выбранных слов, варьировали слой и силу вмешательства, а результаты сравнивали с испытаниями без внедрения. Ответ считали успешным, если модель сообщала о вмешательстве, правильно называла понятие и делала это до того, как произносила связанное слово. В подходящих условиях Claude Opus 4 и 4.1 справлялись примерно в 20% испытаний. В ста контрольных попытках без вмешательства производственные модели не дали ложных срабатываний.

Ранний ответ и чистый контроль важны: модель не могла просто заметить необычное слово в собственном предыдущем тексте. Но эксперимент проверял поведение в специально устроенной, неестественной ситуации. Успех оставался редким, зависел от слоя и силы внедрения, а авторы не проверяли наличие у ИИ человеческого самосознания или субъективного опыта. Линдси считал подтверждёнными только первоначальное обнаружение вмешательства и, иногда, правильное определение понятия. Остальные детали объяснений модели могли быть выдуманными.

Именно содержание ответа стало предметом работы Харви Ледермана и Кайла Маховальда. В препринте, поданном на arXiv 5 марта 2026 года и обновлённом 7 апреля, они воспроизвели парадигму Линдси на больших моделях с открытыми весами. Их вывод: модель могла заметить аномалию, не определив надёжно, что именно внедрили. Ошибаясь, она часто называла частотное конкретное слово, например «яблоко». Авторы назвали такой эффект нечувствительным к содержанию: сигнал об аномалии обнаруживается отдельно от распознавания её причины. Это препринт, а не подтверждённая рецензированная публикация.

Такое разделение не отменяет обнаружение, но делает его более узким свидетельством. Необычный рисунок активности может вызвать реакцию «что-то не так», не позволяя модели достоверно установить, какое понятие он кодирует.

Другой препринт исследует, как устроено это обнаружение. Узай Макар, Ли Ян, Аттикус Ван, Питер Уоллич, Эммануэль Амейсен и Джек Линдси представили работу «Механизмы интроспективного осознания» на arXiv 22 марта 2026 года; версия 5 датирована 10 июня. На открытых моделях авторы проверяли устойчивость эффекта при разных формулировках и форматах диалога, сравнивали базовые и дообученные модели и анализировали механизмы по слоям и направлениям активности. Они сообщили о нулевой частоте ложных срабатываний в проверенных условиях и связали способность с дообучением: её вызывали некоторые методы оптимизации предпочтений, но не обычное обучение с учителем. По их анализу, обнаружение и определение содержания опираются преимущественно на разные механизмы.

Это объяснение спорит с простой версией, будто внедрённый вектор лишь подталкивает модель сказать «да». Однако подробное описание вычислительных механизмов не решает, подходит ли им слово «интроспекция». В этой работе оно входит в название и обозначает исследуемую способность обнаруживать внедрённые векторы, а не заранее установленное наличие человеческого самонаблюдения.

В отчёте Линдси есть и другой опыт: модель просили «думать» о постороннем слове или, наоборот, не думать о нём, а затем измеряли, как меняется его представление в активациях. Инструкция влияла на внутреннее состояние, но это не доказывает, что модель замечала изменение как отдельное событие. Сам автор оговаривал, что такое управление может не требовать интроспективного осознания.

Спор зависит и от того, как определить интроспекцию. В препринте от 20 августа 2025 года Сиюань Сонг, Харви Ледерман, Дженнифер Ху и Кайл Маховальд предложили критерий «привилегированного доступа»: модель должна получать сведения о внутреннем состоянии способом более надёжным, чем доступный внешнему наблюдателю способ с равными или меньшими вычислительными затратами. На задачах, где модели рассуждали о собственных параметрах температуры, авторы показали, что убедительное самоописание ещё не подтверждает такой доступ.

Ещё одну проверку провели Шашват Сингх, Тал Линзен и Шаули Равфогель. В препринте, поданном 25 мая и обновлённом 21 августа 2026 года, они проверили, могут ли модели отличить вмешательство во внутреннее состояние от манипуляции входными данными. По их результатам, надёжно провести это различие не удалось. Успех мог объясняться общей реакцией на аномалию, а не отслеживанием собственного состояния. Авторы заключили, что данных пока недостаточно, чтобы установить метакогнитивный мониторинг, то есть наблюдение модели за собственными мыслительными процессами. В записи arXiv указано, что работа принята на COLM 2026; это не равнозначно опубликованной журнальной статье.

Итак, эксперименты поддерживают несколько ограниченных выводов: некоторые модели реагируют на искусственно изменённые активации, иногда обнаруживают необычный сигнал до его появления в тексте, а инструкции могут менять силу внутренних представлений. Но обнаружение аномалии, распознавание её содержания и метакогнитивное отслеживание собственного состояния требуют разных доказательств. Первое подтверждено лучше; второе ненадёжно, а относительно третьего продолжается спор.

Практический вывод прост: если модель заявляет, что заметила собственное внутреннее состояние, это заявление само по себе не даёт прозрачного отчёта о том, как она пришла к ответу. Почему убедительная речь ИИ также не доказывает наличие у него субъективного опыта, разобрано в статье о различии между способностями модели и внутренним опытом.

Источники

Схема показывает, почему обнаружение внедрённого паттерна, распознавание его содержания и доказательство интроспекции являются разными проверками.

Фото: Matheus Bertelli / Pexels