Почему ИИ развивал навыки опытных юристов, но не младших

Пререгистрированный трёхмесячный эксперимент с 133 патентными юристами из США показал: участники, получившие доступ к генеративному ИИ, в среднем готовили более качественные патентные документы, чем контрольная группа. Но в задании, которое участники должны были выполнить без ИИ, преимущество сохранилось только у опытных специалистов. У младших юристов среднего прироста самостоятельных навыков не обнаружили.

О результатах 7 ноября 2026 года сообщил Eric W. Dolan в PsyPost. Материал пересказывает рабочую статью Национального бюро экономических исследований США (NBER), которая на момент публикации не прошла рецензирование.

Как проходил эксперимент

В исследовании участвовали практикующие юристы из 11 фирм. Из 156 специалистов, предложенных работодателями, 133 завершили вводный этап и случайным образом попали в одну из двух групп: 90 получили доступ к экспериментальному инструменту Google Labs, а 43 работали без генеративного ИИ.

Программа могла менять текст по запросу, давать замечания с позиций разных редакторов и искать внутренние несоответствия. Через десять и через 90 дней юристы выполняли задания по подготовке патентных документов. На финальном этапе они редактировали уже созданный ИИ черновик, но должны были не пользоваться инструментом. Работы оценивали независимые патентные юристы. Они проверяли юридическую применимость, техническую точность, полноту, ясность и другие параметры.

Во время работы с ИИ его пользователи получали более высокие оценки. Их результат был примерно на треть стандартного отклонения выше, чем у контрольной группы. Специалисты со стажем менее семи лет прибавляли сильнее, хотя разница между младшими и старшими участниками не достигла статистической значимости.

Первое задание пользователи ИИ выполняли примерно на десять минут быстрее. Контрольной группе в среднем требовалось около 110 минут.

Что произошло без инструмента

В задании, которое участники должны были выполнить без ИИ, общее преимущество пользователей инструмента обеспечили только старшие юристы. Они справились лучше опытных специалистов из контрольной группы. Среди младших юристов такого среднего преимущества не было.

При этом оценки младших участников стали более разнородными. В группе, работавшей с ИИ, оказалось меньше посредственных результатов, но больше плохих и хороших. Число самых высоких оценок не выросло.

Авторы предположили, что для одних младших специалистов ИИ мог стать опорой для обучения, а для других заменял часть самостоятельной работы. Почему возникло такое расхождение, эксперимент не установил.

Преимущество опытных юристов без инструмента тоже остаётся гипотезой. Они могли лучше оценивать и проверять предложения ИИ, сопоставляя их с профессиональными знаниями. Младшие специалисты чаще получали готовую помощь для конкретной задачи, но за три месяца, возможно, не успели превратить её в устойчивый навык. Авторы сформулировали вывод осторожно: базовая экспертиза может быть условием, при котором практика с ИИ действительно развивает мастерство.

Представим условную ситуацию. Начинающий юрист принимает предложенную ИИ формулировку, потому что ещё не умеет быстро заметить её юридическую слабость. Опытный специалист использует тот же текст как черновик, проверяет область защиты, технический смысл и последствия каждой правки. Один инструмент сокращает работу обоим, но самостоятельное понимание задачи может расти по-разному. Это объяснение согласуется с гипотезой авторов, однако эксперимент отдельно его не проверял.

Ограничения исследования

До начала эксперимента участникам не проводили тест на навыки. Поэтому исследователи выводили различия в конце из случайного распределения по группам, а не сравнивали их с исходным уровнем каждого юриста.

Соблюдение запрета на ИИ в финальном задании также нельзя было проверить напрямую. Аудит выявил возможное использование инструмента в 15 из 91 работы. Если исключить эти работы, преимущество старших юристов сохранилось, но стало слабее. Общая разница между группами перестала быть статистически значимой.

Трёх месяцев недостаточно, чтобы оценить формирование патентной экспертизы, на которое обычно уходят годы. В эксперименте участвовали только патентные юристы, поэтому его результаты нельзя автоматически переносить на другие профессии и задачи. Выборка была небольшой, особенно среди младших участников.

Исследование провела и профинансировала Google, разработавшая использованный инструмент. Шесть из семи авторов работали в компании. Для самостоятельной проверки научных источников можно воспользоваться, например, услугами по подготовке научных статей, но такая помощь не заменяет чтение оригинальной работы и оценку её ограничений.