Почему повторные эксперименты подтверждают не каждый результат о поведении

В статье Nature от 1 апреля 2026 года 151 из 274 положительных результатов повторился со статистической значимостью в том же направлении. Это 55,1% проверенных утверждений. При другом способе подсчёта, когда каждая статья получает равный вес, доля составляет 49,3%, или эквивалент 80,8 статьи из 164. За этими числами стоит не рейтинг социальных наук, а вопрос об устойчивости опубликованного наблюдения.

Авторы отобрали 274 утверждения о положительных результатах из 164 количественных работ, опубликованных с 2009 по 2018 год в 54 журналах. В охват вошли шесть областей: психология, экономика, социология, политология, образование и бизнес. Проверки проводили независимые команды, а не авторы исходных статей. Всего завершили 296 попыток повторения; на одно утверждение иногда приходилось несколько попыток.

По пересказу PsyPost, проект начинался со случайной выборки 3900 количественных статей из 62 журналов. После отбора работ с реальными данными о людях и положительным статистическим результатом осталось около 1500 подходящих публикаций. Из них и набирали проекты для повторения. Для 98 статей команды собрали новые данные, для 66 проанализировали независимые вторичные наборы. В подмножестве, где можно было сопоставить корреляции, медианный размер выборки составлял 206 единиц наблюдения в исходной работе и 545 в повторной.

Мощность проверок была высокой: медиана 99,6% для обнаружения эффекта исходного размера. Иными словами, команды в большинстве случаев имели достаточно данных, чтобы заметить эффект, если он сохранялся. Повторные команды использовали исходные материалы, когда они были доступны и подходили для проверки. По данным PsyPost, планы анализа заранее регистрировали, а внутреннее рецензирование допускало комментарии авторов исходной работы. Полный текст статьи в Nature закрыт подпиской, поэтому детали, которых нет в аннотации, ниже опираются на журналистский пересказ и помечены.

Как считали успех

Основной критерий прост: в повторной работе должен появиться статистически значимый эффект в том же направлении. По этому критерию повторились 151 из 274 утверждений (55,1%) и взвешенная доля 49,3% статей. Но авторы не остановились на одном пороге. Они применили 13 способов оценки, от совпадения значимости до совместного анализа исходных и новых данных. Доля успеха в этом наборе критериев колебалась от 28,6% до 74,8%, медиана составила 49,3%.

Разброс не означает, что где-то посчитали неправильно. Разные критерии отвечают на разные вопросы. Один спрашивает, сохранилась ли статистическая значимость. Другой: попал ли новый результат в интервал неопределённости исходного. Третий: насколько согласуются оба набора данных, если объединить их. Совместный анализ с исходными положительными данными даёт более высокую оценку (до 74,8%), потому что он включает и первоначальный результат. Критерии, которые штрафуют повтор за слишком большой или слишком малый эффект, дают более низкие значения.

Размер эффекта тоже снизился. Медианная корреляция Пирсона в исходных работах составляла r = 0,25, в повторных r = 0,10. Авторы оценили сокращение общей объяснённой дисперсии в 82,4%. Это число легко прочитать неверно. Речь не о том, что эффект уменьшился на 82,4%: корреляция упала примерно на 58,1%, а общая доля дисперсии, которую связывают две переменные, сократилась сильнее, потому что она пропорциональна квадрату корреляции. Для читателя практический смысл один: исходные оценки в этом наборе были заметно выше повторных.

Часть снижения ожидаема. Проверяли только опубликованные положительные результаты. Среди них могли оказаться эффекты, случайно завышенные в исходной выборке. При новой проверке такие значения приближаются к менее экстремальному среднему. Это регрессия к среднему, и авторы прямо называют её одним из ограничений отбора. Она объясняет часть картины, но не отменяет вопрос, почему столько результатов не воспроизвелось даже с высокой мощностью.

Что нельзя выводить из этих чисел

Из этих чисел нельзя вывести, что социальные науки ошибаются примерно в половине случаев. Проект проверял положительные результаты количественных работ. Качественные исследования и публикации с нулевыми результатами в исходный набор не входили. Более того, завершённые повторы зависели от практической выполнимости: бюджета, сроков и наличия команды с нужной экспертизой. По пересказу PsyPost, доля психологии в исходной выборке составляла около 24%, а в завершённых работах 35,4%; доля образования и политологии уменьшилась. Поэтому 164 статьи не являются случайной копией всей литературы о поведении.

Неудача повторения тоже не доказывает, что исходный результат ложен. Это подчёркивал Брайан Носек, один из руководителей проекта. В пересказе PsyPost он говорит: «Неудача при повторении не означает, что исходный результат неверен». Возможны ошибка в повторной работе, непредусмотренные условия или различия между выборками. Стефани Зеллерс, постдокторант Хельсинкского университета, не участвовавшая в проекте, добавила: «Эти результаты не означают, что социальные и поведенческие науки правы только в половине случаев, и их нельзя так интерпретировать». Её слова также приводит PsyPost. Обе реплики важны, потому что удерживают границу между долей успешных повторов и истинностью целой области.

Дисциплины и сравнение с 2018 годом

По областям взвешенные доли успеха лежали в диапазоне от 42,5% в экономике до 63,1% в образовании. В психологии она составила 49,0%, в социологии 51,1%, в политологии 52,0%, в бизнесе 47,2%. В аннотации Nature говорится об умеренных различиях и высокой неопределённости части оценок. В пересказе PsyPost уточняется, что статистически значимых различий между дисциплинами авторы не обнаружили. В образовании, например, было всего 13 статей, поэтому оценка для этой области особенно неточна. Корректный вывод не в том, что одна дисциплина надёжнее другой, а в том, что проблема воспроизведения в этом проекте не выглядела свойством одной области.

Сравнение с более ранней работой помогает увидеть масштаб. В 2018 году Камерер и соавторы повторили 21 экспериментальную работу из Nature и Science, опубликованную с 2010 по 2015 год. Значимый эффект в исходном направлении получился в 13 случаях, то есть в 62%. Средний размер эффекта повторов составил около половины исходного. Это не прямое противоречие новому проекту. Ранняя работа была меньше, охватывала отобранные эксперименты из двух журналов и не претендовала на кросс-дисциплинарную выборку.

Что это значит для чтения отдельной статьи

Для чтения отдельной статьи полезно разделять три вещи: направление эффекта, его величину и неопределённость. Публикация с p < 0,05 говорит, что результат трудно объяснить случайностью при определённых допущениях. Она не говорит, что эффект большой, устойчивый или одинаковый в других условиях. Если эффект в исходной работе был маленьким, а выборка небольшой, повтор может дать менее впечатляющую оценку даже при реальном явлении. Поэтому полезно смотреть на доверительные интервалы, размер выборки и на то, проверяли ли результат независимо. Для этого пригодится и разбор того, что такое достоверность исследования.

Есть и системный вопрос. Журналы исторически чаще публикуют новые и положительные результаты, а повторные проверки получают меньше внимания. PsyPost перечисляет несколько возможных объяснений: смещение публикаций в пользу положительных результатов, малые выборки, несовершенные измерения и гибкость анализа. Но доступная аннотация Nature не оценивает, какой вклад внёс каждый из этих факторов. Сводить итог к одной причине было бы преждевременно.

Сами авторы, по словам Носека, видят практический вывод не в том, чтобы отвергать отдельные публикации, а в том, чтобы не принимать одну статью за установленный факт. В пересказе PsyPost он говорит: «Основной вывод в том, что воспроизводимость опубликованных результатов нельзя принимать как данность». И добавляет, что работа показывает большую неопределённость в опубликованной литературе, чем мы привыкли замечать. Это осторожная формулировка. Она не превращает 49,3% в оценку доли ложных результатов. Она напоминает, что уверенность в отдельном наблюдении должна опираться на независимые данные и совокупность исследований.

Статья Тайнера, Абатайо, Дейли и многих соавторов прошла рецензирование. Nature называет рецензентов и сообщает, что их отчёты доступны. Полный текст статьи закрыт подпиской, но в разделе о доступности данных указано, что та часть данных, материалов и кода, которую можно открыть, находится в обновляемом репозитории Открытой научной платформы (OSF), а архивная версия на момент публикации тоже сохранена. Часть данных может быть закрыта по условиям доступа. Поэтому основные числа из аннотации можно проверить по публикации и репозиторию, а объяснения причин остаются предметом дальнейших исследований.

Итог для читателя простой, хотя и неудобный: опубликованный положительный результат заслуживает внимания, но не окончательного доверия. Его устойчивость проверяется не одной публикацией, а последующими независимыми данными, величиной эффекта, неопределённостью и совокупностью исследований. Остаётся открытым вопрос, какие условия сильнее всего влияют на воспроизводимость и можно ли менять эти условия на уровне журналов, финансирования и обучения исследователей.

Источники

1. Tyner, A. H. et al. “Investigating the replicability of the social and behavioural sciences”. Nature, 652, 143-150 (2026). DOI: 10.1038/s41586-025-10078-y. Рецензированная статья. Аннотация и сведения о рецензировании открыты, полный текст по подписке. В разделе о доступности данных указан обновляемый репозиторий OSF и архивная версия.
2. Camerer, C. F. et al. “Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015”. Nature Human Behaviour, 2, 637-644 (2018). DOI: 10.1038/s41562-018-0399-z. Рецензированная статья, полный текст по подписке.
3. Dolan, E. W. “Only about half of social science findings held up when retested, major replication project finds”. PsyPost, 29 октября 2026 года. Материал PsyPost. Журналистский пересказ; использован для деталей, которых нет в аннотации Nature, и для комментариев Носека и Зеллерс.

Фото: Roxanne Minnish / Pexels