Вы нашли статью, вывод которой подходит для обзора литературы. В аннотации есть убедительная цифра, журнал выглядит солидно, авторы пишут, что метод сработал. Этого достаточно, чтобы пересказать результат, но недостаточно, чтобы понять, насколько на него можно опереться. Перед включением статьи в обзор полезно восстановить путь от вопроса и данных до опубликованного вывода.

Представьте условную работу: исследователи сравнили две группы студентов и сообщили, что занятия с новой учебной платформой повысили результат итогового теста. Наша задача — понять, кого сравнивали, как измеряли результат, можно ли проверить расчёт и не скрывается ли за средней оценкой важное различие между группами. Ниже — порядок чтения такой статьи. Он подходит и для других тем, если заменить вопросы о студентах вопросами о своей выборке и методе.

Сначала выпишите именно тот вывод, который нужен обзору

Не оценивайте публикацию одним словом «надёжная». В одной статье основной результат может быть описан подробно, а вывод по отдельной подгруппе — почти без данных. Сформулируйте нужное утверждение в отдельной строке: «В изученной группе студентов средний результат теста после занятий с платформой отличался от результата группы сравнения». Так видно, что речь идёт об измеренной группе и определённом тесте, а не обо всех студентах.

Затем найдите в тексте ответ на три вопроса. Каков основной исход исследования? Был ли он выбран до анализа данных? Откуда следует причинный вывод, если авторы его делают? Если сравнивали добровольцев, выбравших платформу самостоятельно, различие в оценках может быть связано с исходной мотивацией. Если участников распределяли между условиями, важно узнать, как это делали и были ли группы сопоставимы после выбывания части студентов. Ни одно из этих замечаний само по себе не «опровергает» статью. Оно ограничивает то, как её можно цитировать.

Для обзора удобно записать рядом с выводом популяцию, способ сравнения, результат и оговорку. Например: «В одной университетской выборке использование платформы сопровождалось более высоким средним баллом; исходная мотивация участников не описана». Такая запись полезнее общего пересказа аннотации. Подробнее о чтении аргументации и ограничений — в материале про критический анализ научной статьи.

Проверьте, можно ли восстановить метод

Попробуйте пересказать процедуру так, чтобы другой исследователь понял, кого пригласили, что участники делали, когда проводили измерения и откуда взялась итоговая таблица. Если после чтения раздела «Методы» остаются слова «какие-то студенты», «несколько занятий» и «успеваемость стала лучше», опубликованного описания мало для оценки результата.

В нашем условном примере нужны хотя бы способ набора студентов, число участников в каждой группе, продолжительность занятий, содержание обычного обучения в группе сравнения, текст или описание итогового теста и правило подсчёта баллов. Особенно важно понять, что произошло с теми, кто начал программу, но не завершил её. Сравнение только оставшихся участников способно дать другую картину, чем сравнение всех первоначально включённых.

Полнота описания не равна качеству исследования. Автор может добросовестно раскрыть слабый дизайн; может и провести хорошую работу, но не дать читателю достаточно деталей для проверки. Поэтому записывайте конкретный пробел, например «не указано, как студенты попадали в группы», а не ставьте расплывчатую пометку «плохая методология». После этого будет ясно, какой вопрос задать автору или какое ограничение отметить в обзоре.

Если статья посвящена эксперименту, опросу или анализу архивных данных, набор существенных деталей будет разным. При работе с литературой сначала определите вид научной статьи и дизайн исследования, а затем подберите вопросы к нему. Для опроса критичны формулировки вопросов и способ набора респондентов; для лабораторного опыта — процедура измерения и условия эксперимента; для анализа готового набора данных — правила отбора и преобразования записей.

Отделите повторный расчёт от нового исследования

Слово «воспроизводимость» употребляют по-разному. Для работы с источником полезно явно различать два действия. Первое — повторить вычисления на тех же данных, тем же способом и получить согласующийся результат. Второе — собрать новые данные и проверить, возникает ли похожий эффект снова. В отчёте Национальных академий США эти задачи названы соответственно reproducibility и replicability. Это определения для данного отчёта, а не обязательный словарь для любой дисциплины.

Вернёмся к примеру с платформой. Если доступны обезличенные баллы и расчётный код, можно повторить опубликованную разницу средних. Совпадение числа показывает, что расчёт удалось воспроизвести. Оно не доказывает, что группы были сформированы без смещения или что тест измерял именно нужный навык. Другая команда может провести новую программу с иными студентами и получить сходный результат. Это уже отдельная проверка, но расхождение между двумя работами не обязательно означает ошибку: могли отличаться участники, преподавание или сам тест.

Поэтому в таблице обзора лучше иметь разные поля: «данные и код доступны», «расчёт повторён», «есть независимое исследование на новых данных», «условия сопоставимы». Объединять всё в одну галочку «воспроизводимо» неудобно: она скрывает, какая именно проверка выполнена. Если данных нет в открытом доступе из-за конфиденциальности, зафиксируйте это как ограничение проверяемости. Закрытый набор данных сам по себе не доказывает неверность вывода.

Сверьте числа, прежде чем оценивать сложную статистику

Для первой проверки не нужен специальный софт. Сравните число участников в аннотации, таблице исходных характеристик и разделе результатов. Посмотрите, одинаков ли смысл у процентов: доля от всех включённых студентов и доля от ответивших на итоговый тест могут заметно различаться. Убедитесь, что направления шкал не перепутаны: в некоторых тестах больший балл означает улучшение, в других — больше проблем.

Если исследование сообщает средние значения для двух групп, запишите сами значения, единицу измерения, разброс и размер каждой группы. Формулировка «результат улучшился на 20 %» без указания базы сравнения оставляет слишком много вариантов толкования. В условном примере балл мог вырасти с 50 до 60 — на 10 пунктов шкалы и на 20 % относительно исходного значения. Это разные способы описать одно изменение. Если в статье нет исходных чисел, не восстанавливайте их по рекламному заголовку.

Затем проверьте, совпадает ли заявленный вывод с показанными данными. Авторы могли показать разницу среднего балла, а в обсуждении написать, что платформа «помогает каждому студенту». Среднее не отвечает на вопрос о каждом участнике. Это место стоит пометить в обзоре как выход интерпретации за пределы результата. Разбор того, как аккуратно описывать собственные результаты, пригодится и при работе над текстом о том, как написать научную статью.

Поищите исправления и независимые проверки

Дата публикации — не последняя дата в жизни статьи. После выхода могли появиться исправленная таблица, новая версия данных, замечание редакции или отзыв. Откройте страницу публикации у издателя и проверьте связанные уведомления. По названию работы и ключевому эффекту найдите более поздние исследования. Число цитирований здесь не заменяет чтение: ссылаться на работу могут и ради критики, и ради описания метода.

Сопоставляя новое исследование с исходным, не ограничивайтесь словами «подтвердило» или «не подтвердило». Для примера с платформой запишите, были ли у групп сходный возраст и подготовка, одинаковая длительность занятий, сопоставимый тест и похожий способ анализа. Если второе исследование проходило в другом формате обучения, различие результатов может указывать на границы применения метода. Если оба анализа использовали один и тот же набор студентов, второй расчёт нельзя называть независимым повторением эксперимента.

Отсутствие найденной репликации — тоже не оценка истинности. Оно означает, что в доступных вам источниках независимое подтверждение не обнаружено. В обзоре это можно сообщить именно так, с датой поиска. Для подготовки библиографии и ссылок держите отдельную запись об исправлениях и версиях источника; это помогает не сослаться на устаревший вариант. Общие требования к представлению ссылки разобраны в материале про оформление научной статьи.

Запишите решение так, чтобы его можно было пересмотреть

После проверки не требуется насильно сводить всё к оценке «прошла» или «не прошла». У статьи может быть полезное описание метода, хотя численный эффект для вашего обзора непригоден. Возможен и другой случай: основной результат достаточно ясен, но вывод о небольшой подгруппе держится на данных, которых авторы не показали. Решение относится к конкретному утверждению и роли статьи в вашей работе.

Заведите короткую карточку источника: какой вывод вы хотели использовать; как сформированы группы; что известно о методе и измерении; доступны ли данные и расчёты; есть ли исправления и независимые исследования; какой пробел остаётся; как он влияет на формулировку вашего вывода. Для условной статьи о платформе итог может выглядеть так: «Использовать как пример исследования учебного инструмента. Сообщать об отличии среднего балла только для изученной выборки. Не делать вывода об эффективности для всех университетов, поскольку способ набора участников описан неполно».

Если источник важен для вашей гипотезы, но проверка оставила существенную неопределённость, не прячьте её в конце главы. Напишите ограничение рядом с тем предложением, которое опирается на статью. Читатель увидит и результат, и предел его применения. Позднее, если появятся дополнительные данные или новая репликация, карточку можно обновить без повторного чтения всей библиотеки с нуля.