Статистическая и практическая значимость: эффект и интервал

В разделе «Результаты» написано: «Разница между группами статистически значима, p = 0,03». Но насколько различаются группы? Достаточно ли этой разницы, чтобы изменить практику? Одного p-значения для ответа не хватит.

Американская статистическая ассоциация в заявлении 2016 года подчёркивает: p-значение не измеряет ни размер эффекта, ни важность результата. Оно может показать, насколько данные несовместимы с заданной статистической моделью, но научные и практические решения не следует принимать только по тому, оказался ли показатель ниже выбранного порога.

Разберём это на условном примере. Все числа ниже учебные, они не получены в реальном исследовании.

Три сценария на одной шкале

Предположим, сравнивают две версии образовательного теста со шкалой от 0 до 100 баллов. До анализа в рамках этого условного проекта установили минимальный полезный выигрыш: 3 балла. Это проектный критерий, а не универсальная норма.

Для примера заданы разница между группами Δ и стандартная ошибка SE. Расчёты используют условную нормальную модель с известной стандартной ошибкой: z = Δ / SE; двустороннее p = 2 × (1 − Φ(|z|)); 95% интервал = Δ ± 1,96 × SE. Здесь Φ обозначает функцию распределения стандартного нормального закона. В реальной работе способ расчёта зависит от данных, дизайна исследования и выбранного метода анализа.

Учебные сценарии: разница в баллах теста и её неопределённость

Сценарий	Δ, баллы	SE, баллы	z	p, двустороннее	95% интервал
А	0,4	0,1	4	≈ 0,000063	[0,204; 0,596]
Б	4	3	≈ 1,33	≈ 0,1824	[−1,88; 9,88]
В	4	0,3	≈ 13,33	< 0,001	[3,412; 4,588]

Три вымышленных сценария в нормальной модели с известными SE: А — интервал0,204–0,596; Б — −1,88–9,88; В —3,412–4,588. Условный порог полезности3балла. — Учебная нормальная модель с известными стандартными ошибками. Сценарии и порог полезности вымышлены; границы интервалов на рисунке округлены.

Сценарий А: заметное отличие от нуля, но небольшой эффект

Разница составляет 0,4 балла, а p примерно равно 0,000063. Однако весь 95% интервал, от 0,204 до 0,596 балла, ниже проектного порога в 3 балла. В рамках заданных критериев результат статистически отличим от нуля, но не достигает минимального полезного выигрыша.

Малое p не означает, что эффект велик. Для практической оценки нужно смотреть на размер разницы и её интервал, а затем сопоставлять их с заранее выбранным критерием полезности.

Сценарий Б: оценка выше порога, но вывод неопределённый

Точечная оценка равна 4 баллам, но 95% интервал простирается от −1,88 до 9,88. Он включает ноль, отрицательные значения и значения как ниже, так и выше порога в 3 балла. При выбранной модели и тесте данных недостаточно, чтобы отвергнуть нулевое значение. Это не подтверждает отсутствие эффекта: интервал показывает, что оценка остаётся неточной.

По одной точечной оценке нельзя заключить, что тест полезен. Результат совместим с разными возможными величинами эффекта, поэтому его практическая ценность пока неясна.

Сценарий В: интервал целиком выше порога

Разница составляет 4 балла, а 95% интервал идёт от 3,412 до 4,588. Он целиком выше проектного порога в 3 балла. В этом условном примере оценка и её неопределённость согласуются с практическим критерием проекта. Такой вывод относится только к заданным числам и условиям; он не доказывает, что результат будет таким же в других условиях.

Как не подгонять критерии под результат

Минимально полезный эффект следует обосновать до того, как вы посмотрите на результаты. Основанием могут быть требования проекта или другое заранее выбранное обоснование. Если менять порог после анализа так, чтобы полученный эффект обязательно оказался «полезным», интерпретация становится зависимой от результата.

Не сводите вывод к формуле «p меньше 0,05 — значит, эффект большой» или «p больше 0,05 — значит, эффекта нет». Американская статистическая ассоциация отдельно предупреждает, что p-значение не измеряет размер эффекта и не должно быть единственным основанием для научных или практических решений.

Как описать результат в работе

Укажите величину эффекта в понятных единицах, интервал, метод расчёта и критерий практической полезности. Например, для сценария В условный вывод можно сформулировать так:

В условном примере разница средних баллов между группами составила 4 балла (95% интервал [3,41; 4,59]; расчёт по заданной нормальной модели). До анализа минимально полезный выигрыш для проекта был установлен на уровне 3 баллов. Интервал целиком выше этого порога, поэтому результат соответствует критерию практической полезности, принятому для данного проекта. Числа приведены для учебной иллюстрации и не описывают реальные данные.

Для собственной работы укажите фактический метод анализа и обоснование порога. Проверьте также локальные требования кафедры или вуза к оформлению результатов. Если нужно объяснить, как практическая польза связана с задачами диплома, поможет материал о практической значимости дипломной работы.

Что держать в поле зрения

Интервал помогает увидеть не только направление точечной оценки, но и диапазон значений, совместимых с использованным расчётом. Сопоставляйте его с нулём и заранее заданным порогом полезности. Если интервал широк и пересекает порог, вывод о практической ценности остаётся неопределённым. Если весь интервал ниже порога, результат не достигает заданного критерия. Если весь интервал выше него, это поддерживает вывод о полезности именно в рамках выбранной модели и проекта.

Эта интерпретация не отменяет проверки того, как собраны данные и подходит ли к ним модель. Узкий интервал сам по себе не гарантирует, что результаты можно переносить на другую группу или условия.

Если нужна консультация по выбору метода и описанию результатов, можно обратиться за помощью со статистическим анализом. План обработки данных стоит согласовать до начала расчётов.

Чек-лист перед описанием результата

Назовите исследовательский вопрос, оцениваемую разницу и единицы измерения.
Укажите метод анализа и способ получения стандартной ошибки и интервала.
Приведите величину эффекта и интервал, а не только p-значение.
Сопоставьте результат с нулём и заранее обоснованным критерием полезности.
Опишите ограничения сбора данных, модели и применимости вывода.
В собственной работе используйте реальные результаты; учебные числа этой статьи не заменяют расчёты по вашим данным.