Валидность исследования показывает, насколько обоснованы выводы, которые автор делает из полученных данных. Простыми словами: действительно ли вы проверили свой вопрос или получили ответ на другой? Если тест проверяет знание терминов, его высокий балл сам по себе не доказывает развитое критическое мышление. Если две учебные группы улучшили результаты, одного этого наблюдения недостаточно, чтобы назвать причиной улучшения новую методику.
Валидность не означает «безупречный эксперимент», отсутствие любых ограничений или соответствие одному универсальному стандарту. Нужно уточнять, о каком выводе идёт речь: об измерении свойства, причине изменения или переносе результата на другую ситуацию. Ниже разберём эти вопросы на авторском учебном примере с двумя вымышленными группами. Все его числа придуманы для объяснения и не являются результатами реального исследования.
Что характеризует валидность показателя в исследовании
Начните с предполагаемого смысла показателя. Запись «балл теста» неполна: какой материал он проверяет, по каким заданиям получен и для какого решения используется? В Standards for Educational and Psychological Testing AERA, APA и NCME валидность рассматривается применительно к интерпретации тестовых баллов для определённого использования. Доказательства для одного назначения нельзя автоматически переносить на другое.
Для своей работы составьте короткую цепочку: вопрос → понятие → наблюдаемый показатель → процедура → допустимый вывод. Например, вопрос «усвоены ли определения по теме?» можно связать с заданиями на воспроизведение определений. Вопрос «умеет ли студент оценивать аргументы?» требует другой проверки. Это разные задачи, даже если обе работы оцениваются по стобалльной шкале.
Опишите понятие без названия инструмента: что именно хотите изучить?
Покажите, какие ответы, действия или наблюдения будут его представлять.
Объясните условия сбора данных и правила оценивания.
Назовите вывод, который эти данные позволяют обсуждать, и его границу.
Если цепочка обрывается между понятием и показателем, дополнительные вычисления не заменят недостающего обоснования. Сначала уточните вопрос и способ измерения. Согласовать эти элементы поможет материал о том, как устроена методология исследования.
Внутренняя, внешняя и конструктная валидность: в чём разница
В учебной литературе вопросы валидности рассматривают с нескольких сторон. Это не четыре независимых сертификата качества и не обязательные четыре числовых коэффициента для любой работы. В частности, обоснование смысла тестовых баллов и обоснование причинного вывода относятся к разным задачам.
Сторона проверки
Главный вопрос
Пример ограничения
Внутренняя валидность
Есть ли основание связывать изменение с изучаемым воздействием, а не с другим фактором?
Группы изначально различались и занимались у разных преподавателей.
Внешняя валидность
На каких людей, условия и задачи можно переносить вывод?
Наблюдали только добровольцев одного курса; другие условия не проверены.
Конструктная валидность
Обосновано ли, что выбранная процедура представляет нужное понятие?
Знание терминов назвали критическим мышлением, не проверяя анализ аргументов.
Валидность статистического вывода
Соответствует ли вывод о связи данным и способу анализа?
По двум средним без сведений о разбросе объявили различие статистически значимым.
Низкая переносимость не делает всякое наблюдение «неверным». Работа может отвечать на узкий вопрос о конкретной ситуации, не обосновывая широкое обобщение. И наоборот: участники из разных городов ещё не устраняют смешение причин внутри сравнения. У каждой границы вывода должно быть своё объяснение.
Угрозы для внутренней и внешней валидности
Общую запись «возможна погрешность» полезно заменить конкретной угрозой. В учебном сравнении ниже разный исходный уровень и разные преподаватели — два отдельных возможных объяснения. Их нельзя убрать одним утверждением об объективности автора.
Что проверить
Как это может выглядеть в учебной работе
Что записать в плане
Отбор и исходные различия
Новый способ выбрали более мотивированные добровольцы.
Описать отбор, исходные характеристики и способ формирования групп.
Фоновые события и изменения со временем
За время наблюдения прошли дополнительные занятия или самостоятельная подготовка.
Зафиксировать календарь и доступные сведения о параллельных событиях.
Повторное тестирование и инструмент
Участники помнят задания; критерии оценивания изменились.
Проверить сопоставимость процедур и описать эффект знакомства с заданиями как возможное объяснение.
Выбывание участников
В итог попали только те, кто закончил оба измерения.
Показать исходное и итоговое число участников, причины пропусков, если они известны.
Реакция на условия и сочетание воздействий
Участникам уделяли дополнительное внимание; одновременно сменили материал и преподавателя.
Разделить компоненты процедуры и указать, какой именно комплекс сравнивается.
Перенос на другую ситуацию
Задания, сроки и состав одного курса не повторяются в другом.
Назвать целевую группу и условия, на которые данных пока нет.
Это рабочие подсказки для поиска ограничений, а не доказательство наличия всех перечисленных ошибок в любом исследовании. В своём журнале укажите: что произошло, на какой вывод влияет и что можно проверить. Если сведений нет, сохраните неопределённость вместо вымышленного объяснения.
Валидность и надёжность экспериментальных методов
Надёжность измерения связана с согласованностью результатов; она сама по себе не подтверждает правильность их интерпретации. Условный прибор, который при неизменной величине каждый раз добавляет два деления, может давать устойчивые показания и систематически ошибаться. Это вымышленная иллюстрация различия, а не проверка реального прибора.
Поэтому надёжность нельзя подменять «истинностью результата», а валидность — обещанием одинаковых чисел при любом повторении. Для тестов оценивают точность и согласованность баллов в определённых условиях. Для воспроизведения исследования дополнительно важны материалы, процедура и анализ; это более широкий вопрос, чем один коэффициент надёжности шкалы.
Как проверяют согласованность измерений
Проверка
Что сопоставляют
Важная оговорка
Повторное измерение во времени
Баллы тех же участников в два момента.
Оцениваемое свойство должно допускать такую проверку стабильности.
Альтернативные формы
Результаты по сопоставимым версиям инструмента.
Нельзя заранее считать любые два набора заданий эквивалентными.
Согласованность частей теста
Баллы по двум частям одного теста.
Делят задания, а не произвольные группы испытуемых.
Согласованность оценщиков
Оценки одной работы разными проверяющими.
Нужны общие критерии и данные для сравнения.
Выбор проверки зависит от измеряемого свойства и устройства инструмента. Повторный результат может измениться из-за самого свойства, обучения или другой процедуры. Не объявляйте метод надёжным только потому, что несколько чисел совпали. Единственный универсальный порог для всех инструментов здесь не задаётся.
Законченный учебный пример: две группы и разные выводы
Представим две уже существующие учебные группы по десять человек. В группе А применили новый набор упражнений, в группе Б — обычный. Участников случайным образом не распределяли. Занятия вели разные преподаватели. Все двадцать человек прошли оба тестирования, пропусков в этом примере нет.
Тест содержит десять заданий на знание определений по одной теме. Каждое оценивается от нуля до десяти баллов, итог — от нуля до ста. Ниже приведены вымышленные средние баллы. Индивидуальные результаты и показатели разброса не заданы, поэтому по этой таблице нельзя проверить статистическую значимость или рассчитать доверительный интервал различия.
Группа
Участников
До занятий
После занятий
Изменение среднего
А: новый набор
10
40
58
58 − 40 = 18 баллов
Б: обычный набор
10
50
62
62 − 50 = 12 баллов
Шаг 1. Посчитать и назвать сравнение
Разность изменений составляет 18 − 12 = 6 баллов. Если сравнивать только итоговые средние, получится другое число: 58 − 62 = −4 балла. Противоречия нет: в первом случае сравнивают изменения, во втором — итоговый уровень. В начале у группы А средний балл был на десять ниже: 40 − 50 = −10.
Слово «балл» важно: шесть баллов разности изменений не следует автоматически называть шестью процентами прироста. Здесь не вычислялся относительный прирост к исходному уровню. До анализа запишите, какую величину сравниваете, и сохраните её название в таблице, подписи к рисунку и выводе.
Шаг 2. Проверить альтернативные объяснения
Внутри нашего вымышленного примера нельзя отделить новый набор упражнений от преподавателя: каждое условие связано со своим преподавателем. Кроме того, группы начали с разного уровня и не были сформированы случайным распределением. Вычитание исходных средних само по себе не устраняет эти ограничения. Число шесть описывает таблицу, но не становится от этого доказанным причинным эффектом.
Случайное распределение по условиям используют для уменьшения риска смешения, однако это не то же самое, что случайный отбор людей из всей целевой группы. Даже хорошее распределение не превращает один курс в представительную выборку всех студентов. Решения о дизайне нужно принимать до сбора данных, с учётом задачи, возможностей и этических условий.
Шаг 3. Сформулировать законченный вывод
«В условной группе А средний балл изменился с 40 до 58, в группе Б — с 50 до 62. Разность изменений равна 6 баллам. Из-за отсутствия случайного распределения, разных исходных уровней и разных преподавателей эти сведения не позволяют приписать различие только набору упражнений. Тест проверял знание определений по выбранной теме; другие учебные умения и перенос на другие курсы не оценивались».
Это полный ответ на задачу примера: величины посчитаны, сопоставления названы, причина не выдумана, границы измерения и обобщения указаны. Для настоящей работы дополнительно потребуются исходные данные и подходящий анализ. Если нужно обсудить обработку уже собранных результатов, можно обратиться за статистическим анализом данных. Обработка не заменяет недостающий дизайн и не создаёт отсутствовавшее случайное распределение.
Авторская учебная схема. Группы и числа вымышлены: А40→58, Б50→62; разность изменений6баллов описывает пример, а не доказывает причинный эффект.
Понятия вроде тревожности или учебной мотивации требуют обоснования связи с наблюдаемыми ответами. Для этого изучают содержание заданий, структуру баллов и связи с другими показателями. Соответствие внешнему критерию, сближение измерений близких понятий и различение разных понятий дают разные виды доказательств. Одного впечатления «вопросы выглядят подходящими» недостаточно.
В учебном примере похожее ограничение возникает без психологического опросника: тест определений не проверяет всю учебную успешность. Прежде чем расширять трактовку балла, нужно определить новые умения и получить соответствующие доказательства. Написать в названии теста «критическое мышление» для этого недостаточно.
Как описать ограничения валидности в курсовой или диссертации
Вместо общего «исследование валидно» разберите три записи: что обосновывается → чем подтверждается → что остаётся неизвестным. Для примера выше первая запись будет такой: «описательное сравнение средних; подтверждается заданными числами и проверкой арифметики; индивидуальный разброс неизвестен». Вторая: «причинное объяснение; дизайн его не отделяет от преподавателя и состава групп; причинный эффект не установлен».
Далее назовите улучшение будущего исследования, не выдавая его за уже выполненную процедуру. Например: заранее продумать распределение участников по условиям, общие инструкции и критерии, учёт пропусков, а также инструменты для тех умений, о которых планируется вывод. Это направления доработки, а не универсальный рецепт и не обещание, что одна мера устранит все угрозы.
Удобно вести журнал решений: дата, наблюдаемая проблема, затронутый вывод, действие и остаточное ограничение. Термины «валидность», «достоверность» и «обоснованность» не заменяют такого объяснения. Их связь с аргументацией рассмотрена в материале о достоверности и обоснованности исследования.
Рабочий лист для самопроверки
Вопрос исследования сформулирован отдельно от названия метода.
Понятно, какое свойство представляет каждый показатель.
Описаны отбор, условия, инструмент и правила оценивания.
Причинный вывод отделён от описания различий и связей.
Указано, какие люди, условия и задачи действительно изучались.
Расчёт согласован с исходными данными; неопределённость не скрыта.
Предложения для следующего исследования не названы уже выполненными действиями.
