Пилотное исследование: что проверить перед основным этапом

Перед основным опросом студентка замечает, что участники по-разному понимают вопрос: «Как часто вы используете цифровые образовательные ресурсы?». Одни учитывают только платформу вуза, другие добавляют видео и поисковики. Это выяснилось до сбора основных ответов, когда формулировку ещё можно уточнить.

Для такой проверки проводят пилотаж. Его задача не в том, чтобы заранее доказать гипотезу, а в том, чтобы увидеть, работает ли анкета и выполнима ли процедура, а затем решить, что стоит изменить.

Пилот исследования и предварительная проверка анкеты

Термины «пилотное исследование» и «исследование осуществимости» употребляются не одинаково. В методологической рамке, которую авторы статьи 2023 года развивают для клинических исследований, осуществимость понимается шире: такое исследование выясняет, можно ли провести будущую работу, стоит ли продолжать и как действовать дальше. Пилот в этой рамке проводится в меньшем масштабе и проверяет выполнимость всего будущего исследования или его части.

В энциклопедической статье SAGE пилотом называют как пробный запуск основного исследования, так и предварительную проверку отдельного инструмента или процедуры. Поэтому в учебной работе лучше сразу указать, что именно проверялось.

• Пилот исследования в целом проверяет ход проекта: набор участников, связь с ними, порядок опроса, сбор и обработку ответов, время выполнения процедуры.
• Предварительная проверка анкеты, или пилотаж, сосредоточена на инструменте. Проверяют понятность вопросов, подходящие варианты ответа, пропуски, неожиданные трактовки и время заполнения.

Пилотаж анкеты может быть частью более широкого пилота, но не обязан охватывать все этапы. Если вы проверили только формулировки и продолжительность заполнения, так и укажите: «Проведена предварительная проверка анкеты». Не называйте её пилотным исследованием всего проекта, если набор участников и другие процедуры не проверялись.

Это различение помогает описать, что было сделано, но не устанавливает единую терминологию для всех дисциплин. В статье о методологии исследования и её связи с методами подробнее разобрано, как согласовать методы с задачами работы.

Что пилот может сказать о гипотезе

Предположим, студент проверяет гипотезу: «Чем чаще студенты используют цифровые образовательные ресурсы, тем выше их удовлетворённость учебным процессом». Предварительная проверка поможет выяснить, понятны ли вопросы об использовании ресурсов и удовлетворённости. Пробный запуск всего исследования дополнительно покажет, удаётся ли пригласить подходящих участников и собрать ответы в запланированном порядке.

Если в пробных ответах заметна связь между показателями, это ещё не подтверждает гипотезу основного исследования. Небольшой пилот обычно проводят, чтобы проверить процедуры, а не сделать окончательный вывод о связи. Национальный центр комплементарного и интегративного здоровья США (NCCIH) формулирует это ограничение для пилотных исследований вмешательств: в таком контексте оценивают выполнимость и приемлемость подхода, а не гипотезу о его эффективности.

Рекомендация NCCIH относится к конкретной области исследований и не является универсальным правилом для всех дипломных работ. В студенческом опросе важно отделять проверку анкеты и процедуры от анализа гипотезы на основном материале.

Заранее решите, какие результаты проверки будут полезны для вашего проекта. Например: участники целевой группы понимают вопросы, ответы можно закодировать по плану, а заполнение укладывается в выбранное для этой анкеты время. Это не нормативы. Критерии нужно обосновать задачей и согласовать с научным руководителем, а также с методическими требованиями конкретного вуза.

Как провести пилотаж анкеты: пример по шагам

Предположим, студент готовит основной опрос о том, как студенты используют цифровые материалы для учёбы. Ниже приведён условный пример. Цифры и критерии показывают принцип планирования, но не являются официальным стандартом.

1. Определите цель проверки. Например, выясните, одинаково ли участники понимают, что считать цифровым образовательным ресурсом, могут ли ответить на каждый вопрос и сколько времени занимает заполнение.
2. Подберите участников, близких к целевой группе. Если основной опрос предназначен для студентов бакалавриата определённого направления, для проверки найдите людей со схожим учебным опытом. Универсального размера пилотной выборки нет. Его выбирают с учётом задачи, доступа к участникам и ограничений проекта.
3. Задайте критерии до начала проверки. Например, можно условно решить, что каждый вопрос должен быть понятен без дополнительных пояснений, а заполнение анкеты должно занимать не больше 10 минут. Такой порог подходит только тогда, когда он разумен для конкретной анкеты и целевой группы.
4. Проведите анкетирование и соберите обратную связь. Попросите участников рассказать, что вызвало затруднение. Уточните, как человек понял спорный термин, почему пропустил вопрос или не нашёл подходящего варианта. Не подсказывайте желаемое толкование до ответа.
5. Записывайте наблюдения в журнал. Укажите номер вопроса, замечание, принятое решение и его основание. Так вы сможете опираться на зафиксированные затруднения, а не на последующие догадки.
6. Исправьте анкету и перепроверьте важные изменения. Если изменился смысл вопроса или список ответов, проверьте, понятна ли новая версия. Запишите, какую версию использовали и когда внесли правку.
7. Решите, что делать дальше. Можно продолжить без изменений, внести правки, провести ещё одну проверку или пересмотреть план. Решение должно опираться на заранее заданные критерии, а не на желание быстрее начать сбор данных.

Что фиксировать в журнале замечаний

Таблица помогает превратить общую цель «проверить анкету» в конкретные наблюдения и решения. Критерии в примере условны и требуют адаптации к вашей работе.

Пример записи: «Вопрос 4: “Как часто вы используете цифровые образовательные ресурсы?” Двое участников включили в ответ обычный поиск в интернете, ещё один спросил, входят ли лекции в записи. Решение: заменить общий термин перечнем примеров и повторно проверить новую формулировку».

Такая запись описывает наблюдения и принятые действия. Она не доказывает, что участники основной выборки ответят так же.

Шаблон краткого отчёта о пилотаже

Скопируйте структуру и заполните её фактическими сведениями. Не указывайте предполагаемые результаты до проведения проверки.

Цель проверки: [какую процедуру или часть анкеты проверяли].

Участники и условия: [кто участвовал, почему эта группа подходит для предварительной проверки, где и как проходило заполнение].

Проверяемые критерии: [понятность вопросов, наличие подходящих вариантов ответа, время заполнения, работа формы и другие критерии проекта].

Наблюдения: [какие затруднения, пропуски, вопросы или технические проблемы возникли].

Внесённые изменения: [номер вопроса, прежняя формулировка, новая формулировка и причина правки].

Решение: [переход к основному этапу без изменений, переход после правок, дополнительная проверка или пересмотр процедуры].

Ограничения: [чего эта проверка не позволяет утверждать, например что гипотеза подтверждена или анкета одинаково понятна всем возможным участникам].

Если после проверки вы изменили анкету, сохраните прежнюю версию и опишите правки. В основной работе укажите, какие процедуры проверяли и что изменили. Точный формат отчёта обсудите с научным руководителем: требования к структуре и оформлению могут различаться в вузах и на кафедрах.

Частые ошибки

• Называть пилотом любое небольшое исследование. Малый объём данных сам по себе не объясняет назначение работы. Важно показать, как результаты связаны с подготовкой следующего этапа. Авторы методологической статьи 2023 года отмечают, что некоторые работы называют пилотными из-за ограничений, например небольшой выборки, а не потому, что они предназначены для планирования последующего исследования.
• Проверять гипотезу вместо процедур. Если вы изучаете понятность анкеты и порядок сбора данных, не делайте вывод о гипотезе по пробным ответам.
• Не определять критерии заранее. Без них легко объявить результат успешным задним числом. Критерии должны соответствовать задаче проверки.
• Считать, что несколько анкет автоматически подтверждают качество инструмента. Проверка помогает заметить конкретные трудности, но не гарантирует, что выявлены все возможные проблемы или что измерение валидно.
• Переносить клинические правила на любую дипломную работу. Медицинские рекомендации учитывают задачи и условия своей области. Для студенческого опроса из них можно взять отдельные общие идеи, но требования к работе нужно сверять с научным руководителем и документами своего вуза.
• Не описывать ограничения. Пилотаж показывает, что произошло при конкретной предварительной проверке. Он не гарантирует, что вся целевая группа будет заполнять анкету с той же скоростью и столкнётся с теми же затруднениями.

Что написать в методике

Краткое описание может выглядеть так: «Перед основным опросом проведена предварительная проверка анкеты. Её цель состояла в оценке понятности формулировок, полноты вариантов ответа и времени заполнения. Замечания фиксировались в журнале, после чего были внесены изменения в вопросы [указать номера]. Проверка проводилась для доработки инструмента и не предназначалась для проверки исследовательской гипотезы».

Подстройте формулировку под фактические действия. Если проверяли не только анкету, но и набор участников, порядок приглашения или сбор данных, перечислите эти процедуры отдельно. О том, как сформулировать гипотезу в дипломной работе, читайте в отдельном материале.

Пилот нужен не для того, чтобы придать небольшому набору ответов вид окончательного результата. Его практическая задача состоит в том, чтобы заранее увидеть, где анкета, процедура или план исследования могут дать сбой, и успеть это исправить. Решение о проведении пилота, критериях и содержании проверки студент принимает с научным руководителем и с учётом правил своего вуза.

Если на этапе подготовки возникают вопросы о кодировании ответов и плане обработки данных, можно обратиться за помощью со статистическим анализом. Заранее уточните содержание консультации и согласуйте план исследования с научным руководителем.

Источники

• Salkind N. J. (ред.). «Пилотное исследование». В: Encyclopedia of Research Design. SAGE, 2010. DOI: 10.4135/9781412961288.n312.
• Bond C. и соавторы. «Пилотные исследования и исследования осуществимости: развитие концептуальной рамки». Pilot and Feasibility Studies, 2023. DOI: 10.1186/s40814-023-01233-1.
• Национальный центр комплементарного и интегративного здоровья США. «Пилотные исследования: распространённое применение и ошибки». Страница NCCIH.
• Thabane L. и соавторы. «Учебное руководство по пилотным исследованиям: что это, зачем и как». BMC Medical Research Methodology, 2010. DOI: 10.1186/1471-2288-10-1. Рекомендации статьи относятся преимущественно к клиническим исследованиям.

Фото: RDNE Stock project / Pexels