Представьте: студент хочет выяснить, как учащиеся университета относятся к занятиям в записи. Он публикует анкету в одном студенческом чате и получает много ответов. Но кто увидел приглашение? И так ли охотно отвечали те, кому онлайн-занятия безразличны, как те, кому они нравятся?

Количество заполненных анкет само по себе на эти вопросы не отвечает. Чтобы обосновать репрезентативность, нужно объяснить, кого изучали, где набирали участников и как могли повлиять отказы от ответа. Если приглашение разместили только в одном чате и участие было добровольным, результаты описывают прежде всего ответивших студентов, а не автоматически всех учащихся университета.

Что означает репрезентативность

Выборка — это участники, чьи ответы анализирует исследователь. Генеральная совокупность — группа, о которой он хочет сделать вывод. Например, это могут быть все студенты конкретного вуза, обучавшиеся в определённом семестре. Репрезентативность означает, что способ набора и состав участников позволяют обоснованно судить об этой группе с учётом цели исследования и ограничений данных.

Большое число участников или наличие студентов разных курсов ещё не делает выборку репрезентативной. Важно, как люди получили возможность попасть в исследование. Профессиональные рекомендации Американской ассоциации исследований общественного мнения (AAPOR) советуют раскрывать, какую совокупность изучали, откуда набирали участников, как их приглашали, сколько ответов получили и каковы ограничения метода. Это рекомендации профессиональной организации, а не обязательный российский норматив. Требования к учебной работе нужно сверять с методичкой кафедры и указаниями научного руководителя.

Сначала определите, о ком хотите говорить

Границы генеральной совокупности нужно определить до рассылки анкеты. Уточните вуз или подразделение, период обучения и критерии участия. Под словом «студенты» могут подразумеваться все учащиеся университета, только бакалавры или студенты очной формы конкретного факультета. Чем точнее заданы границы, тем понятнее, подходит ли выбранный способ набора.

В условном примере исследователь может сформулировать вопрос так: «Как студенты бакалавриата факультета экономики, обучавшиеся очно в весеннем семестре, оценивают занятия в записи?» Это образец формулировки, а не данные реального вуза. Он задаёт понятные границы целевой группы и не позволяет незаметно перенести выводы на магистрантов, другие факультеты или весь университет.

Рамка отбора и способ приглашения

Рамка отбора — это источник, по которому можно определить потенциальных участников или связаться с ними. Например, список студентов, набор адресов или список участников панели. Если исследователь набирает людей через чат, рамка фактически ограничена пользователями, которые состоят в этом чате и могут увидеть приглашение. У тех, кто туда не входит или редко читает сообщения, меньше возможностей попасть в опрос.

Сам по себе онлайн-формат не определяет тип выборки. Анкету можно отправить случайно выбранным людям из подходящего списка, а можно опубликовать в соцсети и ждать добровольцев. В первом случае возможен вероятностный отбор, если для каждого участника рамки известна ненулевая вероятность попасть в выборку. Во втором набор неслучайный.

Даже при вероятностном отборе нужно описать охват рамки: кого в ней нет и с кем не удалось связаться. Добровольный ответ ставит ещё один вопрос: отличаются ли ответившие от тех, кто проигнорировал приглашение? Если это неизвестно, так и напишите. Не приписывайте выборке точность, которую не обосновывает дизайн исследования.

Три способа набрать участников

СпособКак работаетЧто можно утверждать
Вероятностный отборУчастников случайно выбирают из определённой рамки, где у каждого есть известная ненулевая вероятность отбора.При достаточном охвате рамки и учёте неответов можно оценивать характеристики целевой совокупности. Ограничения дизайна всё равно нужно описать.
Квотный наборЗаранее задают нужное число участников в категориях по отдельным признакам, например по курсу или форме обучения. Набирают их не обязательно случайно.Можно сообщить, какие квоты соблюдали. Совпадение по этим признакам не доказывает сходства по другим характеристикам и само по себе не подтверждает репрезентативность.
Удобная или добровольная выборкаПриглашают доступных исследователю людей или размещают открытую ссылку, по которой желающие отвечают сами.Можно описывать собранные ответы и осторожно обсуждать их в пределах учебной задачи. Обобщение на более широкую группу требует дополнительных оснований.

Допустим, исследователь размещает открытую ссылку в чате факультета: это удобный набор добровольцев. Если он следит за тем, чтобы среди ответивших были студенты разных курсов, набор от этого не становится вероятностным: в пределах каждой квоты люди по-прежнему сами решают, участвовать ли. Квоты помогают контролировать состав по заданным признакам, но не устраняют самоотбор.

Неответы: кто не дошёл до анкеты

Между приглашением и заполненной анкетой возможны потери: человек не увидел сообщение, отказался участвовать, начал опрос, но не закончил, или пропустил отдельный вопрос. Если ответившие отличаются от тех, кто не ответил, оценки могут сместиться. Например, люди с сильным мнением о занятиях могут охотнее им делиться. Но без сведений о наборе нельзя утверждать, что именно так произошло в конкретном исследовании.

Если эти числа известны, укажите, сколько приглашений отправили, сколько анкет получили и сколько ответов вошло в анализ. Опишите неполные ответы и правила исключения анкет. Если открытую ссылку могли пересылать дальше, а число увидевших приглашение неизвестно, не рассчитывайте долю ответивших от предполагаемого числа участников.

Как описать учебный опрос

Ниже приведён шаблон для методического раздела. Замените текст в скобках фактическими сведениями. Если показатель не собирали, не угадывайте его значение: укажите, что он неизвестен или не учитывался.

Целевая совокупность исследования: [кто именно, где и в какой период]. Участников приглашали через [список, чат, электронную почту или другой источник]. Рамка отбора включала [кого охватывал источник] и не включала или могла не охватывать [известные ограничения]. Использовали [вероятностный / квотный / удобный добровольный] способ набора. При вероятностном отборе участников выбирали [как именно]; при квотном наборе контролировали квоты по [признаки]. Анкету завершили [число] человек, в анализ включено [число] ответов. Данные собирали [период] в формате [онлайн / очно / иной формат]. Неответы и возможные ограничения: [что известно о неответах и пропущенных группах]. Данные [взвешивали / не взвешивали]; если взвешивали, укажите переменные и основание для весов. Результаты относятся прежде всего к [группа, которую действительно охватывает дизайн]. Переносить их на [более широкая группа] следует осторожно из-за [конкретное ограничение].

Для условного опроса в одном чате описание могло бы выглядеть так: «Анкету распространяли по добровольной ссылке в чате студентов факультета экономики. Выборка сформирована неслучайным способом. Неизвестно, сколько пользователей увидели приглашение, поэтому рассчитать долю ответивших нельзя. Ответы характеризуют участников опроса и без дополнительных оснований не позволяют судить о мнении всех студентов факультета или университета». Здесь нет вымышленных чисел или заявления о репрезентативности.

Ошибки, которые портят описание

  • «Опросили много человек, значит, выборка репрезентативна». Большой размер не исправляет перекос рамки отбора или добровольного участия.
  • «В выборке есть представители всех курсов, значит, она представляет вуз». Наличие разных групп не объясняет, как набирали участников и кто отказался.
  • «Выборка составляет столько-то процентов от числа студентов». Универсального процента, который гарантирует репрезентативность, нет. Размер выборки рассчитывают с учётом задачи и дизайна исследования.
  • «Тридцати участников всегда достаточно». Универсального правила нет: необходимое число зависит от исследовательского вопроса, способа анализа и отбора.
  • «Погрешность составляет…» для опроса добровольцев без обоснованной модели. Обычную погрешность случайной выборки нельзя автоматически переносить на неслучайный набор.
  • «Выборка репрезентативна по возрасту и полу» только на основании квот. Укажите способ набора и признаки, по которым контролировали состав. Не делайте выводов о совпадении по характеристикам, которые не учитывали.

Проверка перед сдачей работы

  • Целевая совокупность названа, её границы понятны.
  • Описан источник набора участников и указано, кого он охватывает.
  • Назван способ отбора: вероятностный, квотный или удобный добровольный.
  • Указано число завершённых анкет и описаны правила включения ответов в анализ.
  • Объяснено, что известно и неизвестно о неответах и пропущенных группах.
  • Выводы ограничены группой, на которую действительно позволяет их распространять дизайн исследования.
  • Формат раздела сверён с методическими требованиями кафедры или вуза.

Выборка отвечает на вопрос «кого мы опросили и почему их ответы могут говорить о нужной группе?». Валидность касается другого вопроса: измеряет ли исследование именно то, что задумано. Подробнее это различие разобрано в материале о валидности исследования. Если трудно описать набор участников или ограничения дизайна, можно обратиться за помощью со статистическим анализом, предварительно уточнив, подходит ли она для задачи и требованиям вашего вуза.

Методические источники

Концептуальная схема показывает последовательность проверки выборки: от определения целевой группы до обоснованных границ выводов.

Фото: RDNE Stock project / Pexels