Контент-анализ: как провести исследование и составить таблицу кодирования

В одном отзыве студент может похвалить пример, пожаловаться на быстрый темп и отметить тихий звук. Если записать только «отзыв положительный» или посчитать слово «быстро», часть смысла исчезнет. Контент-анализ помогает разложить текст на признаки, но сначала нужно решить, что именно считать и по каким правилам.

Ниже разобраны четыре полностью вымышленных отзыва об учебных видео. Это не реальные данные и не готовая проверенная методика. Пример нужен, чтобы пройти весь путь: от исследовательского вопроса и исходных текстов до кодов, матрицы и подсчёта.

1. Сформулируйте вопрос и очертите корпус

Исследовательский вопрос должен подсказывать, какие особенности текста вы будете искать. Например: «Какие стороны учебных видео студенты отмечают в коротких отзывах?» Для практического анализа такой вопрос нужно уточнить и заранее определить, какие именно стороны вас интересуют.

Корпус исследования — это набор документов, которые вы анализируете. Опишите, откуда они взяты, за какой период собраны и по каким правилам включены. Например: «Все текстовые отзывы студентов одной учебной группы о четырёх видеозаписях курса, собранные после занятия в течение двух недель». Для своей работы указывайте реальные рамки, а не копируйте этот условный вариант.

До начала работы решите, как поступить с пустыми ответами, повторными отправками, отзывами не по теме и персональными данными. Если материалы собраны у людей, учитывайте правила своего учреждения и условия, на которых участники предоставили ответы.

2. Выберите единицу анализа

Единица анализа, это часть материала, которой вы присваиваете код. Ею может быть целый документ, предложение или фрагмент текста. Выбор зависит от вопроса. Если один отзыв содержит несколько разных мыслей, удобнее кодировать смысловые фрагменты, а затем сводить результаты к документам для подсчёта.

В нашем примере единица анализа, один отзыв. Для каждого отзыва отмечаем, встречается ли в нём код хотя бы один раз. Поэтому повтор одного и того же признака внутри отзыва не увеличивает число документов с этим кодом. Такой подсчёт нужно отличать от подсчёта всех отдельных упоминаний.

Если для вашего проекта важны разные идеи внутри одного текста, можно кодировать каждую смысловую единицу отдельно. Тогда в таблице следует показать, что именно считается: фрагмент, предложение или отзыв. Методологический выбор стоит связать с исследовательским вопросом; подробнее о том, как обосновать такой выбор, можно прочитать в статье о методологии исследования.

3. Составьте кодировочную инструкцию

Код, это короткая метка для признака, который вы ищете в тексте. Кодировочная инструкция, или кодбук, описывает каждый код так, чтобы было понятно, когда его ставить, а когда нет. В неё можно включить название кода, определение, правила включения и исключения, а также примеры.

Для учебного корпуса возьмём четыре кода. Они нужны только для демонстрации и не являются готовой шкалой оценки учебных видео.

Правила особенно важны для пограничных случаев. Слова «быстро» и «понятно» сами по себе ещё не гарантируют код: нужно учитывать, кто и что именно описывает. Фраза «говорит быстро, пришлось пересмотреть» подтверждает проблему темпа. А если студент пишет «разобрал быстро», это может означать, что он быстро понял материал, а не что видео было слишком стремительным.

Отрицание тоже меняет смысл. Фразы «пример помог» и «пример не помог» содержат одно и то же слово, но сообщают о разном. Словарный поиск найдёт нужное слово, однако сам по себе не покажет, относится ли оно к нужному признаку, к кому относится отрицание и что ещё сказано в предложении. Программа ускоряет поиск совпадений, но правила и контекст должен учитывать исследователь.

4. Проведите пробное кодирование и уточните правила

Сначала примените черновой кодбук к небольшой части корпуса. Отметьте места, где возникли сомнения. Например, нужно решить, считать ли фразу «перед семинаром пригодилось» прямым указанием на пользу. Если код появляется не по заранее записанному правилу, уточните инструкцию и проверьте уже закодированные тексты.

В студенческом проекте полезно сохранять версии кодбука и кратко записывать изменения: что именно уточнили и почему. Если кодировщиков несколько, они могут независимо разметить одни и те же тексты, сравнить решения и обсудить расхождения. Разногласия не стоит скрывать или заменять одним числом без описания процедуры.

Нельзя объявлять один процент согласия универсальной нормой для любого контент-анализа. Выбор способа оценки зависит от числа кодировщиков, объёма материала и того, что именно кодируют. Если вы рассчитываете коэффициент согласия, обоснуйте выбор показателя и опишите процедуру. В небольшом учебном разборе можно прозрачно показать, как применялись правила и где возникали неоднозначности, не придумывая коэффициенты.

Если вы только планируете проверку инструмента или процедуры перед основным этапом, полезно отдельно посмотреть, что проверяют в пилотном исследовании. Пилот помогает обнаружить неясные формулировки и практические затруднения, но сам по себе не подтверждает валидность кодов.

5. Закодируйте четыре учебных отзыва

Все тексты в таблице ниже придуманы для этой статьи. Они служат только примером и не описывают реальных студентов.

Один отзыв может получить несколько кодов. О1 содержит и поддержку понимания, и проблему темпа. О2 отмечает понятную схему, техническую проблему со звуком и применение материала в задании. Несколько кодов для одного документа допустимы, потому что они описывают разные стороны текста.

6. Составьте матрицу и проверьте подсчёт

В матрице «документ × код» единица означает, что код есть в отзыве, а ноль, что по заданным правилам его нет. Каждую строку проверяют по одному и тому же кодбуку.

В четырёх отзывах получилось семь отметок кодов: 2 + 2 + 1 + 2 = 7. Это не семь отзывов и не семь употреблений слов. Так обозначены семь случаев, когда один из четырёх признаков отмечен в документе. Один отзыв может дать несколько таких отметок.

Если считать долю от числа отзывов, знаменатель равен четырём: поддержка понимания есть в 2 из 4 отзывов, то есть в 50%; проблема темпа, также в 50%; техническая проблема, в 25%; применимость или польза, в 50%. Сумма долей составляет 175%, и это допустимо, потому что категории могут пересекаться. Для прозрачности рядом с процентом указывайте исходное число, например «2 из 4», особенно при небольшом корпусе.

Число документов с кодом отвечает на вопрос: «В скольких отзывах признак встретился хотя бы один раз?» Число вхождений отвечает на другой вопрос: «Сколько раз признак повторился в тексте?» Например, если слово «быстро» повторено в одном отзыве дважды, матрица по наличию всё равно даст этому отзыву единицу для соответствующего кода. Не называйте число отзывов числом словоупотреблений.

7. Опишите результат без чрезмерных выводов

Для этой вымышленной матрицы можно сказать, что в двух отзывах упомянута поддержка понимания, в двух, проблема темпа, в одном, тихий звук, а в двух, польза или применение материала. Это описание четырёх созданных для примера текстов, а не вывод о студентах вообще и не оценка эффективности видео.

Контент-анализ может быть количественным, качественным или сочетать подсчёт с интерпретацией. В количественном варианте исследователь заранее определяет, что считать, и описывает частоты или доли. В качественном важнее систематически разобрать смысл текстовых фрагментов и показать, как из них получились коды и категории. Эти подходы не всегда разделены жёсткой границей, а терминология в разных методологических школах различается.

Тематический анализ тоже работает с закономерностями в текстах, но это не просто другое название контент-анализа. Подходы могут пересекаться, однако их цели и процедуры зависят от принятой методологии. В работе точнее описать, что именно вы делали с материалом, и сослаться на выбранное методологическое основание, чем приписывать всем авторам одну классификацию.

Типичные ошибки

• Вопрос слишком широкий, и непонятно, какие признаки искать. Уточните объект подсчёта и содержание кодов.
• Корпус описан расплывчато. Укажите источник документов, период их сбора, а также критерии включения и исключения.
• Коды пересекаются, но правила не записаны. Дайте определения и примеры. При необходимости разрешите несколько кодов для одного отзыва.
• Смысл выводят по одному слову. Проверяйте отрицания, контекст и то, к какой части высказывания относится оценка.
• Смешаны документы и вхождения. Прямо укажите, считаете ли вы отзывы, в которых встретился признак, или каждое повторное появление этого признака.
• Проценты поданы без знаменателя. Пишите «2 из 4» и объясняйте, если доли пересекаются.
• Частоты превращают в обобщение. Маленький или условный корпус не даёт оснований делать выводы о более широкой группе.
• Пробное кодирование пропущено. Проверьте инструкции на части материала, уточните неоднозначности и заново просмотрите затронутые решения.

Короткий план для своей работы

1. Сформулируйте вопрос, на который можно ответить по выбранным текстам.
2. Опишите корпус и правила включения документов.
3. Определите единицу анализа и способ подсчёта: наличие кода или число вхождений.
4. Составьте кодбук с определениями, правилами включения и исключения, а также примерами.
5. Проведите пробное кодирование, запишите спорные места и уточните правила.
6. Закодируйте весь корпус, сохраняя связь каждой отметки с исходным фрагментом.
7. Покажите матрицу, числа и знаменатели. Отдельно сформулируйте ограничения исследования.

Если для проекта нужен статистический анализ, можно заранее обсудить план обработки данных и объём консультации с исполнителем и научным руководителем. Формат кодирования, описание материалов и оформление таблиц также сверяйте с требованиями своего вуза и рекомендациями научного руководителя.

Фото: Zen Chung / Pexels