Два кодировщика разошлись в трёх случаях из двадцати, а в остальных семнадцати поставили одну и ту же метку. Отсюда легко получить 85% совпадений, но это ещё не каппа Коэна: у двух показателей разные определения. Дальше один и тот же набор пар превращается в таблицу, из которой считаются оба числа, и становится видно, почему согласие двух кодировщиков нельзя называть точностью относительно истины.

Все решения в этом разборе придуманы для упражнения: реальных текстов, участников и проведённого кодирования здесь нет. Есть двадцать условных единиц К01–К20. Для каждой записаны две метки одного и того же номинального признака, «есть» или «нет»: первая принадлежит условному кодировщику А, вторая — Б. Считаем обычную невзвешенную каппу, без весов для отдельных наблюдений.

Исходные пары: сохраняйте соответствие единиц

Условные единицы   Метки А / Б и количество
К01–К06   есть / есть: 6
К07–К08   есть / нет: 2
К09   нет / есть: 1
К10–К20   нет / нет: 11
Авторская учебная схема для 20 пар меток: 17 совпадений, 85%; ожидаемое согласие 0,53; невзвешенная каппа 32/47, примерно 0,681.
Учебный макет, все пары меток заданы автором: 17 из 20 совпадений (85%), ожидаемое согласие 0,53 и невзвешенная каппа 32/47 ≈ 0,681. Это не результат реального кодирования и не точность относительно эталона.

Диапазоны ID задают все двадцать пар целиком. Это не два независимо отсортированных списка: каждая пара относится к одной единице. Если переставить метки одного кодировщика относительно ID, распределения меток могут не измениться, а число совпадений станет другим. Поэтому соответствие стоит сверить до расчёта.

Постройте таблицу совместных меток

Ячейка: А / Б   Частота
есть / есть   6
есть / нет   2
нет / есть   1
нет / нет   11
Всего   20

Совпадения стоят в ячейках «есть / есть» и «нет / нет»: 6 + 11 = 17. Расхождения дают две другие ячейки: 2 + 1 = 3. Проверка: 17 + 3 = 20, все единицы на месте. Наблюдаемая доля согласия pₒ = 17 / 20 = 0,85, то есть 85%.

Учтите, как часто каждый использовал метки

У А метка «есть» встречается 6 + 2 = 8 раз, «нет» — 1 + 11 = 12 раз. У Б соответственно 6 + 1 = 7 и 2 + 11 = 13. Это маргинальные частоты той же таблицы, а не дополнительные единицы. Их смысл и проверка итогов связаны с таблицей сопряжённости и её знаменателями.

Кодировщик   Доли двух меток
А   есть: 8/20 = 0,40; нет: 12/20 = 0,60
Б   есть: 7/20 = 0,35; нет: 13/20 = 0,65

В документации scikit-learn для каппы Коэна pₑ определяется через индивидуальные эмпирические доли меток. Для двух категорий здесь: pₑ = (8/20 × 7/20) + (12/20 × 13/20) = 0,14 + 0,39 = 0,53. Это ожидаемое согласие в используемой формуле, а не ещё 53% фактически размеченных совпадений.

Рассчитайте каппу отдельно от процента

Формула каппы: κ = (pₒ − pₑ) / (1 − pₑ). Подставляем доли: κ = (0,85 − 0,53) / (1 − 0,53) = 0,32 / 0,47 = 32/47 ≈ 0,681. Ответ округлён до трёх знаков после запятой, промежуточные доли в расчёте не округлялись.

Показатель   Итог учебного примера
Наблюдаемое согласие   17/20 = 85%
Ожидаемое согласие pₑ   0,53 из маргинальных долей
Невзвешенная каппа κ   32/47 ≈ 0,681

Каппа 0,681 не означает «68,1% правильных ответов». В примере нет эталонной разметки, сравнивать не с чем: то, что два кодировщика поставили одинаковые метки, само по себе не доказывает, что метки верны относительно изучаемого материала. И универсального порога «достаточно хорошо» из этого расчёта тоже не выводится.

Что проверить и сохранить в своей работе

  • Совпадают ли у двух кодировщиков единица кодирования и порядок ID.
  • Работают ли оба с одним набором меток и одной версией инструкции.
  • Как обработаны пропущенные метки: в этом примере их нет, а в своей работе правило придётся описать.
  • Приведены ли совместные и маргинальные частоты, наблюдаемое согласие и вид каппы.
  • Не смешаны ли невзвешенные номинальные метки с задачей порядкового взвешивания.
  • Не выдан ли условный пример за проверку реального кодбука.

Отдельный случай: если pₑ = 1, знаменатель 1 − pₑ обращается в ноль и эта формула значения не задаёт. Подставлять результат вручную ради красивого числа не нужно; проверьте распределения меток и правила того расчёта, которым пользуетесь. И помните, что маленький учебный набор не даёт оснований обещать, что показатель удержится на новом корпусе.

Порядок создания правил и разбора неоднозначных фрагментов описан в инструкции по контент-анализу. Здесь решена отдельная арифметическая задача: из 20 заранее заданных пар получены 85% совпадений и κ ≈ 0,681. Для реального исследования ещё нужны обоснование процедуры, описание корпуса и содержательный разбор расхождений.

Если нужна помощь со статистической частью работы, ознакомьтесь с описанием услуги статистического анализа и заранее уточните, входит ли в неё проверка такого расчёта. Согласуйте задачу, состав исходных данных, объём работы и сроки; план учебной работы обсудите с руководителем.