Выбросы в данных: как проверить значение и показать его влияние на среднее

В таблице стоит число 30, а остальные значения — 4, 5, 5 и 6. Первое желание — убрать «неудобную» запись и посчитать всё без неё. Но прежде чем удалять что-то из данных, стоит разобраться, откуда взялось это число и что оно меняет. Рассмотрим порядок действий на учебном примере.

Учебный набор записей

Представим, что пять студентов записали часы самостоятельной работы за одну неделю:

Набор полностью вымышленный — никаких реальных студентов за ним нет, пример используется только для демонстрации расчётов.

Что показывают среднее и медиана

Среднее арифметическое вычисляется как сумма всех значений, делённая на их количество. Для всех пяти записей:

4 + 5 + 5 + 6 + 30 = 50. 50 / 5 = 10 часов.

Медиана — это центральное значение упорядоченного набора. Упорядочим числа по возрастанию: 4, 5, 5, 6, 30. Поскольку записей пять (нечётное количество), медиана — третье значение, то есть 5 часов.

Теперь посмотрим, что изменится, если убрать запись U5 (30 часов). Оставшиеся четыре значения: 4, 5, 5, 6. Сумма: 20. Среднее: 20 / 4 = 5 часов.

Медиану для чётного количества значений находят как среднее двух центральных чисел. Упорядоченный набор: 4, 5, 5, 6. Два центральных значения — 5 и 5. Их среднее: (5 + 5) / 2 = 5 часов.

Сравним два сценария:

Среднее изменилось на пять часов — с 10 до 5. Медиана осталась прежней (5 часов). Это не означает, что медиана никак не реагирует на замены или удаления данных; в данном конкретном наборе она просто не изменилась.

Порядок действий: проверяем, а не удаляем

Разница в средних сама по себе не доказывает, что запись U5 ошибочна. Чтобы принять решение, нужно проверить происхождение значения. Ниже — предлагаемый рабочий порядок (не официальный регламент, а практическая последовательность).

1. Проверьте единицы измерения и период сбора. Возможно, значение 30 указано не в часах, а в минутах, или относится к другой неделе.
2. Проверьте, не смещён ли десятичный знак. Запись 3,0 могла превратиться в 30.
3. Проверьте, не дублирует ли эта запись другую. Иногда одно и то же значение вносят дважды.
4. Сверьтесь с первичной формой (бумажный опросный лист, исходный файл). Запись могла быть неверно перенесена.
5. Сохраните исходные данные отдельно и документируйте каждую правку.

Если источник подтверждения не найден — так и запишите: «не установлено». Не придумывайте «выясненную» причину, если проверить не удалось.

Журнал решения: зачем и как заполнять

Даже в небольшом наборе полезно фиксировать каждое действие. Пример для нашей записи U5:

Если ошибка будет подтверждена (например, найден исходник, где стоит 3,0, а не 30), запись можно исправить или исключить с указанием причины. Если подтверждения нет, не удаляйте запись автоматически; обоснуйте способ анализа и зафиксируйте принятое решение. Не исключайте запись автоматически только потому, что она отличается от остальных; опирайтесь на правило: «если источник ошибки не установлен, не удаляйте значение без дополнительного обоснования». Уточните порядок действий у вашего научного руководителя или в методических указаниях кафедры.

О выбросах: что говорит NIST

Руководство NIST различает ошибку данных и необычное, но потенциально реальное наблюдение. Если ошибка подтверждена, значение исправляют по первоисточнику или исключают с обоснованием. Когда причина не установлена, само отличие от остальных записей не является достаточным основанием для автоматического удаления. Формальные методы в этом разделе NIST рассматриваются для одномерных данных с предположением о приблизительно нормальном распределении. Перед описанными там тестами рекомендован график нормальной вероятности; это рекомендация для рассматриваемых методов, а не безусловный запрет на любой анализ без графика.

Формальный статистический тест не применялся, поэтому называть число 30 статистически доказанным выбросом нельзя. Кроме того, NIST предупреждает, что некоторые методы выявления выбросов могут вводить в заблуждение при малом размере выборки.

Почему медиана не изменилась, но это не общее правило

В данном учебном наборе удаление одного значения не сдвинуло медиану. OpenStax поясняет, что медиана обычно лучше описывает центр при наличии крайних значений, потому что на неё не влияет точная числовая величина каждого отдельного выброса. Однако это не гарантирует, что медиана останется неизменной при любых изменениях данных. Если бы в наборе было другое распределение или если бы удалялась другая запись, медиана могла бы измениться.

Чек-лист: что проверить при необычной записи

• Единицы измерения и период сбора
• Перенос десятичного знака
• Дубликат записи
• Первичная форма (бумажная или электронная)
• Сохранение исходного файла
• Документирование каждой правки

Ограничения этого примера

Все данные вымышленные и не представляют реальных студентов. Пять значений недостаточны для выводов о студентах в целом. Сценарий без U5 показывает чувствительность расчёта, но не обосновывает исключение записи. Выводы о причине необычного значения в журнале решения записаны как «не установлено», а не как подтверждённая ошибка.

Если вы работаете с данными анкеты, полезно заранее описать переменные в кодировочной книге. Подробнее о том, как это сделать, читайте в статье «Кодировочная книга анкеты: как описать переменные и проверить данные».

Если нужна консультация по проверке данных и прозрачному описанию расчётов, можно обратиться за помощью со статистическим анализом. Сохраните исходные записи и заранее обсудите, какие решения требуется обосновать.

Источники

• 1.3.5.17. Detection of Outliers
• 2.5 Measures of the Center of the Data - Introductory Statistics 2e | OpenStax

Фото: Zen Chung / Pexels