МАЯК прогнозирует на неделю, но полезен ли прогноз после третьего дня?

Термометр на метеостанции показывает температуру сейчас, но не говорит, что будет, когда к ней приблизится циклон. МАЯК решает более узкую задачу: по данным одной станции и её координатам он строит вероятностный прогноз температуры на 168 часов. Проверка на реальных данных станций NOAA показала: сам по себе прогноз на неделю ещё не значит, что он полезен все семь дней.

Этот разбор опирается на публикацию автора проекта под псевдонимом YasherkaS на Хабре и открытые материалы репозитория feyra-labs. МАЯК представляет собой авторский экспериментальный проект, а не рецензированную научную статью. Для него опубликованы код, описание методики и файлы с результатами. Независимая исследовательская группа проект не воспроизводила.

Почему первая проверка дала слишком красивые числа

В ранней версии данные для обучения и проверки нарезали на окна из одного временного ряда. История одного окна могла пересекаться с целевыми данными соседнего. Поскольку соседние часы погоды похожи, такая утечка могла сделать проверку проще, чем прогноз в настоящих условиях, когда будущие наблюдения неизвестны.

Другая проблема касалась климатического поля модели, которое должно оценивать типичную температуру в заданных координатах и в определённое время года. По словам автора, поле запоминало обучающие точки. Без истории станции медианная ошибка на новых станциях составляла 8,1 °C, тогда как у GRU, разновидности рекуррентной нейросети, она была около 3 °C. В новой версии автор ограничил пространственную детализацию координатных признаков и усилил затухание весов, чтобы модель не подгонялась под отдельные точки из обучения.

Прежние базовые модели сравнивали при разных протоколах обучения и с разным числом параметров. Поэтому было трудно понять, связано ли различие результатов с архитектурой или с условиями сравнения. В новой версии нейросети обучали по общему протоколу. Их размер составлял примерно 100–140 тысяч параметров.

Различались и данные. Первую проверку проводили на ERA5, реанализе, то есть расчётном восстановлении погодных условий, а не на показаниях термометров. Реальная станция может пропускать измерения, долго показывать одно значение или ошибаться. Чтобы проверить, как модель работает на таких наблюдениях, автор добавил внешний тест на данных GHCNh, набора Национального управления океанических и атмосферных исследований США (NOAA).

Что именно проверили

МАЯК обучали на почасовом реанализе ERA5, а во внешнем тесте использовали невиденные при обучении наблюдения GHCNh. В описании проекта говорится о европейских станциях, но в разных таблицах приведены разные поднаборы. В основном сравнении внешних данных фигурирует около 70 станций, а в таблице устойчивости прямо указаны 68. Это числа для разных оценок, их не следует смешивать.

В основной проверке станции распределяли по ролям, а временные ряды делили на блоки. Между блоками оставляли промежуток в 840 часов: столько составляет полная история модели, 672 часа, плюс горизонт прогноза, 168 часов. Тестовый период длился до 8766 часов или 30% ряда, в зависимости от того, что было меньше. Такой промежуток снижает риск пересечения истории или целевых данных окон из разных частей проверки.

Модель получает до 28 суток почасовых данных с одной станции и выдаёт прогноз на семь суток. Качество оценивали по скиллу относительно климатологии этой станции. Показатель отражает, насколько прогноз лучше эталона, построенного по многолетнему сезонному ходу погоды. Нулевой скилл означает отсутствие выигрыша, отрицательный результат означает, что прогноз хуже эталона. Интервалы неопределённости рассчитывали с помощью бутстрэпа по станциям: при повторной выборке брали станции целиком, а не отдельные часы.

GHCNh объединяет почасовые наблюдения метеостанций из разных источников. NOAA отдельно предупреждает, что не гарантирует полноту и точность этих данных. Поэтому внешний тест ближе к работе с показаниями приборов, чем тест на реанализе, но сами измерения тоже нельзя считать безошибочной истиной.

На неделю модель выдаёт прогноз, но выигрыш быстро тает

В опубликованной таблице внешнего теста скилл МАЯКа составил 0,48 на горизонте 24 часов, 0,09 на 72 часах и −0,06 на 168 часах. У GRU показатели были 0,46, 0,07 и −0,10 соответственно. На сутки обе модели заметно превосходили климатологию станции. На третьи сутки преимущество оставалось небольшим, а к концу недели результат МАЯКа оказался немного хуже выбранного эталона.

По результатам этой проверки автор проекта считает полезным горизонт примерно в 2–3 суток. Это осторожная оценка для конкретной выборки и выбранной метрики, а не универсальная граница, после которой прогноз погоды перестаёт работать. Отрицательный скилл на 168 часах не доказывает, что любой недельный прогноз бесполезен. Но эта проверка не показывает, что МАЯК на таком сроке превосходит климатологию.

Разница с GRU на сутки невелика: 0,48 против 0,46. Автор сообщает, что интервалы неопределённости перекрываются, и отмечает, что пока нельзя утверждать, будто МАЯК лучше GRU. Для более уверенного сравнения нужны повторные обучения с разными случайными начальными условиями и парная оценка различий между моделями. Сходный размер сетей и общий протокол делают сравнение содержательнее прежнего, но не позволяют считать его проверкой одной только архитектурной идеи.

Скилл зависит и от выбранного эталона. В проекте климатология станции описывает сезонный ход грубее, чем климатическое поле МАЯКа. В документации проекта отмечено, что часть выигрыша моделей с календарными признаками может объясняться именно различием этих базовых описаний. Поэтому цифры нужно рассматривать вместе с характеристиками эталона, а не как абсолютную меру точности.

Внешний тест не равен независимой репликации

Наблюдения NOAA независимы от обучающего реанализа как источник данных: МАЯК обучали на ERA5, а проверяли на GHCNh. Однако эксперимент спроектировал и провёл автор самого проекта. Проверка на новой выборке полезна, но не показывает, получит ли другая группа те же результаты при самостоятельном запуске.

В манифесте результатов указано, что основной прогон оценки от 16 октября 2026 года выполнен с незакоммиченными изменениями кода. Поэтому числа трудно точно привязать к зафиксированной версии проекта. В репозитории доступны код, описание методики и таблицы в формате JSON. Они позволяют проверить детали, но эта оговорка остаётся.

Показателен общий методический урок: утечка по времени, запоминание координат и несопоставимые базовые модели могут превратить аккуратные цифры в слишком оптимистичные. О том, почему высокая точность при случайном разбиении не гарантирует перенос на новые данные, мы подробнее рассказывали в разборе трёх режимов проверки модели на новых аптамерах.

Итог этой проверки можно сформулировать так: на описанной выборке европейских станций МАЯК превосходит климатологию примерно на сутки и сохраняет небольшой положительный скилл на горизонте трёх суток. Его преимущество над GRU на сутки пока не доказано. На недельном горизонте модель не обошла климатологический эталон.

Источники

• YasherkaS. «Нейросеть-синоптик на 110 тысяч параметров: проверка реальными метеостанциями». Хабр. Дата публикации в доступном тексте точно не указана; страница на момент сбора материалов сообщала «6 часов назад». Полный текст публикации.
• feyra-labs. Репозиторий проекта МАЯК: код, описание и таблицы результатов. В README результаты указаны по состоянию на 16 октября 2026 года. Открытый репозиторий; описание методов; файлы результатов.
• Menne M. J., Noone S., Casey N. W. et al. Global Historical Climatology Network-Hourly (GHCNh). NOAA National Centers for Environmental Information, 2023. DOI: 10.25921/jp3d-3v19. Описание набора данных NOAA.

Фото: Hans / Pixabay