Почему нейросети обучаются непредсказуемо: фрактальные бассейны

Физик Пулин Гонг и его аспирант Эндрю Лай из Университета Сиднея разобрались, почему две одинаковые нейросети, обученные на одних и тех же данных, нередко приходят к разным решениям. Ответ оказался геометрическим: пространство стартовых настроек сетей устроено как фрактал. Работа вышла 5 ноября 2026 года в Nature Machine Intelligence. Доводы подкреплены масштабом: авторы обучили около 500 тысяч сетей разных архитектур, от VGGNet и ResNet до BERT, на наборах данных MNIST, CIFAR-10 и IMDB, варьируя оптимизаторы, регуляризацию и функции активации.

Карта, где каждое пятно пронизано чужим цветом

Карту стоит нарисовать так: каждая точка на ней соответствует стартовой настройке сети, а цвет точки показывает, к какому итоговому решению придёт обучение. Области одного цвета математики называют бассейнами притяжения. На привычной карте граница между цветами извилиста, но твёрдая: шагнул в сторону от края, и вы уже надёжно внутри одной области.

У нейросетей исследователи обнаружили другое. Бассейны здесь «изъеденные» (riddled basins), фракталы особого рода: внутри любой, даже исчезающе малой окрестности точки одного бассейна лежат точки другого. Чем сильнее увеличиваешь карту, тем больше видишь нового переплетения цветов, и так без предела. В минимальной двухслойной модели это заметно прямо на глазах: карта стартовых точек складывается в узор, напоминающий бабочку, а каждое увеличение открывает всё более мелкое сплетение синего и оранжевого.

Представим упрощённый условный пример. Две сети распознают рукописные цифры, учатся на одних и тех же данных, и их стартовые веса различаются только в последнем знаке после запятой. В обычной системе обе сошлись бы почти на одинаковом решении. Здесь же внутреннее устройство одной может заметно отличаться от устройства другой, и заранее сказать, какая из них чем закончит, невозможно.

Что показали числа

Числа это подтверждают. Сдвиг стартовой настройки на один бит, минимальное различие, которое вообще способен зафиксировать компьютер, отправлял обучение к другой внутренней конфигурации примерно в 48% случаев. Когда стартовые настройки делали точнее в десять миллиардов раз, воспроизводимость не выросла измеримо. Доля несовпадающих предсказаний у сетей из почти одинаковых стартов (churn) держалась около 2,9% и не падала.

Математически это описывает показатель неопределённости, близкий к нулю: в минимальной модели он равен 0,0126 ± 0,0002, в глубокой сети 0,000 ± 0,002, причём одинаково и на детерминированном CPU, и на обычном GPU. Чем ближе показатель к нулю, тем меньше проку от уточнения стартовых условий.

Эффект сохранялся даже в полностью детерминированной среде, где повторный прогон без изменения стартовых значений дал бы в точности тот же результат. Значит, причина не в случайности железа или порядка подачи данных, а в самой геометрии пространства параметров.

Компромисс, который сложно обойти

Исследование выявило и неудобный размен. Настройки, при которых сеть учится лучше всего, делают исход менее воспроизводимым. Снижение скорости обучения (learning rate) возвращало воспроизводимость, но сеть училась хуже. Авторы советуют не пытаться полностью «выключить» непредсказуемость инженерными средствами, а измерять её и по возможности менять архитектуру, убирая математические условия, которые порождают нестабильность.

Есть важная оговорка о масштабе. Детальный анализ выполнен на намеренно упрощённых конфигурациях, например на 12-слойной сети VGG-12 примерно с 12 тысячами параметров, а не на современных больших моделях. Связь фрактальной геометрии с практическими сбоями воспроизводимости авторы называют кандидатом в объединяющий принцип, а не доказанным для всех систем ИИ фактом. Однако характерные признаки они наблюдали во всех проверенных конфигурациях.

Для русскоязычного читателя, пишущего о машинном обучении, тема воспроизводимости актуальна при подготовке собственной публикации: помощь в написании научных статей часто включает как раз методологическую выверку результатов.