Исследователи из NVIDIA и Университета Рочестера представили PixelDiT2. Эта модель генерирует изображение сразу в пиксельном виде. Препринт опубликован на arXiv 30 сентября 2026 года. На выборке ImageNet команда получила FID 1,46 для изображений 256 × 256 пикселей и 1,48 для разрешения 512 × 512. При этом отдельного испытания, которое показало бы, что модель меняет выбранную область, не задевая остальную картинку, авторы не проводили.

Как модель использует пиксели и визуальные признаки

Многие диффузионные генераторы сначала сжимают картинку в компактное скрытое представление, а потом восстанавливают её. PixelDiT2 минует этот этап и учится создавать изображение в исходном пиксельном виде. Чтобы управлять процессом, модель использует признаки отдельных участков, полученные от замороженной предварительно обученной модели компьютерного зрения. Эти признаки помогают трансформеру на каждом шаге очищать картинку от шума и сохранять привязку к пространственным участкам.

Такая опора на признаки отдельных частей выглядит удобной для локального управления: если система различает участки по отдельности, ей проще менять конкретную область. Представим, что генератору нужно перекрасить автомобиль, не трогая фон. Пиксельная архитектура нацелена на более точное управление участками, но это условный пример, а не результат отдельного теста PixelDiT2.

Авторы оценивали модель на генерации изображений по классам ImageNet в разрешениях 256 × 256 и 512 × 512 пикселей. FID показывает, насколько распределение созданных изображений похоже на распределение реальных снимков. Эта метрика не измеряет, насколько хорошо сохраняются нетронутые области при редактировании. В статье также сказано, что PixelDiT2 не устранила отставание от лучших латентных моделей, а при генерации требует дополнительных вычислений для запуска замороженного энкодера.

О возможности выделять область для правки, например очки на лице или цвет автомобиля, сообщает University of Rochester, описывая направление PixelDiT. Но препринт PixelDiT2 не подтверждает, что новая версия уже выполняет такие правки без потери качества. Для работы с англоязычными научными материалами может пригодиться услуга перевода научного текста.

Схема показывает путь от шумного изображения через признаки его участков к пиксельной генерации; это объяснение архитектуры, а не результат теста локального редактирования.

Фото: jamies.x. co / Pexels