Эти модели работают на основе двух входных изображений: изображения контента, которое изменяется в соответствии со стилем эталонного изображения. Эти модели используются для таких задач, как преобразование изображений в различные художественные стили, моделирование погодных изменений, улучшение разрешения спутникового видео и помощь автономным транспортным средствам в распознавании различных условий освещения, таких как день и ночь.

Теперь исследователи из Софийского университета разработали модель, которая позволяет снизить вычислительные требования, необходимые для запуска этих моделей, что делает возможным их запуск на широком спектре устройств, включая смартфоны. В исследовании, опубликованном в IEEE Open Journal of the Computer Society 25 сентября 2024 года, доцент Рина О и профессор Тад Гонсалвес с факультета информационных и коммуникационных наук Софийского университета предложили модель «однопоточного перевода изображения в изображение (SSIT)», которая использует только один кодер для выполнения этого преобразования.

Обычно для «понимания» изображений в моделях перевода с изображения на изображение требуется два кодера — один для изображения содержания и один для изображения стиля. Эти кодировщики преобразуют изображения содержания и стиля в числовые значения (пространство признаков), которые представляют ключевые аспекты изображения, такие как цвет, объекты и другие особенности. Затем декодер берет объединенные характеристики содержания и стиля и восстанавливает конечное изображение с желаемым содержанием и стилем.

В отличие от этого, SSIT использует один кодировщик для извлечения пространственных характеристик, таких как формы, границы объектов и макеты изображения содержания. Для изображения стиля модель использует прямую адаптивную нормализацию экземпляров с пулингом (DAdaINP), которая захватывает ключевые детали стиля, такие как цвета и текстуры, фокусируясь на наиболее заметных особенностях для повышения эффективности. Затем декодер берет комбинированные характеристики содержания и стиля и восстанавливает конечное изображение с желаемым содержанием и стилем.

Профессор О говорит:

Мы реализовали модель перевода изображения в изображение, которая выполняет преобразование стиля с меньшими вычислительными затратами на GPU, обращаясь при этом к входным изображениям стиля. В отличие от предыдущих подобных моделей, наш подход использует пулинг и деформируемую свертку для эффективного извлечения стилевых особенностей, что обеспечивает высококачественное преобразование стиля при снижении вычислительных затрат и сохранении пространственных особенностей в изображениях контента.

Модель обучается с помощью состязательного обучения, при котором сгенерированные изображения оцениваются дискриминатором с трансформатором зрения, который улавливает паттерны в изображениях. Дискриминатор оценивает, являются ли сгенерированные изображения настоящими или поддельными, сравнивая их с целевыми изображениями, а генератор учится создавать изображения, которые могут обмануть дискриминатор.

Используя модель, исследователи выполнили три типа задач по трансформации изображений. Первая включала в себя сезонную трансформацию, когда пейзажные фотографии преобразовывались из летних в зимние и наоборот. Вторая задача — преобразование фотографий в произведения искусства, в ходе которого пейзажные фотографии преобразовывались в известные художественные стили, такие как Пикассо, Моне или аниме. Третья задача была направлена на перевод времени и погоды для вождения, где изображения, снятые с передней части автомобиля, изменялись для имитации различных условий, таких как переход от дня к ночи или от солнечной погоды к дождливой.

Во всех этих задачах модель показала лучшие результаты, чем пять других GAN-моделей (а именно NST, CNNMRF, MUNIT, GDWCT и TSIT), с более низкими показателями Fréchet Inception Distance и Kernel Inception Distance. Это свидетельствует о том, что сгенерированные изображения были похожи на целевые стили и лучше воспроизводили цвета и художественные детали.

Наш генератор смог сократить вычислительные затраты и количество FLOP по сравнению с другими моделями, потому что мы использовали единый кодер, состоящий из нескольких слоев свертки только для изображения контента, и разместили слои объединения для извлечения особенностей стиля в разных ракурсах вместо слоев свертки, — говорит профессор О.

В долгосрочной перспективе модель SSIT способна демократизировать процесс преобразования изображений, сделав его доступным для использования на таких устройствах, как смартфоны или персональные компьютеры. Это позволит пользователям из различных областей, включая цифровое искусство, дизайн и научные исследования, создавать высококачественные преобразования изображений, не прибегая к дорогостоящему оборудованию или облачным сервисам.

Ранее стало известно, что 62% представителей бизнеса готовы поощрять сотрудников за использование нейросетей.