Математика цвета: российские ученые нашли способ заставить снимки «дышать»
Ученые из Самарского университета имени Королева вместе с коллегами из Москвы, Германии и Канады научили цифровые камеры видеть цвета точнее. Они впервые в мире применили для этого особый тип нейросетей — сети Колмогорова-Арнольда (KAN). Эта разработка позволила наконец-то обойти по качеству обработки цвета классические, «не нейросетевые» методы, которые до сих пор были лучшими.
Проблема, которую решают ученые, знакома каждому, кто снимал на смартфон. В современных телефонах часто стоит три камеры: основная, телеобъектив и широкоугольная. Каждая из них воспринимает цвет по-своему. Из-за этого при переключении между камерами оттенки на снимках могут прыгать. Эти различия сложные, нелинейные, что мешает и нам, людям, и компьютерам обрабатывать такие изображения.
Профессор Артем Никоноров, директор Института искусственного интеллекта Самарского университета, объясняет суть проблемы так:
Несмотря на то, что нейросети сегодня побеждают почти во всех задачах компьютерного зрения, тонкая работа с цветом до сих пор оставалась за классическими алгоритмами. Вероятно, это потому, что человеческий глаз невероятно чувствителен к цвету, а современные нейросети плохо справляются именно с цветовыми преобразованиями. Нам удалось этот разрыв преодолеть. Мы создали универсальный нейросетевой подход cmKAN, который автоматически сравнивает и корректирует цвета на изображении.
Как же работает эта технология? Процесс похож на работу ретушера в программе вроде Photoshop или Lightroom.
- Сначала специалист вручную строит нелинейные кривые, чтобы преобразовать цвета.
- Потом он задает области, где эти правила работают: для яркого неба — одни настройки, для тени от зданий — другие, для участков рядом с источником света — третьи.
Нейросеть cmKAN действует похожим образом, но делает это автоматически.
Нам удалось теоретически доказать, что сети Колмогорова-Арнольда идеально подходят для таких нелинейных цветовых преобразований, — продолжает профессор Никоноров. — А параметры этих преобразований в разных частях картинки задает так называемая сеть-генератор.
Чтобы обучить и протестировать свою разработку, ученые собрали большую базу данных Volga2K. В нее вошли больше двух тысяч пар снимков, сделанных на разные камеры в разных местах и условиях.
Разработку проверили на нескольких основных задачах:
- Синхронизация цветов между снимками с двух разных камер.
- Приведение «сырых» RAW-файлов к финальному виду — это главная задача для процессоров любых камер, от смартфонов до профессиональных.
- Постобработка фотографий, имитирующая работу человека-ретушера.
Результаты показали, что наш метод стабильно превосходит мировые аналоги в среднем на 37,3%, — отмечает Артем Никоноров. — Кроме того, cmKAN отлично справляется со сложными сценами: съемкой с высоким динамическим диапазоном (HDR), вечерними и ночными кадрами. Нашу технологию можно применять не только в камерах смартфонов. Она пригодится при создании новых процессоров для цифровых фотоаппаратов, а также для автоматизации цветокоррекции в издательском деле, полиграфии и при подготовке медиаконтента.
Свою разработку ученые представили в октябре 2025 года на крупной международной конференции по компьютерному зрению IEEE ICCV в Гонолулу.
Над проектом работала большая международная команда из Самарского университета, МФТИ, Научно-исследовательского института искусственного интеллекта (Москва), Института проблем передачи информации РАН (Москва), Вюрцбургского университета (Германия) и Йоркского университета (Канада). Работу выполнили в рамках проекта «Десятилетие науки и технологий» и национального проекта „Молодежь и дети“.