Исследователи из Пекинского института технологий (BIT) придумали, как превращать инфракрасные снимки в цветные. Обычно такие изображения получаются тусклыми и бесцветными, но новый метод решает эту проблему.

Результаты опубликованы в издании Tsinghua Science & Technology.

Инфракрасная съемка пробивается сквозь туман и меньше страдает от помех — это важно для систем ночного видения или автопилота, — говорит профессор Ин Фу, руководитель исследования. — Но без цвета и четкости картинка мало что дает. Мы разбили процесс на два этапа, и это сработало.

Сначала инфракрасное изображение переводят в черно-белое — так проще восстановить детализацию.

Затем нейросеть раскрашивает его, используя базы данных вроде ImageNet.

Чтобы улучшить качество, ученые добавили частотный анализ (FDL) — алгоритм, который лучше сохраняет текстуры и границы объектов.

Частотный анализ (FDL) — метод обработки изображений, где картинку разбивают на составляющие частоты (как в музыке — низкие и высокие ноты). Низкие частоты отвечают за общие формы, высокие — за мелкие детали. Это позволяет точечно улучшать резкость и текстуры.

Раньше пытались сразу переводить ИК-изображения в цвет, но это давало посредственный результат, — объясняет Юньи Гао, аспирант BIT. — Мы взяли за основу черно-белые снимки, и это резко повысило точность.

Тесты на стандартных наборах данных (ICVL, TokyoTech) подтвердили: метод выдает более четкие и естественные цвета.

Показатели PSNR и SSIM выросли, а цветовые искажения (Delta-E) уменьшились.

Технология пригодится в беспилотниках и системах видеонаблюдения, — отмечает соавтор работы Цянькунь Лю. — Чем точнее картинка, тем надежнее решения, которые принимает алгоритм.

Сейчас команда дорабатывает метод, чтобы улучшить совместимость ИК- и черно-белых изображений.

В планах — адаптировать его для сложных условий съемки.

Главный плюс исследования — возможность получать детализированные цветные изображения там, где обычные камеры слепнут: в тумане, в темноте, при засветке. Это критично для:

• Беспилотных автомобилей — даже ночью система будет «видеть» дорогу четко.
• Видеонаблюдения — например, распознавать лица в условиях плохой освещенности.
• Медицины — ИК-датчики используют для диагностики, а цветное изображение упрощает анализ.

Технология может удешевить системы ночного видения: вместо дорогих мультиспектральных камер — ИК-сенсор + алгоритм.

Метод зависит от качества обучающих данных. Если в выборке мало сцен, похожих на реальные условия (например, сильный дождь или задымление), цветопередача может «ломаться». Кроме того, частотный анализ (FDL) увеличивает вычислительные затраты — для мобильных устройств это пока минус.

Ранее казанские ученые изучили оксид графена с помощью инфракрасной спектроскопии.