Фото без швов: использование математических моделей для сшивания изображений

На одной фотографии умещается ровно столько, сколько позволяет захватить камера, то есть все зависит от угла обзора объектива.

В случае с камерами смартфонов и многими другими более продвинутыми разновидностями угол обзора объектива значительно меньше того, что обеспечивают ваши собственные глаза.

Для фиксации больших объектов или сцен была изобретена панорамная фотография, которая позволяет совместить в одном изображении то, что из-за ограничений камеры и объектива не помещается в кадр. Панорамная фотография получается сшиванием изображения. Процесс подразумевает комбинирование двух и более фотографий с наложением граничных областей.

В работе, опубликованной учеными в издании SIAM Journal on Imaging Sciences, описан алгоритм сшивания изображения.

Сшивание изображения включает два шага: выравнивание и смешение. Выравнивание заключается в нахождении парных точек в области наложения двух изображений, которые соответствуют друг другу. Смешение объединяет два выровненных изображения. Этот шаг важен, если интенсивность пикселей в разных изображениях производит явные артефакты, например, при разных условиях освещения и настройках экспозиции. Авторы в статье сосредоточились на смешении предположительно выровненных изображений.

В литературе для совмещения изображений предлагается много методов. «Традиционный метод включает поиск кривой в области наложения, в которой различия между совмещаемыми изображениями минимальны», пояснили ученые. „Однако кривая не может быть определена точно вследствие световой интенсивности, цветовой несогласованности, параллакса, окклюзии и др.“

Подход, описанный в статье, минимизирует артефакты шва за счет сглаживания перехода между изображениями. Мозаичное изображение в данном случае — взвешенная комбинация совмещаемых изображений. Это значит, что значения пикселей двух изображений комбинируются с помощью взвешенного среднего по таким характеристикам как экспозиция, контраст, насыщенность и т.д.

Как это достигается?

Множество систем, естественных и искусственных, стремится к наиболее низкоэнергетическому состоянию, такому как у шара, катящегося с горы, или у ветви дерева зимой, которая прогибается под тяжестью снега, поддерживая указанное состояние в системе. Концепция сокращения энергии данной системы также используется в обработке изображений. Для данного изображения функция энергии определена и минимизирована с тем, чтобы в итоге было получено оптимальное изображение с меньшими шумами, с более высокой точностью, повышенным контрастом и т.п. Бесшовное совмещение изображений достигается за счет минимизации функции энергии, основанной на градиентных различиях двух изображений.

«Согласно модели, мы строим функцию взвешивания по области наложения так, чтобы можно было получить панорамное изображение», сказали исследователи. „Оптимальная функция взвешивания получается благодаря минимизации энергии математической модели“. Так, в предложенной модели и функция взвешивания, и конечная скомбинированная область наложения основаны на решении задачи по минимизации энергии. Авторы показали, как определить функцию энергии, и разработали алгоритм для ее минимизации.

Этот вариационный метод — основанный на достижении самого низкого значения энергии — производит более привлекательное визуально фото по сравнению с другими существующими методами.

Продолжение работы расширит область исследования за пределы двумерных изображений.

03.10.2013