Беспилотники с умными камерами активно используются на промышленных объектах, поскольку позволяют автоматически контролировать инфраструктуру и снимать показания приборов — как электронных, так и стрелочных. Это существенно ускоряет процесс проверки оборудования и делает его более безопасным для человека.

В МАИ реализовали проект для теплоэлектростанции, который позволяет использовать промышленный беспилотник. Он нужен для дефектоскопии труб парового котла и определения показаний приборов машинного зала.

Для машинного зрения распознавание показаний приборов отличается от дефектоскопии труб. Сложность заключается в том, что дрон может подлететь к манометру с любой стороны, а освещение прибора бывает разным — получаются разные изображения.

Поскольку реальных данных для обучения нейросети было мало, мы создали синтетический датасет, связанный с манометром. Изучив научные публикации, мы выяснили: универсальной методики создания синтетических данных для стрелочных приборов не существует.

Коллеги из Гарварда предложили решение только для неподвижной камеры, а мы разработали оригинальное решение для камеры БЛА в полете, — рассказывает Вадим Кондаратцев, руководитель лаборатории искусственного интеллекта института № 8 «Компьютерные науки и прикладная математика» МАИ.

Обучить систему определять дефекты труб было непростой задачей. Дрон с прожектором летает в темноте, из-за чего изображение дефекта меняется в зависимости от освещения. Получить такие изображения на практике невозможно, поэтому разработчики создали генератор синтетических данных.

Разработчик создает 3D-модель объекта (например, трубы) и настраивает алгоритм для автоматического управления камерой и создания разметки с дефектами. Затем он определяет фильтры для имитации реальной съемки. Данные, созданные с помощью этого алгоритма, отправляются в нейронную сеть для обучения.

Создание 3D-моделей занимает несколько месяцев. Но когда генератор готов, он может за неделю создать несколько сотен тысяч изображений для обучения нейросети.

Специалист всегда распознает дефекты и считывает показания приборов. Для умной камеры это пока невозможно. Но дрон с камерой может облететь топку за пять минут, а человеку нужно несколько недель, чтобы построить леса и потом осмотреть объект. При этом есть риски при проведении таких работ, — заключает Вадим Кондаратцев.