Чтобы решить эту проблему, используют интеллектуальные алгоритмы на основе компьютерного зрения. Они определяют положение и ориентацию объектов.

Сначала в видеопотоке ищут нужные объекты.

Никита Белов, старший преподаватель кафедры ИСУиА МТУСИ, предложил алгоритм с использованием нейронной сети и RGB-D сенсора. Этот алгоритм определяет объект захвата при сортировке с помощью промышленного манипулятора.

В эксперименте использовался робот-манипулятор KUKA KR4 R600.

Для точного определения объектов применялись алгоритм YOLOv8 и камера Intel RealSense D415i, которая определяла расстояние до объекта по вертикали. Затем с помощью метода FindContours выделяли контуры распознанных объектов на чёрно-белых изображениях.

Важным этапом работы алгоритма стал расчёт индекса Жаккара, который позволил выявить пересекающиеся ограничивающие рамки распознанных объектов. В результате получился массив данных со всеми пересекающимися объектами и отклонениями их отношений периметра к площади от эталонных значений, — пояснил Никита Белов.

Исследование показало, что при определении объекта только по расстоянию по оси Z с помощью RGB-D сенсора Intel RealSense D415i есть вероятность ошибки из-за перекрытия объектов.

Чтобы решить эту проблему, учитывалось взаимное перекрытие объектов. Если объекты пересекались, выбирался тот, у которого соотношение периметра к площади меньше всего отклонялось от эталонного значения.

Разработанный алгоритм точно выбирает наилучший объект для захвата роботом-манипулятором в условиях, когда объекты хаотично расположены, частично или полностью перекрывают друг друга. При этом робот не повреждает ни фланец манипулятора, ни захватное устройство.

Интеграция нейронных технологий в робототехнику эффективна и может улучшить работу производственных систем. Дальнейшие исследования в этом направлении сделают технологии более совершенными и надёжными.