Например, если вы хотите навести порядок на кухне и сначала вытереть стол, то можно смести все пакеты с соусом в одну кучу. Если же вы сначала хотите отобрать пакетики с горчицей, а потом выбросить остальные, то вы будете сортировать их более внимательно. А если среди всей горчицы вам понадобился именно Grey Poupon, то искать его вы будете особенно тщательно.

Инженеры из Массачусетского технологического института создали метод Clio, который позволяет роботам принимать интуитивные решения в зависимости от задачи.

Робот получает список задач на естественном языке и определяет уровень детализации для интерпретации окружающей обстановки. Робот «запоминает» только те части сцены, которые имеют значение.

Команда провела эксперименты в разных локациях: от захламлённого кабинета до пятиэтажного здания в кампусе Массачусетского технологического института. В этих экспериментах команда использовала метод Clio для автоматического сегментирования сцены на разных уровнях детализации. Задачи задавались на естественном языке, например: «передвинуть стеллаж с журналами» или „достать аптечку“.

Команда запустила Clio на четвероногом роботе в режиме реального времени.

Clio определял и отображал только те части сцены, которые относились к задачам робота (например, поиск игрушки для собаки). Это позволяло роботу схватывать интересующие его объекты.

Clio (Клио) названа так в честь греческой музы истории. Исследователи считают, что она может пригодиться во многих ситуациях и средах, где робот должен быстро изучать обстановку в контексте поставленной задачи.

Лука Карлоне, доцент кафедры аэронавтики и астронавтики Массачусетского технологического института, главный исследователь в Лаборатории систем информации и принятия решений и директор Лаборатории MIT SPARK, рассказывает, что основная область применения работы — это поиск и спасение.

Также Clio может управлять домашними и производственными роботами, работающими рядом с людьми. Задача заключается в том, чтобы помочь роботу понять окружающую обстановку и запомнить необходимые данные для выполнения миссии.

Результаты опубликованы в журнале Robotics and Automation Letters.

Открытые области

Благодаря достижениям в компьютерном зрении и обработке естественного языка, роботы теперь могут распознавать объекты вокруг себя. Раньше это было возможно только в контролируемой среде с ограниченным набором объектов, которые робот мог распознать.

Исследователи применяют более «открытый» подход, чтобы позволить роботам распознавать объекты в реальных условиях.

Они используют инструменты глубокого обучения для создания нейронных сетей. Такие сети могут обрабатывать миллиарды изображений из интернета вместе с текстом, связанным с каждым изображением (например, фотографию собаки с подписью «Познакомьтесь с моим новым щенком!»).

Нейронная сеть обучается на миллионах пар «изображение-текст» и определяет сегменты сцены, связанные с определёнными терминами, например „собака“.

Робот может использовать эту нейронную сеть, чтобы найти собаку в новой сцене. Однако всё ещё существует проблема анализа сцены для конкретной задачи.

Маджио отмечает, что типичные методы выбирают произвольный уровень детализации для определения того, как объединить сегменты в «объект». Но если этот уровень не учитывает задачи робота, то полученная карта будет бесполезной.

Информационное узкое место

Команда Массачусетского технологического института создала робота Clio, который может детально анализировать окружающую обстановку и автоматически подстраиваться под задачи.

Например, если робот должен поставить стопку книг на полку, он определит её как объект, имеющий отношение к задаче. А если нужно переместить только зелёную книгу, то робот выделит её как целевой объект и проигнорирует остальные книги в стопке.

Команда использует сочетание компьютерного зрения и больших языковых моделей, основанных на нейронных сетях. Они анализируют миллионы изображений и текстов из открытых источников.

Также применяются инструменты картографии, которые автоматически делят изображение на мелкие сегменты. Затем эти сегменты подаются в нейросеть для определения семантического сходства.

Далее применяется идея из теории информации под названием «информационное узкое место». С её помощью ряд сегментов изображения сжимается так, чтобы выбрать и сохранить наиболее релевантные для задачи.

Например, моя задача — достать зелёную книгу из стопки. Мы рассматриваем всю информацию о сцене через задачу достать книгу и получаем набор элементов, которые представляют зелёную книгу, — объясняет Мадджио.

Остальные элементы группируются в кластер, который можно удалить. В итоге остаётся объект нужной детализации для решения задачи.

Исследователи показали Clio в действии в разных условиях. Маджио рассказывает, что самым простым экспериментом был запуск Clio у него дома без предварительной уборки.

Команда составила список заданий на естественном языке, например «переместить кучу одежды». Затем они применили Clio к изображениям захламлённой квартиры Маджио. Clio смог быстро определить сегменты, составляющие кучу одежды.

Также команда запустила Clio на роботе Spot компании Boston Dynamic. Они дали роботу список задач, которые он должен был выполнить. Пока робот исследовал и наносил на карту внутренности офисного здания, Clio работал в режиме реального времени на бортовом компьютере робота. Метод генерировал наложенную карту с изображением целевых объектов, которую робот использовал для приближения к идентифицированным объектам и физического выполнения задания.

Команда гордится тем, что запустила Clio в режиме реального времени — это большое достижение для них. Раньше на выполнение работы уходило несколько часов.

В планах команды — улучшить Clio для более сложных задач и использовать последние достижения в области фотореалистичных визуальных представлений сцен.

Пока мы даём Clio простые задачи, например, «найти колоду карт». Для поисково-спасательных работ нужны более сложные задания, такие как „найти выживших“ или „восстановить электроснабжение“. Так мы хотим понять, как научить Clio выполнять сложные задачи на уровне человека, — заключает Мадджио.