Наши органы чувств взаимодействуют друг с другом для получения полного представления, особенно если отдельные сигналы очень тонкие. Коллективная сумма биологических сигналов может быть больше, чем их индивидуальный вклад. Роботы, как правило, следуют более простому принципу сложения, но исследователи из Университета Пенсильвании использовали эту биологическую концепцию для применения в искусственном интеллекте (ИИ), разработав первый искусственный мультисенсорный интегрированный нейрон.

Под руководством Саптарши Даса (Saptarshi Das), доцента кафедры инженерных наук и механики в Penn State, группа исследователей опубликовала свою работу 15 сентября в журнале Nature Communication.

Роботы принимают решения в зависимости от окружающей среды, но их датчики, как правило, не общаются друг с другом, — говорит Дас, который также имеет совместные должности в области электротехники и материаловедения и инженерии.

Коллективное решение может быть принято с помощью блока обработки данных датчиков, но является ли это наиболее эффективным или действенным методом? В человеческом мозге одно чувство может влиять на другое и позволять человеку лучше оценивать ситуацию.

Например, в автомобиле один датчик сканирует препятствия, а другой определяет темноту, чтобы регулировать интенсивность света фар. По отдельности эти датчики передают информацию на центральный блок, который затем дает команду автомобилю затормозить или отрегулировать свет фар. По мнению Das, этот процесс потребляет больше энергии. Если позволить датчикам напрямую взаимодействовать друг с другом, то это будет более эффективно с точки зрения энергопотребления и скорости работы — особенно если входные сигналы от обоих датчиков слабые.

Биология позволяет маленьким организмам процветать в среде с ограниченными ресурсами, минимизируя при этом потребление энергии, — говорит Дас, который также работает в Институте исследования материалов.

Требования к различным датчикам зависят от условий — в темном лесу вы будете больше полагаться на слух, чем на зрение, но мы не принимаем решений, основываясь только на одном чувстве. Мы полностью ощущаем окружающую обстановку, и принятие решений основано на интеграции того, что мы видим, слышим, осязаем, обоняем и т.д. В биологии органы чувств развивались вместе, а в искусственном интеллекте — по отдельности. В данной работе мы стремимся объединить датчики и имитировать работу нашего мозга.

Команда сосредоточилась на интеграции тактильного и визуального сенсоров таким образом, чтобы выход одного сенсора изменял другой с помощью визуальной памяти. По словам Мухтасима Уль-Карима Садафа, аспиранта третьего года обучения по специальности «инженерные науки и механика», даже кратковременная вспышка света может значительно повысить вероятность успешного перемещения по темной комнате.

Это объясняется тем, что зрительная память может впоследствии влиять на тактильные реакции и помогать им в навигации, — говорит Садаф.

Все это было бы невозможно, если бы наша зрительная и тактильная кора реагировали только на свои унимодальные сигналы. У нас есть эффект фотопамяти, когда свет светит, и мы можем вспомнить. Мы реализовали эту способность в устройстве на транзисторе, которое обеспечивает такой же отклик.

Исследователи изготовили мультисенсорный нейрон, соединив тактильный датчик с фототранзистором на основе монослоя дисульфида молибдена — соединения, обладающего уникальными электрическими и оптическими характеристиками, полезными для обнаружения света и поддержки транзисторов. Датчик генерирует электрические импульсы, напоминающие нейроны, обрабатывающие информацию, что позволяет ему интегрировать как визуальные, так и тактильные сигналы.

Это равноценно тому, как если бы вы увидели «включенную» лампочку на плите и почувствовали тепло, исходящее от конфорки — если вы видите включенную лампочку, это еще не означает, что конфорка горячая, но руке достаточно ощутить наносекунду тепла, чтобы организм отреагировал и отдернул руку от потенциальной опасности. Поступление света и тепла запускает сигналы, которые вызывают реакцию руки. В данном случае исследователи измеряли версию искусственного нейрона, наблюдая за выходом сигналов, возникающих при визуальном и тактильном воздействии.

Для имитации осязательных сигналов в тактильном датчике использовался трибоэлектрический эффект, при котором два слоя, скользя друг по другу, вырабатывают электричество, то есть осязательные стимулы кодируются в электрические импульсы. Для имитации визуального сигнала исследователи светили светом на монослойный фототранзистор из дисульфида молибдена — транзистор, способный запоминать визуальный сигнал, подобно тому, как человек запоминает общую планировку комнаты после того, как ее быстро осветит вспышка.

Они обнаружили, что сенсорный ответ нейрона — моделируемый как электрический выход — увеличивается при слабых зрительных и тактильных сигналах.

Интересно, что этот эффект удивительно хорошо перекликается с его биологическим аналогом — зрительная память естественным образом повышает чувствительность к тактильным стимулам», — говорит соавтор исследования Наджам У Сакиб, аспирант третьего года обучения по специальности «инженерные науки и механика».

Когда сигналы слабы, необходимо их объединить для лучшего восприятия информации, что мы и наблюдали в полученных результатах.

Дас пояснил, что искусственная система мультисенсорных нейронов может повысить эффективность сенсорных технологий, открывая путь к более экологичному использованию ИИ. В результате роботы, беспилотники и самоуправляемые автомобили смогут более эффективно ориентироваться в окружающей среде, потребляя при этом меньше энергии.

Супер-аддитивное суммирование слабых визуальных и тактильных сигналов — главное достижение нашего исследования, — заключает соавтор Эндрю Панноне, докторант четвертого курса факультета инженерных наук и механики.

В данной работе мы рассматривали только два органа чувств. Мы работаем над тем, чтобы определить подходящий сценарий для включения дополнительных органов чувств и посмотреть, какие преимущества они могут дать.