Профессор Калифорнийского университета в Санта-Крузе Роберто Мандучи много лет создаёт технологии для слепых и слабовидящих людей. Он понял, что таким людям нужны инструменты для ориентации в незнакомых местах.

Самостоятельно передвигаться по незнакомому месту сложно, потому что у вас нет визуальных ориентиров — легко заблудиться, — говорит Мандучи.

Исследовательская группа Мандучи представила два приложения для смартфонов. Они помогают найти путь в помещении, добраться до нужной точки и вернуться обратно, отслеживая маршрут. Приложения подают звуковые сигналы и не требуют держать смартфон перед собой, что может быть неудобно и привлекать лишнее внимание.

Результаты опубликованыв издании ACM Transactions on Accessible Computing.

Более безопасная, масштабируемая технология

Смартфоны — это дешёвая и доступная платформа для технологий, так как они поддерживаются специалистами по информационным технологиям компании и оснащены встроенными датчиками и функциями доступности.

Другие системы определения пути на базе смартфонов требуют, чтобы человек шёл с вынутым телефоном. Это может быть опасно для незрячих людей, которые обычно держат в одной руке собаку-поводыря или трость. Кроме того, использование телефона на улице делает человека уязвимым для преступников, а люди с ограниченными возможностями и так сталкиваются с ними несоизмеримо чаще.

Хотя Apple и Google разработали систему навигации внутри помещений для аэропортов и стадионов, их методы зависят от датчиков в зданиях. Это делает их менее универсальными из-за затрат на установку и обслуживание дополнительной инфраструктуры.

Использование встроенных датчиков

Приложение Manduchi прокладывает маршрут как GPS-сервисы, например, Google Maps. Но GPS не работает в помещениях, так как сигнал искажается стенами здания.

Система Мандучи использует другие датчики смартфона, чтобы давать голосовые инструкции для перемещения по незнакомому зданию. Приложение ищет путь к цели на карте внутреннего пространства и отслеживает продвижение навигатора с помощью встроенных инерционных датчиков, акселерометров и гироскопов.

Датчики отслеживают ориентацию телефона и навигатора. Однако расчётное местоположение и ориентация могут быть неточными.

Исследователи применили метод фильтрации частиц, чтобы навигатор не думал, что он проходит сквозь стены.

Приложение для поиска обратного пути инвертирует маршрут, пройденный ранее. Это полезно, когда слепого человека ведут в комнату, а он хочет выйти из неё самостоятельно.

Помимо инерционных датчиков, приложение использует магнитометр телефона для определения аномалий магнитного поля, создаваемых электроприборами. Они могут служить ориентирами в здании.

Передача указаний

Обе системы навигации дают указания с помощью устной речи. Также они могут работать со смарт-часами, которые дополняют голосовые инструкции вибрацией.

Исследователи постарались минимизировать количество информации для навигатора, чтобы он мог сосредоточиться на безопасности. Навигатор сам принимает решение о том, куда повернуть, учитывая возможные ошибки в отслеживании местоположения. Система предупреждает человека об изменении направления за пять метров до поворота: например, «на следующем перекрёстке поверните налево». В этот момент навигатор начинает искать поворот с помощью трости или собаки-поводыря.

Мандучи считает, что разделение ответственности — это правильный подход. Нельзя полагаться только на технологии, это касается и вождения автомобиля. Нужно работать с системой: если вам говорят повернуть направо, вы не просто сразу поворачиваете, а ищете перекрёсток.

Команда исследователей протестировала свои системы в инженерном корпусе Баскина в Калифорнийском университете в Санта-Крузе. Пользователи смогли ориентироваться в многочисленных коридорах и поворотах. Команда будет продолжать совершенствовать приложения, которые используют один интерфейс, но разделены для удобства разработки.

В будущем они сосредоточатся на интеграции функций искусственного интеллекта. Они позволят навигатору делать фотографии окружающей обстановки и получать описание сцены в сложных для навигации местах, например в нише здания или на широком открытом пространстве.

Также планируется расширить возможности доступа и загрузки карт зданий с помощью экосистемы программного обеспечения с открытым исходным кодом.

Мандучи говорит:

Я очень благодарен сообществу слепых в Санта-Крузе, которое дало мне фантастический совет. Инженеры, создающие технологии для незрячих, должны быть очень осторожными и скромными и исходить не из самой технологии, а из человека, который будет пользоваться технологией.