В сериале Звездный путь: Следующее поколение капитан Пикард и экипаж Энтерпрайза используют голопалубу — пустую комнату, способную генерировать трехмерное окружение, — для подготовки к миссиям и для развлечения, имитируя все: от густых джунглей до Лондона времен Шерлока Холмса. Глубоко захватывающие и полностью интерактивные, созданные на голопалубе среды можно бесконечно настраивать, не используя ничего, кроме языка: экипажу достаточно попросить компьютер сгенерировать среду, и это пространство появляется на голопалубе. Сегодня виртуальные интерактивные среды также используются для обучения роботов перед их внедрением в реальный мир в процессе, называемом «Sim2Real». Однако виртуальные интерактивные среды оказались на удивление дефицитными.
Нехватка виртуальных сред — это проблема, если вы хотите обучить роботов ориентироваться в реальном мире со всеми его сложностями. Нейронные сети — системы, на которых держится современная революция в области ИИ, — требуют огромных объемов данных, что в данном случае означает симуляцию физического мира.
В этом поможет Holodeck — система для создания интерактивных 3D-среды, созданная совместно Каллисон-Берч, Яцкаром, Янгом и Лингджи Лю, доцентом кафедры CIS Аравиндом К. Джоши, а также сотрудниками Стэнфорда, Университета Вашингтона и Института искусственного интеллекта Аллена (AI2). Названный в честь своего предшественника из «Звездного пути», Holodeck генерирует практически неограниченный диапазон внутренней обстановки, используя искусственный интеллект для интерпретации запросов пользователей. „Мы можем использовать язык для управления“, — говорит Янг. „Вы можете легко описать любую среду, которую хотите, и обучить воплощенных агентов ИИ“. Holodeck использует знания, заложенные в больших языковых моделях (LLM) — системах, лежащих в основе ChatGPT и других чат-ботов.
Благодаря огромному количеству текста, который они получают в процессе обучения, LLM обладают удивительно глубокими знаниями о дизайне помещений. По сути, Holodeck работает, вовлекая LLM в разговор, используя тщательно структурированную серию скрытых запросов, чтобы разложить запросы пользователя на конкретные параметры. Подобно тому как капитан Пикард может попросить голопалубу Star Trek смоделировать питейное заведение, исследователи могут попросить голопалубу Penn's Holodeck создать «квартиру 1b1b исследователя, у которого есть кошка». Система выполняет этот запрос, разбивая его на несколько шагов: сначала создаются пол и стены, затем дверной проем и окна. Затем Holodeck ищет в Objaverse, обширной библиотеке готовых цифровых объектов, предметы обстановки, которые можно было бы ожидать в таком помещении: журнальный столик, башню для кошки и так далее. Наконец, Holodeck запрашивает модуль планировки, который, по замыслу исследователей, должен ограничивать размещение объектов, чтобы в итоге вы не получили унитаз, торчащий горизонтально из стены. Чтобы оценить возможности Holodeck с точки зрения их реалистичности и точности, исследователи создали 120 сцен, используя как Holodeck, так и ProcTHOR, более ранний инструмент, созданный AI2, и попросили несколько сотен студентов Penn Engineering указать предпочтительную версию, не зная, какие сцены были созданы с помощью тех или иных инструментов. По всем критериям — выбор активов, согласованность компоновки и общее предпочтение — студенты неизменно оценивали окружение, созданное Holodeck, более положительно. Исследователи также проверили способность Holodeck генерировать сцены, которые менее типичны для исследований в области робототехники и которые сложнее создать вручную, чем интерьеры квартир, например, магазины, общественные места и офисы. Сравнивая результаты Holodeck с результатами ProcTHOR, которые были созданы с использованием правил, созданных человеком, а не текста, сгенерированного ИИ, исследователи снова обнаружили, что люди, оценивающие результаты, предпочитают сцены, созданные Holodeck. Это предпочтение сохранялось в широком спектре помещений, от научных лабораторий до художественных студий, от раздевалок до винных погребов. Наконец, исследователи использовали сцены, созданные Holodeck, для «тонкой настройки» воплощенного агента ИИ. „Окончательное испытание Holodeck, — говорит Яцкар, — заключается в том, чтобы с его помощью помочь роботам более безопасно взаимодействовать с окружающей средой, подготовив их к обитанию в местах, где они никогда раньше не бывали“. В нескольких типах виртуальных пространств, включая офисы, детские сады, спортивные залы и игровые автоматы, Holodeck оказал выраженное и положительное влияние на способность агента ориентироваться в новых пространствах. Например, если при предварительном обучении с помощью ProcTHOR (в ходе которого агент совершил около 400 миллионов виртуальных шагов) агент успешно находил пианино в музыкальной комнате лишь в 6% случаев, то при тонкой настройке с помощью 100 музыкальных комнат, сгенерированных Holodeck, агент справлялся с задачей более чем в 30% случаев.
11.04.2024 |
Net&IT
Студенты ТИСБИ разработали проект онлайн-платформы для геймеров | |
Студенты Университета управления ТИСБИ в ... |
Nature: Созданные ИИ тексты будут размечаться водяными знаками | |
Исследователи из лондонской лаборатории G... |
Российская игра о наполеоновских войнах станет бесплатной | |
У российской аудитории растет интерес к в |
Ученые МГУ с коллегами предложили новый подход для создания квантового интернета | |
Создать устройство для гибридных квантовы... |
В НГУ запустили пилотный кластер суперкомпьютерного центра «Лаврентьев» | |
В Новосибирском государственном университете з... |
Российские ученые создали расчетные модули для системы инженерного анализа | |
Ученые из нескольких научных организаций ... |
Эксперты МИФИ объяснили решение Microsoft и Google о мирном атоме | |
Технологические корпорации всё чаще обращ... |
По событиям Смутного времени создадут игру — интерактивную новеллу | |
Компания Сайберия Нова и создатели игры С... |
JCM: ИИ быстрее человека определяет устойчивость бактерий к антибиотикам | |
Искусственный интеллект для поиска бактер... |
HB&ET: Пожилые чаще молодых относятся к ИИ как к кому-то живому | |
В исследовании Имперского колледжа Лондона люд... |
В России создана нейросеть для оценки отторжения пересаженной почки | |
ИИ-модель, которая с помощью компьютерног... |
UIST: Приложение для смартфона делает захват движений тела в реальном времени | |
Инженеры Северо-Западного университета создали... |
PNAS Nexus: Разработана система мониторинга усталости рабочих на производстве | |
Новая разработка, система датчиков и маши... |
В СПбГУ с помощью ИИ создали систему распознавания нейротропных препаратов | |
Новую систему для скрининга нейротропных ... |
NatPhys: Поиск ошибок в процессоре поможет создать надежный квантовый компьютер | |
Чтобы достичь выдающихся результатов, квантовы... |
Новые ИИ-модели нагрева плазмы исправляют вычисления термоядерных исследований | |
Новые модели искусственного интеллекта для&nbs... |
ACMTAC: Новые приложения позволят слепым людям ориентироваться в помещениях | |
Два новых приложения помогут слепым людям орие... |
Nature Communications: Ученые придумали способ ускорить разработку лекарств | |
Способ улучшить квантовые компьютеры для ... |
PRR: Новые оптические устройства смогут преодолеть ограничения хранения данных | |
Поскольку наш цифровой мир создаёт о... |
В МФТИ создали ПО для нефтяников и золотодобытчиков | |
Сотрудники МФТИ предложили цифровое решение, к... |
В КФУ создали программу для определения свойств многокомпонентных материалов | |
Учёные вуза с помощью ИИ разработали... |
В России создали систему коррекции волнового фронта для квантовой связи | |
Ученые МТУСИ и ИДГ РАН разработ... |
MIT: Новый протокол безопасности защищает данные в облаке от злоумышленников | |
Модели глубокого обучения используются в ... |
Эксперт объяснил, как ИИ меняет творческий процесс в индустрии моды | |
Александр Бутаков, продюсер и специалист ... |
Студенты КНИТУ создали двуязычного ИИ-бота для туристов | |
Студенты КНИТУ создали туристического бота с&n... |
NatComm: С помощью ИИ найдено лучшее решение для хранения энергии | |
Найти иголку в стоге сена — пр... |
ACS Photonics: Разработаны улучшенные очки дополненной реальности | |
Дополненная реальность накладывает цифровые из... |
Journal of Consumer Affairs: Трекеры активности могут сформировать зависимость | |
Технологии для профилактики здоровья, так... |
Испытание лекарств на кардиотоксичность с помощью нейросетей предложили в МФТИ | |
Новый метод позволяет обнаружить потенциально ... |
В МТУСИ разработали метод машинного обучения для обнаружения фишинговых сайтов | |
Информационная безопасность веб-приложений&nbs... |