Ученые разработали метод, который позволяет создавать геометрические модели органических объектов и на их основе строить фотографически точные трехмерные изображения. Эти математически выверенные образы можно использовать для разработки роботизированных систем, способных самостоятельно распознавать и сортировать такие сложные формы.

Технику создали, чтобы усовершенствовать роботизированные системы для сортировки и идентификации микроскопических морских окаменелостей, которые используются в климатических исследованиях. Но она может стать образцом для применения в самых разных областях.

Мы продемонстрировали работу метода в двух направлениях: в роботизированной системе для 3D-съемки этих микроскопических окаменелостей и в системе для их идентификации, — говорит один из авторов работы Эдгар Лобатон, профессор электротехники и вычислительной техники в Университете штата Северная Каролина. — А идентифицировать эти окаменелости очень сложно, именно это и привело нас к данной работе.

Речь идет о фораминиферах, или «форамах». Эти простейшие организмы, не являющиеся ни растениями, ни животными, существуют в океанах Земли более 100 миллионов лет. После смерти от них остаются крошечные раковинки. Они дают ученым ключ к пониманию характеристик океанов в далеком прошлом. Разные виды фораминифер процветают в разных условиях, а химический анализ их раковин может рассказать о температуре и химическом составе древнего океана.

Однако изучение этих раковин — кропотливый и долгий труд. Представьте, что нужно перебрать сотни похожих объектов размером меньше миллиметра. Именно поэтому палеонтологи хотят автоматизировать процесс. Эта задача заинтересовала и Эдгара Лобатона.

Подробности опубликованы в издании Marine Micropaleontology.

У нас уже была полностью рабочая роботизированная система для идентификации и сортировки форамов, названная Forabot, — рассказывает Лобатон. — Ее создание показало, что больше всего времени уходит на тонкую настройку аппаратного обеспечения и его компоновки. Какого размера должен быть каждый компонент? Какая конфигурация компонентов оптимальна? Возможных вариантов — миллион. Наша новая работа как раз и призвана решить эту проблему, чтобы эффективнее улучшать Forabot.

Создавая невероятно точные 3D-копии окаменелостей, исследователи могут использовать их в симуляциях роботизированной системы.

Вносить изменения в симуляторе гораздо проще, чем работать с реальным «железом», — объясняет Лобатон. — И после оптимизации конфигурации в виртуальной среде настройка реального оборудования становится намного легче — ты уже знаешь, как все должно быть устроено.

Для этого исследования ученые модифицировали математическую модель так, чтобы она могла генерировать детальные 3D-копии окаменелостей. Команда Лобатона совместно с палеонтологом убедилась, что копии точно соответствуют характеристикам семи ключевых видов фораминифер.

Затем исследователи провели эксперимент в симуляции Forabot. Используя новые 3D-модели для тестирования модификаций системы, им удалось повысить ее точность с 82% до 89% — без утомительного процесса многократной переконфигурации оборудования в лаборатории.

Используя наш синтетический набор данных, мы смогли протестировать, как современные модели искусственного интеллекта воссоздают трехмерные формы всего по нескольким двумерным изображениям, — говорит ведущий автор статьи, аспирант NC State Санджана Банерджи. — Эти симуляции помогли понять оптимальные условия съемки и теперь направляют разработку новой роботизированной системы, ориентированной на 3D-реконструкцию. Это важный шаг к дальнейшей автоматизации идентификации этих микроокаменелостей.

Наша работа закладывает прочную основу для изучения роста и морфологии множества видов фораминифер, — добавляет Банерджи. — Она также решает серьезные проблемы микропалеонтологии, такие как нехватка данных и точное восстановление формы.

В более широком смысле, наш подход можно использовать для разработки или оптимизации любой роботизированной системы, которая идентифицирует или сортирует объекты со сложной формой, — резюмирует Лобатон. — Потенциальные области применения варьируются от изоляции микробов и патогенов на микроуровне до сортировки сельхозпродукции на макроуровне.

Реальная польза этой работы выходит далеко за рамки палеонтологии. Она создает универсальный цифровой мост между сложным физическим миром и миром симуляций. Вместо того чтобы методом проб и ошибок, затрачивая месяцы и ресурсы, настраивать реального робота для сортировки хрупких или микроскопических объектов, инженеры смогут сначала «прокачать» его цифрового двойника в виртуальной среде.

Это ускорит разработку в таких областях, как фармацевтика (сортировка клеток), контроль качества в микроэлектронике (анализ чипов), пищевая промышленность (отбраковка плодов по форме и дефектам) и даже в утилизации отходов (роботы-сортировщики). Фактически, метод позволяет превратить уникальный, неповторимый природный объект в безупречную математическую формулу, с которой легко работать алгоритмам, открывая путь к новой степени автономности робототехники.

Основное замечание касается «пропасти» между симуляцией и реальностью. Исследователи добились повышения точности работы системы в симуляции на 7%, используя идеальные 3D-модели. Однако в реальном мире на точность влияет множество неучтенных в модели факторов: погрешности камер и датчиков, переменное освещение, пыль, физическое взаимодействие манипулятора с хрупкой окаменелостью.

Без валидации на большом массиве реальных, а не синтетических объектов, заявленное улучшение может оказаться значительно скромнее. Ключевой тест — покажет ли перенесенная из симуляции конфигурация такое же улучшение в «полевых» лабораторных условиях.

Ранее мы разбирались, какими будут роботы в 2035 году.