В финале теста Тьюринга победила команда «Инобот» с роботом Соней

На минувшей международной конференции Startup Village-2015 состоялся финал конкурса Тест Тьюринга – первого официально проведенного теста Тьюринга для русскоязычных чатботов.

Его организаторами выступили компания «Наносемантика» и Фонд „Сколково“. Победила в конкурсе команда „Инобот“ (капитан – Иван Голубев, Санкт-Петербург).

Конкурс стартовал 16 марта. Для участия в нем зарегистрировалось 69 команд. В течение двух месяцев создание и обучение роботов велось на технической платформе, которую предоставила компания «Наносемантика». Платформа оказалась достаточно удобной и легкой для освоения, позволив даже неподготовленным пользователям разработать собственных роботов за относительно короткий срок.

Альберт Ефимов, руководитель Робототехнического центра Фонда «Сколково»:

«Понимание компьютером естественного языка человека — одна из наиболее актуальных задач, стоящих перед разработчиками систем искусственного интеллекта. Более 60 лет назад Алан Тьюринг показал, что имитация естественного диалога будет своего рода „входной дверью“ в полноценный искусственный интеллект. За прошедшие десятилетия достигнут большой прогресс в понимании компьютерами английского языка – существует большое сообщество разработчиков различных систем. Тест Тьюринга был пройден англоязычным чат-ботом в 2014 году. Инициатива компании „Наносемантика“ позволит расширить российское сообщество лингвистов и программистов, создающих системы искусственного интеллекта, повышая интерес со стороны молодежи к направлению, критически важному для развития нашей страны».

Отбирал финалистов конкурса экспертный совет, куда вошли ведущие российские специалисты в области искусственного интеллекта и робототехники – Игорь Ашманов ( «Ашманов и партнеры»), Анна Власова и Кирилл Зоркий (оба – „Наносемантика“) и Альберт Ефимов (Фонд „Сколково“). Во внимание принималось в первую очередь количество авторских шаблонов для каждого чатбота – их должно было быть не менее 50. Кроме того, каждый эксперт задавал чатботам по 15 вопросов, оценивая адекватность ответов на них. Если ответ виртуального собеседника можно было принять за человеческую реакцию, чатбот получал один балл.

В итоге в финал пробились 8 команд: «Идеальный собеседник», „Позитифф“, „Инобот“, „Лиска Лисичкина“, „Сборка №42“, „Сократ“, „Пятый дом“ и „Форвард“.

На Startup Village созданные финалистами чатботы анонимно общались с посетителями конференции, пытаясь выдать себя за человека. Помимо роботов через чат разговаривали с судьями и люди – восемь волонтеров-лингвистов. Судьям предстояло определить, кто из их собеседников является роботом, а кто – человеком.

При том, что волонтеры во время диалогов не пытались притвориться чатботами, судьи в некоторых случаях принимали волонтера за виртуального собеседника, а робота, который шел с ним в паре, – за реальную личность. По правилам конкурса, тест Тьюринга считался бы пройденным, если бы чатбота приняли за человека как минимум 50% независимых судей.

Победителю конкурса – Соне, которую создала команда «Инобот» – для прохождения теста Тьюринга не хватило всего 3%: ее приняли за человека 47% судей. Второе место досталось чатботу по имени Сократ (капитан – Александр Кузьмин, Москва), он сумел ввести в заблуждение 24% своих собеседников. Третью позицию заняла „Лиска Лисичкина“ (капитан – Алексей Лаврушев, Красноярск) с результатом 19%.

На церемонии награждения победителей член экспертного совета, председатель совета директоров «Наносемантики» Игорь Ашманов рассказал о планах организаторов „Теста Тьюринга“ сделать этот конкурс ежегодным. Кроме того, устроители планируют адаптировать его для студенческой аудитории и проводить состязания между профильными вузами.

Иван Голубев, капитан команды «Инобот»:

«Участвовать в конкурсе я решил сразу, как только о нем узнал. Я не являюсь профессиональным программистом, но интересуюсь чатботами с 2011 года. В этом конкурсе, в первую очередь, меня привлекла возможность создать своего робота на базе готовой платформы, тратя время не на преодоление технических препятствий, а на создание персонажа.

Чтобы сделать робота, нужно придумать легенду персонажа, подготовить базу знаний, которая отражала бы его историю и манеру поведения, а затем анализировать разговоры робота с людьми. Последний этап – самый трудоемкий, но и самый интересный. За время конкурса я проанализировал сотни диалогов, чтобы фразы робота стали похожи на фразы живого человека.

Мой персонаж – Соня Гусева, 12-летняя петербурженка. Это раздражительный, иногда грубоватый подросток, манера поведения которого предсказуема, и поэтому ее относительно легко имитировать.

Хочу поблагодарить организаторов за интересный конкурс. Я надеюсь, скоро мы станем свидетелями того, как роботы сделают нашу жизнь чуточку проще, удобнее и лучше».

16.06.2015