JNE: Ученым удалось преобразовать сигналы мозга в слышимую речь

Исследователям из Университета Радбоуда и Утрехтского университета удалось преобразовать сигналы мозга в слышимую речь. Расшифровывая сигналы мозга с помощью комбинации имплантатов и искусственного интеллекта, они смогли предсказывать слова, которые люди хотят произнести, с точностью от 92 до 100%.

Результаты исследования опубликованы в журнале Journal of Neural Engineering в этом месяце.

По словам ведущего автора исследования Юлии Березуцкой, научного сотрудника Института мозга, познания и поведения имени Дондерса Университета Рэдбуда и Утрехтского университета, это исследование свидетельствует о многообещающем развитии в области интерфейсов «мозг-компьютер». Березуцкая и ее коллеги из UMC Utrecht и Radboud University использовали мозговые имплантаты у пациентов с эпилепсией, чтобы понять, что говорят люди.

Возвращение голоса

В конечном итоге мы надеемся сделать эту технологию доступной для пациентов в заблокированном состоянии, которые парализованы и не могут общаться», — говорит Березуцкая. Эти люди теряют способность двигать мышцами, а значит, и говорить. Создав интерфейс «мозг-компьютер», мы сможем проанализировать активность мозга и вернуть им голос».

В ходе эксперимента, о котором идет речь в новой работе, исследователи попросили непарализованных людей с временными мозговыми имплантами произнести вслух несколько слов, в то время как их мозговая активность измерялась. Березуцкая:

Мы смогли установить прямое соответствие между активностью мозга, с одной стороны, и речью, с другой стороны. Мы также использовали передовые модели искусственного интеллекта, чтобы перевести эту активность мозга непосредственно в слышимую речь. Это означает, что мы не просто угадывали, что говорят люди, а могли сразу же преобразовать эти слова в разборчивые, понятные звуки. Кроме того, реконструированная речь даже по тембру голоса и манере говорить напоминала оригинального собеседника.

Исследователи во всем мире работают над тем, как распознавать слова и предложения в мозговых паттернах. Исследователи смогли восстановить разборчивую речь на сравнительно небольшом наборе данных, показав, что их модели способны раскрыть сложную взаимосвязь между активностью мозга и речью при ограниченном количестве данных. Важно отметить, что для оценки степени распознаваемости синтезированных слов были проведены тесты на слух с участием добровольцев. Положительные результаты этих тестов свидетельствуют о том, что технология не только правильно распознает слова, но и передает их на слух и понимает, как настоящий голос.

Ограничения

На сегодняшний день существует ряд ограничений, предупреждает Березуцкая.

В этих экспериментах мы просили участников произнести вслух двенадцать слов, и именно эти слова мы пытались распознать. В целом, предсказание отдельных слов менее сложно, чем предсказание целых предложений. В будущем большие языковые модели, которые используются в исследованиях ИИ, могут оказаться полезными.

Наша цель — предсказывать полные предложения и абзацы того, что пытается сказать человек, основываясь только на его мозговой активности. Чтобы достичь этой цели, нам потребуется больше экспериментов, более совершенные имплантаты, большие массивы данных и продвинутые модели ИИ. Все эти процессы займут не один год, но, похоже, мы движемся в правильном направлении.

28.08.2023