Нейронные сети в опасности: как злоумышленники могут запутать ИИ

Большинство искусственных интеллектуальных систем основано на нейронных сетях — алгоритмах, созданных по образцу биологических нейронов, находящихся в головном мозге. Такие сети могут состоять из нескольких слоев, в один из которых поступают входные данные, а в другой — выходные.

Выходные данные могут использоваться для принятия автоматических решений, например, в автомобилях без водителя. Атаки, направленные на введение нейронной сети в заблуждение, могут включать использование уязвимостей во входных слоях, но обычно при разработке защиты учитывается только начальный входной слой. Впервые исследователи дополнили внутренние слои нейронной сети процессом, включающим случайный шум, для повышения ее устойчивости.

Искусственный интеллект (ИИ) стал довольно распространенным явлением: скорее всего, у вас есть смартфон с ИИ-помощником или вы пользуетесь поисковой системой, работающей на основе ИИ. Хотя это широкий термин, который может включать в себя множество различных способов обработки информации и принятия решений, системы искусственного интеллекта часто строятся на основе искусственных нейронных сетей (ИНС), аналогичных мозгу. И, как и мозг, ИНС могут иногда сбиваться с толку, либо случайно, либо в результате преднамеренных действий третьих лиц. Подумайте о чем-то вроде оптической иллюзии — вам может показаться, что вы смотрите на одну вещь, а на самом деле вы смотрите на другую.

Разница между тем, что может запутать ИНС, и тем, что может запутать нас, заключается в том, что некоторые визуальные данные могут выглядеть совершенно нормально или, по крайней мере, быть понятными для нас, но, тем не менее, могут быть интерпретированы ИНС как нечто совершенно иное.

Тривиальным примером может быть система классификации изображений, принимающая кошку за собаку, а более серьезным — автомобиль без водителя, принимающий стоп-сигнал за знак «Право проезда». И это не только уже ставший спорным пример с автомобилями без водителя; существуют системы медицинской диагностики и многие другие чувствительные приложения, которые принимают входные данные и информируют, или даже принимают, решения, которые могут повлиять на людей.

Поскольку входные данные не всегда визуальны, не всегда легко с первого взгляда проанализировать, почему система могла допустить ошибку. Злоумышленники, пытающиеся нарушить работу системы, основанной на ИНС, могут воспользоваться этим, тонко изменяя предполагаемую модель входных данных таким образом, чтобы она была неверно интерпретирована, и система повела себя неправильно, возможно, даже проблемно. Существуют некоторые методы защиты от подобных атак, но они имеют свои ограничения. Недавний выпускник Джумпей Укита и профессор Кеничи Оки с кафедры физиологии Высшей медицинской школы Токийского университета разработали и протестировали новый способ улучшения защиты ANN.

Нейронные сети обычно состоят из слоев виртуальных нейронов. Первые слои часто отвечают за анализ входных данных, определяя элементы, соответствующие определенному входу, — говорит Охки.

Злоумышленник может предоставить изображение с артефактами, которые обманут сеть и заставят ее неправильно классифицировать его. Типичной защитой от такой атаки может быть преднамеренное введение шума в этот первый слой. Звучит нелогично, что это может помочь, но таким образом можно добиться большей адаптации к визуальной сцене или другому набору входных данных. Однако этот метод не всегда столь эффективен, и мы подумали, что можем улучшить ситуацию, заглянув не только на входной слой, но и дальше внутрь сети.

Укита и Оки — не просто ученые-компьютерщики. Они также изучали человеческий мозг, и это вдохновило их на использование известного им явления в ANN. Речь идет о добавлении шума не только во входной слой, но и в более глубокие слои. Обычно этого избегают, поскольку опасаются, что это повлияет на эффективность работы сети в обычных условиях. Однако дуэт обнаружил, что это не так, и вместо этого шум способствовал повышению адаптивности тестовой ANN, что снизило ее восприимчивость к симулированным атакам противника.

В первую очередь мы разработали гипотетический метод атаки, который бы проникал глубже входного слоя. Такая атака должна была бы противостоять устойчивости сети со стандартной защитой от шума на входном слое. Мы назвали эти атаки примерами состязаний в пространстве признаков, — говорит Укита.

Эти атаки осуществляются путем подачи на вход сигнала, заведомо далекого, а не близкого к тому, который ANN может правильно классифицировать. Но хитрость заключается в том, что вместо этого на глубокие слои подаются тонкие вводящие в заблуждение артефакты. После того как мы продемонстрировали опасность такой атаки, мы ввели случайный шум в глубокие скрытые слои сети, чтобы повысить их адаптивность и, следовательно, способность к защите. Мы рады сообщить, что это работает.

Несмотря на то, что новая идея оказалась надежной, команда хочет доработать ее, чтобы сделать еще более эффективной против ожидаемых атак, а также против других видов атак, которые они еще не проверили. В настоящее время защита работает только против этого конкретного вида атак.

Будущие злоумышленники могут попытаться рассмотреть атаки, способные избежать шума в пространстве признаков, который мы рассматривали в этом исследовании, — сказал Укита.

Действительно, атака и защита — это две стороны одной медали; это гонка вооружений, от которой не отступит ни одна из сторон, поэтому нам необходимо постоянно повторять, совершенствовать и внедрять новые идеи, чтобы защитить системы, которыми мы пользуемся каждый день.

16.09.2023


Подписаться в Telegram



Net&IT

Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр
Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр

В сериале Звездный путь: Следующее поколение к...

Physical Review X: Сеть квантовых датчиков повышает точность измерений
Physical Review X: Сеть квантовых датчиков повышает точность измерений

Квантовые системы, используемые в квантов...

Scientific Reports: ИИ показал больший творческий потенциал, чем человек
Scientific Reports: ИИ показал больший творческий потенциал, чем человек

Еще один балл в пользу искусственного инт...

Крошечную метку на замену RFID сделали еще надежнее
Крошечную метку на замену RFID сделали еще надежнее

Несколько лет назад исследователи Массачу...

Ученые приблизились к более легким и гибким оптоэлектронным устройствам
Ученые приблизились к более легким и гибким оптоэлектронным устройствам

Органические оптоэлектронные устройства, такие...

PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить
PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить

Атанасиос С. Фокас рассматривает актуальный во...

Nature: ИИ генерирует белки с исключительной прочностью связывания
Nature: ИИ генерирует белки с исключительной прочностью связывания

В новом исследовании, опубликованном 18 декабр...

Nature Computational Science: ИИ может предсказывать события в жизни людей
Nature Computational Science: ИИ может предсказывать события в жизни людей

Искусственный интеллект, разработанный для&nbs...

Nature Electronics: Изменение памяти дает новые вычислительные возможности
Nature Electronics: Изменение памяти дает новые вычислительные возможности

Ученые Рочестерского университета разработали ...

Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта
Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта

Многофункциональные компьютерные чипы эволюцио...

Началась регистрация на конкурс «Битва искусственных интеллектов»
Началась регистрация на конкурс «Битва искусственных интеллектов»

Стартовал отборочный этап Международного техно...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Applied Catalysis: MXene поможет получать экономически выгодный зеленый водород
Applied Catalysis: MXene поможет получать экономически выгодный зеленый водород
35% переболевших коронавирусом в течение года столкнулись с ухудшением здоровья
35% переболевших коронавирусом в течение года столкнулись с ухудшением здоровья
Science Immunology: Воспаление мозга вызывает мышечную слабость после инфекций
Science Immunology: Воспаление мозга вызывает мышечную слабость после инфекций
Acta Biomaterialia: Гидрогель поможет понять механизм развития Альцгеймера
Acta Biomaterialia: Гидрогель поможет понять механизм развития Альцгеймера
CSAA: Как восстановить мир в городе после конфликта — проблемы и перспективы
CSAA: Как восстановить мир в городе после конфликта — проблемы и перспективы
Новая технология фотоэлектрических модулей оптимизирована для городских условий
Новая технология фотоэлектрических модулей оптимизирована для городских условий
Nature Ecology & Evolution: Всеобщий предок LUCA оказался старше, чем считалось
Nature Ecology & Evolution: Всеобщий предок LUCA оказался старше, чем считалось
ИИ лучше клинических тестов справился с прогнозом течения болезни Альцгеймера
ИИ лучше клинических тестов справился с прогнозом течения болезни Альцгеймера
International Journal of Hydrogen Energy: К 2045 году будем летать на водороде
International Journal of Hydrogen Energy: К 2045 году будем летать на водороде
IEEE Access: Ученые открыли доступ к данным о работе электрических сетей
IEEE Access: Ученые открыли доступ к данным о работе электрических сетей
Нанопластики нарушают структуру и функциональность белков в грудном молоке
Нанопластики нарушают структуру и функциональность белков в грудном молоке
Nature Neuroscience: Ученые доказали, что терпение приносит свои плоды
Nature Neuroscience: Ученые доказали, что терпение приносит свои плоды
Cell: Впервые восстановлена трёхмерная структура хромосом шерстистого мамонта
Cell: Впервые восстановлена трёхмерная структура хромосом шерстистого мамонта
Познакомьтесь со странной амфибией, которая выкармливает своих детенышей молоком
Познакомьтесь со странной амфибией, которая выкармливает своих детенышей молоком
В 40% случаев люди ошибочно называют сгенерированное фото человека реальным
В 40% случаев люди ошибочно называют сгенерированное фото человека реальным

Новости компаний, релизы

Ведущие игроки агрорынка представят новинки на «Дне поля» в Агробиотехнопарке Казанского ГАУ
Межсетевой экран защитит компьютерные системы от киберугроз
Университет МИСИС будет готовить специалистов в сфере квантовых технологий
Казанский ГАУ запускает подготовку специалистов по экологии и природопользованию
40% профессионалов предпочитают работать удаленно с дачи