Нейронные сети в опасности: как злоумышленники могут запутать ИИ

Большинство искусственных интеллектуальных систем основано на нейронных сетях — алгоритмах, созданных по образцу биологических нейронов, находящихся в головном мозге. Такие сети могут состоять из нескольких слоев, в один из которых поступают входные данные, а в другой — выходные.

Выходные данные могут использоваться для принятия автоматических решений, например, в автомобилях без водителя. Атаки, направленные на введение нейронной сети в заблуждение, могут включать использование уязвимостей во входных слоях, но обычно при разработке защиты учитывается только начальный входной слой. Впервые исследователи дополнили внутренние слои нейронной сети процессом, включающим случайный шум, для повышения ее устойчивости.

Искусственный интеллект (ИИ) стал довольно распространенным явлением: скорее всего, у вас есть смартфон с ИИ-помощником или вы пользуетесь поисковой системой, работающей на основе ИИ. Хотя это широкий термин, который может включать в себя множество различных способов обработки информации и принятия решений, системы искусственного интеллекта часто строятся на основе искусственных нейронных сетей (ИНС), аналогичных мозгу. И, как и мозг, ИНС могут иногда сбиваться с толку, либо случайно, либо в результате преднамеренных действий третьих лиц. Подумайте о чем-то вроде оптической иллюзии — вам может показаться, что вы смотрите на одну вещь, а на самом деле вы смотрите на другую.

Разница между тем, что может запутать ИНС, и тем, что может запутать нас, заключается в том, что некоторые визуальные данные могут выглядеть совершенно нормально или, по крайней мере, быть понятными для нас, но, тем не менее, могут быть интерпретированы ИНС как нечто совершенно иное.

Тривиальным примером может быть система классификации изображений, принимающая кошку за собаку, а более серьезным — автомобиль без водителя, принимающий стоп-сигнал за знак «Право проезда». И это не только уже ставший спорным пример с автомобилями без водителя; существуют системы медицинской диагностики и многие другие чувствительные приложения, которые принимают входные данные и информируют, или даже принимают, решения, которые могут повлиять на людей.

Поскольку входные данные не всегда визуальны, не всегда легко с первого взгляда проанализировать, почему система могла допустить ошибку. Злоумышленники, пытающиеся нарушить работу системы, основанной на ИНС, могут воспользоваться этим, тонко изменяя предполагаемую модель входных данных таким образом, чтобы она была неверно интерпретирована, и система повела себя неправильно, возможно, даже проблемно. Существуют некоторые методы защиты от подобных атак, но они имеют свои ограничения. Недавний выпускник Джумпей Укита и профессор Кеничи Оки с кафедры физиологии Высшей медицинской школы Токийского университета разработали и протестировали новый способ улучшения защиты ANN.

Нейронные сети обычно состоят из слоев виртуальных нейронов. Первые слои часто отвечают за анализ входных данных, определяя элементы, соответствующие определенному входу, — говорит Охки.

Злоумышленник может предоставить изображение с артефактами, которые обманут сеть и заставят ее неправильно классифицировать его. Типичной защитой от такой атаки может быть преднамеренное введение шума в этот первый слой. Звучит нелогично, что это может помочь, но таким образом можно добиться большей адаптации к визуальной сцене или другому набору входных данных. Однако этот метод не всегда столь эффективен, и мы подумали, что можем улучшить ситуацию, заглянув не только на входной слой, но и дальше внутрь сети.

Укита и Оки — не просто ученые-компьютерщики. Они также изучали человеческий мозг, и это вдохновило их на использование известного им явления в ANN. Речь идет о добавлении шума не только во входной слой, но и в более глубокие слои. Обычно этого избегают, поскольку опасаются, что это повлияет на эффективность работы сети в обычных условиях. Однако дуэт обнаружил, что это не так, и вместо этого шум способствовал повышению адаптивности тестовой ANN, что снизило ее восприимчивость к симулированным атакам противника.

В первую очередь мы разработали гипотетический метод атаки, который бы проникал глубже входного слоя. Такая атака должна была бы противостоять устойчивости сети со стандартной защитой от шума на входном слое. Мы назвали эти атаки примерами состязаний в пространстве признаков, — говорит Укита.

Эти атаки осуществляются путем подачи на вход сигнала, заведомо далекого, а не близкого к тому, который ANN может правильно классифицировать. Но хитрость заключается в том, что вместо этого на глубокие слои подаются тонкие вводящие в заблуждение артефакты. После того как мы продемонстрировали опасность такой атаки, мы ввели случайный шум в глубокие скрытые слои сети, чтобы повысить их адаптивность и, следовательно, способность к защите. Мы рады сообщить, что это работает.

Несмотря на то, что новая идея оказалась надежной, команда хочет доработать ее, чтобы сделать еще более эффективной против ожидаемых атак, а также против других видов атак, которые они еще не проверили. В настоящее время защита работает только против этого конкретного вида атак.

Будущие злоумышленники могут попытаться рассмотреть атаки, способные избежать шума в пространстве признаков, который мы рассматривали в этом исследовании, — сказал Укита.

Действительно, атака и защита — это две стороны одной медали; это гонка вооружений, от которой не отступит ни одна из сторон, поэтому нам необходимо постоянно повторять, совершенствовать и внедрять новые идеи, чтобы защитить системы, которыми мы пользуемся каждый день.

16.09.2023