Привыкнув доверять, люди не поймут, когда ИИ начнет манипулировать

Согласно обширному обзору, в настоящее время нет доказательств того, что ИИ можно безопасно контролировать, а без доказательств того, что ИИ можно контролировать, его не следует разрабатывать.

Несмотря на признание того, что проблема управления ИИ может быть одной из самых важных проблем, стоящих перед человечеством, она остается малопонятной, плохо определенной и малоизученной, объясняет доктор Роман В. Ямпольский.

В своей книге «ИИ: необъяснимый, непредсказуемый, неконтролируемый» эксперт по безопасности ИИ доктор Ямпольский рассматривает возможности ИИ кардинально изменить общество, причем не всегда в нашу пользу.

Он объясняет:

Мы столкнулись с почти гарантированным событием, способным привести к экзистенциальной катастрофе. Неудивительно, что многие считают это самой важной проблемой, с которой когда-либо сталкивалось человечество. Результатом может стать процветание или вымирание, и судьба Вселенной висит на волоске.

Неконтролируемый сверхинтеллект

Доктор Ямпольский провел обширный обзор научной литературы по ИИ и утверждает, что не нашел доказательств того, что ИИ можно безопасно контролировать — и даже если частичный контроль существует, его будет недостаточно.

Он объясняет:

Почему так много исследователей полагают, что проблема управления ИИ разрешима? Насколько нам известно, для этого нет никаких доказательств, никаких подтверждений. Прежде чем приступать к созданию управляемого ИИ, важно показать, что проблема решаема.

Это, в сочетании со статистикой, которая показывает, что развитие сверхразума ИИ — почти гарантированное событие, говорит о том, что мы должны поддерживать значительные усилия по обеспечению безопасности ИИ.

Он утверждает, что наша способность создавать интеллектуальное программное обеспечение намного превосходит нашу способность контролировать или даже проверять его. Проведя всесторонний обзор литературы, он считает, что передовые интеллектуальные системы никогда не смогут быть полностью контролируемыми и поэтому всегда будут представлять определенный уровень риска, независимо от того, какую пользу они приносят. Он считает, что целью сообщества ИИ должна быть минимизация такого риска при максимальном увеличении потенциальной пользы.

Каковы препятствия?

ИИ (и сверхинтеллект) отличаются от других программ способностью обучаться новому поведению, корректировать свою работу и действовать полуавтономно в новых ситуациях.

Одна из проблем, связанных с обеспечением безопасности ИИ, заключается в том, что количество возможных решений и ошибок сверхразумного существа по мере роста его возможностей бесконечно, поэтому существует бесконечное количество проблем, связанных с безопасностью. Простого прогнозирования невозможных проблем и защиты от них в патчах безопасности может быть недостаточно.

В то же время, объясняет Ямпольский, ИИ не может объяснить, что он решил, и/или мы не можем понять данное объяснение, поскольку люди недостаточно умны, чтобы понять реализованные концепции. Если мы не понимаем решений ИИ и у нас есть только «черный ящик», мы не сможем разобраться в проблеме и снизить вероятность будущих аварий.

Например, системам ИИ уже поручают принимать решения в области здравоохранения, инвестирования, трудоустройства, банковского дела, безопасности и т. д. Такие системы должны быть способны объяснить, как они принимают решения, в частности, показать, что они не предвзяты.

Ямпольский объясняет:

Если мы привыкнем принимать ответы ИИ без объяснений, по сути, воспринимая его как систему Oracle, мы не сможем определить, что он начинает давать неверные или манипулятивные ответы.

Контроль над неконтролируемым

По мере роста возможностей ИИ его автономность также увеличивается, но наш контроль над ним уменьшается, объясняет Ямпольский, а увеличение автономности — это синоним снижения безопасности.

Например, чтобы суперинтеллект не приобретал неточные знания и не устранял предвзятость своих программистов, он может игнорировать все такие знания и заново открывать/доказывать все с нуля, но это также устранит любую прочеловеческую предвзятость.

Менее интеллектуальные агенты (люди) не могут постоянно контролировать более интеллектуальных агентов (ASI). Это происходит не потому, что мы не можем найти безопасный дизайн для сверхразума в огромном пространстве всех возможных дизайнов, а потому, что такой дизайн невозможен, его не существует. Сверхразум не бунтует, он изначально неконтролируем, — объясняет ученый.

Человечество стоит перед выбором: либо мы становимся похожими на младенцев, о которых заботятся, но не контролируют, либо мы отказываемся от услужливого опекуна, но остаемся ответственными и свободными.

Он предполагает, что можно найти точку равновесия, в которой мы пожертвуем некоторыми возможностями в обмен на некоторый контроль, но при этом предоставим системе определенную степень автономии.

Согласование человеческих ценностей

Одно из предложений по контролю — создать машину, которая будет точно выполнять приказы человека, но Ямпольский указывает на возможность противоречивых приказов, неправильного толкования или злонамеренного использования.

Он объясняет:

Люди в управлении могут приводить к противоречивым или явно злонамеренным приказам, в то время как ИИ в управлении означает, что люди не являются таковыми.

Если бы ИИ действовал скорее как советник, он мог бы обойти проблемы с неправильной интерпретацией прямых приказов и возможностью злонамеренных распоряжений, но автор утверждает, что для того, чтобы ИИ был полезным советником, он должен обладать собственными высшими ценностями.

Большинство исследователей безопасности ИИ ищут способ привести будущий сверхразум в соответствие с ценностями человечества. ИИ, ориентированный на ценности, будет предвзятым по определению, прочеловеческим, хорошим или плохим — все равно предвзятым. Парадокс ИИ, ориентированного на ценности, заключается в том, что человек, явно приказывающий системе ИИ сделать что-то , может получить «нет», в то время как система попытается сделать то, что человек на самом деле хочет. Человечество либо защищают, либо уважают, но не то и другое, — отмечает исследователь.

Минимизация риска

По его словам, чтобы минимизировать риск, связанный с ИИ, необходимо, чтобы его можно было изменять с помощью опций «отмены», ограничить, сделать прозрачным и понятным на человеческом языке.

Он предлагает разделить все ИИ на контролируемые и неконтролируемые, ничего не исключать и рассмотреть возможность введения ограниченного моратория или даже частичного запрета на определенные виды технологий ИИ.

Вместо того чтобы отчаиваться, ученый заключает:

Скорее это повод для большего числа людей копать глубже и увеличивать усилия и финансирование исследований в области безопасности ИИ. Возможно, мы никогда не достигнем 100% безопасного ИИ, но мы можем сделать ИИ более безопасным пропорционально нашим усилиям, а это гораздо лучше, чем ничего не делать. Мы должны использовать эту возможность с умом.

12.02.2024


Подписаться в Telegram



Net&IT

Удаленка навсегда: как бизнес адаптируется к новым реалиям
Удаленка навсегда: как бизнес адаптируется к новым реалиям

Тренд на цифровизацию и удаленную ра...

Ритейл на скорости: почему серверы стали must-have для крупных сетей
Ритейл на скорости: почему серверы стали must-have для крупных сетей

Международный облачный провайдер и систем...

Облака над Средней Азией: как регион становится IT-гигантом
Облака над Средней Азией: как регион становится IT-гигантом

Средняя Азия активно развивает IT-сферу и ...

ИИ знает, кем ты станешь: как соцсети помогают выбрать профессию
ИИ знает, кем ты станешь: как соцсети помогают выбрать профессию

Ученые из Санкт-Петербургского государств...

Риски квантовой эры: как защитить интернет от новых угроз
Риски квантовой эры: как защитить интернет от новых угроз

Квантовые вычисления больше не являются д...

Представлены новейшие разработки в области квантовых вычислений
Представлены новейшие разработки в области квантовых вычислений

Квантовые вычисления находятся в авангард...

TheInnovator: Роботы с искусственным интеллектом изменят рынок труда
TheInnovator: Роботы с искусственным интеллектом изменят рынок труда

Если компании и ИИ-стартапы, стремящиеся ...

В КАИ оснащают беспилотники компьютерным зрением
В КАИ оснащают беспилотники компьютерным зрением

Ученые университета разработали специальные пр...

Разработан реалистичный тест для оценки навыков клинического общения ИИ
Разработан реалистичный тест для оценки навыков клинического общения ИИ

Инструменты искусственного интеллекта, такие к...

Сети Wi-Fi-избавили от лишней «информационной нагрузки»
Сети Wi-Fi-избавили от лишней «информационной нагрузки»

Ученые придумали, как сделать информацию ...

Nature Human Behaviour: Заблуждение ИИ усиливает наши собственные заблуждения
Nature Human Behaviour: Заблуждение ИИ усиливает наши собственные заблуждения

Системы искусственного интеллекта склонны пере...

Новую модель для графической нейросети сделают доступной для смартфонов
Новую модель для графической нейросети сделают доступной для смартфонов

Среди множества моделей искусственного интелле...

В ННГУ научились восстанавливать функции биологических нейросетей
В ННГУ научились восстанавливать функции биологических нейросетей

Новую технологию, которая работает подобно кле...

Scientific Reports: Разработано подвижное навигационное устройство для незрячих
Scientific Reports: Разработано подвижное навигационное устройство для незрячих

Новаторская навигационная технология, использу...

Nature Communications: Аналоговые машины тоже могут обучаться
Nature Communications: Аналоговые машины тоже могут обучаться

Все думают, что машинное обучение &m...

Nature Communications: ИИ изучает язык расположения атомов в твердых телах
Nature Communications: ИИ изучает язык расположения атомов в твердых телах

Новую модель искусственного интеллекта, котора...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Cell Reports: Голодание приносит пользу взрослым, но создает риск для подростков
Cell Reports: Голодание приносит пользу взрослым, но создает риск для подростков
Легкие и прочные: как Al-Sc сплавы покоряют промышленность
Легкие и прочные: как Al-Sc сплавы покоряют промышленность
69 ученых, которые меняют мир: история успеха из Нижнего Новгорода
69 ученых, которые меняют мир: история успеха из Нижнего Новгорода
Невидимые враги: как ароматизаторы превращают ваш дом в угрозу для здоровья
Невидимые враги: как ароматизаторы превращают ваш дом в угрозу для здоровья
Как взрываются звезды: открытия, которые меняют наше представление о Вселенной
Как взрываются звезды: открытия, которые меняют наше представление о Вселенной
Как получить инструмент будущих инженеров бесплатно, если ты студент
Как получить инструмент будущих инженеров бесплатно, если ты студент
Спасти жизнь за минуты сможет кетамин в борьбе с эпилептическим статусом
Спасти жизнь за минуты сможет кетамин в борьбе с эпилептическим статусом
От шахт до чистой энергии: путь австралийской горнодобывающей промышленности
От шахт до чистой энергии: путь австралийской горнодобывающей промышленности
Без капитана, но с комфортом: в Нижнем Новгороде строят судно без экипажа
Без капитана, но с комфортом: в Нижнем Новгороде строят судно без экипажа
Цикорий и кобальт: дуэт против рака, бьющий точно в цель
Цикорий и кобальт: дуэт против рака, бьющий точно в цель
Больничные раковины и невидимый враг, который в них живет
Больничные раковины и невидимый враг, который в них живет
Лазер, графен, полимер: как создают электронику, которую можно сгибать
Лазер, графен, полимер: как создают электронику, которую можно сгибать
Ученые объединили два прибора в один, чтобы лучше анализировать газы
Ученые объединили два прибора в один, чтобы лучше анализировать газы
Световые качели: физики открыли новый способ управлять светом
Световые качели: физики открыли новый способ управлять светом
Удаленка навсегда: как бизнес адаптируется к новым реалиям
Удаленка навсегда: как бизнес адаптируется к новым реалиям

Новости компаний, релизы

Более 200 нижегородцев посетили научные кинопоказы честь Дня российской науки
Школьников и студентов Хабаровского края приглашают написать всероссийский диктант «Наука во имя Победы»
На Фестивале «Москва — Точка старта» победили проекты из МИФИ
В Калуге обсудили меры поддержки молодых учёных региона
Международные эксперты оценили разработанную для нижегородского завода технологию