Привыкнув доверять, люди не поймут, когда ИИ начнет манипулировать

Согласно обширному обзору, в настоящее время нет доказательств того, что ИИ можно безопасно контролировать, а без доказательств того, что ИИ можно контролировать, его не следует разрабатывать.

Несмотря на признание того, что проблема управления ИИ может быть одной из самых важных проблем, стоящих перед человечеством, она остается малопонятной, плохо определенной и малоизученной, объясняет доктор Роман В. Ямпольский.

В своей книге «ИИ: необъяснимый, непредсказуемый, неконтролируемый» эксперт по безопасности ИИ доктор Ямпольский рассматривает возможности ИИ кардинально изменить общество, причем не всегда в нашу пользу.

Он объясняет:

Мы столкнулись с почти гарантированным событием, способным привести к экзистенциальной катастрофе. Неудивительно, что многие считают это самой важной проблемой, с которой когда-либо сталкивалось человечество. Результатом может стать процветание или вымирание, и судьба Вселенной висит на волоске.

Неконтролируемый сверхинтеллект

Доктор Ямпольский провел обширный обзор научной литературы по ИИ и утверждает, что не нашел доказательств того, что ИИ можно безопасно контролировать — и даже если частичный контроль существует, его будет недостаточно.

Он объясняет:

Почему так много исследователей полагают, что проблема управления ИИ разрешима? Насколько нам известно, для этого нет никаких доказательств, никаких подтверждений. Прежде чем приступать к созданию управляемого ИИ, важно показать, что проблема решаема.

Это, в сочетании со статистикой, которая показывает, что развитие сверхразума ИИ — почти гарантированное событие, говорит о том, что мы должны поддерживать значительные усилия по обеспечению безопасности ИИ.

Он утверждает, что наша способность создавать интеллектуальное программное обеспечение намного превосходит нашу способность контролировать или даже проверять его. Проведя всесторонний обзор литературы, он считает, что передовые интеллектуальные системы никогда не смогут быть полностью контролируемыми и поэтому всегда будут представлять определенный уровень риска, независимо от того, какую пользу они приносят. Он считает, что целью сообщества ИИ должна быть минимизация такого риска при максимальном увеличении потенциальной пользы.

Каковы препятствия?

ИИ (и сверхинтеллект) отличаются от других программ способностью обучаться новому поведению, корректировать свою работу и действовать полуавтономно в новых ситуациях.

Одна из проблем, связанных с обеспечением безопасности ИИ, заключается в том, что количество возможных решений и ошибок сверхразумного существа по мере роста его возможностей бесконечно, поэтому существует бесконечное количество проблем, связанных с безопасностью. Простого прогнозирования невозможных проблем и защиты от них в патчах безопасности может быть недостаточно.

В то же время, объясняет Ямпольский, ИИ не может объяснить, что он решил, и/или мы не можем понять данное объяснение, поскольку люди недостаточно умны, чтобы понять реализованные концепции. Если мы не понимаем решений ИИ и у нас есть только «черный ящик», мы не сможем разобраться в проблеме и снизить вероятность будущих аварий.

Например, системам ИИ уже поручают принимать решения в области здравоохранения, инвестирования, трудоустройства, банковского дела, безопасности и т. д. Такие системы должны быть способны объяснить, как они принимают решения, в частности, показать, что они не предвзяты.

Ямпольский объясняет:

Если мы привыкнем принимать ответы ИИ без объяснений, по сути, воспринимая его как систему Oracle, мы не сможем определить, что он начинает давать неверные или манипулятивные ответы.

Контроль над неконтролируемым

По мере роста возможностей ИИ его автономность также увеличивается, но наш контроль над ним уменьшается, объясняет Ямпольский, а увеличение автономности — это синоним снижения безопасности.

Например, чтобы суперинтеллект не приобретал неточные знания и не устранял предвзятость своих программистов, он может игнорировать все такие знания и заново открывать/доказывать все с нуля, но это также устранит любую прочеловеческую предвзятость.

Менее интеллектуальные агенты (люди) не могут постоянно контролировать более интеллектуальных агентов (ASI). Это происходит не потому, что мы не можем найти безопасный дизайн для сверхразума в огромном пространстве всех возможных дизайнов, а потому, что такой дизайн невозможен, его не существует. Сверхразум не бунтует, он изначально неконтролируем, — объясняет ученый.

Человечество стоит перед выбором: либо мы становимся похожими на младенцев, о которых заботятся, но не контролируют, либо мы отказываемся от услужливого опекуна, но остаемся ответственными и свободными.

Он предполагает, что можно найти точку равновесия, в которой мы пожертвуем некоторыми возможностями в обмен на некоторый контроль, но при этом предоставим системе определенную степень автономии.

Согласование человеческих ценностей

Одно из предложений по контролю — создать машину, которая будет точно выполнять приказы человека, но Ямпольский указывает на возможность противоречивых приказов, неправильного толкования или злонамеренного использования.

Он объясняет:

Люди в управлении могут приводить к противоречивым или явно злонамеренным приказам, в то время как ИИ в управлении означает, что люди не являются таковыми.

Если бы ИИ действовал скорее как советник, он мог бы обойти проблемы с неправильной интерпретацией прямых приказов и возможностью злонамеренных распоряжений, но автор утверждает, что для того, чтобы ИИ был полезным советником, он должен обладать собственными высшими ценностями.

Большинство исследователей безопасности ИИ ищут способ привести будущий сверхразум в соответствие с ценностями человечества. ИИ, ориентированный на ценности, будет предвзятым по определению, прочеловеческим, хорошим или плохим — все равно предвзятым. Парадокс ИИ, ориентированного на ценности, заключается в том, что человек, явно приказывающий системе ИИ сделать что-то , может получить «нет», в то время как система попытается сделать то, что человек на самом деле хочет. Человечество либо защищают, либо уважают, но не то и другое, — отмечает исследователь.

Минимизация риска

По его словам, чтобы минимизировать риск, связанный с ИИ, необходимо, чтобы его можно было изменять с помощью опций «отмены», ограничить, сделать прозрачным и понятным на человеческом языке.

Он предлагает разделить все ИИ на контролируемые и неконтролируемые, ничего не исключать и рассмотреть возможность введения ограниченного моратория или даже частичного запрета на определенные виды технологий ИИ.

Вместо того чтобы отчаиваться, ученый заключает:

Скорее это повод для большего числа людей копать глубже и увеличивать усилия и финансирование исследований в области безопасности ИИ. Возможно, мы никогда не достигнем 100% безопасного ИИ, но мы можем сделать ИИ более безопасным пропорционально нашим усилиям, а это гораздо лучше, чем ничего не делать. Мы должны использовать эту возможность с умом.

12.02.2024


Подписаться в Telegram



Net&IT

Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр
Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр

В сериале Звездный путь: Следующее поколение к...

Physical Review X: Сеть квантовых датчиков повышает точность измерений
Physical Review X: Сеть квантовых датчиков повышает точность измерений

Квантовые системы, используемые в квантов...

Scientific Reports: ИИ показал больший творческий потенциал, чем человек
Scientific Reports: ИИ показал больший творческий потенциал, чем человек

Еще один балл в пользу искусственного инт...

Крошечную метку на замену RFID сделали еще надежнее
Крошечную метку на замену RFID сделали еще надежнее

Несколько лет назад исследователи Массачу...

Ученые приблизились к более легким и гибким оптоэлектронным устройствам
Ученые приблизились к более легким и гибким оптоэлектронным устройствам

Органические оптоэлектронные устройства, такие...

PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить
PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить

Атанасиос С. Фокас рассматривает актуальный во...

Nature: ИИ генерирует белки с исключительной прочностью связывания
Nature: ИИ генерирует белки с исключительной прочностью связывания

В новом исследовании, опубликованном 18 декабр...

Nature Computational Science: ИИ может предсказывать события в жизни людей
Nature Computational Science: ИИ может предсказывать события в жизни людей

Искусственный интеллект, разработанный для&nbs...

Nature Electronics: Изменение памяти дает новые вычислительные возможности
Nature Electronics: Изменение памяти дает новые вычислительные возможности

Ученые Рочестерского университета разработали ...

Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта
Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта

Многофункциональные компьютерные чипы эволюцио...

Началась регистрация на конкурс «Битва искусственных интеллектов»
Началась регистрация на конкурс «Битва искусственных интеллектов»

Стартовал отборочный этап Международного техно...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

JCI: Тяжелая форма COVID-19, возможно, связана с аутоантителами
JCI: Тяжелая форма COVID-19, возможно, связана с аутоантителами
Разгадана тайна снижения производительности перспективного катодного материала
Разгадана тайна снижения производительности перспективного катодного материала
Каждый четвертый родитель говорит, что ребенок не может уснуть из-за тревоги
Каждый четвертый родитель говорит, что ребенок не может уснуть из-за тревоги
Nature Neuroscience: Ученые доказали, что терпение приносит свои плоды
Nature Neuroscience: Ученые доказали, что терпение приносит свои плоды
Познакомьтесь со странной амфибией, которая выкармливает своих детенышей молоком
Познакомьтесь со странной амфибией, которая выкармливает своих детенышей молоком
Богатый белком рацион меняет микробиом кишечника и общее состояние организма
Богатый белком рацион меняет микробиом кишечника и общее состояние организма
Climate Dynamics: Вот как условия на суше влияют на муссонный климат Азии
Climate Dynamics: Вот как условия на суше влияют на муссонный климат Азии
В 40% случаев люди ошибочно называют сгенерированное фото человека реальным
В 40% случаев люди ошибочно называют сгенерированное фото человека реальным
Nature Communications: Открыто революционное явление в жидких кристаллах
Nature Communications: Открыто революционное явление в жидких кристаллах
Высокоточные измерения ставят под сомнение наше понимание Цефеид
Высокоточные измерения ставят под сомнение наше понимание Цефеид
Останется ли магний снотворным для кузнечиков в результате потепления?
Останется ли магний снотворным для кузнечиков в результате потепления?
Nature Communications: В мигрирующих нейронах найден конус роста
Nature Communications: В мигрирующих нейронах найден конус роста
Physical Review Letters: Ученые описали альтернативный магнетизм
Physical Review Letters: Ученые описали альтернативный магнетизм
Current Biology: Исследование брачного поведения показывает эволюцию влечения
Current Biology: Исследование брачного поведения показывает эволюцию влечения
BioDesign Research: Для производства каротиноидов разработали специальные дрожжи
BioDesign Research: Для производства каротиноидов разработали специальные дрожжи

Новости компаний, релизы

Новая "Кантиана" поможет студентам быстрее адаптироваться к калининградскому климату
Российские ученые предложили тушить пожары с помощью газогидратного огнетушителя
Минералоги СПбГУ нашли на острове Диско возможный источник фосфора для возникновения первых живых организмов
Московский Политех внедряет ИИ для повышения эффективности приемной кампании и трансформации обучения
Астрономы СПбГУ узнали возраст одного из самых мощных метеорных потоков