Привыкнув доверять, люди не поймут, когда ИИ начнет манипулировать

Согласно обширному обзору, в настоящее время нет доказательств того, что ИИ можно безопасно контролировать, а без доказательств того, что ИИ можно контролировать, его не следует разрабатывать.

Несмотря на признание того, что проблема управления ИИ может быть одной из самых важных проблем, стоящих перед человечеством, она остается малопонятной, плохо определенной и малоизученной, объясняет доктор Роман В. Ямпольский.

В своей книге «ИИ: необъяснимый, непредсказуемый, неконтролируемый» эксперт по безопасности ИИ доктор Ямпольский рассматривает возможности ИИ кардинально изменить общество, причем не всегда в нашу пользу.

Он объясняет:

Мы столкнулись с почти гарантированным событием, способным привести к экзистенциальной катастрофе. Неудивительно, что многие считают это самой важной проблемой, с которой когда-либо сталкивалось человечество. Результатом может стать процветание или вымирание, и судьба Вселенной висит на волоске.

Неконтролируемый сверхинтеллект

Доктор Ямпольский провел обширный обзор научной литературы по ИИ и утверждает, что не нашел доказательств того, что ИИ можно безопасно контролировать — и даже если частичный контроль существует, его будет недостаточно.

Он объясняет:

Почему так много исследователей полагают, что проблема управления ИИ разрешима? Насколько нам известно, для этого нет никаких доказательств, никаких подтверждений. Прежде чем приступать к созданию управляемого ИИ, важно показать, что проблема решаема.

Это, в сочетании со статистикой, которая показывает, что развитие сверхразума ИИ — почти гарантированное событие, говорит о том, что мы должны поддерживать значительные усилия по обеспечению безопасности ИИ.

Он утверждает, что наша способность создавать интеллектуальное программное обеспечение намного превосходит нашу способность контролировать или даже проверять его. Проведя всесторонний обзор литературы, он считает, что передовые интеллектуальные системы никогда не смогут быть полностью контролируемыми и поэтому всегда будут представлять определенный уровень риска, независимо от того, какую пользу они приносят. Он считает, что целью сообщества ИИ должна быть минимизация такого риска при максимальном увеличении потенциальной пользы.

Каковы препятствия?

ИИ (и сверхинтеллект) отличаются от других программ способностью обучаться новому поведению, корректировать свою работу и действовать полуавтономно в новых ситуациях.

Одна из проблем, связанных с обеспечением безопасности ИИ, заключается в том, что количество возможных решений и ошибок сверхразумного существа по мере роста его возможностей бесконечно, поэтому существует бесконечное количество проблем, связанных с безопасностью. Простого прогнозирования невозможных проблем и защиты от них в патчах безопасности может быть недостаточно.

В то же время, объясняет Ямпольский, ИИ не может объяснить, что он решил, и/или мы не можем понять данное объяснение, поскольку люди недостаточно умны, чтобы понять реализованные концепции. Если мы не понимаем решений ИИ и у нас есть только «черный ящик», мы не сможем разобраться в проблеме и снизить вероятность будущих аварий.

Например, системам ИИ уже поручают принимать решения в области здравоохранения, инвестирования, трудоустройства, банковского дела, безопасности и т. д. Такие системы должны быть способны объяснить, как они принимают решения, в частности, показать, что они не предвзяты.

Ямпольский объясняет:

Если мы привыкнем принимать ответы ИИ без объяснений, по сути, воспринимая его как систему Oracle, мы не сможем определить, что он начинает давать неверные или манипулятивные ответы.

Контроль над неконтролируемым

По мере роста возможностей ИИ его автономность также увеличивается, но наш контроль над ним уменьшается, объясняет Ямпольский, а увеличение автономности — это синоним снижения безопасности.

Например, чтобы суперинтеллект не приобретал неточные знания и не устранял предвзятость своих программистов, он может игнорировать все такие знания и заново открывать/доказывать все с нуля, но это также устранит любую прочеловеческую предвзятость.

Менее интеллектуальные агенты (люди) не могут постоянно контролировать более интеллектуальных агентов (ASI). Это происходит не потому, что мы не можем найти безопасный дизайн для сверхразума в огромном пространстве всех возможных дизайнов, а потому, что такой дизайн невозможен, его не существует. Сверхразум не бунтует, он изначально неконтролируем, — объясняет ученый.

Человечество стоит перед выбором: либо мы становимся похожими на младенцев, о которых заботятся, но не контролируют, либо мы отказываемся от услужливого опекуна, но остаемся ответственными и свободными.

Он предполагает, что можно найти точку равновесия, в которой мы пожертвуем некоторыми возможностями в обмен на некоторый контроль, но при этом предоставим системе определенную степень автономии.

Согласование человеческих ценностей

Одно из предложений по контролю — создать машину, которая будет точно выполнять приказы человека, но Ямпольский указывает на возможность противоречивых приказов, неправильного толкования или злонамеренного использования.

Он объясняет:

Люди в управлении могут приводить к противоречивым или явно злонамеренным приказам, в то время как ИИ в управлении означает, что люди не являются таковыми.

Если бы ИИ действовал скорее как советник, он мог бы обойти проблемы с неправильной интерпретацией прямых приказов и возможностью злонамеренных распоряжений, но автор утверждает, что для того, чтобы ИИ был полезным советником, он должен обладать собственными высшими ценностями.

Большинство исследователей безопасности ИИ ищут способ привести будущий сверхразум в соответствие с ценностями человечества. ИИ, ориентированный на ценности, будет предвзятым по определению, прочеловеческим, хорошим или плохим — все равно предвзятым. Парадокс ИИ, ориентированного на ценности, заключается в том, что человек, явно приказывающий системе ИИ сделать что-то , может получить «нет», в то время как система попытается сделать то, что человек на самом деле хочет. Человечество либо защищают, либо уважают, но не то и другое, — отмечает исследователь.

Минимизация риска

По его словам, чтобы минимизировать риск, связанный с ИИ, необходимо, чтобы его можно было изменять с помощью опций «отмены», ограничить, сделать прозрачным и понятным на человеческом языке.

Он предлагает разделить все ИИ на контролируемые и неконтролируемые, ничего не исключать и рассмотреть возможность введения ограниченного моратория или даже частичного запрета на определенные виды технологий ИИ.

Вместо того чтобы отчаиваться, ученый заключает:

Скорее это повод для большего числа людей копать глубже и увеличивать усилия и финансирование исследований в области безопасности ИИ. Возможно, мы никогда не достигнем 100% безопасного ИИ, но мы можем сделать ИИ более безопасным пропорционально нашим усилиям, а это гораздо лучше, чем ничего не делать. Мы должны использовать эту возможность с умом.

12.02.2024