Исследователи из Кембриджа намерены включить неопределенность в системы машинного обучения

Человеческие ошибки и неопределенность — понятия, которые не понимают многие системы искусственного интеллекта, особенно в системах, где человек обеспечивает обратную связь с моделью машинного обучения.

Многие из этих систем запрограммированы на то, что человек всегда уверен в своей правоте, однако в реальном мире при принятии решений нередки ошибки и неопределенность.

Исследователи из Кембриджского университета совместно с Институтом Алана Тьюринга (Принстон) и Google DeepMind пытаются преодолеть разрыв между поведением человека и машинным обучением, чтобы в приложениях ИИ, где люди и машины работают вместе, неопределенность учитывалась более полно. Это может помочь снизить риск и повысить доверие и надежность таких приложений, особенно там, где безопасность имеет решающее значение, например, в медицинской диагностике.

Группа исследователей адаптировала известный набор данных для классификации изображений таким образом, чтобы человек мог давать обратную связь и указывать степень своей неуверенности при маркировке того или иного изображения. Исследователи обнаружили, что обучение с неопределенными метками может улучшить работу этих систем с неопределенной обратной связью, хотя при этом люди также вызывают снижение общей производительности этих гибридных систем.

Результаты исследования будут представлены на конференции AAAI/ACM по искусственному интеллекту, этике и обществу (AIES 2023) в Монреале.

Системы машинного обучения «человек в контуре» — тип систем ИИ, обеспечивающий обратную связь с человеком, — часто рассматриваются как перспективный способ снижения рисков в условиях, когда на автоматические модели нельзя положиться в принятии решений. Но что делать, если люди не уверены в своих силах?

Неопределенность является центральным фактором в том, как человек рассуждает о мире, но многие модели ИИ не учитывают этого, — говорит первый автор исследования Кэтрин Коллинз с инженерного факультета Кембриджа.

Многие разработчики работают над устранением неопределенности в моделях, но меньше работ было проведено по устранению неопределенности с точки зрения человека.

Мы постоянно принимаем решения, основываясь на балансе вероятностей, часто не задумываясь об этом. В большинстве случаев — например, если мы машем рукой человеку, который выглядит как знакомый, но оказывается совершенно незнакомым, — нет ничего страшного в том, что мы ошибаемся. Однако в некоторых приложениях неопределенность сопряжена с реальными рисками для безопасности.

Многие системы «человек — ИИ» предполагают, что человек всегда уверен в правильности своих решений, а это не так — все мы совершаем ошибки», — говорит Коллинз. „Мы хотели посмотреть, что происходит, когда люди выражают неуверенность, что особенно важно в ситуациях, связанных с обеспечением безопасности, например, когда врач работает с медицинской системой искусственного интеллекта“.

Нам нужны более совершенные инструменты для перекалибровки этих моделей, чтобы люди, работающие с ними, могли сказать, когда они не уверены, — говорит соавтор Мэтью Баркер, недавно получивший степень магистра в колледже Гонвилл и Кайус в Кембридже.

Хотя машины можно обучать с полной уверенностью, люди часто не могут этого обеспечить, и модели машинного обучения с трудом справляются с этой неопределенностью.

Для своего исследования ученые использовали несколько эталонных наборов данных машинного обучения: один — для классификации цифр, другой — для классификации рентгеновских снимков грудной клетки, третий — для классификации изображений птиц. Для первых двух наборов данных исследователи моделировали неопределенность, а для набора данных о птицах они попросили участников указать, насколько они уверены в том, на какие изображения они смотрят: например, красная или оранжевая птица. Эти аннотированные «мягкие метки», предоставленные участниками, позволили исследователям определить, как изменился конечный результат. Однако они обнаружили, что производительность быстро снижается, когда машины заменяются людьми.

Из десятилетий исследований в области поведения мы знаем, что человек практически никогда не бывает уверен в себе на 100%, но включить это в машинное обучение — сложная задача, — говорит Баркер.

Мы пытаемся соединить эти две области, чтобы машинное обучение могло начать работать с человеческой неопределенностью в тех случаях, когда человек является частью системы.

По словам исследователей, полученные ими результаты выявили несколько открытых проблем, связанных с включением человека в модели машинного обучения. Они публикуют свои наборы данных, чтобы можно было провести дальнейшие исследования и встроить неопределенность в системы машинного обучения.

Как блестяще выразились некоторые из наших коллег, неопределенность — это форма прозрачности, и это очень важно, — замечает Коллинз.

Нам нужно понять, когда мы можем доверять модели, а когда человеку и почему. В некоторых приложениях мы смотрим на вероятность, а не на возможности. Особенно с ростом числа чат-ботов, например, нам нужны модели, которые лучше учитывают язык возможностей, что может привести к более естественному и безопасному опыту.

«В некотором смысле эта работа поставила больше вопросов, чем дала ответов», — заключил Баркер. „Но даже если люди могут быть неправильно откалиброваны в своей неопределенности, мы можем повысить надежность и достоверность этих систем „человек в контуре“ за счет учета человеческого поведения“.

10.08.2023