Ученые нашли способ заставить языковую модель ИИ сомневаться в неверных ответах

Большие языковые модели помогают в решении множества задач: от перевода до выявления финансового мошенничества. Но иногда они дают неточные ответы, которым сложно доверять из-за самоуверенности модели.

Исследователи обычно проверяют, насколько можно доверять результатам модели машинного обучения. Хорошо откалиброванная модель должна быть менее уверена в неправильном прогнозе.

Но поскольку большие языковые модели (LLM) могут применяться для решения множества разнообразных задач, традиционные методы калибровки не работают.

Исследователи из Массачусетского технологического института и Лаборатории искусственного интеллекта MIT-IBM Watson предложили новый метод калибровки для больших языковых моделей. Он называется Thermometer и предполагает создание вспомогательной модели, которая запускается поверх основной для её калибровки.

Thermometer — эффективный метод, который требует меньше вычислений и при этом сохраняет точность модели. Он позволяет ей давать более точные ответы на новые задачи.

Thermometer помогает эффективно откалибровать LLM для разных задач. Это позволяет выявить ситуации, когда модель ошибается, и предотвратить её неудачное развёртывание.

С помощью Thermometer мы хотим дать пользователю понять, насколько точен ответ модели. Это позволит оценить её надёжность, — говорит Маохао Шен, аспирант факультета электротехники и информатики (EECS) и автор статьи о Thermometer.

Вместе с Шеном над статьей работали Грегори Уорнелл, профессор инженерии Sumitomo, возглавляющий лабораторию сигналов, информации и алгоритмов в Исследовательской лаборатории электроники и являющийся сотрудником лаборатории искусственного интеллекта MIT-IBM Watson; старший автор Сумья Гош, научный сотрудник лаборатории искусственного интеллекта MIT-IBM Watson; а также другие сотрудники MIT и лаборатории искусственного интеллекта MIT-IBM Watson. Исследование было недавно представлено на Международной конференции по машинному обучению.

Универсальная калибровка

Традиционные модели машинного обучения создаются для выполнения одной задачи, поэтому их калибровка включает один метод, подходящий именно для этой задачи.

LLM могут выполнять множество задач, и использование традиционного метода калибровки может снизить эффективность модели для других задач.

Калибровку LLM проводят с помощью многократной выборки из модели для получения разных предсказаний, которые затем объединяют для более точной калибровки. Но из-за большого количества параметров в этих моделях такой подход требует больших вычислительных затрат.

Исследователи из проекта Thermometer разработали универсальный метод калибровки больших языковых моделей.

Этот метод использует классический подход, называемый температурным масштабированием. Он позволяет эффективно настроить модель под конкретную задачу.

В этом контексте «температура» означает параметр, который настраивает уровень доверия к модели и приводит её в соответствие с требуемой точностью предсказания. Раньше для определения правильной температуры использовали валидационный набор данных для конкретной задачи.

Поскольку LLM часто используются для новых задач, может быть сложно получить данные с метками. Например, у пользователя, который хочет применить LLM для ответов на вопросы покупателей о новом продукте, скорее всего, нет такого набора данных.

Вместо этого исследователи обучают модель «Термометр», которая работает поверх LLM и автоматически предсказывает температуру, необходимую для калибровки LLM под новую задачу.

Для обучения модели они используют данные с метками для нескольких репрезентативных задач. После обучения модель может обобщать данные на новые задачи без необходимости получения дополнительных данных с метками.

Модель Thermometer, обученная на множестве вопросов с несколькими вариантами ответов (включая вопросы по алгебре и медицине), может помочь настроить LLM для решения задач по геометрии или биологии.

Модель термометра должна получить доступ к небольшой части внутреннего устройства LLM, чтобы предсказать нужную температуру и настроить модель под конкретную задачу.

Эффективный подход

Техника Thermometer не требует многократного обучения и лишь немного замедляет работу LLM. При этом она сохраняет точность, поскольку температурное масштабирование не изменяет предсказания модели.

Thermometer даёт более точные калиброванные меры неопределённости, чем несколько базовых моделей на разных задачах. При этом он требует гораздо меньше вычислений.

Шен добавляет, что если обучить модель Thermometer на большом количестве задач, она сможет хорошо обобщать информацию и работать с новыми задачами, как и большая языковая модель.

Исследователи выяснили, что модель Thermometer, обученная на небольшом LLM, может быть использована для калибровки более крупного LLM из того же семейства.

В планах — расширить применение модели Thermometer для более сложных задач генерации текста и адаптировать её к ещё более крупным языковым моделям. Также исследователи хотят определить, сколько размеченных данных потребуется модели Thermometer для обобщения информации и выполнения новых задач.

31.07.2024


Подписаться в Telegram



Net&IT

Plant Phenomics: Как технологии помогают фермерам сохранить урожай риса
Plant Phenomics: Как технологии помогают фермерам сохранить урожай риса

Благодаря новым технологиям искусственный инте...

Челябинские ученые сделают коммунальные машины автономными
Челябинские ученые сделают коммунальные машины автономными

Программу для управления техникой, котора...

Студенты ТИСБИ разработали проект онлайн-платформы для геймеров
Студенты ТИСБИ разработали проект онлайн-платформы для геймеров

Студенты Университета управления ТИСБИ в ...

Nature: Созданные ИИ тексты будут размечаться водяными знаками
Nature: Созданные ИИ тексты будут размечаться водяными знаками

Исследователи из лондонской лаборатории G...

Российская игра о наполеоновских войнах станет бесплатной
Российская игра о наполеоновских войнах станет бесплатной

У российской аудитории растет интерес к в

В НГУ запустили пилотный кластер суперкомпьютерного центра «Лаврентьев»
В НГУ запустили пилотный кластер суперкомпьютерного центра «Лаврентьев»

В Новосибирском государственном университете з...

Эксперты МИФИ объяснили решение Microsoft и Google о мирном атоме
Эксперты МИФИ объяснили решение Microsoft и Google о мирном атоме

Технологические корпорации всё чаще обращ...

HB&ET: Пожилые чаще молодых относятся к ИИ как к кому-то живому
HB&ET: Пожилые чаще молодых относятся к ИИ как к кому-то живому

В исследовании Имперского колледжа Лондона люд...

В МФТИ создали ПО для нефтяников и золотодобытчиков
В МФТИ создали ПО для нефтяников и золотодобытчиков

Сотрудники МФТИ предложили цифровое решение, к...

Студенты КНИТУ создали двуязычного ИИ-бота для туристов
Студенты КНИТУ создали двуязычного ИИ-бота для туристов

Студенты КНИТУ создали туристического бота с&n...

ACS Photonics: Разработаны улучшенные очки дополненной реальности
ACS Photonics: Разработаны улучшенные очки дополненной реальности

Дополненная реальность накладывает цифровые из...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Phys.org: Ученые обнаружили 719 новых галактик в Великом аттракторе
Phys.org: Ученые обнаружили 719 новых галактик в Великом аттракторе
PNAS: Создан реактор для безопасной добычи лития из соляных растворов
PNAS: Создан реактор для безопасной добычи лития из соляных растворов
IFLScience: Червь, которого ученые не видели с 1956 года, был у всех на виду
IFLScience: Червь, которого ученые не видели с 1956 года, был у всех на виду
ИИ помог восстановить 3d барельефа буддийского храма по фото 134-летней давности
ИИ помог восстановить 3d барельефа буддийского храма по фото 134-летней давности
Ректор НИЯУ МИФИ призвал вузы запускать бизнес
Ректор НИЯУ МИФИ призвал вузы запускать бизнес
Nature Nanotechnology: Новый материал охлаждает на 72% лучше любых термопаст
Nature Nanotechnology: Новый материал охлаждает на 72% лучше любых термопаст
Health Communication: Как правильно общаться с людьми с диагнозом Альцгеймера
Health Communication: Как правильно общаться с людьми с диагнозом Альцгеймера
Nature: Ученые исследуют строение ядер химических элементов с помощью лазеров
Nature: Ученые исследуют строение ядер химических элементов с помощью лазеров
Zoolinnean: Ученые открыли новый вид геккона со сросшимися костями
Zoolinnean: Ученые открыли новый вид геккона со сросшимися костями
New Atlas: Башня RainStream сможет спасти город от пожара
New Atlas: Башня RainStream сможет спасти город от пожара
Phys.org: Космический мусор защитит будущие миссии на Луну и Марс от радиации
Phys.org: Космический мусор защитит будущие миссии на Луну и Марс от радиации
Current Biology: Ученые придумали, как отпугивать акул от серфингистов
Current Biology: Ученые придумали, как отпугивать акул от серфингистов
Школьники создали для музея бота-проводника по коммуналкам и книгам Булгакова
Школьники создали для музея бота-проводника по коммуналкам и книгам Булгакова
PeerJ: Выяснилось, как хищники справляются, когда остаются без зубов
PeerJ: Выяснилось, как хищники справляются, когда остаются без зубов
Челябинские ученые сделают коммунальные машины автономными
Челябинские ученые сделают коммунальные машины автономными

Новости компаний, релизы

На старт! Внимание! MITEX!
Международные эксперты оценили разработанную для нижегородского завода технологию
Фестиваль научных театров «Наука всем!» прошёл в Санкт-Петербурге
«Неделя без турникетов» проходит на предприятиях «Вертолетов России»
Как человек проживает смерть родных