Ученые нашли способ заставить языковую модель ИИ сомневаться в неверных ответах

Большие языковые модели помогают в решении множества задач: от перевода до выявления финансового мошенничества. Но иногда они дают неточные ответы, которым сложно доверять из-за самоуверенности модели.

Исследователи обычно проверяют, насколько можно доверять результатам модели машинного обучения. Хорошо откалиброванная модель должна быть менее уверена в неправильном прогнозе.

Но поскольку большие языковые модели (LLM) могут применяться для решения множества разнообразных задач, традиционные методы калибровки не работают.

Исследователи из Массачусетского технологического института и Лаборатории искусственного интеллекта MIT-IBM Watson предложили новый метод калибровки для больших языковых моделей. Он называется Thermometer и предполагает создание вспомогательной модели, которая запускается поверх основной для её калибровки.

Thermometer — эффективный метод, который требует меньше вычислений и при этом сохраняет точность модели. Он позволяет ей давать более точные ответы на новые задачи.

Thermometer помогает эффективно откалибровать LLM для разных задач. Это позволяет выявить ситуации, когда модель ошибается, и предотвратить её неудачное развёртывание.

С помощью Thermometer мы хотим дать пользователю понять, насколько точен ответ модели. Это позволит оценить её надёжность, — говорит Маохао Шен, аспирант факультета электротехники и информатики (EECS) и автор статьи о Thermometer.

Вместе с Шеном над статьей работали Грегори Уорнелл, профессор инженерии Sumitomo, возглавляющий лабораторию сигналов, информации и алгоритмов в Исследовательской лаборатории электроники и являющийся сотрудником лаборатории искусственного интеллекта MIT-IBM Watson; старший автор Сумья Гош, научный сотрудник лаборатории искусственного интеллекта MIT-IBM Watson; а также другие сотрудники MIT и лаборатории искусственного интеллекта MIT-IBM Watson. Исследование было недавно представлено на Международной конференции по машинному обучению.

Универсальная калибровка

Традиционные модели машинного обучения создаются для выполнения одной задачи, поэтому их калибровка включает один метод, подходящий именно для этой задачи.

LLM могут выполнять множество задач, и использование традиционного метода калибровки может снизить эффективность модели для других задач.

Калибровку LLM проводят с помощью многократной выборки из модели для получения разных предсказаний, которые затем объединяют для более точной калибровки. Но из-за большого количества параметров в этих моделях такой подход требует больших вычислительных затрат.

Исследователи из проекта Thermometer разработали универсальный метод калибровки больших языковых моделей.

Этот метод использует классический подход, называемый температурным масштабированием. Он позволяет эффективно настроить модель под конкретную задачу.

В этом контексте «температура» означает параметр, который настраивает уровень доверия к модели и приводит её в соответствие с требуемой точностью предсказания. Раньше для определения правильной температуры использовали валидационный набор данных для конкретной задачи.

Поскольку LLM часто используются для новых задач, может быть сложно получить данные с метками. Например, у пользователя, который хочет применить LLM для ответов на вопросы покупателей о новом продукте, скорее всего, нет такого набора данных.

Вместо этого исследователи обучают модель «Термометр», которая работает поверх LLM и автоматически предсказывает температуру, необходимую для калибровки LLM под новую задачу.

Для обучения модели они используют данные с метками для нескольких репрезентативных задач. После обучения модель может обобщать данные на новые задачи без необходимости получения дополнительных данных с метками.

Модель Thermometer, обученная на множестве вопросов с несколькими вариантами ответов (включая вопросы по алгебре и медицине), может помочь настроить LLM для решения задач по геометрии или биологии.

Модель термометра должна получить доступ к небольшой части внутреннего устройства LLM, чтобы предсказать нужную температуру и настроить модель под конкретную задачу.

Эффективный подход

Техника Thermometer не требует многократного обучения и лишь немного замедляет работу LLM. При этом она сохраняет точность, поскольку температурное масштабирование не изменяет предсказания модели.

Thermometer даёт более точные калиброванные меры неопределённости, чем несколько базовых моделей на разных задачах. При этом он требует гораздо меньше вычислений.

Шен добавляет, что если обучить модель Thermometer на большом количестве задач, она сможет хорошо обобщать информацию и работать с новыми задачами, как и большая языковая модель.

Исследователи выяснили, что модель Thermometer, обученная на небольшом LLM, может быть использована для калибровки более крупного LLM из того же семейства.

В планах — расширить применение модели Thermometer для более сложных задач генерации текста и адаптировать её к ещё более крупным языковым моделям. Также исследователи хотят определить, сколько размеченных данных потребуется модели Thermometer для обобщения информации и выполнения новых задач.

31.07.2024