Большие языковые модели помогают в решении множества задач: от перевода до выявления финансового мошенничества. Но иногда они дают неточные ответы, которым сложно доверять из-за самоуверенности модели. Исследователи обычно проверяют, насколько можно доверять результатам модели машинного обучения. Хорошо откалиброванная модель должна быть менее уверена в неправильном прогнозе. Но поскольку большие языковые модели (LLM) могут применяться для решения множества разнообразных задач, традиционные методы калибровки не работают. Исследователи из Массачусетского технологического института и Лаборатории искусственного интеллекта MIT-IBM Watson предложили новый метод калибровки для больших языковых моделей. Он называется Thermometer и предполагает создание вспомогательной модели, которая запускается поверх основной для её калибровки. Thermometer — эффективный метод, который требует меньше вычислений и при этом сохраняет точность модели. Он позволяет ей давать более точные ответы на новые задачи. Thermometer помогает эффективно откалибровать LLM для разных задач. Это позволяет выявить ситуации, когда модель ошибается, и предотвратить её неудачное развёртывание.
Вместе с Шеном над статьей работали Грегори Уорнелл, профессор инженерии Sumitomo, возглавляющий лабораторию сигналов, информации и алгоритмов в Исследовательской лаборатории электроники и являющийся сотрудником лаборатории искусственного интеллекта MIT-IBM Watson; старший автор Сумья Гош, научный сотрудник лаборатории искусственного интеллекта MIT-IBM Watson; а также другие сотрудники MIT и лаборатории искусственного интеллекта MIT-IBM Watson. Исследование было недавно представлено на Международной конференции по машинному обучению. Универсальная калибровкаТрадиционные модели машинного обучения создаются для выполнения одной задачи, поэтому их калибровка включает один метод, подходящий именно для этой задачи. LLM могут выполнять множество задач, и использование традиционного метода калибровки может снизить эффективность модели для других задач. Калибровку LLM проводят с помощью многократной выборки из модели для получения разных предсказаний, которые затем объединяют для более точной калибровки. Но из-за большого количества параметров в этих моделях такой подход требует больших вычислительных затрат. Исследователи из проекта Thermometer разработали универсальный метод калибровки больших языковых моделей. Этот метод использует классический подход, называемый температурным масштабированием. Он позволяет эффективно настроить модель под конкретную задачу. В этом контексте «температура» означает параметр, который настраивает уровень доверия к модели и приводит её в соответствие с требуемой точностью предсказания. Раньше для определения правильной температуры использовали валидационный набор данных для конкретной задачи. Поскольку LLM часто используются для новых задач, может быть сложно получить данные с метками. Например, у пользователя, который хочет применить LLM для ответов на вопросы покупателей о новом продукте, скорее всего, нет такого набора данных. Вместо этого исследователи обучают модель «Термометр», которая работает поверх LLM и автоматически предсказывает температуру, необходимую для калибровки LLM под новую задачу. Для обучения модели они используют данные с метками для нескольких репрезентативных задач. После обучения модель может обобщать данные на новые задачи без необходимости получения дополнительных данных с метками. Модель Thermometer, обученная на множестве вопросов с несколькими вариантами ответов (включая вопросы по алгебре и медицине), может помочь настроить LLM для решения задач по геометрии или биологии. Модель термометра должна получить доступ к небольшой части внутреннего устройства LLM, чтобы предсказать нужную температуру и настроить модель под конкретную задачу. Эффективный подходТехника Thermometer не требует многократного обучения и лишь немного замедляет работу LLM. При этом она сохраняет точность, поскольку температурное масштабирование не изменяет предсказания модели. Thermometer даёт более точные калиброванные меры неопределённости, чем несколько базовых моделей на разных задачах. При этом он требует гораздо меньше вычислений.
Исследователи выяснили, что модель Thermometer, обученная на небольшом LLM, может быть использована для калибровки более крупного LLM из того же семейства. В планах — расширить применение модели Thermometer для более сложных задач генерации текста и адаптировать её к ещё более крупным языковым моделям. Также исследователи хотят определить, сколько размеченных данных потребуется модели Thermometer для обобщения информации и выполнения новых задач. 31.07.2024 |
Net&IT
Студенты ТИСБИ разработали проект онлайн-платформы для геймеров | |
Студенты Университета управления ТИСБИ в ... |
Nature: Созданные ИИ тексты будут размечаться водяными знаками | |
Исследователи из лондонской лаборатории G... |
Российская игра о наполеоновских войнах станет бесплатной | |
У российской аудитории растет интерес к в |
Ученые МГУ с коллегами предложили новый подход для создания квантового интернета | |
Создать устройство для гибридных квантовы... |
В НГУ запустили пилотный кластер суперкомпьютерного центра «Лаврентьев» | |
В Новосибирском государственном университете з... |
Российские ученые создали расчетные модули для системы инженерного анализа | |
Ученые из нескольких научных организаций ... |
Эксперты МИФИ объяснили решение Microsoft и Google о мирном атоме | |
Технологические корпорации всё чаще обращ... |
По событиям Смутного времени создадут игру — интерактивную новеллу | |
Компания Сайберия Нова и создатели игры С... |
JCM: ИИ быстрее человека определяет устойчивость бактерий к антибиотикам | |
Искусственный интеллект для поиска бактер... |
HB&ET: Пожилые чаще молодых относятся к ИИ как к кому-то живому | |
В исследовании Имперского колледжа Лондона люд... |
В России создана нейросеть для оценки отторжения пересаженной почки | |
ИИ-модель, которая с помощью компьютерног... |
UIST: Приложение для смартфона делает захват движений тела в реальном времени | |
Инженеры Северо-Западного университета создали... |
PNAS Nexus: Разработана система мониторинга усталости рабочих на производстве | |
Новая разработка, система датчиков и маши... |
В СПбГУ с помощью ИИ создали систему распознавания нейротропных препаратов | |
Новую систему для скрининга нейротропных ... |
NatPhys: Поиск ошибок в процессоре поможет создать надежный квантовый компьютер | |
Чтобы достичь выдающихся результатов, квантовы... |
Новые ИИ-модели нагрева плазмы исправляют вычисления термоядерных исследований | |
Новые модели искусственного интеллекта для&nbs... |
ACMTAC: Новые приложения позволят слепым людям ориентироваться в помещениях | |
Два новых приложения помогут слепым людям орие... |
Nature Communications: Ученые придумали способ ускорить разработку лекарств | |
Способ улучшить квантовые компьютеры для ... |
PRR: Новые оптические устройства смогут преодолеть ограничения хранения данных | |
Поскольку наш цифровой мир создаёт о... |
В МФТИ создали ПО для нефтяников и золотодобытчиков | |
Сотрудники МФТИ предложили цифровое решение, к... |
В КФУ создали программу для определения свойств многокомпонентных материалов | |
Учёные вуза с помощью ИИ разработали... |
В России создали систему коррекции волнового фронта для квантовой связи | |
Ученые МТУСИ и ИДГ РАН разработ... |
MIT: Новый протокол безопасности защищает данные в облаке от злоумышленников | |
Модели глубокого обучения используются в ... |
Эксперт объяснил, как ИИ меняет творческий процесс в индустрии моды | |
Александр Бутаков, продюсер и специалист ... |
Студенты КНИТУ создали двуязычного ИИ-бота для туристов | |
Студенты КНИТУ создали туристического бота с&n... |
NatComm: С помощью ИИ найдено лучшее решение для хранения энергии | |
Найти иголку в стоге сена — пр... |
ACS Photonics: Разработаны улучшенные очки дополненной реальности | |
Дополненная реальность накладывает цифровые из... |
Journal of Consumer Affairs: Трекеры активности могут сформировать зависимость | |
Технологии для профилактики здоровья, так... |
Испытание лекарств на кардиотоксичность с помощью нейросетей предложили в МФТИ | |
Новый метод позволяет обнаружить потенциально ... |
В МТУСИ разработали метод машинного обучения для обнаружения фишинговых сайтов | |
Информационная безопасность веб-приложений&nbs... |