Создан метод тонкой настройки модели ИИ на устройствах с ограниченными ресурсами

Персонализированные модели глубокого обучения позволяют создавать чат-боты с искусственным интеллектом, которые адаптируются к акценту пользователя, или интеллектуальные клавиатуры, которые постоянно обновляются, чтобы лучше предсказать следующее слово на основе истории набора текста.

Такая настройка требует постоянной доводки модели машинного обучения с учетом новых данных.

Поскольку смартфоны и другие периферийные устройства не обладают достаточной памятью и вычислительной мощностью, необходимые для такой тонкой настройки, данные пользователя обычно загружаются на облачные серверы, где происходит обновление модели. Однако передача данных потребляет большое количество энергии, а отправка конфиденциальных данных пользователя на облачный сервер представляет собой риск для безопасности.

Исследователи из Массачусетского технологического института, Лаборатории искусственного интеллекта MIT-IBM Watson и других организаций разработали методику, позволяющую моделям глубокого обучения эффективно адаптироваться к новым сенсорным данным непосредственно на периферийном устройстве.

Метод обучения на устройстве, получивший название PockEngine, определяет, какие части огромной модели машинного обучения необходимо обновить для повышения точности, и сохраняет и вычисляет только эти части. Основная часть этих вычислений выполняется в процессе подготовки модели, до времени выполнения, что минимизирует вычислительные затраты и повышает скорость процесса тонкой настройки.

По сравнению с другими методами PockEngine значительно ускорил процесс обучения на устройстве: на некоторых аппаратных платформах он выполнялся в 15 раз быстрее. При этом PockEngine не привел к снижению точности моделей. Исследователи также обнаружили, что их метод тонкой настройки позволил популярному чатботу с искусственным интеллектом более точно отвечать на сложные вопросы.

Тонкая настройка на устройстве может обеспечить лучшую конфиденциальность, снижение затрат, а также непрерывное обучение, но это нелегко. Все должно происходить при ограниченном количестве ресурсов. Мы хотим иметь возможность выполнять на устройстве не только вывод, но и обучение. С PockEngine это стало возможным, — говорит Сонг Хан (Song Han), доцент кафедры электротехники и вычислительной техники (EECS), член лаборатории MIT-IBM Watson AI Lab, видный ученый в NVIDIA и старший автор статьи, описывающей PockEngine.

Вместе с Ханом в работе над статьей участвует ведущий автор Лигенг Жу (Ligeng Zhu), аспирант EECS, а также другие сотрудники MIT, MIT-IBM Watson AI Lab и Калифорнийского университета в Сан-Диего. Работа была недавно представлена на Международном симпозиуме IEEE/ACM по микроархитектуре.

Слой за слоем

В основе моделей глубокого обучения лежат нейронные сети, состоящие из множества взаимосвязанных слоев узлов, или «нейронов», которые обрабатывают данные для составления прогноза. При запуске модели (этот процесс называется выводом) входные данные (например, изображение) передаются от слоя к слою, пока в конце не будет получено предсказание (возможно, метка изображения). В процессе вывода каждый слой после обработки входных данных больше не нуждается в хранении.

Однако при обучении и тонкой настройке модель проходит процесс, известный как обратное распространение (backpropagation). При обратном распространении выходной сигнал сравнивается с правильным ответом, а затем модель запускается в обратном направлении. Каждый слой обновляется по мере приближения выходных данных модели к правильному ответу.

Поскольку каждый слой может быть обновлен, необходимо хранить всю модель и промежуточные результаты, что делает тонкую настройку более требовательной к памяти.

Однако не все слои нейронной сети важны для повышения точности. И даже для тех слоев, которые важны, может не потребоваться обновление всего слоя. Эти слои и их фрагменты не нужно хранить. Более того, для повышения точности можно не возвращаться к первому слою — процесс может быть остановлен где-то посередине.

PockEngine использует эти факторы для ускорения процесса тонкой настройки и сокращения объема вычислений и памяти.

Сначала система производит тонкую настройку каждого слоя по очереди на определенной задаче и измеряет улучшение точности после каждого отдельного слоя. Таким образом, PockEngine определяет вклад каждого слоя, а также компромисс между точностью и стоимостью тонкой настройки и автоматически определяет процентное соотношение между слоями, требующими тонкой настройки.

Этот метод очень хорошо согласуется по точности с полным обратным распространением на разных задачах и разных нейронных сетях, — добавляет Хан.

Уменьшенная модель

Обычно граф обратного распространения генерируется во время выполнения программы, что требует значительных вычислений. Вместо этого PockEngine делает это во время компиляции, когда модель готовится к развертыванию.

PockEngine удаляет фрагменты кода, чтобы устранить ненужные слои или части слоев, создавая сокращенный граф модели, который будет использоваться во время выполнения. Затем он выполняет другие оптимизации этого графа для дальнейшего повышения эффективности.

Поскольку все это нужно сделать только один раз, это позволяет сэкономить на вычислительных затратах во время выполнения программы.

Это как перед тем, как отправиться в поход. Дома вы тщательно планируете, по каким тропам пойдете, какие тропы пропустите. И тогда во время выполнения задания, когда вы действительно идете в поход, у вас уже есть очень тщательный план, которому вы должны следовать, — объясняет Хан.

Когда PockEngine применили к моделям глубокого обучения на различных граничных устройствах, включая чипы Apple M1, цифровые сигнальные процессоры, используемые во многих смартфонах и компьютерах Raspberry Pi, он выполнял обучение на устройстве в 15 раз быстрее, без какого-либо снижения точности. PockEngine также значительно сократил объем памяти, необходимой для тонкой настройки.

Команда также применила эту методику к большой языковой модели Llama-V2. По словам Хана, при работе с большими языковыми моделями процесс тонкой настройки предполагает предоставление большого количества примеров, что очень важно для обучения модели взаимодействию с пользователем. Этот процесс также важен для моделей, которым предстоит решать сложные задачи или рассуждать о решениях.

Например, модели Llama-V2, прошедшие тонкую настройку с помощью PockEngine, правильно ответили на вопрос «Какой был последний альбом Майкла Джексона?», в то время как модели без тонкой настройки не справились. На платформе NVIDIA Jetson Orin, работающей на граничных GPU, PockEngine сократил время, затрачиваемое на каждую итерацию процесса тонкой настройки, с примерно семи секунд до менее чем одной секунды.

16.11.2023


Подписаться в Telegram



Net&IT

Удаленка навсегда: как бизнес адаптируется к новым реалиям
Удаленка навсегда: как бизнес адаптируется к новым реалиям

Тренд на цифровизацию и удаленную ра...

Ритейл на скорости: почему серверы стали must-have для крупных сетей
Ритейл на скорости: почему серверы стали must-have для крупных сетей

Международный облачный провайдер и систем...

Облака над Средней Азией: как регион становится IT-гигантом
Облака над Средней Азией: как регион становится IT-гигантом

Средняя Азия активно развивает IT-сферу и ...

ИИ знает, кем ты станешь: как соцсети помогают выбрать профессию
ИИ знает, кем ты станешь: как соцсети помогают выбрать профессию

Ученые из Санкт-Петербургского государств...

Риски квантовой эры: как защитить интернет от новых угроз
Риски квантовой эры: как защитить интернет от новых угроз

Квантовые вычисления больше не являются д...

Представлены новейшие разработки в области квантовых вычислений
Представлены новейшие разработки в области квантовых вычислений

Квантовые вычисления находятся в авангард...

TheInnovator: Роботы с искусственным интеллектом изменят рынок труда
TheInnovator: Роботы с искусственным интеллектом изменят рынок труда

Если компании и ИИ-стартапы, стремящиеся ...

В КАИ оснащают беспилотники компьютерным зрением
В КАИ оснащают беспилотники компьютерным зрением

Ученые университета разработали специальные пр...

Разработан реалистичный тест для оценки навыков клинического общения ИИ
Разработан реалистичный тест для оценки навыков клинического общения ИИ

Инструменты искусственного интеллекта, такие к...

Сети Wi-Fi-избавили от лишней «информационной нагрузки»
Сети Wi-Fi-избавили от лишней «информационной нагрузки»

Ученые придумали, как сделать информацию ...

Nature Human Behaviour: Заблуждение ИИ усиливает наши собственные заблуждения
Nature Human Behaviour: Заблуждение ИИ усиливает наши собственные заблуждения

Системы искусственного интеллекта склонны пере...

Новую модель для графической нейросети сделают доступной для смартфонов
Новую модель для графической нейросети сделают доступной для смартфонов

Среди множества моделей искусственного интелле...

В ННГУ научились восстанавливать функции биологических нейросетей
В ННГУ научились восстанавливать функции биологических нейросетей

Новую технологию, которая работает подобно кле...

Scientific Reports: Разработано подвижное навигационное устройство для незрячих
Scientific Reports: Разработано подвижное навигационное устройство для незрячих

Новаторская навигационная технология, использу...

Nature Communications: Аналоговые машины тоже могут обучаться
Nature Communications: Аналоговые машины тоже могут обучаться

Все думают, что машинное обучение &m...

Nature Communications: ИИ изучает язык расположения атомов в твердых телах
Nature Communications: ИИ изучает язык расположения атомов в твердых телах

Новую модель искусственного интеллекта, котора...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Cell Reports: Голодание приносит пользу взрослым, но создает риск для подростков
Cell Reports: Голодание приносит пользу взрослым, но создает риск для подростков
Легкие и прочные: как Al-Sc сплавы покоряют промышленность
Легкие и прочные: как Al-Sc сплавы покоряют промышленность
69 ученых, которые меняют мир: история успеха из Нижнего Новгорода
69 ученых, которые меняют мир: история успеха из Нижнего Новгорода
Невидимые враги: как ароматизаторы превращают ваш дом в угрозу для здоровья
Невидимые враги: как ароматизаторы превращают ваш дом в угрозу для здоровья
Как взрываются звезды: открытия, которые меняют наше представление о Вселенной
Как взрываются звезды: открытия, которые меняют наше представление о Вселенной
Как получить инструмент будущих инженеров бесплатно, если ты студент
Как получить инструмент будущих инженеров бесплатно, если ты студент
Спасти жизнь за минуты сможет кетамин в борьбе с эпилептическим статусом
Спасти жизнь за минуты сможет кетамин в борьбе с эпилептическим статусом
От шахт до чистой энергии: путь австралийской горнодобывающей промышленности
От шахт до чистой энергии: путь австралийской горнодобывающей промышленности
Без капитана, но с комфортом: в Нижнем Новгороде строят судно без экипажа
Без капитана, но с комфортом: в Нижнем Новгороде строят судно без экипажа
Цикорий и кобальт: дуэт против рака, бьющий точно в цель
Цикорий и кобальт: дуэт против рака, бьющий точно в цель
Больничные раковины и невидимый враг, который в них живет
Больничные раковины и невидимый враг, который в них живет
Лазер, графен, полимер: как создают электронику, которую можно сгибать
Лазер, графен, полимер: как создают электронику, которую можно сгибать
Ученые объединили два прибора в один, чтобы лучше анализировать газы
Ученые объединили два прибора в один, чтобы лучше анализировать газы
Световые качели: физики открыли новый способ управлять светом
Световые качели: физики открыли новый способ управлять светом
Удаленка навсегда: как бизнес адаптируется к новым реалиям
Удаленка навсегда: как бизнес адаптируется к новым реалиям

Новости компаний, релизы

Более 200 нижегородцев посетили научные кинопоказы честь Дня российской науки
Школьников и студентов Хабаровского края приглашают написать всероссийский диктант «Наука во имя Победы»
На Фестивале «Москва — Точка старта» победили проекты из МИФИ
В Калуге обсудили меры поддержки молодых учёных региона
Международные эксперты оценили разработанную для нижегородского завода технологию