Создан метод тонкой настройки модели ИИ на устройствах с ограниченными ресурсами

Персонализированные модели глубокого обучения позволяют создавать чат-боты с искусственным интеллектом, которые адаптируются к акценту пользователя, или интеллектуальные клавиатуры, которые постоянно обновляются, чтобы лучше предсказать следующее слово на основе истории набора текста.

Такая настройка требует постоянной доводки модели машинного обучения с учетом новых данных.

Поскольку смартфоны и другие периферийные устройства не обладают достаточной памятью и вычислительной мощностью, необходимые для такой тонкой настройки, данные пользователя обычно загружаются на облачные серверы, где происходит обновление модели. Однако передача данных потребляет большое количество энергии, а отправка конфиденциальных данных пользователя на облачный сервер представляет собой риск для безопасности.

Исследователи из Массачусетского технологического института, Лаборатории искусственного интеллекта MIT-IBM Watson и других организаций разработали методику, позволяющую моделям глубокого обучения эффективно адаптироваться к новым сенсорным данным непосредственно на периферийном устройстве.

Метод обучения на устройстве, получивший название PockEngine, определяет, какие части огромной модели машинного обучения необходимо обновить для повышения точности, и сохраняет и вычисляет только эти части. Основная часть этих вычислений выполняется в процессе подготовки модели, до времени выполнения, что минимизирует вычислительные затраты и повышает скорость процесса тонкой настройки.

По сравнению с другими методами PockEngine значительно ускорил процесс обучения на устройстве: на некоторых аппаратных платформах он выполнялся в 15 раз быстрее. При этом PockEngine не привел к снижению точности моделей. Исследователи также обнаружили, что их метод тонкой настройки позволил популярному чатботу с искусственным интеллектом более точно отвечать на сложные вопросы.

Тонкая настройка на устройстве может обеспечить лучшую конфиденциальность, снижение затрат, а также непрерывное обучение, но это нелегко. Все должно происходить при ограниченном количестве ресурсов. Мы хотим иметь возможность выполнять на устройстве не только вывод, но и обучение. С PockEngine это стало возможным, — говорит Сонг Хан (Song Han), доцент кафедры электротехники и вычислительной техники (EECS), член лаборатории MIT-IBM Watson AI Lab, видный ученый в NVIDIA и старший автор статьи, описывающей PockEngine.

Вместе с Ханом в работе над статьей участвует ведущий автор Лигенг Жу (Ligeng Zhu), аспирант EECS, а также другие сотрудники MIT, MIT-IBM Watson AI Lab и Калифорнийского университета в Сан-Диего. Работа была недавно представлена на Международном симпозиуме IEEE/ACM по микроархитектуре.

Слой за слоем

В основе моделей глубокого обучения лежат нейронные сети, состоящие из множества взаимосвязанных слоев узлов, или «нейронов», которые обрабатывают данные для составления прогноза. При запуске модели (этот процесс называется выводом) входные данные (например, изображение) передаются от слоя к слою, пока в конце не будет получено предсказание (возможно, метка изображения). В процессе вывода каждый слой после обработки входных данных больше не нуждается в хранении.

Однако при обучении и тонкой настройке модель проходит процесс, известный как обратное распространение (backpropagation). При обратном распространении выходной сигнал сравнивается с правильным ответом, а затем модель запускается в обратном направлении. Каждый слой обновляется по мере приближения выходных данных модели к правильному ответу.

Поскольку каждый слой может быть обновлен, необходимо хранить всю модель и промежуточные результаты, что делает тонкую настройку более требовательной к памяти.

Однако не все слои нейронной сети важны для повышения точности. И даже для тех слоев, которые важны, может не потребоваться обновление всего слоя. Эти слои и их фрагменты не нужно хранить. Более того, для повышения точности можно не возвращаться к первому слою — процесс может быть остановлен где-то посередине.

PockEngine использует эти факторы для ускорения процесса тонкой настройки и сокращения объема вычислений и памяти.

Сначала система производит тонкую настройку каждого слоя по очереди на определенной задаче и измеряет улучшение точности после каждого отдельного слоя. Таким образом, PockEngine определяет вклад каждого слоя, а также компромисс между точностью и стоимостью тонкой настройки и автоматически определяет процентное соотношение между слоями, требующими тонкой настройки.

Этот метод очень хорошо согласуется по точности с полным обратным распространением на разных задачах и разных нейронных сетях, — добавляет Хан.

Уменьшенная модель

Обычно граф обратного распространения генерируется во время выполнения программы, что требует значительных вычислений. Вместо этого PockEngine делает это во время компиляции, когда модель готовится к развертыванию.

PockEngine удаляет фрагменты кода, чтобы устранить ненужные слои или части слоев, создавая сокращенный граф модели, который будет использоваться во время выполнения. Затем он выполняет другие оптимизации этого графа для дальнейшего повышения эффективности.

Поскольку все это нужно сделать только один раз, это позволяет сэкономить на вычислительных затратах во время выполнения программы.

Это как перед тем, как отправиться в поход. Дома вы тщательно планируете, по каким тропам пойдете, какие тропы пропустите. И тогда во время выполнения задания, когда вы действительно идете в поход, у вас уже есть очень тщательный план, которому вы должны следовать, — объясняет Хан.

Когда PockEngine применили к моделям глубокого обучения на различных граничных устройствах, включая чипы Apple M1, цифровые сигнальные процессоры, используемые во многих смартфонах и компьютерах Raspberry Pi, он выполнял обучение на устройстве в 15 раз быстрее, без какого-либо снижения точности. PockEngine также значительно сократил объем памяти, необходимой для тонкой настройки.

Команда также применила эту методику к большой языковой модели Llama-V2. По словам Хана, при работе с большими языковыми моделями процесс тонкой настройки предполагает предоставление большого количества примеров, что очень важно для обучения модели взаимодействию с пользователем. Этот процесс также важен для моделей, которым предстоит решать сложные задачи или рассуждать о решениях.

Например, модели Llama-V2, прошедшие тонкую настройку с помощью PockEngine, правильно ответили на вопрос «Какой был последний альбом Майкла Джексона?», в то время как модели без тонкой настройки не справились. На платформе NVIDIA Jetson Orin, работающей на граничных GPU, PockEngine сократил время, затрачиваемое на каждую итерацию процесса тонкой настройки, с примерно семи секунд до менее чем одной секунды.

16.11.2023