Даже самые мощные языковые модели (LLM) часто спотыкаются на сложных задачах, где нужны логика и абстрактное мышление. Например, модель, которая отлично суммирует финансовые отчеты, может дать сбой, если попросить ее предсказать рыночные тренды или выявить мошеннические транзакции.

Исследователи из MIT придумали, как сделать такие модели гибче. Они использовали метод обучения во время тестирования — когда модель не просто выдает ответ, а на ходу подстраивается под новую задачу, обновляя часть своих параметров. Это дало шестикратный рост точности.

Test-time training (TTT, обучение во время тестирования) — метод, при котором модель не просто применяет заранее выученные знания, а адаптируется под конкретную задачу прямо в момент работы. Например, получив запрос на анализ мошеннической транзакции, ИИ временно обновляет часть своих «мозгов», чтобы точнее распознать аномалии, а затем возвращается в исходное состояние.

Ключевая идея — комбинировать стандартное обучение на примерах (in-context learning) с точечной настройкой модели. Обычно LLM получают несколько примеров задачи в текстовом виде, и этого хватает для простых вопросов. Но для сложных задач вроде анализа закономерностей или решения логических головоломок нужен более глубокий подход.

Ученые создали фреймворк, который:

• Расширяет набор обучающих данных за счет модификации примеров (например, переворачивает входные данные).
• Обновляет только небольшую часть параметров модели, чтобы не замедлять работу.
• Делает изменения временными — после решения задачи модель возвращается в исходное состояние.

Почему это важно

• Позволяет одной и той же модели справляться с принципиально разными задачами — от медицинской диагностики до управления цепочками поставок.
• Дает точность там, где обычные методы вроде in-context learning бессильны.

Настоящее обучение — вот что мы здесь сделали. Модели не умеют учиться после выпуска, но если немного подтолкнуть их к этому, точность взлетает, — говорит Экин Акюрек, ведущий автор исследования.

Этот метод может снизить зависимость от узкоспециализированных моделей. Вместо того чтобы обучать отдельный ИИ для каждой задачи (например, детекции фрода или прогнозирования спроса), можно дорабатывать универсальную модель на лету. Особенно полезно в областях, где данные быстро меняются:

• Медицина — адаптация под новые исследования без полного переобучения.
• Финансы — быстрое реагирование на новые схемы мошенничества.
• Логистика — учет внезапных disruptions (например, санкций или природных катастроф).

Главный минус — время обработки запроса увеличивается в 5–10 раз. Для реального внедрения нужно оптимизировать скорость, иначе метод останется нишевым решением для неспешных задач. Кроме того, пока неясно, как масштабировать подход для сверхсложных моделей вроде GPT-4 — их параметры обновлять дорого.

Ранее российские разработчики научили ИИ учиться быстрее и дешевле.