Глубокое обучение и искусственный интеллект шагнули далеко вперед — теперь они распознают изображения, понимают текст и даже видят мир почти как люди.

Но за этими способностями скрывается огромная вычислительная мощь: миллиарды параметров, гигабайты памяти и дорогостоящие серверы.

Ученые из Университета Бар-Илан задались вопросом: можно ли упростить эти системы, убрав лишнее, но сохранив их эффективность?

Оказалось, можно. В свежем исследовании, опубликованном в издании Physical Review E, они показали, как правильно «подрезать» нейросети без потери качества.

Параметры нейросети — это числовые значения, которые система подбирает в процессе обучения. Представьте, что нейросеть — это огромный лабиринт с миллиардами дверей, и каждая дверь (параметр) регулирует, сколько «информации» через нее проходит.

Принципы в основе сокращений

• Нейросети учатся постепенно, и не все их параметры одинаково важны.
• Если понять, какие части действительно влияют на результат, остальное можно смело удалять.

Главное — разобраться, как именно нейросети учатся, — объясняет профессор Идо Кантер, руководитель исследования. — Чем глубже понимание, тем точнее можно оптимизировать систему.

Другие методы тоже пытаются экономить память, — добавляет аспирант Ярден Цах. — Но нам удалось убрать до 90% параметров в некоторых слоях, и нейросеть работала так же хорошо!

Это открытие может серьезно снизить затраты на ИИ — как в энергопотреблении, так и в вычислительных ресурсах. А значит, сложные алгоритмы станут доступнее.

Польза исследования

• Экономия ресурсов — меньше серверов, меньше электричества, дешевле эксплуатация.
• Ускорение работы — «облегченные» нейросети быстрее обучаются и работают.
• Доступность — можно запускать мощные модели на более слабом железе.

Отметим, что исследование тестировалось на конкретных архитектурах — не факт, что метод так же хорошо сработает для всех типов нейросетей. Кроме того, «обрезка» требует глубокого анализа, что может усложнить внедрение.

Ранее мы разбирались, смогут ли роботы заменить людей в сфере услуг.