Исследователи из Венского технического университета придумали, как точно измерить надежность нейросетей. Теперь можно математически гарантировать, что в определенных условиях ИИ не совершит ошибок. Это особенно важно там, где цена ошибки высока — в медицине, финансах или автономных системах.

Нейросеть — это алгоритм, имитирующий работу человеческого мозга: он состоит из слоев «нейронов», которые обрабатывают данные. Например, распознают изображения, переводят тексты или предсказывают курс акций. Чем сложнее сеть, тем больше она умеет, но и тем труднее понять, как именно она принимает решения.

Нейросети обычно предсказуемы: один и тот же входной сигнал дает одинаковый результат. Но в реальном мире данные редко бывают идеальными. Шумы, искажения, изменения освещения — все это может повлиять на решение алгоритма.

Представьте, что нейросеть анализирует снимок и определяет животное, — говорит профессор Эцио Барточчи. — А если картинку чуть изменить? Другой ракурс, больше шума — и вдруг система ошибается?

Раньше проверить все возможные варианты было невозможно: всегда оставались неучтенные сценарии. Команда TU Wien предложила геометрический метод.

Множество входных данных — например, все возможные изображения — можно представить как многомерное пространство. Его разбивают на участки и анализируют, как нейросеть реагирует на данные из каждого.

Теперь мы можем точно сказать, какие результаты возможны и с какой вероятностью, — объясняет Андрей Кофнов. — Это помогает оценить риски: например, насколько вероятна критическая ошибка?

Пока метод работает только для небольших нейросетей. ChatGPT или другие сложные модели так проанализировать нельзя — потребуются нереальные вычислительные мощности. Но для компактных алгоритмов, где важна точность, это прорыв.

Исследование провели в рамках программы SecInt, где математики, статистики и программисты работают вместе. Здесь же обсуждают этику и влияние технологий на общество.

Главное преимущество — контроль над ошибками. Например:

• В медицине: гарантия, что алгоритм не спутает опухоль со здоровой тканью из-за артефактов на снимке.
• В беспилотниках: уверенность, что система не misinterpret знак «стоп» при изменении освещения.
• В финансах: точный расчет рисков при прогнозировании.

Это снижает зависимость от «черного ящика» ИИ и делает его безопаснее.

Метод ограничен масштабируемостью. Современные нейросети — это миллионы параметров, а анализ даже небольших сетей требует значительных ресурсов. Пока технология применима лишь в узких областях, где допустимы компактные модели.

Ранее российские ученые обучили ИИ безошибочно определять породу свиней.