Как ИИ выкручивается, когда не знает языковых правил
Исследователи из Оксфорда и Allen Institute for AI обнаружили, что большие языковые модели, или LLM, — те самые, что стоят за ChatGPT, — учатся языку не по правилам, а по аналогии, как люди.
Источник: нейросеть
Результаты опубликованы в PNAS.
Раньше считалось, что ИИ-модели анализируют грамматические правила из данных. Но оказалось, они работают иначе: запоминают примеры и проводят параллели с ними, когда сталкиваются с новыми словами.
Ученые сравнили, как люди и GPT-J (открытая модель 2021 года) образуют существительные от прилагательных с суффиксами -ness и -ity. Например, happy → happiness, available → availability. Для эксперимента придумали 200 несуществующих слов вроде cormasive и friquish и попросили ИИ выбрать подходящий суффикс.
В результате GPT-J действовал не по правилам, а по аналогии с реальными словами. Например, friquish превратилось в friquishness из-за сходства с selfish, а cormasive — в cormasivity, как sensitive → sensitivity.
Но есть разница. Люди хранят в голове «словарь» — набор знакомых слов, даже редких. А ИИ опирается на статистику: чем чаще слово встречалось в данных, тем лучше его „понимает“.
Как это работает у ИИ
- Видит новое слово.
- Ищет в памяти похожие примеры.
- Выбирает вариант по ассоциации.
Как происходит у людей
- Есть четкое представление, что «слово», а что „не слово“.
- Аналогии строятся на осмысленных связях, а не на частоте.
Профессор Оксфорда Джанет Пьерумберт объясняет:
ИИ генерирует текст впечатляюще, но мыслит не так абстрактно, как человек. Поэтому ему нужно в разы больше данных для обучения.
Валентин Хофман из Ai2 добавляет:
Это исследование — мост между лингвистикой и ИИ. Теперь мы лучше понимаем, как модели создают язык, и это поможет делать их эффективнее.
Исследование фокусируется на одном аспекте языка — словообразовании. Но человеческое мышление включает контекст, эмоции, культурные отсылки. Может ли ИИ провести аналогию между «горит каша» и „горит срок“? Пока нет.
И все же то прорыв в объяснимости ИИ. Понимая, что модели работают через аналогии, а не правила, мы сможем:
- Улучшить обучение на малых данных.
- Снизить количество ошибок в неочевидных случаях.
- Создавать более «человечные» алгоритмы.
Ранее ученые выразили опасения, что люди, привыкнув доверять ИИ, не смогут вовремя понять, как искусственный интеллект ими манипулирует.
