Инструменты искусственного интеллекта, известные как большие языковые модели (LLM), вроде ChatGPT от OpenAI или Gemini от Google, сейчас многое умеют: дают советы по отношениям, сочиняют отговорки, чтобы отказаться от нежелательной встречи, и даже пишут научные статьи.

Но справятся ли они с вашей головоломкой судоку?

Группа ученых-компьютерщиков из Университета Колорадо решила это выяснить. Они создали почти 2300 оригинальных головоломок судоку, где нужно заполнить сетку цифрами по определенным правилам, и попросили несколько ИИ-моделей их решить.

Результаты получились противоречивыми. Хотя некоторые модели справлялись с простыми судоку, даже лучшие из них с трудом объясняли свои ходы — их описания были путаными, неточными, а порой и вовсе сюрреалистичными. Как отметила соавтор исследования Мария Пачеко, эти результаты заставляют задуматься о надежности информации, создаваемой ИИ.

С большинством языковых моделей все еще трудно получить внятное объяснение решений, особенно для сложных судоку, — говорит Мария Пачеко, доцент кафедры компьютерных наук. — Почему модель пришла к такому решению? Какие шаги нужно было для этого предпринять?

Она и ее коллеги опубликовали результаты в этом месяце в журнале Findings of the Association for Computational Linguistics.

Цель исследователей — не сжульничать в паззлах. Они используют эти логические упражнения, чтобы понять, как мыслят ИИ-платформы. Как говорит соавтор работы Фабио Соменци, профессор факультета электротехники, компьютерных наук и энергетики, однажды это может привести к созданию более надежных и заслуживающих доверия программ.

Головоломки — это весело, но они же представляют собой микрокосм для изучения процесса принятия решений в машинном обучении, — объясняет он. — Если ИИ будет готовить для вас налоговую декларацию, вам нужно будет объяснить налоговой службе, почему ИИ написал то, что написал.

Фабио Соменци, сам заядлый любитель судоку, отмечает, что эти головоломки задействуют очень человеческий тип мышления. Чтобы заполнить сетку, нужно усвоить и применять набор логических правил. Например, нельзя поставить двойку в пустую клетку, если двойка уже есть в той же строке или столбце.

Большинство современных LLM с таким мышлением справляются плохо, во многом из-за способа их обучения.

Чтобы создать ChatGPT, программисты сначала «скормили» модели практически весь написанный текст в интернете. Отвечая на вопрос, ChatGPT предсказывает наиболее вероятный ответ на основе этих данных — почти как компьютерная версия зубрежки.

По сути, они предсказывают следующее слово, — говорит Мария Пачеко. — Если у вас есть начало предложения, какое слово будет следующим? Они делают это, обращаясь к каждому предложению на английском языке, до которого могут дотянуться.

Пачеко, Соменци и их коллеги участвуют в растущем движении в компьютерных науках, которое стремится объединить эти два типа мышления: память языковой модели и способность человеческого мозга к логике. Это направление известно как «нейросимвольный» ИИ.

Для начала исследователи создали судоку разной сложности на сетке шесть на шесть (упрощенный вариант привычных девяти на девять). Затем они дали головоломки нескольким ИИ-моделям, включая превью-версию модели o1 от OpenAI — в 2023 году она была передовой в своем классе.

Модель o1 оказалась впереди всех, правильно решив около 65% головоломок. Потом команда попросила ИИ-платформы объяснить, как они пришли к ответам. Вот тогда и началось самое интересное.

Иногда объяснения ИИ просто выдумывали факты, — говорит соавтор исследования Ашутoш Триведи, доцент компьютерных наук. — Могло быть сказано: «Здесь не может быть двойки, потому что в этой строке уже есть двойка», хотя на самом деле ее там не было.

В показательном примере исследователи обсуждали с одной из моделей решение судоку, и она вдруг, по неизвестной причине, выдала прогноз погоды.

В тот момент ИИ просто сошел с ума и полностью запутался, — вспоминает Соменци.

Исследователи надеются создать свою собственную ИИ-систему, которая сможет и решать сложные головоломки, и объяснять свои действия.

Они уже начали с другого типа паззла — хитори, который, как и судоку, использует сетку с цифрами.

Говорят о возникающих способностях ИИ, когда они в итоге могут решать то, чего от них не ожидаешь, — заключает Пачеко. — В то же время неудивительно, что они все еще плохо справляются со многими задачами.

Реальная польза этого исследования выходит далеко за рамки игровых головоломок. Оно служит важным полигоном для стресс-теста «черного ящика» современных ИИ. Понимая, где и почему модель дает сбой в логически строгой, но ограниченной среде вроде судоку, исследователи могут:

• Выявлять фундаментальные слабости в архитектуре LLM, связанные с причинно-следственными связями и дедуктивным мышлением.
• Разрабатывать методы, которые заставят ИИ не просто угадывать ответ, а выстраивать цепочку рассуждений. Это критически важно для таких областей, как медицинская диагностика (где нужно объяснить, почему поставлен тот или иной диагноз), проверка программного кода или юридический анализ.
• Создавать более «прозрачные» и проверяемые системы, особенно в сферах с высокой ответственностью, где слепое доверие к результату ИИ недопустимо. Исследование четко показывает: способность дать правильный ответ и способность аргументированно его обосновать — это пока разные вещи для большинства ИИ.

Основное ограничение исследования — это искусственность и узость выбранной тестовой среды. Судоку, особенно на сетке 6x6, представляет собой замкнутую логическую систему с жестко заданными правилами. Реальные проблемы, для решения которых хотят применять ИИ (анализ рыночных рисков, интерпретация законов, научное открытие), — размыты, неструктурированы и часто не имеют единственного верного ответа.

Блестящие результаты в судоку не гарантируют, что модель научилась понимать логику в целом; она могла просто научиться эффективно имитировать шаблоны решения конкретного типа головоломок на основе своих тренировочных данных. Таким образом, методология исследования, будучи элегантной, может не полностью отражать сложность переноса логических навыков в реальный мир.

Ранее ученые повысили точность больших языковых моделей (LLM) на 30%.