«Думающие» модели набирают рейтинг от 1% до 1,3%. Ни одна обычная модель не набрала больше 1%. Объявлен приз $700 тысяч для создателей первых пяти моделей, которые приблизятся к выполнению теста.

Фонд Arc Prize Foundation выпустил новый тест для проверки способностей ИИ по сравнению с человеком под названием ARC-AGI-2 и объявил приз $700 тысяч создателям первых пяти моделей, которые получат в этом тесте рейтинг 85% или выше. Информация опубликована на сайте фонда.

В отличие от других тестов, которые проверяют ИИ на специализированные знания или на сверхточность ответов, которые являются невозможными для людей, ARC-AGI-2 использует задания, простые для людей, но сложные для ИИ. В тестах каждое задание решали как минимум два человека за две попытки (или меньше) в контролируемом исследовании с участием четырех сотен людей, поэтому каждая модель ИИ также получила всего две попытки.

Исследователи фонда обнаружили, что системам искусственного интеллекта трудно интерпретировать значение символов, которое выходит за пределы их визуального вида. Системы пытались проверять симметрию, зеркальное отражение, трансформации и даже распознавали соединительные элементы, но не смогли определить значение самих символов. Также ИИ тяжело дается выполнение заданий, которые требуют одновременного применения правил или применения нескольких правил, которые взаимодействуют между собой. Если правила заданий необходимо изменять в зависимости от контекста, современный искусственный интеллект тоже не справится с задачей.

Отметим, что несмотря на то, что два избранных человека в группах тестирования всегда вместе проходили тест полностью, средний результат по одному человеку — 60%.

Напомним, ранее сообщалось, что в Китае заявили о создании первого в мире автономного агента ИИ.

Cloudflare создала ИИ для обмана ботов, которые собирают информацию для ИИ

Новости от Корреспондент.net в Telegram и WhatsApp. Подписывайтесь на наши каналы https://t.me/korrespondentnet и WhatsApp