Модели все еще далеки от настоящего осмысленияНовое исследование, проведенное международной группой ученых под руководством Университета Ровира и Виргили (URV), показало, что искусственный интеллект (ИИ) уступает человеку в базовых тестах на понимание текста. Несмотря на успехи в сложных задачах, ИИ-модели не могут достигнуть человеческого уровня в простых языковых тестах.
© Ferra.ru
Ученые проверили семь языковых моделей задавая им 40 вопросов с простыми грамматическими конструкциями. Те же вопросы были даны 400 носителям английского языка, после чего сравнили точность ответов.
Средний результат человека составил 89%, в то время как лучший результат среди ИИ — 83% (у ChatGPT-4). Остальные модели показали менее 70% точности. Кроме того, люди давали стабильные ответы в 87% случаев, а у ИИ этот показатель варьировался от 66% до 83%.
По словам ведущего автора исследования Виттории Дентеллы, языковые модели не понимают текст так, как люди. Они анализируют статистические закономерности в данных, а не осмысливают содержание. Это объясняет, почему ИИ иногда даёт несогласованные или ошибочные ответы.
Исследователи предупреждают, что несмотря на грамматическую правильность и правдоподобность текстов ИИ, его нельзя считать достаточно надежным для использования в критически важных сферах, требующих глубокого понимания контекста.
