Potemkin Understanding in Large Language Models
📄 Потёмкинское понимание в больших языковых моделях В данной работе вводится понятие «потёмкинского понимания» в больших языковых моделях (БЯМ), когда модели демонстрируют хорошие результаты в тестах без подлинного концептуального понимания. Утверждается, что текущие тесты, разработанные для людей, применимы к БЯМ только в том случае, если их заблуждения отражают человеческие ошибки. В исследовании представлены две процедуры для количественной оценки потёмкинского понимания: одна с использованием пользовательского теста по литературным приёмам, теории игр и психологическим предубеждениям, а другая - общая процедура, дающая нижнюю границу распространённости. Результаты показывают, что потёмкинское понимание широко распространено в моделях, задачах и областях, что указывает на внутреннюю несогласованность, выходящую за рамки простого непонимания. Исследование выявляет несоответствие между тем, как люди и БЯМ понимают концепции. В статье также обсуждается структура для определения концептуального понимания. Результаты показывают, что БЯМ испытывают трудности с применением концепций, несмотря на то, что могут точно их определять. #NLP #LLM #AI #Понимание #Потемкин #Бенчмарки #МашинноеОбучение документ - https://arxiv.org/pdf/2506.21521v1 подписаться - https://t.me/arxivdotorg отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM
📄 Потёмкинское понимание в больших языковых моделях В данной работе вводится понятие «потёмкинского понимания» в больших языковых моделях (БЯМ), когда модели демонстрируют хорошие результаты в тестах без подлинного концептуального понимания. Утверждается, что текущие тесты, разработанные для людей, применимы к БЯМ только в том случае, если их заблуждения отражают человеческие ошибки. В исследовании представлены две процедуры для количественной оценки потёмкинского понимания: одна с использованием пользовательского теста по литературным приёмам, теории игр и психологическим предубеждениям, а другая - общая процедура, дающая нижнюю границу распространённости. Результаты показывают, что потёмкинское понимание широко распространено в моделях, задачах и областях, что указывает на внутреннюю несогласованность, выходящую за рамки простого непонимания. Исследование выявляет несоответствие между тем, как люди и БЯМ понимают концепции. В статье также обсуждается структура для определения концептуального понимания. Результаты показывают, что БЯМ испытывают трудности с применением концепций, несмотря на то, что могут точно их определять. #NLP #LLM #AI #Понимание #Потемкин #Бенчмарки #МашинноеОбучение документ - https://arxiv.org/pdf/2506.21521v1 подписаться - https://t.me/arxivdotorg отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM