Исследователи Apple считают, что MLM больше полагаются на шаблоны, чем на логические рассуждения, пытаясь решить сложные вопросы. Apple researchers find LLMs rely more on pattern-matching than logical reasoning, struggling with complex questions.

Исследователи Apple высказывали обеспокоенность по поводу математических рассуждений крупных языковых моделей (LMM), обнаружив, что их ответы существенно различаются в зависимости от незначительных входных изменений. Apple researchers have raised concerns about the mathematical reasoning abilities of large language models (LLMs), finding that their responses vary significantly based on slight input changes. Это говорит о том, что МЛМ больше полагаются на вероятностное сопоставление моделей, чем на истинную логику. This suggests LLMs rely more on probabilistic pattern-matching than true logical reasoning. Чтобы лучше оценить эти возможности, они ввели ГСМ-символический критерий, который показывает, что МЛМ сталкиваются со сложными вопросами, подчеркивая их ограниченность в надежных рассуждениях. To better assess these capabilities, they introduced the GSM-Symbolic benchmark, revealing that LLMs struggle with complex questions, highlighting their limitations in reliable reasoning.

October 11, 2024

8 Статьи