Les chercheurs de l'Apple trouvent que les LLM comptent davantage sur l'appariement des motifs que sur le raisonnement logique, en luttant contre des questions complexes. Apple researchers find LLMs rely more on pattern-matching than logical reasoning, struggling with complex questions.

Les chercheurs d'Apple ont soulevé des préoccupations au sujet des capacités de raisonnement mathématique des grands modèles de langage (LLM), en concluant que leurs réponses varient considérablement en fonction de légers changements d'entrée. Apple researchers have raised concerns about the mathematical reasoning abilities of large language models (LLMs), finding that their responses vary significantly based on slight input changes. Cela suggère que les LLM s'appuient davantage sur l'appariement probabiliste des motifs que sur le raisonnement logique vrai. This suggests LLMs rely more on probabilistic pattern-matching than true logical reasoning. Pour mieux évaluer ces capacités, ils ont introduit l'indice de référence GSM-Symbolic, révélant que les LLM sont aux prises avec des questions complexes, soulignant leurs limites dans un raisonnement fiable. To better assess these capabilities, they introduced the GSM-Symbolic benchmark, revealing that LLMs struggle with complex questions, highlighting their limitations in reliable reasoning.

October 11, 2024

8 Articles