Frontier models can recover up to 65% of facts they can't directly recall — just by thinking longer
Résumé TechPulse
Introduction : Une nouvelle étude de Google Research et du Technion montre que les grands modèles de langage (LLM) possèdent déjà la plupart des faits, mais peinent souvent à les rappeler lors de la génération.
-
Encodage vs rappel : Les modèles de pointe (GPT‑5, Gemini‑3) encodent 95‑98 % des faits testés, mais 26‑34 % restent inaccessibles sans raisonnement supplémentaire, révélant que l’erreur principale est un défaut de rappel, pas d’absence de connaissance.
-
Profilage factuel : Les chercheurs proposent d’évaluer les LLM au niveau des faits (WikiProfile) en mesurant l’encodage, le rappel direct, le rappel avec « thinking » (Chain‑of‑Thought) et le raisonnement sans encodage, afin d’identifier les profils de connaissance (rappel direct, échec d’encodage, perte de clés, etc.).
-
Implications pour les développeurs : Au lieu de toujours ajouter des bases de récupération (RAG) ou d’agrandir les modèles, il suffit souvent d’appliquer un raisonnement à l’inférence (re‑prompt
Discussion (0)
Vous souhaitez participer ? Connectez-vous pour laisser un commentaire.
Aucun retour réseau pour le moment.