Android Bench teste des tâches sur plusieurs jours, la réussite des LLM s'effondre

Android Bench 2.0, le nouveau benchmark de Google pour les grands modèles de langage (LLM), met à l’épreuve leur capacité à mener à bien des tâches à long terme (Long‑Horizon Tasks), parfois sur plusieurs jours.

• Méthodologie renforcée : le benchmark s’appuie sur le framework Harbor et propose des scénarios bien plus complexes que la version 1.0, qui ne testait que des tâches simples de quelques heures.
• Performances en chute : les meilleurs LLM affichent désormais des taux de réussite compris entre 16,7 % et 28 % (GPT‑6 Astra 28 %, Fable 5.1 22 %, Claude Opus 5 16,7 %), contre plus de 80 % dans la version précédente.
• Coût élevé : la résolution de ces tâches longues reste très onéreuse, avec des dépenses allant de 375 $ (GPT‑6 Astra) à 861 $ (Claude Opus 5) pour chaque benchmark.

Ces résultats soulignent les limites actuelles des LLM lorsqu’il s