Kotlin Benchmark : JetBrains veut aider à mesurer les agents de codage

Introduction
JetBrains a publié le premier Kotlin Benchmark, un test officiel pour mesurer la performance des agents de codage automatisé sur des tâches réelles en Kotlin.

Points clés
- Le benchmark, basé sur la méthodologie Multi‑SWE‑bench, comporte 105 tâches détaillées (code de départ, correctif humain, tests de régression et description) afin d’évaluer les agents dans des conditions proches du quotidien des développeurs.
- Sur les 19 agents testés, le meilleur résultat est obtenu par Claude Code + Opus 4.7 xhigh, qui résout 90 tâches (85,71 %) en 10 h 37 min ; Junie (Opus 4.7 max) et Codex (GPT 5.5 xhigh) suivent avec 86 tâches résolues (81,90 %) mais Junie consomme près de deux fois moins de tokens que Codex.
- Les résultats constituent la première itération publique ; JetBrains prévoit déjà une deuxième version du benchmark et mettra à jour le classement au fur et à mesure des nouvelles évaluations.