Embedded AI evaluators won’t be an easy solution, Hugging Face’s policy chief says

Les laboratoires d’IA misent fortement sur le benchmarking de modèles, mais les méthodes d’évaluation restent complexes et en pleine évolution, selon Irene Solaiman de Hugging Face lors d’une table‑ronde TechCrunch.

• Le benchmarking est présenté comme un critère neutre pour comparer les performances, pourtant les protocoles sous‑jacents sont souvent opaques et varient d’un laboratoire à l’autre.
• Les métriques actuelles peinent à capturer la diversité des usages réels (biais, robustesse, efficacité énergétique), ce qui peut conduire à des classements trompeurs.
• Solaiman appelle à une