At Waymo, an AI project isn't ready until its evals are — not when the model performs well

Introduction
Waymo, le pionnier de la conduite autonome d’Alphabet, montre comment une approche d’évaluation continue et rigoureuse peut servir de modèle pour le déploiement sûr et fiable d’IA dans tous les secteurs.

Points clés
- Développement centré sur l’évaluation : Waymo intègre les tests dès les premières phases du projet et les poursuit après le lancement, en combinant simulations, données réelles et métriques liées aux objectifs business, afin de garantir que chaque modèle reste performant face aux évolutions de données et d’usages.
- Tests des cas rares et supervision humaine : L’entreprise expose ses systèmes à des scénarios extrêmes (piétons vulnérables, zones de construction, etc.) via des milliards de miles synthétiques et maintient un contrôle humain strict pour les décisions de mise en production, soulignant que la sécurité ne peut pas être confiée uniquement à l’automatisation.
- Efficacité sans sacrifier la fiabilité : En optimisant la consommation de ressources (extraction de données, entraînement distribué, distillation de modèles) et en privilégiant