When Claude changed, everything changed: Managing AI blast radius in production

Introduction

L'art de l'ingénierie logicielle repose sur la capacité de limiter l'effet d'un changement. Cependant, les systèmes basés sur les modèles de langage (LLM) brisent cette hypothèse en raison de leur nature non déterministe.

3 points clés

1. Le bug dans l'assomption : Le problème n'était pas dans le modèle, mais dans l'assomption que le modèle continuerait à remplir les lacunes de spécification comme il l'avait toujours fait. Les trois mises à jour réussies avaient entraîné une confiance excessive dans ces lacunes.
2. L'architecture evals-first : La discipline qui ferme cette lacune consiste à traiter l'ensemble d'évaluation (pas la prompt) comme la spécification formelle du système. Les évals sont les spécifications elles-mêmes, et tout changement de modèle ou de prompt est valide si et seulement s'il passe les évals.
3. La construction des évals : Les évals sont coûteux à construire et