Cutting RAG inference costs 6x starts with deciding what never reaches the LLM

Introduction
Dans les environnements réglementés, les systèmes de classification basés sur la génération augmentée par récupération (RAG) doivent privilégier la traçabilité, le coût maîtrisé et la cohérence plutôt que de confier chaque décision à un LLM.

Points clés
- Architecture en cascade : un premier niveau déterministe (règles et correspondances exactes) résout la majorité des cas, suivi d’un module de récupération ciblée, puis d’un appel LLM limité aux seules ambiguïtés restantes, réduisant ainsi les coûts d’inférence de 5 à 6 fois.
- Prompt asymétrique : le LLM doit être incité à escalader les incertitudes et à fournir un score de confiance, afin de différencier les erreurs critiques (faux‑négatifs) des faux‑positifs et de garantir une prise de décision alignée sur le risque réel.
- Évaluation adaptée : mesurer séparément la qualité de la récupération et la précision finale, sur‑échantillonner les cas qui atteignent le stade LLM et intégrer les retours humains dans le corpus de récupération pour améliorer continuellement le système.