Fine-tuning forgets. RAG leaks context. Hypernetworks build the model your agent needs on demand.

Résumé de l'article

L'article discute les défis posés par l'utilisation d'agents AI dans les équipes d'entreprise. Même si les agents peuvent fonctionner bien en démonstration, ils peuvent stagner en production et nécessiter une intervention humaine pour maintenir leur contexte et valider leurs résultats. Le problème sous-jacent est que les modèles AI perdent de leur précision à mesure que leur entrée augmente, ce qui signifie que les agents ne peuvent pas fonctionner de manière autonome à long terme.

Trois approches pour résoudre ce problème

1. Fine-tuning : cette approche consiste à intégrer la connaissance de l'entreprise dans les poids du modèle. Cependant, cela pose des problèmes de perte catastrophique, où l'apprentissage de nouvelles connaissances érode les connaissances précédentes.
2. Entraînement en contexte : cette approche consiste à intégrer la connaissance de l'entreprise dans le prompt de l'agent. Cependant, cela pose des problèmes de dégradation du context