Researchers say they trained a foundation model from scratch for about $1,500

Résumé de l'article :

Introduction : La formation de fond de modèles de langage large (LLM) depuis zéro coûte des millions et nécessite des données à l'échelle d'Internet, ce qui explique pourquoi la plupart des entreprises ne s'y risquent pas. Sapient pense avoir trouvé un chemin plus économique.

3 points clés :

1. HRM-Text : Les chercheurs de Sapient ont développé HRM-Text, un modèle qui remplace les Transformers standards par un modèle récurrent hiérarchique (HRM) très efficace en termes de données. HRM découple la computation en couches stratégiques et d'exécution rapides, ce qui permet de former le modèle à partir de paires d'instructions et de réponses, proche de la réalité des entreprises.
2. Performances compétitives : Le modèle HRM-Text a été formé à partir de 40 milliards de tokens, soit 100 à 900 fois moins que les modèles comparables, et a atteint des performances compétitives avec des modèles plus grands sur des benchmarks cl