On-device AI agents hit a hard memory limit. Apple's new architecture routes around it.

Apple brise la barrière de la mémoire vive pour les modèles d'intelligence artificielle sur appareil

Voici les 3 points clés de l'article :

1. Apple présente des modèles d'intelligence artificielle de troisième génération qui permettent de stocker les poids du modèle dans la mémoire NAND flash, plutôt que dans la mémoire vive (DRAM), ce qui permet d'augmenter la taille des modèles d'intelligence artificielle pour les appareils.
2. L'architecture AFM 3 Core Advanced utilise une mécanique de prédiction et de chargement pour sélectionner les experts nécessaires pour un prompt spécifique, ce qui permet de réduire la quantité de données à charger en mémoire vive.
3. Les entreprises ont désormais une option de modèles d'intelligence artificielle de 20 milliards de paramètres pour les appareils, ce qui leur permet de prendre des décisions architecturales pour évaluer les agents d'intelligence artificielle sans avoir à dépendre d'un cloud round-trip.