OpenAI unveils first custom AI inference chip, Jalapeño, with Broadcom — and its development was sped-up with OpenAI's own models

Introduction La société OpenAI et le fabricant de composants électroniques Broadcom ont récemment annoncé la création d'un nouveau processeur d'inference pour les modèles de langage artificielle (LLM), appelé "Jalapeño". Ce processeur est conçu pour améliorer l'efficacité et la fiabilité des tâches d'inference, et pourrait potentiellement révolutionner l'industrie de l'intelligence artificielle.

3 points clés

1. Jalapeño est un processeur d'inference spécialisé : Contrairement aux processeurs graphiques généraux (GPU) proposés par Nvidia ou AMD, Jalapeño est conçu spécifiquement pour les tâches d'inference des LLM, ce qui pourrait le rendre plus efficace et plus rentable.
2. La création de Jalapeño a été accélérée : Les ingénieurs d'OpenAI et de Broadcom ont travaillé en étroite collaboration pour créer le processeur en seulement 9 mois, ce qui est une vitesse record pour l'ind