In Breve
- Cosa è Jalapeño di OpenAI?
- Jalapeño è un chip progettato per migliorare le prestazioni nell'inferenza AI.
- Quali sono i vantaggi di Jalapeño?
- Offre un numero maggiore di token per utente e una maggiore throughput per kilowatt.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione significativa nel 2027.
Durante la conferenza Hot Chips, OpenAI ha presentato Jalapeño, un chip innovativo progettato per ottimizzare le prestazioni nell’inferenza AI. I risultati preliminari dei benchmark effettuati su InferenceX di Semianalysis rivelano che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.
OpenAI ha sviluppato Jalapeño in collaborazione con Broadcom, integrando i propri modelli nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, in grado di coordinare chip, memoria e modelli in modo più efficiente. L’architettura del chip è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che tipicamente costituiscono colli di bottiglia durante l’inferenza. Come evidenziato nel comunicato aziendale, “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione.”
In particolare, lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, può essere allocato e mantenuto localmente. Questo approccio consente al sistema di attivare la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza, migliorando così l’efficienza complessiva.
Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati ottenuti: “In sintesi, i risultati mostrano un avanzamento molto significativo rispetto allo stato dell’arte. Jalapeño può gestire più lavoro AI per unità di potenza, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, pur mantenendo una bassa latenza.”
OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa programmata per il 2027. Questa innovazione potrebbe segnare un importante passo avanti nel campo dell’intelligenza artificiale, offrendo soluzioni più rapide ed efficienti per le esigenze di elaborazione dei dati.
