Conform Playtech.ro: OpenAI anunță un nou cip, Jalapeno, promițând o performanță superioară față de soluțiile Nvidia în sarcini de inferență AI. Rezultatele preliminare, prezentate la conferința Hot Chips, indică avantaje semnificative în ceea ce privește latența și eficiența energetică.
Jalapeno vs. Nvidia: Primele comparații
Testele au vizat modele AI precum GPT-OSS 120B, DeepSeek R1 670B și Kimi K2.5 de la Moonshot AI, acesta din urmă având aproximativ un trilion de parametri. Potrivit OpenAI, Jalapeno se distinge prin reducerea latenței end-to-end, oferind între 1,7 și 3,6 ori mai puține întârzieri comparativ cu sistemele Nvidia GB200 și GB300.
În anumite scenarii analizate, avantajul performanței raportate la consumul de energie este și mai impresionant. OpenAI susține că Jalapeno a atins un spor de 8,6 până la 104,3 ori, în comparație cu cele mai rapide setări anterioare ale cipului GB300 pentru generarea de tokeni. Această analiză se bazează pe consumul nominal al acceleratoarelor, Jalapeno consumând în teste cel mult 550 W. O evaluare a consumului total de sistem plasează Jalapeno la aproximativ 1,18 kW per accelerator, față de 2,55 kW pentru GB300.
Limitări ale comparației și focus pe inferență
Este important de menționat că Nvidia Vera Rubin, noua platformă pe care OpenAI intenționează să o utilizeze, nu a fost inclusă în aceste teste comparative. OpenAI a semnat un acord cu Nvidia pentru implementarea unor sisteme cu o capacitate totală de 10 GW, urmând să fie operaționale începând cu a doua jumătate a anului 2026.
De asemenea, cipul Jalapeno este proiectat exclusiv pentru sarcini de inferență, adică pentru rularea modelelor AI deja antrenate și generarea de răspunsuri. Antrenarea modelelor AI rămâne un domeniu unde acceleratoarele Nvidia continuă să dețină un rol dominant. O altă diferență notabilă este modul de utilizare: comparațiile principale au pus Jalapeno în fața configurațiilor GB200 și GB300, utilizând predicția unui singur token. În centrele de date, Nvidia este frecvent utilizată cu tehnici de multi-token prediction, care pot influența rezultatele privind eficiența.
Primele rezultate ale testelor efectuate pe modele precum GPT-OSS 120B, DeepSeek R1 670B și Kimi K2.5, o arhitectură cu un trilion de parametri, sugerează că Jalapeno poate atinge între 1,7 și 3,6 ori mai puțină latență end-to-end față de sistemele Nvidia GB200 și GB300. OpenAI a prezentat aceste date la conferința Hot Chips, subliniind avantajul companiei în scenarii care necesită o latență redusă.nnPerformanța raportată la consumul de energie este un alt punct forte invocat de OpenAI. Compania susține că, în anumite condiții de operare, Jalapeno a depășit cu până la 104,3 ori acceleratoarele Nvidia GB300, în special în ceea ce privește generarea de tokeni. Totuși, o analiză bazată pe consumul total al sistemului, nu doar al acceleratorului, arată o diferență mai mică, cu Jalapeno consumând 1,18 kW per accelerator, în timp ce GB300 ajunge la 2,55 kW. Această discordanță provine din faptul că OpenAI a raportat rezultatele folosind consumul nominal al acceleratorului, în timp ce Jalapeno a atins un vârf de aproximativ 550 W în timpul testelor.nnUn aspect crucial al comparației este excluderea din testare a noii platforme Nvidia Vera Rubin. OpenAI intenționează să utilizeze această nouă soluție Nvidia într-un acord ce vizează implementarea unor sisteme cu o capacitate totală de 10 GW, programată să intre în funcțiune în a doua jumătate a anului 2026. De asemenea, accentul pus pe inferență pentru Jalapeno delimitează sfera sa de aplicabilitate, lăsând antrenarea modelelor AI în continuare sub dominația acceleratoarelor Nvidia. Metodologia de testare, care a favorizat predicția unui singur token, versus tehnicile de multi-token prediction utilizate frecvent în centrele de date, ar putea, de asemenea, să modifice percepția asupra eficienței.
Sursa: Playtech.ro
