NVIDIA е в основата на вълната на изкуствения интелект (AI), като повечето големи компании създатели на големи езикови модели използват чипове на тайванския производител в системите си. Най-популярният процесор на NVIDIA е H100, като неговите продажби на практика превърнаха компанията в такава със стойност конкурентна на Alphabet и Amazon.

Сега NVIDIA изглежда дава голяма заявка за разширяване на лидерството си с новите графичен процесор Blackwell B200 и суперчипа GB200. Според NVIDIA B200 предлага до 20 петафлопа FP4 мощ, благодарение на 208 млрд. транзистора. GB200 също така комбинира два от тези графични процесора и централен процесор Grace, предлагащи до 30 пъти по-висока производителност за натоварвания от големи езикови модели при потенциално по-висока енергийна ефективност. По данни на NVIDIA, решението може да намали цената и енергийната консумация с до 35 пъти спрямо H100.

Какво показват данните на хартия? Обучаването на модел с 1.8 трлн. параметъра преди би изисквало 8000 графични процесора Hopper и 15 мегавата енергия. В момента според Главния изпълнителен директор на компанията, 2000 графични процесора Blackwell могат да направят това за 4 мегавата. В бенчмарка GPT-3 със 175 млрд. параметъра GB200 постига седемкратно подобрение спрямо H100, като се постига четирикратно по-висока скорост на обучение.

От споделят, че едно от основните подобрения е под формата на второ поколение енджин „transformer“, който удвоява изчислителната мощ, размер на модела и широчинна лента, използвайки четири бита за всеки неврон, вместо осем. Втора ключова разлика се получава при свързване на голям брой от тези графични процесори. Следващото поколение NVLink позволява свързването на 576 процесора, постигайки 1.8 терабайта в секунда двупосочен пренос на данни. За целта NVIDIA има и нов мрежови чип с 50 млрд. транзистора, както и други елементи, позволяващи до 3.6 терафлопа FP8.

NVIDIA разчита, че компаниите ще закупуват големи количества от новите ѝ графични процесори, комбинирайки ги в големи машини. Такава е GB200 NVL72, която включва 35 централни и 72 графични процесора в устройство предлагащо производителност за AI обучение до 720 петафлопа. В нея има около 3.2 км кабели. Всеки модул от този рак съдържа или два GB200 чипа или два NVLink суича. Общо в един рак може да има 18 броя от първия или девет от втория. Един рак може да поддържа модел с до 27 трлн. параметъра, като за сравнение според слуховете GPT-4 е модел с 1.7 трлн. параметъра.

От NVIDIA споделят, че Amazon, Google, Microsoft и Oracle вече планират въвеждане на NVL72 ракове в облачните си предложения. Разбира се предстои да видим кои ще са клиентите на подобни решения. Иначе е възможно архитектурата Blackwell да е в основата и на бъдещите видеокарти в серия RTX 50.