Nvidia има намерение да направи AI на DeepSeek 30 пъти по-бърз

Новият софтуер Dynamo разпределя резултатите от изкуствения интелект между 1000 графични процесора, за да повиши производителността на заявките - това е отговорът на Nvidia на опасенията на инвеститорите, че DeepSeek намалява необходимата обработка и и използва по-малко и по-слаби графични ускорители, както и по-малко обучение.

През януари появата на програмата за изкуствен интелект R1 на DeepSeek доведе до криза на фондовия пазар. Седем седмици по-късно гигантът в областта на чиповете Nvidia, доминиращата сила в областта на AI обработката, се опитва да се постави в центъра на драматичната икономика на по-евтиния AI, която създаде DeepSeek.

Във вторник в SAP Center в Сан Хосе, Калифорния, съоснователят и главен изпълнителен директор на Nvidia Дженсън Хуанг разказа по какъв начин чиповете Blackwell на компанията могат драстично да ускорят DeepSeek R1.
Nvidia твърди, че нейните GPU чипове могат да работят с 30 пъти по-голяма производителност от тази, която DeepSeek R1 би имал в своя дейта център, измерена чрез броя на токените в секунда, използвайки новия софтуер с отворен код, който носи името Nvidia Dynamo.

"Dynamo може да се възползва от това предимство и да осигури 30 пъти по-висока производителност при същия брой графични процесори в същата архитектура за разсъждаващите модели като DeepSeek", каза Иън Бък, ръководител на отдела за хипермащабни и високопроизводителни изчисления на Nvidia, на брифинг за медиите преди основния доклад на Хуанг по време на конференцията GTC на компанията.

Софтуерът Dynamo, достъпен днес в GitHub, разпределя работата по извеждането на заключенията между до 1000 графични чипа на Nvidia. За една секунда машинно време може да се свърши много повече работа, като тя се разпредели за паралелно изпълнение.

Резултатът: За задача за извеждане на едно заключение, чиято цена е 1 долар на милион токена, за всяка една секунда могат да се използват много повече токени, което увеличава приходите на секунда за услугите, предоставяни от графичните процесори. Бък каза, че след това доставчиците на услуги могат да преценят дали да изпълняват повече клиентски заявки към DeepSeek или да осигурят повече обработка за един потребител и да начислят по-висока такса за тази услуга от "премиум" клас.

Перспективата за използване на повече чипове за увеличаване на производителността (и следователно на бизнеса) за извеждане на заключения с помощта на изкуствен интелект е отговорът на Nvidia на опасенията на инвеститорите, че като цяло ще се използват по-малко компютри, тъй като DeepSeek намалява количеството обработка, необходимо за всяка заявка.

Чрез използването на Dynamo с Blackwell, който е актуалният към днешен ден модел на флагманския графичен процесор за изкуствен интелект на Nvidia, софтуерът Dynamo може да накара подобните дейта центрове за изкуствен интелект да реализират 50 пъти повече приходи, отколкото с по-стария модел Hopper, каза още Бък.

Nvidia представи своя собствена подобрена версия на DeepSeek R1 в HuggingFace. Версията на Nvidia намалява броя на битовете, използвани от R1 за манипулиране на променливите, до така наречените "FP4" или четири бита за работа с плаваща запетая, което е малка част от изчисленията, необходими за стандартната 32-битова плаваща запетая или B-float 16.