Новият суперкомпютър Colossus използва 100 000 графични процесора Nvidia Hopper

Новините свързани със суперкомпютрите не са особено чести, но определено си заслужава да споделяме повече детайли свързани с тези мощни конфигурации. Това е така, тъй като те могат да бъдат използвани за множество задачи, които иначе отнемат много време и са невъзможни за традиционните изчислителни единици.

Сега Nvidia разкри как суперкомпютърният клъстер Colossus на xAI може да се справи с впечатляващото си количество от 100 000 графични процесора Hopper. Това е възможно чрез използването на мрежовата платформа Spectrum-X Ethernet. От компанията споделят, че Spectrum-X е проектирана да предоставя огромни възможности за производителност на многофункционални, хипермащабни фабрики за изкуствен интелект, като използва своята мрежа за отдалечен достъп до паметта (RDMA).

Платформата е внедрена в Colossus, най-големия в света суперкомпютър за изкуствен интелект, от самото му създаване. Социалната мрежа X, собственост на Елон Мъск, използва клъстера, за да обучава своята серия от големи езикови модели (LLM) Grok, които захранват чатботовете.

Съоръжението е изградено в сътрудничество с Nvidia за едва 122 дни и в момента xAI е в процес на разширяване, като планира да внедри общо 200 000 графични процесора Nvidia Hopper.

Моделите на изкуствения интелект Grok са изключително големи, като Grok-1 има 314 млрд. параметъра, а Grok-2 превъзхожда моделите Claude 3.5 Sonnet и GPT-4 Turbo по време на пускането им през август. Обучението на тези модели изисква значителна мрежова производителност.

xAI разкри, че е успяла да поддържа 95% пропускателна способност за данни, благодарение на възможностите за контрол на претоварването на Spectrum-X. Компанията добави, че това ниво на производителност не може да бъде постигнато в такъв мащаб чрез стандартен Ethernet. При използването на традиционния Ethernet обикновено се създават хиляди сблъсъци на потоци, като същевременно се осигурява само 60% пропускателна способност на данните, според Nvidia.

Говорител на xAI заяви, че комбинацията от графични процесори Hopper и Spectrum-X е позволила на компанията да разшири границите на обучението на модели на ИИ и да създаде супер ускорена и оптимизирана фабрика за ИИ.

Част от платформата Spectrum-X включва Ethernet комутатора Spectrum SN5600, който според Nvidia поддържа скорости на портовете до 800 Gb/s и е базиран на ASIC комутатора Spectrum-4. xAI избра да комбинира комутатора Spectrum-X SN5600 с NVIDIA BlueField-3 SuperNICs за по-висока производителност.