Вычислительная серверная система NVIDIA DGX GB300 72 GPU

NVIDIA DGX GB300 — стоечная жидкостного охлаждения вычислительная серверная система для компаний, университетов и государственных центров, которые обучают крупные модели и запускают инференс с «рассуждающим» ИИ. Внутри 72 графических процессора Blackwell Ultra и 36 процессоров Grace, объединённых в единый домен. Система рассчитана на установку в стойки MGX и масштабируется до тысяч узлов. Это не сервер «в углу серверной», а фундамент для собственной AI-фабрики.

72 GPU и 36 CPU в одной стойке

Система объединяет 72 GPU Blackwell Ultra и 36 CPU Grace, а это 2 592 ядра Arm Neoverse V2. Для задач, которые не помещаются в один обычный сервер, такая связность важнее простого числа ускорителей.

Объём памяти GPU — 20 ТБ с пропускной способностью до 576 ТБ/с, суммарная быстрая память — 37 ТБ. Проще говоря, крупную модель не приходится «нарезать» на десятки машин и склеивать по медленной сети. Девять коммутаторов NVLink первого уровня связывают ускорители между собой.

Производительность FP4 — 1440 PFLOPS (sparse)

Пиковая производительность FP4 Tensor Core составляет 1440 PFLOPS в режиме sparse и 1080 PFLOPS в dense. FP8/FP6 — 720 PFLOPS без разреженности. Низкая точность FP4 даёт максимум скорости при инференсе, а FP8 пригодится для обучения.

По данным NVIDIA, плотная производительность FP4 выросла в 1,5 раза, а производительность внимания (attention) — в 2 раза по сравнению с DGX GB200. Attention нагружает систему сильнее всего в длинных рассуждающих цепочках, поэтому прирост здесь заметен.

Сеть: 800 Гбит/с на каждый ускоритель

У системы 72 порта ConnectX-8 с InfiniBand 800 Гбит/с и 18 двухпортовых адаптеров BlueField-3 на 200 Гбит/с (InfiniBand и Ethernet). Первые отвечают за обмен между узлами при обучении, вторые — за хранилище, безопасность и изоляцию арендаторов. Для управления есть BMC с портом RJ45. 

Для кого и в каких сценариях

• Университет или исследовательский центр: общий вычислительный ресурс для кафедр, лабораторий и студенческих проектов. NVIDIA сообщает о вводе DGX GB300 в Naval Postgraduate School для образования и исследований.
• Корпоративная команда ИИ: дообучение и запуск собственных больших языковых моделей на своей площадке, без передачи данных в публичное облако.
• Интегратор или оператор ЦОД: размещение у себя, в колокации или у облачных партнёров.

Типовой пример: вуз строит на системе единый кластер для обучения моделей по компьютерному зрению и языку. Эти модели затем питают VR/AR-обучение: интеллектуальных виртуальных ассистентов, генерацию сцен и анализ действий студентов.

ПО и поддержка уже в комплекте

Работой управляют NVIDIA Mission Control (оркестрация, отказоустойчивость, контроль инфраструктуры), NVIDIA AI Enterprise и DGX OS на базе Ubuntu. В комплект входит трёхлетняя стандартная корпоративная поддержка оборудования и ПО. Для масштабирования предусмотрена архитектура DGX SuperPOD, а команды могут пройти обучение в NVIDIA Deep Learning Institute.

Ограничение: нужна подготовленная инфраструктура ЦОД

Жидкостное охлаждение и стоечный формат требуют подготовленной площадки: подвода жидкости, мощного электропитания, места под стойку MGX. Обычное офисное помещение или небольшая серверная не подойдут. Если задач меньше, чем нужно для загрузки такой системы, дешевле взять компактные рабочие станции или арендовать облачные мощности. Требования к площадке стоит уточнить до заказа.