Стоечный вычислительный комплекс NVIDIA GB200 NVL72 Platform

Стоечный вычислительный комплекс NVIDIA GB200 NVL72 — это целая стойка с жидкостным охлаждением, которая объединяет 36 процессоров Grace и 72 GPU Blackwell в одну систему. Она нужна компаниям, университетам и научным центрам, которые запускают и обучают модели масштаба триллиона параметров на собственной площадке. Все 72 GPU работают в общем домене NVLink и ведут себя как один огромный ускоритель.

Один домен NVLink на 72 GPU: 130 ТБ/с связи

Пятое поколение NVLink связывает все ускорители стойки, и обмен данными между ними не упирается в сеть. По данным NVIDIA, суммарная пропускная способность составляет 130 ТБ/с, а между двумя GPU — 1,8 ТБ/с.

Представьте оркестр, где каждый музыкант слышит всех остальных без задержки. В обычном кластере музыканты сидят в разных залах и передают ноты по почте. Для больших языковых моделей такая разница критична: обмен данными между GPU часто тормозит вычисления сильнее, чем нехватка мощности.

До 30x быстрее инференс LLM по сравнению с H100

NVIDIA заявляет для GB200 NVL72 до 30-кратного ускорения инференса языковых моделей на триллион параметров в реальном времени и до 4-кратного ускорения обучения относительно H100. Для MoE-архитектур заявлен 10-кратный прирост.

За это отвечают вторая версия Transformer Engine с поддержкой FP4 и FP8, а также новые Tensor-ядра. Цифры получены в конкретных условиях теста и являются проекцией, поэтому в своих задачах результат будет другим. Для провайдера ИИ-сервиса вывод простой: больше запросов на то же оборудование и ниже стоимость ответа.

Жидкостное охлаждение даёт 25x производительности при той же мощности

Жидкостное охлаждение повышает плотность вычислений и сокращает занимаемую площадь. NVIDIA сообщает о 25-кратном выигрыше в производительности при той же мощности по сравнению с воздушной инфраструктурой на H100, а также о меньшем расходе воды.

Суперчип GB200 соединяет два GPU Blackwell и процессор Grace через канал NVLink-C2C. Для обработки данных заявлено ускорение запросов к базам в 18 раз относительно CPU.

Сценарии: частный ИИ-контур и университетский центр

Комплекс подходит для двух типичных задач: корпоративного ИИ внутри компании и общего вычислительного ресурса для науки и обучения.

• Банк, промышленная или телеком-компания держит собственные LLM и ассистентов на своей площадке и не отправляет данные в облако.
• Университет или исследовательский центр даёт студентам и учёным доступ к тем же инструментам, которые применяет индустрия. Такой профиль близок задачам Vizzion по оснащению образования ИИ-оборудованием.

Сеть и управление: Quantum-X800, Spectrum-X800, Mission Control

Для масштабирования на сотни и тысячи GPU NVIDIA предлагает Quantum-X800 InfiniBand, Ethernet Spectrum-X800 и DPU BlueField-3. Работой «фабрики ИИ» управляет программная платформа Mission Control: она автоматизирует запуск нагрузок и повышает устойчивость инфраструктуры.

Если нужен следующий шаг по мощности, в линейке есть GB300 NVL72 на GPU Blackwell Ultra. Он ориентирован на рассуждающие модели и масштабирование на этапе инференса.

Ограничение: стойка требует подготовленного ЦОД

Жидкостное охлаждение означает, что обычная серверная комната не подойдёт. Нужны контур жидкостного охлаждения, подходящее электропитание и сетевая обвязка, поэтому проект начинается с обследования площадки.

Для небольших команд и экспериментов такая стойка избыточна: логичнее начать с серверов на базе HGX или с облачных ресурсов. Конфигурацию, сроки поставки и сопровождение стоит уточнять у поставщика до заказа.