етевые коммутаторы NVIDIA Quantum InfiniBand 400 и 800 Гбит/с
Коммутаторы NVIDIA Quantum InfiniBand — это сетевая основа для GPU-кластеров, суперкомпьютеров и «фабрик ИИ», где сотни и тысячи узлов должны работать как единый вычислитель. Семейство включает Quantum-X800 с пропускной способностью 800 Гбит/с, Quantum-2 на 400 Гбит/с и сопутствующие устройства: шлюз Skyway и системы MetroX-3 XC. Для университетов, НИИ и компаний с обучением нейросетей такая сеть определяет, сколько времени GPU простаивают в ожидании данных.
Quantum-X800 даёт 800 Гбит/с для новых ИИ-кластеров
Quantum-X800 — поколение XDR для крупных ИИ-развёртываний с низкой задержкой, адаптивной маршрутизацией и управлением перегрузками. Версия Quantum-X Photonics использует совмещённую оптику (CPO): оптические модули встроены рядом с чипом коммутатора, поэтому путь сигнала короче, а энергии уходит меньше.
Модель Q3200 — двухъюнитовый коммутатор с воздушным охлаждением, который связывает XDR 800 Гбит/с с NDR 400 Гбит/с. Он выручает, когда кластер растёт поэтапно и старое оборудование жалко выбрасывать.
Сетевые вычисления SHARP разгружают GPU при обучении моделей
Технология SHARP переносит операции редукции, например AllReduce, с серверов на сами коммутаторы. По данным NVIDIA, SHARP v4 даёт до 9 раз более высокую производительность, а для библиотеки NCCL — до 2,5 раза. Приложения на NCCL, OpenMPI и UCX используют её практически без переписывания кода.
Аналогия простая: вместо того чтобы каждый курьер возил посылки на центральный склад и обратно, часть сортировки идёт прямо по дороге. GPU меньше ждут и больше считают.
Масштаб свыше 10 000 узлов и самовосстановление сети
В двухуровневой топологии fat tree фабрика поддерживает более 10 000 узлов. Самовосстанавливающаяся сеть, по заявлению NVIDIA, обеспечивает в 1000 раз более высокую устойчивость: при отказе линка трафик быстро перестраивается, и длительное обучение не обрывается.
Управление берёт на себя ОС NVOS, а мониторинг и диагностику фабрики — платформа UFM. Для MPI-нагрузок есть пакет HPC-X.
Сценарии: университетский HPC-центр и корпоративный ИИ-кластер
Университетская лаборатория запускает моделирование молекулярной динамики или климата. Ей хватит Quantum-2 на 400 Гбит/с: он остаётся сильным и более экономичным вариантом для кластеров на базе Hopper.
Компания, которая собирает кластер под обучение больших моделей на Blackwell, смотрит на Quantum-X800. Если хранилище работает на Ethernet, подключить его позволит Skyway: шлюз на 1,6 Тбит/с с восемью портами на 100 или 200 Гбит/с с каждой стороны. А MetroX-3 XC продлевает InfiniBand до 40 км между дата-центрами с шифрованием.
Ограничения: InfiniBand требует отдельной сети и компетенций
InfiniBand — это самостоятельная фабрика со своим управлением, а не обычная Ethernet-сеть. Нужны совместимые адаптеры, например ConnectX, кабели и оптика, а ещё специалисты, знакомые с UFM и топологиями вроде fat tree и Dragonfly+. Для небольшой серверной на несколько машин такое решение избыточно: хватит Ethernet. Точную модель, число портов и охлаждение лучше подбирать по даташиту и калькулятору конфигурации кластера от NVIDIA.
Ключевые характеристики поколений NVIDIA Quantum
Quantum-2 (NDR 400 Гбит/с) и новейшая Quantum-X800 (XDR 800 Гбит/с).
| Характеристика | NVIDIA Quantum-2 (серия QM9700) | NVIDIA Quantum-X800 (серия Q3400) |
|---|---|---|
| Макс. скорость на порт | 400 Гбит/с (NDR) | 800 Гбит/с (XDR) |
| Общая емкость матрицы | 51,2 Тбит/с | 115,2 Тбит/с |
| Конфигурация портов | 64 порта NDR (OSFP) или 128 портов 200G (через splitter-кабели) | 144 порта XDR (через 72 двухпортовых слота OSFP) |
| Внутрисетевые вычисления | Технология NVIDIA SHARP v3 (поддержка вычислений MPI, FP32, FP16) | Технология NVIDIA SHARP v4 (добавлена аппаратная интеграция ИИ-форматов FP8, движков ReduceScatter и ScatterGather) |
| Эффективность ИИ | Базовое аппаратное ускорение коллективных операций коллективного обучения | В 9 раз более высокая производительность внутрисетевых вычислений по сравнению с Quantum-2 |
| Форм-фактор корпуса | 1U стандартная стойка | 4U (для моделей Q3400) / 2U (для моделей Q3200) |
| Тип охлаждения | Воздушное или жидкостное (в зависимости от модификации) | Воздушное или гибридное жидкостное для высокой плотности инфраструктур |
| Алгоритмы маршрутизации | Адаптивная маршрутизация (Adaptive Routing), контроль перегрузок на базе аппаратной телеметрии | Улучшенный сквозной контроль заторов (Telemetry Congestion Control) и алгоритмы динамического самовосстановления сети |
| Программное управление | NVIDIA UFM (Unified Fabric Manager) Cyber-AI / Enterprise | NVIDIA UFM новейших версий с поддержкой глубокой предиктивной аналитики телеметрии 800G фабрик |
| Архитектура графического процессора | NVIDIA SHARP v4 |
| Пропускная способность памяти | 800 Гбит/с (XDR) на порт |
Сейчас в продаже три основных поколения. Quantum (HDR) даёт 200 Гбит/с на порт, например QM8700. Quantum-2 (NDR) даёт 400 Гбит/с на порт. Quantum-X800 (XDR) даёт 800 Гбит/с на порт, его модели — Q3200, Q3400 и другие. NVIDIA рекомендует Quantum-X800 для новых крупных ИИ-развёртываний. Quantum-2 остаётся разумным выбором для кластеров среднего размера, где важен бюджет и уже есть карты ConnectX-7. Поколение коммутатора нужно выбирать вместе с сетевыми картами и кабелями.
У Quantum-X800 Q3400-RA и Q3401-RD 4U по 144 порта 800 Гбит/с на 72 клетках OSFP, суммарно 115,2 Тбит/с. У Q3200-RA 2U по 72 порта (2×36) и 57,6 Тбит/с. Такая плотность портов позволяет построить двухуровневую топологию fat-tree примерно на 10 368 сетевых адаптеров. У Quantum-2 NDR конфигурация другая: 64 порта по 400 Гбит/с.
SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) выполняет операции агрегации, например AllReduce, прямо в коммутаторе. Данные не гоняются между всеми узлами, поэтому снижаются трафик и нагрузка на GPU и CPU. В Quantum-X800 используется SHARP v4. Выигрыш заметнее всего на больших кластерах и при больших коллективных операциях. Для небольшого кластера в несколько узлов эффект будет скромнее.
InfiniBand — эталонная сеть для выделенных кластеров обучения. Она изначально работает без потерь (credit-based flow control), поддерживает адаптивную маршрутизацию, управление перегрузками и SHARP. Spectrum-X Ethernet на базе RoCE по независимым оценкам отстаёт от IB примерно на 5–10%, зато проще встраивается в Ethernet-инфраструктуру. Он удобнее для инференса и мультиарендных сред. Если нужна максимальная производительность обучения и у вас нет требований к единому Ethernet-стеку, обычно берут InfiniBand. Если сеть должна жить внутри существующей Ethernet-эксплуатации, берут Spectrum-X.
Для NDR и XDR применяются порты OSFP (у некоторых моделей — MPO). В зависимости от расстояния выбирают DAC (медь, короткие линки в стойке), AOC или оптические трансиверы. Для 800 Гбит/с в кабельной линейке NVIDIA есть LinkX. Кабель должен соответствовать скорости и поколению порта: например, HDR-кабель в NDR-порту не даст нужной скорости. Сторонние кабели часто работают, но гарантия и поддержка надёжнее с LinkX. Для проверки линков есть UFM Cable Validation Tool.
Обратная совместимость есть, но она частичная. Например, QM8700 поддерживает режимы от SDR до HDR, а по спецификациям на форуме NVIDIA заявлена и работа в NDR. Однако линк работает на скорости, которую поддерживают оба конца, и нужны подходящие кабели и разъёмы. Карты ConnectX-8 умеют работать и в InfiniBand (800/400/200 Гбит/с), и в Ethernet (400/200/100 Гбит/с). Перед закупкой сверьте матрицу совместимости прошивок и кабелей.
Неуправляемые модели не имеют встроенного Subnet Manager, и его нужно запускать на отдельном сервере или на управляемом коммутаторе. Управляемые модели имеют встроенный Subnet Manager и подходят для небольших фабрик. Для крупных фабрик NVIDIA предлагает платформу UFM. Она даёт мониторинг, телеметрию, управление маршрутизацией и диагностику. Для фабрики из нескольких сотен узлов лучше сразу закладывать UFM и выделенные серверы управления. Точный состав функций зависит от конкретной модели и лицензии.
Остались вопросы?
Наши специалисты с радостью вам ответят и помогут в выборе подходящих для вас решений, продуктов и оборудования
-236x170.jpg)
-236x170.png)
