Сетевая платформа NVIDIA Quantum-X800 InfiniBand Platform

Сетевая платформа NVIDIA Quantum-X800 InfiniBand — сквозное решение на 800 Гбит/с для кластеров, где обучают и запускают крупные модели ИИ. Она нужна тем, кто строит GPU-фабрику и не хочет, чтобы сеть тормозила дорогие ускорители. В состав входят коммутатор Quantum-X800, SuperNIC ConnectX-8 и ConnectX-9, а также кабели и трансиверы LinkX. Производитель позиционирует её как платформу для моделей масштаба триллиона параметров.

Что входит в платформу и зачем это нужно

Платформа состоит из трёх слоёв: коммутатор, сетевые карты и кабельная инфраструктура. Все три рассчитаны на совместную работу, поэтому их проще согласовать между собой, чем собирать сеть из разрозненных компонентов.

• Коммутатор Quantum-X800 даёт 144 порта, каждый на 800 Гбит/с, и выделенный порт для менеджера UFM (Unified Fabric Manager).
• ConnectX-8 и ConnectX-9 SuperNIC обеспечивают до 1,6 Тбит/с на один GPU при низкой задержке.
• Кабели и трансиверы LinkX работают с пассивным оптоволокном и линейными активными медными кабелями (LACC). Это даёт гибкость при выборе топологии.

Вычисления в сети снижают время обучения ИИ-моделей

Технология SHARP v4 выполняет часть операций редукции прямо в коммутаторе, поэтому GPU получают готовый результат и не гоняют лишние данные по фабрике. Это похоже на сортировку почты на узловой станции вместо доставки каждого письма к каждому получателю.

Вместе с SHARP работают адаптивная маршрутизация и управление перегрузками на основе телеметрии. Сеть сама обходит «пробки» и держит предсказуемую скорость, когда множество задач идут одновременно. Функции изоляции производительности не дают одной задаче занять всю полосу и замедлить соседей. По данным производителя, платформа даёт вдвое большую пропускную способность, чем предыдущее поколение, а также рост пропускной способности данных и вычислений в сети.

Энергоэффективность и кремниевая фотоника в крупных кластерах

Энергопотребление сети в большом кластере быстро превращается в заметную статью расходов. В платформе есть режим пониженного энергопотребления канала и профилирование мощности. Версии с кремниевой фотоникой (co-packaged optics) сокращают расстояние между оптикой и электроникой, что снижает потребление и задержку.

Для кого и в каких сценариях

Платформа подойдёт трём группам покупателей:

• Университеты и научные центры, которым нужен суперкомпьютер для моделирования и HPC-задач.
• Корпоративные команды, которые строят собственную «фабрику ИИ» для обучения и дообучения больших моделей.
• Системные интеграторы, которые проектируют кластеры под заказ.

Например, образовательный центр разворачивает GPU-кластер для исследований в области генеративного ИИ. Топологию можно спланировать в онлайн-конфигураторе NVIDIA: он рассчитывает двухуровневое дерево fat tree и Dragonfly+. Для университетских лабораторий с VR/AR и симуляциями такая фабрика даёт основу для обработки больших массивов данных.

Ограничения при выборе для небольших проектов

Это решение не подойдёт для малого кластера из нескольких серверов. Платформа окупается там, где много GPU и сеть действительно становится узким местом. Для небольших нагрузок хватит Ethernet или более ранних поколений InfiniBand: они дешевле и проще в обслуживании. Кроме того, InfiniBand требует специалистов, знакомых с UFM и настройкой фабрики, а выбор между оптикой и медью LACC влияет на дальность и стоимость соединений.