Сетевой адаптер NVIDIA ConnectX Ethernet 10/25/100/400 Гбит/с

Да, ConnectX-7 поддерживает RDMA (InfiniBand и RoCE), GPUDirect RDMA и GPUDirect Storage. Также доступны аппаратные ускорения: ASAP2, TLS, IPsec и MACsec. Это снижает нагрузку на CPU и задержки при обмене между GPU разных узлов. ConnectX — это сетевой адаптер (NIC/SmartNIC), а не DPU. Если нужен собственный Arm-процессор для изоляции инфраструктуры, смотрят в сторону BlueField-3. Для RoCE в Ethernet-сети обычно требуется настройка коммутатора (PFC/ECN). Для небольших ИИ-серверов без кластера 400G такая карта часто избыточна.

Поддерживаются драйверы NVIDIA MLNX_OFED/DOCA-OFED для Linux, а также драйверы для Windows и VMware ESXi. Версии зависят от модели и поколения. Новые карты, такие как ConnectX-7, требуют свежих драйверов и актуальной прошивки, особенно для PCIe Gen5 и режима NDR. Старые поколения (ConnectX-3/4) постепенно переводятся в статус устаревших, и в новых релизах драйверов их поддержка ограничена. Перед покупкой проверьте матрицу поддержки вашей ОС и версии ядра. Прошивку обновляют утилитами NVIDIA (MFT, mlxfwmanager).

Карты ConnectX рассчитаны и проверены для серверов дата-центров с достаточным питанием слота и воздушным потоком, как указано в руководстве NVIDIA. Высокоскоростные модели заметно греются и без обдува в закрытом корпусе могут уходить в троттлинг. В обычный ПК карту физически установить можно, если есть нужный слот PCIe. Но без продува, поддержки BIOS и драйверов стабильность не гарантируется. Для 200/400G ориентируйтесь на серверное шасси с направленным потоком воздуха. Требования по мощности и воздуху для вашей модели смотрите в таблице спецификаций.

Обычно карта продаётся без кабелей и модулей. Тип разъёма зависит от модели: OSFP у части ConnectX-7 с 400G, QSFP112, QSFP56, SFP28/SFP56 у других. У ConnectX-7 OSFP используется исполнение с Riding Heatsink (RHS), поэтому модуль и кабель должны подходить под этот тип клетки. Для коротких линий применяют DAC, для расстояний побольше — AOC или оптику с трансиверами. Для InfiniBand NDR и 400GbE нужны соответствующие кабели 400G. Совместимость стоит проверять по списку NVIDIA или у поставщика. Заказывайте кабель и коммутатор вместе с картой, иначе это частая причина простоя.

Многие модели ConnectX-6/7 относятся к VPI: они поддерживают оба протокола, и режим порта переключается через утилиты NVIDIA (mlxconfig). Не все артикулы это умеют. Есть модели только InfiniBand и только Ethernet, а у некоторых режим по умолчанию отличается от нужного. Например, ConnectX-7 по умолчанию стартует на NDR 400Gb/s InfiniBand. Всегда сверяйте конкретный part number (OPN, например MCX75310AAS-NEAT) в документации и уточняйте режим у поставщика. Внутри одной сети режимы должны совпадать с коммутатором.

Для ConnectX-7 на 400G нужен слот PCIe x16. Карта совместима с Gen4 и Gen5, но полные 400 Гбит/с достижимы только на Gen5 x16. В слоте Gen4 x16 шина ограничивает скорость примерно до 256 Гбит/с по пропускной способности, поэтому вариант 400G там раскрыться не сможет. ConnectX-6 Dx рассчитан на PCIe 4.0 x16 и работает в слотах 3.0 с потерей скорости. Перед покупкой проверьте, сколько линий PCIe реально разведено на слот в вашей материнской плате или сервере. Также проверьте форм-фактор: бывают низкопрофильные карты HHHL/FHHL и OCP 3.0, а также Socket Direct для двухсокетных систем.

ConnectX-6 Dx работает до 100–200 Гбит/с и использует PCIe 4.0. ConnectX-7 поддерживает до 400 Гбит/с (InfiniBand NDR или 400GbE) и PCIe Gen5. ConnectX-8 относится к классу SuperNIC. Он даёт до 800 Гбит/с и использует PCIe Gen6, поэтому ориентирован на платформы класса Blackwell. Для GPU-кластеров с H100/H200 обычно берут ConnectX-7, по одной карте на GPU. Для небольших ИИ-серверов, систем хранения и общего трафика хватает ConnectX-6 Dx или ConnectX-5/4 Lx (10/25/50/100GbE). Выбирайте скорость по пропускной способности GPU и коммутатора. Карта быстрее порта коммутатора не даст выигрыша.