Модуль ускорения ИИ Qualcomm Dragonfly AI300 с памятью HBC Gen 2

Qualcomm Dragonfly AI300 — это платформа для инференса ИИ уровня стойки, а не карта, которую ставят в обычный ПК или учебный класс. Она рассчитана на дата-центры, где крупные языковые и мультимодальные модели (LLM, LMM) и агентные ИИ-сервисы должны отвечать быстро и без лишних затрат энергии. Это третье поколение линейки Dragonfly после AI200 и AI250. Главная идея — снять с памяти «бутылочное горлышко», которое тормозит генерацию токенов.

Память и энергоэффективность — главный довод в пользу AI300

В AI300 установлена технология Qualcomm High Bandwidth Compute (HBC) второго поколения. Она объединяет вычисления и память рядом друг с другом, поэтому данным не нужно далеко «путешествовать» к процессору.

Это важно, потому что при инференсе именно перемещение данных съедает основную долю энергии. По данным Qualcomm, эффективная пропускная способность памяти на карту у AI300 в 54 раза выше, чем у AI200. Производитель также ожидает в 4–8 раз лучшую производительность на ватт по показателю пропускной способности памяти на карту в сравнении с существующими архитектурами на GPU. Это заявления производителя, а не независимые тесты, и относятся они к ожиданиям.

Масштабирование от стойки до пода с UALink и ESUN

AI300 масштабируется внутри стойки по схеме «каждый с каждым» и затем расширяется до пода — набора стоек с проверенными конфигурациями. Для связи ускорителей внутри стойки используются UALink и ESUN (Ethernet for Scale-Up Networking), а для связи между стойками — медные и оптические каналы.

Такая схема позволяет разделять стадии prefill и decode по разным ресурсам. Это называется дезагрегированным инференсом: одни узлы разбирают запрос, другие генерируют ответ. В составе платформы указан и процессор Qualcomm Dragonfly C1000, который ускоряет сценарии агентного ИИ.

Охлаждение: воздух или прямое жидкостное

Платформа поддерживает воздушное и прямое жидкостное охлаждение (DLC). Воздух проще встроить в существующий ЦОД, жидкость лучше справляется с плотной компоновкой стоек и снижает нагрузку на вентиляцию. Выбор зависит от инженерной инфраструктуры площадки.

Для кого и в каких сценариях

Платформа подойдёт трём группам покупателей:

• облачные и хостинг-провайдеры, которые продают доступ к LLM по API;
• крупные университеты и исследовательские центры с собственным ИИ-кластером;
• корпорации, которые запускают внутренних ИИ-агентов и ассистентов.

Типовой сценарий: университетский вычислительный центр поднимает общую языковую модель для преподавателей и студентов. Запросы идут одновременно, и важны низкая задержка и затраты на электричество в пересчёте на токен. Для образовательных проектов, например VR/AR-классов с ИИ-ассистентом, такой модуль работает как «мотор» на стороне сервера, а в классе стоят лёгкие клиентские устройства.

Ограничение: коммерческие образцы ожидаются только в 2028 году

По данным Qualcomm, коммерческое семплирование AI300 запланировано на 2028 год. Поэтому закупать платформу для проекта на ближайший год не получится. Сейчас её можно рассматривать как ориентир для планирования инфраструктуры или как повод изучить уже вышедшие AI200 и AI250.

Кроме того, это решение уровня стойки с требованиями к питанию, охлаждению и сети. Для небольшой школьной лаборатории оно избыточно: для неё лучше подойдут компактные ИИ-ускорители или облачный доступ к моделям.

Что учесть при выборе ускорителя инференса

Для генерации текста важнее всего ёмкость и пропускная способность памяти, а не только пиковая вычислительная мощность. Смотрите также на энергопотребление на токен, поддержку нужных фреймворков и моделей, а также способ охлаждения. Alternative — ускорители на базе GPU с памятью HBM: у них зрелая программная экосистема, но выше энергозатраты на перемещение данных. AI300 делает ставку на другой подход — ближние к памяти вычисления.