Модуль ускорения ИИ Qualcomm Dragonfly AI250 768 ГБ LPDDR
Модуль ускорения ИИ Qualcomm Dragonfly AI250 — стоечная платформа для инференса: она запускает уже обученные большие языковые и мультимодальные модели. Продукт рассчитан на дата-центры, университетские вычислительные кластеры и интеграторов, которым нужно размещать крупные модели на собственной площадке. Главная особенность — архитектура Qualcomm High Bandwidth Compute (HBC) первого поколения. Она увеличивает эффективную пропускную способность памяти, а именно память чаще всего тормозит генерацию текста.
Пропускная способность памяти: 133 ТБ/с на карту
По данным Qualcomm, у AI250 эффективная пропускная способность памяти достигает 133 ТБ/с на карту, что в 18 раз больше, чем у AI200. Прирост даёт HBC: вычислительные блоки расположены рядом с памятью, и данные не гоняются через весь чип.
Аналогия простая: вместо того чтобы возить книги из дальнего архива, читальный зал переносят в сам архив. Для пользователя это более быстрый отклик модели и меньшее энергопотребление на каждый сгенерированный токен. Поэтому платформа подходит для чат-ботов, ассистентов и аналитических сервисов с большим числом одновременных запросов.
Масштаб стойки: 56 карт и 43 ТБ памяти
Стойка AI250 содержит 56 карт, 43 ТБ памяти и 7,4 ПБ/с эффективной пропускной способности с HBC. Выполнена она в формате Open Rack v3 (ORv3) с воздушным и прямым жидкостным охлаждением.
Такого объёма достаточно для современных моделей до 10 трлн параметров и контекста до 1 млн токенов. Модель целиком помещается в память, а длинные документы, учебные базы и корпоративные архивы можно обрабатывать без разбиения на куски. Стандарт ORv3 важен для интеграции: он совместим с типовой инфраструктурой современных ЦОД.
Сценарии для образования и корпоративного ИИ
AI250 решает две задачи: внутренний ИИ-сервис для вуза или холдинга и коммерческий инференс для облачного провайдера. Обе строятся на одном принципе: модели работают на своей площадке, под контролем заказчика.
- Образовательный кластер. Университет или сеть школ разворачивает ИИ-тьютора, систему проверки работ и генерацию учебных материалов. Эти сервисы могут питать VR/AR/MR-классы и интерактивные панели, где ответы модели нужны в реальном времени.
- Провайдер ИИ-сервисов. Оператор раздаёт доступ к большим моделям клиентам. Здесь важна стоимость владения и энергопотребление на токен, а не пиковая теория.
Платформа поддерживает дезагрегированный инференс: этап разбора запроса (prefill) и этап генерации ответа (decode) разносятся на разные пулы ресурсов. Так оборудование загружено равномернее. Для связи внутри стойки используется PCIe, а для объединения нескольких стоек — Ethernet.
Ограничения при внедрении в небольшой инфраструктуре
AI250 — это не настольный ускоритель: он требует подготовленного помещения, жидкостного охлаждения и мощного электропитания. Если вам нужно запускать небольшие модели для одного класса или лаборатории, разумнее взять компактный сервер с GPU или периферийное решение.
Есть и второе соображение: AI250 ориентирован на инференс, а не на обучение моделей с нуля. Для дообучения и экспериментов понадобятся другие ресурсы. Перед закупкой стоит сверить сроки поставки, поддержку нужного ПО и совместимость с вашими моделями и фреймворками. Кроме того, поскольку платформа новая, имеет смысл заранее оценить пилотный проект.
Как выбирать платформу для инференса
При выборе смотрят на четыре вещи: ёмкость памяти, пропускную способность, энергоэффективность и стоимость владения. Для больших моделей и длинного контекста именно память определяет скорость, поэтому AI250 с HBC целится в узкое место, а не просто наращивает вычислительную мощность.
Интегратору важно заранее рассчитать нагрузку: число пользователей, размер моделей, требования к задержке. Тогда конфигурацию стойки можно подобрать без переплаты за лишнее.
Qualcomm анонсировала AI250 в октябре 2025 года. Коммерческие образцы ожидаются примерно в середине 2027 года, а AI200 выходит раньше. Сейчас серийных поставок нет, и в рознице нет живых отзывов или вопросов покупателей. Заказ возможен только как предзапрос или проект под поставку. Сроки, цену и условия нужно уточнять у производителя и дистрибьюторов.
AI250 относится к ускорителям инференса, то есть NPU, а не к универсальным CPU. Qualcomm позиционирует его как часть стоечной платформы Dragonfly. В стойке 56 карт в формате Open Rack v3. В анонсе упоминались и PCIe-карты, но подробностей о продаже отдельных карт нет. Для классического сервера на 1–2 ускорителя это, скорее всего, неподходящий вариант.
Только для инференса, то есть для запуска уже обученных моделей: LLM, мультимодальных и других. Платформа не ориентирована на обучение больших моделей. Для обучения нужны другие решения.
Заявлено 768 ГБ памяти на карту. Это LPDDR, а не HBM. Для карты указана эффективная пропускная способность 133 ТБ/с, это в 18 раз больше, чем у AI200. Для стойки Qualcomm приводит около 43 ТБ памяти и 7,4 ПБ/с. Данные получены с помощью архитектуры High Bandwidth Compute: вычислительный блок находится рядом с памятью. Цифры заявлены производителем, и независимых тестов пока нет. «Эффективная» пропускная способность не равна обычной пиковой пропускной способности шины.
Это решение для ЦОД. На стойку заявлено порядка 160 кВт в анонсе и 140 кВт на актуальной странице продукта, то есть данные у Qualcomm расходятся. Мощность одной карты не публиковалась. Основной вариант охлаждения — прямое жидкостное, на странице упоминается и воздушное. Перед покупкой нужно проверить электроснабжение, СЖО и размещение в помещении. В офисе или учебном классе такую стойку установить нельзя.
Внутри стойки масштабирование идёт через PCIe (по данным сторонних источников, PCIe 6.0), между стойками через Ethernet с RoCE. Заявлена поддержка конфиденциальных вычислений. Qualcomm обещает стек для основных ИИ-фреймворков и развёртывания моделей. Полнота поддержки и совместимость с вашими моделями пока не подтверждены на практике, поэтому их нужно проверять на пилоте.
Для школ, вузов и учебных классов он избыточен. Его область применения — крупные ЦОД и инференс LLM для многих пользователей. Преимущества, которые заявляет Qualcomm: большой объём памяти на карту и более низкая стоимость владения по сравнению с GPU на HBM. Но экосистема ПО менее зрелая, чем CUDA, независимых бенчмарков нет, а поставки и поддержка в России неопределённы. Для небольших задач практичнее готовые серверы с GPU или компактные NPU.
Остались вопросы?
Наши специалисты с радостью вам ответят и помогут в выборе подходящих для вас решений, продуктов и оборудования
-236x170.jpg)
-236x170.png)
