Модуль ускорения ИИ Qualcomm Cloud AI100 Ultra 128 ГБ

Модуль ускорения ИИ Qualcomm Cloud AI100 Ultra — это PCIe-карта для инференса: она запускает уже обученные нейросети, включая большие языковые модели, компьютерное зрение и обработку текста. Подходит вузам, образовательным центрам и интеграторам, которые строят локальный ИИ-сервер, а не арендуют облако. По данным Qualcomm, карта рассчитана на 150 Вт, несёт 128 ГБ памяти и 64 ИИ-ядра, а значит, тяжёлые модели помещаются в одну карту.

128 ГБ памяти позволяют держать большую модель на одной карте

Объём памяти на карте решает, какую языковую модель удастся запустить без дробления на несколько устройств. У Cloud AI 100 Ultra по данным Qualcomm 128 ГБ памяти LPDDR4x с ECC и 576 МБ встроенной SRAM.

Память с ECC исправляет одиночные сбои, поэтому сервер стабильнее работает круглосуточно. Qualcomm заявляет, что на одной карте можно развернуть модели порядка 100 млрд параметров, на двух картах — порядка 175 млрд. Для сравнения: потребительская видеокарта обычно упирается в память раньше, чем в вычисления.

Пиковая производительность до 870 TOPS при 150 Вт

Карта выдаёт до 870 TOPS в INT8 и до 288 TFLOPS в FP16 при заявленном TDP 150 Вт. Это уровень обычного серверного питания: специальная система охлаждения и отдельная подстанция не нужны, хватит корректно подобранного сервера.

Цифры пиковые, реальная скорость зависит от модели, квантизации и оптимизации. Формат INT8 экономит память и ускоряет расчёты ценой небольшой потери точности, а FP16 сохраняет больше точности.

Сценарии применения в образовании и интеграции

Карта подходит под два типичных проекта: локальный ИИ-ассистент для университета и аналитика видео или голоса в интерактивных классах.

• Университет или школьная сеть разворачивает собственный чат-бот на открытой модели вроде LLaMA. Данные учащихся остаются внутри периметра и не уходят во внешнее облако.
• Интегратор VR/AR/MR-решений обрабатывает на сервере распознавание речи, перевод и компьютерное зрение для иммерсивных классов. Шлемы остаются лёгкими, а вычисления идут на карте.
• Исследовательская лаборатория проверяет гипотезы на моделях разного размера. Несколько пользователей могут работать с картой одновременно.

Программный стек: Cloud AI SDK и форм-фактор PCIe

Карту подключают к хосту через PCIe Gen4 по 16 линиям, а модели адаптируют с помощью Qualcomm Cloud AI SDK. Он оптимизирует обученные модели под ускоритель и работает на хостах x86-64 и ARM64.

Размер платы — 111,2 × 237,9 мм (формат FH3/4L). Перед покупкой проверьте, что в корпусе сервера есть слот нужной длины и линии PCIe. Пропускная способность памяти — 548 ГБ/с. Для генерации текста этот показатель важен не меньше, чем TOPS.

Ограничения: это инференс, а не обучение

Карта создана для запуска готовых моделей, а не для обучения с нуля. Экосистема у неё уже, чем у NVIDIA CUDA: часть моделей придётся компилировать и настраивать через SDK, а готовых примеров меньше.

Планируйте время на портирование и проверьте поддержку нужной модели до закупки. Зато для постоянной нагрузки по инференсу карта выигрывает энергоэффективностью: 150 Вт против заметно более прожорливых серверных GPU.

На что смотреть при выборе

• Размер модели и объём памяти: хватит ли 128 ГБ с запасом под контекст.
• Совместимость сервера: слот PCIe Gen4 x16, питание и охлаждение.
• Поддержка нужной архитектуры модели в SDK.
• Число карт: для больших моделей их можно масштабировать в одном сервере.