Модуль ускорения ИИ Ascend Atlas 300I A2
Модуль ускорения ИИ Ascend Atlas 300I A2 — это серверная инференс-карта формата PCIe для запуска уже обученных моделей: больших языковых, распознавания речи и текста, поиска и модерации контента. Он рассчитан на интеграторов ИИ-инфраструктуры, вузовские лаборатории и команды, которые держат модели на своих серверах. Карта построена на процессоре Ascend 910 и выпускается в версиях с 32 и 64 ГБ памяти HBM. Охлаждение пассивное, поэтому воздух обеспечивает корпус сервера.
Производительность 560 TOPS INT8 для квантованных моделей
По данным Huawei, карта выдаёт 560 TOPS в INT8, 280 TFLOPS в FP16 и 75 TFLOPS в FP32. Чем компактнее формат чисел, тем больше операций карта делает за такт. Поэтому квантованные модели в INT8 она тянет заметно быстрее, чем те же модели в FP16. Это пиковые теоретические значения, а реальная скорость зависит от модели и программного стека.
Память HBM 32 или 64 ГБ с ECC для LLM
Версия на 32 ГБ даёт пропускную способность 800 ГБ/с, версия на 64 ГБ — 1600 ГБ/с, и в обеих есть защита ECC. При инференсе больших языковых моделей память нужна не меньше, чем вычислители: в ней лежат веса и кэш контекста. Высокая пропускная способность быстрее подаёт данные вычислительным блокам. ECC ловит тихие сбои, из-за которых сервис при долгой работе начинает выдавать странные ответы.
Внутри есть и свой процессор: 8 ядер на 2,0 ГГц. Он берёт на себя часть подготовки данных, так что основной CPU сервера разгружается. Плюс аппаратное декодирование видео до 1080p с эквивалентом 480 кадров/с и JPEG-декодирование, поэтому карта подходит и для видеоаналитики.
Сценарии: локальный чат-бот и видеоаналитика
Первый сценарий — локальный сервис на базе LLM для университета или компании. Модель отвечает на вопросы по внутренним документам (RAG), а данные не покидают периметр организации. Второй — OCR, распознавание речи, поиск по изображениям и модерация контента, где важны пропускная способность и энергоэффективность. Для учебных классов по ИИ такая карта даёт студентам настоящий инференс-контур вместо облачного демо.
Ограничения при переходе с экосистемы CUDA
Карта работает не с CUDA, а со стеком Huawei: набором CANN, фреймворком MindSpore и адаптером для PyTorch. Код под NVIDIA придётся адаптировать, а часть оптимизаций появляется с задержкой. Перед покупкой сверьте нужную модель со списком поддерживаемых. Карта только для инференса: обучение моделей она не предназначена выполнять. Физика тоже важна: двухслотовая полноразмерная карта потребляет до 350 Вт и охлаждается потоком воздуха сервера, так что нужны подходящее шасси и запас по блоку питания. Рабочая температура окружающей среды — от 5 до 45 °C.
Версия интерфейса PCIe в источниках различается: в фирменном буклете указан PCIe 5.0, в техническом описании — PCIe 4.0. Уточните это в спецификации вашей поставки.
Основные параметры карты по данным Huawei
Значения ниже взяты из официального буклета Huawei; у конкретного поставщика версия памяти может отличаться.
| Форм-фактор | Двухслотовая полноразмерная карта PCIe |
|---|---|
| Вычислительная мощность | 560 TOPS INT8, 280 TFLOPS FP16, 75 TFLOPS FP32 |
| Память | 32 ГБ HBM, 800 ГБ/с, или 64 ГБ HBM, 1600 ГБ/с, с ECC |
| Процессор карты | 8 ядер, 2,0 ГГц |
| Декодирование | Видео 1080p, 480 кадров/с (эквивалент); JPEG 1080p, 12288 кадров/с (эквивалент) |
| Кодирование JPEG | 1080p, 1024 кадра/с (эквивалент) |
| Максимальная мощность | 350 Вт |
| Охлаждение | Пассивное воздушное |
| Рабочая температура | 5–45 °C |
| Размеры (Д × Ш × В) | 266,7 × 39,04 × 111,15 мм |
| Интерфейсы | PCIe 5.0 |
| Форм-фактор | Двухслотовая полноразмерная карта PCIe |
| Системная память |
32 ГБ HBM 64 ГБ HBM |
| Производительность | 560 TOPS INT8, 280 TFLOPS FP16 |
| Рабочая температура | от 5℃ до 45 ℃ |
| Модель | Ascend Atlas 300I A2 |
| Габаритные размеры (В*Ш*Г) | 266.7 × 39.04 х 111.15 мм |
| Питание | 350 Вт |
Да, это одна из главных задач карты. По данным Huawei, она рассчитана на генерацию контента, интеллектуальные вопросы и ответы, клиентские сервисы, рекомендации, модерацию и NLP-поиск. Объём памяти HBM составляет 32 ГБ (800 ГБ/с) или 64 ГБ (1,6 ТБ/с). Для моделей на 7–14 млрд параметров этого обычно хватает. Для более крупных моделей нужно несколько карт и распределённый запуск. Карта предназначена только для инференса, обучение на ней не поддерживается. Не путайте её с Atlas 300I (Ascend 310) и 300I Pro (310P): это другие, более старые поколения.
Вычислительная мощность у обеих версий одинаковая: 560 TOPS INT8, 280 TFLOPS FP16 и 75 TFLOPS FP32. Различаются объём и пропускная способность памяти. У версии на 32 ГБ HBM пропускная способность 800 ГБ/с, у версии на 64 ГБ — 1,6 ТБ/с. Для LLM пропускная способность памяти напрямую влияет на скорость генерации токенов. Версия на 64 ГБ позволяет держать модель крупнее или длиннее контекст, но стоит дороже. Для небольших моделей и видеоанализа обычно достаточно 32 ГБ. Версию нужно указывать при заказе: у карт разные идентификаторы устройства (Device ID у них одинаковый, а Subsystem Device ID отличается).
Карта двухслотовая, полной высоты и длины (FHFL). Размеры около 266,7 × 39 × 111 мм. Интерфейс PCIe 5.0 x16. Максимальная потребляемая мощность — до 350 Вт. Охлаждение пассивное, то есть воздух должен продувать корпус сервера. Рабочая температура составляет 5–45 °C. Перед покупкой проверьте, что в сервере есть свободный слот x16, подходящий по длине, достаточный запас по питанию и направленный воздушный поток. В обычный настольный ПК без продува карту ставить не стоит.
Да, но не напрямую, как NVIDIA. CUDA не поддерживается, нужен стек Huawei CANN. Для LLM есть плагин vllm-ascend, у которого в документации заявлена поддержка серии Atlas A2. Для PyTorch используется адаптер torch_npu. Для моделей компьютерного зрения применяются ONNX и инструменты конвертации в формат OM. Версии драйвера, CANN и фреймворка должны совпадать, поэтому на первичную настройку обычно закладывают время. Список моделей, которые поддерживаются, проверяйте заранее в репозитории проекта.
Нет. Карта предназначена только для инференса. Производитель в руководстве пользователя прямо указывает, что обучающие задачи не поддерживаются. Для обучения и полноценного дообучения у Huawei есть отдельная линейка Atlas A2/A3 на процессорах Ascend 910. Если вам нужно только запускать готовые модели, 300I A2 подходит. Если нужно обучать, лучше сразу рассматривать другое оборудование.
Да. В карте есть аппаратный видеодекодер. Он обеспечивает декодирование видео до 480 кадров/с при разрешении 1080p, то есть примерно 16 потоков 1080p по 30 кадров/с. Для JPEG заявлено 12288 кадров/с на декодирование и 1024 кадра/с на кодирование. Ограничения по разрешению: от 32×32 до 16384×16384 для декодирования и до 8192×8192 для кодирования. Реальное число камер зависит от модели, частоты кадров и пред- и постобработки. Для точной оценки проведите тест на своей модели.
Карта ориентирована на серверы Huawei и на совместимые серверы с архитектурами ARM (Kunpeng) и x86. Для этого есть проверка совместимости Huawei Computing Product Compatibility Checker. Сначала проверьте в ней свою модель сервера и ОС, поддерживаемые версии драйвера и CANN. Чаще всего используются openEuler, Ubuntu и Kylin. Для Windows поддержка, как правило, не заявлена. Если вы покупаете карту отдельно, уточните у поставщика, подтверждена ли совместимость именно с вашим сервером, и условия гарантии.
Остались вопросы?
Наши специалисты с радостью вам ответят и помогут в выборе подходящих для вас решений, продуктов и оборудования
-236x170.jpg)
-236x170.png)
