Модуль ускорения ИИ Ascend Atlas 300I Duo

Это двухчиповая карта для инференса, не для обучения. На ней две NPU Ascend 310P: по 16 ядер Da Vinci, 280 TOPS INT8 и 140 TFLOPS FP16 суммарно. Память 48 или 96 ГБ LPDDR4X. Типичные задачи: запуск квантованных LLM, модели компьютерного зрения и видеоаналитика. Аппаратный кодек, по данным продавцов, держит до 256 HD-потоков. Обучать большие модели на ней не стоит: стек для этого незрелый, а пропускной способности памяти мало.

Не полностью. 96 ГБ состоят из двух банков по 48 ГБ, по одному на каждый чип Ascend 310P. Система видит карту как два отдельных NPU. Модель, которая не помещается в 48 ГБ, нужно делить между чипами через тензорный параллелизм (TP=2) в vLLM-Ascend или MindIE. Поэтому часть памяти уходит на накладные расходы и обмен между чипами, а полноценной единой памяти, как у одной GPU на 96 ГБ, нет.

Скорость ограничена памятью. Общая пропускная способность 408 ГБ/с, то есть около 204 ГБ/с на чип, а эти показатели не суммируются для одной задачи. Для сравнения, у RTX 3090 около 936–980 ГБ/с. Ранние обзоры сообщают примерно о 15 токенах в секунду на Qwen3 32B. Квантованную модель 70B на карту можно поместить, но скорость будет скромной. Независимых бенчмарков пока мало, поэтому свою модель лучше проверить на тесте.

Это главная проблема. CUDA не поддерживается, используется стек Huawei CANN. Рабочие пути: PyTorch через torch-npu, vLLM-Ascend, MindIE и бэкенд CANN в llama.cpp. Пользователи на форумах жалуются на нестабильность GGUF на CANN, которая зависит от метода квантования, и на слабую совместимость с Ollama и LM Studio. В документации vLLM-Ascend для 300I Duo указаны ограничения. bfloat16 не поддерживается, нужен FP16. Triton недоступен. Параметр max-model-len нужно задавать явно, иначе возможна ошибка нехватки памяти. Граф-режим ограничен.

Карта работает в слоте PCIe 4.0 x16, однослотовая, полной высоты и длины. TDP 150 Вт, по оценкам пользователей реальное потребление ближе к 150–175 Вт. Охлаждение пассивное, поэтому нужен серверный корпус с мощным продувом. В обычный настольный ПК её ставить не рекомендуется из-за нагрева и шума. Также проверьте поддержку в списке совместимости Huawei (Computing Product Compatibility Checker), а в Kunpeng-серверах Huawei поддержка отработана лучше всего. Не все материнские платы x86 корректно определяют карту, поэтому уточните это у поставщика заранее.

Да, есть виртуализация. Каждый процессор серии 310 можно разделить максимум на 7 виртуальных NPU. Виртуальный NPU получает 1, 2 или 4 ядра AI Core, а память и кодеки делятся пропорционально. Это удобно для видеоаналитики и небольших моделей: например, в учебном классе или лаборатории несколько студентов могут работать на отдельных частях карты. Для крупных LLM, которым нужна вся память, такое разделение не подходит. Схему разбиения проверьте по документации вашей версии драйвера.

Официальной розницы в России нет, карты поставляются под заказ. По обзорам и объявлениям, цены на версию 96 ГБ составляют от 1000 долларов на eBay до 1500–1800 долларов на Alibaba и AliExpress. Следует учитывать риски: подержанные или переупакованные карты, отсутствие гарантии и сервиса, а также то, что Huawei находится под санкциями США. Перед покупкой нужно уточнить, какая версия (48 или 96 ГБ), новая ли карта, какая гарантия и какие документы на ввоз, и запросить тестовый запуск вашей модели.