Процессоры для ИИ и машинного обучения

Сортировать:
Модуль ускорения ИИ Ascend Atlas 150

Артикул: 120-00050

Модуль ускорения ИИ Ascend Atlas 150

Предзаказ

Цена по запросу

Модуль ускорения ИИ Ascend Atlas 200I A2

Артикул: 120-00071

Модуль ускорения ИИ Ascend Atlas 200I A2

Предзаказ

Цена по запросу

Модуль ускорения ИИ Ascend Atlas 300I A2

Артикул: 120-00051

Модуль ускорения ИИ Ascend Atlas 300I A2

Предзаказ

Цена по запросу

Модуль ускорения ИИ Ascend Atlas 300I Duo

Артикул: 120-00067

Модуль ускорения ИИ Ascend Atlas 300I Duo

Предзаказ

Цена по запросу

Модуль ускорения ИИ Ascend Atlas 300I Pro

Артикул: 120-00070

Модуль ускорения ИИ Ascend Atlas 300I Pro

Предзаказ

Цена по запросу

Модуль ускорения ИИ Ascend Atlas 300V

Артикул: 120-00068

Модуль ускорения ИИ Ascend Atlas 300V

Предзаказ

Цена по запросу

Модуль ускорения ИИ Ascend Atlas 300V Pro

Артикул: 120-00069

Модуль ускорения ИИ Ascend Atlas 300V Pro

Предзаказ

Цена по запросу

Модуль ускорения ИИ Huawei Ascend 950DT

Артикул: 120-00038

Модуль ускорения ИИ Huawei Ascend 950DT

Предзаказ

Цена по запросу

Модуль ускорения ИИ Huawei Ascend 950PR

Артикул: 120-00037

Модуль ускорения ИИ Huawei Ascend 950PR

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9016

Артикул: 120-00102

Процессор с поддержкой ИИ AMD EPYC 9016

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9116

Артикул: 120-00101

Процессор с поддержкой ИИ AMD EPYC 9116

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9176F

Артикул: 120-00100

Процессор с поддержкой ИИ AMD EPYC 9176F

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9256

Артикул: 120-00099

Процессор с поддержкой ИИ AMD EPYC 9256

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9276F

Артикул: 120-00098

Процессор с поддержкой ИИ AMD EPYC 9276F

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9336

Артикул: 120-00097

Процессор с поддержкой ИИ AMD EPYC 9336

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9356

Артикул: 120-00096

Процессор с поддержкой ИИ AMD EPYC 9356

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9356P

Артикул: 120-00095

Процессор с поддержкой ИИ AMD EPYC 9356P

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9376F

Артикул: 120-00094

Процессор с поддержкой ИИ AMD EPYC 9376F

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9456

Артикул: 120-00093

Процессор с поддержкой ИИ AMD EPYC 9456

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9456P

Артикул: 120-00092

Процессор с поддержкой ИИ AMD EPYC 9456P

Предзаказ

Цена по запросу

CPU и NPU для серверов с ИИ-нагрузкой

Главный критерий выбора процессора для ИИ-сервера — то, какую часть вычислений он берёт на себя, а не число ядер само по себе. В категорию входят только CPU и NPU, поэтому важно понимать, чем они отличаются по роли.

Серверный CPU управляет системой: подготавливает и передаёт данные, обслуживает хранилище и сеть, запускает контейнеры и оркестрацию. Он же справляется с инференсом небольших и квантованных моделей, классического машинного обучения и рекомендательных алгоритмов. NPU — специализированный блок под матричные операции нейросетей. Он выполняет инференс с меньшим энергопотреблением на задачу, но работает только с поддерживаемыми операторами и форматами моделей.

Принято считать, что для ИИ достаточно взять процессор с максимальным числом ядер. Однако на инференсе производительность часто упирается в пропускную способность памяти и число каналов, а не в ядра: часть из них простаивает, ожидая данные. Дополнительно значение имеют аппаратные расширения для матричных вычислений и работы с пониженной точностью. Поэтому выбор определяется профилем модели и объёмом данных, а число ядер оценивают после памяти и набора инструкций.

Параметры выбора процессора для ИИ-сервера
  • Число каналов и тип памяти — определяют скорость подачи данных в модель.
  • Число линий PCIe — нужно, если к серверу позже подключат ускорители, сетевые карты и накопители NVMe.
  • Поддержка инструкций для ИИ и работы с пониженной точностью — влияет на скорость инференса без отдельного ускорителя.
  • Совместимость сокета и платформы — процессор должен подходить к материнской плате и системе охлаждения.
  • Тепловыделение — задаёт требования к охлаждению и питанию стойки.
  • Программная поддержка NPU — наличие драйверов и поддержка нужных фреймворков и форматов моделей.

Типовая ошибка — рассчитывать, что NPU заменит GPU при обучении крупных моделей. NPU рассчитан на инференс и работу в пределах заданного энергобюджета, поэтому подходит для учебных лабораторий, распознавания образов и голосовых сценариев, а не для обучения больших нейросетей.

Ответы на вопросы

Серверный CPU подходит для инференса моделей до 13 млрд параметров в INT8, если нагрузка не превышает 10 одновременных запросов, и не подходит для обучения. NPU с HBM-памятью от 64 ГБ берут для обучения и высокой параллельности, а CPU в такой связке готовит данные и батчи.

NPU выбирают вместо CPU, если нужна матричная производительность от 300 TFLOPS в FP16 и память HBM от 64 ГБ на ускоритель. CPU уступает по FLOPS, но даёт до 6 ТБ DDR5 на сокет и запускает код без портирования под фирменный SDK.

Главный параметр CPU для инференса LLM - пропускная способность памяти, а не число ядер. 8 каналов DDR5-4800 дают 307 ГБ/с, 12 каналов DDR5-6400 - 614 ГБ/с. Модель на 70 млрд параметров в INT8 занимает 70 ГБ, поэтому потолок генерации составляет 4,4 и 8,8 токена в секунду.

До 300 000 р. - 8-24 ядра и 8 каналов DDR5, этого хватает для моделей до 7 млрд параметров. От 300 000 до 900 000 р. - 32-64 ядра, 12 каналов памяти, 128 линий PCIe 5.0. Выше 900 000 р. - 96-192 ядра, переплата идёт за плотность ядер, а не за скорость токенов.

Частая ошибка - выбирать CPU по числу ядер вместо числа каналов памяти. Выше 64 ядер скорость генерации токенов почти не растёт: 12 каналов DDR5 дают 614 ГБ/с при 64 и при 192 ядрах. Лишние ядра полезны только при 20 и более параллельных запросах.

Один серверный CPU со 128 линиями PCIe 5.0 подключает 8 NPU по x16 без коммутаторов. Каждый x16 даёт 64 ГБ/с в одну сторону. У двухсокетных платформ EPYC 9005 доступно до 160 линий, но часть уходит на NVMe и сеть, поэтому на практике ставят 4-8 ускорителей.

Intel Xeon с AMX (с 4-го поколения) и AMD EPYC 9004 и 9005 с AVX-512 VNNI и BF16 ускоряют INT8 и BF16 инференс. EPYC 7002 и 7003 не имеют AVX-512, поэтому расчёты идут на AVX2 в 2-4 раза медленнее. Для новой закупки берут платформы с DDR5 и этими наборами инструкций.

Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием метрических программ и даете согласие на использование файлов «cookie». Подробнее