Процессоры для ИИ и машинного обучения

Сортировать:
Процессор с поддержкой ИИ AMD EPYC 9476F

Артикул: 120-00091

Процессор с поддержкой ИИ AMD EPYC 9476F

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9526

Артикул: 120-00090

Процессор с поддержкой ИИ AMD EPYC 9526

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9536

Артикул: 120-00089

Процессор с поддержкой ИИ AMD EPYC 9536

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9536P

Артикул: 120-00088

Процессор с поддержкой ИИ AMD EPYC 9536P

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9556

Артикул: 120-00079

Процессор с поддержкой ИИ AMD EPYC 9556

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9576F

Артикул: 120-00087

Процессор с поддержкой ИИ AMD EPYC 9576F

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9586F

Артикул: 120-00080

Процессор с поддержкой ИИ AMD EPYC 9586F

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9646

Артикул: 120-00086

Процессор с поддержкой ИИ AMD EPYC 9646

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9646P

Артикул: 120-00085

Процессор с поддержкой ИИ AMD EPYC 9646P

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9656

Артикул: 120-00077

Процессор с поддержкой ИИ AMD EPYC 9656

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9676F

Артикул: 120-00084

Процессор с поддержкой ИИ AMD EPYC 9676F

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9686F

Артикул: 120-00078

Процессор с поддержкой ИИ AMD EPYC 9686F

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9736

Артикул: 120-00083

Процессор с поддержкой ИИ AMD EPYC 9736

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9736P

Артикул: 120-00082

Процессор с поддержкой ИИ AMD EPYC 9736P

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9746

Артикул: 120-00081

Процессор с поддержкой ИИ AMD EPYC 9746

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9756

Артикул: 120-00075

Процессор с поддержкой ИИ AMD EPYC 9756

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9846

Артикул: 120-00074

Процессор с поддержкой ИИ AMD EPYC 9846

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9966

Артикул: 120-00073

Процессор с поддержкой ИИ AMD EPYC 9966

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9996

Артикул: 120-00072

Процессор с поддержкой ИИ AMD EPYC 9996

Предзаказ

Цена по запросу

Процессор с поддержкой ИИ AMD EPYC 9G76

Артикул: 120-00076

Процессор с поддержкой ИИ AMD EPYC 9G76

Предзаказ

Цена по запросу

CPU и NPU для серверов с ИИ-нагрузкой

Главный критерий выбора процессора для ИИ-сервера — то, какую часть вычислений он берёт на себя, а не число ядер само по себе. В категорию входят только CPU и NPU, поэтому важно понимать, чем они отличаются по роли.

Серверный CPU управляет системой: подготавливает и передаёт данные, обслуживает хранилище и сеть, запускает контейнеры и оркестрацию. Он же справляется с инференсом небольших и квантованных моделей, классического машинного обучения и рекомендательных алгоритмов. NPU — специализированный блок под матричные операции нейросетей. Он выполняет инференс с меньшим энергопотреблением на задачу, но работает только с поддерживаемыми операторами и форматами моделей.

Принято считать, что для ИИ достаточно взять процессор с максимальным числом ядер. Однако на инференсе производительность часто упирается в пропускную способность памяти и число каналов, а не в ядра: часть из них простаивает, ожидая данные. Дополнительно значение имеют аппаратные расширения для матричных вычислений и работы с пониженной точностью. Поэтому выбор определяется профилем модели и объёмом данных, а число ядер оценивают после памяти и набора инструкций.

Параметры выбора процессора для ИИ-сервера
  • Число каналов и тип памяти — определяют скорость подачи данных в модель.
  • Число линий PCIe — нужно, если к серверу позже подключат ускорители, сетевые карты и накопители NVMe.
  • Поддержка инструкций для ИИ и работы с пониженной точностью — влияет на скорость инференса без отдельного ускорителя.
  • Совместимость сокета и платформы — процессор должен подходить к материнской плате и системе охлаждения.
  • Тепловыделение — задаёт требования к охлаждению и питанию стойки.
  • Программная поддержка NPU — наличие драйверов и поддержка нужных фреймворков и форматов моделей.

Типовая ошибка — рассчитывать, что NPU заменит GPU при обучении крупных моделей. NPU рассчитан на инференс и работу в пределах заданного энергобюджета, поэтому подходит для учебных лабораторий, распознавания образов и голосовых сценариев, а не для обучения больших нейросетей.

Ответы на вопросы

Серверный CPU подходит для инференса моделей до 13 млрд параметров в INT8, если нагрузка не превышает 10 одновременных запросов, и не подходит для обучения. NPU с HBM-памятью от 64 ГБ берут для обучения и высокой параллельности, а CPU в такой связке готовит данные и батчи.

NPU выбирают вместо CPU, если нужна матричная производительность от 300 TFLOPS в FP16 и память HBM от 64 ГБ на ускоритель. CPU уступает по FLOPS, но даёт до 6 ТБ DDR5 на сокет и запускает код без портирования под фирменный SDK.

Главный параметр CPU для инференса LLM - пропускная способность памяти, а не число ядер. 8 каналов DDR5-4800 дают 307 ГБ/с, 12 каналов DDR5-6400 - 614 ГБ/с. Модель на 70 млрд параметров в INT8 занимает 70 ГБ, поэтому потолок генерации составляет 4,4 и 8,8 токена в секунду.

До 300 000 р. - 8-24 ядра и 8 каналов DDR5, этого хватает для моделей до 7 млрд параметров. От 300 000 до 900 000 р. - 32-64 ядра, 12 каналов памяти, 128 линий PCIe 5.0. Выше 900 000 р. - 96-192 ядра, переплата идёт за плотность ядер, а не за скорость токенов.

Частая ошибка - выбирать CPU по числу ядер вместо числа каналов памяти. Выше 64 ядер скорость генерации токенов почти не растёт: 12 каналов DDR5 дают 614 ГБ/с при 64 и при 192 ядрах. Лишние ядра полезны только при 20 и более параллельных запросах.

Один серверный CPU со 128 линиями PCIe 5.0 подключает 8 NPU по x16 без коммутаторов. Каждый x16 даёт 64 ГБ/с в одну сторону. У двухсокетных платформ EPYC 9005 доступно до 160 линий, но часть уходит на NVMe и сеть, поэтому на практике ставят 4-8 ускорителей.

Intel Xeon с AMX (с 4-го поколения) и AMD EPYC 9004 и 9005 с AVX-512 VNNI и BF16 ускоряют INT8 и BF16 инференс. EPYC 7002 и 7003 не имеют AVX-512, поэтому расчёты идут на AVX2 в 2-4 раза медленнее. Для новой закупки берут платформы с DDR5 и этими наборами инструкций.

Во время посещения сайта вы соглашаетесь с тем, что мы обрабатываем ваши персональные данные с использованием метрических программ и даете согласие на использование файлов «cookie». Подробнее