Процессоры для ИИ и машинного обучения
CPU и NPU для серверов с ИИ-нагрузкой
Главный критерий выбора процессора для ИИ-сервера — то, какую часть вычислений он берёт на себя, а не число ядер само по себе. В категорию входят только CPU и NPU, поэтому важно понимать, чем они отличаются по роли.
Серверный CPU управляет системой: подготавливает и передаёт данные, обслуживает хранилище и сеть, запускает контейнеры и оркестрацию. Он же справляется с инференсом небольших и квантованных моделей, классического машинного обучения и рекомендательных алгоритмов. NPU — специализированный блок под матричные операции нейросетей. Он выполняет инференс с меньшим энергопотреблением на задачу, но работает только с поддерживаемыми операторами и форматами моделей.
Принято считать, что для ИИ достаточно взять процессор с максимальным числом ядер. Однако на инференсе производительность часто упирается в пропускную способность памяти и число каналов, а не в ядра: часть из них простаивает, ожидая данные. Дополнительно значение имеют аппаратные расширения для матричных вычислений и работы с пониженной точностью. Поэтому выбор определяется профилем модели и объёмом данных, а число ядер оценивают после памяти и набора инструкций.
Параметры выбора процессора для ИИ-сервера
- Число каналов и тип памяти — определяют скорость подачи данных в модель.
- Число линий PCIe — нужно, если к серверу позже подключат ускорители, сетевые карты и накопители NVMe.
- Поддержка инструкций для ИИ и работы с пониженной точностью — влияет на скорость инференса без отдельного ускорителя.
- Совместимость сокета и платформы — процессор должен подходить к материнской плате и системе охлаждения.
- Тепловыделение — задаёт требования к охлаждению и питанию стойки.
- Программная поддержка NPU — наличие драйверов и поддержка нужных фреймворков и форматов моделей.
Типовая ошибка — рассчитывать, что NPU заменит GPU при обучении крупных моделей. NPU рассчитан на инференс и работу в пределах заданного энергобюджета, поэтому подходит для учебных лабораторий, распознавания образов и голосовых сценариев, а не для обучения больших нейросетей.
Серверный CPU подходит для инференса моделей до 13 млрд параметров в INT8, если нагрузка не превышает 10 одновременных запросов, и не подходит для обучения. NPU с HBM-памятью от 64 ГБ берут для обучения и высокой параллельности, а CPU в такой связке готовит данные и батчи.
NPU выбирают вместо CPU, если нужна матричная производительность от 300 TFLOPS в FP16 и память HBM от 64 ГБ на ускоритель. CPU уступает по FLOPS, но даёт до 6 ТБ DDR5 на сокет и запускает код без портирования под фирменный SDK.
Главный параметр CPU для инференса LLM - пропускная способность памяти, а не число ядер. 8 каналов DDR5-4800 дают 307 ГБ/с, 12 каналов DDR5-6400 - 614 ГБ/с. Модель на 70 млрд параметров в INT8 занимает 70 ГБ, поэтому потолок генерации составляет 4,4 и 8,8 токена в секунду.
До 300 000 р. - 8-24 ядра и 8 каналов DDR5, этого хватает для моделей до 7 млрд параметров. От 300 000 до 900 000 р. - 32-64 ядра, 12 каналов памяти, 128 линий PCIe 5.0. Выше 900 000 р. - 96-192 ядра, переплата идёт за плотность ядер, а не за скорость токенов.
Частая ошибка - выбирать CPU по числу ядер вместо числа каналов памяти. Выше 64 ядер скорость генерации токенов почти не растёт: 12 каналов DDR5 дают 614 ГБ/с при 64 и при 192 ядрах. Лишние ядра полезны только при 20 и более параллельных запросах.
Один серверный CPU со 128 линиями PCIe 5.0 подключает 8 NPU по x16 без коммутаторов. Каждый x16 даёт 64 ГБ/с в одну сторону. У двухсокетных платформ EPYC 9005 доступно до 160 линий, но часть уходит на NVMe и сеть, поэтому на практике ставят 4-8 ускорителей.
Intel Xeon с AMX (с 4-го поколения) и AMD EPYC 9004 и 9005 с AVX-512 VNNI и BF16 ускоряют INT8 и BF16 инференс. EPYC 7002 и 7003 не имеют AVX-512, поэтому расчёты идут на AVX2 в 2-4 раза медленнее. Для новой закупки берут платформы с DDR5 и этими наборами инструкций.