Процессоры для ИИ и машинного обучения

CPU и NPU для серверов с ИИ-нагрузкой

Главный критерий выбора процессора для ИИ-сервера — то, какую часть вычислений он берёт на себя, а не число ядер само по себе. В категорию входят только CPU и NPU, поэтому важно понимать, чем они отличаются по роли.

Серверный CPU управляет системой: подготавливает и передаёт данные, обслуживает хранилище и сеть, запускает контейнеры и оркестрацию. Он же справляется с инференсом небольших и квантованных моделей, классического машинного обучения и рекомендательных алгоритмов. NPU — специализированный блок под матричные операции нейросетей. Он выполняет инференс с меньшим энергопотреблением на задачу, но работает только с поддерживаемыми операторами и форматами моделей.

Принято считать, что для ИИ достаточно взять процессор с максимальным числом ядер. Однако на инференсе производительность часто упирается в пропускную способность памяти и число каналов, а не в ядра: часть из них простаивает, ожидая данные. Дополнительно значение имеют аппаратные расширения для матричных вычислений и работы с пониженной точностью. Поэтому выбор определяется профилем модели и объёмом данных, а число ядер оценивают после памяти и набора инструкций.

Типовая ошибка — рассчитывать, что NPU заменит GPU при обучении крупных моделей. NPU рассчитан на инференс и работу в пределах заданного энергобюджета, поэтому подходит для учебных лабораторий, распознавания образов и голосовых сценариев, а не для обучения больших нейросетей.