Модуль ускорения ИИ Hailo-8 Century

Карта поставляется через дистрибьюторов (например, Mouser продаёт стартовые наборы Century) и под заказ у интеграторов. Цена зависит от версии, то есть от числа чипов: на момент анонса карта с 52 TOPS стоила от 249 долларов, а версии с большей производительностью дороже. Перед заказом уточните у поставщика конфигурацию (число чипов Hailo-8), комплектность (кронштейн, радиатор, документация), сроки поставки и гарантию. Для проекта с серверными платформами лучше сразу согласовать совместимость с конкретным сервером.

208 TOPS — это пиковое теоретическое значение для суммы всех чипов в INT8. В реальных задачах результат зависит от модели, размера пакета, разрешения, качества пред- и постобработки на CPU и пропускной способности PCIe. Пользователи на форумах не раз сообщали, что не получают FPS из таблиц Model Zoo. Часто узким местом становится процессор хоста, декодирование видео или недостаточное число линий PCIe. Для оценки лучше протестировать вашу модель на одной плате или запросить тестовый стенд. Заявленные производителем цифры, например около 500 FPS/Вт на ResNet-50, получены в оптимальных условиях.

Используется набор Hailo: HailoRT для запуска, Dataflow Compiler для компиляции и квантования моделей, Model Zoo с готовыми примерами. Исходные модели можно брать из TensorFlow, TensorFlow Lite, Keras, PyTorch (через ONNX) и ONNX. Модель нужно скомпилировать в формат HEF и квантовать до INT8. Поддерживаются не все слои и архитектуры, поэтому нестандартные сети могут потребовать доработки. Перед покупкой стоит проверить нужную модель на совместимость. На форумах пользователи сообщают о проблемах с драйвером PCIe после обновления ядра Linux, поэтому версии ядра, драйвера и HailoRT лучше фиксировать.

Нет, это не основное назначение. Hailo-8 — ускоритель для компьютерного зрения: детекции, классификации, сегментации, трекинга и оценки позы. Вся память у него встроена в кристалл, без внешней DRAM. Это хорошо для задержек и стоимости, но не подходит для больших языковых моделей. Производитель упоминает поддержку трансформеров для зрения, например ViT, CLIP и SAM. Для локальных LLM лучше рассматривать Hailo-10H или другие ускорители.

По данным производителя и дистрибьюторов, карты рассчитаны на платформы со слотом PCIe x8 или x16. В x4 и тем более в x1 нужно проверять совместимость заранее. Даже если карта физически встанет, пропускной способности может не хватить для всех чипов, и производительность упадёт. Перед покупкой проверьте не только форму слота, но и фактическое число линий PCIe, которое отдаёт материнская плата. На потребительских платах нижние x16-слоты часто работают как x4 или x1.

Один чип Hailo-8 потребляет в среднем около 2,5 Вт, и это позволяет использовать его в безвентиляторных системах. У Century таких чипов несколько, поэтому общее потребление и тепловыделение выше. Реальная цифра зависит от нагрузки: на крупных моделях и многопоточной работе пиковое потребление превышает типовое. Точные значения смотрите в даташите конкретной версии карты. Нужно обеспечить обдув корпуса, особенно в плотных серверных и промышленных шасси. Отдельно проверьте, нужно ли карте дополнительное питание.

Century — это PCIe-карта с несколькими процессорами Hailo-8 на одной плате. Совокупная производительность достигает 208 TOPS, то есть в несколько раз выше, чем у одного M.2-модуля на 26 TOPS. Карта предназначена для платформ с большим числом видеопотоков и одновременной работой нескольких моделей. Для 1–4 камер или для Raspberry Pi это избыточно, и лучше взять M.2-модуль. Преимущество карты в том, что она занимает один слот и упрощает масштабирование. Учтите, что мощность не суммируется автоматически: нагрузку нужно распределять между чипами на уровне приложения.