Модуль ускорения ИИ Hailo-8

Модуль выпускается в нескольких вариантах: M.2 2280 с ключом B+M (с отламываемыми секциями), M.2 с ключом M и M.2 2230 с ключом A+E. Выбирайте вариант по слоту на вашей плате. Слот должен поддерживать PCIe, а не только SATA. Часть слотов с A+E занята под Wi‑Fi, и перед покупкой нужно проверить, что слот подходит и по размеру, и по линиям PCIe. Модуль работает по PCIe Gen3 и может использовать x2 или x4, в зависимости от варианта и платы.

Типичное энергопотребление — около 2,5 Вт, максимум около 5 Вт на поддерживаемых моделях. По данным Hailo, средняя мощность под нагрузкой составляет 3,4–4,7 Вт: 3,6 Вт на ResNet50, 4,7 Вт на YOLOv8m и 3,4 Вт на YOLOv11m. В простое независимые замеры дали 0,5–0,8 Вт. В большинстве случаев достаточно пассивного охлаждения. Термопрокладка обязательна, и в комплект она входит. Радиатор не обязателен, но желателен в закрытых корпусах. При температуре 104 °C и выше включается троттлинг, который снижает частоту. При 120 °C потоки отключаются. Для проверки теплового решения у Hailo есть Integration Tool.

Он рассчитан на компьютерное зрение: детекцию объектов, классификацию, сегментацию, оценку позы, трекинг. По данным Hailo, на пакете 8 YOLOv8m выдаёт около 140 кадров/с, YOLOv11m — около 101 кадра/с, а ResNet50 при пакете 1 — около 1371 кадра/с. Модуль может одновременно обрабатывать несколько потоков и несколько моделей. Точное число камер зависит от разрешения, модели, частоты кадров и от того, насколько загружен хост. Декодирование видео и пред- и постобработка идут на процессоре хоста. Поэтому слабый CPU может стать узким местом, и ориентироваться стоит на тесты с вашей моделью.

Модель нужно экспортировать из PyTorch, ONNX, TensorFlow или TFLite. Затем её нужно скомпилировать и квантовать в INT8 в формат HEF с помощью Hailo Dataflow Compiler. Для квантования нужен небольшой калибровочный набор данных. Dataflow Compiler работает на x86-машине с Linux, а запуск на устройстве идёт через HailoRT. Не все слои и архитектуры поддерживаются, и часть моделей потребует доработки. Например, трансформеры поддерживаются ограниченно. Поэтому до покупки проверьте свою модель в Hailo Model Zoo или в документации по поддерживаемым операторам.

Официальная розница Hailo за рубежом начинается примерно от 200 евро или долларов за M.2-модуль. Предложения на маркетплейсах из-за рубежа обычно идут в диапазоне около 200 долларов, а у российских поставщиков цена чаще указана «по запросу». Перед покупкой уточните: вариант ключа (B+M, M или A+E), что именно в комплекте (модуль, радиатор, термопрокладка, адаптер или HAT), гарантию и совместимость с вашей платой. Также важно, чтобы модуль был оригинальным, а не перепродажей неизвестного происхождения. Для отгрузки в крупные проекты обычно запрашивают коммерческое предложение у интегратора.

По производительности Hailo-8 (26 TOPS) заметно мощнее Coral Edge TPU (около 4 TOPS) при близком энергопотреблении. По сторонним замерам, на YOLOv8n он выдаёт около 208 кадров/с против примерно 54 у Coral. Jetson Orin Nano потребляет около 15 Вт, но это самостоятельный компьютер с GPU и CUDA. Он лучше подходит, если нужны гибкость, обучение на устройстве или нестандартные модели. Hailo-8 — это именно ускоритель инференса, и ему нужен хост (x86 или ARM). Он выигрывает по эффективности и тепловыделению в задачах видеоаналитики. Учтите, что сравнительные тесты в интернете сделаны разными авторами, и цифры нужно проверять на своих задачах.

Hailo-8 поддерживает работу нескольких устройств на одном хосте, и нагрузку можно распределять между ними через HailoRT. Это масштабирует число потоков, но каждому модулю нужны свои линии PCIe, и их придётся брать у хоста. Для работы 24/7 выпускаются промышленные варианты. Рабочий диапазон Hailo-8 — от −40 до 85 °C (в варианте Advantech без троттлинга до 65 °C при обдуве 0,7 м/с). Для непрерывной работы заложите запас по охлаждению и проверьте его с помощью Hailo Integration Tool. Также имеет смысл включить в BIOS энергосбережение ASPM, так как оно снижает потребление в простое.