Графический ускоритель NVIDIA L4 24 ГБ GDDR6 PCIe

Графический ускоритель NVIDIA L4 — это универсальный GPU на архитектуре Ada Lovelace для серверов, где одновременно нужны видео, ИИ-инференс и графика. Он рассчитан на интеграторов, школьные и университетские ИТ-отделы и команды, которые строят VR/AR-классы, рендер-фермы и ИИ-сервисы без отдельной силовой инфраструктуры. Карта имеет низкопрофильный однослотовый корпус и потребляет до 72 Вт, поэтому подходит для обычных серверов, а не только для специализированных стоек.

Форм-фактор 1 слот и 72 Вт упрощают установку в сервер

L4 — низкопрофильная карта PCIe Gen4 x16 с максимальным TDP 72 Вт. Такая карта обходится без отдельных мощных блоков питания и громоздкого охлаждения, хотя в ряде серверов дополнительное питание всё же может потребоваться.

Партнёрские и сертифицированные NVIDIA системы допускают от 1 до 8 таких GPU. Для школы или вуза это значит, что можно начать с одной карты и добавлять новые по мере роста числа пользователей. Для сравнения: игровые видеокарты занимают два-три слота и требуют заметно больше питания.

24 ГБ памяти позволяют запускать генеративные модели

Объём памяти 24 ГБ — это запас под нейросети, которые не помещаются в видеокарты поменьше. По данным NVIDIA, на 50% большая ёмкость, чем у предыдущего поколения, позволяет генерировать изображения до 1024x768, а производительность в генеративном ИИ выше до 2,5 раза, чем у T4.

Пропускная способность памяти — 300 ГБ/с. Для инференса и видео это рабочий уровень, но для обучения крупных моделей она будет узким местом.

Видеоускорение: до 1040 потоков AV1 и аппаратные кодеки

В карте два аппаратных кодировщика NVENC, четыре декодера NVDEC и четыре JPEG-декодера. Они берут на себя поток видео, поэтому процессор не перегружается. По данным производителя, сервер с 8 картами L4 обслуживает до 1040 одновременных потоков AV1 в 720p30, а в сквозном ИИ-конвейере с CV-CUDA производительность до 120 раз выше, чем у CPU-решений.

Для образования это трансляции лекций, запись занятий и видеоаналитика. Для VR/AR-классов — потоковая передача картинки на гарнитуры с сервера.

Графика: RT-ядра 3-го поколения и DLSS 3 для виртуальных рабочих станций

Третье поколение RT-ядер и DLSS 3 дают, по данным NVIDIA, более чем 4-кратный прирост в рендеринге в реальном времени и более чем 3-кратный в трассировке лучей. Карта работает с NVIDIA Omniverse, виртуальными рабочими станциями NVIDIA RTX vWS и облачным гейминг-стримингом.

Пример: один сервер с L4 раздаёт 3D-моделирование и CAD-среды студентам на обычные ноутбуки, а тяжёлые вычисления остаются в серверной.

Вычислительная мощность в тензорных ядрах: FP16 до 242 терафлопс

Тензорные ядра 4-го поколения показывают до 242 терафлопс в FP16 и до 485 TOPS в INT8, а FP32 даёт 30,3 терафлопса. Цифры тензорных ядер указаны с разреженностью (sparsity); без неё значения вдвое ниже. Это важная оговорка при сравнении с другими картами.

Ограничения L4: не для обучения больших моделей

L4 — карта для инференса, видео и графики. Для обучения больших нейросетей с нуля лучше взять ускорители с высокоскоростной памятью HBM и межсоединением NVLink. Здесь у карты шина PCIe Gen4 с пропускной способностью 64 ГБ/с, а память скромнее по скорости. Зато экономия на питании и месте в стойке заметна.

Для корпоративных ИИ-задач NVIDIA предлагает пакет NVIDIA AI Enterprise с лицензией, готовыми фреймворками и моделями. Ускоритель работает с более чем 3000 приложений платформы, а также с TensorRT.