Triton Inference Server. Часть 1. Знакомство скачать в хорошем качестве

Triton Inference Server. Часть 1. Знакомство

Для того, чтобы развернуть нейронные модели нам нужен какой-то инференс сервер. Одним из главных кандидатов является Triton Inference Server от Nvidia. В этом видео мы познакомимся с тем, что это такое и для чего нам может понадобиться. Дальше мы запустим несколько примеров из документации. После чего будем готовы разворачивать свою модель на собственном датасете, что мы и сделаем. Когда сервер будет готов принимать запросы на обработку, то напишем несколько клиентов для того, чтобы общаться с сервером и получать предсказания для модели классификации для датасета Арма. А в конце видео сделаем поддержку батчей и будет продемонстрирован клиент, который раскроет ресурсы видеокарты на полную мощность. Таймкоды: 00:00 | Введение 02:08 | Назначение Triton Inference Server 08:51 | Версии Triton 12:25 | Быстрый запуск сервера и клиента. Демо 23:13 | Разворачиваем модель классификации для датасета Арма. 26:45 | Разбираемся с config.pbtxt 30:19 | Запуск и первые предсказания на датасете Арма 31:56 | Преобразуем логиты в вероятность 33:04 | Клиентские приложения для взаимодействия с triton 39:28 | Добавление поддержки батчей и выжимаем все ресурсы GPU