Автоматическое масштабирование вашего ИИ-агента под нагрузкой скачать в хорошем качестве

Автоматическое масштабирование вашего ИИ-агента под нагрузкой

В этом видео показано, как эффективно масштабировать ваш ИИ-агент при высокой нагрузке со стороны пользователей. Мы моделируем стресс-тест на децентрализованной архитектуре, объединяя Gemma LLM с поддержкой графического процессора и легковесный агент ADK в Google Cloud Run. Узнайте, как Cloud Run интеллектуально выделяет ресурсы для обработки высокого спроса, обеспечивая плавное масштабирование и экономическую эффективность за счет масштабирования только узкого места. Разделы: 0:00 - Введение: Проблема нагрузки 0:19 - Тестирование нагрузки с помощью Locust 1:31 - Наблюдение за автомасштабированием в Cloud Run 2:02 - Ключевые выводы: Разделение зависимостей и экономическая эффективность 2:31 - Заключение Ресурсы: Codelab → http://goo.gle/475sUpV Репозиторий GitHub → http://goo.gle/3KJVc1Y Google Cloud Run GPU → http://goo.gle/48sn3NV Документация ADK → http://goo.gle/3LauFL8 Подпишитесь на Google Cloud Tech → https://goo.gle/GoogleCloudTech #GoogleCloud #LLM #Gemma #ADK #CloudRun Спикер: Амит Марадж Упомянутые продукты: Cloud Run, Gemma, AI Инфраструктура, облачные графические процессоры