Google Kubernetes Engine и гиперкомпьютер для искусственного интеллекта скачать в хорошем качестве

Google Kubernetes Engine и гиперкомпьютер для искусственного интеллекта

Ишан Шарма, руководитель группы продуктов в команде Google Kubernetes Engine, представил доклад о GKE и гиперкомпьютере для ИИ, сосредоточившись на передовой инфраструктуре, быстрой обработке данных в мегамасштабе, снижении затрат и задержек, экономичном доступе к графическим и тензорным процессорам, а также ускорении получения результатов. Он подчеркнул, что Google Cloud стремится обеспечить доступность новых ускорителей в GKE с первого дня. Гиперкомпьютер для ИИ, весь стек и эталонная архитектура — это тот же стек, который Google использует внутри компании для Vertex AI. В презентации был представлен Cluster Director для GKE, который позволяет развертывать, масштабировать и управлять оптимизированными для ИИ кластерами GKE, где физически расположенные рядом ускорители функционируют как единое целое, обеспечивая высокую производительность и сверхнизкую задержку. Ключевые преимущества включают в себя работу с плотно расположенными рядом ускорителями, мегамасштабные задачи обучения, планирование с учетом топологии, простоту использования, 360-градусную наблюдаемость и отказоустойчивость. Cluster Director для GKE использует стандартные API Kubernetes и существующую экосистему, что позволяет пользователям управлять этими возможностями. Шарма также продемонстрировал GKE Inference Gateway, который улучшает ответы LLM-инференции, маршрутизируя запросы на основе метрик сервера моделей, таких как KVCache и очередь, уменьшая вариативность и сокращая время задержки до получения первого токена. Кроме того, он продемонстрировал GKE Inference Quickstart, функцию на главной странице GKE в консоли Google Cloud, которая рекомендует оптимизированные конфигурации инфраструктуры для различных моделей, например, модель Nvidia L4 для Gemma 2 2B с оптимизированной инструкцией. Это упрощает развертывание модели и оптимизирует производительность. Доклад представил Ишан Шарма, менеджер по продуктам группы Google Kubernetes Engine, Google Cloud. Запись сделана в прямом эфире в Санта-Кларе, Калифорния, 22 апреля 2025 года.