Обзор 50 пунктов от Vertex AI для профессиональных инженеров по машинному обучению в Google Cloud скачать в хорошем качестве

Обзор 50 пунктов от Vertex AI для профессиональных инженеров по машинному обучению в Google Cloud

Цель встречи Обзор Vertex AI для экзамена GCP по машинному обучению. Ключевые моменты Единая платформа Два пути обучения Глубокая интеграция с GCP Важные операционные концепции Темы Проблема: Фрагментированные рабочие процессы машинного обучения До появления Vertex AI рабочие процессы машинного обучения в GCP были фрагментированы, требуя отдельных сервисов и API для каждого этапа. Пример: обучение моделей на платформе ИИ, прогнозирование на платформе ИИ для предоставления данных, BigQuery/Cloud Storage для данных и пользовательский код для версионирования и мониторинга. Эта фрагментация приводила к замедлению разработки, сложным операциям и трудностям в управлении. Решение: Vertex AI как единая платформа Vertex AI — это единая платформа, интегрирующая все этапы жизненного цикла машинного обучения с согласованными интерфейсами. Основной рабочий процесс: Подготовка данных: использование наборов данных Vertex AI в качестве единой абстракции над разнородными источниками (BigQuery, Cloud Storage). Обучение моделей: AutoML: Путь без кода для быстрого экспериментирования; Vertex AI берет на себя проектирование признаков, выбор алгоритма и настройку. Пользовательское обучение: Полный контроль для специалистов по обработке данных; используйте собственный код в контейнере Docker с ускорением GPU/TPU. Генерация прогнозов: Онлайн-прогнозирование: Управляемые конечные точки с низкой задержкой и автоматическим масштабированием (REST API). Пакетное прогнозирование: Высокопроизводительная автономная обработка больших наборов данных. Вспомогательные сервисы: Workbench: Среды разработки на основе Jupyter. Feature Store: Централизованное управление признаками. Конвейеры: Оркестрация рабочих процессов для сквозной автоматизации. Эксперименты: Отслеживание и сравнение результатов обучения. Реестр моделей: Централизованное версионирование моделей и метаданных. Мониторинг моделей: Выявление дрейфа (прогнозирование, данные) и асимметрии (обучение-обслуживание). Глубокая интеграция с сервисами GCP BigQuery: основное хранилище данных для машинного обучения. Прямая ссылка на таблицы BigQuery в наборах данных Vertex AI. Экспорт моделей машинного обучения BigQuery в Vertex AI для развертывания. Cloud Storage: объектное хранилище для артефактов машинного обучения (модели, журналы). Vertex AI осуществляет бесперебойное чтение/запись в Cloud Storage. Интеграция с политиками жизненного цикла для экономичного управления артефактами. Cloud IAM: управление доступом на основе ролей (RBAC) для всех ресурсов Vertex AI. Использование выделенных учетных записей служб с минимальными привилегиями для всех рабочих нагрузок. Не удаляйте автоматически созданный агент службы Vertex AI, поскольку он необходим для внутренних операций. Cloud Logging & Monitoring: наблюдаемость для систем машинного обучения. Все операции Vertex AI генерируют журналы в Cloud Logging. Мониторинг системных метрик (задержка, пропускная способность) и пользовательских метрик моделей в Cloud Monitoring. Dataflow и Dataproc: Предварительная обработка больших объемов данных. Конвейеры Vertex AI могут организовывать задачи Dataflow/Dataproc перед обучением. Cloud Build и Artifact Registry: MLOps CI/CD. Автоматизация сборки контейнеров Docker и их отправки в Artifact Registry. Задачи обучения Vertex AI извлекают контейнеры из Artifact Registry для создания воспроизводимых сред. Региональная стратегия Локальность данных: Размещение вычислительных ресурсов и данных в одном регионе для минимизации задержек и затрат на исходящий трафик. Соответствие требованиям: Выбор регионов, отвечающих требованиям к размещению данных (например, GDPR требует наличия регионов ЕС). Доступность оборудования: Проверка наличия необходимых GPU/TPU в выбранном регионе. Задержка: Развертывание онлайн-конечных точек прогнозирования в регионах, географически близких к пользователям. Многорегиональная архитектура: Использование для глобальных приложений или аварийного восстановления; Model Registry поддерживает межрегиональную репликацию. Стоимость: Незначительные региональные различия в ценах (~5%); в регионах США цены часто немного ниже. Ценообразование и оптимизация затрат Модель оплаты по факту использования: Оплата только за использованные ресурсы. Стоимость обучения: Индивидуальное обучение: Оплата за машино-час (например, 5–10 долларов в час). Обучение AutoML: Включает в себя плату за вычислительные ресурсы + сервисные сборы за автоматизацию (например, 20–30 долларов в час). Дополнительные расходы: Хранилище: Стандартные сборы за облачное хранилище для артефактов. Передача данных: Плата за исходящий трафик при перемещении данных между регионами. Другие услуги: Хранилище признаков и мониторинг моделей имеют отдельную стоимость. Стратегии оптимизации: Прерываемые виртуальные машины: Использование для прерываемых задач обучения для э...