Уроки, извлеченные из эксплуатации крупномасштабной службы управления таблицами Apache Iceberg™ скачать в хорошем качестве

Уроки, извлеченные из эксплуатации крупномасштабной службы управления таблицами Apache Iceberg™

Секционная сессия #icebergSummit 2025, представленная Анурагом Мантрипрагадой и Каруппайей Раджендраном из #Apple. Описание сессии: Поддержание файлов данных и метаданных #ApacheIceberg в рабочем состоянии имеет важное значение для оптимальной производительности таблиц Iceberg. Создание сервиса для поддержания работоспособности таблиц Iceberg избавляет пользователей от необходимости мониторинга и вмешательства, когда файлы разрастаются и влияют на производительность запросов к таблицам Iceberg. В этой презентации рассматриваются тонкости работы крупномасштабного сервиса, ориентированного на обслуживание таблиц Iceberg, практические уроки и компромиссы. Мы рассмотрим другие аспекты этого сервиса, включая структуру заданий, использование ресурсов, производительность, масштабируемость и пользовательский интерфейс, разработанный для обеспечения интуитивно понятного управления и прозрачности процесса обслуживания таблиц. Мы также обсудим наши текущие усилия по внедрению автономного обслуживания. К концу этой сессии вы узнаете, как создать масштабируемую систему управления таблицами, и поймете архитектурные проблемы и компромиссы, связанные с этим.