Как построить Lakehouse на Iceberg и S3 // Демо-занятие курса «Data Engineer» скачать в хорошем качестве

Как построить Lakehouse на Iceberg и S3 // Демо-занятие курса «Data Engineer»

Открытый вебинар курса Data engineer Почему тема важна? Apache Iceberg — это открытая табличная структура для работы с большими данными, которая обеспечивает: Управление версиями данных (time travel, schema evolution) Высокую производительность запросов Поддержку транзакционности В сочетании с S3-совместимыми хранилищами это дает надежное, масштабируемое и экономичное решение для построения Data Lakehouse. 📍 Программа вебинара Data Warehouse, Data Lake, Data Lakehouse: история развития, что и когда использовать? Обзор Apache Iceberg: архитектура, преимущества и кейсы использования. Хранение данных в S3: настройка бакетов, управление доступом, cost optimization. Примеры развертывания Iceberg на S3. Примеры работы с Iceberg на Spark и Trino. 👥 Для кого будет актуален? Data Engineers – научатся разворачивать и использовать Iceberg в продакшене. Analysts & Data Scientists – узнают, как эффективно работать с данными в Data Lakehouse. Architects & Tech Leads – получат insights по проектированию отказоустойчивых хранилищ. Все, кто работает с Big Data – поймут тренды в управлении данными. ✅ Что смогут по итогам вебинара? Понимать принципы работы Data Lakehouse на Iceberg и S3. Настраивать хранилище данных с поддержкой ACID-транзакций. Оптимизировать запросы и управлять метаданными. Избегать типичных ошибок при работе с Iceberg. «Data Engineer» - https://otus.pw/5raK/ Преподаватель: Вадим Заигрин - ведущий эксперт по технологиям Пройдите опрос по итогам мероприятия - https://otus.pw/1jAo/ Следите за новостями проекта: Telegram: https://t.me/Otusjava ВКонтакте: https://otus.pw/850t LinkedIn: https://otus.pw/yQwQ/ Хабр: https://otus.pw/S0nM/