DuckLake — формат Lakehouse на базе SQL для всех нас. Автор — профессор Ханнес Мюлейзен. скачать в хорошем качестве

DuckLake — формат Lakehouse на базе SQL для всех нас. Автор — профессор Ханнес Мюлейзен.

Управление данными в объектных хранилищах было мучительным делом. Пользователям приходилось выбирать между хаосом данных и лабиринтом файлов метаданных с серверами каталогов. DuckLake — это новая парадигма управления данными в объектных хранилищах: во-первых, она использует классические системы управления данными SQL для управления метаданными. во-вторых, сами данные хранятся в файлах Parquet в довольно произвольном хранилище. в-третьих, обработка запросов выполняется на стороне клиента или где угодно. DuckDB — первая система, интегрированная с DuckLake с помощью одноимённого расширения. Концептуально DuckLake обеспечивает централизованный контроль над истинными данными, полностью децентрализуя вычисления и хранение. DuckLake переворачивает архитектуру хранилища данных с ног на голову, отходя от интегрированного уровня метаданных/вычислений в сторону полностью автономной работы с централизованными метаданными. Впервые DuckLake обеспечивает «многопользовательский» режим работы с DuckDB, где вычисления остаются полностью локальными, но управление транзакциями централизовано. В нашем докладе мы расскажем об обосновании формата DuckLake и его принципах простоты, масштабируемости и скорости. Мы продемонстрируем реализацию DuckLake в DuckDB на практике и обсудим её влияние на архитектуру данных в целом. https://hannes.muehleisen.org/ https://duckdb.org/ https://ducklake.select/ Доклад с конференции Systems Distributed '25: https://systemsdistributed.com Присоединяйтесь к чату по адресу https://slack.tigerbeetle.com/invite