ClickHouse как сервер Arrow Flight скачать в хорошем качестве

ClickHouse как сервер Arrow Flight

Arrow Flight — это высокопроизводительная RPC-платформа, построенная на gRPC и специально разработанная для эффективной передачи больших наборов данных Arrow между сервисами. В этом практическом руководстве мы рассмотрим, как использовать ClickHouse в качестве сервера Arrow Flight, демонстрируя как пакетный поиск данных, так и потоковую обработку. Мы будем работать с реальным набором данных, содержащим более 30 миллионов записей о недвижимости в Великобритании, чтобы показать вам практические характеристики производительности и возможности, которые вы можете ожидать. В видеоролике рассматриваются три различных подхода к запросу данных через Arrow Flight. Сначала мы рассмотрим простой пакетный запрос, который извлекает все 30 миллионов строк за один раз, что занимает около 7-9 секунд. Затем мы рассмотрим потоковую обработку данных партиями, что повышает производительность примерно до 4,7 миллионов строк в секунду и завершается примерно за 6,5 секунд. Наконец, мы продемонстрируем, как вычислять агрегаты на лету во время потоковой обработки, вычисляя текущие статистические данные, такие как средние и максимальные цены на недвижимость, по мере поступления данных. Основные моменты обучения: 🔸 Настройка ClickHouse в качестве сервера Arrow Flight с базовой конфигурацией 🔸 Подключение к ClickHouse с использованием клиентского протокола Arrow Flight 🔸 Массовое извлечение данных против потокового подхода и их компромиссы в производительности 🔸 Работа с метаданными и конечными точками Arrow Flight для распределенных запросов 🔸 Вычисление агрегированных данных в реальном времени во время потоковой обработки без существенного влияния на производительность 🔸 Практические тесты производительности с набором данных, содержащим более 30 миллионов строк