У нас вы можете посмотреть бесплатно Производительность ClickHouse для наблюдаемости: прием 2 ПБ/месяц с ZSTD и разбиением на разделы или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
Эта презентация была представлена на встрече ClickHouse Meetup 4 марта в Сан-Франциско - https://www.meetup.com/clickhouse-sil...
Middleware предоставляет полнофункциональную платформу наблюдения, построенную на базе развёртывания ClickHouse на Kubernetes, и предназначенную для обработки 2 петабайт несжатых телеметрических данных в месяц. Решение объединяет журналы, метрики и трассировки, сохраняя их в отдельных таблицах единой базы данных ClickHouse, обеспечивая комплексный мониторинг инфраструктуры, производительности приложений и мониторинга реальных пользователей. Платформа полностью совместима с OpenTelemetry, что обеспечивает лёгкую интеграцию.
Для обработки больших объёмов телеметрических данных архитектура использует специальный сервис пакетной обработки между Kafka и ClickHouse вместо прямого приёма данных в Kafka. Этот сервис буферизует телеметрические данные в течение 30 секунд или до достижения размера пакета 200 МБ. Такая стратегия пакетной обработки критически важна для производительности, поскольку она сокращает количество небольших вставок в движок ClickHouse ReplicatedMergeTree, минимизируя создание фрагментов данных и последующие накладные расходы на слияние. Такой подход предотвращает замедление загрузки, которое может возникать при частой вставке.
Масштабируемость и устойчивость платформы обеспечиваются посредством сегментированного и реплицированного кластера ClickHouse, работающего как наборы с сохранением состояния в Kubernetes. Текущее развертывание состоит из четырёх шардов, каждый из которых реплицируется в двух зонах доступности для обеспечения высокой доступности. Каждый узел представляет собой выделенную машину с 64 ядрами и 120 ГБ памяти. Хотя эта архитектура поддерживает значительную масштабируемость, ограничения вертикального масштабирования представляют собой сложную задачу; добавление реплик может занять несколько часов из-за обработки метаданных для кластеров, управляющих более чем 200 терабайтами данных. Это подчёркивает необходимость разделения вычислительных ресурсов и хранилища для обеспечения настоящей горизонтальной масштабируемости.
Производительность запросов в ClickHouse настраивается с помощью определённой схемы и стратегий секционирования. Каждому клиенту назначается выделенная база данных на определённом шарде. Таблицы секционируются по дням и упорядочиваются по часам. Эта стратегия значительно ускоряет запросы по временным диапазонам, радикально сокращая количество строк, которые должен сканировать ClickHouse. Такое секционирование также упрощает хранение данных, поскольку старые данные можно удалять по секциям, а не по строкам. Платформа использует AggregatingMergeTree для агрегации метрик и ReplacingMergeTree для дедупликации метаданных атрибутов в материализованных представлениях.
Для оптимизации затрат на хранение система использует стратегию «горячих/холодных данных», сохраняя две недели «горячих» данных на локальных серверах и перемещая «холодные» данные (до шести месяцев) в Amazon S3 с помощью собственных политик хранения ClickHouse, поддерживаемых S3. Для дополнительной экономической эффективности платформа использует сжатие ZSTD вместо стандартного LZ4. Хотя ZSTD работает немного медленнее, он обеспечивает превосходное сжатие необработанных данных — в 15 раз и выше, что критически важно для управления затратами на хранение данных объёмом в сотни терабайт. Материализованные представления следует использовать с осторожностью, чтобы избежать проблем с производительностью, поскольку неправильно спроектированное представление может разрастись до размера, превышающего исходную таблицу в 10 раз, что замедлит...