• ClipSaver
  • dtub.ru
ClipSaver
Русские видео
  • Смешные видео
  • Приколы
  • Обзоры
  • Новости
  • Тесты
  • Спорт
  • Любовь
  • Музыка
  • Разное
Сейчас в тренде
  • Фейгин лайф
  • Три кота
  • Самвел адамян
  • А4 ютуб
  • скачать бит
  • гитара с нуля
Иностранные видео
  • Funny Babies
  • Funny Sports
  • Funny Animals
  • Funny Pranks
  • Funny Magic
  • Funny Vines
  • Funny Virals
  • Funny K-Pop

Производительность ClickHouse для наблюдаемости: прием 2 ПБ/месяц с ZSTD и разбиением на разделы скачать в хорошем качестве

Производительность ClickHouse для наблюдаемости: прием 2 ПБ/месяц с ZSTD и разбиением на разделы 1 год назад

скачать видео

скачать mp3

скачать mp4

поделиться

телефон с камерой

телефон с видео

бесплатно

загрузить,

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...
Производительность ClickHouse для наблюдаемости: прием 2 ПБ/месяц с ZSTD и разбиением на разделы
  • Поделиться ВК
  • Поделиться в ОК
  •  
  •  


Скачать видео с ютуб по ссылке или смотреть без блокировок на сайте: Производительность ClickHouse для наблюдаемости: прием 2 ПБ/месяц с ZSTD и разбиением на разделы в качестве 4k

У нас вы можете посмотреть бесплатно Производительность ClickHouse для наблюдаемости: прием 2 ПБ/месяц с ZSTD и разбиением на разделы или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:

  • Информация по загрузке:

Скачать mp3 с ютуба отдельным файлом. Бесплатный рингтон Производительность ClickHouse для наблюдаемости: прием 2 ПБ/месяц с ZSTD и разбиением на разделы в формате MP3:


Если кнопки скачивания не загрузились НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу страницы.
Спасибо за использование сервиса ClipSaver.ru



Производительность ClickHouse для наблюдаемости: прием 2 ПБ/месяц с ZSTD и разбиением на разделы

Эта презентация была представлена ​​на встрече ClickHouse Meetup 4 марта в Сан-Франциско - https://www.meetup.com/clickhouse-sil... Middleware предоставляет полнофункциональную платформу наблюдения, построенную на базе развёртывания ClickHouse на Kubernetes, и предназначенную для обработки 2 петабайт несжатых телеметрических данных в месяц. Решение объединяет журналы, метрики и трассировки, сохраняя их в отдельных таблицах единой базы данных ClickHouse, обеспечивая комплексный мониторинг инфраструктуры, производительности приложений и мониторинга реальных пользователей. Платформа полностью совместима с OpenTelemetry, что обеспечивает лёгкую интеграцию.

Для обработки больших объёмов телеметрических данных архитектура использует специальный сервис пакетной обработки между Kafka и ClickHouse вместо прямого приёма данных в Kafka. Этот сервис буферизует телеметрические данные в течение 30 секунд или до достижения размера пакета 200 МБ. Такая стратегия пакетной обработки критически важна для производительности, поскольку она сокращает количество небольших вставок в движок ClickHouse ReplicatedMergeTree, минимизируя создание фрагментов данных и последующие накладные расходы на слияние. Такой подход предотвращает замедление загрузки, которое может возникать при частой вставке.

Масштабируемость и устойчивость платформы обеспечиваются посредством сегментированного и реплицированного кластера ClickHouse, работающего как наборы с сохранением состояния в Kubernetes. Текущее развертывание состоит из четырёх шардов, каждый из которых реплицируется в двух зонах доступности для обеспечения высокой доступности. Каждый узел представляет собой выделенную машину с 64 ядрами и 120 ГБ памяти. Хотя эта архитектура поддерживает значительную масштабируемость, ограничения вертикального масштабирования представляют собой сложную задачу; добавление реплик может занять несколько часов из-за обработки метаданных для кластеров, управляющих более чем 200 терабайтами данных. Это подчёркивает необходимость разделения вычислительных ресурсов и хранилища для обеспечения настоящей горизонтальной масштабируемости.

Производительность запросов в ClickHouse настраивается с помощью определённой схемы и стратегий секционирования. Каждому клиенту назначается выделенная база данных на определённом шарде. Таблицы секционируются по дням и упорядочиваются по часам. Эта стратегия значительно ускоряет запросы по временным диапазонам, радикально сокращая количество строк, которые должен сканировать ClickHouse. Такое секционирование также упрощает хранение данных, поскольку старые данные можно удалять по секциям, а не по строкам. Платформа использует AggregatingMergeTree для агрегации метрик и ReplacingMergeTree для дедупликации метаданных атрибутов в материализованных представлениях.

Для оптимизации затрат на хранение система использует стратегию «горячих/холодных данных», сохраняя две недели «горячих» данных на локальных серверах и перемещая «холодные» данные (до шести месяцев) в Amazon S3 с помощью собственных политик хранения ClickHouse, поддерживаемых S3. Для дополнительной экономической эффективности платформа использует сжатие ZSTD вместо стандартного LZ4. Хотя ZSTD работает немного медленнее, он обеспечивает превосходное сжатие необработанных данных — в 15 раз и выше, что критически важно для управления затратами на хранение данных объёмом в сотни терабайт. Материализованные представления следует использовать с осторожностью, чтобы избежать проблем с производительностью, поскольку неправильно спроектированное представление может разрастись до размера, превышающего исходную таблицу в 10 раз, что замедлит...

Comments
  • Представляем ClickStack: будущее наблюдаемости в ClickHouse 11 дней назад
    Представляем ClickStack: будущее наблюдаемости в ClickHouse
    Опубликовано: 11 дней назад
  • Создание будущего хранилища данных: ClickHouse, Iceberg и Lakekeeper 10 дней назад
    Создание будущего хранилища данных: ClickHouse, Iceberg и Lakekeeper
    Опубликовано: 10 дней назад
  • Алексей Миловидов на Web Summit 2025: Работа с большими наборами данных в больших масштабах 2 дня назад
    Алексей Миловидов на Web Summit 2025: Работа с большими наборами данных в больших масштабах
    Опубликовано: 2 дня назад
  • ClickStack: ClickHouse’s New Observability Stack Unveiled 2 месяца назад
    ClickStack: ClickHouse’s New Observability Stack Unveiled
    Опубликовано: 2 месяца назад
  • Building an Observability Solution Based on Apache Doris: Open, High-Performance, and Cost-Efficient 8 дней назад
    Building an Observability Solution Based on Apache Doris: Open, High-Performance, and Cost-Efficient
    Опубликовано: 8 дней назад
  • Проектирование систем: почему Kafka популярен? 3 дня назад
    Проектирование систем: почему Kafka популярен?
    Опубликовано: 3 дня назад
  • Comedy Club: Голосовые от друга | Батрутдинов, Карибидис, Шкуро @ComedyClubRussia 1 день назад
    Comedy Club: Голосовые от друга | Батрутдинов, Карибидис, Шкуро @ComedyClubRussia
    Опубликовано: 1 день назад
  • Блокировка банковских карт 💳 Что происходит? || Дмитрий Потапенко* и Дмитрий Дёмушкин 1 день назад
    Блокировка банковских карт 💳 Что происходит? || Дмитрий Потапенко* и Дмитрий Дёмушкин
    Опубликовано: 1 день назад
  • Путин пропускает удары. Лаврова задвинули из-за Трампа. Война меняет общество | Пастухов, Еловский 5 часов назад
    Путин пропускает удары. Лаврова задвинули из-за Трампа. Война меняет общество | Пастухов, Еловский
    Опубликовано: 5 часов назад
  • Угроза Зеленского начинает реализовываться. Руслан Левиев 7 часов назад
    Угроза Зеленского начинает реализовываться. Руслан Левиев
    Опубликовано: 7 часов назад
  • День открытых дверей в Бангалоре: подробное изучение хранилища данных 10 дней назад
    День открытых дверей в Бангалоре: подробное изучение хранилища данных
    Опубликовано: 10 дней назад
  • Китай начал спецоперацию / Боевые корабли вторглись к соседу 2 часа назад
    Китай начал спецоперацию / Боевые корабли вторглись к соседу
    Опубликовано: 2 часа назад
  • Арестович: Остановят ли прорывы к Днепру оборону Украины на тысячекилометровом фронте? 7 часов назад
    Арестович: Остановят ли прорывы к Днепру оборону Украины на тысячекилометровом фронте?
    Опубликовано: 7 часов назад
  • Шлеменко - НЕОЖИДАННО про Махачева и отца Хабиба! Разбор боя за титул UFC 4 часа назад
    Шлеменко - НЕОЖИДАННО про Махачева и отца Хабиба! Разбор боя за титул UFC
    Опубликовано: 4 часа назад
  • Ingest 1 Billion Rows per Second in ClickHouse (with Javi Santana) Трансляция закончилась 2 месяца назад
    Ingest 1 Billion Rows per Second in ClickHouse (with Javi Santana)
    Опубликовано: Трансляция закончилась 2 месяца назад
  • 3 часа назад
    "ГЕРОИЧЕСКОЕ" отступление ВСУ. Прорыв ВС РФ к Орехову! 16 ноября 2025
    Опубликовано: 3 часа назад
  • Коррупционный скандал в Украине | Окружение Зеленского и энергетика (English subtitles) @Max_Katz 2 часа назад
    Коррупционный скандал в Украине | Окружение Зеленского и энергетика (English subtitles) @Max_Katz
    Опубликовано: 2 часа назад
  • Это будет самое большое падение в истории (Уоррен Баффет) 1 день назад
    Это будет самое большое падение в истории (Уоррен Баффет)
    Опубликовано: 1 день назад
  • Два «Кинжала», одна авиабаза: что на самом деле взорвалось 15 ноября. 9 часов назад
    Два «Кинжала», одна авиабаза: что на самом деле взорвалось 15 ноября.
    Опубликовано: 9 часов назад
  • Вот почему этот дом обошелся мне в 2,5 млн ₽! 7 дней назад
    Вот почему этот дом обошелся мне в 2,5 млн ₽!
    Опубликовано: 7 дней назад

Контактный email для правообладателей: [email protected] © 2017 - 2025

Отказ от ответственности - Disclaimer Правообладателям - DMCA Условия использования сайта - TOS



Карта сайта 1 Карта сайта 2 Карта сайта 3 Карта сайта 4 Карта сайта 5