«Эволюция архитектуры S3 в Ozon: от Фламинго до Акулы» — Максим Харитонов скачать в хорошем качестве

«Эволюция архитектуры S3 в Ozon: от Фламинго до Акулы» — Максим Харитонов

Доклад с митапа DevTalks. Инфраструктура и работа с данными: Kafka, архитектура S3 и обработка данных с Python (9 декабря 2023) S3 — международно признанный стандарт протокола объектного хранилища данных. Его поддерживает огромное количество ПО, которому нужно хранить бэкапы, файлы с данными, изображения, видео и так далее. В современной технологической компании какое-то решение, реализующее S3, — это must have. В своем выступлении Максим Харитонов прошелся по пути развития собственного хранилища S3, на который «Озону» потребовались годы. Спикер рассказал о том, с чего вы можете стартовать в своей компании и с какими проблемами роста столкнетесь; обсудил решения этих проблем, их плюсы и минусы. В докладе затронуты темы: быстрый старт с MinIO; зачем менять фламинго на осьминога, переход на Ceph; борьба за доступность: растянутые кластеры; проблемы архитектуры Ceph. Ссылка на презентацию из доклада: https://docs.google.com/presentation/... Cайт митапа — https://devtalks.dev/infrastructure-k... Официальный канал митапа — https://t.me/+X4DZg7ma1DdlM2I6 Нанять команду Spectr — https://digital-spectr.ru/new-client Организаторы митапа: Spectr, Тэглайн. #devtalks #devtalks_russia #digital #tagline #тэглайн #spectr #digitalspectr #мероприятие #kafka #s3 #python #performance #highload #polars #development #meetup #dev 00:00 Начало, представление спикера 01:06 Object Storage в Ozon Tech 02:11 Зачем нужны объектные хранилища? 06:42 Чем не является объектное хранилище? 10:06 Почему S3? 12:11 Недостатки S3 13:08 Быстрый старт с MinIO 15:00 Плюсы и минусы MinIO 18:27 Почему мы перешли на Ceph 26:26 Multi DC Ceph: когда одного Ceph стало не хватать 33:12 Архитектура Stretch-кластеров Ceph 34:56 Схема работы при отключении ДЦ 37:24 Проблемы архитектуры Ceph RGW 40:07 Варианты решения 43:01 CAP-теорема и свой S3-сервер 45:35 Выводы 46:50 Вопросы из зала