От нуля до героя с Kafka Connect скачать в хорошем качестве

От нуля до героя с Kafka Connect

Надежная и масштабируемая интеграция Apache Kafka с другими системами часто является ключевой частью платформы потоковой обработки данных. К счастью, Apache Kafka включает API Connect, который позволяет интегрировать потоковую обработку как внутри, так и вне Kafka. Как и в случае с любой технологией, понимание ее архитектуры и шаблонов развертывания является ключом к успешному использованию, как и знание того, куда обратиться, если что-то не работает. В этом докладе рассматриваются: ключевые концепции проектирования Kafka Connect Режимы развертывания Живая демонстрация Диагностика и устранение распространенных проблем, встречающихся с Kafka Connect. Преобразование отдельных сообщений Развертывание Kafka Connect в контейнерах. 📔 Презентация: https://rmoff.dev/kafka-connect-zero-... 👾 Код: https://github.com/confluentinc/demo-... ⏱ Таймкоды: 00:00 Что такое Kafka Connect? 03:38 Демонстрация потоковой передачи данных из MySQL в Elasticsearch 11:43 Настройка Kafka Connect 12:33 👉 Плагины коннектора 13:33 👉 Конвертеры 13:53 👉 Сериализация и схемы (Avro, Protobuf, JSON Schema) 17:13 👉 Преобразование отдельных сообщений 19:43 👉 Confluent Hub 19:51 Запуск Kafka Connect 20:24 👉 Коннекторы и задачи 21:29 👉 Раберы 21:56 👉 Автономный воркер 22:50 👉 Распределенный воркер 23:10 👉 Масштабирование Kafka Connect 24:42 Kafka Connect в Docker 26:17 Устранение неполадок Kafka Connect 27:56 👉 Динамические уровни логирования в Kafka Connect 28:48 👉 Обработка ошибок и очереди недоставленных сообщений 32:16 Мониторинг Kafka Connect 32:59 Краткий обзор и ресурсы -- ☁️ Confluent Cloud ☁️ Confluent Cloud — это управляемый сервис Apache Kafka и Confluent Platform. Он масштабируется до нуля и позволяет начать работу с Apache Kafka одним щелчком мыши. Вы можете зарегистрироваться по ссылке https://confluent.cloud/signup?utm_so... и использовать код 60DEVADV для получения скидки в размере 60 долларов США на ваш счет (мелкий шрифт: https://www.confluent.io/confluent-cl...) -- 💾Скачать платформу Confluent: https://www.confluent.io/download/?ut... 📺 Подробный обзор коннектора Kafka Connect:    • Kafka Connect   ✍️Документация Kafka Connect: https://docs.confluent.io/current/con... 🧩Confluent Hub: https://www.confluent.io/hub/?utm_sou...