Apache Kafka: Guia Completo de Benchmark, Throughput e Latência скачать в хорошем качестве

Apache Kafka: Guia Completo de Benchmark, Throughput e Latência

🍽️ Prato do dia: Benchmark Apache Kafka Neste vídeo, o Apache Kafka vai para a cozinha e o cluster vira um restaurante de alta performance. ​ Você aprende, passo a passo, como montar um cardápio completo de testes usando apenas os binários nativos (kafka-producer-perf-test.sh, kafka-consumer-perf-test.sh, kafka-e2e-latency.sh) para medir throughput, latência ponta a ponta, impacto de partições e fator de replicação. ​ 🥗 Entrada – Mise en place do cluster Preparar os tópicos de teste com diferentes combinações de partições e replication factor. Garantir que disco, CPU e rede estão prontos para aguentar o “serviço” com testes baseline de I/O e monitorização em tempo real (iostat, iftop, htop, etc.). ​ Ajuda a identificar o I/O de discos: ```bash Teste rápido com arquivo de 1GB dd if=/dev/zero of=/tmp/tmpfile bs=1M count=1024 conv=fsync dd if=/tmp/tmpfile of=/dev/null bs=1M count=1024 rm /tmp/tmpfile ``` 🍝 Prato principal – Banquete de throughput Como usar kafka-producer-perf-test.sh para descobrir o throughput por partição e o verdadeiro custo do replication factor (RF=1 vs RF=3). ​ Como calcular o número mínimo de partições para atingir um objetivo de MB/s, transformando requisitos de negócio em decisões técnicas claras. ​ 🍷 Harmonização – Latência ponta a ponta Testes de latência end-to-end com kafka-e2e-latency.sh, entendendo média, P95, P99 e P99.9 para saber se seu “serviço” está fluido ou travando na cozinha. ​ Comparações de acks, tamanho de mensagem e configuração do produtor para equilibrar throughput e confiabilidade sem desperdiçar recursos. ​ 🍰 Sobremesa – Monitorização e troubleshooting Como cruzar resultados de Kafka com métricas de disco, CPU, memória e rede para identificar o gargalo real (e não o “vilão da moda”). ​ Quais métricas de produtor, consumidor e broker merecem ir para o cardápio fixo de observabilidade em produção. ​ 📦 Ferramenta gratuita: kafka-perf-test Para acelerar tudo isso, disponibilizo o repositório kafka-perf-test, com Docker Compose, scripts bash e uma implementação em Python que automatiza os testes e gera relatórios HTML interativos para análise visual dos resultados. ​ GitHub: https://github.com/mordp1/kafka-perf-... Recursos Adicionais Confluent OpenMessaging Benchmark: https://github.com/confluentinc/openm... OpenMessaging Benchmark Framework: https://openmessaging.cloud/docs/benc... 🔑 Palavras-chave que você vai ver neste vídeo Apache Kafka, Kafka benchmark, Kafka performance testing, Kafka throughput, Kafka latency, Kafka producer perf test, Kafka consumer perf test, Kafka end-to-end latency, Kafka partitions, replication factor, Kafka tuning, Kafka observability, DevOps, performance engineering, data streaming. #ApacheKafka #Kafka #KafkaPerformance #KafkaBenchmark #DevOps #DataStreaming. ​