La optimización de Kafka implica configurar productores, consumidores, brokers y tópicos para lograr el balance deseado entre rendimiento, latencia y durabilidad. Comprender los parámetros de optimización clave y los compensaciones es importante para Kafka de alto rendimiento.
Optimización del productor
✓ BATCHING → batch.size + linger.ms → batch messages → higher THROUGHPUT (fewer requests)
at the cost of slight latency
✓ COMPRESSION → compress batches (snappy, lz4, zstd) → less network/storage, more throughput
✓ acks → acks=all (durable, slower) vs acks=1 (faster, less safe) → durability vs throughput
✓ buffer.memory, max.in.flight → tune for throughput
