Kafka ची ट्यूनिंग करण्यात निर्माता, ग्राहक, ब्रोकर्स, आणि विषय कॉन्फिगर करणे समाविष्ट असते थ्रूपुट, लेटेन्सी आणि टिकाऊपणाचा इच्छित संतुलन साधण्यासाठी. मुख्य ट्यूनिंग पॅरामीटर्स आणि ट्रेड-ऑफ समजणे उच्च-कार्यक्षमता Kafka साठी महत्वाचे आहे.
निर्माता ट्यूनिंग
✓ BATCHING → batch.size + linger.ms → batch messages → higher THROUGHPUT (fewer requests)
at the cost of slight latency
✓ COMPRESSION → compress batches (snappy, lz4, zstd) → less network/storage, more throughput
✓ acks → acks=all (durable, slower) vs acks=1 (faster, less safe) → durability vs throughput
✓ buffer.memory, max.in.flight → tune for throughput
ग्राहक ट्यूनिंग
✓ fetch.min.bytes / fetch.max.wait → batch fetches → throughput vs latency
✓ max.poll.records → how many records per poll (processing batch size)
✓ Enough CONSUMERS and PARTITIONS for parallelism (the main scaling lever)
✓ Efficient processing (don't block; process in parallel/async where possible)
