बॅचिंग (संदेशांचा समूह) आणि कम्प्रेशन (डेटा संपीडित करणे) हे उच्च Kafka थ्रूपुट साठी मुख्य तंत्र आहेत — प्रति-संदेश ओव्हरहेड आणि नेटवर्क/स्टोरेज खर्च कमी करतात. त्यांचे समज Kafka चे उच्च कार्यप्रदर्शन प्राप्त करण्यास मदत करते.
बॅचिंग — संदेश समूहित करा
BATCHING → the producer groups multiple messages into a single BATCH before sending:
→ fewer, larger requests instead of many tiny ones → much higher THROUGHPUT (less
per-request overhead, fewer network round-trips)
→ controlled by: batch.size (batch size limit) + linger.ms (wait time to accumulate a batch)
→ trade-off: slightly higher LATENCY (waiting to batch) for much higher throughput
→ batching is essential for high-throughput producing
