Kafka 中 batching 和 compression 如何改善吞吐量？

Question

Accepted Answer

**Batching**（对消息进行分组）和 **compression**（压缩数据）是实现 Kafka 高**吞吐量**的关键技术——减少单条消息的开销以及网络/存储成本。理解这些技术有助于实现 Kafka 的高性能。

## Batching — 对消息进行分组

```text
BATCHING → the producer groups multiple messages into a single BATCH before sending:
  → fewer, larger requests instead of many tiny ones → much higher THROUGHPUT (less
    per-request overhead, fewer network round-trips)
  → controlled by: batch.size (batch size limit) + linger.ms (wait time to accumulate a batch)
  → trade-off: slightly higher LATENCY (waiting to batch) for much higher throughput
→ batching is essential for high-throughput producing
```

## Compression — 压缩批次

```text
COMPRESSION → compress message batches before sending (and store them compressed):
  → compression types: snappy, lz4, zstd (fast), gzip (higher ratio, slower)
  → benefits: LESS network bandwidth, LESS storage on brokers, often HIGHER throughput
    (less data to transfer outweighs CPU cost)
  → batches compress well (more data → better ratio) → batching + compression work together
  → consumers decompress; brokers store compressed (efficient end-to-end)
```

## 综合应用

```text
→ batch.size + linger.ms → accumulate batches → compress them → send efficiently
→ result: dramatically higher throughput vs sending tiny uncompressed messages
→ tune batch size/linger and compression type for your throughput/latency/CPU balance
→ the main producer-side throughput levers (with acks for durability)
```

## 为什么这很重要

理解 batching 和 compression 如何改善吞吐量很重要，因为这些是**实现 Kafka 高性能的关键技术**，对于实现 Kafka 的吞吐量优势来说是相关的知识。

Kafka 实现了非常高的吞吐量，而 batching 和 compression 是实现这一目标的核心。

理解 **batching** —— producer 在发送前将多个消息分组到单个批次中（通过发送更少但更大的请求而不是许多小请求，通过减少单个请求的开销和网络往返大幅提升吞吐量），由 batch.size 和 linger.ms 控制，权衡是稍微提高延迟以换取更高的吞吐量——这阐明了一个基本的吞吐量技术。

理解 **compression** —— 压缩消息批次（使用 snappy、lz4 和 zstd 等类型以获得速度或使用 gzip 以获得更高的压缩比），减少网络带宽和 broker 存储，通常还会增加吞吐量（因为传输更少的数据超过了 CPU 的成本），批次压缩效果好（更多数据，更好的比例）所以 batching 和 compression 协同工作——这阐明了另一个关键技术。

理解**综合应用** —— 累积批次、压缩它们并高效地发送，相比小的未压缩消息大幅提升吞吐量，以及调整批次大小、linger 和压缩类型以平衡吞吐量/延迟/CPU ——这反映了这些技术如何结合作为主要的 producer 端吞吐量杠杆。

这些技术对于高吞吐量的 Kafka 生产至关重要，理解它们（以及它们的权衡，如 batching 的延迟成本）对于性能调优很重要。

由于 batching 和 compression 是实现 Kafka 高吞吐量的关键技术（减少单条消息的开销和网络/存储成本），理解它们如何工作、它们的权衡以及它们如何结合对于实现 Kafka 的高性能很重要，理解 batching 和 compression 如何改善吞吐量是有价值的、实际相关的知识——Kafka 高吞吐量的关键技术，对于性能调优很重要，对于理解 Kafka 如何在 producer 端实现其高性能至关重要，吞吐量与延迟的权衡是一个有用的考虑因素。