Jak monitorujete Kafka a jak se vypořádáváte se zpožděním consumeru?

Question

Accepted Answer

Provoz Kafky vyžaduje **monitorování** klíčových metrik — zejména **zpoždění consumeru** (jak daleko jsou consumery pozadu) — plus zdraví brokerů, propustnost a stav oddílů. Pochopení monitorování a zpoždění consumeru je důležité pro spolehlivý provoz Kafky.

## Zpoždění consumeru (klíčová metrika)

```text
CONSUMER LAG → how far BEHIND a consumer is = (latest offset) − (consumer's committed offset):
  → high/growing lag → the consumer can't keep up with the production rate (a problem!)
  → indicates: slow processing, too few consumers, a stuck/failed consumer, or a traffic spike
→ monitor lag → detect when consumers fall behind (a primary Kafka health signal)
```

## Zacházení se zpožděním consumeru

```text
✓ ADD CONSUMERS (scale the group, up to partition count) → more parallel processing
✓ ADD PARTITIONS → enable more consumer parallelism (if at the consumer limit)
✓ OPTIMIZE consumer processing → make it faster (batch, async, efficient code)
✓ Investigate stuck/failing consumers; check for rebalancing issues
✓ Scale based on lag (auto-scaling consumers on lag is common)
```

## Další klíčové metriky k monitorování

```text
✓ BROKER health → CPU, memory, disk (disk usage matters with retention!), network
✓ THROUGHPUT → messages/bytes in/out per sec; request latency
✓ PARTITION status → under-replicated partitions (replication problems!), offline partitions,
  ISR shrinkage
✓ CONSUMER GROUP status → lag, rebalances, active consumers
✓ Errors, request rates; use tools (Kafka metrics/JMX, Prometheus+Grafana, Confluent
  Control Center, Burrow for lag)
```

## Proč je to důležité

Porozumění monitorování Kafky a zpracování zpoždění consumeru je cenné, protože **monitorování je nezbytné pro spolehlivý provoz Kafky** a zpoždění consumeru je primární signál zdraví, proto je to důležité provozní znalost.

Provoz Kafky v produkci vyžaduje monitorování k detekci a řešení problémů.

Porozumění **zpoždění consumeru** — jak daleko je consumer pozadu (rozdíl mezi nejnovějším offsetem a potvrzeným offsetem consumeru), kde vysoké nebo rostoucí zpoždění znamená, že consumer nestačí (problém signalizující pomalé zpracování, příliš málo consumerů, uvízlý consumer nebo nárůst provozu) — je nejdůležitější metrika zdraví Kafky, protože zpoždění přímo indikuje, zda spotřeba drží krok s produkcí.

Porozumění **jak se vypořádávat se zpožděním consumeru** — přidávání consumerů (škálování skupiny na počet oddílů), přidávání oddílů (pro větší paralelismus, pokud je dosaženo limitu consumeru), optimalizace rychlosti zpracování consumeru, vyšetřování uvízlých consumerů a škálování na základě zpoždění (automatické škálování na zpoždění je běžné) — je praktická znalost pro řešení běžného problému consumerů zaostávajících.

Porozumění **dalším klíčovým metrikám** — zdraví brokeru (CPU, paměť a zejména využití disku vzhledem k retenci), propustnost a latence, **stav oddílů** (nedostatečně replikované oddíly indikující problémy replikace, offline oddíly, zmenšení ISR), stav skupiny consumerů (zpoždění, vyvažování) a nástroje pro monitorování (metriky JMX, Prometheus/Grafana, Burrow pro zpoždění) — odráží komplexní monitorování Kafky.

Tyto metriky umožňují detekci a diagnostiku problémů (consumery zaostávající, problémy s replikací, problémy s brokerem) dříve, než způsobí selhání.

Spolehlivý provoz Kafky závisí na tomto monitorování.

Protože monitorování je nezbytné pro spolehlivý provoz Kafky a zpoždění consumeru je primární signál zdraví (indikující, zda spotřeba drží krok s produkcí), a protože pochopení zpoždění, jak se s ním vypořádávat, a dalších klíčových metrik je důležité provozní znalost, je pochopení monitorování Kafky a zpracování zpoždění consumeru cenné, prakticky relevantní provozní znalost — nezbytné pro spolehlivý provoz Kafky, se zpožděním consumeru jako klíčovou metrikou k monitorování a řešení, a důležité pro detekci a řešení provozních problémů (zpoždění, problémy s replikací, zdraví brokeru), které ovlivňují Kafku v produkci.