Jaké jsou běžné chyby a úskalí při používání Kafky?

Question

Accepted Answer

Kafka je mocný nástroj, ale má **běžné úskalí** — nedorozumění a chyby kolem dělení, řazení, chování konzumentů, sémantiky doručení a operací. Porozumění těmto problémům pomáhá vyhnout se chybám a správně používat Kafku.

## Design a dělení úskalí

```text
✗ Too FEW partitions → limits consumer parallelism (can't scale consumption beyond
  partition count); too MANY → overhead, rebalancing pain → plan partition count carefully
✗ Wrong PARTITION KEY → uneven distribution (hot partitions) or wrong ordering scope →
  choose a key for even distribution AND the ordering you need
✗ Expecting GLOBAL ordering → Kafka only orders WITHIN a partition (a common misunderstanding)
✗ Adding partitions changes key→partition mapping → breaks ordering for keys (be careful)
```

## Konzument a zpracování úskalí

```text
✗ Ignoring CONSUMER LAG → consumers falling behind unnoticed → growing delay
✗ Not handling DUPLICATES → at-least-once means duplicates → need idempotent processing
  (a very common mistake — assuming exactly-once without idempotency)
✗ Slow processing blocking the consumer → causes lag/rebalances; long processing → rebalance issues
✗ Frequent REBALANCES → from slow processing/timeouts → consumption pauses (tune, optimize)
✗ Improper offset committing → reprocessing or message loss
```

## Operační a používání úskalí

```text
✗ Using Kafka where a SIMPLE QUEUE suffices → unneeded complexity (over-engineering)
✗ Ignoring DISK/retention → disk fills up (serious failure)
✗ Under-replication / weak durability config (acks=1) → data loss on failures
✗ No monitoring; treating Kafka as simple (it's a complex distributed system)
✗ Not securing Kafka (open access)
→ understand Kafka's model to avoid these common mistakes
```

## Proč na tom záleží

Porozumění běžným úskalím Kafky je cenné znalosti na úrovni senior inženýra, protože **rozpoznání a vyhnutí se běžným chybám pomáhá správnému používání Kafky**, takže je to prakticky důležité pro skutečné používání Kafky.

Kafka je mocná, ale má mnoho jemných úskalí, která způsobují skutečné problémy, a jejich znalost pomáhá těmto chybám vyhnout.

Porozumění **úskalím design a dělení** — příliš málo partitcí (omezení paralelismu) nebo příliš mnoho (režie), nesprávné klíče dělení (způsobení hot partitcí nebo nesprávného řazení), očekávání **globálního řazení** (běžné nedorozumění, protože Kafka řadí pouze v rámci partitce) a problém, že přidání partitcí porušuje mapování klíč-partitce (ovlivňující řazení) — pomáhá vyhnout se chybám dělení a řazení, které jsou časté a důsledné.

Porozumění **úskalím konzumentů a zpracování** — ignorování zpoždění konzumentů (konzumenti zůstávají pozadu bez povšimnutí), **nezpracování duplikátů** (velmi časté chyby, protože doručení alespoň jednou znamená duplikáty vyžadující idempotentní zpracování — předpokládání právě jednou bez idempotence je časté selhání), pomalé zpracování způsobující zpoždění a vyvažování, časté vyvažování a nesprávné commitování offsetu — pomáhá vyhnout se chybám na straně konzumenta, které způsobují zpoždění, duplikáty a problémy s opětovným zpracováním.

Porozumění **operačním a používání úskalím** — používání Kafky, kde postačuje jednoduchá fronta (over-engineering), ignorování disku/retence (disk se zaplní), slabá konfigurace durability (acks=1 riskující ztrátu dat), bez monitorování a zabezpečení Kafky — pomáhá vyhnout se operačním a úsudkovým chybám.

Znalost těchto úskalí (zvláště těch běžných kolem nedorozumění řazení, zpracování duplikátů, zpoždění konzumentů a nadměrného používání Kafky) vám pomáhá správně používat Kafku a vyhnout se skutečným problémům, které chytají mnoho uživatelů.

Toto povědomí odráží praktické zkušenosti s Kafkou.

Protože Kafka má mnoho jemných, běžných úskalí (nedorozumění dělení/řazení, zpracování duplikátů, zpoždění konzumentů, nadměrné používání, operační chyby), která způsobují skutečné problémy, a protože rozpoznání a vyhnutí se jim pomáhá správnému používání Kafky, je porozumění běžným úskalím Kafky cenné znalosti na úrovni senior inženýra — prakticky důležité pro vyhnutí se časté chybám (zvláště kolem řazení, duplikátů/idempotence, zpoždění a vhodného používání), které chytají uživatele Kafky, odráží praktické zkušenosti a pomáhá používat Kafku správně a spolehlivě v reálných systémech.