Apakah perangkap dan kesilapan biasa apabila menggunakan Kafka?

Question

Accepted Answer

Kafka berkuasa tetapi mempunyai **perangkap biasa** — salah faham dan kesilapan berkaitan partitioning, penyusunan, tingkah laku consumer, semantik penghantaran, dan operasi. Memahami perkara ini membantu mengelakkan masalah dan menggunakan Kafka dengan betul.

## Perangkap reka bentuk dan partitioning

```text
✗ Too FEW partitions → limits consumer parallelism (can't scale consumption beyond
  partition count); too MANY → overhead, rebalancing pain → plan partition count carefully
✗ Wrong PARTITION KEY → uneven distribution (hot partitions) or wrong ordering scope →
  choose a key for even distribution AND the ordering you need
✗ Expecting GLOBAL ordering → Kafka only orders WITHIN a partition (a common misunderstanding)
✗ Adding partitions changes key→partition mapping → breaks ordering for keys (be careful)
```

## Perangkap consumer dan pemprosesan

```text
✗ Ignoring CONSUMER LAG → consumers falling behind unnoticed → growing delay
✗ Not handling DUPLICATES → at-least-once means duplicates → need idempotent processing
  (a very common mistake — assuming exactly-once without idempotency)
✗ Slow processing blocking the consumer → causes lag/rebalances; long processing → rebalance issues
✗ Frequent REBALANCES → from slow processing/timeouts → consumption pauses (tune, optimize)
✗ Improper offset committing → reprocessing or message loss
```

## Perangkap operasi dan penggunaan

```text
✗ Using Kafka where a SIMPLE QUEUE suffices → unneeded complexity (over-engineering)
✗ Ignoring DISK/retention → disk fills up (serious failure)
✗ Under-replication / weak durability config (acks=1) → data loss on failures
✗ No monitoring; treating Kafka as simple (it's a complex distributed system)
✗ Not securing Kafka (open access)
→ understand Kafka's model to avoid these common mistakes
```

## Mengapa ia penting

Memahami perangkap Kafka yang biasa ialah pengetahuan peringkat senior yang berharga kerana **mengenali dan mengelakkan kesilapan biasa membantu menggunakan Kafka dengan betul**, jadi ia penting secara praktikal untuk penggunaan Kafka sebenar.

Kafka berkuasa tetapi mempunyai banyak perangkap halus yang menyebabkan masalah sebenar, dan mengetahuinya membantu mengelakkan kesilapan ini.

Memahami **perangkap reka bentuk dan partitioning** — terlalu sedikit partition (mengehadkan keselarian) atau terlalu banyak (overhead), kunci partition yang salah (menyebabkan hot partition atau penyusunan yang salah), menjangkakan **penyusunan global** (salah faham biasa, kerana Kafka hanya menyusun dalam partition), dan isu bahawa menambah partition merosakkan pemetaan kunci-ke-partition (menjejaskan penyusunan) — membantu mengelakkan kesilapan partitioning dan penyusunan yang kerap dan ketara.

Memahami **perangkap consumer dan pemprosesan** — mengabaikan consumer lag (consumer ketinggalan tanpa disedari), **tidak mengendalikan pendua** (kesilapan yang sangat biasa, kerana penghantaran at-least-once bermaksud pendua yang memerlukan pemprosesan idempoten — menganggap exactly-once tanpa idempotensi ialah kesilapan yang kerap), pemprosesan perlahan yang menyebabkan lag dan rebalance, rebalance yang kerap, dan commit offset yang tidak betul — membantu mengelakkan kesilapan di sisi consumer yang menyebabkan lag, pendua, dan masalah pemprosesan semula.

Memahami **perangkap operasi dan penggunaan** — menggunakan Kafka di mana baris gilir mudah sudah memadai (kejuruteraan berlebihan), mengabaikan disk/retensi (disk penuh), konfigurasi ketahanan yang lemah (acks=1 berisiko kehilangan data), tiada pemantauan, dan tidak menjamin keselamatan Kafka — membantu mengelakkan kesilapan operasi dan pertimbangan.

Mengetahui perangkap ini (terutamanya yang biasa berkaitan salah faham penyusunan, pengendalian pendua, consumer lag, dan penggunaan Kafka secara berlebihan) membantu anda menggunakan Kafka dengan betul dan mengelakkan masalah sebenar yang menjebak ramai pengguna.

Kesedaran ini mencerminkan pengalaman Kafka yang praktikal.

Memandangkan Kafka mempunyai banyak perangkap halus dan biasa (salah faham partitioning/penyusunan, pengendalian pendua, consumer lag, penggunaan berlebihan, kesilapan operasi) yang menyebabkan masalah sebenar, dan memandangkan mengenali serta mengelakkannya membantu menggunakan Kafka dengan betul, memahami perangkap Kafka yang biasa ialah pengetahuan peringkat senior yang berharga — penting secara praktikal untuk mengelakkan kesilapan yang kerap (terutamanya berkaitan penyusunan, pendua/idempotensi, lag, dan penggunaan yang sesuai) yang menjebak pengguna Kafka, mencerminkan pengalaman praktikal, dan membantu menggunakan Kafka dengan betul serta boleh dipercayai dalam sistem sebenar.