Apa sajakah semantik pengiriman Kafka (at-least-once, exactly-once)?

Question

Accepted Answer

Kafka mendukung **jaminan pengiriman** yang berbeda — **at-most-once**, **at-least-once**, dan **exactly-once** — yang menentukan apakah pesan dapat hilang atau terduplikasi. Memahami hal ini dan cara mencapainya penting untuk membangun sistem yang andal.

## Tiga semantik pengiriman

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## Mencapai jaminan tersebut

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## Panduan praktis

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## Mengapa ini penting

Memahami semantik pengiriman Kafka berharga karena **jaminan pengiriman menentukan keandalan** (apakah pesan dapat hilang atau terduplikasi), jadi memahami hal ini penting untuk membangun sistem yang andal.

Pilihan semantik pengiriman secara langsung mempengaruhi kebenaran.

Memahami **tiga semantik pengiriman** — **at-most-once** (pesan mungkin hilang tetapi tidak terduplikasi, dengan melakukan commit offset sebelum pemrosesan — untuk ketika kehilangan sesekali dapat diterima), **at-least-once** (pesan tidak pernah hilang tetapi mungkin terduplikasi, dengan melakukan commit setelah pemrosesan, memerlukan pemrosesan yang idempoten — standar yang umum dan aman), dan **exactly-once** (setiap pesan diproses persis sekali, yang terkuat tetapi tersulit, memerlukan transaksi dan producer yang idempoten) — adalah penting untuk memahami trade-off keandalan.

Memahami **cara mencapai jaminan tersebut** — at-least-once dengan memproses lalu melakukan commit dan membuat consumer **idempoten** (menangani duplikat melalui kunci dedup dan operasi idempoten — praktis dan umum), dan exactly-once melalui API transaksional Kafka dan producer idempoten (menghasilkan dan melakukan commit offset secara atomik), dengan caveat penting bahwa exactly-once kompleks dengan overhead sementara **at-least-once ditambah idempotency seringkali lebih sederhana dan cukup** — mencerminkan pendekatan praktis.

Memahami **panduan praktis** — bahwa sebagian besar sistem menggunakan at-least-once ditambah pemrosesan idempoten (sederhana dan andal), menggunakan exactly-once hanya ketika duplikat benar-benar tidak dapat diterima dan idempotency sulit, dan menggunakan producer acks untuk durabilitas — mencerminkan penilaian desain yang solid.

Wawasan kunci adalah bahwa semantik pengiriman melibatkan trade-off (kehilangan vs duplikat vs kompleksitas), dan pilihan yang umum dan praktis adalah at-least-once dengan idempotency, yang terhubung dengan pentingnya idempotency yang lebih luas dalam sistem terdistribusi.

Karena jaminan pengiriman menentukan apakah pesan dapat hilang atau terduplikasi (secara langsung mempengaruhi keandalan) dan memahami semantik, cara mencapainya (khususnya at-least-once dengan idempotency sebagai standar praktis), dan trade-off adalah penting untuk membangun sistem yang andal, memahami semantik pengiriman Kafka adalah pengetahuan Kafka yang berharga dan praktis — pusat untuk keandalan, penting untuk merancang sistem dengan jaminan yang tepat (umumnya at-least-once dengan idempotency), dan mencerminkan pemahaman yang diperlukan untuk membangun sistem berbasis Kafka yang andal.