Какие семантики доставки поддерживает Kafka (at-least-once, exactly-once)?

Question

Accepted Answer

Kafka поддерживает различные **гарантии доставки** — **at-most-once**, **at-least-once** и **exactly-once** — которые определяют, могут ли сообщения быть потеряны или продублированы. Понимание этих гарантий и способов их достижения важно для построения надежных систем.

## Три семантики доставки

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## Достижение гарантий

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## Практические рекомендации

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## Почему это важно

Понимание семантик доставки Kafka ценно, потому что **гарантии доставки определяют надежность** (могут ли сообщения быть потеряны или продублированы), поэтому понимание этих гарантий важно для построения надежных систем.

Выбор семантики доставки напрямую влияет на корректность.

Понимание **трех семантик доставки** — **at-most-once** (сообщения могут быть потеряны, но не продублированы, путем фиксации offset перед обработкой — для случаев, когда небольшие потери допустимы), **at-least-once** (сообщения никогда не теряются, но могут быть продублированы, путем фиксации после обработки, требуя идемпотентной обработки — частый, безопасный вариант по умолчанию) и **exactly-once** (каждое сообщение обработано ровно один раз, самый надежный, но сложный, требующий транзакций и идемпотентных производителей) — необходимо для понимания компромиссов надежности.

Понимание **способов достижения гарантий** — at-least-once путем обработки и последующей фиксации и создания **идемпотентных** потребителей (обработка дубликатов через ключи дедупликации и идемпотентные операции — практично и распространено) и exactly-once через transactional API Kafka и идемпотентного производителя (атомарное производство и фиксация offset), с важным замечанием, что exactly-once сложен и имеет накладные расходы, в то время как **at-least-once плюс идемпотентность часто проще и достаточно** — отражает практический подход.

Понимание **практических рекомендаций** — что большинство систем используют at-least-once плюс идемпотентную обработку (просто и надежно), используя exactly-once только когда дубликаты действительно неприемлемы и идемпотентность сложно реализовать, и используя producer acks для надежности — отражает здравый инженерный подход.

Ключевое понимание в том, что семантики доставки включают компромиссы (потери против дубликатов против сложности), и частый, практичный выбор — at-least-once с идемпотентностью, что связано с большей значимостью идемпотентности в распределенных системах.

Поскольку гарантии доставки определяют, могут ли сообщения быть потеряны или продублированы (напрямую влияя на надежность), и понимание семантик, способов их достижения (особенно at-least-once с идемпотентностью как практический вариант по умолчанию) и компромиссов важно для построения надежных систем, понимание семантик доставки Kafka является ценным, практически значимым знанием Kafka — центральным для надежности, важным для проектирования систем с правильными гарантиями (обычно at-least-once с идемпотентностью) и отражающим понимание, необходимое для построения надежных систем на базе Kafka.