Conas a oibríonn próiseáil go díreach-uair amháin in Kafka?

Question

Accepted Answer

**Séimeantaic go díreach-uair amháin (EOS)** a dhéanann a chinntiú go ndéantar gach teachtaireacht a phróiseáil go díreach uair amháin — gan chailleadh, gan dhúbailteagáin — fiú le teipthe agus atrialacha. Baineann Kafka seo amach trí **táirgeoirí neamhspleách** agus **idirbhuain**, cé go bhfuil sé casta agus go bhfuil forneart air.

## An dúshlán

```text
Exactly-once is HARD in distributed systems (failures, retries, duplicates are inevitable):
  → producer retries → duplicate messages; consumer reprocessing → duplicate effects
  → naive at-least-once → duplicates; at-most-once → loss
→ exactly-once requires careful mechanisms to avoid BOTH loss AND duplicates.
```

## Conas a bhíonn sé ar siúl ag Kafka

```text
1. IDEMPOTENT PRODUCER (enable.idempotence=true):
  → the producer dedupes retries (sequence numbers per partition) → producing the same
    message twice (due to a retry) results in ONE write (no duplicates from retries)
2. TRANSACTIONS:
  → group writes (and consumer offset commits) into an ATOMIC transaction → all succeed
    or all roll back
  → enables "consume-process-produce" atomically: read, process, write results + commit
    offsets together → exactly-once across the pipeline (within Kafka)
→ Kafka Streams uses these for end-to-end exactly-once processing
```

## Scóp agus malartuithe

```text
⚠️ Exactly-once is WITHIN KAFKA (consume-process-produce to Kafka):
  → EXTERNAL side effects (e.g. writing to an external DB, calling an API) aren't covered →
    still need idempotency for those
⚠️ Has OVERHEAD (transactions, coordination) → performance cost
→ often AT-LEAST-ONCE + idempotent processing is simpler and sufficient → use exactly-once
  when truly needed (duplicates unacceptable and idempotency hard)
```

## Cén fáth a bhíonn tábhacht aici

Tá tuiscint ar conas a oibríonn próiseáil go díreach-uair amháin in Kafka ina eolas bailíochtúil do thréimhsí sinsearacha toisc **go bhfuil dírithe go díreach-uair amháin ina ráthaíochta thábhachtach ach go minic a thuigtear go mícheart**, agus go léiríonn tuiscint ar conas a oibríonn sé agus ar a theorainneacha eolas níos domhain ar Kafka.

Tá séimeantaic go díreach-uair amháin (gan chailleadh, gan dhúbailteagáin in ainneoin theipthe) inmhianaithe ach an-dhian ar fhírinne i gcóras dáilte áit a bhíonn atrialacha agus dúbailteagáin ionramhálach, agus tá tuiscint ar conas a bhíonn Kafka ag fáil a bhaint amach (agus a theorainneacha) ina eolas soifhisticiúil.

Tuiscint ar **an dúshlán** — go bhfuileann go díreach-uair amháin de dhíth maidir le cailleadh agus dúbailteagáin araile a bhé ar leataobh in ainneoin theipthe agus atrialacha ionramhálach — cuimsíonn sé cén fáth atá sé deacair.

Tuiscint ar **conas a bhíonn Kafka ag fáil a bhaint amach** — **táirgeoirí neamhspleách** (atógáil ar atrialacha trí uimhreacha sraithe ionas go mbíonn dúbailteagáin d'atrialacha ina gceann amháin scríofa) agus **idirbhuain** (grúpáil scríobhanna agus tiomantas imeallóide go neamhspleách, a chumasú an patrún