Kafka च्या delivery semantics काय आहेत (at-least-once, exactly-once)?

Question

Accepted Answer

Kafka विविध **delivery guarantees** समर्थन करतो — **at-most-once**, **at-least-once**, आणि **exactly-once** — जे निर्धारित करतात की संदेश हरवले जाऊ शकतात किंवा डुप्लिकेट होऊ शकतात. हे समजून घेणे आणि कसे साधायचे हे विश्वसनीय प्रणाली तयार करण्यासाठी महत्त्वाचे आहे.

## तीन delivery semantics

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## Guarantees साधणे

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## व्यावहारिक मार्गदर्शन

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## हे का महत्त्वाचे आहे

Kafka च्या delivery semantics समजून घेणे मूल्यवान आहे कारण **delivery guarantees विश्वसनीयता निर्धारित करतात** (संदेश हरवले जाऊ शकतात किंवा डुप्लिकेट होऊ शकतात), त्यामुळे विश्वसनीय प्रणाली तयार करण्यासाठी हे समजून घेणे महत्त्वाचे आहे.

Delivery semantics ची निवड थेट शुद्धता प्रभावित करते.

**तीन delivery semantics** समजून घेणे — **at-most-once** (संदेश हरवले जाऊ शकतात पण डुप्लिकेट नाहीत, offset प्रक्रिया करण्यापूर्वी commit करून — जेव्हा अधूनमधून नुकसान स्वीकार्य आहे), **at-least-once** (संदेश कधीही हरवले नाहीत पण शक्य तितके डुप्लिकेट, प्रक्रिया केल्यानंतर commit करून, idempotent प्रक्रिया आवश्यक — सामान्य, सुरक्षित डिफॉल्ट), आणि **exactly-once** (प्रत्येक संदेश अगदी एकदा प्रक्रिया केला जातो, सर्वात मजबूत पण सर्वात कठीण, transactions आणि idempotent producers आवश्यक) — विश्वसनीयता व्यापार-बंद समजून घेण्यासाठी आवश्यक आहे.

**कसे guarantees साधायचे हे समजून घेणे** — at-least-once द्वारा प्रक्रिया करून commit करणे आणि consumers **idempotent** बनवणे (dedup keys आणि idempotent operations द्वारे duplicates हाताळणे — व्यावहारिक आणि सामान्य), आणि exactly-once via Kafka च्या transactional API आणि idempotent producer द्वारे (atomically producing आणि committing offsets), महत्त्वाचे सावधानीने की exactly-once जटिल आहे overhead सह तर **at-least-once plus idempotency अनेकदा सरल आणि पुरेसे आहे** — व्यावहारिक दृष्टिकोन प्रतिबिंबित करते.

**व्यावहारिक मार्गदर्शन** समजून घेणे — की बहुतेक प्रणाली at-least-once plus idempotent processing वापरतात (सरल आणि विश्वसनीय), exactly-once वापरून केवळ जेव्हा duplicates खरोखर अस्वीकार्य आहेत आणि idempotency कठीण आहे, आणि producer acks वापरून durability साठी — विवेकपूर्ण डिজाइन निर्णय प्रतिबिंबित करते.

मुख्य अंतर्दृष्टी अशी आहे की delivery semantics व्यापार-बंद समाविष्ट करतात (नुकसान vs duplicates vs complexity), आणि सामान्य, व्यावहारिक निवड at-least-once idempotency सह आहे, जो वितरित प्रणालींमधील idempotency च्या व्यापक महत्त्वाशी जोडला जातो.

जेव्हा delivery guarantees निर्धारित करतात की संदेश हरवले जाऊ शकतात किंवा डुप्लिकेट होऊ शकतात (थेट विश्वसनीयता प्रभावित करून) आणि semantics, कसे साधायचे (विशेषत: at-least-once idempotency सह व्यावहारिक डिफॉल्ट म्हणून), आणि व्यापार-बंद समजून घेणे विश्वसनीय प्रणाली तयार करण्यासाठी महत्त्वाचे आहे, Kafka च्या delivery semantics समजून घेणे मूल्यवान, व्यावहारिक Kafka ज्ञान आहे — विश्वसनीयतेसाठी मध्यवर्ती, योग्य guarantees सह प्रणाली डिजाइन करण्यासाठी महत्त्वाचे (सामान्यत: at-least-once idempotency सह), आणि विश्वसनीय Kafka-आधारित प्रणाली तयार करण्यासाठी आवश्यक समजून प्रतिबिंबित करते.