Kafka को delivery semantics (at-least-once, exactly-once) के हुन्?

Question

Accepted Answer

Kafka ले विभिन्न **delivery guarantees** समर्थन गर्दछ — **at-most-once**, **at-least-once**, र **exactly-once** — जसले सन्देशहरू हराउन वा दोहोरिन सकेन कि भनी निर्धारण गर्दछ। यी बुझ्ने र कसरी यी प्राप्त गर्ने भनेर जान्नु विश्वस्त प्रणालीहरू निर्माण गर्नको लागि महत्त्वपूर्ण छ।

## तीन delivery semantics

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## Guarantees प्राप्त गर्दै

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## व्यावहारिक निर्देशन

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## किन महत्त्वपूर्ण छ

Kafka को delivery semantics बुझ्नु मूल्यवान छ किनभने **delivery guarantees विश्वसनीयता निर्धारण गर्दछ** (सन्देशहरू हराउन वा दोहोरिन सकेन कि सक्दछ), त्यसैले यी बुझ्नु विश्वस्त प्रणालीहरू निर्माण गर्नको लागि महत्त्वपूर्ण छ।

Delivery semantics को छनोट सिधै सटीकतालाई असर गर्दछ।

**तीन delivery semantics** बुझ्नु आवश्यक छ — **at-most-once** (सन्देशहरू हराउन सकेन तर दोहोरिन सक्दैनन्, offset commit गरेर प्रशोधन गर्नु अघि — जब कहिलेकाहीँ हानि स्वीकार्य हो), **at-least-once** (सन्देशहरू कहिल्यै हराउँदैनन् तर सम्भवतः दोहोरिन सकेन, प्रशोधन पछि commit गरेर, idempotent प्रशोधन आवश्यक पर्दछ — सामान्य, सुरक्षित पूर्वनिर्धारण), र **exactly-once** (प्रत्येक सन्देश ठीक एक पल प्रशोधित, सबैभन्दा शक्तिशाली तर कठिन, लेनदेन र idempotent producers आवश्यक पर्दछ) — विश्वसनीयता व्यापार-अफलाइ बुझ्नको लागि आवश्यक छ।

**कसरी guarantees प्राप्त गर्ने भनेर** बुझ्नु — at-least-once द्वारा प्रशोधन गरेर पछि commit गर्नु र consumers को **idempotent** बनाउनु (duplicate हरूलाई dedup keys र idempotent operations मार्फत संभाल्नु — व्यावहारिक र सामान्य), र exactly-once Kafka को transactional API र idempotent producer मार्फत (producing र offsets commit atomically गर्नु), महत्त्वपूर्ण सावधानीसहित कि exactly-once जटिल छ overhead सहित जबकि **at-least-once plus idempotency प्राय: सरल र पर्याप्त हो** — व्यावहारिक दृष्टिकोण प्रतिबिम्बित गर्दछ।

**व्यावहारिक निर्देशन** बुझ्नु — अधिकांश प्रणालीहरू at-least-once plus idempotent processing (सरल र विश्वस्त) प्रयोग गर्दछन्, exactly-once मात्र तब प्रयोग गर्दछन् जब duplicates साँच्चै अस्वीकार्य छ र idempotency गर्न कठिन छ, र durability को लागि producer acks प्रयोग गर्दछन् — ठोस डिजाइन निर्णय प्रतिबिम्बित गर्दछ।

मुख्य अन्तर्दृष्टि यो हो कि delivery semantics ले व्यापार-अफलाइ समावेश गर्दछ (हानि बनाम duplicates बनाम जटिलता), र सामान्य, व्यावहारिक छनोट at-least-once with idempotency हो, जो वितरित प्रणालीहरूमा idempotency को विस्तृत महत्त्वसँग जोडिन्छ।

Delivery guarantees यो निर्धारण गर्दछ कि सन्देशहरू हराउन वा दोहोरिन सकेन (विश्वसनीयतालाई सिधै असर गर्दछ) र semantics, तिनीहरूलाई कसरी प्राप्त गर्ने (विशेषतः at-least-once with idempotency को रूप में व्यावहारिक पूर्वनिर्धारण), र व्यापार-अफलाइ बुझ्नु विश्वस्त प्रणालीहरू निर्माण गर्नको लागि महत्त्वपूर्ण छ, Kafka को delivery semantics बुझ्नु मूल्यवान, व्यावहारिक-महत्त्वपूर्ण Kafka ज्ञान हो — विश्वसनीयताको लागि केन्द्रीय, सही guarantees (सामान्यतः at-least-once with idempotency) को साथ प्रणालीहरू डिजाइन गर्नको लागि महत्त्वपूर्ण, र विश्वस्त Kafka-आधारित प्रणालीहरू निर्माण गर्नको लागि आवश्यक समझ प्रतिबिम्बित गर्दछ।