సందేశ సারణులు (message queues) అంటే ఏమిటి మరియు వాటిని ఎందుకు ఉపయోగించాలి?

Question

Accepted Answer

**సందేశ సారణులు** భాగాల మధ్య **అసమకాలిక కమ్యూనికేషన్** ను సક్షమ చేస్తాయి — ఉత్పాదకుడు సందేశలను సారణికి పంపుతాడు, మరియు వినియోగదారులు వాటిని తరువాత ప్రక్రియ చేస్తారు. వे భాగాలను విడదీస్తాయి, స్థితిస్థాపకతను మెరుగుపరుస్తాయి, లోడ్ స్పైక్‌లను నిర్వహిస్తాయి మరియు నేపథ్య ప్రక్రియను ప్రారంభం చేస్తాయి.

## సందేశ సారణులు ఏమి చేస్తాయి

```text
A MESSAGE QUEUE sits between producers and consumers:
  Producer → [QUEUE] → Consumer(s) process messages (asynchronously, at their own pace)
  → the producer doesn't wait for processing (sends and moves on)
  → messages are stored until processed (buffered)
→ ASYNCHRONOUS, decoupled communication.
```

## సందేశ సారణులను ఎందుకు ఉపయోగించాలి

```text
✓ DECOUPLING → producers and consumers are independent (don't need to know each other or
  be available at the same time) → flexible, resilient architecture
✓ LOAD LEVELING → the queue BUFFERS spikes → consumers process steadily (handle bursts
  without overwhelming the system)
✓ ASYNC / background processing → offload slow work (emails, image processing, reports)
  from the request path → fast responses
✓ RELIABILITY → messages persist until processed; retries on failure; not lost if a
  consumer is down
✓ SCALABILITY → add more consumers to process faster (parallel processing)
```

## సాధారణ నమూనాలు మరియు సాధనాలు

```text
→ TASK/JOB queues → background jobs (a worker processes them)
→ PUB/SUB → broadcast events to multiple subscribers
→ EVENT-DRIVEN architecture → services react to events asynchronously
Tools: RabbitMQ, AWS SQS, Kafka (streaming), Redis, etc.
⚠️ considerations: ordering, exactly-once vs at-least-once delivery, dead-letter queues
```

## ఇది ఎందుకు ముఖ్యమైనది

సందేశ సారణులను అర్థం చేసుకోవడం విలువైనది ఎందుకంటే అవి **స్కేలేబుల్, స్థితిస్థాపక, విడదీసిన సిస్టమ్‌లను నిర్మించడానికి ఒక ప్రాథమిక భాగం**, కాబట్టి ఇది ముఖ్యమైన సిస్టమ్-డిజైన్ జ్ఞానం.

సందేశ సారణులు **అసమకాలిక కమ్యూనికేషన్**ను సక్షమ చేస్తాయి (ఉత్పాదకులు సందేశలను పంపుతున్నారు, వినియోగదారులు తరువాత ప్రక్రియ చేస్తారు, సారణి వాటి మధ్య బఫర్ చేస్తుంది), అనేక ముఖ్యమైన అవసరాలను పరిష్కరిస్తుంది. **విడదీయడం** — ఉత్పాదకులు మరియు వినియోగదారులు స్వతంత్రమైనవి (ఒకరినొకరు తెలుసుకోవలసిన లేదా ఏకకాలంలో లభ్యమైనవి కాదు) — భాగాలు స్వతంత్రంగా విస్తరించుకోగలిన మరియు విఫలమయ్యే సgainsులమైన, స్థితిస్థాపక ఆర్కిటెక్చర్‌లను సక్షమ చేస్తుంది. **లోడ్ లెవలింగ్** — సారణి స్పైక్‌లను బఫర్ చేస్తుంది కాబట్టి వినియోగదారులు స్థిరంగా ప్రక్రియ చేస్తారు — సిస్టమ్‌లు విస్ఫోటనాలను నిర్వహించగలవు, ఇది ఒక ముఖ్యమైన స్థితిస్థాపకత ప్రయోజనం. **అసమకాలిక/నేపథ్య ప్రక్రియ** — నెమ్మదిగల పని (ఇమెయిల్‌లు, ఇమేజ్ ప్రాసెసింగ్, నివేదికలు) విన్నపపత్ర మార్గం నుండి అన్‌లోడ్ చేయడం — ప్రతిస్పందనలను వేగవంతంగా ఉంచుతుంది. **విశ్వసనీయత** — సందేశలు ప్రక్రియ చేయబడిన వరకు సంరక్షణ, పునర్ప్రయత్నాలతో, కాబట్టి ఒక వినియోగదారు క్రిందికి ఉంటే పని కోలిపోదు — దృఢతను మెరుగుపరుస్తుంది.

మరియు **స్కేలెబిలిటీ** — సమాంతర ప్రక్రియ కోసం వినియోగదారులను జోడించడం — పెరుగుతున్న లోడ్‌ను నిర్వహిస్తుంది.

ఈ ప్రయోజనాలను అర్థం చేసుకోవడం సందేశ సారణులు ఆధునిక సిస్టమ్ డిజైన్‌కు ఎందుకు కేంద్రీయమైనవి అని స్పష్టం చేస్తుంది.

**సాధారణ నమూనాలను** అర్థం చేసుకోవడం (నేపథ్య పని కోసం టాస్క్/జాబ్ సారణులు, ప్రసారణ కోసం pub/sub, ఈవెంట్-నడిచిన ఆర్కిటెక్చర్) మరియు సాధనాలు (RabbitMQ, SQS, Kafka, Redis), ప్లస్ పరిగణనలు (ఆర్డరింగ్, డెలివరీ గ్యారెంటీలు, డెడ-లెటర్ సారణులు), ఆచరణాత్మక ఆధారాన్ని అందిస్తుంది.

సందేశ సారణులు స్కేలేబుల్ సిస్టమ్‌లలో పునరావృత్తమైన, ముఖ్యమైన నిర్మాణ బ్లాక్.

సందేశ సారణులు విడదీయడం, లోడ్ లెవలింగ్, అసమకాలిక ప్రక్రియ, విశ్వసనీయత మరియు స్కేలెబిలిటీని సక్షమ చేస్తాయి కాబట్టి స్కేలేబుల్, స్థితిస్థాపక సిస్టమ్‌లకు అవసరమైనవి, మరియు అవి ఒక ప్రాథమిక సిస్టమ్-డిజైన్ నిర్మాణ బ్లాక్ కాబట్టి, మరియు అసమకాలిక కమ్యూనికేషన్ ద్వారా విడదీసిన, స్థితిస్థాపక, స్కేలేబుల్ సిస్టమ్‌లను నిర్మించడానికి ఇవి గుర్తించిన, ఈవెంట్-నడిచిన మరియు స్కేలేబుల్ ఆర్కిటెక్చర్‌లకు కేంద్రీయమైనవి, మరియు సిస్టమ్ డిజైన్ అంతటా పునరావృత్తమైన ఒక ముఖ్యమైన నిర్మాణ బ్లాక్ కాబట్టి, సందేశ సారణులను అర్థం చేసుకోవడం విలువైన, ఆచరణాత్మకంగా సంబంధితమైన సిస్టమ్-డిజైన్ జ్ఞానం.