आप एक बड़े पैमाने का सिस्टम (जैसे सोशल मीडिया फ़ीड) कैसे डिज़ाइन करते हैं?

Question

Accepted Answer

एक **बड़े पैमाने का सिस्टम** डिज़ाइन करने में कई अवधारणाओं को जोड़ना शामिल है — विशाल पैमाने को संभालना, उपयुक्त आर्किटेक्चर, डेटाबेस, caching चुनना, और trade-offs का प्रबंधन। एक ठोस उदाहरण (एक सोशल मीडिया फ़ीड) का उपयोग दर्शाता है कि टुकड़े कैसे एक साथ आते हैं।

## उदाहरण: एक सोशल मीडिया न्यूज़ फ़ीड

```text
Requirements: millions of users; post content; see a feed of followed users' posts;
  read-HEAVY (far more feed views than posts); low latency; high availability.

High-level components:
  → CLIENTS → LOAD BALANCER → APPLICATION servers (stateless, horizontally scaled)
  → DATABASES → user/post data (sharded); a graph of follows
  → CACHING (Redis) → hot feeds, posts, user data (crucial for read-heavy load)
  → CDN → media (images/videos)
  → MESSAGE QUEUES → async work (fan-out, notifications)
```

## मुख्य डिज़ाइन निर्णय: फ़ीड generation

```text
FAN-OUT ON WRITE (push) → when a user posts, push it to all followers' precomputed feeds:
  ✓ fast feed READS (precomputed)  ✗ expensive for users with millions of followers
    (write amplification)
FAN-OUT ON READ (pull) → build the feed when requested (query followed users' posts):
  ✓ cheap writes  ✗ slower reads (compute on demand)
HYBRID → push for most; pull for celebrities (huge followings) → balances the trade-offs
→ illustrates analyzing trade-offs for the specific scale/pattern.
```

## Building blocks को लागू करना

```text
✓ SCALE → horizontal scaling (stateless app servers + load balancing)
✓ DATABASE → sharding (by user); replication (read scaling); right DB choice
✓ CACHING → aggressively cache feeds/posts (read-heavy → caching is critical)
✓ ASYNC → queues for fan-out, notifications; CDN for media
✓ TRADE-OFFS → consistency (eventual is OK for feeds), availability, latency
→ combine the concepts; justify decisions by requirements; address bottlenecks
```

## यह क्यों महत्वपूर्ण है

एक बड़े पैमाने का सिस्टम डिज़ाइन करना समझना महत्वपूर्ण senior-level ज्ञान है क्योंकि यह **कई system-design अवधारणाओं को वास्तविक डिज़ाइन में संश्लेषित करता है**, जो परम लक्ष्य और एक प्रमुख कौशल है (और एक सामान्य साक्षात्कार चुनौती), इसलिए यह वास्तविक architectural क्षमता प्रदर्शित करता है।

एक बड़े पैमाने का सिस्टम डिज़ाइन करना (जैसे एक सोशल मीडिया फ़ीड) के लिए अलग-अलग अवधारणाओं — scaling, databases, caching, async processing, और trade-offs — को आवश्यकताओं को पूरा करने वाले एक सुसंगत डिज़ाइन में जोड़ना आवश्यक है, और यह देखना कि वे कैसे एक साथ आते हैं, यही टुकड़ों को समझने को सिस्टम को architect करने में सक्षम होने से अलग करता है।

**उदाहरण दृष्टिकोण** (read-heavy load और scale जैसी आवश्यकताओं को स्पष्ट करना, high-level घटकों को डिज़ाइन करना — load balancers, stateless app servers, sharded/replicated databases, caching, CDN, queues — और फिर मुख्य निर्णय) संश्लेषण को दर्शाता है।

**मुख्य डिज़ाइन निर्णय उदाहरण** (फ़ीड generation: तेज़ reads के लिए लेकिन विशाल followings के लिए महंगा **fan-out on write**, सस्ते writes के लिए लेकिन धीमे reads के लिए **fan-out on read**, और उन्हें संतुलित करने वाला **hybrid**) **विशिष्ट scale और access patterns के लिए trade-offs का विश्लेषण करने** के महत्वपूर्ण कौशल को प्रदर्शित करता है — कोई एकल सही उत्तर नहीं है, और अच्छा डिज़ाइन आवश्यकताओं के बारे में तर्क करने से आता है।

**Building blocks को कैसे लागू करें** यह समझना — stateless सर्वरों और load balancing के साथ horizontal scaling, database sharding और replication, **aggressive caching** (read-heavy सिस्टम के लिए महत्वपूर्ण), queues के माध्यम से async processing, media के लिए CDNs, और उपयुक्त consistency trade-offs (फ़ीड के लिए eventual consistency ठीक होना) — दर्शाता है कि अवधारणाएं एक वास्तविक डिज़ाइन में कैसे जुड़ती हैं।

यह संश्लेषण system design का सार है और अलग-अलग अवधारणाओं को सीखने का लक्ष्य है।

चूंकि बड़े पैमाने के सिस्टम डिज़ाइन करने के लिए कई system-design अवधारणाओं को आवश्यकताओं को पूरा करने वाले सुसंगत डिज़ाइन में संश्लेषित करना आवश्यक है (विशिष्ट scale और patterns के लिए trade-offs का विश्लेषण), और चूंकि यह system design का परम लक्ष्य और एक प्रमुख कौशल है (और एक सामान्य साक्षात्कार चुनौती), और चूंकि उदाहरण building blocks को जोड़ना और trade-offs के बारे में तर्क करना दर्शाता है, एक बड़े पैमाने का सिस्टम डिज़ाइन करना समझना महत्वपूर्ण senior-level ज्ञान है — system-design अवधारणाओं को वास्तविक आर्किटेक्चर में संश्लेषित करना, building blocks को जोड़ने और विशिष्ट आवश्यकताओं के लिए trade-offs का विश्लेषण करने की क्षमता प्रदर्शित करना, और उस architectural कौशल को दर्शाता है जो system design सीखने का लक्ष्य है और senior इंजीनियरों के लिए एक प्रमुख दक्षता है।