آپ ایک بڑے پیمانے پر نظام کو کیسے ڈیزائن کرتے ہیں (مثال کے طور پر سوشل میڈیا فیڈ)?

Question

Accepted Answer

ایک **بڑے پیمانے پر نظام** کو ڈیزائن کرنے میں بہت سے تصورات کو یکجا کرنا شامل ہے — بھاری پیمانے کو سنبھالنا، مناسب آرکیٹیکچر کا انتخاب، ڈیٹا بیسز، caching، اور trade-offs کو منیج کرنا۔ ایک concrete مثال (سوشل میڈیا فیڈ) استعمال کرتے ہوئے یہ واضح کیا جاتا ہے کہ یہ حصے کیسے اکٹھا کام کرتے ہیں۔

## مثال: سوشل میڈیا نیوز فیڈ

```text
Requirements: millions of users; post content; see a feed of followed users' posts;
  read-HEAVY (far more feed views than posts); low latency; high availability.

High-level components:
  → CLIENTS → LOAD BALANCER → APPLICATION servers (stateless, horizontally scaled)
  → DATABASES → user/post data (sharded); a graph of follows
  → CACHING (Redis) → hot feeds, posts, user data (crucial for read-heavy load)
  → CDN → media (images/videos)
  → MESSAGE QUEUES → async work (fan-out, notifications)
```

## اہم ڈیزائن فیصلہ: فیڈ جنریشن

```text
FAN-OUT ON WRITE (push) → when a user posts, push it to all followers' precomputed feeds:
  ✓ fast feed READS (precomputed)  ✗ expensive for users with millions of followers
    (write amplification)
FAN-OUT ON READ (pull) → build the feed when requested (query followed users' posts):
  ✓ cheap writes  ✗ slower reads (compute on demand)
HYBRID → push for most; pull for celebrities (huge followings) → balances the trade-offs
→ illustrates analyzing trade-offs for the specific scale/pattern.
```

## بلڈنگ بلاکس کو لاگو کرنا

```text
✓ SCALE → horizontal scaling (stateless app servers + load balancing)
✓ DATABASE → sharding (by user); replication (read scaling); right DB choice
✓ CACHING → aggressively cache feeds/posts (read-heavy → caching is critical)
✓ ASYNC → queues for fan-out, notifications; CDN for media
✓ TRADE-OFFS → consistency (eventual is OK for feeds), availability, latency
→ combine the concepts; justify decisions by requirements; address bottlenecks
```

## یہ کیوں اہم ہے

سمجھنا کہ بڑے پیمانے پر نظام کو کیسے ڈیزائن کریں یہ senior-level کا اہم علم ہے کیونکہ یہ **بہت سے system-design تصورات کو actual designs میں تبدیل کرتا ہے**، جو حتمی مقصد ہے اور ایک اہم مہارت ہے (اور عام interview چیلنج)، تو یہ حقیقی architectural صلاحیت کا مظاہرہ کرتا ہے۔

ایک بڑے پیمانے پر نظام (جیسے سوشل میڈیا فیڈ) کو ڈیزائن کرنے میں انفرادی تصورات کو یکجا کرنا درکار ہے — scaling، ڈیٹا بیسز، caching، async processing، اور trade-offs — ایک coherent design میں جو requirements کو پورا کرے، اور یہ دیکھنا کہ یہ کیسے اکٹھا آتے ہیں یہی ہے جو pieces کو سمجھنے کو systems architect کرنے سے الگ کرتا ہے۔

**مثال کا approach** (requirements کو واضح کرنا جیسے read-heavy load اور scale، high-level components کو ڈیزائن کرنا — load balancers، stateless app servers، sharded/replicated ڈیٹا بیسز، caching، CDN، queues — اور پھر اہم فیصلے) یہ synthesis کو واضح کرتا ہے۔

**اہم ڈیزائن فیصلہ کی مثال** (فیڈ جنریشن: **fan-out on write** تیز رفتار reads کے لیے لیکن بہت بڑی followings کے لیے مہنگا، **fan-out on read** سستے writes کے لیے لیکن سست reads، اور ایک **hybrid** ان کو متوازن کرتے ہوئے) یہ اہم مہارت کا مظاہرہ کرتا ہے **specific scale اور access patterns کے لیے trade-offs کا تجزیہ کرنا** — کوئی ایک صحیح جواب نہیں ہے، اور اچھا design requirements کے بارے میں reasoning سے آتا ہے۔

سمجھنا کہ **بلڈنگ بلاکس کو کیسے لاگو کریں** — stateless servers اور load balancing کے ساتھ horizontal scaling، database sharding اور replication، **aggressive caching** (read-heavy systems کے لیے اہم)، queues کے ذریعے async processing، media کے لیے CDNs، اور مناسب consistency trade-offs (eventual consistency feeds کے لیے ٹھیک ہے) — یہ دکھاتا ہے کہ تصورات ایک حقیقی design میں کیسے اکٹھا ہوتے ہیں۔

یہ synthesis system design کا جوہر ہے اور انفرادی تصورات سیکھنے کا مقصد ہے۔

چونکہ بڑے پیمانے پر نظام کو ڈیزائن کرنے کے لیے بہت سے system-design تصورات کو coherent designs میں synthesize کرنا ضروری ہے جو requirements کو پورا کریں (specific scale اور patterns کے لیے trade-offs کا تجزیہ کرتے ہوئے)، اور چونکہ یہ system design کا حتمی مقصد ہے اور ایک اہم مہارت ہے (اور عام interview چیلنج)، اور چونکہ مثال بلڈنگ بلاکس کو یکجا کرنے اور trade-offs کے بارے میں reasoning کو واضح کرتی ہے، سمجھنا کہ بڑے پیمانے پر نظام کو کیسے ڈیزائن کریں یہ senior-level کا اہم علم ہے — system-design تصورات کو حقیقی architectures میں synthesize کرنا، building blocks کو یکجا کرنے اور specific requirements کے لیے trade-offs کا تجزیہ کرنے کی صلاحیت کا مظاہرہ کرنا، اور architectural مہارت کو ظاہر کرنا جو system design سیکھنے کا مقصد ہے اور senior engineers کے لیے ایک اہم competency ہے۔