Bagaimana Anda merancang sistem skala besar (misalnya feed media sosial)?

Question

Accepted Answer

Merancang **sistem skala besar** melibatkan menggabungkan banyak konsep — menangani skala besar, memilih arsitektur yang tepat, database, caching, dan mengelola trade-off. Menggunakan contoh konkret (feed media sosial) menggambarkan bagaimana semua bagian bekerja bersama.

## Contoh: feed berita media sosial

```text
Requirements: millions of users; post content; see a feed of followed users' posts;
  read-HEAVY (far more feed views than posts); low latency; high availability.

High-level components:
  → CLIENTS → LOAD BALANCER → APPLICATION servers (stateless, horizontally scaled)
  → DATABASES → user/post data (sharded); a graph of follows
  → CACHING (Redis) → hot feeds, posts, user data (crucial for read-heavy load)
  → CDN → media (images/videos)
  → MESSAGE QUEUES → async work (fan-out, notifications)
```

## Keputusan desain utama: feed generation

```text
FAN-OUT ON WRITE (push) → when a user posts, push it to all followers' precomputed feeds:
  ✓ fast feed READS (precomputed)  ✗ expensive for users with millions of followers
    (write amplification)
FAN-OUT ON READ (pull) → build the feed when requested (query followed users' posts):
  ✓ cheap writes  ✗ slower reads (compute on demand)
HYBRID → push for most; pull for celebrities (huge followings) → balances the trade-offs
→ illustrates analyzing trade-offs for the specific scale/pattern.
```

## Menerapkan building blocks

```text
✓ SCALE → horizontal scaling (stateless app servers + load balancing)
✓ DATABASE → sharding (by user); replication (read scaling); right DB choice
✓ CACHING → aggressively cache feeds/posts (read-heavy → caching is critical)
✓ ASYNC → queues for fan-out, notifications; CDN for media
✓ TRADE-OFFS → consistency (eventual is OK for feeds), availability, latency
→ combine the concepts; justify decisions by requirements; address bottlenecks
```

## Mengapa ini penting

Memahami cara merancang sistem skala besar adalah pengetahuan tingkat senior yang penting karena **mensintesis banyak konsep system design ke dalam desain aktual**, yang merupakan tujuan akhir dan keterampilan kunci (serta tantangan wawancara umum), sehingga menunjukkan kemampuan arsitektur nyata.

Merancang sistem skala besar (seperti feed media sosial) memerlukan menggabungkan konsep-konsep individual — scaling, database, caching, async processing, dan trade-off — ke dalam desain yang kohesif yang memenuhi requirements, dan melihat bagaimana mereka bekerja bersama adalah apa yang membedakan pemahaman potongan-potongan dari kemampuan untuk merancang arsitektur sistem.

**Pendekatan contoh** (memperjelas requirements seperti beban read-heavy dan skala, merancang komponen tingkat tinggi — load balancer, stateless app server, database yang di-shard/replicated, caching, CDN, queue — dan kemudian keputusan-keputusan kunci) menggambarkan sintesis.

**Contoh keputusan desain utama** (feed generation: **fan-out on write** untuk pembacaan cepat tetapi mahal untuk pengikut yang sangat besar, **fan-out on read** untuk penulisan murah tetapi pembacaan lebih lambat, dan **hybrid** yang menyeimbangkan keduanya) menunjukkan keterampilan krusial dari **menganalisis trade-off untuk skala dan pola akses spesifik** — tidak ada satu jawaban yang benar, dan desain yang baik berasal dari penalaran tentang requirements.

Memahami cara **menerapkan building block** — horizontal scaling dengan stateless server dan load balancing, database sharding dan replication, **aggressive caching** (kritis untuk sistem read-heavy), async processing melalui queue, CDN untuk media, dan trade-off consistency yang sesuai (eventual consistency cukup baik untuk feed) — menunjukkan bagaimana konsep-konsep bergabung ke dalam desain nyata.

Sintesis ini adalah esensi dari system design dan tujuan dari mempelajari konsep-konsep individual.

Karena merancang sistem skala besar memerlukan mensintesis banyak konsep system design ke dalam desain kohesif yang memenuhi requirements (menganalisis trade-off untuk skala dan pola spesifik), dan karena ini adalah tujuan akhir dari system design dan keterampilan kunci (serta tantangan wawancara umum), dan karena contoh menggambarkan menggabungkan building block dan penalaran tentang trade-off, memahami cara merancang sistem skala besar adalah pengetahuan tingkat senior yang penting — mensintesis konsep-konsep system design ke dalam arsitektur nyata, menunjukkan kemampuan untuk menggabungkan building block dan menganalisis trade-off untuk requirements spesifik, dan mencerminkan keterampilan arsitektur yang merupakan tujuan dari mempelajari system design dan kompetensi kunci bagi engineer senior.