Kif tagħmel shard ta' database għal 1 biljun utent?

Question

IT Interview Practice · Accepted Answer

Agħmel shard b'key li huwa **preżenti f'kważi kull query u jifrex il-load b'mod uniformi** — normalment `user_id` hashjat — imbagħad ippjana għal resharding u cross-shard queries mill-ewwel ġurnata. 1B utent ma joqogħdux jew ma jipperformjawx fuq node wieħed; taqsam ir-rows fuq ħafna databases u tidderieġi kull query lejn l-shard li jkun tiegħu.

```text
                 ┌──────────────┐
Request ─▶ Router/│ shard_of(key)│─▶ Shard 0  (users 0–…)
           Proxy  └──────────────┘   Shard 1
           (Vitess)      │           Shard 2
                         └─────────▶  Shard N   ← each = its own primary+replicas
Directory/lookup table (which key → which shard) ── for range or resharding
```

## Għażla tal-shard key — id-deċiżjoni li hija diffiċli treġġa' lura

Agħżel key b'**kardinalità għolja, distribuzzjoni uniformi, u preżenti f'ħafna queries**. `user_id` normalment jirbaħ: queries ibbażati fuq l-utent ("il-profil tiegħi, l-orders tiegħi") jolqtu eżatt shard wieħed. Key ħażin (eż. `country`) joħloq hotspots — shard wieħed iżomm l-Indja kollha filwaqt li ieħor joqgħod idle.

## Hash vs range

- **Hash sharding** (`shard = hash(user_id) % N`): jiddistribwixxi b'mod uniformi, joqtol hotspots — imma range queries ("utenti maħluqa l-ġimgħa li għaddiet") iridu jagħmlu scatter-gather fuq l-shards kollha.
- **Range sharding** (`user_id 0–1M → shard 0`): iżomm ir-ranges lokali u jagħmel ir-resharding eħfef, imma jirriskja hotspots (l-aktar utenti ġodda kollha jinżlu fuq l-aħħar shard).
- Tweġiba komuni: **hash għal load uniformi**, b'**lookup/directory table** biex tkun tista' ċċaqlaq ranges mingħajr ma terġa' tagħmel rehash ta' kollox.

## Resharding — ippjana qabel ma jkollok bżonn

`% N` huwa nassa: iż-żieda ta' shard wieħed terġa' timmappja kważi kull key. Uża **consistent hashing** jew **virtual buckets** (immappja keys → 4096 logical bucket → physical shards). Li taqsam shard imbagħad iċċaqlaq buckets, mhux il-keyspace kollu. Għodod bħal **Vitess** (użata minn YouTube/Slack) jawtomatizzaw resharding live b'cutover.

## Cross-shard queries

Kull ma mhux ibbażat fuq l-shard key huwa uġigħ: query globali ta' "top posts" tinfirex fuq kull shard u tingħaqad. Timmitiga billi **tiddenormalizza** jew iżżomm index/search store separat (Elasticsearch) għal reads trasversali.

## Perspettiva tal-intervista

L-intervistaturi jgħarblu jekk tifhimx li l-għażla tal-shard key hija **semi-permanenti** u jekk ħsibtx dwar **resharding u cross-shard joins** — iż-żewġ affarijiet li jaħsdu fil-produzzjoni. Tajjeb: "shard by user_id." Eċċellenti: issemmi consistent hashing, mitigazzjoni ta' hot-shard, u l-fatt li transactions distribwiti fuq l-shards huma aħjar evitati għalkollox.

**Nassa komuni:** `hash % N` b'N fiss — jagħmel it-tkabbir futur migrazzjoni sħiħa tad-data.

## Trade-offs u modi ta' fallimenti

- **ACID cross-shard mitluf:** ebda joins/transactions irħas fuq l-shards; uża sagas jew iddenormalizza.
- **Hot shard:** utent virali; sub-shard jew ikkaċċja dik l-entità.
- **Riskju ta' rebalancing:** migrazzjoni live trid tagħmel double-write u tivverifika qabel il-cutover.
- **Kost operattiv:** N shards × replicas = ħafna databases biex timmonitorja, tagħmel backup, u tagħmel failover.

Għażla tal-shard key — id-deċiżjoni li hija diffiċli treġġa' lura

Hash vs range

Resharding — ippjana qabel ma jkollok bżonn

Cross-shard queries

Perspettiva tal-intervista

Trade-offs u modi ta' fallimenti

Mistoqsijiet relatati