Buni real-time leaderboard kwa wachezaji milioni

Question

IT Interview Practice · Accepted Answer

**Tumia Redis sorted set (ZSET) iliyowekwa key kwa score: rank na top-N huwa operations za O(log N) zilizojengwa ndani, hivyo kamwe husort rows milioni kwa kila request.** ZSET huweka members zikiwa zimepangwa kwa score kiotomatiki; hicho ndicho hasa leaderboard ni.

## Usanifu

```text
Game svc ──ZADD score──▶ Redis ZSET (sorted by score) ──ZREVRANGE 0 99──▶ Top-100 API
                              │
                              ├─ ZREVRANK user ─▶ "your rank" (around-me: rank±5)
                              └─ AOF/RDB + async ─▶ Postgres (durable source of truth)
```

## Jinsi inavyofanya kazi

- **ZADD** huupsert score ya mchezaji katika O(log N). Redis hudumisha mpangilio kupitia **skip list**, hivyo hakuna re-sort inayohitajika.
- **Top-N**: `ZREVRANGE board 0 99 WITHSCORES` hurudisha top 100 katika O(log N + 100).
- **Rank yako**: `ZREVRANK board user` hutoa position ya 0-based; **around-me** ni `ZREVRANGE rank-5 rank+5` — slice ya wachezaji karibu nawe.
- **Durability**: Redis ni in-memory. Wezesha **AOF** (append-only file) kwa replay, na kwa njia ya asynchronous mirror scores kwenda **Postgres** kama system of record halisi, ili kupoteza kwa Redis kuweze kurekebishwa.

## Sharding kwa watumiaji milioni

ZSET moja hushikilia makumi ya mamilioni ya members vizuri (memory-bound, ~100MB kwa entries milioni 1). Zaidi ya hapo, au kwa global scale, **shard kwa score range** (0–1k, 1k–10k…) ili kila shard iwe band iliyounganika — global top-N husoma top shard tu. Epuka kushard kwa user hash: kuunganisha ranks kuvuka shards za bahati nasibu ni ghali.

## Mtazamo wa mahojiano

Mhojiwa anataka kukuona **ukikimbilia data structure sahihi** badala ya `ORDER BY score LIMIT 100` kwenye SQL (ambayo husort upya kwa kila hit na hufa chini ya write load). Majibu mazuri hutaja ZSET; bora sana hufunika **around-me queries, ties, persistence, na shard strategy**. Mtego wa kawaida: kusahau Redis ni volatile na kuitendea kama source of truth — restart hufuta board isipokuwa AOF/RDB au DB mirror ipo.

## Maelewano na hitilafu

- **Ties.** Scores sawa hupangwa kwa member kileksikografia, ambayo huonekana kwa nasibu. Weka tiebreaker ndani ya score (mfano `score * 1e13 - timestamp`) ili waliofanikiwa mapema wapange juu zaidi.
- **Hot key.** Global ZSET moja ni key moja kwenye shard moja — write hotspot. Buffer/batch `ZADD`s, au tumia time-bucketed boards (za kila siku/wiki) kusambaza load.
- **Consistency.** Reads zinaweza kuchelewa nyuma ya async DB mirror kwa sekunde — sawa kwa leaderboards, si kwa payouts; linganisha kutoka Postgres kabla ya kutoa zawadi.
- **Gharama ya memory.** Mamilioni ya members hugharimu RAM halisi; expire seasonal boards kwa TTLs.
- **Wakati usifanye:** leaderboard ya maelfu machache iliyorefresh kila dakika ni sawa kama cached SQL query — Redis ZSET hung'aa wakati writes ni za mara kwa mara na rank lazima iwe papo hapo.

Usanifu

Jinsi inavyofanya kazi

Sharding kwa watumiaji milioni

Mtazamo wa mahojiano

Maelewano na hitilafu

Maswali yanayohusiana