লক্ষ লক্ষ player-এর জন্য একটি real-time leaderboard ডিজাইন করুন

Question

IT Interview Practice · Accepted Answer

**score দিয়ে key করা একটি Redis sorted set (ZSET) ব্যবহার করুন: rank ও top-N হয়ে যায় O(log N) built-in operation, তাই আপনি কখনও প্রতি request-এ লক্ষ লক্ষ row sort করেন না।** একটি ZSET member-দের স্বয়ংক্রিয়ভাবে score অনুযায়ী ordered রাখে; একটি leaderboard ঠিক তাই।

## আর্কিটেকচার

```text
Game svc ──ZADD score──▶ Redis ZSET (sorted by score) ──ZREVRANGE 0 99──▶ Top-100 API
                              │
                              ├─ ZREVRANK user ─▶ "your rank" (around-me: rank±5)
                              └─ AOF/RDB + async ─▶ Postgres (durable source of truth)
```

## কীভাবে কাজ করে

- **ZADD** একটি player-এর score O(log N)-এ upsert করে। Redis একটি **skip list**-এর মাধ্যমে order বজায় রাখে, তাই কোনো re-sort লাগে না।
- **Top-N**: `ZREVRANGE board 0 99 WITHSCORES` O(log N + 100)-এ top 100 রিটার্ন করে।
- **আপনার rank**: `ZREVRANK board user` 0-based position দেয়; **around-me** হলো `ZREVRANGE rank-5 rank+5` — আপনার কাছাকাছি player-দের slice।
- **Durability**: Redis in-memory। replay-এর জন্য **AOF** (append-only file) চালু করুন, এবং সত্যিকারের system of record হিসেবে asynchronously score-গুলো **Postgres**-এ mirror করুন, যাতে একটি Redis loss recoverable হয়।

## লক্ষ লক্ষ ইউজারের জন্য sharding

একটি ZSET কয়েক দশ মিলিয়ন member ভালোভাবেই ধরে (memory-bound, ১M entry-র জন্য ~১০০MB)। তার বাইরে, বা global scale-এর জন্য, **score range দিয়ে shard করুন** (0–1k, 1k–10k…) যাতে প্রতিটি shard একটি contiguous band — একটি global top-N কেবল top shard পড়ে। user hash দিয়ে sharding এড়ান: random shard জুড়ে rank পুনরায় একত্র করা ব্যয়বহুল।

## ইন্টারভিউ দৃষ্টিভঙ্গি

ইন্টারভিউয়ার দেখতে চান আপনি SQL-এ `ORDER BY score LIMIT 100`-এর (যা প্রতি hit-এ re-sort করে এবং write load-এ মরে) বদলে **সঠিক data structure-এর দিকে হাত বাড়ান** কিনা। ভালো উত্তর ZSET নাম ধরে বলে; দারুণ উত্তর **around-me query, tie, persistence ও shard strategy** cover করে। একটি ক্লাসিক ফাঁদ: ভুলে যাওয়া যে Redis volatile এবং এটিকে source of truth হিসেবে গণ্য করা — AOF/RDB বা একটি DB mirror না থাকলে একটি restart board মুছে দেয়।

## ট্রেড-অফ ও ব্যর্থতা

- **Tie.** সমান score member অনুযায়ী lexicographically order হয়, যা random দেখায়। score-এ একটি tiebreaker encode করুন (যেমন `score * 1e13 - timestamp`) যাতে আগের অর্জনকারীরা উঁচুতে rank পায়।
- **Hot key.** একটি একক global ZSET একটি shard-এ একটি key — একটি write hotspot। `ZADD`-গুলো buffer/batch করুন, বা load ছড়াতে time-bucketed board (daily/weekly) ব্যবহার করুন।
- **Consistency.** Read async DB mirror থেকে সেকেন্ড পিছিয়ে থাকতে পারে — leaderboard-এর জন্য ঠিক, payout-এর জন্য নয়; পুরস্কার দেওয়ার আগে Postgres থেকে reconcile করুন।
- **Memory খরচ.** লক্ষ লক্ষ member সত্যিকারের RAM খরচ করে; TTL দিয়ে seasonal board expire করুন।
- **কখন নয়:** প্রতি মিনিটে refresh হওয়া কয়েক হাজারের একটি leaderboard একটি cached SQL query হিসেবে ঠিক — Redis ZSET জ্বলে ওঠে যখন write ধ্রুবক এবং rank অবশ্যই তাৎক্ষণিক হতে হবে।

আর্কিটেকচার

কীভাবে কাজ করে

লক্ষ লক্ষ ইউজারের জন্য sharding

ইন্টারভিউ দৃষ্টিভঙ্গি

ট্রেড-অফ ও ব্যর্থতা

সম্পর্কিত প্রশ্ন