Aħżen u agħmel query tal-istorja tat-tranżazzjonijiet għal mijiet ta' miljuni ta' kontijiet

Question

IT Interview Practice · Accepted Answer

**Ippartizzjona l-ledger skont il-kont u l-ħin, żomm data reċenti hot u data qadima cold, u ttratta r-rows bħala ledger immutabbli append-only — biex l-istorja ta' kont wieħed tkun biċċa żgħira u indexjata, qatt scan ta' biljuni ta' row.** L-access pattern huwa dejjem "kont wieħed, date range", allura ippartizzjona biex taqbel miegħu.

## Arkitettura

```text
Write ─▶ Ledger table (append-only, immutable)
          partition by (account_hash, month)
              │
     ┌────────┴─────────┐
  HOT tier            COLD tier
  last 3 mo           older
  Postgres/SSD        S3/Parquet, Glacier
     │                    │
  index-seek        keyset paginate ──▶ API (account+range)
```

## Kif jaħdem

- **Ippartizzjona skont il-kont + ħin.** Hashja l-account id f'N bucket, imbagħad agħmel range-partition skont ix-xahar. Query għal kont/xahar wieħed jolqot eżatt partition wieħed — id-DB jelimina l-bqija. Dan jillimita kull read irrispettivament mid-daqs totali.
- **Ledger immutabbli.** Qatt `UPDATE` ta' tranżazzjoni; il-korrezzjonijiet huma rows ġodda li jreġġgħu lura. Dan jagħti audit trail, replikazzjoni sikura, u jħallik tikkaċċja b'mod aggressiv (r-rows qatt ma jinbidlu).
- **Hot/cold tiering.** Żomm l-aħħar ~3 xhur fuq SSD/Postgres mgħaġġel għal reads b'latenza baxxa; dawwar partitions eqdem lejn **S3/Parquet** (interrogat permezz ta' Athena/Trino) jew Glacier. 95% tal-queries jolqtu data reċenti, allura ħafna mill-ħżin jista' jkun irħis.
- **Keyset pagination.** Paġna b'`WHERE (ts, id) < (:last_ts, :last_id) ORDER BY ts DESC LIMIT 50` — mhux `OFFSET`. Offset jagħmel scan u jarmi rows moqbuża; keyset ifittex l-index direttament, O(1) għal kull paġna.

## Perspettiva tal-intervista

L-intervistatur jgħarbel l-**għażla tal-partition-key** u l-**pagination**. Tweġibiet tajbin jgħidu "ippartizzjona skont il-kont"; tweġibiet eċċellenti jispjegaw **għaliex keyset jirbaħ OFFSET** f'paġni fondi, għaliex il-**ledger huwa immutabbli** (auditability, ebda lock contention), u kif it-**tiering** inaqqas il-kost. Nassa hija table ġgant wieħed b'composite index — jaħdem sakemm l-index ma jibqax joqgħod fir-RAM u kull read isir disk-bound.

## Trade-offs u fallimenti

- **Il-partition key diffiċli tinbidel.** Agħżel kont+ħin minn qabel; li terġa' tagħmel partition ta' mijiet ta' miljuni ta' row aktar tard huwa proġett ta' migrazzjoni.
- **Cross-account queries jbatu.** "Volum totali fuq il-kontijiet kollha" issa jinfirex fuq il-partitions — imbotta dawn lejn OLAP rollup minflok.
- **Cold reads huma bil-mod.** Li ġġib statement ta' 3 snin minn Glacier jieħu minuti; issettja l-aspettattivi tal-utent jew agħmel pre-warm fuq talba.
- **Hot partitions.** Kont whale jew ix-xahar kurrenti jista' jkun hotspot; sub-partition jew ikkaċċjah.
- **Meta le:** miljuni ta' row (mhux mijiet ta' miljuni) joqogħdu f'table indexjat wieħed ta' Postgres — tibnix tiering li mhux se jkollok bżonn. Aqbad dan fl-iskala fejn l-index ta' table wieħed jieqaf joqgħod fil-memorja.

Arkitettura

Kif jaħdem

Perspettiva tal-intervista

Trade-offs u fallimenti

Mistoqsijiet relatati