Shranjujte in poizvedujte zgodovino transakcij za stotine milijonov računov

Question

IT Interview Practice · Accepted Answer

**Particionirajte glavno knjigo (ledger) po računu in času, ohranjajte nedavne podatke vroče in stare hladne ter obravnavajte vrstice kot append-only nespremenljivo glavno knjigo — tako da je zgodovina posameznega računa majhna, indeksirana rezina, nikoli skeniranje milijard vrstic.** Vzorec dostopa je vedno "en račun, obseg datumov", zato particionirajte tako, da se ujema s tem.

## Arhitektura

```text
Write ─▶ Ledger table (append-only, immutable)
          partition by (account_hash, month)
              │
     ┌────────┴─────────┐
  HOT tier            COLD tier
  last 3 mo           older
  Postgres/SSD        S3/Parquet, Glacier
     │                    │
  index-seek        keyset paginate ──▶ API (account+range)
```

## Kako deluje

- **Particioniraj po računu + času.** Hashirajte id računa v N segmentov, nato obsegovno particionirajte po mesecu. Poizvedba za en račun/mesec zadene natanko eno particijo — DB obreže ostale. To omeji vsako branje ne glede na skupno velikost.
- **Nespremenljiva glavna knjiga.** Nikoli ne `UPDATE`-ajte transakcije; popravki so nove obratne (reversing) vrstice. To daje revizijsko sled (audit trail), varno replikacijo in omogoča agresivno predpomnjenje (vrstice se nikoli ne spremenijo).
- **Vroča/hladna večnivojskost (hot/cold tiering).** Ohranjajte zadnje ~3 mesece na hitrem SSD/Postgres za nizko-latenčna branja; prevalite starejše particije v **S3/Parquet** (poizvedovan prek Athena/Trino) ali Glacier. 95% poizvedb zadene nedavne podatke, zato je večina shrambe lahko poceni.
- **Keyset paginiranje.** Paginirajte z `WHERE (ts, id) < (:last_ts, :last_id) ORDER BY ts DESC LIMIT 50` — ne `OFFSET`. Offset skenira in zavrže preskočene vrstice; keyset se poišče (seek) neposredno v indeksu, O(1) na stran.

## Pogled s stališča razgovora

Izpraševalec preverja **izbiro particijskega ključa** in **paginiranje**. Dobri odgovori rečejo "particioniraj po računu"; odlični pojasnijo, **zakaj keyset premaga OFFSET** pri globokih straneh, zakaj je **glavna knjiga nespremenljiva** (revizljivost, brez tekmovanja za locke) in kako **večnivojskost** zniža strošek. Past je ena orjaška tabela s sestavljenim (composite) indeksom — deluje, dokler indeks ne odneha ujeti v RAM in vsako branje postane odvisno od diska.

## Kompromisi in odpovedi

- **Particijski ključ je težko spremeniti.** Izberite račun+čas vnaprej; ponovno particioniranje sto milijonov vrstic pozneje je migracijski projekt.
- **Medračunske poizvedbe trpijo.** "Skupni obseg čez vse račune" se zdaj razprši čez particije — te potisnite v OLAP rollup.
- **Hladna branja so počasna.** Pridobivanje 3 leta starega izpiska iz Glacierja traja minute; nastavite pričakovanja uporabnikov ali predogrejte na zahtevo.
- **Vroče particije.** Kit (whale) račun ali tekoči mesec je lahko vroča točka; pod-particionirajte ali predpomnite.
- **Kdaj ne:** milijoni vrstic (ne stotine milijonov) se ujamejo v eno indeksirano Postgres tabelo — ne gradite večnivojskosti, ki je ne boste potrebovali. Posezite po tem v obsegu, ko indeks ene tabele neha ujeti v pomnilnik.

Arhitektura

Kako deluje

Pogled s stališča razgovora

Kompromisi in odpovedi

Povezana vprašanja