Transakcijų istorijos saugojimas ir užklausa šimtams milijonų sąskaitų

Question

IT Interview Practice · Accepted Answer

**Skaidykite didžiąją knygą (ledger) pagal sąskaitą ir laiką, laikykite naujausius duomenis karštus, senus šaltus ir traktuokite eilutes kaip append-only nekintamą ledger — kad vienos sąskaitos istorija būtų mažas, indeksuotas pjūvis, o ne milijardų eilučių skenavimas.** Prieigos šablonas visada „viena sąskaita, datos intervalas", tad skaidykite jį atitinkant.

## Architektūra

```text
Write ─▶ Ledger table (append-only, immutable)
          partition by (account_hash, month)
              │
     ┌────────┴─────────┐
  HOT tier            COLD tier
  last 3 mo           older
  Postgres/SSD        S3/Parquet, Glacier
     │                    │
  index-seek        keyset paginate ──▶ API (account+range)
```

## Kaip tai veikia

- **Skaidykite pagal sąskaitą + laiką.** Hešuokite sąskaitos id į N kibirų, tada range-partition pagal mėnesį. Užklausa vienai sąskaitai/mėnesiui paliečia tiksliai vieną partition — DB apkarpo likusius. Tai apriboja kiekvieną skaitymą nepriklausomai nuo bendro dydžio.
- **Nekintamas ledger.** Niekada `UPDATE` transakcijos; pataisymai yra naujos atšaukiančios eilutės. Tai suteikia audito pėdsaką, saugią replikaciją ir leidžia agresyviai kešuoti (eilutės niekada nesikeičia).
- **Karšta/šalta pakopos.** Laikykite paskutinius ~3 mėnesius greitame SSD/Postgres mažai latency skaitymams; senesnes partition perkelkite į **S3/Parquet** (užklausiama per Athena/Trino) arba Glacier. 95% užklausų paliečia naujausius duomenis, tad dauguma saugyklos gali būti pigi.
- **Keyset puslapiavimas.** Puslapiuokite su `WHERE (ts, id) < (:last_ts, :last_id) ORDER BY ts DESC LIMIT 50` — ne `OFFSET`. Offset skenuoja ir atmeta praleistas eilutes; keyset ieško indekso tiesiogiai, O(1) puslapiui.

## Interviu perspektyva

Interviuotojas tiria **partition rakto pasirinkimą** ir **puslapiavimą**. Geri atsakymai sako „skaidyti pagal sąskaitą"; puikūs paaiškina, **kodėl keyset pranoksta OFFSET** giliuose puslapiuose, kodėl **ledger nekintamas** (auditingumas, jokios užrakto konkurencijos) ir kaip **tiering** mažina kainą. Spąstai — viena milžiniška lentelė su sudėtiniu indeksu — veikia, kol indeksas nebetelpa į RAM ir kiekvienas skaitymas tampa disku ribojamas.

## Kompromisai ir gedimai

- **Partition raktą sunku pakeisti.** Rinkitės sąskaitą+laiką iš anksto; 100+ milijonų eilučių re-partition vėliau yra migracijos projektas.
- **Cross-account užklausos kenčia.** „Bendra apyvarta per visas sąskaitas" dabar išsiplečia per partition — perkelkite tai į OLAP rollup.
- **Šalti skaitymai lėti.** 3 metų senumo išrašo paėmimas iš Glacier užtrunka minutes; nustatykite naudotojų lūkesčius arba pašildykite pagal poreikį.
- **Karštos partition.** Banginio (whale) sąskaita ar dabartinis mėnuo gali būti karštas taškas; sub-partition arba kešuokite.
- **Kada ne:** milijonai eilučių (ne šimtai milijonų) telpa vienoje indeksuotoje Postgres lentelėje — nekurkite tiering, kurio neprireiks. Griebkitės to tokiu mastu, kai vienos lentelės indeksas nustoja tilpti į atmintį.

Architektūra

Kaip tai veikia

Interviu perspektyva

Kompromisai ir gedimai

Susiję klausimai