Kaip suskaidyti (partition) vieną lentelę su milijardais eilučių?

Question

IT Interview Practice · Accepted Answer

**Suskaidykite milžinišką lentelę į mažesnes fizines vaikines lenteles pagal partition raktą, kad kiekviena užklausa liestų tik jai reikalingas partition (partition pruning), o ne skenuotų milijardus eilučių.** Lentelė su 5 mlrd. užsakymų eilučių vis tiek elgiasi kaip viena loginė lentelė, bet variklis praleidžia 99% jos, kai jūsų `WHERE` filtruoja pagal partition raktą.

## Suskaidytos lentelės forma

```text
                 orders (logical parent)
                        │  partition key = created_at
       ┌────────────────┼────────────────┬───────────────┐
       ▼                ▼                ▼               ▼
 orders_2024_q1   orders_2024_q2   orders_2024_q3   orders_2025_q1
  (child table)    (child table)    (child table)    (child, active)
       │                                                  │
   local index                                        local index
   (per child)                                        (per child)
```

## Partition strategijos pasirinkimas

- **Range** — pagal datos/id intervalus. Geriausia laiko eilutėms (užsakymai, žurnalai, įvykiai); naujausi duomenys lieka karšti, o senus intervalus lengva numesti.
- **Hash** — tolygus paskirstymas per N partition pagal `hash(key) % N`. Naudokite, kai nėra natūralaus intervalo ir norite subalansuotos apkrovos (pvz. `user_id`).
- **List** — aiškūs kibirai (`region IN ('EU','US')`). Tinka tenant ar regiono izoliacijai.

```sql
-- Postgres: range partition by month, prune on created_at
CREATE TABLE orders (id bigint, created_at date, amount numeric)
  PARTITION BY RANGE (created_at);

CREATE TABLE orders_2025_01 PARTITION OF orders
  FOR VALUES FROM ('2025-01-01') TO ('2025-02-01');

-- This scans ONLY orders_2025_01, not the whole table
SELECT sum(amount) FROM orders
 WHERE created_at >= '2025-01-01' AND created_at < '2025-02-01';
```

## Pruning, indeksai, priežiūra

- **Partition pruning** veikia tik jei užklausa filtruoja pagal **partition raktą**. Filtruokite pagal ką nors kita ir skenuosite kiekvieną partition — #1 klaida.
- **Local index** = vienas indeksas vaikui (nutylėjimas Postgres); pigu kurti ir numesti su partition. **Global index** (Oracle) apima visas partition — padeda unikalioms paieškoms per partition, bet turi būti perkurtas numetus vieną.
- **Priežiūra** tampa O(partition): archyvuokite senus duomenis su `DROP TABLE orders_2019` (akimirksniu, jokio milžiniško `DELETE`), ir `ATTACH`/`DETACH` slenkantiems langams.

## Interviu perspektyva

Interviuotojas tiria, ar suprantate, kad **partitioning nėra indeksavimas** — jis mažina skenuojamų duomenų kiekį, o indeksas mažina eilutes, tikrinamas skenavimo viduje; dažnai reikia abiejų. Geras atsakymas įvardija range/hash/list; puikus pabrėžia, kad **partition raktas privalo atitikti jūsų dominuojantį užklausos filtrą**, įspėja, kad neteisingas raktas naikina pruning, ir mini pigų archyvavimą per `DROP`.

**Kompromisas:** cross-partition užklausos (jokio rakto filtro arba unikalūs apribojimai per partition) lėtėja, o unikalumo vykdymas sunkesnis. Neskaidykite 10 mln. eilučių lentelės — pridedate operacinį sudėtingumą be naudos. Skaidykite, kai lentelė milžiniška **ir** užklausos natūraliai apribotos pagal raktą.

Suskaidytos lentelės forma

Partition strategijos pasirinkimas

Pruning, indeksai, priežiūra

Interviu perspektyva

Susiję klausimai