Kako particionirati jednu tablicu s milijardama redaka?

Question

IT Interview Practice · Accepted Answer

**Podijelite divovsku tablicu na manje fizičke child tablice po particijskom ključu, tako da svaki upit dotakne samo particije koje treba (partition pruning) umjesto skeniranja milijardi redaka.** Tablica s 5 milijardi redaka narudžbi i dalje se ponaša kao jedna logička tablica, ali engine preskoči 99% nje kad vaš `WHERE` filtrira po particijskom ključu.

## Oblik particionirane tablice

```text
                 orders (logical parent)
                        │  partition key = created_at
       ┌────────────────┼────────────────┬───────────────┐
       ▼                ▼                ▼               ▼
 orders_2024_q1   orders_2024_q2   orders_2024_q3   orders_2025_q1
  (child table)    (child table)    (child table)    (child, active)
       │                                                  │
   local index                                        local index
   (per child)                                        (per child)
```

## Odabir strategije particioniranja

- **Range** — po rasponima datuma/id-a. Najbolje za vremenske serije (narudžbe, logovi, događaji); nedavni podaci ostaju vrući a stari rasponi lako se brišu.
- **Hash** — ravnomjerno širenje preko N particija po `hash(key) % N`. Koristite kad nema prirodnog raspona a želite uravnoteženo opterećenje (npr. `user_id`).
- **List** — eksplicitni bucketi (`region IN ('EU','US')`). Dobro za izolaciju tenanta ili regije.

```sql
-- Postgres: range particija po mjesecu, prune na created_at
CREATE TABLE orders (id bigint, created_at date, amount numeric)
  PARTITION BY RANGE (created_at);

CREATE TABLE orders_2025_01 PARTITION OF orders
  FOR VALUES FROM ('2025-01-01') TO ('2025-02-01');

-- Ovo skenira SAMO orders_2025_01, ne cijelu tablicu
SELECT sum(amount) FROM orders
 WHERE created_at >= '2025-01-01' AND created_at < '2025-02-01';
```

## Pruning, indeksi, održavanje

- **Partition pruning** radi samo ako upit filtrira po **particijskom ključu**. Filtrirajte po nečem drugom i skenirate svaku particiju — pogreška #1.
- **Local index** = jedan indeks po childu (zadano u Postgresu); jeftino za izgradnju i brisanje s particijom. **Global index** (Oracle) obuhvaća sve particije — pomaže unique lookupima preko particija ali se mora ponovno izgraditi kad izbacite jednu.
- **Održavanje** postaje O(particija): arhivirajte stare podatke s `DROP TABLE orders_2019` (trenutno, bez divovskog `DELETE`) i `ATTACH`/`DETACH` za kotrljajuće prozore.

## Perspektiva intervjua

Ispitivač ispituje razumijete li da **particioniranje nije indeksiranje** — ono smanjuje skenirane podatke, indeks smanjuje ispitivane retke unutar skeniranja; često trebate oboje. Dobar odgovor imenuje range/hash/list; odličan naglašava da se **particijski ključ mora poklapati s vašim dominantnim filterom upita**, upozorava da pogrešan ključ ubija pruning i spominje jeftino arhiviranje putem `DROP`.

**Kompromis:** cross-partition upiti (bez key filtera, ili unique ograničenja preko particija) postaju sporiji a provođenje unique je teže. Ne particionirajte tablicu od 10 milijuna redaka — dodajete operativnu složenost bez dobiti. Particionirajte kad je tablica ogromna **i** upiti su prirodno skopirani po ključu.

Oblik particionirane tablice

Odabir strategije particioniranja

Pruning, indeksi, održavanje

Perspektiva intervjua

Povezana pitanja