Jak partitionovat jednu tabulku s miliardami řádků?

Question

IT Interview Practice · Accepted Answer

**Rozdělte obří tabulku na menší fyzické child tabulky podle partition key, aby se každý dotaz dotkl jen partitionů, které potřebuje (partition pruning), místo skenování miliard řádků.** Tabulka s 5 miliardami řádků objednávek se stále chová jako jedna logická tabulka, ale engine přeskočí 99 % z ní, když váš `WHERE` filtruje na partition key.

## Tvar partitionované tabulky

```text
                 orders (logical parent)
                        │  partition key = created_at
       ┌────────────────┼────────────────┬───────────────┐
       ▼                ▼                ▼               ▼
 orders_2024_q1   orders_2024_q2   orders_2024_q3   orders_2025_q1
  (child table)    (child table)    (child table)    (child, active)
       │                                                  │
   local index                                        local index
   (per child)                                        (per child)
```

## Volba strategie partitionování

- **Range** — podle rozsahů data/id. Nejlepší pro time-series (objednávky, logy, události); nedávná data zůstávají hot a staré rozsahy se snadno zahazují.
- **Hash** — rovnoměrné rozprostření napříč N partitiony podle `hash(key) % N`. Použijte, když neexistuje přirozený rozsah a chcete vyváženou zátěž (např. `user_id`).
- **List** — explicitní buckety (`region IN ('EU','US')`). Dobré pro izolaci tenantů nebo regionů.

```sql
-- Postgres: range partition by month, prune on created_at
CREATE TABLE orders (id bigint, created_at date, amount numeric)
  PARTITION BY RANGE (created_at);

CREATE TABLE orders_2025_01 PARTITION OF orders
  FOR VALUES FROM ('2025-01-01') TO ('2025-02-01');

-- This scans ONLY orders_2025_01, not the whole table
SELECT sum(amount) FROM orders
 WHERE created_at >= '2025-01-01' AND created_at < '2025-02-01';
```

## Pruning, indexy, údržba

- **Partition pruning** funguje jen tehdy, když dotaz filtruje na **partition key**. Filtrujte na něco jiného a skenujete každý partition — chyba č. 1.
- **Local index** = jeden index na child (default v Postgresu); levný na build a drop s partitionem. **Global index** (Oracle) klene všechny partitiony — pomáhá unique lookupům napříč partitiony, ale musí být přebudován, když jeden zahodíte.
- **Údržba** se stane O(partition): archivujte stará data pomocí `DROP TABLE orders_2019` (okamžité, žádný obří `DELETE`) a `ATTACH`/`DETACH` pro klouzavá okna.

## Pohled z pohovoru

Tazatel zkoumá, zda chápete, že **partitioning není indexing** — snižuje skenovaná data, index snižuje zkoumané řádky v rámci skenu; často potřebujete oboje. Dobrá odpověď pojmenuje range/hash/list; skvělá zdůrazní, že **partition key musí odpovídat vašemu dominantnímu filtru dotazu**, varuje, že špatný klíč zabije pruning, a zmíní levnou archivaci přes `DROP`.

**Kompromis:** cross-partition dotazy (bez filtru na klíč, nebo unique constrainty napříč partitiony) zpomalí a vynucení unikátnosti je těžší. Nepartitionujte tabulku s 10 miliony řádků — přidáte provozní složitost bez zisku. Partitionujte, když je tabulka obrovská **a** dotazy jsou přirozeně vymezeny klíčem.

Tvar partitionované tabulky

Volba strategie partitionování

Pruning, indexy, údržba

Pohled z pohovoru

Související otázky