Kepiye sampeyan query 10 milyar record ing sangisore 100ms?

Question

IT Interview Practice · Accepted Answer

Rancang kanggo **pola akses dhisik**, banjur pilih partisi + indeks/PK sing bener supaya sembarang query siji mung ndemek irisan cilik sing kaabatasi — ora tau nge-scan 10 milyar row. Sangisore 100ms marang 10 milyar record dudu babagan disk sing luwih cepet; iku babagan ndadekake working set dadi cilik.

```text
Query ─▶ Router ──▶ Partition (by tenant/time) ──▶ Index/PK lookup ─▶ ~thousands of rows
   │                    (prune 99.9% of data)         (B-tree / sort key)
   └─▶ Cache (Redis) ─▶ hit? return in <5ms
                        miss ▼
                   Columnar store (ClickHouse) for aggregates / scans
```

## Pola akses ngendhaleni kabeh

Sadurunge milih teknologi, takoni: **point lookup utawa range/aggregate?** "Golek 20 order pungkasan pangguna X" iku query point/range — sampeyan pengin partition lan sort key sing pas cocog. "Jumlah revenue miturut wilayah wulan iki" iku scan analitik — row store minangka alat sing salah. Modelke query dhisik yaiku sing misahake rancangan sing mlaku saka rancangan sing katon lumrah nanging nge-scan kabeh.

## Partisi nyunati ruang panelusuran

Bagi tabel miturut key sing muncul ing saben query — biasane **tenant_id + time**. Kanthi partisi wektu, query kanggo "7 dina pungkasan" maca 7 partisi lan nglirwakake 3 taun liyane. Iki *partition pruning*: router ngilangi 99,9% data sadurunge sembarang indeks dikonsultasi.

## Rancangan indeks / PK sing bener

Ing sajroning partisi, **primary key kudu ngutamakake kolom filter query ing ngarep**. Ing DynamoDB: partition key = `tenant`, sort key = `timestamp` → range query yaiku O(log n) + pamaca urut. Ing columnar store kaya **ClickHouse**, sorting key (`ORDER BY (tenant, ts)`) ngidini mesin ngliwati granule lan mung maca blok sing cocog. Covering index nyingkiri pengambilan row ekstra kabeh.

## Pilihan store

- **Point lookup, tulisan dhuwur:** NoSQL key-value (DynamoDB, Cassandra) — meh O(1) miturut key, skala horizontal.
- **Analitik/aggregate:** columnar (ClickHouse, BigQuery) — mung maca kolom sing dibutuhake, ter-vektorisasi.
- **Cache 1% sing panas:** Redis ing ngarep nyerap pamaca sing bola-bali ing <5ms; 10 milyar row nanging mung sawetara yuta hot key.

## Sudut pandang wawancara

Pewawancara pengin ndeleng sampeyan ngucap **"apa query-ne?" sadurunge "database apa?"**. Kandidat apik njangkau indeks; sing apik banget nyathet yen indeks marang 10 milyar row dhewe iku gedhe banget — mula sampeyan *nge-partisi dhisik kanggo nyilikake apa sing dilindhungi indeks*. Nyebutake pamisah row-vs-columnar lan tier cache nuduhake pengalaman skala sing tenanan.

**Jebakan umum:** ngusulake siji indeks B-tree gedhe minangka jawaban. Iki mbantu point lookup nanging ora ana gunane kanggo scan analitik, lan tulisane nge-bottleneck ingesti.

## Trade-off lan mode kegagalan

- **Partition key sing salah** = scatter-gather antar-partisi, latency mumbul. Pilih key sing ana ing query.
- **Hot partition:** tenant selebriti ngluwihi kapasitas siji shard — tambahake suffix salting.
- **Cache basi:** invalidasi nalika nulis utawa tampa lag TTL.
- **Biaya denormalisasi:** sampeyan asring ndobelke data saben pola akses; panyimpenan iku murah, query 10 detik ora.

Pola akses ngendhaleni kabeh

Partisi nyunati ruang panelusuran

Rancangan indeks / PK sing bener

Pilihan store

Sudut pandang wawancara

Trade-off lan mode kegagalan

Pitakon sing gegandhengan