Immigra database ta' 10TB b'żero downtime: x'inhu l-pjan?

Question

IT Interview Practice · Accepted Answer

**Dual-write għall-qadim u l-ġdid, agħmel backfill tal-istorja fl-isfond, uża CDC biex tilħaq id-denb, ivverifika b'shadow reads, imbagħad aqleb ir-reads b'mod atomiku — b'rollback path f'kull pass.** Qatt ma titfi l-app; tħaddem iż-żewġ databases b'mod parallel sakemm il-ġdid ikun provabbilment identiku, imbagħad tagħmel cutover.

## Arkitettura

```text
        ┌── write ──▶ OLD DB (source of truth) ──CDC (Debezium)──┐
 App ───┤                                                        ▼
        └── write ──▶ NEW DB ◀──── backfill job (historical rows)
                        │
   shadow reads (compare OLD vs NEW) ─▶ diff metrics ─▶ atomic cutover ─▶ NEW is truth
                                                          (flip flag; rollback = flip back)
```

## Kif jaħdem

1. **Dual-write.** L-app tikteb kull bidla għal OLD u NEW. Rows ġodda jibqgħu sinkronizzati minn issa; biss l-istorja hija nieqsa.
2. **Backfill.** Job fl-isfond jikkopja rows storiċi f'batches (throttled biex jipproteġi l-prod). Uża `INSERT ... ON CONFLICT DO NOTHING` biex ikun idempotenti u sikur li terġa' tħaddem.
3. **CDC catch-up.** Id-dual-write jista' jitlef rows miktuba waqt li tinxtegħel. **Debezium** li jagħmel stream tal-WAL/binlog tal-OLD DB jagħmel replay ta' kull bidla, u jagħlaq il-gap li l-backfill ma jistax.
4. **Shadow reads.** Aqra minn NEW b'mod parallel ma' OLD, **qabbel ir-riżultati**, u oħroġ diff metric. Żero diffs maż-żmien = NEW jista' jiġi fdat.
5. **Cutover.** Aqleb feature flag biex ir-reads (imbagħad il-writes) imorru lejn NEW. Hija bidla fil-config, mhux deploy — istantanju, u **riversibbli billi taqleb lura**.

## Perspettiva tal-intervista

L-intervistatur irid **kif tiggarantixxi ebda telf ta' data u ebda downtime**, u jekk għandekx **rollback**. Tweġibiet tajbin isemmu dual-write; tweġibiet eċċellenti jżidu **CDC biex jaqbdu r-race window**, **shadow reads biex jivverifikaw qabel ma jafdaw**, u **flip ta' flag atomiku u riversibbli**. In-nassa klassika hija "backfill imbagħad aqleb" mingħajr verifika — tiskopri l-mismatch wara li l-utenti jolqtuha, mingħajr triq lura.

## Trade-offs u fallimenti

- **Konsistenza tad-dual-write.** Jekk il-write ta' NEW ifalli imma OLD jirnexxi, jiddevjaw. Agħmel OLD awtorevoli u ħalli lil CDC isewwi NEW, minflok ma tfalli t-talba tal-utent.
- **Kost u kumplessità.** Li tħaddem żewġ databases + CDC + backfill huwa għali u tqil operazzjonalment — ġustifikat biss għal stores kbar u kritiċi.
- **Bidliet fis-schema** waqt il-migrazzjoni jimmultiplikaw ir-riskju; iffriża s-schema sal-cutover.
- **Load tal-backfill.** Backfill mhux throttled jista' jissatura l-I/O tal-prod u jikkawża outage — l-oppost tal-għan; agħmel batch u rate-limit.
- **Rollback window.** Kompli dual-writing (issa NEW→OLD) għal ġranet wara l-cutover biex tkun tista' taqleb lura jekk toħroġ bug latenti. Biss imbagħad iddekommissjona OLD.
- **Meta le:** DB żgħir b'maintenance window ma jeħtieġx dan — `pg_dump`/restore ta' 30 minuta huwa aktar sempliċi u sikur minn pipeline ta' CDC.

Arkitettura

Kif jaħdem

Perspettiva tal-intervista

Trade-offs u fallimenti

Mistoqsijiet relatati