Migracija baze podataka od 10 TB bez prekida rada: koji je plan?

Question

IT Interview Practice · Accepted Answer

**Dvostruko upisujte u staru i novu, backfillajte povijest u pozadini, koristite CDC da uhvatite rep, verificirajte shadow čitanjima, zatim atomski prebacite čitanja — s putem povrata (rollback) na svakom koraku.** Nikada ne gasite aplikaciju; pokrećete obje baze paralelno dok nova nije dokazivo identična, zatim prebacite.

## Arhitektura

```text
        ┌── write ──▶ OLD DB (source of truth) ──CDC (Debezium)──┐
 App ───┤                                                        ▼
        └── write ──▶ NEW DB ◀──── backfill job (historical rows)
                        │
   shadow reads (compare OLD vs NEW) ─▶ diff metrics ─▶ atomic cutover ─▶ NEW is truth
                                                          (flip flag; rollback = flip back)
```

## Kako funkcionira

1. **Dvostruki upis.** Aplikacija upisuje svaku promjenu u OLD i NEW. Novi retci ostaju sinkronizirani od sada; nedostaje samo povijest.
2. **Backfill.** Pozadinski posao kopira povijesne retke u grupama (throttlano da zaštiti prod). Koristite `INSERT ... ON CONFLICT DO NOTHING` tako da je idempotentan i siguran za ponovno pokretanje.
3. **CDC catch-up.** Dvostruki upis može propustiti retke upisane tijekom uključivanja. **Debezium** koji streama OLD DB WAL/binlog replaya svaku promjenu, zatvarajući jaz koji backfill ne može.
4. **Shadow čitanja.** Čitajte iz NEW paralelno s OLD, **usporedite rezultate** i emitirajte diff metriku. Nula razlika kroz vrijeme = NEW je pouzdan.
5. **Cutover.** Prebacite feature flag tako da čitanja (pa upisi) idu na NEW. To je promjena konfiguracije, ne deploy — trenutna i **reverzibilna vraćanjem flaga**.

## Perspektiva intervjua

Ispitivač želi **kako jamčite bez gubitka podataka i bez prekida rada** i imate li **rollback**. Dobri odgovori spominju dvostruki upis; odlični dodaju **CDC za hvatanje race prozora**, **shadow čitanja za verifikaciju prije povjerenja** i **atomsko, reverzibilno prebacivanje flaga**. Klasična zamka je "backfill pa prebaci" bez verifikacije — nepodudaranje otkrijete nakon što korisnici na njega naiđu, bez puta natrag.

## Kompromisi i neuspjesi

- **Konzistentnost dvostrukog upisa.** Ako NEW upis padne ali OLD uspije, razilaze se. Učinite OLD autoritativnim i neka CDC popravi NEW, umjesto da srušite korisnikov zahtjev.
- **Trošak i složenost.** Pokretanje dviju baza + CDC + backfill je skupo i operativno teško — opravdano samo za velike, kritične storeove.
- **Promjene sheme** tijekom migracije umnožavaju rizik; zamrznite shemu do cutovera.
- **Opterećenje backfilla.** Neograničen backfill može zasititi prod I/O i uzrokovati prekid — suprotno cilju; batchirajte i rate-limitirajte.
- **Prozor za rollback.** Nastavite dvostruko upisivati (sada NEW→OLD) danima nakon cutovera kako biste mogli vratiti ako se pojavi latentni bug. Tek tada isključite OLD.
- **Kada ne:** mala baza s prozorom održavanja ne treba ovo — 30-minutni `pg_dump`/restore je jednostavniji i sigurniji od CDC pipelinea.

Arhitektura

Kako funkcionira

Perspektiva intervjua

Kompromisi i neuspjesi

Povezana pitanja