Migruokite 10TB duomenų bazę be prastovos: koks planas?

Question

IT Interview Practice · Accepted Answer

**Rašykite dukart į seną ir naują, foniniame režime perkelkite istoriją (backfill), naudokite CDC uodegos pavijimui, patikrinkite šešėliniais skaitymais (shadow reads), tada atomiškai perjunkite skaitymus — su rollback keliu kiekviename žingsnyje.** Niekada nestabdote aplikacijos; lygiagrečiai vykdote abi duomenų bazes, kol naujoji įrodomai identiška, tada perjungiate.

## Architektūra

```text
        ┌── write ──▶ OLD DB (source of truth) ──CDC (Debezium)──┐
 App ───┤                                                        ▼
        └── write ──▶ NEW DB ◀──── backfill job (historical rows)
                        │
   shadow reads (compare OLD vs NEW) ─▶ diff metrics ─▶ atomic cutover ─▶ NEW is truth
                                                          (flip flag; rollback = flip back)
```

## Kaip tai veikia

1. **Dual-write.** Aplikacija rašo kiekvieną pokytį į OLD ir NEW. Naujos eilutės nuo dabar lieka sinchronizuotos; trūksta tik istorijos.
2. **Backfill.** Foninis job kopijuoja istorines eilutes partijomis (throttled, kad apsaugotų prod). Naudokite `INSERT ... ON CONFLICT DO NOTHING`, kad būtų idempotentiška ir saugu paleisti iš naujo.
3. **CDC uodegos pavijimas.** Dual-write gali praleisti eilutes, įrašytas įjungimo metu. **Debezium**, srautu perduodantis OLD DB WAL/binlog, pakartoja kiekvieną pokytį, uždarant tarpą, kurio backfill negali.
4. **Shadow reads.** Skaitykite iš NEW lygiagrečiai su OLD, **palyginkite rezultatus** ir skleiskite diff metriką. Nuliniai diff laikui bėgant = NEW patikima.
5. **Cutover.** Perjunkite feature flag, kad skaitymai (tada įrašymai) eitų į NEW. Tai konfigūracijos pakeitimas, ne deployment — akimirksniu ir **atšaukiama perjungiant atgal**.

## Interviu perspektyva

Interviuotojas nori žinoti, **kaip garantuojate jokio duomenų praradimo ir jokios prastovos**, ir ar turite **rollback**. Geri atsakymai mini dual-write; puikūs prideda **CDC lenktynių lango pavijimui**, **shadow reads patikrinimui prieš pasitikint** ir **atominį, atšaukiamą flag perjungimą**. Klasikiniai spąstai — „backfill tada perjungti" be patikrinimo — neatitikimą atrandate po to, kai naudotojai jį pasiekia, be kelio atgal.

## Kompromisai ir gedimai

- **Dual-write konsistencija.** Jei NEW įrašymas nepavyksta, bet OLD pavyksta, jie išsiskiria. Padarykite OLD autoritetingą ir leiskite CDC pataisyti NEW, o ne atmeskite naudotojo užklausą.
- **Kaina ir sudėtingumas.** Dviejų duomenų bazių + CDC + backfill vykdymas brangus ir operaciškai sunkus — pateisinamas tik didelėms, kritinėms saugykloms.
- **Schemos pakeitimai** migracijos metu daugina riziką; užšaldykite schemą iki cutover.
- **Backfill apkrova.** Neribotas backfill gali prisotinti prod I/O ir sukelti gedimą — priešingai tikslui; grupuokite ir ribokite tempą.
- **Rollback langas.** Tęskite dual-writing (dabar NEW→OLD) dienas po cutover, kad galėtumėte perjungti atgal, jei iškyla latentinė klaida. Tik tada išjunkite OLD.
- **Kada ne:** mažai DB su priežiūros langu to nereikia — 30 minučių `pg_dump`/restore paprastesnis ir saugesnis nei CDC konvejeris.

Architektūra

Kaip tai veikia

Interviu perspektyva

Kompromisai ir gedimai

Susiję klausimai