무중단으로 10TB 데이터베이스를 마이그레이션하십시오: 계획은 무엇입니까?

Question

IT Interview Practice · Accepted Answer

**old와 new에 이중 write하고, 백그라운드에서 히스토리를 백필(backfill)하며, CDC로 꼬리(tail)를 따라잡고, shadow read로 검증한 뒤, read를 원자적으로 전환하십시오 — 모든 단계에 롤백 경로를 두고.** 앱을 절대 내리지 않고, new가 검증 가능하게 동일해질 때까지 두 데이터베이스를 병렬로 돌린 뒤 cutover합니다.

## 아키텍처

```text
        ┌── write ──▶ OLD DB (source of truth) ──CDC (Debezium)──┐
 App ───┤                                                        ▼
        └── write ──▶ NEW DB ◀──── backfill job (historical rows)
                        │
   shadow reads (compare OLD vs NEW) ─▶ diff metrics ─▶ atomic cutover ─▶ NEW is truth
                                                          (flip flag; rollback = flip back)
```

## 동작 방식

1. **이중 write(Dual-write).** 앱이 모든 변경을 OLD와 NEW 둘 다에 write합니다. 새 row는 지금부터 동기화 상태를 유지하며, 오직 히스토리만 빠져 있습니다.
2. **백필(Backfill).** 백그라운드 job이 히스토리 row를 batch로 복사합니다(프로덕션 보호를 위해 throttle). idempotent하고 재실행이 안전하도록 `INSERT ... ON CONFLICT DO NOTHING`을 쓰십시오.
3. **CDC 따라잡기.** 이중 write는 전환 켜는 중에 write된 row를 놓칠 수 있습니다. OLD DB의 WAL/binlog를 스트리밍하는 **Debezium**이 모든 변경을 리플레이하여 백필이 메울 수 없는 간극을 닫습니다.
4. **Shadow read.** OLD와 병렬로 NEW에서 read하여 **결과를 비교**하고 diff 메트릭을 방출하십시오. 시간이 지나 diff가 0이면 = NEW를 신뢰할 수 있습니다.
5. **Cutover.** feature flag를 뒤집어 read(그다음 write)가 NEW로 가게 하십시오. 배포가 아니라 설정 변경입니다 — 즉각적이며 **뒤집어서 되돌릴 수 있습니다**.

## 면접 관점

면접관은 **데이터 손실 없음과 무중단을 어떻게 보장하는지**, 그리고 **롤백**이 있는지 원합니다. 좋은 답변은 이중 write를 언급하고, 훌륭한 답변은 **레이스 윈도우를 잡는 CDC**, **신뢰 전에 검증하는 shadow read**, **원자적이고 되돌릴 수 있는 flag 전환**을 더합니다. 전형적인 함정은 검증 없는 "백필 후 전환"입니다 — 사용자가 부딪힌 뒤에 불일치를 발견하고, 돌아갈 방법이 없습니다.

## 트레이드오프 및 실패

- **이중 write 일관성.** NEW write가 실패하고 OLD가 성공하면 둘이 갈라집니다. 사용자 요청을 실패시키는 대신 OLD를 권위 있게 두고 CDC가 NEW를 복구하게 하십시오.
- **비용 & 복잡성.** 두 데이터베이스 + CDC + 백필을 돌리는 것은 비싸고 운영이 무겁습니다 — 크고 중요한 저장소에만 정당화됩니다.
- **마이그레이션 중 스키마 변경**은 위험을 배가합니다. cutover까지 스키마를 동결하십시오.
- **백필 부하.** throttle되지 않은 백필은 프로덕션 I/O를 포화시켜 장애를 유발할 수 있습니다 — 목표와 정반대입니다. batch하고 rate-limit하십시오.
- **롤백 윈도우.** cutover 후에도 며칠간 이중 write를 계속하여(이제 NEW→OLD) 잠재적 버그가 드러나면 되돌릴 수 있게 하십시오. 그다음에야 OLD를 폐기하십시오.
- **하지 않아야 할 때:** 유지보수 윈도우가 있는 작은 DB는 이것이 필요 없습니다 — 30분짜리 `pg_dump`/복원이 CDC 파이프라인보다 단순하고 안전합니다.

아키텍처

동작 방식

면접 관점

트레이드오프 및 실패

관련 질문