Kif is-CDC jissinkronizza data fuq is-sistemi?

Question

IT Interview Practice · Accepted Answer

**Change Data Capture (CDC)** jagħmel stream ta' kull insert/update/delete barra minn source database — tipikament billi **jaqra t-transaction log tiegħu** — u jippubblikahom bħala events li sistemi oħra jikkonsmaw, biex l-istores downstream jibqgħu sinkronizzati mingħajr dual-writes jew polling.

```text
  Postgres/MySQL          Debezium            Kafka topic          sinks
 ┌────────────┐  reads   ┌─────────┐  emit   ┌──────────┐  consume ┌───────────┐
 │ WAL/binlog │ ───────▶ │ connector│ ──────▶ │ per-table│ ───────▶ │ search    │
 │ (tx log)   │          │          │  events │  ordered │          │ warehouse │
 └────────────┘          └─────────┘          └──────────┘          │ cache     │
                                                                     └───────────┘
```

## Għaliex log-based CDC

Tista' tissinkronizza b'polling ("rows li nbidlu minn T") jew billi tikteb f'żewġ sistemi f'daqqa (**dual-write**), imma l-polling jitlef updates mgħaġġla u d-dual-writes jinkisru b'mod atomiku — jekk it-tieni write ifalli tikseb diverġenza. **Log-based CDC** minflok isegwi l-write-ahead log tad-database innifsu (Postgres **WAL**, MySQL **binlog**), ir-rekord durabbli li d-DB juża għal crash recovery. **Debezium** huwa l-connector standard: jaqra l-log u jippubblika kull bidla lejn **Kafka**, topic wieħed għal kull table — jaqbad *kull* bidla mingħajr load fuq il-queries u mingħajr rows mitlufa.

## Ordering u idempotency

- **Ordering:** bidliet għall-istess row iridu jaslu fl-ordni inkella tapplika valur qadim l-aħħar. Kafka jiggarantixxi l-ordni **fi ħdan partition**, allura ippartizzjona skont il-primary key — il-bidliet kollha għal row wieħed jinżlu fuq partition wieħed, fl-ordni tal-commit.
- **Id-delivery huwa at-least-once:** fuq retry jew restart tal-connector l-istess event jista' jiġi mibgħut darbtejn. Allura s-**sinks iridu jkunu idempotenti** — ibbaża l-write fuq primary key + log offset (LSN) biex li terġa' tapplika event ikun no-op. Qatt ma tassumi exactly-once.

## Perspettiva tal-intervista

L-intervistatur jiċċekkja jekk tafx li CDC jirbaħ dual-writes u *għaliex* (atomiċità, ebda bidliet mitlufa), u jekk taħtafx **at-least-once + idempotent sinks**. Tajjeb: "Debezium jaqra l-WAL ġo Kafka." Eċċellenti: iżżid partition-by-key għall-ordering u idempotent sinks għad-duplikati. Nassa: li tassumi exactly-once delivery, jew li tinjora li bidla DDL fuq is-source tista' tkisser il-consumers.

## Trade-offs u modi ta' fallimenti

- **Schema evolution:** column miżjud/imwarrab upstream jibdel il-forma tal-event — uża **schema registry** u bidliet kompatibbli biex il-consumers ma jinkisrux.
- **Initial snapshot:** CDC jara biss il-bidliet *minn issa*; għandek bżonn snapshot ta' darba tar-rows eżistenti, imbagħad aqleb għall-istreaming.
- **Log retention:** jekk is-source ineħħi l-log tiegħu qabel ma l-connector jaqrah, titlef bidliet — immonitorja l-lag tal-connector.
- **Backpressure:** sink bil-mod iħalli l-Kafka lag jikber; iddimensjona r-retention u l-consumers għal volum ta' bidla f'peak.

Għaliex log-based CDC

Ordering u idempotency

Perspettiva tal-intervista

Trade-offs u modi ta' fallimenti

Mistoqsijiet relatati