Conas a shioncronaíonn CDC sonraí thar chórais?

Question

IT Interview Practice · Accepted Answer

Sruthaíonn **Change Data Capture (CDC)** gach ionsá/nuashonrú/scriosadh amach as foinse-bhunachar sonraí — go tipiciúil trí **a loga idirbhirt a léamh** — agus foilsíonn sé iad mar imeachtaí a thomhlaíonn córais eile, ionas go bhfanann stóir thíos sioncronaithe gan scríbhinní dúbailte nó vótáil.

```text
  Postgres/MySQL          Debezium            Kafka topic          sinks
 ┌────────────┐  reads   ┌─────────┐  emit   ┌──────────┐  consume ┌───────────┐
 │ WAL/binlog │ ───────▶ │ connector│ ──────▶ │ per-table│ ───────▶ │ search    │
 │ (tx log)   │          │          │  events │  ordered │          │ warehouse │
 └────────────┘          └─────────┘          └──────────┘          │ cache     │
                                                                     └───────────┘
```

## Cén fáth CDC loga-bhunaithe

D'fhéadfá sioncronú trí vótáil ("rónna athraithe ó T") nó trí scríobh chuig dhá chóras ag an am céanna (**scríbhinn dhúbailte**), ach cailleann vótáil nuashonruithe tapa agus briseann scríbhinní dúbailte go hadamhach — má theipeann ar an dara scríbhinn faigheann tú éagsúlacht. Ina áit sin leanann **CDC loga-bhunaithe** loga scríbhinn-chun-tosaigh an bhunachair sonraí féin (**WAL** Postgres, **binlog** MySQL), an taifead marthanach a úsáideann an DB le haghaidh téarnamh tuairteála. Is é **Debezium** an ceangaltóir caighdeánach: léann sé an loga agus foilsíonn sé gach athrú chuig **Kafka**, aon topaic in aghaidh gach tábla — ag gabháil *gach* athrú gan ualach ar cheisteanna agus gan rónna caillte.

## Ordú & idempotency

- **Ordú:** ní mór d'athruithe ar an rón céanna teacht in ord nó chuirfeá seanluach i bhfeidhm go deireanach. Ráthaíonn Kafka ord **laistigh de dheighilt**, mar sin deighil de réir príomheochrach — tuirlingíonn gach athrú d'aon rón amháin ar aon deighilt amháin, in ord tiomantais.
- **Tá seachadadh ar a laghad uair amháin:** ar atriail nó atosú ceangaltóra is féidir an imeacht céanna a sheachadadh faoi dhó. Mar sin **caithfidh doirtil a bheith idempotent** — eochraigh an scríbhinn de réir príomheochrach + offset loga (LSN) ionas gur no-op é imeacht a athchur. Ná glac go díreach uair amháin riamh.

## Dearcadh agallaimh

Seiceálann an t-agallóir an bhfuil a fhios agat go mbuann CDC scríbhinní dúbailte agus *cén fáth* (adamhachas, gan athruithe caillte), agus an dtuigeann tú **ar a laghad uair amháin + doirtil idempotent**. Maith: "léann Debezium an WAL isteach in Kafka." Iontach: cuireann tú deighilt-de-réir-eochrach le haghaidh ordaithe agus doirtil idempotent le haghaidh dúblacha leis. Gaiste: glacadh le seachadadh go díreach uair amháin, nó neamhaird a dhéanamh gur féidir le hathrú DDL ar an bhfoinse tomhaltóirí a bhriseadh.

## Idirbhabhtálacha agus móid teipe

- **Éabhlóid scéimre:** athraíonn colún curtha leis/scaoilte thíos cruth an imeachta — úsáid **clárlann scéimre** agus athruithe comhoiriúnacha ionas nach mbriseann tomhaltóirí.
- **Seat tosaigh:** ní fheiceann CDC ach athruithe *ó anois*; teastaíonn seat aon-uaire de rónna atá ann cheana, ansin lasc go sruthú.
- **Coinneáil loga:** má ghlanann an fhoinse a loga roimh don cheangaltóir é a léamh, cailleann tú athruithe — déan monatóireacht ar mhoill cheangaltóra.
- **Cúl-bhrú:** ligeann doirteal mall do mhoill Kafka fás; dimensean coinneáil agus tomhaltóirí do bhuaicthoirt athraithe.

Cén fáth CDC loga-bhunaithe

Ordú & idempotency

Dearcadh agallaimh

Idirbhabhtálacha agus móid teipe

Ceisteanna gaolmhara