Anailísíocht ioncaim fíor-ama thar na milliúin idirbheart/lá: conas?

Question

IT Interview Practice · Accepted Answer

**Sruthaigh na hidirbhearta trí Kafka isteach i bpróiseálaí srutha a réamhchomhiomlánaíonn isteach i stór OLAP, ionas go léann painéil rollacha réamhríofa bídeacha in ionad imeachtaí amha a scanadh.** Ag na milliúin idirbheart/lá ní ritheann tú `SUM()` thar an tábla amh ar gach lódáil leathanaigh — comhiomlánaíonn tú uair amháin, ar scríbhinn.

## Ailtireacht

```text
Payment svc ──▶ Kafka topic ──▶ Flink/Kafka Streams ──┬─▶ OLAP (ClickHouse/Druid)  ◀── Dashboard
 (txn events)   (buffer,replay)   (windowed pre-agg)    │      (per-minute rollups)     (read)
                                                         └─▶ S3/Parquet (raw, replay/audit)
                                     state store ◀──────────┘  (exactly-once checkpoints)
```

## Conas a oibríonn sé

- Is é **Kafka** an loga marthanach. Foilsíonn gach íocaíocht imeacht (`amount`, `currency`, `ts`, `merchant`). Maolánaíonn sé borrthaí, dí-chúplaíonn sé táirgeoirí ó thomhaltóirí, agus ligeann sé duit **athsheinm** a dhéanamh ar stair chun comhiomláin a atógáil.
- Coinníonn an **próiseálaí srutha (Flink / Kafka Streams)** **fuinneoga rollacha/sleamhnaithe** (in aghaidh gach nóiméid/uair) agus fillteann sé gach imeacht isteach in iomlán reatha ina **stór staide**. Is rón réamhchomhiomlánaithe in aghaidh gach (nóiméad, gné) an t-aschur.
- Stórálann an **stór OLAP (ClickHouse, Druid, Pinot)** na rollacha sin go colúnach. Scanann painéal a cheistíonn "ioncam 24u deireanacha" ~1,440 rón, ní na milliúin — fo-shoicind.
- Is féidir le **radharcanna ábharaithe** in ClickHouse an rolla céanna a dhéanamh laistigh den DB (`AggregatingMergeTree`) más mian leat níos lú páirteanna gluaiseachta.

## Dearcadh agallaimh

Iniúchann an t-agallóir an ndéanann tú **réamhchomhiomlánú ar scríbhinn vs scanadh ar léamh**, agus an dtuigeann tú **go díreach uair amháin**. Ainmníonn freagraí maithe Kafka + OLAP; míníonn freagraí iontacha **cén fáth a n-éillíonn imeachtaí déanacha/dúblacha iomláin** agus conas iad a shocrú: eochracha idempotent, **seiceálphointí + doirteal idirbheartúil** Flink do go díreach uair amháin, agus **uisce-mharcanna** chun fuinneoga a dhúnadh in ainneoin teachtaí déanacha. Is gaiste coitianta é `SELECT SUM()` a mholadh ar Postgres — ceart go leor ag na mílte/lá, titeann sé as a chéile ag na milliúin.

## Idirbhabhtálacha agus teipeanna

- **Lambda vs Kappa.** Ritheann Lambda sraith bhaisce (réitíonn Spark oíche an fhoinse fírinne) taobh leis an tsraith srutha (tapa ach neasach) — cruinn ach dhá bhonn cód. Úsáideann **Kappa** an tsraith srutha amháin agus **athsheinm Kafka** chun fabhtanna a shocrú — níos simplí, aon bhonn cód amháin, an réamhshocraithe coitianta anois.
- **Níl go díreach uair amháin saor.** Cuireann doirtil idirbheartúla foilleadh agus costas throughput leis; glacann go leor foirne le **ar a laghad uair amháin + upserts idempotent** eochraithe de réir `txn_id` ina áit.
- **Sonraí déanacha.** Tuirlingíonn íocaíocht a shocraíonn 2u déanach tar éis dá fuinneog dúnadh. Athosclaíonn uisce-mharcanna + moill-cheadaithe fuinneoga, nó ceartaíonn jab baisce oíche uimhreacha an lae inné.
- **Il-airgeadra / aisíocaíochtaí** ní mór iad a shamhaltú mar imeachtaí sínithe, nó sruthaíonn "ioncam".
- **Cathain nach mbeadh:** ní theastaíonn aon cheann díobh seo ó chúpla míle idirbheart/lá — buann tábla rolla Postgres nuashonraithe le cron cnuasach Kafka+Flink a chaithfidh tú a oibriú.

Ailtireacht

Conas a oibríonn sé

Dearcadh agallaimh

Idirbhabhtálacha agus teipeanna

Ceisteanna gaolmhara