Dear píblíne rianaithe imeachtaí ard-toirte le haghaidh tuairiscí agus ML — cén stack?

Question

IT Interview Practice · Accepted Answer

Ag na céadta milliún imeacht/lá (~cúpla míle/soic, níos airde ag buaicphointí) is é an gluaiseacht bhuacach ná an t-ionghabháil a dhíchúpláil ón bhfreastal: ionsúigh scríbhinní isteach i log marthanach, próiseáil an sruth uair amháin, agus scaip amach chuig dhá stór atá tiúnta do jabanna contrártha — réamh-chomhbhailithe do thuismitheoirí (léamha tapa), amh agus lán-dílseacht do ML.

seomra poist — faigheann an bailitheoir an post, is é Kafka an crios iompair, agus déantar cóip de gach mír ar dhá sheilf: a bhreathnaíonn tuismitheoirí air, agus a thochailteann an fhoireann ML tríthi.

**Múnla meabhrach:** seomra poist — faigheann an bailitheoir an post, is é Kafka an crios iompair, agus déantar cóip de gach mír ar dhá sheilf: *clár achomair* a bhreathnaíonn tuismitheoirí air, agus *cartlann iomlán* a thochailteann an fhoireann ML tríthi.

## Conair scríofa (ionghabháil)

```text
Client ─(batch)─▶ Collector ─▶ Kafka ─▶ Stream proc ─┬─▶ OLAP rollup  (daily summaries)
 (learning app)    (HTTP)     (buffer,   (read once)  └─▶ S3 / Parquet (raw events)
                              replay)
```

- Glacann an **Bailitheoir** imeachtaí **baisceáilte** thar HTTP — iompaíonn baisceáil ar an gcliant na céadta milliún scríbhinn bheag ina i bhfad níos lú iarratas.
- Is é **Kafka** an buffer marthanach: ionsúíonn sé spící, díchúplálann sé táirgeoirí ó thomhaltóirí, agus ligeann sé duit stair a **replay** nuair a chuireann ML gné leis nó nuair a thugann tú rollup nua isteach.
- Léann an **próiseálaí srutha** Kafka uair amháin agus scríobhann sé an dá sink — ceangail amh leis an loch, upsert rollups le haghaidh tuairiscí.

```js
// Léann tomhaltóir amháin Kafka uair amháin agus scríobhann sé an DÁ sink
for await (const batch of kafka.consume('events')) {
  await lake.appendParquet(batch);                      // amh -> S3/Parquet (ML)
  for (const e of batch)
    rollup.add({ childId: e.childId, day: dayOf(e.ts) },// comhiomlánaigh -> OLAP (tuairiscí)
               { lessons: 1, studiedMs: e.studiedMs ?? 0 });
  await rollup.flush();
}
```

## Conair léimh (freastal)

```text
Parent app ─▶ API ─▶ OLAP rollup                 (pre-aggregated: report = O(1), no scan)
ML / Data  ─▶ Spark / warehouse ─▶ S3 / Parquet  (raw, flexible, ad-hoc)
```

Buaileann tuismitheoirí **achoimrí réamh-chomhbhailithe**, mar sin is cuardach eochrach é tuairisc, ní scanadh thar na billiúin ró riamh. Ceistíonn ML an **loch amh**, ag coinneáil gach réimse le haghaidh feature engineering.

## Stack & cén fáth
- **Kafka** — buffer, díchúpláil, replay.
- **ClickHouse / táblaí achoimre laethúla** — léamh-optamaithe do dashboards tuismitheoirí.
- **S3 + Parquet** — stóráil amh saor, columnar, solúbtha do ML.
- **Schema registry** — cuir conradh an imeachta i bhfeidhm ionas nach féidir le táirgeoirí tomhaltóirí a bhriseadh go ciúin.

## Léargas agallaimh
Fiosraíonn an t-agallóir an ndealaíonn tú **ionghabháil scríbhneoireacht-optamaithe ó fhreastal léamh-optamaithe**, an seachnaíonn tú imeachtaí amha a scanadh do gach tuairisc thuismitheora, agus an gcoinníonn tú sonraí amha do ML. **Lag:** "cuir gach rud i Postgres agus ceistigh é." **Láidir:** buffer marthanach + dhá chonair fhreastail + replay + conradh schema, le tuiscint ar an scála.

## Comhbhabhtálacha
Tugann réamh-chomhbhailiú léamha láithreacha ach socraíonn sé na toisí roimh ré; tá an loch amh solúbtha ach mall. Coinnigh **an dá cheann** — an scoilt chlasaiceach write-once, read-many.

Conair scríofa (ionghabháil)

Conair léimh (freastal)

Stack & cén fáth

Léargas agallaimh

Comhbhabhtálacha

Ceisteanna gaolmhara