Dizajnirajte high-volume pipeline za praćenje eventa za izvještaje i ML — koji stack?

Question

IT Interview Practice · Accepted Answer

Na stotine milijuna eventa/dan (~nekoliko tisuća/sek, više u vršcima) pobjednički potez je odvojiti ingest od posluživanja: upij zapise u trajni log, obradi stream jednom i razgranaj u dva spremišta podešena za suprotne poslove — pre-agregirano za roditelje (brza čitanja), sirovo i punog fideliteta za ML.

poštanska soba — collector prima poštu, Kafka je pokretna traka, a svaka stavka kopira se na dvije police: koju roditelji ovlaš pogledaju i po kojem ML tim kopa.

**Mentalni model:** poštanska soba — collector prima poštu, Kafka je pokretna traka, a svaka stavka kopira se na dvije police: *ploču sažetaka* koju roditelji ovlaš pogledaju i *puni arhiv* po kojem ML tim kopa.

## Put pisanja (ingest)

```text
Client ─(batch)─▶ Collector ─▶ Kafka ─▶ Stream proc ─┬─▶ OLAP rollup  (daily summaries)
 (learning app)    (HTTP)     (buffer,   (read once)  └─▶ S3 / Parquet (raw events)
                              replay)
```

- **Collector** prima **batchane** evente preko HTTP-a — batchanje na klijentu pretvara stotine milijuna sitnih zapisa u znatno manje zahtjeva.
- **Kafka** je trajni buffer: upija skokove, odvaja producere od consumera i omogućuje **replay** povijesti kad ML doda feature ili uvedeš novi rollup.
- **Stream processor** čita Kafku jednom i piše u oba sinka — dodaj sirovo u lake, upsertaj rollupe za izvještaje.

```js
// Jedan consumer čita Kafku jednom i piše u OBA sinka
for await (const batch of kafka.consume('events')) {
  await lake.appendParquet(batch);                      // raw -> S3/Parquet (ML)
  for (const e of batch)
    rollup.add({ childId: e.childId, day: dayOf(e.ts) },// aggregate -> OLAP (reports)
               { lessons: 1, studiedMs: e.studiedMs ?? 0 });
  await rollup.flush();
}
```

## Put čitanja (posluživanje)

```text
Parent app ─▶ API ─▶ OLAP rollup                 (pre-aggregated: report = O(1), no scan)
ML / Data  ─▶ Spark / warehouse ─▶ S3 / Parquet  (raw, flexible, ad-hoc)
```

Roditelji pogađaju **pre-agregirane sažetke**, pa je izvještaj traženje po ključu, nikad scan preko milijardi redaka. ML upitima gađa **sirovi lake**, zadržavajući svako polje za feature engineering.

## Stack i zašto
- **Kafka** — buffer, odvajanje, replay.
- **ClickHouse / dnevne summary tablice** — optimizirano za čitanje za roditeljske dashboarde.
- **S3 + Parquet** — jeftino, kolonarno, fleksibilno sirovo spremište za ML.
- **Schema registry** — nameće event contract da produceri ne mogu tiho slomiti consumere.

## Kroz oči intervjua
Ispitivač provjerava odvajaš li **ingest optimiziran za pisanje od posluživanja optimiziranog za čitanje**, izbjegavaš li scan sirovih eventa za svaki roditeljski izvještaj i zadržavaš li sirove podatke za ML. **Slabo:** "stavi sve u Postgres i upituj." **Jako:** trajni buffer + dva puta posluživanja + replay + schema contract, s osjećajem za razmjer.

## Kompromisi
Pre-agregacija daje trenutna čitanja ali unaprijed fiksira dimenzije; sirovi lake je fleksibilan ali spor. Zadrži **oba** — klasična podjela zapiši-jednom, čitaj-mnogo.

Put pisanja (ingest)

Put čitanja (posluživanje)

Stack i zašto

Kroz oči intervjua

Kompromisi

Povezana pitanja