Suunnittele suuren volyymin event-tracking-pipeline raportteja ja ML:ää varten — mikä stack?

Question

IT Interview Practice · Accepted Answer

Satojen miljoonien tapahtumien/päivä (~muutama tuhat/s, huipuissa enemmän) mittakaavassa voittava siirto on irrottaa ingestion serving-vaiheesta: imaise kirjoitukset kestävään lokiin, prosessoi virta kerran, ja jaa se kahteen vastakkaisiin tehtäviin viritettyyn tallennukseen — esiaggregoituna vanhemmille (nopeat luvut), raakana ja täystarkkuisena ML:lle.

postihuone — collector vastaanottaa postin, Kafka on kuljetinhihna, ja jokainen kappale kopioidaan kahdelle hyllylle: , jota vanhemmat vilkaisevat, ja , jota ML-tiimi kaivaa läpi.

**Ajatusmalli:** postihuone — collector vastaanottaa postin, Kafka on kuljetinhihna, ja jokainen kappale kopioidaan kahdelle hyllylle: *yhteenvetotaulu*, jota vanhemmat vilkaisevat, ja *täysarkisto*, jota ML-tiimi kaivaa läpi.

## Kirjoituspolku (ingest)

```text
Client ─(batch)─▶ Collector ─▶ Kafka ─▶ Stream proc ─┬─▶ OLAP rollup  (daily summaries)
 (learning app)    (HTTP)     (buffer,   (read once)  └─▶ S3 / Parquet (raw events)
                              replay)
```

- **Collector** ottaa **batchatut** tapahtumat HTTP:n yli — clientin puolella batchaus muuttaa sadat miljoonat pienet kirjoitukset paljon harvemmiksi pyynnöiksi.
- **Kafka** on kestävä buffer: se imaisee piikit, irrottaa producerit consumereista, ja antaa **replayta** historiaa, kun ML lisää featuren tai otat käyttöön uuden rollupin.
- **Stream processor** lukee Kafkan kerran ja kirjoittaa molemmat sinkit — append raaka laitteeseen (lake), upsert rollupit raportteja varten.

```js
// Yksi consumer lukee Kafkan kerran ja kirjoittaa MOLEMMAT sinkit
for await (const batch of kafka.consume('events')) {
  await lake.appendParquet(batch);                      // raaka -> S3/Parquet (ML)
  for (const e of batch)
    rollup.add({ childId: e.childId, day: dayOf(e.ts) },// aggregoi -> OLAP (raportit)
               { lessons: 1, studiedMs: e.studiedMs ?? 0 });
  await rollup.flush();
}
```

## Lukupolku (serving)

```text
Parent app ─▶ API ─▶ OLAP rollup                 (pre-aggregated: report = O(1), no scan)
ML / Data  ─▶ Spark / warehouse ─▶ S3 / Parquet  (raw, flexible, ad-hoc)
```

Vanhemmat osuvat **esiaggregoituihin yhteenvetoihin**, joten raportti on avainhaku, ei koskaan skannaus yli miljardien rivien. ML kyselee **raakaa lakea** säilyttäen jokaisen kentän feature engineeringiä varten.

## Stack & miksi
- **Kafka** — buffer, decouple, replay.
- **ClickHouse / päivittäiset summary-taulut** — luvuksi optimoitu vanhempien dashboardeille.
- **S3 + Parquet** — halpa, sarakkeittainen, joustava raakatallennus ML:lle.
- **Schema registry** — pakota event-kontrakti, jotta producerit eivät voi hiljaa rikkoa consumereita.

## Haastattelunäkökulma
Haastattelija tunnustelee, erotatko **kirjoitukseen optimoidun ingestin luvuksi optimoidusta servingistä**, vältätkö raakojen tapahtumien skannaamisen jokaista vanhempien raporttia varten, ja säilytätkö raakadatan ML:lle. **Heikko:** "laita kaikki Postgresiin ja kysele sitä." **Vahva:** kestävä buffer + kaksi serving-polkua + replay + schema-kontrakti, mittakaavan tuntumalla.

## Kompromissit
Esiaggregointi antaa välittömät luvut mutta kiinnittää dimensiot etukäteen; raaka lake on joustava mutta hidas. Pidä **molemmat** — klassinen write-once, read-many -jako.

Kirjoituspolku (ingest)

Lukupolku (serving)

Stack & miksi

Haastattelunäkökulma

Kompromissit

Aiheeseen liittyvät kysymykset