Zasnujte pipeline za sledenje dogodkom z velikim obsegom za poročila in ML — kateri stack?

Question

IT Interview Practice · Accepted Answer

Pri stotinah milijonov dogodkov na dan (~nekaj tisoč/sek, več ob konicah) je zmagovalna poteza ločiti zajem (ingestion) od strežbe (serving): zapise absorbiraj v trajen log, tok obdelaj enkrat in razveji v dve shrambi, uglašeni za nasprotni nalogi — vnaprej agregirano za starše (hitra branja), surovo in polne kakovosti za ML.

poštna soba — zbiralnik (collector) sprejema pošto, Kafka je tekoči trak, vsak kos pa se prekopira na dve polici: , ki jo starši ošvrknejo, in , ki ga ML ekipa preiskuje.

**Miselni model:** poštna soba — zbiralnik (collector) sprejema pošto, Kafka je tekoči trak, vsak kos pa se prekopira na dve polici: *tablo s povzetki*, ki jo starši ošvrknejo, in *polni arhiv*, ki ga ML ekipa preiskuje.

## Pot pisanja (zajem)

```text
Client ─(batch)─▶ Collector ─▶ Kafka ─▶ Stream proc ─┬─▶ OLAP rollup  (daily summaries)
 (learning app)    (HTTP)     (buffer,   (read once)  └─▶ S3 / Parquet (raw events)
                              replay)
```

- **Collector** sprejema **paketirane (batched)** dogodke prek HTTP — paketiranje na odjemalcu spremeni stotine milijonov drobnih zapisov v mnogo manj zahtevkov.
- **Kafka** je trajen buffer: absorbira konice, razklopi producente od konzumentov in omogoča **replay** zgodovine, ko ML doda funkcijo ali uvedete nov rollup.
- **Stream processor** prebere Kafko enkrat in piše v oba ponora — surovo doda v lake, upserta rollupe za poročila.

```js
// En consumer prebere Kafko enkrat in piše v OBA ponora
for await (const batch of kafka.consume('events')) {
  await lake.appendParquet(batch);                      // surovo -> S3/Parquet (ML)
  for (const e of batch)
    rollup.add({ childId: e.childId, day: dayOf(e.ts) },// agregat -> OLAP (poročila)
               { lessons: 1, studiedMs: e.studiedMs ?? 0 });
  await rollup.flush();
}
```

## Pot branja (strežba)

```text
Parent app ─▶ API ─▶ OLAP rollup                 (pre-aggregated: report = O(1), no scan)
ML / Data  ─▶ Spark / warehouse ─▶ S3 / Parquet  (raw, flexible, ad-hoc)
```

Starši zadenejo **vnaprej agregirane povzetke**, zato je poročilo iskanje po ključu, nikoli sken čez milijarde vrstic. ML poizveduje **surov lake** in ohranja vsako polje za feature engineering.

## Stack in zakaj
- **Kafka** — buffer, razklop, replay.
- **ClickHouse / dnevne tabele povzetkov** — optimizirane za branje za nadzorne plošče staršev.
- **S3 + Parquet** — poceni, stolpčna, prožna surova shramba za ML.
- **Schema registry** — vsili pogodbo dogodka (event contract), da producenti ne morejo tiho pokvariti konzumentov.

## Vidik intervjuja
Izpraševalec preverja, ali ločite **za pisanje optimiziran zajem od za branje optimizirane strežbe**, ali se izognete skeniranju surovih dogodkov za vsako poročilo staršev in ali ohranite surove podatke za ML. **Šibko:** "daj vse v Postgres in poizveduj." **Močno:** trajen buffer + dve poti strežbe + replay + schema pogodba, z občutkom za obseg.

## Kompromisi
Vnaprejšnja agregacija daje takojšnja branja, a fiksira dimenzije vnaprej; surov lake je prožen, a počasen. Obdrži **oba** — klasična razdelitev napiši-enkrat, beri-mnogokrat.

Pot pisanja (zajem)

Pot branja (strežba)

Stack in zakaj

Vidik intervjuja

Kompromisi

Povezana vprašanja