Iddisinja pipeline ta' event-tracking b'volum għoli għal rapporti u ML — liema stack?

Question

IT Interview Practice · Accepted Answer

B'mijiet ta' miljuni ta' avvenimenti/jum (~ftit eluf/sek, ogħla fil-peaks) il-mossa rebbieħa hija li tissepara l-ingestion mis-serving: assorbi l-writes f'durable log, ipproċessa l-istream darba, u qassam f'żewġ stores mfassla għal xogħlijiet opposti — pre-aggregated għall-ġenituri (reads mgħaġġla), raw u b'full-fidelity għall-ML.

kamra tal-posta — il-collector jirċievi l-posta, Kafka huwa l-conveyor belt, u kull oġġett jiġi kkupjat fuq żewġ xkafef: li l-ġenituri jħarsu lejh malajr, u li t-tim tal-ML iħaffer fih.

**Mudell mentali:** kamra tal-posta — il-collector jirċievi l-posta, Kafka huwa l-conveyor belt, u kull oġġett jiġi kkupjat fuq żewġ xkafef: *summary board* li l-ġenituri jħarsu lejh malajr, u *full archive* li t-tim tal-ML iħaffer fih.

## Write path (ingest)

```text
Client ─(batch)─▶ Collector ─▶ Kafka ─▶ Stream proc ─┬─▶ OLAP rollup  (daily summaries)
 (learning app)    (HTTP)     (buffer,   (read once)  └─▶ S3 / Parquet (raw events)
                              replay)
```

- **Collector** jieħu avvenimenti **f'batches** fuq HTTP — il-batching fuq il-klijent idawwar mijiet ta' miljuni ta' writes żgħar f'ferm inqas requests.
- **Kafka** huwa d-durable buffer: jassorbi l-ispikes, jissepara l-producers mill-consumers, u jħallik **treplay** l-istorja meta l-ML iżid feature jew tintroduċi rollup ġdid.
- **Stream processor** jaqra Kafka darba u jikteb fiż-żewġ sinks — append raw fil-lake, upsert rollups għar-rapporti.

```js
// Consumer wieħed jaqra Kafka darba u jikteb fiż-ŻEWĠ sinks
for await (const batch of kafka.consume('events')) {
  await lake.appendParquet(batch);                      // raw -> S3/Parquet (ML)
  for (const e of batch)
    rollup.add({ childId: e.childId, day: dayOf(e.ts) },// aggregate -> OLAP (rapporti)
               { lessons: 1, studiedMs: e.studiedMs ?? 0 });
  await rollup.flush();
}
```

## Read path (serving)

```text
Parent app ─▶ API ─▶ OLAP rollup                 (pre-aggregated: report = O(1), no scan)
ML / Data  ─▶ Spark / warehouse ─▶ S3 / Parquet  (raw, flexible, ad-hoc)
```

Il-ġenituri jaċċessaw **summaries pre-aggregated**, allura rapport huwa key lookup, qatt scan fuq biljuni ta' rows. L-ML jagħmel query fuq ir-**raw lake**, iżomm kull field għal feature engineering.

## Stack & għaliex
- **Kafka** — buffer, decouple, replay.
- **ClickHouse / daily summary tables** — read-optimized għad-dashboards tal-ġenituri.
- **S3 + Parquet** — irħis, columnar, raw storage flessibbli għall-ML.
- **Schema registry** — jinforza l-kuntratt tal-event biex il-producers ma jkissrux lill-consumers fis-skiet.

## Lenti tal-intervista
L-intervistatur jittestja jekk tisseparax **ingest write-optimized minn serving read-optimized**, tevitax li tiskennja raw events għal kull rapport tal-ġenituri, u żżommx ir-raw data għall-ML. **Dgħajfa:** "poġġi kollox f'Postgres u agħmel query." **B'saħħitha:** durable buffer + żewġ serving paths + replay + kuntratt ta' schema, b'sens tal-iskala.

## Trade-offs
Il-pre-aggregation tagħti reads instantanji iżda tiffissa d-dimensjonijiet minn qabel; ir-raw lake huwa flessibbli iżda bil-mod. Żomm it-**tnejn** — il-qasma klassika write-once, read-many.

Write path (ingest)

Read path (serving)

Stack & għaliex

Lenti tal-intervista

Trade-offs

Mistoqsijiet relatati