Kif taħżen 100M log event kuljum?

Question

IT Interview Practice · Accepted Answer

Ibni **pipeline append-only: agents → Kafka → tiered storage (hot f'ClickHouse/ELK, cold f'object storage)** b'retention policy li tindexja data reċenti u tarkivja l-bqija bl-irħis. 100M event/kuljum huma ~1,200/sekonda bħala medja (spikes ħafna ogħla) u għexieren-sa-mijiet ta' GB kuljum — tottimizza għal writes irħas u kost ta' query limitat, mhux semantika ta' OLTP.

```text
App/agents ─▶ Kafka ─▶ Consumers ─┬─▶ ClickHouse / ELK   (hot: last 7–30d, indexed, fast search)
 (Fluent Bit)  (buffer,            │
                replay)            └─▶ S3/Parquet         (cold: 90d–years, cheap, scan-on-demand)
                                          │
                                   Lifecycle/tiering ─▶ Glacier (archive) ─▶ delete at retention
```

## Pipeline ta' append

Il-logs huma write-once, qatt aġġornati — allura l-ingest path huwa **append**. Agents bħal **Fluent Bit / Vector** jibagħtu l-linji lejn **Kafka**, li tagħmel buffer tal-bursts u tiddekja l-producers mill-ħżin. Jekk ClickHouse ikun down għal manutenzjoni, l-events joqogħdu fil-queue f'Kafka u jagħmlu replay — ma titlifx logs. Agħmel batch tal-writes (eluf ta' rows għal kull insert) għax inserts għal kull row jeqirdu t-throughput fuq columnar stores.

## Hot store: indexja għat-tfittxija

Logs reċenti jeħtieġu tfittxija mgħaġġla ("errors fl-aħħar siegħa għas-servizz X"). **ClickHouse** (columnar, jikkompressa 10x, jagħmel scan biljuni ta' rows/sekonda) jew l-**ELK stack** (Elasticsearch inverted index) iservu dan. Ippartizzjona skont il-jum/servizz biex il-queries jitnaqqsu għal ftit partitions. Dan it-tier huwa għali għal kull GB, allura żommu żgħir — biss l-aħħar 7–30 ijiem.

## Cold store: object storage + tiering

Logs eqdem jiċċaqilqu lejn **S3 bħala Parquet** — irħas, durabbli, u jistgħu jiġu interrogati fuq talba permezz ta' Athena/Trino. **Lifecycle policy** tittrasferixxi S3 → Glacier → tħassir mal-limitu tar-retention (eż. sena). Dan it-*tiering* huwa l-lieva ewlenija tal-kost: il-hot storage jista' jkun 50x il-prezz tal-arkivjar.

## Perspettiva tal-intervista

L-intervistaturi jgħarblu t-**trade-off bejn index u kost**: li tindexja kollox jagħti tfittxija eċċellenti imma jonfoħ il-baġit; li ma tindexja xejn huwa rħis imma ma tistax tagħmel query. Tajjeb: "uża ELK." Eċċellenti: tagħmel tiering — indexja l-biċċa hot reċenti, arkivja l-bqija cold — u ssemmi Kafka bħala l-buffer li jagħmel l-inġestjoni reżiljenti għal outages downstream.

**Nassa komuni:** li tpoġġi l-logs kollha f'Elasticsearch għal dejjem. Hija l-aktar għażla għalja u l-cluster tagħha jaqa' fuq kardinalità/retention li ma ppjanajtx.

## Trade-offs u modi ta' fallimenti

- **Retention vs kost:** retention itwal = tkabbir lineari tal-ħżin; agħmel tiering b'mod aggressiv.
- **Kafka backpressure:** jekk il-consumers jaqgħu lura, id-disk jimtela — iddimensjona r-retention u immonitorja l-lag.
- **Splużjoni ta' kardinalità:** fields ta' kardinalità għolja (user_id) jonfħu l-ES indexes; ikkampjuna jew warrabhom.
- **Kost tal-query fuq cold data:** Athena scans jiswew għal kull TB — ippartizzjona l-Parquet skont data/servizz biex l-iscans jibqgħu limitati.
- **At-least-once dupes:** dedup fuq event id jekk għadd eżatt jgħodd.

Pipeline ta' append

Hot store: indexja għat-tfittxija

Cold store: object storage + tiering

Perspettiva tal-intervista

Trade-offs u modi ta' fallimenti

Mistoqsijiet relatati