Conas a stórálann tú 100M imeacht loga in aghaidh an lae?

Question

IT Interview Practice · Accepted Answer

Tóg **píblíne níos iarcheangail: gníomhairí → Kafka → stóras sraithithe (te in ClickHouse/ELK, fuar in stóras réad)** le polasaí coinneála a innéacsann sonraí le déanaí agus a chartlannaíonn an chuid eile go saor. Is ~1,200/soicind ar an meán é 100M imeacht/lá (borrthaí i bhfad níos airde) agus deicheanna-go-céadta GB in aghaidh an lae — barrfheabhsaíonn tú do scríbhinní saora agus costas ceiste teorannaithe, ní do shéimeantaic OLTP.

```text
App/agents ─▶ Kafka ─▶ Consumers ─┬─▶ ClickHouse / ELK   (hot: last 7–30d, indexed, fast search)
 (Fluent Bit)  (buffer,            │
                replay)            └─▶ S3/Parquet         (cold: 90d–years, cheap, scan-on-demand)
                                          │
                                   Lifecycle/tiering ─▶ Glacier (archive) ─▶ delete at retention
```

## Píblíne iarcheangail

Scríobhtar logaí uair amháin, ní nuashonraítear riamh iad — mar sin is **iarcheangal** í an chonair ionsúite. Seolann gníomhairí cosúil le **Fluent Bit / Vector** línte chuig **Kafka**, a mhaolánaíonn borrthaí agus a dhí-chúplaíonn táirgeoirí ón stóras. Má tá ClickHouse síos le haghaidh cothabhála, ciúáiltear imeachtaí in Kafka agus athsheinntear iad — ní chaitheann tú logaí. Baisc scríbhinní (na mílte rón in aghaidh gach ionsáite) mar scriosann ionsáití in aghaidh gach róin throughput ar stóir cholúnacha.

## Stór te: innéacs le haghaidh cuardaigh

Teastaíonn cuardach tapa ó logaí le déanaí ("earráidí san uair dheireanach do sheirbhís X"). Freastalaíonn **ClickHouse** (colúnach, comhbhrúnn 10x, scanann na billiúin rón/soicind) nó an **cruach ELK** (innéacs inbhéartaithe Elasticsearch) air seo. Deighil de réir lae/seirbhíse ionas go mbaineann ceisteanna chuig cúpla deighilt. Tá an tsraith seo costasach in aghaidh gach GB, mar sin coinnigh beag é — ach na 7–30 lá deireanacha.

## Stór fuar: stóras réad + sraithiú

Bogann logaí níos sine chuig **S3 mar Parquet** — saor, marthanach, inchistithe ar éileamh trí Athena/Trino. Aistríonn **polasaí saolré** S3 → Glacier → scriosadh ag do theorainn choinneála (m.sh. 1 bhliain). Is é an *sraithiú* seo an croí-luamhán costais: d'fhéadfadh stóras te a bheith 50x praghas na cartlainne.

## Dearcadh agallaimh

Iniúchann agallóirí an **idirbhabhtáil innéacs-vs-costas**: tugann gach rud a innéacsú cuardach iontach ach séideann sé an buiséad; ní innéacsú rud ar bith saor ach neamhinchistithe. Maith: "úsáid ELK." Iontach: sraitheann tú — innéacsáil an slisín te le déanaí, cartlannaigh an chuid eile fuar — agus ainmníonn tú Kafka mar an maolán a dhéanann ionsú athléimneach do bhristeacha thíos.

**Gaiste coitianta:** gach loga a chur in Elasticsearch go deo. Is é an rogha is costasaí é agus titeann a chnuasach as a chéile ar chairdinéalacht/coinneáil nár phleanáil tú.

## Idirbhabhtálacha agus móid teipe

- **Coinneáil vs costas:** coinneáil níos faide = fás líneach stórais; sraitigh go hionsaitheach.
- **Cúl-bhrú Kafka:** má thiteann tomhaltóirí ar gcúl, líontar diosca — dimensean coinneáil agus déan monatóireacht ar mhoill.
- **Pléascadh cairdinéalachta:** boilscíonn réimsí ard-chairdinéalachta (user_id) innéacsanna ES; samplaigh nó caith amach iad.
- **Costas ceiste ar shonraí fuara:** cosnaíonn scanadh Athena in aghaidh gach TB — deighil Parquet de réir dáta/seirbhíse ionas go bhfanann scanadh teorannaithe.
- **Dúblacha ar a laghad uair amháin:** dedup ar aitheantas imeachta má tá cuntais bheachta tábhachtach.

Píblíne iarcheangail

Stór te: innéacs le haghaidh cuardaigh

Stór fuar: stóras réad + sraithiú

Dearcadh agallaimh

Idirbhabhtálacha agus móid teipe

Ceisteanna gaolmhara