Što je Kafka Streams i stream processing?

Question

Accepted Answer

**Kafka Streams** je biblioteka za **stream processing** — izgradnju aplikacija koje obrađuju i transformiraju podatke u Kafka temama u realnom vremenu (filtriranje, transformacija, agregacija, spajanje tokova). Omogućava obradu podataka u realnom vremenu direktno na Kafki.

## Što je stream processing

```text
STREAM PROCESSING → process data CONTINUOUSLY as it arrives (in real time), vs batch
(processing stored data periodically):
  → consume events from topics, transform/analyze them, produce results (often to other topics)
  → real-time: react to and process events as they happen (low latency)
→ for: real-time analytics, transformations, monitoring, enrichment, aggregations
```

## Što Kafka Streams pruža

```text
KAFKA STREAMS = a Java/Scala LIBRARY for building stream-processing apps on Kafka:
  → read from topics, process, write to topics (a processing topology)
  → OPERATIONS: map, filter, transform; aggregations (count, sum); windowing (time windows);
    JOINS (join streams/tables)
  → STATEFUL processing → maintain state (e.g. running counts) with fault tolerance
  → STREAMS vs TABLES → a stream (events) and a table (state/changelog) duality (KStream/KTable)
  → it's a library (runs in your app) — no separate cluster needed (vs Flink/Spark)
```

## Upotreba i alternative

```text
USES → real-time analytics, data transformation/enrichment, aggregations, monitoring,
  event-driven processing, materialized views
ALTERNATIVES → Apache FLINK, Spark Streaming (more powerful, separate clusters);
  ksqlDB (SQL on Kafka streams)
→ Kafka Streams: simple (a library), good for Kafka-centric processing
```

## Zašto je to važno

Razumijevanje Kafka Streams-a i stream processinga je vrijedno jer je **obrada tokova podataka u realnom vremenu važna upotreba Kafke**, a Kafka Streams je ključan alat za to, pa je korisno znanje za obradu tokova podataka.

Stream processing — obrada podataka kontinuirano kako stižu u realnom vremenu (za razliku od batch obrade pohranjenih podataka) — postaje sve važnije za analitiku u realnom vremenu, transformacije i obradu vođenu događajima, a Kafka je prirodna platforma za to.

Razumijevanje **što je stream processing** (kontinuirano konzumiranje, transformiranje i proizvodnja tokova događaja s niskom latencijom, reagiranje na događaje kako se dešavaju) pojašnjava paradigmu.

Razumijevanje **što Kafka Streams pruža** — biblioteka za izgradnju aplikacija za stream processing na Kafki, s operacijama (map, filter, transform), agregacijama (count, sum), vremenskim prozorima (time windows) i spajanjima, plus **stateful processing** (održavanje stanja kao što su tekući brojači s tolerancijom greške) i **dualnost toka/tablice** (KStream/KTable) — pokriva njene mogućnosti za obradu u realnom vremenu.

Ključna točka je da je Kafka Streams **biblioteka** (koja se izvršava u vašoj aplikaciji, ne trebajući odvojeni klaster), što je čini jednostavnijom za obrada usmjerenu na Kafku od alternativa.

Razumijevanje **upotrebe** (analitika u realnom vremenu, transformacija, obogaćenje, agregacije, praćenje, materijalizirani prikazi) i **alternativa** (Flink i Spark Streaming za moćniju obradu s odvojenim klasterima, ksqlDB za SQL na tokovima) pojašnjava gdje se Kafka Streams nalazi i šire okruženje stream processinga.

Stream processing na Kafki omogućava izgradnju aplikacija za obradu podataka u realnom vremenu, sve važniju mogućnost.

Budući da je obrada tokova podataka u realnom vremenu važna i rastuća upotreba Kafke, a Kafka Streams je ključan alat za to (biblioteka koja omogućava transformaciju, agregaciju i stateful processing u realnom vremenu na Kafki), te budući da je razumijevanje stream processinga i Kafka Streams-a korisno za obradu tokova podataka, razumijevanje Kafka Streams-a i stream processinga je vrijedno, praktično-relevantno znanje — korisno za važnu upotrebu obrade tokova u realnom vremenu na Kafki, pokrivajući mogućnosti Kafka Streams-a i paradigmu stream processinga, relevantno za izgradnju aplikacija za obradu podataka u realnom vremenu, sve važnije mogućnosti u modernim arhitekturama podataka.