Apakah itu Apache Kafka dan untuk apa ia digunakan?

Question

Accepted Answer

**Apache Kafka** ialah **platform event streaming** teragih — sistem yang tahan lasak (durable) dan berdaya pengeluaran tinggi (high-throughput) untuk menerbitkan, menyimpan, dan memproses aliran event (rekod). Ia digunakan untuk messaging, saluran data masa nyata, seni bina dipacu event (event-driven), dan stream processing pada skala besar.

## Apakah itu Kafka

```text
Kafka = a distributed, durable, high-throughput EVENT STREAMING platform:
  → PUBLISH events (producers write) and SUBSCRIBE to them (consumers read)
  → STORE streams of events durably (a distributed, replicated commit LOG)
  → PROCESS streams in real time
→ think of it as a durable, scalable, append-only LOG of events that many systems can
  write to and read from
```

## Untuk apa Kafka digunakan

```text
✓ MESSAGING / event streaming → decoupled communication between systems (pub/sub at scale)
✓ DATA PIPELINES → move/stream data between systems reliably (ingestion, ETL)
✓ EVENT-DRIVEN architecture → services react to events; event sourcing
✓ REAL-TIME processing → analytics, monitoring, stream processing (Kafka Streams)
✓ LOG aggregation, metrics, activity tracking, change data capture (CDC)
→ used by huge companies for high-volume, real-time data
```

## Ciri-ciri utama

```text
✓ HIGH THROUGHPUT → handles millions of events/sec (very scalable)
✓ DURABLE → events persisted to disk, replicated (not lost)
✓ DISTRIBUTED → scales horizontally across a cluster of brokers
✓ Events RETAINED → consumers read at their own pace; events kept (replay possible)
✓ DECOUPLED → producers and consumers are independent
```

## Mengapa ia penting

Memahami apakah itu Kafka dan untuk apa ia digunakan merupakan pengetahuan asas yang berharga kerana Kafka ialah **platform dominan untuk event streaming dan data bervolum tinggi** dalam seni bina moden, dan digunakan secara meluas di seluruh industri.

Kafka ialah platform event streaming teragih — pada asasnya sebuah **log event yang tahan lasak, berskala, dan append-only** yang producer menulis kepadanya dan consumer membaca daripadanya, menggabungkan messaging, storan yang tahan lasak, dan stream processing.

Memahami sifat teras ini (publish/subscribe kepada aliran event, disimpan secara tahan lasak dalam log teragih yang direplikasi, diproses secara masa nyata) merupakan asasnya.

Memahami **untuk apa Kafka digunakan** — messaging dan event streaming (pub/sub decoupled pada skala besar), saluran data (memindahkan data secara boleh harap antara sistem), seni bina dipacu event dan event sourcing, pemprosesan masa nyata dan analitik, serta pengagregatan log dan change data capture — menjelaskan kebolehgunaannya yang luas untuk senario data bervolum tinggi dan masa nyata.

Memahami **ciri-ciri utama** — throughput tinggi (jutaan event/saat), ketahanan (event dikekalkan dan direplikasi, tidak hilang), penskalaan mendatar yang teragih, pengekalan event (consumer membaca mengikut kadar mereka sendiri dengan replay yang mungkin — ciri yang tersendiri), dan decoupling — menjelaskan mengapa Kafka dipilih untuk senario data yang mencabar.

Kafka digunakan secara meluas oleh syarikat besar dan semakin lazim dalam seni bina data moden untuk streaming, saluran data, dan sistem dipacu event.

Memandangkan Kafka ialah platform dominan yang digunakan secara meluas untuk event streaming dan data bervolum tinggi (messaging, saluran data, seni bina dipacu event, pemprosesan masa nyata) dan memahami sifatnya (sebuah log event yang tahan lasak dan berskala), kegunaannya, serta ciri-cirinya merupakan asas untuk seni bina data dan dipacu event moden, memahami apakah itu Kafka dan untuk apa ia digunakan merupakan pengetahuan berharga yang relevan secara meluas — pemahaman asas tentang platform event streaming utama, yang semakin penting dalam seni bina data moden, dan menjadi rangka untuk topik Kafka yang lebih khusus, berharga untuk sesiapa yang bekerja dengan data streaming atau sistem dipacu event.