Cila është arkitektura e përgjithshme e Kafka?

Question

Accepted Answer

Arkitektura e Kafka përbëhet nga një **grup brokerësh** (serverësh) që ruajnë tema të ndarë dhe të replikuara, me **prodhuesit** që shkruajnë dhe **konsumatorët** që lexojnë, të koordinuar nga menaxhimi i metapodateve (historikisht ZooKeeper, tani KRaft). Kuptimi i arkitekturës sqaron se si Kafka funksionon si një sistem i shpërndarë.

## Komponentët

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## Replikimi për qëndrueshmëri dhe disponibilitet

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## Si funksionon bashkë

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## Pse ka rëndësi

Kuptimi i arkitekturës së përgjithshme të Kafka është i vlefshëm sepse **sqaron se si Kafka funksionon si një sistem i shpërndarë**, kështu që është njohuri themelore për të punuar me Kafka.

Kafka është një sistem i shpërndarë, dhe kuptimi i arkitekturës së tij shpjegon se si arrin skalabilitetin, qëndrueshmërinë dhe disponibilitetin e tij.

Kuptimi i **komponentëve** — **brokerët** (serverët e Kafka që formojnë një grup që ruan particione dhe shërben klientët, duke shpërndarë të dhënat dhe ngarkesën), temat/particionet e shpërndara në mes të brokerëve, prodhuesit që shkruajnë dhe konsumatorët që lexojnë, dhe **koordinimi** (metapodatet dhe menaxhimi i grupit, historikisht përmes ZooKeeper, tani gjithnjë më shumë përmes **KRaft** — konsensusi i ndërtuar brenda Kafka që heq varësinë nga ZooKeeper) — sqaron pjesët e sistemit.

Kuptimi i **replikimit për qëndrueshmëri dhe disponibilitet** është veçanërisht i rëndësishëm: particionet janë **të replikuara në mes të brokerëve** (secila me një **lider** që menaxhon leximet/shkrimet dhe **ndjekësit** që e replikojnë atë), kështu që nëse një lider dështon një ndjekës merr vendimin (disponibilitet), me **faktorin e replikimit** që përcakton sa kopje mbijetojnë dështimet pa humbje të dhënash (qëndrueshmëri), dhe **replicat në sinkron** që sigurohen garantitë e qëndrueshmërisë.

Ky mekanizmi replikimi është se si Kafka arrin tolerancën ndaj dështimeve dhe qëndrueshmërinë — kyç për besueshmërinë e tij.

Kuptimi i **se si funksionon bashkë** (prodhuesit shkruajnë në liderat e particioneve, të replikuara në ndjekës, konsumatorët lexojnë, të gjithçka e koordinuar) siguron pamjen e plotë të Kafka si një sistem i shpërndarë, i replikuar dhe i shkallëzueshëm.

KjO pemë arkitekturore sqaron se si Kafka jep vetitë e tij kryesore (skalabilitet përmes brokerëve të particionuar të shpërndarë, qëndrueshmëri dhe disponibilitet përmes replikimit).

Meqë Kafka është një sistem i shpërndarë dhe kuptimi i arkitekturës së tij (brokerët, replikimi me liderat/ndjekësit, koordinimi) sqaron se si arrin skalabilitetin, qëndrueshmërinë dhe disponibilitetin, dhe meqë kjo është themelore për të punuar me Kafka, kuptimi i arkitekturës së përgjithshme të Kafka është njohuri e vlefshme dhe themelore — sqaron se si Kafka funksionon si një sistem i shpërndarë dhe i replikuar (brokerët, replikimi për tolerancën ndaj dështimeve, koordinimi), shpjegon se si jep vetitë e tij kryesore, dhe është themelore për të kuptuar dhe operuar Kafka.