რა არის Kafka-ს ზოგადი არქიტექტურა?

Question

Accepted Answer

Kafka-ს არქიტექტურა შედგება **ბროკერების კლასტერისგან** (სერვერები), რომელიც ინახავს დანაყოფებულ, რეპლიცირებულ თემებს, **პროდიუსერებით**, რომელიც წერს და **კონსუმერებით**, რომელიც კითხულობს, კოორდინირებული მეტამონაცემების მართვის მাშინ (ისტორიულად ZooKeeper, ახლა KRaft). არქიტექტურის გაგება ნათელი ხდის, თუ როგორ მუშაობს Kafka განაწილებული სისტემის სახით.

## კომპონენტები

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## რეპლიკაცია დამდეგობისა და ხელმისაწვდომობისთვის

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## როგორ მუშაობს ეს ერთად

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## რატომ არის მნიშვნელოვანი

Kafka-ს ზოგადი არქიტექტურის გაგება ღირებული აღმოჩნდება, რადგან ის **ნათელი ხდის, თუ როგორ მუშაობს Kafka განაწილებული სისტემის სახით**, ამიტომ ეს არის საფუძველი ცოდნა Kafka-ს ქმედითი უნარის მისაღებად.

Kafka არის განაწილებული სისტემა, და მისი არქიტექტურის გაგება ხსნის, თუ როგორ მიაღწევს იგი მის მასშტაბურობას, დამდეგობას და ხელმისაწვდომობას.

კომპონენტების** გაგება — **ბროკერები** (Kafka სერვერები, რომლებიც ქმნიან კლასტერს, რომელიც ინახავს დანაყოფებს და ემსახურება კლიენტებს, მონაცემებისა და დატვირთვის განაწილებით), თემები/დანაყოფები, განაწილებული ბროკერებში, პროდიუსერებით, რომელიც წერს და კონსუმერებით, რომელიც კითხულობს, და **კოორდინაცია** (მეტამონაცემები და კლასტერის მართვა, ისტორიულად ZooKeeper-ის მাშინ, ახლა სულ უფრო **KRaft**-ის მაშინ — Kafka-ს საკუთარი ჩაშენებული კონსენსუსი, რომელიც აშორებს ZooKeeper-ის დამოკიდებულებას) — ხსნის სისტემის ნაწილებს.

**დამდეგობისა და ხელმისაწვდომობისთვის რეპლიკაციის** გაგება განსაკუთრებით მნიშვნელოვანია: დანაყოფები **რეპლიცირდება ბროკერებში** (თითოეული **ლიდერით**, რომელიც ელაპარაკება წაკითხვას/წერაში და **მიმდევრებით**, რომელიც იკრიფება), ისე, რომ თუ ლიდერი წარუმატებელი, მიმდევარი იღებს ადგილს (ხელმისაწვდომობა), რეპლიკაციის ფაქტორით, რომელი განსაზღვრავს რამდენი ასლი ინახება წარუმატებლობის გარდა მონაცემების დაკარგვის გარეშე (დამდეგობა), და **სინხროზე რეპლიკებით**, რომელიც უზრუნველყოფს დამდეგობის გარანტიებს.

ეს რეპლიკაციის მეხანიზმი არის, თუ როგორ მიაღწევს Kafka შეცდომის ტოლერანტობას და დამდეგობას — მისი სანდოობის გასაღები.

**როგორ მუშაობს ეს ერთად** გაგება (პროდიუსერებით, რომელიც წერს დანაყოფის ლიდერებში, რეპლიცირებული მიმდევარებში, კონსუმერებით, რომელიც კითხულობს, ყველა კოორდინირებული) იძლევა Kafka-ს სრულ სურათს, როგორც განაწილებული, რეპლიცირებული, მასშტაბური სისტემა.

ეს არქიტექტურული გაგება ხსნის, თუ როგორ იძლევა Kafka თავის ძირითადი თვისებებს (მასშტაბურობა განაწილებული დანაყოფებული ბროკერებით, დამდეგობა და ხელმისაწვდომობა რეპლიკაციის მাშინ).

ა რა Kafka არის განაწილებული სისტემა და მისი არქიტექტურის გაგება (ბროკერები, რეპლიკაცია ლიდერ/მიმდევრებით, კოორდინაცია) ხსნის, თუ როგორ მიაღწევს იგი მასშტაბურობას, დამდეგობას და ხელმისაწვდომობას, და მას შემდეგ, რომ ეს არის საფუძველი Kafka-ს ქმედითი უნარის მისაღებად, Kafka-ს ზოგადი არქიტექტურის გაგება ღირებული, საფუძველი ცოდნა — ნათელი ხდის, თუ როგორ მუშაობს Kafka განაწილებული, რეპლიცირებული სისტემის სახით (ბროკერები, რეპლიკაცია შეცდომის ტოლერანტობისთვის, კოორდინაცია), ხსნის, თუ როგორ იძლევა მისი ძირითადი თვისებებს, და საფუძველი Kafka-ს გაგებისა და ოპერირებისთვის.