როგორ მუშაობენ producers და consumers Kafka-ში?

Question

IT Interview Practice · Accepted Answer

**Producers** აქვეყნებენ (წერენ) events Kafka topics-ში, და **consumers** ხელმოწერენ (კითხულობენ) events მათ შემოდან. იმის გაცნობიერება, თუ როგორ მუშაობენ ისინი — პარტიშნიერების (partitioning), offsets და consumer groups ჩათვლით — ფუნდამენტური Kafka-ს გამოყენებისთვის.

## Producers — events-ის წერა

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumers — events-ის კითხვა

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (მნიშვნელოვანი scaling-ისთვის)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## რატომ მნიშვნელოვანია

იმის გაცნობიერება, თუ როგორ მუშაობენ producers და consumers ფუნდამენტური, რადგან ისინი **როგორ მოძრაობს მონაცემები Kafka-ში შიგნით და გარეთ**, ამიტომ აუცილებელი Kafka-ს გამოყენებისთვის.

Producers წერენ events და consumers კითხულობენ მათ — ძირითადი მონაცემთა ნაკადი.

**Producers-ის** გაცნობიერება — events-ის aქვეყნება topics-ში, **key გადაწყვეტს partition-ს** (იგივე key წავიდეს იმავე partition-ში წესრიგისთვის, key გარეშე განაწილდება round-robin), acknowledgments-ის კონფიგურირება durability-სთვის და batching throughput-ისთვის — მოიცავს როგორ შედის მონაცემები Kafka-ში.

**Consumers-ის** გაცნობიერება — events-ის კითხვა მათი **offset** (პოზიცია) ტრეკირების დროს რათა განახლდეს იქიდან სადაც დაკარგვა მოხდა, კითხვა საკუთარი ტემპით რადგან events-ი დარჩენილია, შესაძლებლობა **replay** ნებისმიერი offset-დან და offsets-ის commit როგორც პროგრესის ჩაწერა — მოიცავს როგორ კითხულობა მონაცემები, ჩათვლით Kafka-ს განსხვავებული replay შესაძლებლობა.

ყველაზე მნიშვნელოვანი, **consumer groups**-ის გაცნობიერება აუცილებელი Kafka-ს scaling model-სთვის: consumers ერთად მუშაობენ სადაც **თითოეული partition მოიხმარა ერთი consumer group-ში** (პარალელური დამუშავების ხელმისაწვდომობა, scaling კონსიუმერების დამატებით partition count-მდე), ავტომატური **rebalancing** თუ consumer-ი ვერ უმკლავდება (ხარვეზის ტოლერობა), ხოლო **სხვადსხვა consumer groups თითოეული კითხულობს ყველა events დამოუკიდებლად** (pub/sub ხელმისაწვდომობა სადაც მრავალი groups თითოეული მიიღებს სრულ ნაკადს).

ეს consumer-group model ფუნდამენტური Kafka-ს consuming scaling-სთვის და მხარს უჭერს queue-სავით (group-ში) და pub/sub (groups-ში) patterns.

ხოლოდი producers და consumers არიან როგორ მოძრაობს მონაცემები Kafka-ში შიგნით და გარეთ, და რადგან იმის გაცნობიერება მათი ფუნქციონირება — partitioning, offsets, replay და მეტყველებით consumer groups (scaling-ისა და queue/pub-sub დუალობის გასაღები) — აუცილებელი Kafka-ს გამოყენებისთვის, იმის გაცნობიერება როგორ მუშაობენ producers და consumers აუცილებელი, ფუნდამენტური Kafka ცოდნა — მონაცემთა ნაკადის ფუნდამენტური Kafka-ში, consumer groups-ით განსაკუთრებით მნიშვნელოვანი Kafka-ს scaling და consumption model-ის გაცნობიერებისთვის, და აუცილებელი ვინმესთვის რომელიც იყენებს Kafka-ს.

Producers — events-ის წერა

Consumers — events-ის კითხვა

Consumer groups (მნიშვნელოვანი scaling-ისთვის)

რატომ მნიშვნელოვანია

დაკავშირებული კითხვები