როგორ მუშაობს შეტყობინებების დალაგება Kafka-ში?

Question

IT Interview Practice · Accepted Answer

Kafka გარანტირებს **დალაგებას პარტიციის შიგნით**, მაგრამ **არა პარტიციებს შორის** — ეს არის კრიტიკული კონცეფცია. დაკავშირებული ღონისძიებების დალაგების მისაღებად, თქვენ მათ ერთი პარტიციაში გაგზავნით (ერთი და იგივე გასაღების მეშვეობით). დალაგების გაგება მნიშვნელოვანია სისწორের თვალსაზრისით.

## პარტიციის შიგნით დალაგება

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## დაკავშირებული ღონისძიებების დალაგების მისაღება

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## ტრეიდ-ოფი და მოსაზრებები

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## რატომ აქვს მნიშვნელობა

Kafka-ში შეტყობინებების დალაგების გაგება ღირებული იმიტომ, რომ **დალაგება არის ფუნდამენტური, ხშირად არასწორად გაგებული Kafka კონცეფცია**, რომელიც მნიშვნელოვანია სისწორის თვალსაზრისით, ამიტომ ის აუცილებელი ცოდნაა.

Kafka-ს დალაგების გარანტია სპეციფიკური და კრიტიკული გაგებისთვის.

**პარტიციის შიგნით დალაგების** გაგება — რომ Kafka გარანტირებს წესრიგს **პარტიციის შიგნით** (ღონისძიებები მკაცრად დალაგებული offset-ით, წაკითხული წესრიგით) მაგრამ **არა პარტიციებს შორის** (სხვადსხვა პარტიციებში ღონისძიებებს არ აქვთ ფარდობითი წესრიგი, დამუშავებული პარალელურად) — არის Kafka-ს ფუნდამენტური თვისება და **გაგების ხშირი წყარო** (ხალხი ხშირად არასწორად ვარაუდობს გლობალურ დალაგებას), ამიტომ მის სწორი გაგება აუცილებელია სისწორის თვალსაზრისით.

**დაკავშირებული ღონისძიებების დალაგების მისაღების** გაგება — მათ ერთი პარტიციაში გაგზავნა იმავე გასაღების გამოყენებით (ამიტომ დაკავშირებული ღონისძიებები, როგორიცაა კონკრეტული შეკვეთის ან მომხმარებლის ყველა ღონისძიება, რომელიც გასაღებიანი ამ ერთეულით, წავიდეს ერთი პარტიციაში და დაბრუნდეს დალაგებული) — არის მთავარი პრაქტიკული ტექნიკა, რომ მივაღწიოთ დალაგების სისწორეს, რომელიც აპლიკაციებს სჭირდება (ერთეულის შესახებ დალაგება გასაღების მეშვეობით).

**ტრეიდ-ოფი და მოსაზრებების** გაგება — რომ დალაგება გასაღებში/პარტიციაში **ზღუდავს პარალელიზმს** ამ გასაღებისთვის (ერთი გასაღების ყველა ღონისძიება დამუშავებული ერთი მომხმარებლის მიერ წესრიგით), რომ რამდენიმე რამ ღელავს დალაგებას (producer retries idempotence-ის გარეშე და max.in.flight=1, პარტიციების დამატება გასაղების მეპირებაშ), და რომ უნდა გამოიყენოთ no key როდესაც დალაგება არ არის საჭირო (მაქსიმალური პარალელიზმისთვის) მაგრამ გასაღები სათანადოდ როდესაც ის აუცილებელია (პარალელიზმის სფეროს მიღებაც) — ასახავს დახვეწილ გაგებას, რომელიც საჭიროა სწორი დალაგების დიზაინისთვის პარალელიზმის ბალანსირების დროს.

ეს დალაგების ცოდნა მნიშვნელოვანია, რადგან მას არასწორად გამოყენება (გლობალური დალაგების ვარაუდი, ან ღონისძიებების გასაღების გარეშე დატოვება, რომელსაც დალაგება სჭირდება) იწვევს რეალურ სისწორის ხარვეზებს.

ვინაიდან დალაგება არის ფუნდამენტური, ხშირად არასწორად გაგებული Kafka კონცეფცია (მხოლოდ პარტიციის შიგნით, რომელიც მოითხოვს გასაღებებს დაკავშირებული ღონისძიებებისთვის) მნიშვნელოვანი სისწორის თვალსაზრისით, და ვინაიდან გარანტის გაგება, როგორ მივაღწიოთ დალაგებას გასაღებების მეშვეობით, და ტრეიდ-ოფი (დალაგება პარალელიზმის წინააღმდეგ) აუცილებელია, Kafka-ში შეტყობინებების დალაგების გაგება ღირებული, აუცილებელი Kafka ცოდნაა — ფუნდამენტური, ხშირად არასწორად გაგებული კონცეფცია, კრიტიკული სისწორის თვალსაზრისით, სადაც პარტიციის შიგნით დალაგების გაგება და გასაღების ზედა მხარეს მარშრუტიზაცია დაკავშირებული ღონისძიებებისთვის (და პარალელიზმის ტრეიდ-ოფი) აუცილებელია Kafka სისტემების დიზაინისთვის, რომელიც ღონისძიებებს სწორად ალაგებს, ეს არის ძირითადი კონცეფცია, რომელიც ყველა Kafka მომხმარებელმა უნდა გაიგოს ზუსტად.

პარტიციის შიგნით დალაგება

დაკავშირებული ღონისძიებების დალაგების მისაღება

ტრეიდ-ოფი და მოსაზრებები

რატომ აქვს მნიშვნელობა

დაკავშირებული კითხვები