რა არის ოფსეტები Kafka-ში და როგორ მუშაობენ ისინი?

Question

Accepted Answer

**ოფსეტი** არის უნიკალური, თანმიმდევრობით დაწყობილი ID თითოეული ღযვენტისთვის ზღვრის ფარგლებში — მის პოზიციას აღნიშნავს. მომხმარებლები ट্র‍్যাక করენ და დაკომიტებენ ოფსეტებს იმის დასაბეჭდად, რა მოიხმარეს, რაც დაბრუნებას, გამეორებას და საიმედო დამუშავებას საშუალებას აძლევს.

## რა არის ოფსეტები

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## როგორ იყენებენ მომხმარებლები ოფსეტებს

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## ოფსეტის მენეჯმენტი და მიწოდების სემანტიკა

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## რატომ აქვს მნიშვნელობა

ოფსეტების გაცნობა ფუნდამენტურია, რადგან ისინი **როგორ ტრაკავს Kafka-ს მოხმარების პროგრესს და ტარდება მის განსაკუთრებულ შესაძლებლობებს** (დაბრუნება, გამეორება, მიწოდების გარანტიები), ამიტომ Kafka-ს არსებითი ცოდნაა.

ოფსეტი — ღზვენტის პოზიცია ზღვრის ფარგლებში — ცენტრალურია როგორ მუშაობენ მომხმარებლები Kafka-სთან.

იმის გაცნობა **რა არის ოფსეტები** (თანმიმდევრობით დაწყობილი IDs, რომლებიც აღნიშნავს თითოეული ღზვენტის პოზიციას ზღვრის დაკვეთილი ლოგის ფარგლებში, ღზვენტების უშენძელი რომ ოფსეტები ვალიდი რჩება) არის საფუძველი.

იმის გაცნობა **როგორ იყენებენ მომხმარებლები ოფსეტებს** — მათი მიმდინარე ოფსეტის ტრაკირება (სად წაიკითხეს), **ოფსეტების დაკომიტება** პროგრესის ჩასაწერად (რათა დაბრუნდეს დაკომიტებულ წერტილიდან გადატვირთვისას ყველას გადამუშავების ნაცვლად), და **ნებისმიერი ოფსეტიდან ძიება ძველი ღზვენტების გამეორებისთვის ან წერტილიდან გადამუშავებისთვის** (Kafka-ს განსაკუთრებული გამეორების შესაძლებლობა), თითოეული მომხმარებელი ჯგუფი ტრაკავს საკუთარ ოფსეტებს დამოუკიდებლად — აუცილებელია იმის გასაცნობად, თუ როგორ მუშაობს Kafka-ს მოხმარება, დაბრუნება და გამეორება.
"|ყველაზე მნიშვნელოვანი, იმის გაცნობა **ოფსეტის მენეჯმენტი და მიწოდების სემანტიკა** მნიშვნელოვანია: **როდის და როგორ დაკომიტებთ ოფსეტებს გავლენას აქვს მიწოდების გარანტიებზე** — დაკომიტება დამუშავების შემდეგ აძლევს **მინიმუმ ერთხელ** (დაკრეშ დაკომიტებამდე იწვევს გადამუშავებას/დუბლიკატებს, რაც მოითხოვს idempotency), დაკომიტება წინ აძლევს **მაქსიმუმ ერთხელ** (დაკრეშ დაკომიტების შემდეგ მაგრამ დამუშავებამდე კარგავს გამზადებას), და **ზუსტად ერთხელ** მოითხოვს მეტს (ტრანზაქციები, idempotent დამუშავება).

ეს კავშირი ოფსეტის მენეჯმენტსა და მიწოდების გარანტიებს შორის არის key პრაქტიკული კონცეფცია საიმედო Kafka მომხმარებლებისთვის.

ავტო-კომიტი მხოლოდ manual commit-ის გაცნობა (კონტროლი გარანტიებზე) ასახავს პრაქტიკულ ოფსეტის მენეჯმენტს.

ვინაიდან ოფსეტები არის თუ როგორ აკვტრაკავს Kafka მოხმარების პროგრესს და ხელმძღვანელობენ მის განსაკუთრებულ შესაძლებლობებს (დაბრუნება, გამეორება) მათი მენეჯმენტი განსაზღვრავს მიწოდების გარანტიებს (მინიმუმ ერთხელ, მაქსიმუმ ერთხელ, ზუსტად ერთხელ), და ვინაიდან ოფსეტების გაცნობა აუცილებელია საიმედო მომხმარებლებისთვის, Kafka-ში ოფსეტების გაცნობა აუცილებელი, ფუნდამენტური ცოდნაა — ცენტრალურია თუ როგორ ტრაკავს Kafka მოხმარების პროგრესს და ხელმძღვანელობს გამეორებას, და მნიშვნელოვნად დაკავშირებული მიწოდების გარანტიებთან ოფსეტის მენეჯმენტის მეშვეობით, აუცილებელი საიმედო Kafka მომხმარებლებისთვის და core Kafka კონცეფცია.