როგორ მუშაობს მონაცემების შენახვა და სტორেჯი Kafka-ში?

Question

Accepted Answer

Kafka **ინახავს ღონისძიებებს** კონფიგურაციადი პერიოდით (ან ზომით), მათ შენახვით პარტიციის ლოგებში მაშინაც კი, მას შემდეგ რაც მათ მოხმარდა — რაც საშუალებას აძლევს ხელახლა დაკვრას და მრავალი მომხმარებელს. შენახვის და ლოგის მენეჯმენტის გაგება მნიშვნელოვანია Kafka-ს გამოსაყენებლად და სტორეჯის მართვისთვის.

## შენახვა — ღონისძიებები ინახება

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## შენახვის კონფიგურაცია

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## ლოგის კომპაქტირება

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## რატომ აქვს მნიშვნელობა

მონაცემების შენახვის და სტორეჯის გაგება Kafka-ში ღირებული იმიტომ, რომ **შენახვა Kafka-ს განმასხვავებელი, მნიშვნელოვანი ფიცურია**, რომელიც გავლენას ახდენს შესაძლებლობებზე და სტორეჯზე, ამიტომ ეს აქტუალური ცოდნაა Kafka-ს გამოსაყენებლად და ექსპლუატაციისთვის.

Kafka-ს ღონისძიებების შენახვა (მათ ინახვა პარტიციის ლოგებში მაშინაც კი, მას შემდეგ რაც მათ მოხმარდა) აღმოსავლეთის მნიშვნელოვანი დიფერენცირებელი კლასიკური რიგებიდან და საშუალებას აძლევს Kafka-ს განმასხვავებელ შესაძლებლობებს.

**შენახვის** გაგება — რომ Kafka ინახავს ღონისძიებებს კონფიგურაციადი პერიოდით ან ზომით (წაშლას არ უკეთებს მოხმარების დროს), რაც საშუალებას აძლევს **ხელახლა დაკვრას** (ისტორიის ხელახლა წაკითხვას), მრავალ მომხმარებელს დამოუკიდებლად წაკითხულად, და გვიან მომხმარებელს დაჯდომას — ნათელს ხდის, რატომ არის Kafka დაყოვილი ლოგი ე.წ. ვარდისფერი რიგის ნაცვლად, და როგორ მუშაობს მისი ხელახლა დაკვრა და მრავალმომხმარებელი შესაძლებლობები.

**შენახვის კონფიგურაციის** გაგება — დროზე დაფუძნებული (retention.ms, მაგ. 7 დღე) და ზომაზე დაფუძნებული (retention.bytes) შენახვა, კონფიგურირებული თითოეული თემისთვის, არჩევა ხელახლა დაკვრის საჭიროებიდან, მომხმარებელი ჩამორჩენილობის ტოლერანტობიდან და სტორეჯის ღირებულებიდან — პრაქტიკული მნიშვნელოვანი ცოდნა სტორეჯის მართვისთვის, თუ რამდენ ხნის განმავლობაში შენახულია მონაცემები და შესაბამისი სტორეჯი.

**ლოგის კომპაქტირების** გაგება — ალტერნატიული შენახვის რეჟიმი, რომელიც ინახავს **უახლეს ღირებულებას თითოეული გასაღის** (ყველა ღონისძიების ნაცვლად), სასარგებლო changelog/state თემებისთვის სადაც მხოლოდ მიმდინარე მდგომარეობა თითოეული გასაღისთვის აქვს მნიშვნელობა (როგორც "მომხმარებელი → უახლეს პროფილი," რომელიც ინახავს უახლესს თითოეულ მომხმარებელზე) — Kafka-ს განმასხვავებელი, ღირებული ფიცურია სახელმწიფოს ორიენტირებული თემებისთვის, დროის/ზომის შენახვის კონტრასტით.

შენახვის და კომპაქტირების გაგება მნიშვნელოვანია Kafka-ს შესაძლებლობების გამოსაყენებლად (ხელახლა დაკვრა, state თემები) და სტორეჯის მართვისთვის (შენახვა გავლენას ახდენს რამდენი მონაცემი შენახულია).

ეს კონცეფციები გავლენას ახდენს ფუნქციონალობაზე (რა შეუძლია მომხმარებელს წაკითხოს და ხელახლა დაკვროს) და ოპერაციებზე (სტორეჯის მართვა).

ვინაიდან შენახვა Kafka-ს განმასხვავებელი, მნიშვნელოვანი ფიცურია (რაც საშუალებას აძლევს ხელახლა დაკვრას და მრავალ მომხმარებელს, რომელიც განასხვავებს Kafka-ს რიგებიდან) რომელიც გავლენას ახდენს შესაძლებლობებზე და სტორეჯზე, და ვინაიდან შენახვის კონფიგურაციის და ლოგის კომპაქტირების გაგება აქტუალური ცოდნა Kafka-ს შესაძლებლობების გამოსაყენებლად და სტორეჯის მართვისთვის, Kafka-ში მონაცემების შენახვის და სტორეჯის გაგება ღირებული, პრაქტიკულად აქტუალური ცოდნა — ცენტრალური Kafka-ს განმასხვავებელი შესაძლებლობებისთვის (ხელახლა დაკვრა, მრავალი მომხმარებელი) და სტორეჯის მართვისთვის, ლოგის კომპაქტირება ღირებული ფიცურია state თემებისთვის, Kafka-ს ეფექტიანად გამოსაყენებლად მნიშვნელოვანი.