كيف يعمل الاحتفاظ بالبيانات والتخزين في Kafka؟

Question

Accepted Answer

Kafka **يحتفظ بالأحداث** لفترة زمنية قابلة للتكوين (أو حجم)، ويحتفظ بها في سجلات التقسيم حتى بعد الاستهلاك — مما يتيح إعادة التشغيل والمستهلكين المتعددين. فهم الاحتفاظ وإدارة السجل مهم لاستخدام Kafka وإدارة التخزين.

## الاحتفاظ — يتم الاحتفاظ بالأحداث

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## تكوين الاحتفاظ

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## ضغط السجل

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## لماذا يهمك ذلك

فهم الاحتفاظ بالبيانات والتخزين في Kafka قيّم لأن **الاحتفاظ هو ميزة Kafka مميزة وأساسية** تؤثر على الإمكانيات والتخزين، لذا فهو معرفة ذات صلة باستخدام وتشغيل Kafka.

الاحتفاظ بـ Kafka للأحداث (الاحتفاظ بها في سجلات التقسيم حتى بعد الاستهلاك) هو مميز رئيسي عن الرتل التقليدي ويتيح إمكانيات Kafka المميزة.

فهم **الاحتفاظ** — أن Kafka يحتفظ بالأحداث لفترة زمنية أو حجم معين (عدم الحذف عند الاستهلاك)، مما يتيح **إعادة التشغيل** (إعادة قراءة السجل)، والمستهلكين المتعددين القراءة بشكل مستقل، والمستهلكين المتأخرين اللحاق بالركب — يوضح سبب كون Kafka سجل دائم وليس طابور عابر، وكيف تعمل إمكانياته في إعادة التشغيل والمستهلكين المتعددين.

فهم **تكوين الاحتفاظ** — الاحتفاظ المستند إلى الوقت (retention.ms، على سبيل المثال 7 أيام) والاحتفاظ المستند إلى الحجم (retention.bytes)، المكوّن لكل موضوع، والاختيار بناءً على احتياجات إعادة التشغيل وتسامح تأخر المستهلك وقدرة التخزين — معرفة عملية مهمة لإدارة المدة الزمنية للاحتفاظ بالبيانات والتخزين المرتبط بها.

فهم **ضغط السجل** — وضع احتفاظ بديل يحتفظ بـ **أحدث قيمة لكل مفتاح** (بدلاً من جميع الأحداث)، مفيد لمواضيع سجل التغييرات/الحالة حيث تكون الحالة الحالية لكل مفتاح مهمة (مثل "المستخدم → أحدث ملف شخصي"، مع الاحتفاظ بالأحدث لكل مستخدم) — ميزة Kafka مميزة وقيمة لمواضيع موجهة نحو الحالة، تتناقض مع الاحتفاظ بناءً على الوقت/الحجم.

فهم الاحتفاظ والضغط مهم لاستخدام إمكانيات Kafka (إعادة التشغيل، مواضيع الحالة) وإدارة التخزين (يؤثر الاحتفاظ على مقدار البيانات المخزنة).

تؤثر هذه المفاهيم على الوظائف (ما الذي يمكن للمستهلكين قراءته وإعادة تشغيله) والعمليات (إدارة التخزين).

لأن الاحتفاظ ميزة Kafka مميزة وأساسية (تتيح إعادة التشغيل والمستهلكين المتعددين، مما يميز Kafka عن الرتل) تؤثر على الإمكانيات والتخزين، ولأن فهم تكوين الاحتفاظ وضغط السجل ذو صلة باستخدام إمكانيات Kafka وإدارة التخزين، فإن فهم الاحتفاظ بالبيانات والتخزين في Kafka معرفة قيمة وعملية — أساسية للإمكانيات المميزة لـ Kafka (إعادة التشغيل والمستهلكين المتعددين) وإدارة التخزين، مع كون ضغط السجل ميزة قيمة لمواضيع الحالة، مهمة لاستخدام وتشغيل Kafka بفعالية.