ما هي offsets في Kafka وكيف تعمل؟

Question

Accepted Answer

**offset** هو معرّف فريد متسلسل لكل حدث ضمن partition — يحدد موقعه. يتتبع المستهلكون (consumers) ويلتزمون بـ offsets لمعرفة ما استهلكوه، مما يتيح الاستئناف والإعادة والمعالجة الموثوقة.

## ما هي offsets

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## كيف يستخدم المستهلكون offsets

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## إدارة offsets وآليات التسليم

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## لماذا هذا مهم

فهم offsets أساسي لأنها **الطريقة التي يتتبع بها Kafka تقدم الاستهلاك ويمكّن قدراته المميزة** (الاستئناف والإعادة وضمانات التسليم)، لذلك فهي معرفة أساسية لـ Kafka.

offset — موقع حدث ضمن partition — يكون مركزياً لكيفية عمل المستهلكين مع Kafka.

فهم **ما هي offsets** (معرفات متسلسلة تحدد موقع كل حدث في سجل partition المرتب، مع الاحتفاظ بالأحداث بحيث تبقى offsets صحيحة) هو الأساس.

فهم **كيف يستخدم المستهلكون offsets** — تتبع offset الحالي (حيث قرأوا إليه)، **الالتزام بـ offsets** لتسجيل التقدم (بحيث يستأنفون من نقطة الالتزام عند إعادة التشغيل بدلاً من إعادة معالجة كل شيء)، والقدرة على **البحث عن أي offset لإعادة تشغيل** أحداث قديمة أو إعادة معالجة من نقطة (قدرة إعادة التشغيل المميزة في Kafka)، مع تتبع كل مجموعة مستهلكين (consumer group) لـ offsets الخاصة بها بشكل مستقل — أساسي لفهم كيفية عمل الاستهلاك والاستئناف والإعادة في Kafka.

الأهم من ذلك، فهم **إدارة offsets وآليات التسليم** حاسم: **متى وكيف تلتزم بـ offsets يؤثر على ضمانات التسليم** — الالتزام بعد المعالجة يعطي **at-least-once** (توقف قبل الالتزام يسبب إعادة معالجة/تكرارات، مما يتطلب idempotency)، الالتزام قبل يعطي **at-most-once** (توقف بعد الالتزام لكن قبل المعالجة يفقد الرسالة)، و **exactly-once** يتطلب أكثر من ذلك (transactions، معالجة idempotent).

هذا الربط بين إدارة offsets وضمانات التسليم هو مفهوم عملي رئيسي لبناء مستهلكين Kafka موثوقين.

فهم auto-commit مقابل manual commit (السيطرة على الضمانات) يعكس إدارة offset عملية.

بما أن offsets هي كيفية تتبع Kafka لتقدم الاستهلاك وتمكين قدراته المميزة (الاستئناف والإعادة) بينما تحدد إدارتها ضمانات التسليم (at-least-once، at-most-once، exactly-once)، وبما أن فهم offsets أساسي لبناء مستهلكين موثوقين، فإن فهم offsets في Kafka معرفة أساسية وأساسية — مركزي لكيفية تتبع Kafka للاستهلاك وتمكين الإعادة، ومرتبط بشكل حاسم بضمانات التسليم من خلال إدارة offsets، ضروري لبناء مستهلكين Kafka موثوقين ومفهوم أساسي في Kafka.