Kafka'da offset nedir ve nasıl çalışır?

Question

Accepted Answer

**Offset**, bir partition içindeki her olay için benzersiz, sıralı bir kimlik olup — konumunu işaretler. Consumer'lar tükettiğini bilmek için offset'leri takip eder ve commit eder, bu da devam etmeyi, tekrar oynatmayı ve güvenilir işlemi sağlar.

## Offset'ler nedir

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Consumer'lar offset'leri nasıl kullanır

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset yönetimi ve delivery semantiği

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Neden önemli

Offset'leri anlamak temeldir çünkü bunlar **Kafka'nın tüketim ilerlemesini nasıl takip ettiği ve ayırt edici yeteneklerini nasıl sağladığıdır** (devam etme, tekrar oynatma, delivery garantileri), bu nedenle Kafka bilgisi esastır.

Bir offset — bir partition içindeki olayın konumu — consumer'ların Kafka ile nasıl çalıştığının merkezinde yer alır.

**Offset'lerin ne olduğunu anlamak** (bir partition'ın sıralı log'undaki her olayın konumunu işaretleyen sıralı kimlikler, olaylar tutularak offset'ler geçerli kalır) temeldir.

**Consumer'lar offset'leri nasıl kullanır** — mevcut offset'lerini takip etmek (nereye kadar okudukları), ilerlemeyi kaydetmek için **offset'leri commit etmek** (yeniden başladığında tüm şeyi yeniden işlemek yerine committed noktadan devam etmek için), ve eski olayları tekrar oynatmak veya bir noktadan yeniden işlemek için **herhangi bir offset'e seek yapabilmek** (Kafka'nın ayırt edici tekrar oynatma özelliği), her consumer grubu offset'lerini bağımsız olarak takip etmesi — Kafka tüketimi, devam etme ve tekrar oynatma işleminin nasıl çalıştığını anlamak için esastır.

En önemlisi, **offset yönetimi ve delivery semantiğini anlamak** çok önemlidir: **offset'leri ne zaman ve nasıl commit ettiğiniz delivery garantilerini etkiler** — işlemden sonra commit etmek **at-least-once** verir (commit'ten önce kilitlenme yeniden işleme/duplikatlar neden olur, idempotency gerektirir), öncesinde commit etmek **at-most-once** verir (commit'ten sonra ancak işlemden önce kilitlenme mesajı kaybeder), ve **exactly-once** daha fazlasını gerektirir (işlemler, idempotent işleme).

Offset yönetimi ile delivery garantileri arasındaki bu bağlantı güvenilir Kafka consumer'ları oluşturmak için önemli bir pratik kavramdır.

Auto-commit'i manual commit ile karşılaştırarak anlamak (garantiler üzerinde kontrol) pratik offset yönetimini yansıtır.

Offset'ler Kafka'nın tüketim ilerlemesini nasıl takip ettiği ve ayırt edici yeteneklerini (devam etme, tekrar oynatma) sağladığı, offset yönetimi delivery garantilerini (at-least-once, at-most-once, exactly-once) belirlediği, ve offset'leri anlamanın güvenilir consumer'lar oluşturmak için esası olduğu için, Kafka'daki offset'leri anlamak esası, temel bilgidir — Kafka'nın tüketimi nasıl takip ettiğinin ve tekrar oynatmayı nasıl sağladığının merkezi, ve offset yönetimi ile delivery garantilerine bağlı olan, güvenilir Kafka consumer'ları oluşturmak ve temel Kafka konsepti için çok önemlidir.