Kafka'da veri saklama ve depolama nasıl çalışır?

Question

Accepted Answer

Kafka **olayları** yapılandırılabilir bir süre için (veya boyut açısından) saklar, onları bölüm günlüklerinde tüketildikten sonra da tutar — replay ve birden fazla tüketicinin okunmasını sağlar. Saklama ve günlük yönetimini anlamak, Kafka'yı kullanmak ve depolamayı yönetmek için önemlidir.

## Saklama — olaylar tutulur

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Saklama yapılandırması

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Günlük sıkıştırması

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Neden önemli

Kafka'da veri saklama ve depolamayı anlamak değerlidir çünkü **saklama, Kafka'nın ayırt edici ve önemli bir özelliğidir** ve yeteneklerle depolamayı etkiler; bu nedenle Kafka'yı kullanmak ve işletmek için ilgili bilgidir.

Kafka'nın olayları saklaması (onları bölüm günlüklerinde tüketildikten sonra da tutması) geleneksel kuyruklar ile önemli bir farktır ve Kafka'nın ayırt edici özelliklerini sağlar.

**Saklama** kavramını anlamak — Kafka'nın olayları yapılandırılmış bir süre veya boyut için tuttuğunu (tüketimde silmediğini), **replay** etmeyi (geçmişi yeniden okumayı), birden fazla tüketicinin bağımsız olarak okumasını ve geç gelen tüketicilerin güncel kalmasını sağladığını anlamak — Kafka'nın neden kalıcı bir günlük olup geçici bir kuyruk olmadığını ve replay ile çok-tüketici özelliklerinin nasıl çalıştığını açıklar.

**Saklama yapılandırması** kavramını anlamak — zaman tabanlı (retention.ms, örneğin 7 gün) ve boyut tabanlı (retention.bytes) saklama, başlıkta başlıkta yapılandırılan, replay ihtiyaçları, tüketici gecikme toleransı ve depolama kapasitesine göre seçilen — verilerin ne kadar süre tutulduğunu ve ilişkili depolamayı yönetmek için önemli pratik bilgidir.

**Günlük sıkıştırması** kavramını anlamak — **anahtar başına en son değeri** tutan alternatif bir saklama modu (tüm olaylar yerine), değişim günlüğü/durum konuları için yararlı; burada anahtar başına güncel durum önemlidir (örneğin "kullanıcı → en son profil", kullanıcı başına en son tutmak) — durum odaklı konular için ayırt edici ve değerli bir Kafka özelliğidir; zaman/boyut saklama ile karşılaştırıldığında.

Saklama ve sıkıştırmayı anlamak, Kafka'nın yeteneklerini (replay, durum konuları) kullanmak ve depolamayı yönetmek (saklama ne kadar veri saklandığını etkiler) için önemlidir.

Bu kavramlar hem işlevselliği (tüketicilerin ne okuyup replay edebileceği) hem de işletimi (depolama yönetimi) etkiler.

Saklama Kafka'nın ayırt edici ve önemli bir özelliği olduğundan (replay ve birden fazla tüketiciyi sağlayarak, Kafka'yı kuyruktan ayıran) ve yeteneklerle depolamayı etkилediğinden, ve saklama yapılandırması ile günlük sıkıştırmasını anlamak Kafka'nın yeteneklerini kullanmak ve depolamayı yönetmek için ilgili olduğundan, Kafka'da veri saklama ve depolamayı anlamak değerli, pratik olarak ilgili bilgidir — Kafka'nın ayırt edici yeteneklerinin (replay, birden fazla tüketici) merkezinde ve depolama yönetiminde, günlük sıkıştırması durum konuları için değerli bir özellik olup, Kafka'yı etkili bir şekilde kullanmak ve işletmek için önemlidir.