Kafka에서 데이터 보존과 저장은 어떻게 작동합니까?

Question

Accepted Answer

Kafka는 구성 가능한 기간(또는 크기) 동안 **이벤트를 보존**하여 소비 후에도 partition 로그에 유지함으로써 재생과 다중 consumer를 가능하게 합니다. 보존과 로그 관리를 이해하는 것은 Kafka를 사용하고 저장소를 관리하는 데 중요합니다.

## 보존 — 이벤트가 유지됨

```text
전통적 큐와 달리 Kafka는 이벤트를 RETAIN함(소비 시 삭제하지 않음):
  → 이벤트가 구성된 RETENTION 기간(예: 7일) 또는 SIZE 한도 동안 partition 로그에 남음
  → 가능하게 함: REPLAY(과거 다시 읽기), 다중 consumer 독립 읽기, 뒤처진 consumer 따라잡기
  → 보존 만료 후 → 오래된 segment 삭제(또는 compaction)
→ Kafka는 단순한 일시적 큐가 아니라 내구성 있는 LOG
```

## 보존 구성

```text
→ 시간 기반 → retention.ms(N 시간 동안 이벤트 유지, 예: 7일)
→ 크기 기반 → retention.bytes(partition당 N 바이트까지 유지)
→ topic별로 구성; 한도를 넘은 이벤트는 제거됨(오래된 것 우선)
→ 재생 필요, consumer lag 허용치, 저장 용량에 따라 선택
```

## 로그 compaction

```text
LOG COMPACTION → 대안적 보존 모드: KEY별 최신 값 유지(모든 이벤트 아님):
  → 각 key의 가장 최근 레코드를 유지하고 그 key의 오래된 것은 제거
  → 유용한 경우: changelog/state topic(전체 이력이 아니라 key별 현재 상태가 중요)
  → 예: "user → 최신 프로필" topic → 사용자별 최신 유지
→ 시간/크기 보존(최근 이력 유지)과 대비 — compaction은 key별 최신을 영구 유지
```

## 왜 중요한가

Kafka의 데이터 보존과 저장을 이해하는 것은 가치 있습니다. **보존은 독특하고 중요한 Kafka 기능**으로 기능과 저장에 영향을 미치므로 Kafka를 사용하고 운영하는 데 관련된 지식이기 때문입니다.

Kafka의 이벤트 보존(소비 후에도 partition 로그에 유지)은 전통적 큐와의 핵심 차별점이며 Kafka의 독특한 기능을 가능하게 합니다.

**보존**(Kafka가 이벤트를 구성된 기간/크기 동안 유지(소비 시 삭제 안 함)하여 **재생**, 다중 consumer 독립 읽기, 뒤처진 consumer 따라잡기를 가능하게 함)을 이해하면 Kafka가 일시적 큐가 아니라 내구성 있는 로그인 이유와 재생·다중 consumer 기능이 작동하는 방식이 명확해집니다.

**보존 구성**(시간 기반(retention.ms, 예: 7일)과 크기 기반(retention.bytes) 보존, topic별 구성, 재생 필요·consumer lag 허용치·저장 용량에 따라 선택)을 이해하는 것은 데이터가 얼마나 오래 유지되는지와 관련 저장을 관리하는 중요한 실용 지식입니다.

**로그 compaction**(모든 이벤트가 아니라 **key별 최신 값**을 유지하는 대안적 보존 모드로, key별 현재 상태가 중요한 changelog/state topic에 유용("user → 최신 프로필"처럼 사용자별 최신 유지))을 이해하는 것은 state 지향 topic을 위한 독특하고 가치 있는 Kafka 기능으로, 시간/크기 보존과 대비됩니다.

보존과 compaction을 이해하는 것은 Kafka의 기능(재생, state topic)을 사용하고 저장을 관리(보존이 저장량에 영향)하는 데 중요합니다.

이 개념들은 기능(consumer가 무엇을 읽고 재생할 수 있는지)과 운영(저장 관리) 모두에 영향을 미칩니다.

보존은 독특하고 중요한 Kafka 기능(재생과 다중 consumer를 가능하게 하고 Kafka를 큐와 구별)으로 기능과 저장에 영향을 미치며 보존 구성과 로그 compaction을 이해하는 것이 Kafka의 기능을 사용하고 저장을 관리하는 데 관련되므로, Kafka의 데이터 보존과 저장을 이해하는 것은 가치 있고 실용적으로 관련된 지식입니다.