Apache Kafka는 무엇이며 어디에 사용됩니까?

Question

Accepted Answer

**Apache Kafka**는 분산 **이벤트 스트리밍 플랫폼**으로, 이벤트(레코드) 스트림을 발행, 저장, 처리하기 위한 고처리량의 내구성 있는 시스템입니다. 메시징, 실시간 데이터 파이프라인, 이벤트 기반 아키텍처, 대규모 스트림 처리에 사용됩니다.

## Kafka란

```text
Kafka = 분산, 내구성, 고처리량 EVENT STREAMING 플랫폼:
  → 이벤트를 PUBLISH(producer가 쓰기)하고 SUBSCRIBE(consumer가 읽기)
  → 이벤트 스트림을 내구성 있게 STORE(분산, 복제된 커밋 LOG)
  → 스트림을 실시간으로 PROCESS
→ 여러 시스템이 쓰고 읽을 수 있는, 내구성 있고 확장 가능한 추가 전용(append-only) 이벤트 LOG로
  생각하면 됩니다
```

## Kafka의 용도

```text
✓ MESSAGING / 이벤트 스트리밍 → 시스템 간 결합도를 낮춘 통신(대규모 pub/sub)
✓ DATA PIPELINES → 시스템 간 데이터를 안정적으로 이동/스트리밍(수집, ETL)
✓ EVENT-DRIVEN 아키텍처 → 서비스가 이벤트에 반응; event sourcing
✓ REAL-TIME 처리 → 분석, 모니터링, 스트림 처리(Kafka Streams)
✓ LOG 집계, 메트릭, 활동 추적, 변경 데이터 캡처(CDC)
→ 대용량 실시간 데이터를 위해 대형 기업들이 사용합니다
```

## 주요 특성

```text
✓ HIGH THROUGHPUT → 초당 수백만 이벤트 처리(매우 확장 가능)
✓ DURABLE → 이벤트가 디스크에 영속화되고 복제됨(유실되지 않음)
✓ DISTRIBUTED → broker 클러스터 전반에 수평 확장
✓ 이벤트 RETAINED → consumer가 자신의 속도로 읽음; 이벤트가 보존됨(재생 가능)
✓ DECOUPLED → producer와 consumer가 독립적
```

## 왜 중요한가

Kafka가 무엇이고 어디에 쓰이는지 이해하는 것은 가치 있는 기초 지식입니다. Kafka는 현대 아키텍처에서 **이벤트 스트리밍과 대용량 데이터를 위한 지배적인 플랫폼**으로 업계 전반에서 널리 사용되기 때문입니다.

Kafka는 분산 이벤트 스트리밍 플랫폼으로, 본질적으로 producer가 쓰고 consumer가 읽는 **내구성 있고 확장 가능한 추가 전용 이벤트 로그**이며, 메시징, 내구성 있는 저장, 스트림 처리를 결합합니다.

이 핵심 본질(분산 복제 로그에 내구성 있게 저장되고 실시간으로 처리되는 이벤트 스트림에 대한 발행/구독)을 이해하는 것이 기초입니다.

Kafka가 **무엇에 사용되는지** 이해하는 것(메시징과 이벤트 스트리밍, 데이터 파이프라인, 이벤트 기반 아키텍처와 event sourcing, 실시간 처리와 분석, 로그 집계와 변경 데이터 캡처)은 대용량 실시간 데이터 시나리오에서의 폭넓은 적용 가능성을 명확히 합니다.

**주요 특성**(고처리량, 내구성, 분산 수평 확장, 이벤트 보존, 결합도 분리)을 이해하면 Kafka가 까다로운 데이터 시나리오에 선택되는 이유를 알 수 있습니다.

Kafka는 대형 기업에서 널리 사용되며 스트리밍, 파이프라인, 이벤트 기반 시스템을 위해 현대 데이터 아키텍처에서 점점 더 일반적입니다.

Kafka는 이벤트 스트리밍과 대용량 데이터를 위한 지배적이고 널리 사용되는 플랫폼이며, 그 본질, 용도, 특성을 이해하는 것은 현대 데이터 및 이벤트 기반 아키텍처의 기초이므로, Kafka가 무엇이고 어디에 쓰이는지 이해하는 것은 가치 있고 폭넓게 관련된 지식입니다.