consistent hashing이란 무엇인가요?

Question

Accepted Answer

**Consistent hashing**은 노드(서버)에 데이터를 분산하는 기법으로 **노드가 추가되거나 제거될 때 재분배를 최소화**합니다 — 노드 수가 변하면 대부분의 key를 재매핑하는 단순 해싱과 다릅니다. 분산 캐시, 데이터베이스, 부하 분산에 중요합니다.

## 단순 해싱의 문제

```text
단순 접근: node = hash(key) % N  (N = 노드 수)
  ✗ N이 변하면 (노드 추가/제거), N이 변함 → 대부분의 key가 다른 노드로 재매핑 →
    대규모 데이터 이동 / 캐시 무효화 (거의 모든 것이 이동!)
→ 서버 추가/제거가 큰 혼란을 유발 → 동적 분산 시스템에 나쁨.
```

## consistent hashing이 동작하는 방식

```text
노드와 KEY를 모두 HASH RING(해시 값의 원)에 매핑:
  → key는 ring에서 자신으로부터 시계 방향 첫 번째 노드에 속함
  → 노드 추가/제거는 ring의 한 세그먼트(그 이웃)의 key에만 영향 →
    key의 작은 일부만 이동 (대부분이 아니라 ≈ K/N)
→ 노드 변경 시 최소 재분배 → 동적 시스템에 훨씬 좋음.
```

## 가상 노드와 용도

```text
✓ 가상 노드(virtual node) → 각 물리 노드가 ring의 여러 지점에 매핑 → 고른 분산
  (적은 노드/고르지 않은 배치에서 오는 불균등 부하 회피) → 이질적 용량 처리
용도:
  → 분산 캐시 (예: memcached 클러스터) — 대량 무효화 없이 캐시 노드 추가/제거
  → 분산 데이터베이스 (Cassandra, DynamoDB) — 노드 간 데이터 분할
  → load balancer; 변하는 노드 집합에 데이터/부하를 분산하는 모든 시스템
```

## 왜 중요한가

consistent hashing을 이해하는 것은 가치 있는 시니어 수준 지식입니다. **동적 분산 시스템에서 데이터를 분산하는 근본 기법**으로 많은 실제 시스템에 쓰이므로 분산 시스템 설계에 중요하기 때문입니다.

그것이 해결하는 문제는 실제적이고 중요합니다. **단순 해싱**(`hash(key) % N`)은 노드 수가 변할 때 **대부분의 key를 재매핑**(서버 추가나 제거가 거의 모든 데이터를 이동 — 대규모 데이터 이동이나 캐시 무효화 유발)하여, 노드가 추가·제거되는 동적 분산 시스템에 끔찍합니다. **Consistent hashing**은 노드와 key를 모두 **hash ring**에 매핑(key가 시계 방향 첫 번째 노드에 속함)하여, **노드 추가나 제거가 key의 작은 일부만**(한 ring 세그먼트의 것, ≈ K/N) 이동하게 함으로써 이를 해결하며, 노드 집합이 변할 때 재분배와 혼란을 최소화합니다.

이를 이해하는 것 — ring이 어떻게 동작하고 왜 key 이동을 최소화하는지 — 이 핵심 통찰입니다.

**가상 노드**(각 물리 노드를 여러 ring 지점에 매핑해 고른 분산, 적거나 잘못 배치된 노드가 유발하는 불균등 부하 회피, 이질적 용량 처리)를 이해하는 것은 consistent hashing이 실무에서 어떻게 잘 동작하는지 반영합니다.

**용도** — 분산 캐시(대량 무효화 없이 캐시 노드 추가/제거), 분산 데이터베이스(Cassandra, DynamoDB의 데이터 분할), load balancer — 를 이해하면 그 중요성이 명확해집니다. 많은 실제의 널리 쓰이는 시스템에 사용되기 때문입니다.

Consistent hashing은 시스템 디자인 논의에 자주 등장하는 고전적이고 중요한 분산 시스템 기법입니다.

동적 노드 집합에 데이터를 분산(노드 변경 시 최소 혼란으로)하는 것은 분산 시스템의 흔한 요구이고 consistent hashing이 이를 해결(단순 해싱이 심하게 실패하는 곳에서)하며, 실제 시스템(분산 캐시와 데이터베이스)에 쓰이고 이를 이해하는 것이 분산 시스템 지식을 반영하므로, consistent hashing을 이해하는 것은 가치 있는 시니어 수준 지식입니다 — 동적 분산 시스템에서 데이터 분산의 근본 기법이고, 많은 실제 캐시와 데이터베이스에 쓰이며, 단순 해싱의 key 재분배 문제를 해결하는, 분산 시스템을 설계하는 시니어 직책에 기대되는 깊이를 반영하는 고전적 분산 시스템 개념입니다.