LLM에서 token과 컨텍스트 윈도우(context window)란 무엇인가요?

Question

Accepted Answer

**token**은 LLM이 텍스트를 처리하는 단위(단어 조각)이고, **컨텍스트 윈도우(context window)**는 LLM이 한 번에 고려할 수 있는 최대 텍스트 양(token)입니다. 이를 이해하는 것은 LLM을 효과적으로 사용하고, 비용을 관리하며, 그 한계를 다루는 데 중요합니다.

## token이란

```text
TOKEN → LLM이 텍스트를 처리하는 단위(단어/문자가 아니라 조각):
  → 텍스트가 token으로 분할됨(영어에서 대략 각 ~4글자 또는 ~0.75단어)
  → 예: 'unbelievable'은 3개 token일 수 있음; 흔한 단어는 보통 1개 token
  → model이 token 단위로 처리하고 생성
→ LLM은 token으로 작동(입력과 출력이 token으로 측정됨)
```

## 컨텍스트 윈도우

```text
컨텍스트 윈도우 → LLM이 한 번에 처리할 수 있는 최대 token 수(입력 + 출력):
  → model이 '보는' 모든 것(당신의 prompt + 대화 + 검색된 문맥)이 FIT해야 함
  → 수천에서 수백만 token까지(model에 따라 다름)
  → 한계를 넘으면 → model이 고려할 수 없음(잘리거나 들어가지 못함)
→ model이 한 번에 작업할 수 있는 문맥 양의 하드 한계
```

## 실무적으로 왜 중요한가

```text
✓ 비용 → API는 token당 과금(입력 + 출력) → token 수 = 비용 → prompt 최적화,
  대화 길이 관리
✓ 컨텍스트 한계 → 긴 문서/대화가 윈도우를 초과할 수 있음 → 전략:
  요약, 청크 분할, RAG 사용(전부 보내는 대신 관련 부분을 검색)
✓ 긴 문맥 → 더 느리고 비쌀 수 있음; 'lost in the middle'(model이 중간 내용에 덜 주목할 수 있음)
✓ token 한계 내에서 prompt/앱을 설계 → LLM 애플리케이션 설계의 핵심
```

## 왜 중요한가

token과 컨텍스트 윈도우를 이해하는 것은 가치 있는 시니어 수준 지식입니다. 이들은 **LLM이 어떻게 작동하고 LLM 애플리케이션을 관리하는지(비용, 한계)에 근본적**이므로, 이를 이해하는 것은 중요한 실무 AI 지식입니다.

token(LLM이 텍스트를 처리하는 단위)과 컨텍스트 윈도우(LLM이 한 번에 고려할 수 있는 최대 텍스트)는 LLM을 효과적으로 사용하는 핵심 개념입니다.

**token이란** — LLM이 처리하는 단위(단어 조각, 대략 각 4글자, model이 token 단위로 처리하고 생성) — 을 이해하면 LLM이 실제로 텍스트를 어떻게 다루는지(단어가 아니라 token으로) 명확해집니다.

**컨텍스트 윈도우** — LLM이 한 번에 처리할 수 있는 최대 token 수(입력 더하기 출력)로, model이 보는 모든 것(prompt, 대화, 검색된 문맥)이 들어가야 하며, 그 너머로는 내용을 고려할 수 없는 하드 한계 — 를 이해하면 LLM 사용의 중요한 제약이 명확해집니다.

**실무적으로 왜 중요한가**를 이해하는 것이 핵심 가치입니다: **비용**(API가 token당 과금하므로 token 수가 비용과 같고 prompt 최적화와 대화 관리가 필요), **컨텍스트 한계**(긴 문서나 대화가 윈도우를 초과해 요약·청크 분할·RAG 같은 전략으로 전부 보내는 대신 관련 부분을 검색해야 함), 긴 문맥이 더 느리고 비쌀 수 있음(model이 중간 내용에 덜 주목하는 lost-in-the-middle 현상과 함께).

이러한 실무적 함의 — token 한계 내에서 prompt와 애플리케이션 설계, 비용 관리, RAG를 통한 컨텍스트 제약 처리 — 는 LLM 애플리케이션을 효과적이고 비용 효율적으로 구축하는 데 필수적입니다.

token과 컨텍스트 윈도우를 이해하는 것은 LLM 애플리케이션 설계(비용 관리, 컨텍스트 처리, 한계 내 작업)에 근본적입니다.

token과 컨텍스트 윈도우는 LLM이 어떻게 작동하고 LLM 애플리케이션을 관리하는지(token당 비용, RAG 같은 전략을 요구하는 컨텍스트 한계)에 근본적이고 이를 이해하는 것이 LLM을 효과적으로 사용하고 비용 효율적 애플리케이션을 구축하는 데 중요하므로, token과 컨텍스트 윈도우를 이해하는 것은 가치 있고 실무적으로 중요한 시니어 수준 AI 지식입니다. 이는 LLM이 텍스트를 처리하는 방식(token)과 그 한계(컨텍스트 윈도우)에 근본적이며, LLM 애플리케이션 비용 관리(token당 과금)와 컨텍스트 제약 처리(RAG, 청크 분할을 통해)에 중요하고, 효과적이고 비용 효율적인 LLM 애플리케이션을 설계하는 핵심 실무 지식입니다.