전체를 다시 보내는 대신 대화 기록을 언제 요약해야 하나요?

Question

Accepted Answer

대화 기록이 길어지고 이전 세부 내용이 현재 작업에 더 이상 필요 없을 때 대화를 요약하세요. 매 턴마다 전체 트랜스크립트를 다시 보내는 대신, 이미 해결된 오래된 부분을 **핵심 결정과 현재 상태**를 담은 짧은 요약으로 대체하고 해결된 곁가지는 버립니다.

## 왜 요약하는가

- **Context window** — 모든 모델은 유한한 context를 가집니다. 길고 편집되지 않은 기록은 결국 이를 초과하며, 어차피 가장 오래된 메시지가 잘려 나갑니다.
- **비용과 지연** — 다시 보내는 모든 메시지에 대해 (토큰으로) 비용을 지불하고 기다립니다. 50개 메시지 스레드를 매 턴마다 다시 처리하면 느리고 비쌉니다; 간결한 요약은 저렴합니다.
- **집중** — 관련 없는 주고받기(이미 고친 버그, 거절한 아이디어)는 지금 중요한 것에서 모델의 주의를 분산시킵니다.

## 무엇을 남기고 무엇을 버릴까

```text
남길 것 → 내려진 결정("Postgres를 선택했다"), 제약("Node 18에서 돌아가야 한다"),
        현재 상태("auth 완료; 이제 dashboard 연결 중"), 미해결 질문
버릴 것 → 해결된 곁가지, 막다른 시도, 이미 처리한 길게 붙여넣은 출력,
        의례적인 군더더기
```

## 예시

```text
# 40개 메시지 대신, 확정된 맥락을 요약:
지금까지 요약:
- Express + Postgres(Node 18)로 REST API 구축.
- Auth(JWT)는 완료 및 테스트됨.
- 결정: 요청 검증에 Zod 사용.
현재 작업: 페이지네이션이 있는 GET /orders 엔드포인트 추가.
```

이렇게 하면 모델이 결정과 현재 작업에 완전히 근거를 두면서, 거기까지 이르게 한 잡음은 버립니다.

## 왜 중요한가

언제 요약할지 아는 것은 AI 어시스턴트가 context window 안에서 빠르고 저렴하게 작동하게 하며 — 해결된 기록에 파묻히는 대신 다음 단계를 실제로 이끄는 결정과 현재 상태에 주의를 집중하게 합니다.