대화 기록이 길어지고 이전 세부 내용이 현재 작업에 더 이상 필요 없을 때 대화를 요약하세요. 매 턴마다 전체 트랜스크립트를 다시 보내는 대신, 이미 해결된 오래된 부분을 핵심 결정과 현재 상태를 담은 짧은 요약으로 대체하고 해결된 곁가지는 버립니다.
왜 요약하는가
- Context window — 모든 모델은 유한한 context를 가집니다. 길고 편집되지 않은 기록은 결국 이를 초과하며, 어차피 가장 오래된 메시지가 잘려 나갑니다.
- 비용과 지연 — 다시 보내는 모든 메시지에 대해 (토큰으로) 비용을 지불하고 기다립니다. 50개 메시지 스레드를 매 턴마다 다시 처리하면 느리고 비쌉니다; 간결한 요약은 저렴합니다.
- 집중 — 관련 없는 주고받기(이미 고친 버그, 거절한 아이디어)는 지금 중요한 것에서 모델의 주의를 분산시킵니다.
무엇을 남기고 무엇을 버릴까
text
