すべてを再送する代わりに、conversation history を summarize すべきなのはいつですか？

Question

IT Interview Practice · Accepted Answer

history が長くなり、現在の task に以前の詳細が不要になったら conversation を summarize します。毎 turn で transcript 全体を再送する代わりに、古く解決済みの部分を短い summary に置き換え、**key decisions と current state** を残し、解決済みの tangent を落とします。

## なぜ summarize するのか

- **Context window** — すべての model には有限の context があります。長く未整理の history はいずれ溢れ、古い message は結局 truncate されます。
- **Cost and latency** — 再送するすべての message に token cost と待ち時間がかかります。50 message の thread を毎 turn 再処理するのは遅く高価ですが、tight summary は安価です。
- **Focus** — すでに直した bug や却下した idea のような無関係な back-and-forth は、model を今重要なことから distract します。

## 残すものと落とすもの

```text
KEEP → decisions made ("we chose Postgres"), constraints ("must run on Node 18"),
        current state ("auth works; now wiring the dashboard"), open questions
DROP → resolved tangents, dead-end attempts, long pasted output already acted on,
        polite filler
```

## 例

```text
# Instead of 40 messages, summarize the settled context:
Summary so far:
- Building a REST API in Express + Postgres (Node 18).
- Auth (JWT) is done and tested.
- DECISION: use Zod for request validation.
Current task: add the GET /orders endpoint with pagination.
```

これにより、model は decision と current task に grounded なまま、そこに至る noise を捨てられます。

## なぜ重要なのか

いつ summarize するかを知っていると、AI assistant を context window 内で、速く、安く動かし続けられます。また、解決済み history に埋もれるのではなく、次の step を決める decisions と current state に attention を保てます。

なぜ summarize するのか

残すものと落とすもの

例

なぜ重要なのか

関連する質問