Khi nào nên tóm tắt lịch sử hội thoại thay vì gửi lại toàn bộ?

Question

IT Interview Practice · Accepted Answer

Hãy tóm tắt cuộc hội thoại khi lịch sử trở nên dài và các chi tiết trước đó không còn cần thiết cho tác vụ hiện tại. Thay vì gửi lại toàn bộ transcript ở mỗi lượt, bạn thay thế những phần cũ đã được giải quyết bằng một bản tóm tắt ngắn giữ lại **các quyết định then chốt và trạng thái hiện tại**, đồng thời bỏ đi những nhánh phụ đã xong.

## Vì sao nên tóm tắt

- **Context window** — mọi model đều có context hữu hạn. Một lịch sử dài, không chỉnh sửa cuối cùng sẽ tràn ra và những message cũ nhất dù sao cũng bị cắt bỏ.
- **Chi phí và độ trễ** — bạn trả phí (bằng token) và phải chờ cho mỗi message gửi lại. Một thread 50 message xử lý lại mỗi lượt thì chậm và tốn kém; một bản tóm tắt gọn thì rẻ.
- **Sự tập trung** — những trao đổi không liên quan (một bug bạn đã sửa, một ý tưởng bạn đã bác bỏ) làm model xao nhãng khỏi điều quan trọng lúc này.

## Giữ gì và bỏ gì

```text
GIỮ → các quyết định đã đưa ra ("chọn Postgres"), ràng buộc ("phải chạy trên Node 18"),
        trạng thái hiện tại ("auth đã xong; giờ đang nối dashboard"), câu hỏi còn mở
BỎ → các nhánh phụ đã giải quyết, hướng đi cụt, output dán dài đã xử lý xong,
        lời xã giao thừa
```

## Ví dụ

```text
# Thay vì 40 message, tóm tắt phần ngữ cảnh đã chốt:
Tóm tắt đến hiện tại:
- Xây REST API bằng Express + Postgres (Node 18).
- Auth (JWT) đã xong và đã test.
- QUYẾT ĐỊNH: dùng Zod để validate request.
Tác vụ hiện tại: thêm endpoint GET /orders có phân trang.
```

Cách này giữ model bám sát hoàn toàn vào các quyết định và tác vụ hiện tại, đồng thời loại bỏ tạp âm dẫn tới đó.

## Tại sao điều này quan trọng

Biết khi nào tóm tắt giúp một trợ lý AI làm việc trong giới hạn context window, nhanh và rẻ — và giữ sự chú ý của nó vào các quyết định và trạng thái hiện tại thực sự dẫn dắt bước tiếp theo, thay vì chìm trong lịch sử đã giải quyết.

Vì sao nên tóm tắt

Giữ gì và bỏ gì

Ví dụ

Tại sao điều này quan trọng

Câu hỏi liên quan