Token และ context window ใน LLM คืออะไร?

Question

Accepted Answer

**Token** คือหน่วยที่ LLM ใช้ประมวลผลข้อความ (ชิ้นส่วนของคำ) และ **context window** คือปริมาณข้อความสูงสุด (วัดเป็น token) ที่ LLM สามารถพิจารณาได้ในคราวเดียว การเข้าใจสิ่งเหล่านี้สำคัญต่อการใช้ LLM อย่างมีประสิทธิภาพ การจัดการต้นทุน และการจัดการกับข้อจำกัดของมัน

## token คืออะไร

```text
TOKEN → the unit LLMs process text in (not words/characters, but PIECES):
  → text is split into tokens (roughly ~4 characters or ~0.75 words each in English)
  → e.g. 'unbelievable' might be 3 tokens; common words are often 1 token
  → the model processes and generates token by token
→ LLMs work in tokens (input and output are measured in tokens)
```

## context window

```text
CONTEXT WINDOW → the maximum number of TOKENS an LLM can process at once (input + output):
  → everything the model 'sees' (your prompt + conversation + retrieved context) must FIT
  → ranges from thousands to millions of tokens (varies by model)
  → BEYOND the limit → the model can't consider it (truncated/doesn't fit)
→ a hard limit on how much context the model can work with at once
```

## ทำไมสิ่งนี้จึงสำคัญในเชิงปฏิบัติ

```text
✓ COST → APIs charge PER TOKEN (input + output) → token count = cost → optimize prompts,
  manage conversation length
✓ CONTEXT LIMIT → long documents/conversations may EXCEED the window → strategies:
  summarize, chunk, use RAG (retrieve relevant parts vs sending everything)
✓ Long context → can be slower and costlier; 'lost in the middle' (models may attend less
  to middle content)
✓ design prompts/apps within token limits → key for LLM application design
```

## ทำไมจึงสำคัญ

การเข้าใจ token และ context window เป็นความรู้ระดับ senior ที่มีคุณค่า เพราะมันเป็น **พื้นฐานของวิธีที่ LLM ทำงานและการจัดการแอปพลิเคชัน LLM** (ต้นทุน, ข้อจำกัด) การเข้าใจมันจึงเป็นความรู้ AI ที่สำคัญในเชิงปฏิบัติ

Token (หน่วยที่ LLM ใช้ประมวลผลข้อความ) และ context window (ปริมาณข้อความสูงสุดที่ LLM พิจารณาได้ในคราวเดียว) เป็นแนวคิดหลักในการใช้ LLM อย่างมีประสิทธิภาพ

การเข้าใจ **ว่า token คืออะไร** ซึ่งคือหน่วยที่ LLM ประมวลผล (ชิ้นส่วนของคำ ประมาณ 4 ตัวอักษรต่อ token โดยโมเดลประมวลผลและสร้างทีละ token) ช่วยให้เข้าใจว่า LLM จัดการข้อความจริง ๆ อย่างไร (เป็น token ไม่ใช่คำ)

การเข้าใจ **context window** ซึ่งคือจำนวน token สูงสุดที่ LLM ประมวลผลได้ในคราวเดียว (input บวก output) โดยทุกอย่างที่โมเดลเห็น (prompt, การสนทนา, context ที่ดึงมา) ต้องอยู่ในนั้น พร้อมขีดจำกัดที่เกินกว่านั้นเนื้อหาจะไม่ถูกพิจารณา ช่วยให้เข้าใจข้อจำกัดสำคัญในการใช้ LLM

การเข้าใจ **ว่าทำไมสิ่งนี้จึงสำคัญในเชิงปฏิบัติ** คือคุณค่าหลัก: **ต้นทุน** (API คิดค่าต่อ token จำนวน token จึงเท่ากับต้นทุน ต้องปรับ prompt และจัดการการสนทนา), **ขีดจำกัด context** (เอกสารหรือการสนทนาที่ยาวเกิน window ต้องใช้กลยุทธ์เช่นการสรุป การแบ่ง chunk หรือ RAG เพื่อดึงส่วนที่เกี่ยวข้องแทนการส่งทุกอย่าง) และว่า context ที่ยาวอาจช้าและแพงกว่า (ด้วยปรากฏการณ์ lost-in-the-middle ที่โมเดลให้ความสนใจเนื้อหาตรงกลางน้อยกว่า)

นัยเชิงปฏิบัติเหล่านี้ ได้แก่ การออกแบบ prompt และแอปพลิเคชันภายในขีดจำกัด token, การจัดการต้นทุน และการจัดการข้อจำกัด context ผ่าน RAG เป็นสิ่งจำเป็นในการสร้างแอปพลิเคชัน LLM อย่างมีประสิทธิภาพและคุ้มต้นทุน

การเข้าใจ token และ context window เป็นพื้นฐานของการออกแบบแอปพลิเคชัน LLM (การจัดการต้นทุน, การจัดการ context, การทำงานภายในขีดจำกัด)

เนื่องจาก token และ context window เป็นพื้นฐานของวิธีที่ LLM ทำงานและการจัดการแอปพลิเคชัน LLM (ต้นทุนต่อ token, ขีดจำกัด context ที่ต้องใช้กลยุทธ์เช่น RAG) และการเข้าใจมันสำคัญต่อการใช้ LLM อย่างมีประสิทธิภาพและการสร้างแอปพลิเคชันที่คุ้มต้นทุน การเข้าใจ token และ context window จึงเป็นความรู้ AI ระดับ senior ที่มีคุณค่าและสำคัญในเชิงปฏิบัติ ซึ่งเป็นพื้นฐานของวิธีที่ LLM ประมวลผลข้อความ (token) และข้อจำกัดของมัน (context window) สำคัญต่อการจัดการต้นทุนแอปพลิเคชัน LLM (การคิดราคาต่อ token) และการจัดการข้อจำกัด context (ผ่าน RAG, การแบ่ง chunk) และเป็นความรู้เชิงปฏิบัติที่สำคัญในการออกแบบแอปพลิเคชัน LLM ที่มีประสิทธิภาพและคุ้มต้นทุน