LLM-களில் tokens மற்றும் context windows என்பவை என்ன?

Question

Accepted Answer

**Tokens** என்பவை LLM-கள் உரையைச் செயல்படுத்தும் அலகுகள் (சொற்களின் துண்டுகள்), மேலும் **context window** என்பது LLM ஒரு முறையில் கருத்தில் கொள்ளக்கூடிய அதிகतम உரையின் அளவு (tokens). LLM-களை திறம்பட பயன்படுத்துவதற்கும், செலவுகளை நிர்வகிப்பதற்கும், அவற்றின் வரம்புகளைக் கையாள்வதற்கும் இவற்றைப் புரிந்துகொள்வது முக்கியம்.

## Tokens என்பவை என்ன

```text
TOKEN → the unit LLMs process text in (not words/characters, but PIECES):
  → text is split into tokens (roughly ~4 characters or ~0.75 words each in English)
  → e.g. 'unbelievable' might be 3 tokens; common words are often 1 token
  → the model processes and generates token by token
→ LLMs work in tokens (input and output are measured in tokens)
```

## Context window

```text
CONTEXT WINDOW → the maximum number of TOKENS an LLM can process at once (input + output):
  → everything the model 'sees' (your prompt + conversation + retrieved context) must FIT
  → ranges from thousands to millions of tokens (varies by model)
  → BEYOND the limit → the model can't consider it (truncated/doesn't fit)
→ a hard limit on how much context the model can work with at once
```

## இது நடைமுறையில் ஏன் முக்கியம்

```text
✓ COST → APIs charge PER TOKEN (input + output) → token count = cost → optimize prompts,
  manage conversation length
✓ CONTEXT LIMIT → long documents/conversations may EXCEED the window → strategies:
  summarize, chunk, use RAG (retrieve relevant parts vs sending everything)
✓ Long context → can be slower and costlier; 'lost in the middle' (models may attend less
  to middle content)
✓ design prompts/apps within token limits → key for LLM application design
```

## ஏன் இது முக்கியம்

Tokens மற்றும் context windows-ஐ புரிந்துகொள்வது மதிப்புமிக்க மூத்த-நிலை அறிவு ஆகும், ஏனெனில் அவை **LLM-கள் எவ்வாறு செயல்படுகின்றன மற்றும் LLM பயன்பாடுகளை நிர்வகிப்பது** (செலவு, வரம்புகள்) க்கு அடிப்படையானவை, எனவே அவற்றைப் புரிந்துகொள்வது முக்கியமான நடைமுறை AI அறிவு ஆகும்.

Tokens (LLM-கள் உரையைச் செயல்படுத்தும் அலகுகள்) மற்றும் context windows (LLM ஒரு முறையில் கருத்தில் கொள்ளக்கூடிய அதிகதம உரை) ஆகியவை LLM-களை திறம்பட பயன்படுத்துவதற்கான மূல கருத்துக்கள் ஆகும்.

**Tokens என்பவை என்ன** என்பதைப் புரிந்துகொள்வது — LLM-கள் செயல்படுத்தும் அலகுகள் (சொற்களின் துண்டுகள், தோராயமாக 4 எழுத்துக்கள் ஒவ்வொன்றும், மாதிரி token-by-token-ஐ செயல்படுத்தி உৎপাদனம் செய்கிறது) — LLM-கள் உரையை எவ்வாறு உண்மையில் கையாளுகின்றன என்பதை (tokens-ல், சொற்களில் அல்ல) தெளிவுபடுத்துகிறது.

**Context window** ஐ புரிந்துகொள்வது — LLM ஒரு முறையில் செயல்படுத்தக்கூடிய அதிகতம token-களின் எண்ணிக்கை (input மற்றும் output), மாதிரி பார்க்கும் அனைத்தும் (prompt, உரையாடல், பெறப்பட்ட context) சரியாக இருக்க வேண்டும், அதன் நிலையான வரம்பைக் கடந்து content-ஐ கருத்தில் கொள்ள முடியாது — LLM பயன்பாட்டில் ஒரு முக்கியமான கட்டுப்பாட்டை தெளிவுபடுத்துகிறது.

**இது நடைமுறையில் ஏன் முக்கியம்** என்பதைப் புரிந்துகொள்வது மূல மதிப்பு ஆகும்: **செலவு** (API-கள் per token வசூல் செய்கிறது, எனவே token count = செலவு, prompt optimization மற்றும் உரையாடல் நிர்வாகம் தேவைப்படுகிறது), **context வரம்பு** (நீண்ட documents அல்லது உரையாடல்கள் window ஐ கடந்துவிடுகின்றன, summarization, chunking, அல்லது RAG-ஐப் பயன்படுத்தி பொருத்தமான பகுதிகளை பெறுவதற்கு உத்திகள் தேவைப்படுகின்றன சகல்வற்றையும் அனுப்பாமல்), மேலும் நீண்ட context மெதுவாக மற்றும் விலையாக இருக்கக்கூடும் (lost-in-the-middle phenomenon உடன் மாதிரி நடு content-க்கு குறைவாக கவனம் செலுத்துகிறது).

இந்த நடைமுறை பரிणாமம் — token வரம்புகளுக்குள் prompts மற்றும் பயன்பாடுகளை வடிவமைப்பது, செலவை நிர்வகிப்பது, மற்றும் RAG மூலம் context கட்டுப்பாட்டைக் கையாள்வது — LLM பயன்பாடுகளை திறம்பட மற்றும் செலவு-திறம்பட கட்டமைப்பதற்குத் தவிர்க்க முடியாதது.

Tokens மற்றும் context windows-ஐ புரிந்துகொள்வது LLM பயன்பாட்டு வடிவமைப்புக்கு அடிப்படையானது (செலவு நிர்வாகம், context கையாளுதல், வரம்புகளுக்குள் வேலை செய்தல்).

Tokens மற்றும் context windows LLM-கள் எவ்வாறு செயல்படுகின்றன மற்றும் LLM பயன்பாடுகளை நிர்வகிப்பது (token-க்கு செலவு, context வரம்பு RAG போன்ற உத்திகள் தேவைப்படுகிறது) க்கு அடிப்படையானவை என்பதால், மற்றும் அவற்றைப் புரிந்துகொள்வது LLM-களை திறம்பட பயன்படுத்தவும் செலவு-திறம்பட பயன்பாடுகளை கட்டமைப்பதற்கும் முக்கியம் என்பதால், tokens மற்றும் context windows-ஐ புரிந்துகொள்வது மதிப்புமிக்க, நடைமுறை-முக்கியமான மூத்த-நிலை AI அறிவு ஆகும் — LLM-கள் உரையைச் செயல்படுத்துவதற்கு அடிப்படையானது (tokens) மற்றும் அவற்றின் வரம்புகள் (context window), LLM பயன்பாட்டு செலவை நிர்வகிப்பதற்குத் முக்கியம் (per-token விலை) மற்றும் context கட்டுப்பாட்டைக் கையாள்வது (RAG, chunking மூலம்), மற்றும் திறம்பட, செலவு-திறம்பட LLM பயன்பாடுகளை வடிவமைப்பதற்கான முக்கிய நடைமுறை அறிவு.