Tokenurile sunt unitățile în care LLM-urile procesează textul (bucăți de cuvinte), iar fereastra de context este cantitatea maximă de text (tokenuri) pe care un LLM o poate considera deodată. Înțelegerea lor este importantă pentru utilizarea eficientă a LLM-urilor, gestionarea costurilor și abordarea limitărilor acestora.
Ce sunt tokenurile
TOKEN → the unit LLMs process text in (not words/characters, but PIECES):
→ text is split into tokens (roughly ~4 characters or ~0.75 words each in English)
→ e.g. 'unbelievable' might be 3 tokens; common words are often 1 token
→ the model processes and generates token by token
→ LLMs work in tokens (input and output are measured in tokens)
