ਟ੍ਰਾਂਸਫਾਰਮਰ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਆਰਕੀਟੈਕਚਰ ਹੈ (2017 ਵਿੱਚ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ) ਜਿਸਨੇ AI ਨੂੰ ਬਦਲ ਦਿੱਤਾ, ਖਾਸ ਕਰਕੇ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਪ੍ਰੋਸੈਸਿੰਗ ਵਿੱਚ। ਇਸਦੇ attention mechanism ਨੇ ਇਸਨੂੰ ਕ੍ਰਮ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦੀ ਅਨੁਮਤੀ ਦਿੱਤੀ, ਅਤੇ ਇਹ ਆਧੁਨਿਕ LLMs (GPT, Claude, ਆਦਿ) ਦੀ ਨੀਂਹ ਹੈ।
ਟ੍ਰਾਂਸਫਾਰਮਰ ਕੀ ਹਨ
TRANSFORMER → a neural network architecture for processing SEQUENCES (text, etc.):
→ introduced in the 2017 paper 'Attention Is All You Need'
→ uses an ATTENTION mechanism (instead of processing strictly sequentially)
→ the foundation of modern LLMs and much of modern AI
→ revolutionized NLP and enabled the LLM era
