ایک AI جواب کو ایک معلومات رکھنے والے لیکن غیر قابل اعتماد ساتھی کے اعتماد سے بھرے ڈرافٹ کے طور پر سمجھیں: مفید، اکثر درست، لیکن اپنے آپ میں کبھی مستند نہیں۔ اعتماد تصدیق سے آتا ہے، نہ کہ اس سے کہ آؤٹ پٹ کتنا قائل کن لگتا ہے۔
ایک LLM خواہ سچا ہو یا نہ ہو روانی سے متن تیار کرتا ہے (یہ ایک اگلے ٹوکن کا پیش گو ہے، حقائق کا ذخیرہ نہیں)۔ ایک حیرت انگیز API اور ایک حقیقی وہ یکساں پڑھے جاتے ہیں۔ تو آپ رویے سے اعتماد کا فیصلہ نہیں کر سکتے — صرف اس سے جو آپ تصدیق کر سکتے ہیں۔
Verifiable + verified → trust
Verifiable + not yet checked → verify before using
Not verifiable → don't depend on it
پروڈکشن میں، غلط جواب جو درست لگتا ہے وہ ایسے سے زیادہ خطرناک ہے جو واضح طور پر ٹوٹا ہوا ہے، کیونکہ یہ پھسل جاتا ہے۔ جیسے جیسے AI مزید کوڈ لکھتا ہے، bottleneck تیار کرنے سے تصدیق کی طرف منتقل ہوتا ہے۔ سینیئر فیصلہ بالکل یہی ہے: جاننا کہ روانی ثبوت نہیں ہے، کہ ماڈل کا اعتماد درستگی کے بارے میں کوئی معلومات نہیں رکھتا، اور یہ کہ اعتماد ٹیسٹس، ذرائع، اور انسانی جائزہ کے ذریعے کمائے جانے والی اہم چیزوں پر۔ جو انجینئرز قابل اعتماد رہتے ہیں وہ وہ ہیں جو ایمان کی بجائے تصدیق کرتے ہیں۔