Zacházejte s odpovědí od AI jako s sebevědomým návrhem od znalého, ale nespolehlivého kolegy: užitečný, často správný, ale sám o sobě nikdy autoritativní. Důvěra vychází z ověření, ne z toho, jak přesvědčivě výstup zní.
LLM generuje plynulý text bez ohledu na to, zda je pravdivý či ne (je to prediktor dalšího tokenu, ne úložiště faktů). Vymyšlené API a skutečné API vypadají identicky. Proto nemůžete posuzovat důvěryhodnost podle tónu — pouze podle toho, co si můžete ověřit.
Verifiable + verified → trust
Verifiable + not yet checked → verify before using
Not verifiable → don't depend on it
V produkci je nesprávná odpověď, která vypadá správně, nebezpečnější než ta, která je zjevně porouchaná, protože jí projde. Jak AI píše více kódu, úzkým místem se stává spíše ověřování než generování. Seniority je právě toto: vědění, že plynulost není důkaz, že sebevědomí modelu nese žádné informace o správnosti, a že důvěra musí být získána prostřednictvím testů, zdrojů a lidské kontroly u všeho, co skutečně záleží. Inženýři, kteří zůstávají spolehliví, jsou ti, kteří ověřují místo aby věřili.