¿Cómo juzgas si una respuesta de IA es confiable, especialmente para código en producción?

Question

Accepted Answer

Trata una respuesta de IA como un **borrador confiado de un colega conocedor pero poco confiable**: útil, frecuentemente correcto, pero nunca autoritario por sí solo. La confianza viene de la *verificación*, no de lo convincente que suene el resultado.

## La mentalidad central

**La confianza no está relacionada con la corrección.** Un LLM genera texto fluido independientemente de si es verdadero o no (es un predictor de siguiente token, no un almacén de hechos). Una API alucinada y una real se ven idénticamente. Por lo tanto, no puedes juzgar la confianza por el tono — solo por lo que puedas confirmar.

## Una lista de verificación práctica

- **Ejecútalo.** Para código, la señal más fuerte es la ejecución: pruebas, verificador de tipos, linter, compilador. El código que pasa una suite de pruebas real es mucho más confiable que el código que solo se ve bien.
- **Verifica APIs alucinadas.** Confirma que cada función, método, bandera e importación realmente existe — en la documentación o en la versión instalada, no de memoria. Las APIs inventadas pero plausibles son el fracaso clásico.
- **Verifica contra fuentes autorizadas.** Contrasta afirmaciones contra documentación oficial, el estándar o el código fuente — no contra la reafirmación propia del modelo.
- **Razona sobre casos extremos y seguridad.** Entradas nulas/vacías, concurrencia, rutas de error, inyección, autorización. La IA a menudo maneja el camino feliz y omite las esquinas peligrosas.
- **Favorece lo que puedas confirmar.** Prefiere enfoques que puedas probar o consultar sobre aquellos que son ingeniosos pero opacos y que tendrías que tomar por fe.
- **Requiere revisión humana para rutas críticas.** Autenticación, pagos, eliminación de datos, migraciones, infraestructura — una persona que entienda el sistema debe aprobar, sin importar cuán buena se vea la respuesta.

## Una regla rápida

```text
Verifiable + verified        → trust
Verifiable + not yet checked → verify before using
Not verifiable               → don't depend on it
```

## Por qué es importante

En producción, una respuesta incorrecta que *se ve* correcta es más peligrosa que una que está obviamente rota, porque se cuela. A medida que la IA escribe más código, el cuello de botella se desplaza de *generar* a *validar*. El criterio senior es precisamente esto: saber que la fluidez no es evidencia, que **la confianza del modelo no lleva información sobre corrección**, y que la confianza debe ganarse a través de pruebas, fuentes y revisión humana en cualquier cosa que importe. Los ingenieros que se mantienen confiables son aquellos que verifican en lugar de creer.