¿Cómo utilizas datos y experimentos para tomar decisiones sobre productos?

Question

Accepted Answer

**La toma de decisiones impulsada por datos** significa basar las opciones de producto en evidencia — datos de uso, experimentos, investigación — en lugar de solo opinión. La versión madura es *informada por datos*: los datos agudizan el criterio, pero no lo reemplazan. El objetivo es reducir el riesgo de apostar por una conjetura.

## Fuentes de evidencia

```text
✓ QUANTITATIVE → analytics, funnels, retention, A/B tests (what is happening)
✓ QUALITATIVE → user interviews, support tickets, session recordings (why)
→ combine both: numbers tell you WHAT, conversations tell you WHY
```

Cantidad sin calidad te dice que el embudo cae en el paso 3, pero no *por qué* — y no puedes arreglar un "por qué" que no entiendes.

## Experimentos (prueba A/B)

```text
✓ Form a HYPOTHESIS → "shorter signup → higher completion"
✓ Define the SUCCESS METRIC up front (and guardrails)
✓ Run on a meaningful, RANDOMIZED sample to significance
✓ Decide BEFORE looking → avoid cherry-picking results
✓ Beware false positives, tiny samples, and short-term wins that hurt long-term
```

Los experimentos te permiten probar barato y *saber* en lugar de discutir.

## Cuando los datos no son suficientes

Los datos describen el pasado y el presente, no las nuevas apuestas audaces — no puedes hacer una prueba A/B en algo que aún no existe. Los grandes movimientos estratégicos necesitan visión y criterio; los datos informan, pero la decisión es tuya. Depender demasiado de los datos lleva a la optimización local (caballos más rápidos, nunca el coche).

## Un ejemplo concreto

Un equipo debate un nuevo flujo de incorporación durante semanas. En lugar de discutir, implementan ambos como una prueba A/B con finalización + retención de 7 días como métricas. Los datos lo resuelven en dos semanas — y revelan que el diseño "obviamente mejor" en realidad perjudicó la retención, un resultado que nadie predijo.

## Una trampa común

Mal uso de datos: seleccionar números para justificar una decisión previa, perseguir cambios estadísticamente insignificantes u optimizar una métrica en un producto general peor (Ley de Goodhart).

## Por qué es importante

La intuición a menudo es incorrecta, y las opiniones confiadas chocan sin fin.

La evidencia resuelve debates objetivamente y atrapa verdades contraintuitivas que de otro modo se enviarían como errores costosos.

Bien utilizado — como complemento del criterio, no como sustituto — los datos convierten el desarrollo de productos en un ciclo de aprendizaje que se potencia, en lugar de una serie de apuestas no validadas.