Como você usa dados e experimentos para tomar decisões de produto?

Question

Accepted Answer

**Tomada de decisão orientada por dados** significa fundamentar as escolhas de produto em evidências — dados de uso, experimentos, pesquisa — em vez de apenas opinião. A versão madura é *informada por dados*: dados aguçam o julgamento, mas não o substituem. O objetivo é reduzir o risco de apostar em um palpite.

## Fontes de evidência

```text
✓ QUANTITATIVE → analytics, funnels, retention, A/B tests (what is happening)
✓ QUALITATIVE → user interviews, support tickets, session recordings (why)
→ combine both: numbers tell you WHAT, conversations tell you WHY
```

Quantitativo sem qualitativo diz que o funil cai na etapa 3, mas não *por quê* — e você não consegue corrigir um porquê que não entende.

## Experimentos (teste A/B)

```text
✓ Form a HYPOTHESIS → "shorter signup → higher completion"
✓ Define the SUCCESS METRIC up front (and guardrails)
✓ Run on a meaningful, RANDOMIZED sample to significance
✓ Decide BEFORE looking → avoid cherry-picking results
✓ Beware false positives, tiny samples, and short-term wins that hurt long-term
```

Experimentos permitem que você teste com custo baixo e *saiba* em vez de debater.

## Quando dados não são suficientes

Dados descrevem o passado e o presente, não apostas estratégicas ousadas — você não consegue fazer um teste A/B com algo que ainda não existe. Grandes movimentos estratégicos precisam de visão e julgamento; dados informam, mas a decisão é sua. Confiar demais em dados leva à otimização local (cavalos mais rápidos, nunca o carro).

## Um exemplo concreto

Um time debate um novo fluxo de onboarding por semanas. Em vez de debater, eles colocam ambas as versões em produção como um teste A/B com conclusão + retenção de 7 dias como métricas. Os dados resolvem em duas semanas — e revelam que o design "obviamente melhor" na verdade prejudicou a retenção, um resultado que nenhuma intuição tinha previsto.

## Uma armadilha comum

Mau uso de dados: seleção de números para justificar uma decisão já pronta, perseguir oscilações estatisticamente insignificantes, ou otimizar uma métrica tornando o produto geral pior (Lei de Goodhart).

## Por que isso importa

Intuição frequentemente está errada, e opiniões confiantes entram em conflito permanente.

Evidência resolve debates objetivamente e detecta verdades contra-intuitivas que de outro modo embarcariam como erros custosos.

Usados bem — como complemento ao julgamento, não um substituto — dados transformam o desenvolvimento de produto em um loop de aprendizado que compõe, em vez de uma série de apostas não validadas.