Jak používáte data a experimenty k přijímání rozhodnutí o produktu?

Question

Accepted Answer

**Rozhodování na základě dat** znamená zakládat volby produktu na důkazech — údaje o používání, experimenty, výzkum — místo pouze na názoru. Vyzrálá verze je *informovaná daty*: data ostří soud, ale nenahrazují jej. Cílem je snížit riziko sázení na domněnku.

## Zdroje důkazů

```text
✓ QUANTITATIVE → analytics, funnels, retention, A/B tests (what is happening)
✓ QUALITATIVE → user interviews, support tickets, session recordings (why)
→ combine both: numbers tell you WHAT, conversations tell you WHY
```

Kvantita bez kvality vám řekne, že trychtýř klesá v kroku 3, ale ne *proč* — a nemůžete opravit důvod, kterému nerozumíte.

## Experimenty (testování A/B)

```text
✓ Form a HYPOTHESIS → "shorter signup → higher completion"
✓ Define the SUCCESS METRIC up front (and guardrails)
✓ Run on a meaningful, RANDOMIZED sample to significance
✓ Decide BEFORE looking → avoid cherry-picking results
✓ Beware false positives, tiny samples, and short-term wins that hurt long-term
```

Experimenty vám umožňují testovat levně a *vědět* místo argumentování.

## Když data nestačí

Data popisují minulost a přítomnost, ne odvážné nové sázky — nemůžete testovat A/B něco, co ještě neexistuje. Velké strategické kroky potřebují vizi a posouzení; data informují, ale rozhodnutí je na vás. Nadměrné spoléhání na data vede k lokální optimalizaci (rychlejší koně, nikdy auto).

## Konkrétní příklad

Tým týdny diskutuje o novém toku onboardingu. Místo argumentování nasadí obě verze jako test A/B s dokončením + 7denní retencí jako metriky. Data to vyřeší za dva týdny — a odhalí, že "zjevně lepší" design vlastně poškodil retenci, výsledek, který nikdo neočekával.

## Běžná chyba

Zneužívání dat: vybírání čísel na ospravedlnění předem připraveného rozhodnutí, pronásledování statisticky nevýznamných výkyvů nebo optimalizace metriky na horší celkový produkt (Goodhartův zákon).

## Proč na tom záleží

Intuice je často nesprávná a sebevědomé názory se nekonečně střetávají.

Důkazy objektivně řeší spory a odhalují protiintuitivní pravdy, které by jinak byly zaslány jako drahé chyby.

Správně používaná — jako doplněk soudu, ne jeho náhrada — data přeměňují vývoj produktu na učební smyčku, která se skládá, místo na řadu neověřených sázek.