데이터와 실험을 활용해 프로덕트 의사결정을 어떻게 내리나요?

Question

Accepted Answer

**데이터 기반 의사결정**은 프로덕트 선택을 의견만이 아니라 증거(사용 데이터, 실험, 리서치)에 근거시키는 것입니다. 성숙한 버전은 *데이터에 입각한(data-informed)* 것입니다. 데이터가 판단을 날카롭게 하지만 대체하지는 않습니다. 목표는 추측에 베팅하는 리스크를 줄이는 것입니다.

## 증거의 출처

```text
✓ 정량 → 분석, 퍼널, 리텐션, A/B 테스트(무슨 일이 일어나는가)
✓ 정성 → 사용자 인터뷰, 지원 티켓, 세션 녹화(왜)
→ 둘을 결합하라: 숫자는 무엇을, 대화는 왜를 알려준다
```

정성 없는 정량은 퍼널이 3단계에서 떨어진다고는 알려주지만 *왜*는 알려주지 않습니다. 이해하지 못하는 이유는 고칠 수 없습니다.

## 실험(A/B 테스트)

```text
✓ 가설을 세워라 → "가입을 짧게 → 완료율 상승"
✓ 성공 지표(와 가드레일)를 미리 정의하라
✓ 의미 있고 무작위화된 표본에서 유의성까지 돌려라
✓ 보기 전에 결정하라 → 결과 체리피킹을 피하라
✓ 거짓 양성, 너무 작은 표본, 장기를 해치는 단기 승리를 경계하라
```

실험은 저렴하게 테스트하고 논쟁하는 대신 *알게* 합니다.

## 데이터로 충분하지 않을 때

데이터는 과거와 현재를 묘사하지, 대담한 새 베팅을 묘사하지 않습니다. 아직 존재하지 않는 것을 A/B 테스트할 수는 없습니다. 큰 전략적 움직임은 비전과 판단이 필요합니다. 데이터가 정보를 주지만 결정은 당신의 것입니다. 데이터에 과의존하면 국소 최적화로 이어집니다(더 빠른 말, 결코 자동차가 아닌).

## 구체적인 예시

한 팀이 새 온보딩 흐름을 두고 몇 주를 논쟁합니다. 논쟁하는 대신 둘 다 완료율 + 7일 리텐션을 지표로 하는 A/B 테스트로 출시합니다. 데이터가 2주 만에 결판을 내고, "명백히 더 나은" 디자인이 실제로는 리텐션을 해쳤다는, 아무의 직관도 예측하지 못한 결과를 드러냅니다.

## 흔한 함정

데이터를 오용하는 것입니다. 이미 정해진 결정을 정당화하려고 숫자를 체리피킹하거나, 통계적으로 유의하지 않은 변동을 쫓거나, 지표를 더 나쁜 전체 프로덕트로 최적화하는 것(굿하트의 법칙)입니다.

## 왜 중요한가

직관은 종종 틀리고, 자신만만한 의견들은 끝없이 충돌합니다.

증거는 논쟁을 객관적으로 해소하고, 그렇지 않으면 값비싼 실수로 출시되었을 직관에 반하는 진실을 잡아냅니다.

잘 사용하면, 즉 판단의 대체물이 아니라 보완으로 사용하면, 데이터는 프로덕트 개발을 검증되지 않은 베팅의 연속이 아니라 쌓여 가는 학습 루프로 바꿉니다.