여기서 ROI란: AI 도입이 비용보다 실제 성과를 더 개선했는가 — 돈과 숨은 오버헤드 양쪽에서? 함정은 가치에 대해 아무것도 말해주지 않는 vanity metric("생성된 줄 수", "실행한 prompt 수")을 자축하는 것입니다. 저는 성과를 측정하고, 진짜 비용을 따지며, hype가 아니라 증거로 결정합니다.
활동이 아니라 성과를 측정한다
- Cycle time — 작업이 시작에서 merged까지 더 빨리 이동하는가?
- Throughput — 팀이 sprint당 중요한 것을 더 많이 출시하는가?
- 결함 / change-failure rate — 품질이 유지되는가, 아니면 버그를 더 출시하는가?
- 잡일(toil)에서 절약한 시간 — boilerplate, docs, 반복 작업에서 되찾은 시간.