A/B 테스트 성공과 실패의 기준을 어떻게 세울 수 있을까요?

혹시 미디엄에서 '직관만 믿고 까불었다가 망한 PM의 사연'이라는 글을 보신적이 있으신가요? 저는 우연히 Demi님이 써주신 이 글을 읽고 너무 재미있고 유익한 글이라고 생각을 했었는데요. 11월 데이터리안 세미나에 Demi님을 연사로 모시고 이야기를 나눠볼 수 있어서 너무나 영광이었습니다(매월 데이터 분석 세미나를 진행하다보면 이렇게 성덕이 되기도 합니다) 😭

이번 세미나는 특히나 답변해주시기 어렵겠다 싶은 질문들이 많았는데, 패널로 와주신 예슬님, 연사로 참여해주신 Demi님께서 답변을 너무 잘 해주셔서 저도 배워가는 게 많더라고요. 11월 세미나 놓쳐서 아깝게 못보신 분들이 계신다면 아래 스케치 영상을 한 번 확인해보세요!

💬 현업 PM의 코멘트

“제품 관점에서는 실험 결과를 성공/실패로 바라보지 않고 실험 케이스 중 가장 좋은 케이스가 무엇인지 확인했다는 관점으로 바라보고 있어요. 그래서 ‘실험에 실패했다’고 하지 않고, ‘실험군이 대조군보다 지표가 낮아요’라고 이야기를 합니다.

실험을 적극적으로 하려면 실험 결과와 나의 노력을 분리하고 명확하게 결과를 확인했다는 것에 가치를 둬야 하는 것 같아요.”

✅ 3줄 요약

• '이래야 성공이야' 하는 고정된 기준은 없습니다.

• 실험의 핵심 지표 뿐만 아니라 보조 지표도 함께 세워서 종합적으로 결과를 확인해보세요.

• 실험을 단순히 성공/실패로 바라보지 말고, 레슨런을 얻어서 다른 시도를 계속 해보는 것이 중요합니다.

A/B 테스트를 활발히 사용하는 IT 기업의 현직자들이 이 질문에 어떻게 답했는지 궁금하시다면,

👉 월간 데이터리안 세미나 11월 스케치 영상보러가기

✨ 이렇게 유용한 실전 데이터 분석 이야기를 들을 수 있는 세미나 12월에도 계속됩니다.

12월 주제 : "데이터 분석가 커리어: 사이드 프로젝트부터 퍼블릭 스피킹까지"

👉 카카오 데이터 분석가와 함께하는 12월 세미나 구경가기