50명에게 물었던 질문을 100명에게 다시 물었습니다

50명에게 물었던 질문을 100명에게 다시 물었습니다

저희가 준비 중인 뷰티 브랜드의 튜브 패키지 시안이 두 개 있었습니다. A는 화이트, B는 딥레드. 지난주 ABtest(두 시안 중 하나를 고르면 USDC를 받는 A/B 설문 미니앱)로 검증된 인간 50명에게 물었더니 B가 66:34로 이겼습니다.

그런데 50명이면 충분한가라는 의심이 남았습니다. 그래서 같은 질문을 이번엔 100명에게 다시 걸었습니다.

결과는 B 59:41. 1차와 같은 방향이었습니다. 품질 필터를 통과한 81명 기준으로도 58:42로 유지됐습니다.

품질 필터에서 19명이 빠졌습니다 — 1.5초 미만 즉답 12명, 주의력 체크(정답이 정해진 트랩 문항) 실패 6명, 중복 1명. 이들도 보상은 전부 받았고, 집계에서만 제외됩니다.

100명 마감까지 걸린 시간은 20.5시간, 응답자는 13개국에서 왔습니다. 응답 시간 중앙값은 3.6초 — 시안 선호는 직관 판단이라 원래 빠릅니다.

이번 실험의 결론은 이겁니다. 시안 A/B 판정에서 중요한 건 표본을 무한정 키우는 게 아니라, 표본을 바꿔도 방향이 재현되는가였습니다. 50명과 100명이 같은 답을 냈으면 그 판정은 믿고 다음 단계로 갈 수 있습니다.

시안 2개 놓고 고민 중인 팀은 댓글 주세요. 검증된 인간에게 대신 물어봐 드립니다. 무료 20명 미리보기로 시작합니다.