에어비앤비, 마이크로소프트에서 AB테스트 하는 법
안녕하세요 :) 오늘은 에어비앤비와 마이크로소프트에서 부사장을 지내며, 실험 플랫폼 설계를 주도한 Ronny가 이야기하는 'AB 테스트를 궁극적으로 잘하는 방법'에 대한 영상을 번역 & 요약해보았습니다.
00:04:55
🔬 A/B 테스트에서 예상치 못한 결과: Bing 광고의 레이아웃 변경으로 수익 12% 증가
Bing에서 광고 레이아웃을 변경하는 실험을 진행했는데, 두 번째 줄을 첫 번째 줄로 올리고 제목 줄을 크게 만드는 아이디어였다.
처음에는 이 아이디어가 합리적이고 흥미로운 것처럼 보이지 않았지만, 구현하기 쉬워서 투자 대비 효과가 좋을 것으로 판단되었다.
Bing에서 이 아이디어를 구현하여 실험을 진행하자, 수익 지표에 이상이 발생했고, 수익이 약 12% 증가한 것을 확인했다.
00:07:01
💡 Bing의 역사상 가장 많은 수익을 창출한 작은 변화에 대한 이야기
Bing에서 수익을 증가시키기 위해 여러 실험을 진행하던 중, 검색 결과에서 두 줄을 바꾸는 작은 변화가 가장 큰 수익 향상을 이끌었다.
이 작은 변화는 사용자 경험에 해를 끼치지 않았으며, 수익을 증가시키는 데에 큰 영향을 미쳤다.
이 작은 변화는 Bing의 역사상 가장 많은 수익을 창출한 아이디어로, 그 중요성이 과소평가되었다고 한다.
00:08:50
🔍 에어비앤비의 검색 실험에서 새 탭 열기가 큰 성과를 냈음.
에어비앤비의 검색팀에서는 '검색 결과를 클릭할 때마다 새 탭을 열면 어떨까?'라는 작은 실험을 진행했고, 이는 검색에서 큰 성과를 냈다.
이 실험은 2008년경 에어비앤비 이전에 진행되었으며, 디자이너들로부터 많은 반대를 받았지만 예상치 못한 결과를 가져와 많은 것을 배울 수 있었다.
이 실험은 영국에서 Hotmail을 열 때 시작되었고, 그 후 MSN에서 검색을 열게 되었다.
이러한 실험들은 매우 유익했고, 에어비앤비에 오기 전에는 새 탭에서 리스트가 열렸지만 다른 디자인 요소는 구현되지 않았다.
댓글
로그인 후 댓글을 남길 수 있습니다.
아직 댓글이 없습니다.