[내가 좋아하는 기능을 만들면 안 되는 이유]
밤새 열심히 만든 기능, 유저들의 반응은 과연 좋을까?

팀 내에서 정말 괜찮은 기능이라고 생각해서 출시하면 막상 반응이 좋지 않은 경우를 한 번쯤은 경험해보셨을겁니다 😢
모두가 나와 같은 생각을 가졌으면 “기획”이라는 분야가 참 쉬웠을 것 같은데 말이죠…
그래서 저희 러시아워 팀은 매번 신기능을 최종적으로 도입하기 전, 🔎 유저분들의 반응을 먼저 살핀 후에 고도화 진행 및 신기능을 정착시키고 있습니다.
이번에 저희 러시아워팀에서는 8월 16일부터 약 2주간, 총 3가지의 기능을 이와 같이 테스트해보았는데요, 내용들을 같이 공유해보고자 메이커로그를 작성하게 되었습니다.
테스트 배경

기존 저희 러시아워에서는 크게 2가지의 기능을 제공해드리고 있었습니다.
또한 저번 메이커로그에서도 언급했듯이 저희 앱을 사용하고 나면 평점 및 피드백을 남기실 수가 있는데요! 이번 신기능 테스트를 진행하게 된 배경이 여기에 있습니다.
아직 유저가 많지 않아서 그런지 빈자리 정보가 적은 것 같아요.
빌 자리 정보를 지하철에 타기 전에 확인할 수는 없나요?
평소 러시아워 팀내에서도 보완해야 할 점으로 의식하고 있었던 부분들이었기에, 여러 개의 피드백들 중 저희는 이 두 개의 피드백이 눈에 띄게 되었습니다.
테스트 준비
테스트가 실패하는 것보다, 테스트 후에 아무런 결론을 내릴 수 없는 것이 최악이다
시간을 들여 테스트를 진행해도 결과에 대해 성공/실패 여부 등 아무런 결론을 내릴 수 없게 된다면 시간만 낭비한 것이 되기 때문에, 저희 팀은 테스트 진행보다 테스트 준비에 시간과 인력을 더 투입하게 되었습니다. (테스트를 위해 로그 분석 툴까지 빠르게 만들어주신 저희 개발팀에 다시 한번 감사하다고 말씀을 드려야겠네요)
(몇 시간만에 개발팀에서 뚝딱 만들어주신 분석툴 👍👍)
그래서 테스트 성공/실패 여부를 어떤 지표를 통해서 확인할 것이며, 테스트 유저를 어떻게 확보할 것인지 등등에 대한 의논을 더 중요하게 생각하여 진행했습니다.
저희는 [DAY1 리텐션]을 총 3일간 분석하여 성공/실패 여부를 결정하기로 하였습니다. 새로운 기능 도입 전후를 비교하여 리텐션이 높아지면 신기능을 유지하기로 결정하였고, 0.1%라도 넘거나 떨어져도 결과에 납득하기로 모두가 동의하였습니다.
또한, 테스트를 총 3번 진행해야 하는만큼 각 테스트에 소요될 기간을 최소한으로 줄였고 1번 테스트가 끝났을 때 2번 테스트를 바로 진행할 수 있게 모든 세팅을 준비하고 본격적인 테스트를 시작하게 되었습니다.
1차 테스트 (8월 16일-18일)
1차 테스트에서 신기능으로 넣어본 기능은 [AI 빌자리 예측 기능]이었습니다.

기존에는 유저가 입력한 데이터를 기반으로 빌 자리 수를 제공했다면, 이번 AI 빌자리 예측 기능은 유저가 입력한 데이터 + 공공데이터 + API 등을 활용한 기능입니다.
본 기능의 테스트를 위한 신규 유저 확보에 집중했고, 그 중에서 인스타그램 광고를 통한 유입이 제일 많았습니다.
1차 테스트 기간 동안 인스타그램 광고의 링크 클릭당 비용은 103원을 기록했으며, 예상했던 수치보다 높게 나와 더 많은 유입을 확보할 수 있었습니다. (스포하자면, 2차 3차 때는 더 높은 효율을 기록하게 됩니다 ㅎㅎ)
본 기능을 도입하기 전과 후의 DAY1 리텐션을 비교하여 AI 빌자리 예측 기능이 과연 유저들의 리텐션을 높여주는지를 보기로 하였습니다. 과연 첫 번째 테스트의 결과는 어땠을까요..? 😲
그 결과, AI 빌자리 예측 기능을 도입했을 때가 도입 전보다 훨씬 높은 DAY1 리텐션을 기록하였습니다. 🎉
이에 따라, AI 빌자리 예측 기능은 고도화 및 유지하기로 결정하였고, 바로 2차 테스트를 진행하게 되었습니다.
2차 테스트 (8월 22일-25일)
2차 테스트에서 신기능으로 넣어본 기능은 [탑승 전 빈자리가 많이 생길 칸 제공]이었습니다.
기존에는 지하철에 탑승해야 정보를 제공받을 수 있었다면, 이번 신기능을 통해 탑승하기 전에도 동일한 정보를 제공받을 수 있게 만들어보았습니다.
1차 테스트와 마찬가지로 신규 유저들을 확보하였고, 그 중에서 역시 인스타그램 광고를 통한 유입이 제일 많았습니다.
2차 테스트 기간 동안 인스타그램 광고의 링크 클릭당 비용은 무려 82원을 기록했습니다!!🔥
1차 때의 103원과 비교했을 때 무려 21원이 절약되었으며, 그 결과 이번에도 예상보다 더 많은 모수를 확보할 수 있었습니다.
이번에도 본 기능을 도입하기 전과 후의 DAY1 리텐션을 비교하여 탑승 전 빈자리가 많이 생길 칸 제공이 유저들의 리텐션을 높여주는지를 보기로 하였습니다. 2번 테스트도 성공했을까요?! 😲

저희의 예상과는 전혀 다르게, 오히려 신기능을 도입하니 전보다 DAY1 리텐션이 낮아지게 되었습니다.😕
이에 따라 3차 테스트 때는 본 기능을 제외하기로 결정하였고, 3차 테스트가 진행되는 동안에 왜 2차 테스트가 실패하게 되었는지 원인을 분석하였습니다. (이 부분에 대한 자세한 내용은 기회가 된다면 다음 메이커로그 때 공유해보겠습니다!)
3차 테스트 (8월 29일-31일)
마지막 3차 테스트에서 신기능으로 넣어본 기능은 [탑승 전 칸별 혼잡도 제공]이었습니다.
2차 테스트에 이어 지하철에 탑승하기 전에 미리 혼잡도가 낮은 칸에 탈 수 있게 신기능을 도입하였습니다.
인스타그램 광고를 통한 유입은 이번에도 예상보다 많았으며, 1차 2차와 비교했을 때 제일 높은 효율을 기록하게 되었습니다.
3차 테스트 기간 동안 인스타그램 광고의 링크 클릭당 비용은 78원을 기록했습니다! 🔥
일반적으로 링크 클릭당 비용이 150원 이하이면 효율이 좋다고 판단하는데, 78원을 기록하게 되어 테스트들 중 제일 많은 모수를 확보할 수 있었습니다.
마지막 테스트 역시 본 기능을 도입하기 전과 후의 DAY1 리텐션을 비교하여 탑승 전 칸별 혼잡도 제공이 유저들의 리텐션을 높여주는지를 보기로 하였습니다. 과연 마지막 테스트에서는 성공했을까요?😲
그 결과, 테스트 기간동안 제일 높은 DAY1 리텐션율을 기록하게 되었습니다 🎉🎉
총 3개의 테스트를 마무리할 시점에 최종적인 DAY1 리텐션을 확인하여 락인전략의 성공/실패를 결정하기로 하였는데, 마지막 테스트에서 그 성공기준을 넘기게 되었습니다!
테스트 회고
더욱 우리가 원하는 기능이 아닌 유저가 원하는 기능을 만들어야 하는구나
8월 16일부터 약 2주간 쉴 틈 없이 총 3가지의 신기능을 테스트하면서 러시아워 팀은 큰 변화를 이루어내었습니다. 저희가 목표했던 최종 리텐션을 넘었고, 그 과정에서 있었던 어려움들을 함께 헤쳐나갔다는 점에 큰 의미가 있다고 생각합니다! 🙌


(모든 테스트가 끝난 이후, 성공파티를 열기도 하였습니다 🥳)
테스트 결과, 유저분들께서는 “탑승 전 혼잡도 확인” 기능을 정말 좋아해주셨고, “AI 빌자리 예측 기능”도 좋아해주셔서 기분이 좋았습니다.
물론 예상하지 못했던 결과도 있었습니다.
“탑승 전 빌 자리가 많이 생길 칸” 기능의 반응이 정말 좋을 것이라고 예상했지만 실제로는 정반대의 결과가 나왔습니다. 왜 본 기능에 대해서는 반응이 좋지 않았는지 원인을 분석하기 위해 다양한 가설들을 세워 🔎검증중에 있습니다.
또한, 테스트 중간중간에 로그가 갑자기 찍히지 않는 이슈, iOS와 안드로이드 앱에 차이가 생기는 이슈 등이 발생하였는데 이 때에도 팀원이 모두 하던 일을 멈추고 버그 개선을 진행하여 큰 차질 없이 테스트를 진행하기도 하였습니다 👍
앞으로도 저희 러시아워 팀은 저희가 원하는 기능이 아닌, 유저들의 경험 개선을 위해 유저들이 즐겨 사용하는 기능을 더 편리하게 사용하게 하는 데 초점을 맞출 예정입니다.
저번 메이커로그를 통해 많이 도와주신 덕분에 좋은 결과 낼 수 있었습니다!
앞으로 모든 사람들이 편하게 지하철을 탈 수 있는 세상🌎︎을 만들기 위해 더 노력하는 러시아워 팀이 되겠습니다.
러시아워 다운로드 링크 🔽
예전 메이커로그가 궁금하다면? 👇