🐋 미국 3조 기업을 이겼다. (2023년 회고)

2023년도 치열한 한 해였다. 2023년이 끝나며 우리의 성적표를 받아봤을 때 우리는 환호와 절망이 가득했다. 우리 무니스의 2023년을 기억하고 2024년에 다음 단계로 도약하기 위해 2023년 회고를 간략하게 해보려고 한다.

매출 성적표

한국 Health and Fitness 카테고리 Top Grossing App 1위

우선, 어그로성 제목을 정정하자면 1) 3조원 기업은 Calm이다. 실제 Calm이 3조원은 아니지만 Calm과 매출액이 비슷한/더 적은 경쟁사 Headspace의 마지막 Funding 기업가치가 3조원이라 그렇게 칭했다. 2) 위 매출액은 12월 하루 중 하나여서 요일 Screenshot이다.

어떻게 성취했을까?

우선 우리에게 올해 뚜렷한 목표가 있었다. 한국에서 1등이 되어보자. 수면 앱으로 가장 돈을 잘 버는 앱이 되어보자. 이 과정에서 팀원들의 엄청난 노고가 있었다. 그 넘어로는 똑똑한 전략과 실험 그리고 우리의 어떤 시도도 지지해줄 코어 팬분들이 있었다.

우선 여기서 밝히는 바, 나의 어떤 실험보다 우리 팀원들의 실험들이 더 좋은 결과를 냈다. 나는 그저 서포터였다고 생각한다. 2023년 나는 팀에서 RRR 퍼널을 담당했다. 고객을 감동시켜 계속 앱에 남게 하고, 우리의 팬이 되게 하고, 결국 우리의 바이럴 머신이 되게끔 만드는 역할이었다.

나의 성공적이었던 액션 중 하나는 아하 모먼트를 기반한 CRM이었다. 우리 서비스는 수면 서비스이다. 따라서 코어 액션은 "수면"인데, 데이터를 역으로 분석해보니 아하 모먼트는 5회 수면이었다. 이 5회 수면을 최대한 시키면 우리의 팬이 될 확률이 높아졌다.

5일 챌린지

그렇게 시작된 내 첫 액션은 "5일 챌린지"였다. 앱에 처음 들어와서 5회 수면을 채우면 상품을 주는 이벤트였다. 5회를 최대한 경험케 해 우리의 가치를 느끼게 하고 결제로 유도하고자 하는 전략이었다.

챌린지가 있던 고객군과 없던 고객군의 결제 전환율은 어마무시한 큰 차이가 있었다. 많은 가설이 함께 맞았던 매우 성공적인 실험이었다. 👍

수면 분석 리포트

나의 2번째 액션은 주 수면 4회를 채우면 카톡으로 "수면 분석 리포트"를 보내주는 기능이었다. 일주일에 4회 수면이 있어야지만 분석 리포트를 보내주는 기능으로 4회 수면의 배너핏을 제공했다. 아래 화면은 수면 리포트 화면인데 왼쪽은 처음 시작할 때의 리포트이고 오른쪽은 마지막 리포트가 나가던 주의 화면이다. 수면 리포트도 매주 꾸준히 발전시켜나갔다.

이 또한 성공적이었다. 수면 리포트 신청자들의 리텐션이 꾸준히 플랫했다. 이 또한 성공적인 액션이었다. 👍

앞으로 어떻게 할 것인가?

내가 앞서 설명한 실험들을 제외하고도 나는 작년에 17개가 넘는 실험을 진행했다. 모두 데이터를 근거하고 기획하고 데이터를 근거하여 결과를 분석했다. 대부분의 실험이 실패한다. 나의 직관이 고객의 행동을 바꾸는 일은 드물다. 그렇기에 나는 실험의 횟수를 늘리며 더 빠르게, 더 정확하게 실패하려고 한다.

우리는 2024년 미국에서 Top 10 IAP 매출을 내는 수면 서비스가 되려고 한다. 모든 준비는 되었고 이제 실행만 하면 된다. 올해가 끝날 무렵 "미국 3조원 기업을 이제 거의 이겼다"라는 메이커로그를 써보겠다.

우리의 치열한 2023을 만들었던 우리 무니스 가족 여러분께 무한한 감사를 표하며, 이 글을 마친다. 우린 작지만 강하다!

코파운더와 개발자 역할을 세상에서 가장 잘한 @Sang Hyun Gil

디자인, 기획, 데이터까지 모든 분야에서 최고점을 찍은 @Julie Lee

일정한 코딩 폭주기관차 @Paige Shin

창조적인 만능 오퍼레이터 & 데친자(데이터에 미친자) @베이슬

2024년도 무니스가 이뤄내겠습니다, "좋은 잠이 당연한 세상".

오늘도 모두 좋은 잠 주무세요 🌙

🐬 [수면 챌린지] 1주차 회고

우리는 왜 잠을 자야 할까? 잠이란 건 모든 인간의 중요한 일부분이지만 왜, 어떻게 부분을 명확하게 아는 사람은 정말 소수일 것이다.

나는 수면이 왜 중요한지, 어떻게 잘 잘 수 있을지에 대한 대화를 시작하면 6시간은 떠들 수 있는 사람(미라클나잇이라는 슬립테크 프로덕트를 만드는 메이커입니다)이지만, 업무 효율 향상에 고민이 생기며 100점짜리 수면 달성을 목표로 이번 수면 챌린지에 참여하게 되었다!

나는 언제 효율이 떨어질까?

이번 한 주 동안 나는 어떤 수면을 했을 때 효율이 떨어지는 지 확인해 봤다. 5일간의 실험으로 얻은 결론은 (1) 취침 시간과 (2) 총 수면 시간이었다.

새벽 12~1시 사이에 잤을 때 + 6시간 30분 정도 잤을 때 업무 효율이 가장 좋았다. Rize로 추적해 봤을 때 포커스 타임 6시간, 총 업무 시간 10시간으로 꽉 채운 하루를 보냈다.

반대로 똑같은 6시간 30분의 수면 시간이라도 새벽 3시 정도에 자거나 취침 시간이 새벽 1시라도 총 수면 시간이 5시간 미만으로 자면 오후 업무 효율이 낮아지는 걸 경험했다.

그래서 어떻게 잘 것인가!

너무 당연한 말이지만 취침 시간을 새벽 1시 전으로, 수면 시간은 7시간을 목표로 자볼 계획이다. 그리고 이번 주엔 애플 워치도 함께 사용하여 같은 상황에서 어떤 변수를 뒀을 때 수면의 질과 업무 효율에 영향이 있는지 볼 계획이다.

마치며,,

미라클나잇 앱 자체에서 연말 14일 챌린지 중이니 챌린지 참여하여 질 좋은 수면과 선물 세트 모두 가져가시길.!! ><

나의 꿀잠 수면 유형은? feat. 미라클나잇

안녕하세요, 디스콰이엇 여러분!

IT 업계에 계신 분들은 아마 수면 부족 문제를 많이 경험하실 듯 해요! 일을 해도 해도 ... 일이 안 끝나죠..?

이런 여러분을 위해! 나의 수면 유형을 파악하고 피드백 받을 수 있는 쿨쿨이의 수면 유형 테스트를 소개합니다!

🌙🌟 꿀잠 수면 유형 테스트! 🌟🌙

🎮 게임 링크: zzzi.kr

🎁 "쿨쿨이가 꿀잠을 선물합니다!" 🎁

1⃣ 10/4 ~ 10/15 기간 동안

2⃣ @miraclenight_official 미라클나잇 공식 계정을 팔로우하고

3⃣ 테스트 결과를 인스타그램 스토리에 미라클나잇을 태그해 공유하면 끝!

🛌 꿀잠 굿즈는 무려 7만원 상당! 🎁

러그 + 페이퍼사쉐 (디퓨저 백) + 수면 안대 + 더스트백 + 꿀잠 스티커

이런 멋진 상품이 랜덤 추첨을 통해 많은 분들께 전달됩니다! 🎉

자세한 정보는 @miralcenight_official 링크를 참조하세요 :)

일주일 동안 dog고생하면 만든 유형 테스트인데,, 많은 참여 부탁드립니다!🙏

모두 행복한 목요일 보내세요🥰

🐋 1036명의 고객의 이야기를 들어보니...

이 게시글은 무니스 팀과 함께 수면 경험을 혁신하실 오퍼레이터를 찾기 위해 올리는 글입니다.

오늘은 무니스가 자랑스럽게 우리는 "고객 중심의 팀"이라고 말할 수 있는 컬쳐를 갖기까지 어떤 과정을 거쳤는지 그 여정을 기록해보려고 한다.

33시간 회의하던 우리

MVP 성공 기준을 처음으로 통과하는 프로덕트가 생겼다. 바로 고농축 슬립샷 미라클나잇. 사전 예약했던 고객들은 엄청난 속도로 결제/재결제 하기 시작했고 본인 SNS에 자발적으로 우리의 프로덕트를 홍보하기 시작했다. 우리는 그동안의 실패를 바탕으로 고객의 목소리가 얼마나 중요한지 머리로는 알았기 때문에 바로 유저 인터뷰를 진행하며 고객의 일상, 수면 환경을 이해하고 자신의 언어로 설명하는 장점과 단점을 받아 적었다. 그리고 열심히 분석했다. (아래 이미지는 우리가 진행했던 인터뷰를 분석 회의 때 사용한 Figjam이다)

하지만 분석하면 할수록 미궁으로 빠져 들어갔다. 우리가 직면한 질문들은 다양했다:

1. 어떤 고객의 목소리를 먼저 들어야 할까?

2. 어떤 기능을 먼저 개발할까?

3. 앱 버그는 어디까지 고쳐야 할까?

4. 고객의 목소리를 다 들어야 할까?

5. 우리 프로덕트는 앞으로 어떻게 성장해야 할까?

우리는 MVP 통과 후 더 치열하게 회의하기 시작했다. 다양한 프레임워크를 도입하며 고객을 이해하려고 했지만 계속해서 명쾌한 답이 나오지 않았다. 그렇게 회의는 길어졌고, 우리는 33시간이라는 엄청난 회의 시간을 기록했다.

그렇게 우리는 우리만의 원칙을 세웠다.

1. 미라클나잇의 장기 목표

   세계 최고 수준의 수면 경험을 제공한다

2. 미라클나잇 타겟군(=고객)

   고효율 수면에 높은 관심이 있는 갓생러들

3. OMTM

   Net Disappointment Score

그리고 원칙 위에 스프린트 프레임워크를 도입했다. (지금은 다른 프레임워크로 하고 있지만) 그리고 고객과 다시 대화했다. 많은 것들이 달라져 있었다. 우리가 누구를 위해, 어떤 방향으로, 왜 개발해야 하는지 알고 나니 해야 하는 액션들이 명확했다.

고객의 목소리를 듣고 싶어

미라클나잇은 계속 성장했다. 고객 베이스는 늘었고, 고객의 이야기도 더 다양해지고 많아졌다. OMTM은 바뀌었고 지금도 다양한 고군분투 속에서 프로덕트를 발전시키고 있다. 이런 지속적인 성장에서 고객과 함께하기 위해 우리는 2가지를 도입했다.

1. 모든 서비스 고객에게 피드백을 받는 것

   우리 앱에서 특정 액션을 하면 피드백을 보낼 수 있는 팝업을 띄워줬다. 그 팝업의 CTA는 피드백 폼으로 연결되었는데 사람들은 이곳에서 다양한 이야기를 해줬다. 많은 이야기를 해주신다. 정말 감사하다는 이야기. 하루가 바뀌었다는 이야기. 덕분에 너무나 행복해졌다는 이야기.

   하지만 우리를 놀라게 한 것은 그들의 솔직한 피드백이었다. 서비스 경험이 만족스럽지 못하다고 이야기하는 사람들이 열정적으로 우리의 서비스를 비판했다. 미라클나잇을 친구 누구에게도 추천할 의사가 전혀 없다고 한다. 그렇지만 엄청나게 상세한 이유들을 적어주신다. 한 번은 인터뷰에서 그런 고객에게 질문을 했다. 그럼에도 불구하고 왜 인터뷰를 해주시나요? 그의 대답이 아직도 기억난다. 본인의 수면 문제를 해결해 줄 수 있는 곳이 여기 밖에 없을 것 같고, 이 서비스는 본인이 이야기하면 바뀔 것 같아서 한다고. 우리는 누군가에게 대체 불가능한 서비스로 자리 잡고 있었다.

2. 이를 모든 팀원이 볼 수 있게 하는 것

   이렇게 다양한 피드백을 나 혼자 보는 것은 전혀 의미가 없다. 우리 팀원들도 봤으면 좋겠는 마음에 슬랙으로 연동해 모든 팀원이 볼 수 있게 했다. 이러한 가벼운 마음에서 시작된 슬랙 연동은 이후 우리 팀에 큰 영향을 주었다.

   모두가 고객의 목소리를 있는 그대로 읽고 보기 때문에 지금 우리가 어떤 액션을 왜 해야 하는지를 서로 설득하거나 정당화해야 하는 과정이 생략된다. 어디서 문제가 있는지 모두 알고 있기 때문이다.

   혹시나 고객의 목소리를 놓칠 수 있기 때문에 주기적으로 VoC Syncing 시간을 갖는다. 각자 시간을 가지고 천천히 하나하나 다 읽어본다. (다 읽으면 이렇게 각자 스티커를 표기한다. 귀엽다)

   뿐만 아니라, 각자의 자리에서 각자가 한 액션에 따라 고객의 목소리가 어떻게 바뀌는지 바로바로 확인할 수 있다는 것도 엄청난 장점이다. (고객이 제시한 문제를 빠르게 해결하여 드리니 감사하다고 장편의 문자를 받은 오퍼레이터 다봄의 행복한 순간)

   

고객과 더 가까워지고 싶어

우리 팀은 어느 수면 서비스보다 고객과 가장 친밀하게 소통하고 있다고 생각한다. 실제 휴대폰으로 수면 유도 소리가 들리지 않는다는 분께 블루투스 스피커를 선물하기도 했고, 14일 동안 수면한 모든 고객에게 하나하나 직접 포장한 선물을 드리기도 했으며, 우리 덕에 수면제를 끊으신 고객님의 병원에서 우리 팜플렛을 배치시키기도 했다.

그 결과 우리 고객은 엄청난 리텐션을 보인다. 우리와 진정으로 소통하고 이야기하며 우리의 본질을 이해해 주시는 분들은 계속 앱에 남는다. 떠난 사람도 돌아온다.

우리는 한 발자국 더 다가가고 싶다. 고객을 더 감동시키고 싶고, 우리를 통해 최고의 숙면을 경험케 하고 싶다. 그래서 그들의 문제를 해결하고 더 나은 내일을 살아갈 수 있는 힘이 되어주고 싶다.

1036명의 고객의 이야기를 들어보니 서비스가 성장하더라

YC의 마이클 세이벨은 이런 이야기를 했다. 고객을 진심으로 사랑하는 경쟁사를 이기기 힘들다고. 우리는 다른 그 어떤 수면 서비스보다 고객을 사랑하고 있고, 사랑할 자신이 있다. 그런 사랑에 힘입어 더 열심히 듣고 노력하니 어느 순간 서비스는 성장하고 있었다. 우리의 구독자 수는 매달 24%씩 성장한다. 그리고 이 성장세는 더 빨라지고 있다.

이야기를 맺으며, 이러한 고객 경험 설계와 실현은 초기 서비스 단계에서 밖에 할 수 없는 것이라는 생각 때문에 오히려 나중에 이 시간이 아쉽다는 이야기를 팀원들과 많이 주고받는다. 지금밖에 할 수 없는 이 놀라운 일을 함께 할 새로운 오퍼레이터 팀원을 찾고 있다.

무니스와 함께 할 오퍼레이터는 바로 당신

갑자기 존댓말로 돌아와 다시 정식으로 팀원을 찾아봅니다. 저희는 현재 오퍼레이터 인턴을 찾고 있습니다. 팀에 들어오시면 저와 함께 팀을 이뤄 고객 경험을 혁신하는 액션을 함께 하게 됩니다. 고객에게 새로운, 그리고 놀라운 경험을 주고 싶은 당신. 그리고 그 경험을 통해 팀과 본인의 성장을 이끌어내실 당신. 주저하지 말고 연락주세요!

채용 공고: https://munice.notion.site/cc2d457d84ef477d90f822b3ab225ac8?pvs=4

회사 소개:

좋은 밤이 당연한 세상을 믿으시나요? 이미 수천 명의 사람들에게 그러한 세상을 만들어주고 있는 무니스와 함께해요.😊

🐋 가설 검정을 위한 (간단) 통계학 수업

서비스를 운영하며 어떠한 변화를 주는 것에 굉장히 조심스럽다. (특히, 이미 유저가 잘 사용하고 있는 기능은 더욱 그렇다) 하지만 모든 것은 100%가 아닌 이상 개선의 여지가 있기 마련이다. 그래서 우리 팀은 항상 AB 테스트를 한다. 대체적으로 A는 기존의 기능/화면/카피이고 B는 새로운 가설을 기반으로 만들어진 (더 좋은 방향으로 가기 위한) 시도이다.

이렇게 항상 AB 테스트를 진행하는데 (정식 스프린트는 이미 40차가 넘었다) 결과 분석을 내가 하고 있다 보니, 우리 팀원들에게 내가 어떠한 과정을 거쳐 그러한 결론을 내는지 통계학적 관점에서 한 번 설명해 주고 싶었다. 그래서 이 글을 작성하게 되었다.

우선 나는 전문 통계학을 전공한 사람은 아니고 아래에서 다룬 통계학적 내용은 큰 흐름일 뿐! 각 흐름 안에서의 가정과 계산 방법, 결론 도출 방식은 아래에서 설명한 것과 다르게 매우 매우 복잡하다는 것을 미리 말한다. (+ 인터넷 세상엔 정말 친절한 통계학 박사님들도 많이 계시다. 개인적으로 정말 쉽게 잘 설명해 주셔서 이분 글을 많이 참고했다)

📌 가설 검정 단계

1. 가설 설정하기

귀무가설은 A와 B의 차이가 없다는 것이다.

• 예를 들어, 앱에서 온보딩에 영상을 추가하고 이에 대해 A,B 테스트를 한다고 해보자. 온보딩에서 영상을 본 유저와 보지 않은 유저의 전환율은 같을 것이다.

대립가설은 A와 B가 차이가 있다는 것이다. (편의를 위래 앞으로 모든 가설은 대립가설을 칭한다) 3가지 방법으로 차이를 볼 수 있다:

• 온보딩에서 영상을 본 유저와 보지 않은 유저의 전환율은 다를 것이다. (two-tail)

• 온보딩에서 영상을 본 유저는 보지 않은 유저보다 전환율이 높을 것이다. (right one-tail)

• 온보딩에서 영상을 본 유저는 보지 않는 유저보다 전환율이 낮을 것이다. (left one-tail)

이번 예시에서는 온보딩에서 영상을 본 유저는 보지 않은 유저보다 전환율이 높다는 right one-tail로 가설을 세워보겠다.

2. 신뢰구간 (Confidence level) 정하기

우리가 신규 유저를 대상으로 같은 실험을 100번 했을 때 95번은 같은 결과가 나온다고 하면 신뢰도는 95%이다. 보통 신뢰도는 95%나 99%를 사용한다.

3. 알파 (Alpha level) 계산하기

우리가 내리는 결론이 통계적으로 유의미한지 판단할 수 있는 기준이 되는 숫자이다. 알파는 1 – 신뢰구간이다. 따라서 보통 알파는 5%나 1%이다.

만약 one-tail 테스트를 한다면 알파는 선택한 숫자 그대로 사용한다. 하지만 만약 two-tail 테스트를 한다면 알파 값을 1/2 해야 한다. 즉 2.5%이거나 0.5%가 된다.

이번 예시에서는 one-tail이니 5%를 그대로 사용하겠다.

4. 통계 기법 정하고 검정 통계량 계산하기

이제 우리에게 가장 잘 맞는 실험 방법론을 선택하고 숫자를 입력하여 우리의 가설이 맞았는지 확인해봐야 한다. 유형별 방법론은 아래 다시 정리했다.

간단히 예시를 이어가자면 영상을 본 유저의 평균 전환율과 영상 보지 않은 유저의 평균 전환율을 비교해볼 수 있다. 두 표본의 평균을 비교할 때는 Z-test라는 테스트를 사용할 수 있다. Test를 통해 Z값을 구하게 된다.

5. P값 (P-value) 계산하기

P값(유의확률)은 어떤 사건이 우연히 발생할 확률이다. P값이 우리가 기준으로 세운 알파(5%)보다 적으면 가설을 통과했다고 보면 된다. 왜냐하면 이것은 우연히 일어난 일이 아니고 뭔가 의미가 있다는 것이기 때문이다.

아까 구한 Z값으로 P값을 구할 수 있다. 예를 들어 P값이 0.03이 나왔다고 해보자.

6. 결론 내리기

P값이 알파 0.05(5%)보다 낮기 때문에 우연이 아니라 확실히 영상 온보딩 유저의 전환율이 더 높다. 따라서 우리의 가설이 맞았다: 온보딩에서 영상을 본 유저들의 전환율이 더 높다.

📌 어떤 통계 기법을 선택해야 하는가?

우리가 하는 테스트의 형태 및 샘플의 성질에 따라 어떤 기법을 사용할 지 선택할 수 있다.

출처: https://drhongdatanote.tistory.com/80

이중 AB테스트를 할 때 내가 가장 많이 사용하는 2가지 기법과 사용 방법을 소개하겠다.

1. AB 비율 차이 👉 Z-test for 2 Population Proportions

A와 B 고객군의 비율 차이가 있는지 확인하는 테스트 기법이다. 여기서 비율은 각 고객군에서 우리가 정의하는 “성공” 이벤트를 한 고객의 비율이다.

실제 내가 적용했던 사례를 공유한다. 이번엔 신규 기능에 대한 AB 테스트가 아닌 특정 행동을 한 고객군 AB에 대한 차이를 보는 테스트이다.

결제한 유저(A)와 결제하지 않은 고객(B)의 회원가입한 시간대의 비율을 확인했다.

• 귀무가설 = A와 B는 같은 시간대의 같은 비율로 회원가입 했다.

• 대립가설 = A와 B의 같은 시간대의 다른 비율로 회원가입 했다. (two-tail)

• 계산 방법 (정말 다양한 가정(ex.모집단의 표준편차를 아는지)과 데이터(ex.허용 오차) 등을 제외하고 가장 간단하게 계산할 수 있는 방법인 것):

  • Z 구하기

    

  • P-value 테이블에서 구하기 (각 알파값 별로 테이블이 있다. 우리의 z값을 특정하면 p값를 찾을 수 있다)

    

  • 사실 이렇게 복잡하게 할 필요 없이 계산해주는 사이트를 활용하면 된다:  https://www.socscistatistics.com/tests/ztest/default2.aspx

  • 간단 예시로 새벽 2시 ~ 2시 30분에 유입된 고객군의 비율을 본다고 해보자.

    

    • Sample 1 Proportion (or total number) = A의 해당 시간대 유입된 고객 수

    • Sample 1 Size = A의 전체 시간대 유입된 고객 수

    • Sample 2 Proportion (or total number) = B의 해당 시간대 유입된 고객 수

    • Sample 2 Size = B의 전체 시간대 유입된 고객 수

    • Significance level = 알파 = 0.05

    • Two-tailed

    • 그럼 이런 결과가 나온다. The value of z is -2.7259. The value of p is .00634. The result is significant at p < .05.

• 우선 P값이 우리가 정한 알파값보다 더 낮다. 따라서 이는 우연히 일어난 일이 아니고 A와 B군 중 하나는 이 시간대에 더 많이 혹은 적게 들어왔다는 뜻이다.

• 따라서 결과를 이렇게 도출할 수 있다: A와 B군의 새벽 2시에 유입된 비율은 통계적으로 유의미하게 다르다.

2. AB 평균 차이 👉 T-test for 2 Population Means

A와 B 고객군의 평균 차이가 있는지 확인하는 테스트 기법이다.

실제 내가 적용했던 사례를 또 공유한다. 현재 우리 서비스에서 코어 액션까지 가는데 약 6가지 단계가 필요하다. 이것을 단축시키는 홈 화면 버튼과 기존의 홈 화면 버튼 AB 테스트를 했었다. 단계가 단축되었으니 B 고객군의 1주일 평균 수면 횟수가 올라가는지 궁금했다.

• 무작위로 표본에 들어갈 신규 고객을 선정했다. 그리고 기존 플로우대로 사용한 고객은(A)과 단축된 플로우를 사용한 고객(B)의 평균 수면 횟수를 비교했다.

• 귀무가설 = A와 B는 같은 평균 수면 횟수를 가진다. 대립가설 = B는 더 많은 평균 수면 횟수를 가질 것이다.

• 계산 방법 복잡하니 바로 웹사이트 추천으로 넘어가겠다: https://www.evanmiller.org/ab-testing/t-test.html

  • 우리의 데이터를 입력해보자

    

    • Sample 1 = A 고객군의 1주일 전체 수면 횟수

    • Sample 2 = B 고객군의 1주일 전체 수면 횟수

    • Hypothesis = d <= 0 👉 가설에서 B의 수면 횟수가 더 많아질 것이라고 했다. 따라서 A 고객의 평균 횟수에서 B 고객의 평균 횟수를 빼면 d(=difference)가 0보다 작을 것이기 때문에 d <= 0을 선택했다.

    • Confidence = 95%

  • 그럼 이런 결과가 나온다.

    • Mean, Std Dev, Count

    • No significant difference

• 결과를 이렇게 도출할 수 있다: A와 B군의 1주일 평균 수면 횟수는 통계적으로 유의미하게 다르지 않다. 따라서 코어 액션까지 가는 단계는 수면 횟수에 영향을 미치지 않는다.

이러한 가설 검정을 할 때 꼭 주의해야 하는 것이 있다면 바로 “표본수”이다. 각 기법마다 얼마의 표본수가 필요한지 도출하는 계산법이 있지만 이론적으로는 표본에서 최소 30개의 데이터가 있으면 통계적으로 유의미하다고 볼 수 있다. 하지만 실제 서비스에 적용할 때는 유의미한 결과를 내기 위해 훨씬 (훨~씬) 많은 모수가 필요할 것이다.

데이터 분석이 초기 스타트업에 왜 필요할까? 데이터를 기반으로 결정하고 발전하는 것이 가장 합리적이기 때문이다. 그렇기에 서비스를 만드는 모두가 데이터를 이해해야 한다. 코인베이스 PM분께서 하신 이야기 중 기억에 남는 것이 좋은 PM은 데이터 사이언티스트의 일을 없애는 사람이라고 했다. 실제 이 PM분과 함께 일하던 데이터 사이언티스트 분께서는 팀원들을 교육하고 분석 업무를 자동화하여 그 팀을 떠나는 것이 KPI라고 이야기했다고 한다.

나의 데이터 분석 역할이 없어질 때까지, 그리고 팀의 데이터 분석 및 인사이트 도출 능력이 나를 뛰어 넘을 때까지 더욱 열심히 공부하고 노력하겠다! 😊

🐋 실리콘밸리에서 배운 것 2탄 (막탄)

샌프란에 온 지 벌써 3주가 흘렀다. 첫 주에 얻은 인사이트는 이전 메이커로그에 정리하여 올려두었다. 오늘은 나머지 2주 동안 얻은 인사이트를 정리해서 올려 보려고 한다.

지난 2주 동안 만났던 분들도 정말 대단한 인생 선배님들이 많이 계셨다. 큰 인사이트를 주셨던 분 중에는 트위터/에어비앤비/아마존/틱톡 개발자분들, 엔비디아 전무님, 링글 대표님, 어도비 AI 디렉터님 그리고 도어대쉬 PM님이 계셨다.

1) 일주일 스냅샷

나의 상태를 파악하는 시간을 일주일에 최소 1번 의무적으로 갖는 것이 좋다고 조언해주신 분이 계시다. 어도비에서 AI 리서치 팀을 이끄는 디렉터분께서 매주 월요일 아침에 하고 계신 셀프 점검 방법을 알려주셨다. 지금 나의 상태와 내가 가진 정보를 스냅샷처럼 찍어서 인지한 후 이번 주 나의 일이 무엇인지 확인하고 그중 내가 (1) 해야 하는 것 (2) 할 수 있는 것 (3) 안 해도 되는 것을 분리한 후 우선순위에 따라 (2)와 (3)을 주변 사람에게 위임한다고 한다.

앞선 메이커로그에서 강조했던 레이저 포커스와도 연결되는 점검 방법인 것 같다. 내가 해야 하는 것과 위임할 수 있는 것에 대한 고민을 매주 하는 것이 결국 내가 정말 집중해야 하는 문제에 집중할 수 있게 해주는 것 같다.

2) 공간와 시간의 패러다임 변화

코로나 이후 빅테크 기업 문화에 큰 변화가 있다고 한다. 공간과 시간으로 제약하던 업무 환경에서 공간과 시간이라는 축이 사라지고 있다고 엔비디아 전무님께서 생각을 공유해주셨다. 코로나로 Workforce의 절반만 사무실에 나오고 있지만 퍼포먼스(매출 등)는 올라가고 있다고 한다. 이에 이전에는 몇 시에 출근하고 퇴근하고 (9-6) 어디서 어떤 일을 하는지 중요했다면 이제는 그 중간 과정보다도 어떤 액션으로 어떤 결과를 내는지에 더욱 집중하고 있다는 것이다.

엔비디아에는 재밌는 업무 평가 방식이 있는데, 나의 KPI을 내가 직접 작성하고 이를 달성했는지에 대한 여부를 360도 peer review를 통해 평가한다고 한다. Goal setting부터 이에 대한 달성을 확인하는 것이지 내가 며칠을 출근했고, 몇 시간을 일했는지를 보지 않는다는 것이다. 따라서 일하는 시간과 공간은 이제 개인의 효율이 가장 극대화되는 방향으로 진화하고 있다고 한다.

3) 고객; 경쟁사가 아닌 고객

도어대쉬에서는 주변 경쟁사가 어떤 기능을 개발하는지, 어떤 변화를 만들고 있는지 전혀 고려하고 있지 않다고 한다. 오직 고객. 오직 고객을 중심으로 프로덕트를 발전시키고 마켓을 변형해 나간다고 한다. 내부 회의에서 Uber Eats에서 어떠한 새로운 기능을 냈다고 하면 "We're not Uber Eats"라고 한다고 한다. (멋있다...)

스타트업 생존의 관점으로 이 이야기를 다시 비춰보면 YC's Essential Startup Advice가 생각난다. “We like to say that startup companies always die of suicide not murder.” 스타트업은 항상 타살이 아니라 자살로 죽는다. 따라서 초기에 경쟁자들에 대해 지나치게 걱정하지 않아도 된다.

4) Directly Responsible Individual (DRI)

도어대쉬를 빠르게 성장으로 이끌었던 기업 문화는 DRI를 통한 오너십 관리이지 않을까 생각한다. 회사가 성장함에 따라 봐야 하는 지표들이 세부적으로 나눠지며 특정 지표에 대해 Directly Responsible 한 팀원의 이름이 새겨진다고 한다.

리더십은 아무리 바빠도 주 1회 지표들을 검토하며 떨어지는 지표에 대해서는 DRI에게 그 이유에 대해 집요하게 질문한다고 한다. 그렇기에 그 지표가 왜 변하고 있는지 원인을 알고 있어야 하고 이것을 어떻게 개선해야 하는지도 알고 있어야 한다. 이러한 책임을 바탕으로 자연스레 오너십이 더욱 강해지고 조직 내에서 해당 지표에 대한 이해도와 문제 해결 능력이 올라가는 것 같다.

5) 미국 (서부) 대학생들의 신기한 특징

마지막 1주 동안 우리 서비스의 잠재 고객을 열심히 찾아다녔다. 그렇게 알게 된 (한국 대학생 관점에서) 신기한 미국 대학생들의 특징들이 있다.

(1) 독립심이 강하다. 실제 스탠포드에 다니고 있는 학생 중 근처 캘리포이나 출신은 과반수가 아니라고 한다. 즉, 미국 전역에서 비행기 타고 날라 온 학생들이 50%가 넘는다. 그렇게 이들은 부모님으로부터 일찍이 자립하고 새로운 곳에 적응한다. 따라서 비교적 성숙하고 자립심이 강하다고 느껴졌다.

(2) 운동을 정. 말 많이 한다. 이전 메이커로그에서도 언급했지만 한 번 더 언급할 정도로 많이 한다. 스탠포드를 돌아다니다 거의 모두가 자전거를 타고 다니고 많은 학생이 조깅, 스케이팅, 농구 등을 하는 것을 목격할 수 있다. 한국 학생들보다 약 10배는 많이 하는 것 같다.

(3) 인턴십에 목말라 있다. 좋은 학교에 다니는 학생들은 보통 3학년 여름에 취직할 회사가 결정된다고 한다. 4학년부터 취업 준비를 하면 늦는 것이다. 따라서 3학년 때 면접에 통과하려면 그전에 일한 이력이 2~3개는 있어야 한다. 따라서 1~2학년들의 방학 인턴십 니즈가 대단하다.

(4) 기회가 많다. 한국에서 가고 싶은 기업이라고 하면 열 손가락 안에 꼽히는 기업 이름이 나올 것이다. 하지만 이곳 실리콘밸리는 이러한 기업이 1000개가 넘는다. 그만큼 기회가 많고 옵션이 많은 것이다. 기업의 인재상에 부합하기 위해 나를 바꾸는 것이 아닌 내가 원하는 것과 잘하는 것이 무엇인지 알고 그것에 맞는 기업을 찾는 것이 이곳의 문화인 것 같다.

3주가 긴 시간일 줄 알았지만, 실제 지내고 보니 3일처럼 짧은 시간이었다. 미국에서 와서 스타트업을 시작하길 잘했다는 생각이 물씬 들었다. 미국에서 생활하며 정말 멋진 분들을 만나 뵙고 그분들의 인생과 인사이트에 대해 들으며 내 생각과 가치관, 회사의 불확실성과 앞으로의 방향성을 다시 보게 되었다. 참으로 귀중한 시간이었다. 

앞으로 8개월간 미라클나잇 엉망진창 미국 진출기를 공유해 보겠다! 🌸

P.s. 미국 출장이라는 막막하고도 어려운 결정을 가능하게 해주신 트랜스링크 김범수 부대표님과 미국에서 진심을 다해 도와주신 DHP 최윤섭 대표님, 아서님, 유라님, 상호님, 기웅님 외 많은 분께 진심으로 감사를 표합니다! 🙏

🐋 실리콘밸리에서 배운 것 1탄

미국 시장을 정복하기 위해 실리콘밸리에 왔다. 1주일 동안 정말 많은 분들을 만났다. 유명 투자 파트너분부터 빅테크(Uber, Google, Tesla, Netflix)에 종사하시는 분들, 스타트업을 엑싯하신 선배님, 유명 대학 MBA 하시는 분들까지... 하루를 4개로 쪼개서 샌프란 여기저기 돌아다니며 인사이트를 수집하고 있다.

디스콰이엇에서 미국 진출을 꿈꾸는 분들께 조금이나마 도움을 드리고 내가 배운 것들을 잘 정리해두고 싶어서 메이커로그를 작성해 본다. 아래 내용은 내가 지난 1주일 동안 깨달음을 얻었던 내용이다.

1) 레이저 포커스

넷플릭스 CEO는 아직도 레이저 포커스라는 단어를 달고 산다고 한다. 자원이 부족한 스타트업은 무엇에 집중할지, 그리고 무엇을 포기할지 정하는 것이 매우 중요하다. 우리가 절대 잃지 말아야 할, 모든 의사결정에서 확신을 가지고 투자할 그 뾰족한 포커스가 무엇인지 생각하고 그것에 모든 자원을 투자해야 한다. 실리콘밸리 사람들은 코어가 무엇인지 알고 자원을 배분하는 것을 잘하는 것 같다.

2) 고객에게 꼭 물어봐야 하는 질문

고객과 인터뷰할 때 꼭 물어봐야 하는 질문은 너의 문제에 대한 현재 솔루션이 무엇인지이다. A는 어떤 것이 좋았지만 어떤 것 때문에 하지 않았는가? B는 어떤 부분 때문에 관심이 생겼지만 결국 어떤 부분에서 사용을 중단하였는가? 여기서 나오는 키워드들이 결국 우리 서비스가 고객에게 전달하는 가치를 표현한다.

3) 투자는 관계 빌딩 기반

알지도 모르는 창업가에게 밀리언 체크를 써주는 경우는 매우 드물다. 최소 6개월은 지속적으로 관계를 빌딩하며 우리 팀의 성장세를 업데이트해 주고 투자사의 피드백을 적극 수용하는 모습을 보여야 한다.

4) 투자를 90% 확정하는 시점

실리콘밸리 투자사들은 시간이 자산이다. 따라서 스타트업에 관심을 가지고 질문을 한다는 것 자체가 이미 투자할 마음이 어느 정도 있다고 한다. 그럼 나에게 어려운 질문을 하게 할 동기는 무엇일까? 500 글로벌 파트너가 해준 말이다: LTV가 CAC를 넘어서는 시점에 우리가 매달 25% 이상의 성장을 내고 있다면. 이 관문이 넘어가면 어려운 질문을 하기 시작한다고 한다.

5) 유의미한 A/B 테스트하는 시점

통계적으로 유의미한 결과를 얻으려면 충분한 모수가 있어야 한다. Coinbase 초기부터 상장까지 함께한 데이터 사이언티스트 분께서 Weekly active user가 1만명 넘어가는 시점부터는 A/B 테스트를 활용해 보면 좋겠다고 하셨다. 또한 Uber에서 데이터 사이언티스트 분께서 결과에서 큰 차이가 있다면 (5%~) 이 또한 유의미한 결과를 얻을 수 있을 것이라 조언해 주셨다. (baseline이 어디서 시작하는지도 매우 중요)

6) 미국의 문화

실질적으로 미국 안에는 너무 다양한 사람들이 있기 때문에 미국을 하나의 문화로 이해하는 것부터 오류가 있다. 샌프란시스코의 특이한 문화로는 (1) 건강 지식에 반응하는 lifehacking을 좋아하는 사람들이 많다 (2) 요즘 생성 AI에 미쳐있다 (3) 운동을 정말 좋아한다. 미식축구/농구/야구 everything. (4) 멘탈 헬스케어, 요가, 명상에 많은 돈을 투자한다. 생활이 여유로워서 그럴 것이다. (5) 사는 지역, 하는 일에 따라 quality of life가 크게 차이 난다.

이번 주에도 여러 인사이트를 수집해서 공유해보겠다! 🌸

🐋 PMF를 달성했다니

올해 9월에 PMF 여정에서 찾은 NDS라는 매력적인 지표라는 글을 작성했다. 12월 중순인 오늘 우리는 PMF라 불리는 NDS 40%를 달성했다. 오늘 글에서는 우리 팀의 서비스 미라클나잇의 NDS가 26%에서 시작해 4개월 만에 40% 마지노선을 어떻게 돌파했는지 그 과정에 대해 이야기해 보려고 한다.

NDS가 생각보다 유명했다!

타입드라는 서비스가 10월에 P터지는 Mㅏ켓 Fit 찾아내기🔥라는 웨비나를 진행하셨다고 들었다. 많은 분들이 후기글을 올려주셔서 보았는데 놀랍게도 NDS 모델을 사용하여 PMF를 찾아가고 계시다고 했다. 또 최근에 모두싸인이라는 서비스를 사용하며 NDS 질문이 떠서 깜짝 놀랐다.

이전 글에서 NDS는 그리 유명하지 않은 지표라고 이야기했던 것 같은데 정정하고 싶다. PMF라는 개념이 보편화된 지금은 다양한 스타트업 씬에서 시도되고 있는 것 같다.

본격적으로 글에 들어가기 전에 우리 서비스를 간략하게 설명하자면 앱 미라클나잇은 수면 유도 소리를 재생해 뇌과학에 근거하여 수면을 도와주는 솔루션을 제공한다.

NDS 측정에 변화

이전 글과 달라진 점이 있다면 질문과 답변 내용을 조금 변경하였다는 것이다. 영어를 번역하는 과정에 속 뜻을 충분히 담지 못하고 직역했다는 내부/외부 평가를 반영하였다. 따라서 현재 제공하는 질문과 답변은 이렇다:

Q. 만약 미라클나잇을 더 이상 이용할 수 없게 된다면 어떤 기분이 들 것 같나요?

• 매우 아쉬울 것 같아요
• 아쉬울 것 같아요
• 별로 아쉽지 않을 것 같아요

이중 "매우 아쉬울 것 같아요" 비율을 열심히 트래킹 했다.

NDS를 누구나 이해하기 쉬운 단어로 풀어보면 "충성 고객의 비율"이라고 부를 수도 있을 것 같다. 여기서 충성 고객은 서비스에 의존도가 높은 고객으로 정의하면 좋겠다.

어떤 액션을 했는가?

지난 4개월간 어떤 노력을 해서 이러한 유의미한 성장의 결과가 나왔는지 공유하고 싶다. 정말 정말 정말 정말 다양하고 많은 시도를 하였지만 액션을 거시적으로 바라보면 크게 3개로 나눠볼 수 있을 것 같다.

1) 팀 단일화 및 동기부여

2) 충성 고객과 활성 고객에 대한 정성적인 이해

3) 각 고객 세그먼트를 타겟한 서비스 개선

1) 팀 단일화 및 동기부여

최근 하이큐라는 애니메이션을 봤다. 아마 아는 분들이라면 모두 다 들어봤을 법한 엄청 유명한 이 애니메이션은 고등학교 배구부의 성장 스토리를 담고 있다. 모든 주인공은 딱 한 가지 목표를 가지고 코트에 뛰어든다, 바로 "승리"이다. 이 시합을 이겨야 코트에 남아서 한 번이라도 더 시합을 뛸 수 있다. 조금 웃기긴 하지만 나는 이 성장 스토리가 스타트업의 것과 비슷하다고 생각했다. 결국 우리는 시장에서 작고 큰 선택을 받아야 사업의 수명이 길어진다.

그렇게 시합을 한 개라도 더 뛰기 위해 승리에 집착하는 모습에서 큰 매력을 느꼈다. 하나의 단일화된 목표를 통한 공통의식이 주는 팀워크가 엄청나게 강렬하다는 것을 깨달았다. 그래서 같은 효과를 볼 수 있을까하여 하나의 단일화된 목표 의식을 팀에 적용시켜봤다.

우선 우리가 다른 무엇(리텐션, 결제율, 매출)도 아닌 NDS라는 지표에 집중하고자 하는 이유를 분명히 하고 팀 모두가 각자의 역할에서 어떤 지표에 영향을 주기 위해 액션을 취하는지 명확히 해야 한다고 생각했다. 그렇게 나는 NDS 성과제(?)라는 것을 도입해 NDS가 1% 상승마다 모든 멤버에게 재화 보상을 드리겠다 선포했다. 결론적으로 말하면 성공적인 시도는 아니어서 11월 한 달만 진행했다.

하지만 이러한 노력으로 모든 팀원이 NDS라는 지표를 100% 이해하고 그 지표가 어떻게 변하는지, 특히 올라가는지, 집중해서 보게 되는 좋은 계기를 만들었다. 팀이 하나의 목표를 바라보는 이 부분만큼은 정말 만족스러웠다.

2) 충성 고객과 활성 고객에 대한 정성적인 이해

충성 고객의 비율을 높이기 위해선 우선 누가 우리의 충성 고객이고 누가 우리의 활성 고객인지 알아야 했다. 그리고 각각의 고객이 우리 서비스의 어떤 효용가치 때문에 해당 고객 군이 되었는지 그 원인을 파악해야 했다.

이를 위해 지금까지 누적된 약 200개 이상의 VoC 데이터를 분석했다. 여기서 NDS 점수 별로 고객 군을 나누고 각 고객 군의 특징을 파악하려 애썼다. 아래 리포트는 내부 공유용으로 내가 직접 작성한 분석 리포트이다. (VoC는 결제한 고객분들만 작성할 수 있기 때문에 NDS가 굉장히 높게 나왔지만 이때 실제 앱 전체 NDS는 약 30%대였다) (워딩 변경 전임으로 질문과 답변이 현재와 다르다)

파악해 보니 고객군별로 정말 큰 차이를 보였다. 충성 고객의 NPS는 무려 76점이었고, 가장 충성도가 낮은 고객 군은 12점이었다.

실질적인 서비스 효용가치에서도 다른 양상을 띄었다. 예를 들어 NDS에서 "매우 아쉬울 것 같아요"라고 답한 고객 군은 우리 앱의 가장 큰 효용가치를 빠른 수면 진입으로 언급했다. 따라서 가장 필요한 기능은 이러한 진입을 도울 수 있는 명상 콘텐츠라고 이야기 했다. 반대로 NDS에서 "별로 아쉽지 않아요"라고 답한 고객 군은 서비스 이용 후 수면에 큰 변화를 느끼지 못했다고 언급했다. 따라서 가장 필요한 기능은 이러한 변화를 조금 더 객관적으로 알려줄 수 있는 수면 분석 리포트라고 했다. 듣고 보니 어쩌면 너무 당연했지만 이렇게 명백한 차이가 있을 것이라고는 사실 생각지 못했다. 그렇기에 고객군별로 나눠서 분석해 보는 것을 강력 추천한다. 우리도, 고객 개개인도 몰랐던 것을 고객이 무리를 지으면 발견할 수 있다.

그렇게 각 고객 군 별로 더욱 잘 extensive한 인터뷰를 진행했다. 이때 샌드타임 서비스를 사용하여 고객분들과 인터뷰 일정을 조율했는데 정말 유용했다. (샌드타임 짱!)

3) 각 고객 세그먼트를 타겟한 서비스 개선

이러한 이해를 바탕으로 서비스를 발전시켜나갔다.

(a) 서비스 핵심 가치의 변화

우선 유입하는 고객부터 변화를 주었다. 랜딩페이지에서 서비스의 강점을 강조하여 카피라이팅을 전부 변경하였다. 이전엔 짧은 수면(왼쪽)을 강조하는 카피였는데, 실제 충성 고객의 듣고 빠른 수면 진입(오른쪽)으로 바꿨다. 그렇게 수면 진입에 맞춰 모든 카피와 디자인을 변경하여 업데이트했다. 또한, 서비스 UX Writing도 통일되게 바뀌었고 CX에도 이를 반영하였다.

(b) 신규 기능 개발

충성 고객이 느끼는 진입에 만족도를 높이고자 수면 가이드 콘텐츠를 본격적으로 개발하여 업데이트했다. 결과적으로 아주 탁월한 선택이었다. 충성 고객의 지표가 유의미하게 상승했기 때문이다.

수면 진입의 UX도 개선했다. 수면 진입 시 여러 단계가 있어 최소 1분 정도의 시간을 투자해야 했는데 이를 30초 이내의 과정으로 개선했다. 이 또한 지표에 유의미하게 반영되었다.

수면 SNS 기능도 추가했다. 충성 고객은 앱을 거의 매일 쓰는데, 이러한 사용성을 올리기 위해 미라클나잇을 사용하고 있는 다른 고객들을 노출함으로써 매일 앱에서 색다른 변화를 주고자 했다. 이 또한 지표에 큰 영향을 주었다. (DAU 최고치, 7~10주차 Retention 5% 내외로 상승 등 기특한 By-product가 많았다)

활성 고객을 충성 고객으로 전환하기 위해 이들이 가지고 있던 Pain 또한 해결하고자 했다. 애플워치를 연동하여 수면 분석 리포트를 제공하는 기능을 개발했다. 현재 애플워치 앱을 개발하고 있는데, 이 기능은 아직 테스트 중임으로 고객분들의 반응은 아직 수집하지 못했다. 하지만 고객 인터뷰에서 정말 핫한 반응을 받아서 유의미한 상승 또한 기대해 볼 수 있을 것이라 생각한다.

아름다운 우리의 결과

26.8%로 시작한 NDS는 4개월만에 40%를 돌파했다. 이는 Rahul Vohra에 따르면 미라클나잇은 PMF를 달성한 서비스이다.

그럼 정말 PMF를 달성했을까?

지난 4개월간 정말 최선을 다했다고 생각한다. 여러모로 NDS의 개선은 우리 팀이 서비스를 좋은 방향으로 이끌고 있다는 것을 알 수 있게 해줬다. NDS를 OMTM으로 설정하여 서비스를 개선했지만 나의 경험을 토대로 NDS와 PMF에 대해 작게나마 코멘트하자면 다음과 같다:

(1) 모든 비즈니스 지표의 목적지는 이론적인 접근일 뿐 절대적인 기준치가 될 수 없다.

Superhuman CEO에 따르면 우리 서비스는 PMF를 달성했다. 40%를 넘었으니까. 하지만 결론부터 말하자면 우리는 PMF는 달성하지 않았다. 성장은 우리를 죽이고 있지 않고, 돈이 엄청난 속도로 통장에 쌓이고 있지 않다.

사실 이러한 결과는 당연하다. 마이클 세이벨은 팟캐스트에서 이런 이야기를 했다: "Building a successful company is not a single variable problem." 즉, NDS라는 단일화된 변수만 풀어내는 것은 매우 나이브 한 접근이라는 것이다.

물론 자원이 극한으로 한정된 스타트업은 선택과 집중이 필요하다. 그렇기에 OMTM이라는 컨셉도 꼭 필요하다고 생각한다. 하지만 결국 서비스를 운영하며 부딪히는 모든 종류의 문제를 해결하고 그곳에 있는 모든 중요한 지표들을 개선해야 유의미한 결과를 갖을 수 있다.

(2) 서비스 지표들은 서로 연결되어 있지만 분리되어 있다.

이 부분이 바로 NDS라는 지표 하나로 PMF를 판단하기 어려운 이유다. NDS라는 지표는 Retention, Revenue 등과도 매우 밀접한 관련이 있지만 완전히 다른 형태의 결과를 보여주기도 한다.

NDS는 충성도 높은 고객의 비율을 보여주지만 그 고객이 얼마나 더 앱에 남는지, 결제하는지를 보장해 주지는 않는다. 하지만 충성도 높은 고객의 비율이 올라가면 당연히 다른 지표들에도 영향이 간다. 그렇듯 고객 개인이 서비스에게 좋은 감정을 갖는 것은 지표를 개선할 확률을 높여주지만 개개인의 환경이나 상태에 따라 별개의 지표가 될 수도 있다.

그렇기에 첫 번째 포인트의 마이클 세이벨의 이야기로 돌아가자면, 모든 지표는 중요하다. 현재 우리 서비스는 다행히도 개선의 여지가 너무 많다: 서비스 퍼널, 결제 전환, 매출, Retention 등. 그렇기에 그 다음 스텝에 맞는 새로운 OMTM을 설정하여 개선해나가려고 한다.

(3) 우리의 지표는 Leading Indicator인가 Lagging Indicator인가?

OMTM 설정에 대한 고민을 하다 최근 트랜스링크 김범수 부대표님을 만나 뵙고 들었던 가장 기억에 남는 조언 하나를 공유하고 싶다. 바로 액션을 세울 때 leading indicator로 보고 있는지였다. NDS 수치는 lagging indicator이다. 우리가 하는 액션들로 인한 나중의 결과 값이기 때문이다.

서비스를 좋은 방향으로 이끌어갈 수 있는 leading indicator는 무엇일까? 아직 우리 서비스에 딱 맞는 좋은 leading indicator를 찾지 못했지만 이를 찾게 된다면 우리의 OMTM을 이 leading 특성이 있는 지표로 바꿀 계획이다.

글을 마무리 짓는다. 이 글이 나에게 사랑했던 NDS와의 작별 그리고 PMF를 향한 새로운 여정의 발돋음이 되어주길 바란다. 🐋

🐋 1달 동안 8개 대학과 MOU 맺은 서비스 소개서

미라클나잇 서비스는 현재 대학생들을 타겟하고 있다. 유저 획득의 관점에서 어떻게 더 효율적으로 유저에게 우리를 알리고 접근할지 고민하다 대학교가 최적의 타겟 지점이라 판단했다. 따라서 현재 대학교 총학생회와의 제휴를 통해 학생들에게 서비스를 알리고 있다. 이러한 계기로 제휴를 위한 서비스 소개서를 처음 작성해 봤다. 콜드메일이나 제휴 제안도 처음 해보는데 생각보다 정말 많은 곳에서 관심을 주어 1달 안에 8개 대학과 MOU를 맺을 수 있었다. 오늘은 제휴 제안을 위한 서비스 소개서를 어떻게 구성하고 세부적으로 어떤 내용으로 채워 나갔는지를 공유해 보고자 한다.

1) 인트로

우선 인트로는 짧고 명료해야 한다. 우리 서비스의 미션과 핵심 가치를 명확하게 전달한다. 여기서 가치는 철저하게 "유저"의 관점에서 이뤄져야 한다. 미라클나잇을 예시로 들면 운영단에서 제공하는 가치는 "모노럴비트를 통한 수면의 질 개선"이고, 유저단에서 느끼는 가치는 "내일의 컨디션이 달라지는 새로운 경험"이다. 이렇게 유저의 관점을 파악하고 이를 전달해 줄 수 있는 핵심 가치를 초반에 강조해야 한다.

2) 문제와 해결

우리 서비스는 어떤 문제를 어떤 솔루션으로 푸는지 설명한다. 최소 1개에서 최대 5개의 문제를 우리의 서비스가 어떻게 해결하는지 서술한다. 각 문제와 솔루션에 대해 나는 4가지 부분으로 나누어 구성했다.

1. 솔루션 요약: 우리의 솔루션이 무엇인지 간결하게 요약해서 본 문단을 요약해 주었다. 그래픽과 요약문만 보더라도 본 문제가 어떤 솔루션을 제시하고 있는지 독자는 이해해야 한다. 미라클나잇은 이 부분에서 "짧더라도 확실하게 자는 기적"이라고 작성했다.
2. 문제 정의: 유저가 겪고 있는 문제가 무엇인지 알려줘야 한다. 여기서 제휴 담당자가 읽고 공감할 수 있는 문제를 상황에 빗대어 설명하는 것이 좋은 것 같다. 또한 언급된 문제에 대해 생각해 볼 수 있는 질문을 던지는 것이 좋은 것 같다. 미라클나잇은 이 부분에서 "수업, 팀플, 과제, 동아리, 그리고 또 공부... 바쁜 하루를 보내다 보면 어느새 새벽이 도래합니다. 충분히 수면하지 못하고 내일 아침을 맞이할 생각에 벌써 걱정이 앞서나요?"라고 작성했다.
3. 솔루션 제시: 정의한 문제를 가장 잘 풀 수 있는 솔루션을 정의하여 제시한다. 여기서는 유저단이 아닌 운영단 측의 가치를 언급해도 좋은 것 같다. (그게 전문성이 높아 보일 수 있다고 생각한다) 미라클나잇은 이 부분에서 "4시간 반을 자더라도 7시간 수면의 효과를 볼 수 있는 고농축 슬립샷"이라고 작성했다.
4. 세부 가치: 솔루션이 유저에게 줄 수 있는 가치에 대해 이야기 한다. 여기서 이 가치는 앞서 1)에서 언급한 핵심 가치를 이루고 있는 하나의 세부적인 가치를 뜻한다. 여기서는 유저의 관점에서 짧고 명확해야 한다. 미라클나잇은 이 부분에서 "미라클나잇은 여러분에게 개운한 아침의 컨디션을 보장합니다"라고 작성했다.

3) 사용 현황

우리의 서비스가 엄청난 사랑을 받고 있다고 마구 자랑해야 한다. 나의 논리는 다음과 같다. 소비자 행동론의 관점에서 개인 스스로의 의사 판단 과정은 복잡하고 오래 걸린다. 따라서 현대 소비자는 타인의 결정과 판단 의사를 중요한 판단 기준으로 본다. 이를 뒷받침하는 근거로 실제 가장 전환율과 Stickness가 높은 마케팅은 "입소문"이다. 따라서 이러한 많은 타인들의 의사결정을 통과한 프로덕트라는 것은 굉장히 큰 장점이자 매력 포인트가 될 수 있다. 나는 이 부분을 2가지 부분으로 나누어 구성했다.

1. 주관 데이터: 실제 로열 고객층의 긍정 리뷰 데이터를 통해 이에 대한 신뢰도와 공감을 이끌어낸다.
2. 객관 데이터: 숫자와 통계로 우리 서비스가 많은 사람들의 선택을 받았다는 것을 강조한다.

4) 기능 소개

서비스 핵심 기능을 분리하여 각 기능에 대한 그래픽과 설명글을 작성한다. 이때 기능들로만 구성하면 그 연결점을 찾기 어려울 수 있다. 그렇기에 유저 플로우를 실제 유저가 경험하는 단계들로 잘 구성하여 자연스러운 "스토리"가 형성되어야 한다. 미라클나잇은 이 부분에서 수면에 진입하는 단계들을 순차적으로 나열하여 수면에 진입하는 과정을 함께 경험해 보는 느낌을 주려고 했다.

5) 회사 소개

이제 서비스를 만들고 있는 우리에 대해 소개한다. 우리가 얼마나 이 문제를 잘 풀 수 있는 역량을 갖추고 있는 팀인지 마음껏 자랑하면 된다. 전문성과 신뢰도를 높일 수 있는 중요한 부분이기에 팀의 경력, 회사 규모(우리는 아직 작지만..), 투자 이력, 언론에서의 보도나 수상 경력 등을 보여주면 좋다.

6) 비즈니스 협업 제안

이 부분이 가장 중요하다. 결국 이렇게 열심히 설명한 우리 서비스와 무엇을, 어떻게, 왜 협업해야 하는지 설명하는 곳이다. 나는 이 부분을 총 4가지로 구성했다.

1. 무엇을: 우리가 무엇을 위해 제휴하는지 한 줄로 작성했다.
2. 왜: 많은 기업들과의 제휴 속에서 왜 우리 서비스를 선택해야 하는지 그 이유에 대해 설명했다. Winning case를 하나 만들어 본 제휴의 기대효과를 잘 보여주는 것이 중요하다.
3. 혜택: 제휴 시 세부적으로 어떤 혜택을 누릴 수 있는지 작성했다.
4. 프로세스: 제휴를 진행하게 되면 어떤 과정이 있는지 설명했다.

여기서 나만의 팁이 있다면, 제안하고 싶은 업체/기관에 대해 밀도 있게 조사해서 이 부분에서 녹여내는 것이 좋다. 예를 들어, 특정 학교에서 피트니스 업체와 제휴를 맺은 것을 확인하였을 때 "왜" 부분에서 피트니스 업체와의 제휴 그 이상의 가치를 어떻게 낼 수 있는지에 대해 서술했다. 나중에 담당자분께서 이 부분이 인상 깊었다고 언급해주셨다. 이런 식으로 제휴 담당자가 우리의 노력과 관심을 이해할 수 있는 정도의 준비는 하는 것은 백번 좋다.

일면식 없는 사람에게 우리 서비스를 소개하고 제휴라는 협업을 이뤄내는 데에는 큰 노력이 필요하다. 하지만 모든 것은 결국 사람이 하는 것이기에 결국 화려한 기술보다 사람의 마음을 울릴 수 있는 진심이 필요하다고 생각한다. 이러한 진심을 전달하기 위해 상대방을 이해하기 위한 밀도 있는 공부와 정성을 다한 서비스 소개서가 그 첫걸음이 아닐까 생각한다.

🐋 팀의 성장을 이끄는 회고 방법

스타트업에서의 1달은 마치 1년과도 같다는 생각이 든다. 1달이란 짧은 시간 동안 밀도 있는 성장은 새로운 문제를 푸는 방식, 소통하는 방법, 서비스를 발전시키는 통찰력 등에서 새로운 내가 된 것 처럼 달라지게 한다. 때문에 나는 "회고"가 중요하다는 것을 반년 전에 깨달았다. 눈에 보이는 성장 뿐만 아니라 보이지 않던 성장을 일깨워줌과 동시에 우리 팀의 성장을 저지하는 작고 큰 요소들을 가시적으로 확인할 수 있다. 오늘은 매달 마지막 날 우리 팀이 진행하는 회고 방법론에 대해 공유하고자 한다.

1) 성공 이벤트 공유

우선 우리 팀은 이번 한 달 동안 우리 팀을 성장으로 이끈 성공 이벤트를 시간 순으로 나열하여 공유한다. 준비는 대표인 내가 한다. 여기서 내가 집중하는 2가지 포인트가 있다. 1) 각 팀원의 업적을 존중해줘야 한다,와 2) 팀 전체의 방향이 옳은 방향으로, 빠르게 나아가고 있다는 것을 보여줘야 한다, 이다. 여기서 1)은 성공이라는 프레임에서 벗어나 그 팀원의 노력을 우리 모두가 인지하고 있고, 또 이를 통해 그가 성장했다는 것을 알려주는 것이다. 2)는 우리의 작고 큰 성공들을 확인하는 것에 집중한다.

우리가 8월에 진행한 성공 이벤트 공유 PPT 일부이다 (유쾌하게 하는 것을 좋아하여... 웃긴 사진이 많다):

이벤트 공유 이후에 한 명씩 돌아가며 이번 달 각자 느낀 점을 공유한다. 이때 우리는 3가지 질문에 대한 답변을 10가지로 준비해서 가져온다.

2) Keep (지속할 것)

좋았던 점을 기반으로 앞으로 프로젝트를 진행할 때 계속 유지해야 할 사항들을 작성한다. "잘한 부분에는 칭찬과 박수 마구마구 보내주기, 잊지 마세요!" 라는 문구를 위에 적어둔다. 말 그대로, 우리가 계속 Keep 해야 하는 부분에 대해 고민하고 공유하는 시간이다. 잘하고 있는 우리의 태도나 액션은 무엇인지 고민하는 시간이다. 다음은 내가 8월에 작성한 Keep이다:

3) Problem (해결할 것)

아쉬웠던 점을 기반으로 앞으로 프로젝트를 진행할 때 개선되어야 할 사항들을 작성한다. 이때 각 사건이나 이벤트에 집중하는 것이 아니라 "과정"을 나누는 것을 강조하고 있다. 나에 대한 아쉬움일수도 있고, 팀에 대한 아쉬움일수도 있고, 특정한 팀원에 대한 아쉬움일수도 있다. 여기서 중요한 것은 명확한 문제 정의과 나의 생각 공유이다. 왜 이것이 문제인지 논리적으로 설명 가능하다면 높은 확률로 그 문제는 반쯤 해결했다고 생각한다. 따라서 이 부분을 나는 자주 강조한다. 다음은 우리 팀원 중 한 분이 8월에 작성한 Problem이다:

4) Try (시도할 것)

앞서 이야기한 해결의 문제들의 원인을 파악하여 앞으로 시도해볼 만한 사항을 작성한다. 회구 이후 "액션 아이템"을 구체화하는 것이 중요한 포인트이다. 앞에서 이야기한 두 가지는 현황을 설명하는 것이라면, Try에서는 이러한 현황을 토대로 무엇을 해야 하는지를 이야기하는 구간이다. 개인적으로 이 부분이 가장 중요한 부분이라고 생각하는데, 내가 대표로 현재 맡고 있는 Product Managing 역할이나 Team Managing 역할에서 변화가 일어나는 것들은 대부분 여기서 힌트를 얻어 추진하게 된다. 다음은 우리 팀원 중 한 분이 8월에 작성한 Try이다:

이렇게 모든 팀원들의 발표를 끝으로 회고를 마친다.

5) 회고 정리와 변화

이제 팀장의 역할만 남았다. 진행한 회고에서 반복적으로 나온 포인트를 정리하여 공유한다. 더 중요한 것은 이렇게 정리한 포인트를 실제 액션으로 팀에 변화를 주는 것이다. 실제 우리 팀은 운영 방식을 거의 5번 정도 바꿨다. 각자 하루 Todo를 매일 작성하는 시기도 있었고, Timeline으로만 공유하는 시기도 있었다. 지금은 일정이 명확 했으면 좋겠다는 회고 피드백을 토대로 시작과 끝 날짜를 명확하게 잡아서 1달 일정을 공유하고 있다.

이렇게 우리 팀에서 매달 말에 진행하는 회고 프로세스에 대해 공유해봤다. 회고를 통해 우리가 잘하고 있는 부분, 부족한 부분을 캐치하고 보완해나가며 성장하는 것을 피부로 느끼고 있다. 회고는 성장의 상태를 확인할 수 있는 가장 좋은 방법이자 또 성장을 해나갈 수 있는 가장 단단한 버팀목이 된다. 이런 팀 회고를 준비하고 진행할 메이커 분들에게 나의 사소한 팁 3가지를 남겨본다.

1. 결과보단 과정이다. 너무 당연한 말이지만, 스타트업에겐 정말 중요한 마인드인 것 같다. 결과는 우리가 예측할 수 없다. 좋은 수도, 나쁠 수도 있다. 하지만 그 과정을 통해 learning이 있었다면 그 자체로 성공 이벤트라고 생각한다. 이러한 과정을 존중하는 조직 문화는 곧 성공적인 결과를 만들어내는 가장 큰 밑거름이 될 것이다.
2. 실행해야 바뀐다. 아무리 좋은 회고를 해도 결국 아무것도 바뀌지 않으면 회고를 임하는 팀원들도 그 시간이 의미없음을 인지하게 된다. 회고를 통해 계속 바꾸고, 시도하고 변화해야 회고의 의미가 생긴다. Try에서 반복적으로 나온 액션들은 바로 해보자. 결과와 상관없이 이러한 노력은 결국 팀을 바꾼다.
3. 결국, 성장이다. 스타트업은 결국 성장이다. 나는 성장하지 않는 서비스나 팀은 "스타트업"이라고 부르기 어렵다고 생각한다. 팀에서 행해지는 모든 액션들의 결과는 결국 성장을 이뤄내야만 한다. 따라서 팀, 나아가 개인이 얼마나 성장했는지가 중요하다. 작더라도 계속 앞으로 나아가야 한다. 그렇기에 회고가 중요하다. 돌아봐야 하고, 이를 토대로 성장해야 한다.

우리는 성장해야 하기 때문에 지속적으로 회고해야 한다. 오늘 공유한 회고 프로세스가 도움이 되었길 바라며 디스콰이엇에 있는 모든 메이커분들도 궁극적으로 성장하는 팀을 만들어나가길 바란다! ☺️

🐋 리텐션이 웃다니

우리 팀은 오늘 이론적으로만 존재하는 줄 알았던 스마일 리텐션을 목격했다. (탈춤을 췄다)

사실 Retention이라는 지표를 목적으로 스프린트를 진행하지 않아 상당히 의아한 결과라고 생각한다. 하지만 우리의 프로덕트를 사용하는 고객이 평생 우리와 함께 한다면 우리의 프로덕트는 아마 누군가의 삶의 한 부분이 될 정도로 큰 영향력을 가질 것이다. 오늘은 우리 팀의 어떤 액션이 Retention에 어떠한 변화를 주었는지에 대해 기록해보고자 한다.

본격적으로 Retention에 대한 이야기를 하기 전에 우리 프로덕트가 어떤 단계이고, 어떤 형태인지 간략하게 소개하겠다. 미라클나잇 서비스는 MVP 테스트 성공 이후 PMF를 찾아가는 단계의 프로덕트이고, 개인에게 가장 잘 맞는 수면 유도 파동을 믹스하여 제공한다.

리텐션을 어떻게 이해할까

디스콰이엇에 계신 프로덕트 메이커분들이시라면 리텐션에 대한 이해도가 높을 것이라고 생각한다. 기본적인 이야기는 뒤로 하고 우리 팀이 보는 리텐션의 가장 큰 특징은 2개로 나눌 수 있다.

1. 우리 프로덕트는 고객이 얼마나 자주 돌아와야 할까? 만약 우리의 프로덕트가 매일 쓰는 것을 목표로 하거나 실제 고객 행동양식에서 그러한 힌트가 보인다면 Daily로 리텐션을 보는 것이 맞다. 만약 우리의 프로덕트가 6개월의 한 번 사용하는 프로덕트라면 6개월 단위로 리텐션을 봐야 한다. 문제는 처음 프로덕트를 세상에 선보이면 그 주기를 바로 파악하는 것은 어렵다. 우리 팀의 경우 4주 정도 지켜본 결과 유저가 1주일에 앱으로 돌아오는 평균 횟수가 3회임을 파악했다. 이에 따라 Daily 리텐션이 아닌 Weekly 리텐션으로 기준이 바꾸었다.
2. 우리는 어떤 논리로 리텐션을 계산해야 할까? 리텐션을 계산하는 방법은 여러 가지이다. 흔히 사용하는 계산법은 (a) N-day 리텐션과 (b) Unbounded 리텐션이다. (a)의 경우 첫 방문 이후 특정 날짜에 재방문한 유저의 비율을 보여준다. (특정한 날짜에 계속 컴백해야 하기 때문에 굉장히 strict하다고 보면 된다) (b)의 경우 특정 날짜를 포함한 이후 재방문 유저의 비율을 보여준다. (쉽게 말해 1-이탈률로 보면 된다). 프로덕트의 형태에 따라 어떠한 계산 방법을 써야 하는지 달라진다. 매일 사용하는 프로덕트는 (a)를 활용하는 것이 맞지만, 세탁 서비스와 같이 고객들이 매일 서비스를 사용하지 않는 경우는 특정 날짜에 재방문했는지 보다 사용 주기 안에서 재방문했는지(이탈하지 않았는지) 확인하는 (b)를 활용하는 것이 좋다. 우리 팀의 경우 우리가 정의한 주기 안에서 반복적으로 사용할 수 있는 앱이기에 N-day 리텐션을 확인한다.

리텐션이 어떻게 전개되는가

리텐션의 커브는 우리가 플레이하고 있는 산업과 프로덕트의 케이스에 맞게 크게 3가지로 나뉜다.

1. Declining Curves. 프로덕트가 PMF를 찾기 못했을 경우 리텐션 커브는 계속 떨어져 결국 0에 수렴한다. 이럴 땐 리텐션의 커브를 바꾸는 전략 보다는 시장이 원하는 형태로 프로덕트를 피팅시키는 전략과 액션이 필요하다.
2. Flattening Curves. 유저가 우리의 프로덕트에서 가치를 찾는다면 그들은 프로덕트에 머물게 된다. 이 비율이 20%로 유지된다면 PMF를 찾았을 확률이 높다. 이때는 플랫한 리텐션을 어떻게 상향 조정하는지에 전략을 집중해야 한다.
3. Smiling Curves. 프로덕트가 좋은 방향으로 개선되고 잃어버린 고객이 프로덕트로 돌아온다면 우리는 스마일 형태의 리텐션을 기대해볼 수 있다. 실제 사례를 찾기 쉽지 않아서 옛날 예시를 가져오자면 Evernote의 스마일 그래프가 있다. Evernote는 3년이라는 Timeline 안에서 Monthly Retention을 꾸준히 상승시켰다.

우리 서비스가 웃다니

우리 프로덕트도 오늘 스마일 리텐션을 확인했다. 아래는 결제 유저의 7주차 리텐션이다. N-day Retention 계산법에 Weekly Basis로 확인했다. Week 5에 가장 낮은 리텐션으로 48.6%를 찍고 6과 7에서 올라간다.

더 비싼 상품을 결제한 유저는 리텐션이 더 높다. (대체 이게 말이 되는 수치인가) Week 5에서 59.0%을 찍고 6과 7에서 올라가 Week 7에선 73.1%를 찍는다.

우리 프로덕트는 처음부터 이렇게 좋은 리텐션을 보이지 않았다. Flat한 리텐션을 보였는데, NDS를 개선하는 스프린트를 진행하며 Retention은 자동으로 따라왔다. 우리 프로덕트의 리텐션이 유의미하게 성장한 스프린트는 2개로 추릴 수 있다.

1) 푸시 알림 도입

처음 푸시 알림을 도입할 때에는 Retention을 높인다는 관점보다는 우리에게 매우 만족하는 고객분들은 충분히 사용해보는 기간을 가진다는 것을 더욱 활성화하기 위해 접근했다.

데이터를 기반으로 도입하였다. 우리 유저는 몇시에 우리 앱을 가장 많이 사용하는지를 우선적으로 분석하여 푸시 알람의 시간을 오후 11시로 설정하였다.

개발의 과정이 힘들었다. 개발자분들이 1주일만에 푸시 알림을 개발하시느라 정말 정말 많이 고생하셨다. 8월 회고 때 그때의 과정을 생각하며 웃었던 순간이 생각난다. 다음 사진은 회고 때 공유한 눈물나던 개발 과정이다. (참고로 빼쥬님은 무니스 팀의 천재 iOS 개발자시다)

그렇게 푸시 알림이 세상에 나왔을 때 Retention이 쭉쭉 올랐다. Flat했던 지점들이 계속 상향 조정되었다. 푸시 알림은 리텐션을 높일 수 있는 어쩌면 너무 당연한 기능이었어서 그런지 다른 기능보다 비교적 쉽고 명확히 반영되었다. 혹시 아직 푸시 알림을 사용하고 있지 않는 팀이 있다면 정말 적극 추천한다.

2) 콘텐츠 추가

앱 내에 콘텐츠를 추가했다. 우리의 과학적 배경에 대해 설명하고, 수면 아티클 등 기본 기능 외에도 열람할 수 있는 콘텐츠를 추가했다. 또한 기본 기능을 더욱 빛낼 수 있는 명상 기능을 추가했을 때 최고 일일 매출을 찍으며 리텐션 또한 유의미하게 올랐다.

콘텐츠를 추가함에 따라 우선 가장 높은 상관관계를 보이며 올랐던 지표는 앱 사용 시간이었다. 그 이후로는 자연스레 리텐션이 따라왔다.

글을 마무리하며

우리는 모두 다른 문제를 풀고 있고, 다른 형태의 솔루션으로 각기 다른 시장에 태핑하기에 어떤 것도 정답이 될 수 없다. 하지만 고객에게 선택 받고, 사랑 받고 또 평생 함께 하는 것은 우리 모두의 궁극적 목표일 것이다. 이번에 리텐션에 대한 글을 작성하며 쉽게 간과해서는 안되는 몇 가지 포인트를 정리해봤다.

1. 0*100은 0이다. 최근 정창경 인싸토크에서 들었던 선배 창업가의 말씀이다. 우리는 0에 그 어떤 개선이나 노력을 해도 그것을 100으로 만들 수 없다. 우리는 여러 전략을 가지고 리텐션을 높일 수는 있지만, 리텐션을 높이는 전략은 0을 1로 만들고나서의 단계인 것 같다. 순서는 1) PMF를 찾고, 2) 리텐션을 개선해나가는 것이다.
2. 리텐션을 제대로 계산해야 한다. 앞서 언급한대로 우리의 프로덕트를 고객분들이 어떻게 사용하는지 면밀히 살피고 그에 맞게 계산하고 있어야 한다. 우리 팀은 첫 한 달 동안은 Daily 리텐션을 확인하다 유저의 이용 주기를 확인하고 우리에게 맞는 Weekly로 변경했다. 충분히 유저의 행동양식을 지켜보고 그에 맞게 우리가 보는 방법을 확립해야 한다.
3. 결국 중요한 것은 고객이다. 리텐션을 높이기 위해 할 수 있는 것은 많다. 하지만 리텐션은 수치일뿐이다. 우리의 리텐션이 "건강"한지는 그 안을 이루고 있는 고객들을 정성적으로 바라봐야 알 수 있다. 그저 푸시 알림을 날리며 무의미한 유저의 유입을 만드는 것이 아닌, 우리를 사랑하고 우리에게 가치를 느끼는 유저들이 돌아올 수 있는 넛지를 선사하는 것이 우리가 취해야 하는 자세가 아닐까 생각해본다.

🐋 4시간으로 끝내는 스프린트 기획

PMF를 찾거나 특정 지표를 개선하는데 "스프린트"의 개념이 많이 적용되고 있다. 스프린트는 반복적인 개발 주기로 이터레이트(iterate)하며, 정해진 기간동안 팀원들은 단거리 전력질주(sprint)하듯 자신이 맡은 업무를 수행하는 것을 뜻한다. 오늘 글에서는 스프린트에서 기획을 효율적으로 진행할 수 있는 기획 프로세스에 대해 이야기해보고자 한다.

도움 받은 자료들

우선 우리는 더벤처스 스프린트에서 엄청난 도움을 받았다. 이 프로덕트를 만든 @이한길 심사역님은 천재시다. 아이디어를 빠르게 검증해볼 수 있는 좋은 시스템을 구축해주셔서 이를 기반으로 우리의 것을 직접 만들 수 있었다.

그리고 유명한 PMF 맛집 YC에서 다양한 리소스를 참고하였다. 우선 David Rusenko의 How To Find Product Market Fit에서 iteration의 큰 그림과 각 단계별로 유의해야 할 점을 상세하게 확인해볼 수 있다. 그리고 Michael Seibel의 Building Product에서 PMF를 찾기까지의 과정과 우리가 가져야 하는 마인드셋에 대해 자세하게 이야기해준다.

0단계: BASICS

기획을 진행하기 전에 다음 세 가지를 팀원들과 공유하고 기억해야 한다.

1. 서비스 장기 목표
2. 서비스 타겟군
3. OMTM

기획의 목적은 단기적으로는 OMTM을 개선하기 위함이고, 중장기적으로는 장기 목표를 달성하고자 함이다. 또한 이 모든 개선과 목표 달성의 배경에는 우리를 필요로 하는 서비스 타겟군이 있다. 이 타겟군을 위한 기획을 해야 한다. 따라서 이 세 가지는 항상, 꼭 기억하고 기획 진행 시 지속적으로 확인할 필요가 있다.

우리 팀의 것을 예시로 보이자면 미라클나잇의 서비스 장기 목표는 "세계 최고 수준의 수면 경험을 제공한다"이고, 타겟군은 "고효율 수면에 높은 관심이 있는 갓생러들"이고 OMTM은 "NDS"라는 만족도 조사 지표이다.

1단계: 데이터 공유

30분 소요

우선 지금까지 누적된 데이터의 상태를 본다. 우리가 설정한 KPI들이 성장/유지/하락하고 있는지 확인하고, 놓치고 있었던 유의미한 인사이트들을 공유한다. 이전에 진행한 User Test/Interview에서 참고하여 분석된 정성 데이터도 함께 확인한다. 여기서 포인트는 우리 서비스의 현황을 최대한 객관적으로 파악해야 한다는 것이다.

2단계: How Might We 작업

30분 소요

우선 현재 서비스에서 문제가 되는 부분을 정의하거나 추가적으로 핵심적으로 제공하고 싶은 가치에 대해 작성한다. 그리고 작성한 내용을 "어떻게 하면 ~할 수 있을까"로 변형한다.

여기서 나는 처음 들었던 의문이 말만 바꾸는 작업인데 왜 굳이 이런 형태로 바꿔야 하는가?였다. 하지만 이 과정이 중요한 이유는 문제를 전환하여 기회와 솔루션이 될 수 있는 인사이트가 도출된다는 것이다. 또한 팀원들이 각자 다른 부분에서 문제를 정의할 수 있지만 그 문제를 기회로 만드는 과정에서 대다수가 Overlap 될 수 있다. 따라서 새로운 시각에서 문제를 볼 수 있다는 점에서 꼭 거쳐야 하는 단계라고 생각한다.

예시) 문제: "사용자가 수면 후 결과페이지를 확인해야 어제 수면에 대한 긍정 경험을 체감할 수 있지만 사용자 중 일부는 아침에 비몽사몽해서 결과페이지를 확인하지 못한다". HWM: "어떻게 하면 아침에 비몽사몽하는 사용자가 결과 페이지를 확인하도록 할 수 있을까?"

여기서 한 가지 중요한 포인트를 집어보자면, 팀원들과 함께 작성하지 말고 꼭 따로 작성한 후에 공유하는 것을 추천한다. 서비스가 아직 초기단계라면 사실 비슷한 문제들에 대해 언급할 가능성이 높다. 하지만 각자 선택하는 단어들이나 바라보는 시야에 차이가 분명 존재하기에 그러한 모든 의견을 객관적으로 보기 위해 독립적으로 작성하는 것이 좋다.

아래는 우리 팀이 7차 스프린트에서 작성한 How Might We 테이블이다.

3단계: 주제 분류 및 투표

30분 소요

How Might We 문장들을 가지고 FigZam 포스팃에 나열한다. 그리고 같은 내용의 HMW는 하나로 묶는다. 그렇게 중복을 제외한 문장들을 나열한 후 큰 주제에 따라 분류한다. (플랫폼이 꼭 FigZam일 필요는 없지만 개인적으로 이 단계를 수행하기 가장 Interactive한 온라인 플랫폼이라고 생각한다)

그리고 대망의 투표 시간을 가진다. 각 사람은 투표권 2개를 가지고 본인이 생각하는 가장 유망하다고 생각하는 질문에 투표한다. 아래는 우리 팀이 7차 스프린트에서 진행한 투표 내용이다.

가장 많은 투표를 받은 메모가 우선순위가 높은 기회이다. 가장 투표를 많이 받은 메모 3가지를 나열하고 최종 결정권자가 이번 스프린트의 주제를 정한다.

4단계: 가설 수립

10분 소요

선정된 주제를 기반으로 검증하고자 하는 가설을 수립한다. 이때 가설은 최대한 상세할수록 좋다. 우리가 세웠던 가설을 예시로 공유해보자면 "유저들이 수면한 데이터를 다시 열람할 수 있게 하면 NDS 만족도가 올라갈 것이다"였다.

5단계: 성공 지표 정의

10분 소요

위에서 수립한 가설을 확인하기 위해 얼마의 모수가 어느 기간 안에 OMTM의 수치가 어디까지 올라가면 성공인지도 명확하게 작성하는 것이 좋다. 예시로 우리 팀의 7차 스프린트 성공 지표는 1000명이 2주 동안 들어와서 NDS 수치가 그 전보다 3% 올라가면 성공이였다.

그리고 한 번 정한 가설과 테스트 방식은 바꾸지 않는 것이 좋다. 최대한 Harsh하게 Condition을 만들고 최악의 상황에서 가설을 테스트하는 것을 추천한다. 그렇지 않으면 애매한 성공이나 실패가 계속 반복된다. 명확한 성공과 실패는 얼마나 높은 기준으로 가설을 테스트하는지에 따라 대부분 결정된다고 생각한다.

6단계: 레퍼런스 조사 및 공유

30분 소요

우리가 정한 가설을 테스트하기 위해 도움이 될만한 다른 제품/서비스를 빠르게 검색해보면서 레퍼런스들을 조사해본다. 우리는 각자의 공간에서, 따로 레퍼런스를 찾는다. 여기서 우리들의 한 가지 포인트는 바로 동종 산업의 서비스보다 아예 다른 영역의 서비스를 많이 본다는 것이다. 동종 산업의 서비스는 대체적으로 비슷한 맥락과 형태를 띄우는 경우가 많다. 그래서 새로운, 획기적인 아이디어는 이렇게 다른 곳에서 나오는 것 같다.

이렇게 조사한 레퍼런스를 공유하고 설명한다. 서비스를 소개하고 싶다면 정지된 화면에서 설명하는 것 보다 핸드폰으로 화면녹화를 해서 녹화 화면을 공유해주는 것이 이해에 빠르다. 추가로, 공유하다보면 말이 길어진다. 한 사람 당 말하는 시간을 타이머로 정해두고 하는 것을 추천한다.

7단계: 솔루션 스케치 및 공유

40분 소요

공유된 레퍼런스와 나의 아이디어를 토대로 솔루션을 빠르게 스케치해본다. 그림으로 그려서 만들고 돌아가면서 발표한다.

이 부분이 처음엔 디자이너분들의 영역인줄만 알았다. 하지만 개발자, 기획자 모두 각자의 생각대로 솔루션의 형태를 그리니 정말 다양한 결과들이 나왔다. 그림 실력은 중요하지 않다. 우리의 솔루션을 더 잘 전달할 수 있는 방법에 대해 열심히 표현해주면 된다. 아래는 우리 팀원이 스케치한 솔루션이다. (조금 많이 귀엽다)

모든 공유가 끝나면 정말 웃기게도 자연스레 어떤 솔루션이 채택되어야 하는지 모두 감이 잡힌다. 이 과정은 한 번도 의문이 생긴 적이 없어서 방법론이 없다. 다양한 형태의 솔루션을 보게 되면 각각에 대한 단점과 장점을 파악하게 된다. 최종 솔루션은 이러한 단점이 최소화되고 장점이 극대화되는 것으로 선택하면 된다.

여기서 몇 가지 인트를 강조하자면, 스프린트는 아무리 길어도 2주가 넘으면 안된다. 따라서 솔루션을 스케치할 때 이를 고려햐여 2주 안에 개발 가능한 정도로 조절하여 스케치해야 한다. 또한 모든 가설 검정은 MVP의 특성을 띄게 된다. 최소한의 노력으로 빠르게 프로덕트를 만들어 테스트해야 하기 때문에 속도를 고려한 스케치를 해야 한다. 뾰족한 MVP는 쉽고 빠르게 만들 수 있어야 한다.

솔루션이 끝나면 디자이너분께 전달하여 디자이너분께서 UX 플로우를 설계(솔루션이 어떤 시점에 나오면 좋을지)와 GUI 디자인 작업을 하게 된다.

이것은 조심하자

1. 결국 선택은 결정권자의 몫이다. 팀원들과 다양한 의견을 나누며 더 좋은 인사이트를 찾아갈 수는 있겠지만 그것이 서비스 단에 나오고 테스트를 하게 되면 결과에 대한 모든 책임은 결국 결정권자가 지게 된다. 결정권자가 그 책임을 충분히 질 수 있는, 그런 자신이 생기는 기획이라면 당연히 추진해야 한다. 하지만 그렇지 않다면 팀원들에게 그 상황에 대해 충분히 이야기하고 공유하는 것이 좋다. 그리고 그 결정도 그에 맞춰 내리는 것이 좋다.
2. 진행 방식이 마치 하나의 관례처럼 자리 잡으면 안된다. 이러한 기획 없이도 명확한 문제는 충분히 정의하고 도출할 수 있다. 중요한 것은 필요할 때 적절히 잘 사용하는 것이 중요하다. 우리 팀도 이 기획 프로세스를 사용하는 스프린트가 있고, 그렇지 않은 스프린트가 있다. 언제 필요한지, 그렇지 않은지 알려면 그만큼 스프린트를 진행해보는 수 밖에 없다. 많이 해봐야 그 정도를 결정내릴 수 있다.
3. 0단계에서 설명한 세 가지를 꼭 기억해야 한다. 우리가 기획한 솔루션이 서비스의 장기 목표를 달성하는 방향과 Align되어야 한다. VOC를 기반으로 기획을 하다보면 OMTM을 개선하는 단기적인 방향으로 치우칠 수 있다. 고객의 만족도는 단기적으로 높아질 수 있지만, 장기적으로는 잘못된 방향으로 갈 수 있다. 예를 들어, 앞서 언급한 듯 우리 팀은 세계 최고 수준의 수면 경험을 제공하는 것이 목적이다. 하지만 OMTM인 NDS 만족도를 높이기 위해 수면 경험을 오히려 해치는 기능들을 기획한 적이 있다. 그럼 결국 서비스는 정체성이 불분명해져 어떤 문제를 푸는 솔루션인지 고객들도 헷갈려할 것이다. 따라서 모든 기획은 장기 목표와 Align 되어야 한다.

기획 프로세스가 내부적으로 수립되지 않았을 시점에 일주일에 33시간 동안 회의만 한 적도 있었다. ICE Factor부터 시작해 우리가 흔히 아는 애자일/그로스해킹 척도들을 사용해가며 회의가 돌고 돌았다. 그래서 4시간 만에 끝낼 수 있는 기획 프로세스는 우리에게 엄청난 효율을 가져다 주었다. 우리 팀의 스프린트 기획 프로세스가 이 글을 읽는 메이커인 여러분에게도 큰 도움이 되었으면 좋겠다. 모두 빠른 테스트와 실행으로 유니콘이 되어 날아올랐으면 좋겠다.✈️

🐋 3번의 실패 끝에 성공한 MVP 테스트

우리 팀은 수면 문제를 해결하는 팀이다. 어떻게 하면 더 좋은 수면 솔루션으로 시장에 혁신을 가져올 것인지 고민했다. 오늘 글에서는 지난 1년간 우리 팀이 어떻게 실패했는지, 그리고 지금은 그 실패를 토대로 어떤 프로덕트를 고도화해나가고 있는지 이야기해보고자 한다.

첫 번째 시도: 건강한 수면 루틴

2021년 8월, 우리 팀의 첫 프로덕트가 세상에 나왔다. 7일 동안의 수면을 기록하면 리포트를 생성해주는 정말 간단한 앱이었지만 만드는데 2달은 걸렸던 것 같다. 그때는 MVP가 무엇인지도 명확히 몰랐고 어떻게 시장을 공략해야 하는지도 몰랐다. 정말 부끄럽지만, 나는 그때 Retention Rate가 뭔지도 몰랐다. 유저들은 우리 앱을 원하지도, 사용하지도 않았다. 딱 2번의 업데이트를 마지막으로 바로 접었다.

두 번째 시도: 수면 주치의

2021년 12월, 우리 팀의 두 번째 프로덕트가 세상에 나왔다. 시장에 나와 있는 수면 앱에서 좋았던 것들만 뽑아 All-in-one 수면 서비스를 만들었다. 역시 MVP의 개념을 제대로 이해하고 있지도 않았고(앱 화면만 거의 40장이 넘었다), 그저 완성도 있는 좋은 앱을 만들고 싶었던 것 같다. 부끄럽게도, 이 프로덕트를 예전 디스콰이엇에 올렸었다. 하하

이 프로덕트는 약 3개월을 투자했고, 사용하지도 못한 고가의 광고도 촬영했다. 열심히 고객을 찾아다녔고, 인터뷰도 진행하고 개선의 노력을 했지만 결국 유의미한 "반응"을 이끌어내지 못했다. 운영한지 2달만에 서비스를 접었다.

세 번째 시도: 상호작용 수면케어

이때부터 공부란 것을 해본 것 같다. 왜 우리가 하는 서비스는 족족 안될까? 무엇이 문제인지 알아내지 못하면 그냥 망할 것이 확실했다. MVP에 대한 글, Lean startup에 대한 책, PMF라는 컨셉을 이해하며 그동안 우리가 하던 것이 얼마나 웃긴 행보였는지 알게되었다. 다시 문제를 정의하고 다시 솔루션을 도출했다. 우리가 푸는 문제는 어떤 문제이고, 누가 그것을 겪고 있고, 그에 대해 어떤 솔루션이 필요한가?

그렇게 2022년 2월, 세 번째 프로덕트가 세상에 나왔다. 이 프로덕트는 사용자가 잘 때 실시간으로 수면 단계를 분류해 그에 맞게 소리를 재생하거나 멈춰주는 솔루션을 내세워 만들었다. 최대한 한 가지 기능만을 담아 테스트해보려고 했다. (그래도 욕심이 계속 생겨 결국 15개의 페이지를 만들었다) 개발은 3주 정도 걸렸다. 이전과 비교해서 아주 좋은 변화였지만, 여전히 오래 걸렸다.

하지만 세 번째 시도도 크게 실패했다. 가장 큰 원인은 바로 시장에 있었다. 처음부터 미국 시장을 목표로 프로덕트를 만들었다. 시장에 fit한 프로덕트를 만들었어야 했는데 시장을 제대로 태핑해보지도 못했다. CAC가 말도 안되게 높았고 애초에 테스트해줄 사람을 찾는 것이 하늘에서 별 따기 수준이었다. 우리는 빨리 테스트해서 PMF를 찾아야 하는데, 그 속도가 안 따라와줘서 답답했다. 그래서 (그렇게 하면 안됐지만) 소수의 고객의 의견만 듣고 앱을 고쳐나갔다.

하지만 아무리 개선해도 Retention이 올라가지 않았다. 이탈률이 너무 높아 그 이유를 찾아야 했지만 앞서 말한 문제로 사람을 찾는 것이 거의 불가능에 가까웠다. 그렇게 세 번의 큰 업데이트 끝에 결국 프로덕트를 접기로 했다.

사실 세 번째 프로덕트까지 이렇게 실패하면 다들 포기할 법도 한데, 오히려 다음엔 더 잘 될 것 같다는 희망이 앞섰다. 무엇을 잘못했는지 알면 당연히 다음엔 그 부분을 개선해서 나아가면 된다. 그래서 이 세 번째 프로덕트의 회고날이 아직도 기억난다. 웃음이 만연한 시간이었다. 이날 회고에 대해 다음에 기회가 생기면 더 상세히 공유하겠다. 8개월간의 실패 후 깨달은 우리의 모든 인사이트가 그곳에 담겨있다.

네 번째 시도: 짧은 고효율 수면

세 번째 프로덕트의 실패 후 우리는 MVP 테스트의 모든 프로세스를 정형화하여 앞으로 더 많은 시도와 실패를 해보는 것을 목표로 회사의 운영 방향을 바꿨다. 더 빨리, 그리고 더 많이 실패해야 했다.

수면 솔루션에 대해 여러 가지 아이데이션을 하던 어느 밤, 팀원들과 저녁 후 베스킨라빈스를 먹으며 유튜브에서 레브잇 대표님의 영상을 시청하였다. "욕망론"이라는 것을 설명해주셨는데, 그 이론이 시야를 완전히 넓혀줬다. 사람들이 무엇을 욕망하는지 보고, 그 욕망을 해소하여 우리에게 열광하게 하자.

현재 수면 시장에선 모든 프로덕트가 "푹 자, 충분히 자"라는 메세지를 보내고 있는데, 우리는 반대로 "Don't sleep", "Sleep Less"를 외쳐보자. 그것이 열광의 시작일 수 있다. 그리고 실제 그런 메세지를 던졌을 때 책임질 수 있는 프로덕트로 승부를 보자. 그것이 미라클나잇 서비스의 시작이었다.

총 8장의 화면만 있는 앱이었다. 4월 초의 첫 아이데이션 날 다음 날 모든 디자인이 끝났고, 4일만에 개발까지 끝났다. 거의 1주일 내로 앱 하나를 뚝딱- 완성하였다. 그리고 그 다음 3주는 어떻게 우리의 가설을 테스트할 것인지에 집중하였다.

고객: 밤을 자주 새고 자는 시간이 아까운 대학생

문제: 짧게 자고 일어나면 오전 내내 피곤하고 힘들다

가설: 우리의 타겟층은 짧은 고효율 수면에 수요가 있다

솔루션: 수면유도 효과가 있는 뇌파소리를 짧은 시간에 최적화하여 제공한다

우리의 테스트 성공 기준은 다음과 같았다: 1000명이 2주 동안 재결제율 5%를 넘기면 시장 검증 성공. 그렇게 하루만에 랜딩페이지를 개발하고 사전예약 페이지로 고객군을 모았다. 이때 큰 노력 없이 사전 예약자가 약 1300명 모이며 고객단에서의 엄청난 반응을 정말 처음 경험했다.

2022년 4월 30일, 미라클나잇을 런칭했고 우리는 1주일 만에 재결제율 18%라는 엄청난 지표를 확인했다. 사실 데이터를 보지 않더라도, 직감으로 이 앱이 우리가 지금까지 해오던 것들과 다른 반응을 보인다는 것을 알았다. 그렇게 우리가 세운 MVP 성공 기준을 통과하여 지금 약 4개월 동안 우리는 고객의 목소리를 토대로 미라클나잇을 고도화해나가고 있다.

MVP의 열쇠는 뾰족한 가설, 명확한 테스트 방법, 그리고 스피드에 있다. 내가 MVP 테스트를 통해 얻은 것이 크게 3가지로 수립되는 것 같다.

1. 빠른 포기. 3개월을 투자해 프로덕트를 빌딩하면 내 자식처럼 그 프로덕트가 좋고 애착이 간다. 하지만 아무도 원하지 않는 프로덕트는 세상에 어떠한 변화도 가져올 수 없다. 당연히, 돈도 벌 수 없다. 내가 실패했다는 것을 인지했다면 빠르게 포기해야 한다.
2. 방패 없는 전쟁. MVP 테스트 시 어떠한 방패도 내세우지 말아야 한다. 이 기능만 넣으면 완성될 것 같고, 이 페이지만 추가되면 조금 더 만족도가 올라갈 것 같다. 이러한 사소한 결정들은 모두 실패라는 두려움에서 기인한 결정이라고 나는 판단했다. 최대한, 아무도 쓰지 않을 것 처럼 만들길 추천한다. 그래도 사람들이 미친듯이 사용한다면 아마 이 MVP 테스트는 쉽게 통과할 수 있는 것이다.
3. 긍정의 힘. 우리는 계속 실패한다. 앞으로도 그럴 것이다. 문제는 실패를 긍정적으로 받아드려야 한다는 것이다. 실패하지 않으면 몰랐다. 빠르게 실패하는 것은 축복이다. 그 긍정의 면을 살려 계속 시도하고 계속 실패하자. 언젠가 그것들이 모두 쌓여 나에게 큰 보상으로 올 것을 나는 믿어 의심치 않는다.

물론, 미라클나잇은 프로덕트 고도화로 갈 수 있는 첫 관문인 MVP 테스트를 통과한 것 뿐이지, PMF를 검증한 것은 아니다. 마이클 세이벨의 경험에 따르면 실제 PMF를 찾는 비율은 2%도 안된다고 한다. 하지만 그렇기에 그 첫 관문이 빨라야 하고 뾰족해야 한다. 좋아하는 구절로 이 글을 마무리하고 싶다. 나는 실패한 것이 아니었다. 단지 성공하지 않는 10,000가지 방법을 발견했을 뿐이다. - 토마스 에디슨.

🐋 30분 안에 Google Form과 Slack 연동하기

우리 팀은 Google Form으로 VOC를 받고 있다. 새로운 VOC를 확인하려면 Google Drive에 들어가 응답을 눌러 최근 추가된 글을 읽어야 한다. 이렇게 읽는 글은 팀원들과 빠르게 공유되는 것이 어렵고, 가독성이 매우 떨어진다. 이러한 단순 반복의 일에 리소스가 최소한으로 투자되어 효율적으로 운영될 수 있게 하는 것이 나의 업무이다.

그래서 오늘 글에서는 팀 전체가 VOC를 더욱 쉽게 받아볼 수 있게 사용해본 Zapier라는 Low Code 툴을 소개하고자 한다.

삽질의 시간

처음부터 바로 Zapier를 만난 것은 아니다. 이것 저것 시도해보다 Retool이라는 서비스를 사용했었다. Retool은 개발자가 아니더라도 (코드를 몰라도) 이터널 서비스를 만들기에 아주 쉽고 적합한 서비스이다. 특히 Google Spreadsheet와 Slack을 연동시킬 수 있는 것이 아주 큰 장점이었다. 왼쪽 열에 있는 Slack이라는 버튼을 클릭하면 해당 Row에 대한 내용을 Slack에 보낼 수 있다.

하지만 수동으로 클릭해야 했다. 새로운 데이터가 추가됐을 때 자동으로 Slack에 전송해주는 기능은 아직 없었다. 있는 기능인데 내가 못 찾나 싶어 문의도 넣어봤는데 그때 왔던 답변은 없다는 것이었다.

그래서 매일 Retool에 접속해 새로운 VOC를 클릭해야 하는 번거로움이 있었다. 그리고 비용도 만만치 않았다. Retool은 admin에 등록된 계정의 수 만큼 charge를 한다.

그렇게 찾은 Zapier

Zapier는 새로운 데이터가 추가됐을 때 자동으로 Slack에 전송해준다는 엄청난 기능을 가지고 있었다. 망설임 없이 바로 도입하여 사용해봤는데, 이게 웬걸... 30분만에 세팅이 끝나는 아주 대단한 친구였다.

사용 방법을 간단히 설명해보면:

1. 새로운 Zap을 생성한다.
2. Trigger에 Google Form과 연동시킨다. 정말 간단하게 로그인 후 어떤 구글 폼인지 선택만 해주면 세팅은 끝난다. (웹훅 URL이 자동생성된다)
3. Action에 Slack과 연동시키고, Send Channel Message를 활성화한다. 어떤 채널에 보낼지 정하고, 메세지 내용은 어떻게 보일지 정하고, bot name 등을 커스터마이즈한다.
4. Test & Review를 통해 예시 Slack 메세지를 테스트해본다.
5. 오른쪽 상단 Publish를 클릭한다. 이게 끝이다. 이제 새로운 Google Form 응답이 들어오면 슬랙으로 자동 내용이 전송된다.

Zapier의 활용도

놀랍게도 Zapier는 그 외에도 정말 다양한 App과의 연동을 지원한다. 우리 서비스는 지금 Firebase를 기반으로 운영하고 있는데 Zapier에서 Firestore 연동도 지원해줘서 CS도 슬랙으로 받고 있다.

그 외에 Google Docs, Typeform, Mailchimp 등 5000개 정도의 App이 있으니 용도에 맞게 다각화하여 사용해보면 좋을 것 같다.

Zapier 도입 비용

Zapier를 도입할 때 가장 고민이 되는 부분이 아마 비용일 것이다.

Zapier는 Task단위 과금제를 채택하고 있다. 우리 팀은 지금 Free Plan을 사용하고 있는데 5개의 Free Zap 프로젝트를 사용할 수 있다. 1달에 최대 100개의 Task를 실행할 수 있다. (이번 달에는 벌써 55개를 채워서 아마 upgrade를 해야 할 듯 싶다) 사이트에 들어가면 각 plan의 quota와 기능 범위가 잘 설명되어 있다.

개인적으로, free plan으로 시작해보고 fit이 잘 맞고, 한 달 안에 그 횟수가 천 단위를 넘어가지 않는다면 Starter Plan으로 충분히 좋은 효율을 낼 수 있을 것이라고 본다.

최근 정주영경진대회에서 주최한 "인싸토크"에서 그로우엔베터를 만드는 천세희 대표님의 말씀이 인상 깊었다. "스타트업이 가진 가장 공평한 자원은 시간이다." 스타트업을 운영하고 팀을 성장의 방향으로 이끄는 사람으로서 어떻게 하면 이 자원을 최대의 효율로 올릴 것인지 고민하는게 나의 역할인 것 같다. Zapier 만큼 효율을 높이는 재밌는 툴들을 더 많이 사용해봐야겠다!🔥

🐋 PMF 여정에서 찾은 NDS라는 매력적인 지표

PMF; 창업을 시작하고 지금까지 (과장을 조금 보태서) 한 만 번은 말해본 것 같다. 오늘 글에서는 PMF의 달성을 데이터로 확인할 때 유용하게 활용할 수 있는 지표인 NDS를 소개해보고자 한다.

PMF란 무엇인가?

디스콰이엇에 있는 메이커분들이시라면 아마 PMF는 익히 들어 잘 알고 있을 것 같다. 처음 스스로 PMF를 정의할 때 PMF는 강렬하고 꾸준한 시장의 반응이라고 생각했다. 그렇게 몇 개월을 보내던 중, 마이클 세이벨의 팩폭을 듣고 PMF를 스스로 재정립하는 시간이 있었다.(유튜브 링크) 마이클은 PMF인지 알고 싶다면 두 가지 질문을 답하라고 한다:

Is the growth almost killing you? and is it profitable?

나는 이 질문 두 개가 너무 간결하고 확실해서 좋다. 1) 시장에서의 파괴적인 반응 2) 미친듯이 쌓이는 돈. 이 두 가지는 PMF의 확실한 징표이다.

PMF를 달성했는지 어떻게 알 수 있는가?

문제는 위 두 가지 질문의 답은 추상적이라는 것이다. 파괴적인 반응은 무엇일까? 어느 정도가 파괴적인 것일까? 미친듯이 쌓이는 돈은 그 정도가 얼마나 되어야 하는가? 그리고 그 속도는 어느 정도여야 하는가?

사실 이러한 질문들은 이미 달성한 팀이 보면 웃기다고 한다. 마크 안드리센은 PMF를 찾았는지의 여부는 느낌만으로도 알 수 있다고 했다.

하지만 우리는 아직 PMF를 찾기 전이고, PMF를 찾는 방향으로 프로덕트를 성장시켜야 한다. 그래서 PMF를 달성했는지에 대한 여부를 확인할 수 있는 조금 더 실질적이고 확실한 지표를 세우기로 했다.

PMF의 가능성을 알려주는 지표 후보는 다음과 같다:

1. Retention Rates. 가장 흔히 사용하는 지표이다. 리텐션이 높다면 사람들이 계속 찾아 돌아오는 프로덕트라는 뜻이기에 의미가 있다. 다음 차트는 chameleon에서 가져온 것인데 3개월 이내로 리텐션이 10% 미만이라면 PMF일 가능성이 낮다고 한다. 반대로 3개월 이내로 20%대를 유지한다면 PMF일 가능성이 높다고 한다.
2. LTV:CAC 비율. 보통 SaaS에서 많이 사용하는 지표이다. 만약 고객을 유치하기 위해 비용을 많이 투자하고 있다면 지켜볼만한 지표이다. 비율이 3:1일 때 PMF일 가능성이 높다고 하는데, 당연히 Profitable이라는 목표치를 달성했기에 그럴 수 밖에 없다.
3. NPS. 서비스를 사용하며 여기 저기서 항상 보이는 Net Promoter Score이다. 실제 에어비앤비 데이터 분석가의 말에 따르면 NPS가 다른 지표들보다 재예약률 예측에 가장 유용했다고 한다. 그만큼 서비스에 대한 애정과 관심도를 확인할 수 있는 좋은 지표이다.
4. NDS. 마지막으로, 오늘 이 글의 주제인 Net Disappointment Score이다. NDS는 스타트업씬에서 아직 크게 알려지지 않은 지표인 것 같다.(네이버에서 검색해도 잘 안 보인다) NDS는 고객에게 서비스가 없다면 어떻게 느낄 것 같은지 물어보고 Very Disappointed(매우 실망할 것 같다)의 비율을 계산한다. 이때 Very Disappointed의 비율이 40%가 넘어가면 PMF를 달성했을 가능성이 매우 높다고 한다. 아래 차트는 Superhuman 서비스의 초창기 NDS이다.

NDS에 대해 조금 더 자세히 이야기 해보자.

Superhuman은 이메일 관리 툴이다. 누적 투자금 1500억원으로 현재 빠르게 성장하는 스타트업 중 하나이다. 이들은 초기에 NDS를 활용하여 PMF를 달성하는 방향으로 서비스를 개선하였다. (CEO Raul Vohra의 아티클 원문) 그들의 서비스 개선 방향은 다음과 같다:

1. 고객 유형과 각 유형의 특징을 분석한다. Superhuman은 Very Disappointed 그룹에 집중하였다. 이들은 어떤 특징을 가진 사람들이고, 어떤 행동양식을 하는지 집중했다. 그 결과 Very Disappointed 그룹은 업무가 매우 바쁘고 업부의 많은 부분이 이메일로 이뤄지는 고객이었다.
2. 서비스의 강점과 개선 포인트를 찾는다. Very Disappointed 그룹은 Superhuman을 사용하며 "이메일을 처리하고 정리하는 속도가 좋다"고 했다. 반대로 Somewhat Disappointed 그룹은 "캘린더 기능과 모바일 앱 버전 등이 부재하여 불편하다"고 했다. 이렇게 Very Disappointed 그룹의 피드백으로 어떤 핵심 기능이 시장에서 반응을 보이고 있고, Somewhat Disappointed 그룹의 피드백으로 어떻게 더 좋은 방향으로 개선할지 확인하였다.
3. 우선순위에 따라 서비스 개선한다. Superhuman은 비용과 임팩트(낮음, 보통, 높음)를 기준으로 빠르게 개선점들을 고쳐나갔다.
4. 꾸준히 지표 추적한다. 그리고 Superhuman은 NDS를 꾸준히 추적했다. 그 결과, 2017년 Very Disappointed 비율이 22%였지만 불과 9개월만에 58%를 달성할 수 있었다고 한다.

우리는 왜 NDS를 선택했는가

우리 팀은 PMF를 찾았는지, 그리고 우리의 노력이 그 방향으로 성장하고 있는지 항상 보고 있을 지표가 필요했다. 그 지표로 NDS를 선택하기까지 정말 많은 고민이 있었다. OMTM을 설정하기까지 거의 2달이 걸렸으니 시간도 정말 많이 투자했다. 왜 NDS였을까?

1. Retention Rate. Retention Rate를 올려야 하는 것이 우리의 목적이라면, 할 수 있는 액션이 많았다. 푸시 알람으로 앱을 계속 리마인드 시킬 수 있었고, 주요 서비스 기능 외에 다양한 재미 요소를 넣어 Engagement를 높일 수 있었다. 하지만 이것이 과연 우리의 서비스가 시장과 맞아 떨어졌는지를 보여주는지 확신할 수 없었다. 즉, 우리 서비스의 핵심 가치를 고객이 정말 "가치"로 받아드리고 있는지 확인하기 어려웠다.
2. LTV:CAC. 개인적으로 이 지표는 퍼포먼스 마케팅 역량에 큰 영향을 받는다고 생각한다. LTV를 인위적으로 올리기는 어렵지만 CAC는 정말 극적으로 효율적인 마케팅을 실행한다면 떨어질 수 있다고 생각한다. 그리고 위와 같이 고객의 핵심 가치 검증 부분이 채워지지 않는다고 생각했다.
3. NPS. 우리 앱은 수면 앱(미라클나잇)이다. 그래서 서비스 특성 상 "혼자"사용하는 것이 당연하다. 그리고 사람마다 듣는 취향이 다르기 때문에 우리가 제공하는 소리가 과연 다른 사람들에게도 적합한지 떠올리는 것을 고객들이 이상하게 여겼다.
4. NDS. 이 중에서 가장 서비스의 본질을 볼 수 있는 지표라고 판단했다. 우리 앱이 사라진다면 당신은 정말 아쉬워서 우리에게 개인 디엠이나 이메일을 보낼 사람인가? 그 사람들의 비율은 어느 정도인가? 이것이 바로 우리가 제공하는 핵심 가치를 정말 "가치"로 받아드린 사람들이라고 판단한다.

NDS 도입 22일차

우리의 NDS는 "만약 미라클나잇을 더 이상 사용할 수 없게 된다면 어떤 기분이 들 것 같나요?"라는 질문에 4가지 답변 옵션을 제공한다.

1. 너무 실망스러울 것 같아요.
2. 조금 아쉬울 것 같아요.
3. 있으면 쓰겠지만 아쉽진 않아요.
4. 전혀 실망스럽지 않아요.

도입 7일차에 97명 중 26명이 "너무 실망스러울 것 같아요"를 답변하여 우리 서비스는 26.8%로 시작하였다.

NDS를 도입한지 벌써 22일차가 되었다. 매일이 심판을 기다리는 것 처럼 무섭고 재밌다. 그리고 행복하게도 오르고 있다. 오늘(9/7) 기준 우리 서비스의 평균 NDS는 30%이다.

1달 후엔 목표치인 35%를 달성해보려고 한다. 우리 서비스 고객의 귀여운 VOC를 끝으로 글을 마무리한다. 우리 모두 PMF를 찾아 하루 빨리 우주로 날아오를 수 있길..!

🐋 프로덕트 메이커가 데이터 제대로 보는 방법

데이터 분석가 Harry(@김한빈)의 도움으로 이 글을 작성합니다

유저가 우리 프로덕트를 사용하며 발생하는 데이터는 메이커에게 가장 소중한 자원이다. 특히 PMF를 찾는 여정에 있는 팀은 더더욱이 이 데이터에 집중해야 한다. 하지만 이러한 데이터를 모아도 어떻게 분석하는지 모르면 그 데이터는 하나도 쓸모가 없다.

8월의 마지막 날, 우리 팀의 데이터 분석가 Harry는 우리가 어떻게 데이터를 보아야 하고, 질문해야 하며, 이를 어떻게 결정 도구로 사용하는지에 대해 작은 강의를 열어 인사이트를 공유해주었다.

(마루 360 경치 최고다!)

강의 초반, Harry가 유의미한 인사이트를 도출하기 위해선 그 단어의 정의를 먼저 보아야 한다고 했다. 나는 이 글에서 내가 앞으로 프로덕트를 만들며 꼭 잊지 않았으면 하는 "유의미한 인사이트"에 대한 Harry의 정의를 기록하고, 공유하고자 한다.

🐋 의미있다.

우선 데이터의 인사이트는 의미가 있어야 한다. 어떤 인사이트가 의미 있다, 아니다 라고 판단할 수 있는 절대적 기준은 없지만 생각해볼 수 있는 질문을 몇 가지 제안할 수 있다.

1. 신뢰할 수 있는가? 우리의 데이터를 신뢰할 수 있어야 한다. 이는 즉 우리가 수집한 데이터에 오류 없다는 것을 확신한다는 것이다. 오류는 어디서든지 생길 수 있다. 화면 네이밍을 실수로 바꿔 갑자기 이벤트가 잡히지 않는 일(실제 경험해보았다)부터, 서버 통신이나 설계 오류 등으로 로그가 제대로 수신되지 않는 그 모든 경우의 수는 유의미한 데이터를 추출하는데 큰 장벽이 될 수 있다. 따라서 신뢰라는 키워드는 가장 당연하지만 중요한 키워드이다.
2. 목적에 부합하는가? 우리가 도출한 인사이트는 어떤 목적으로 분석된 것인지 확인해야 한다. 예를 들어, 결제페이지에서 초록 버튼이 파란 버튼보다 더 Conversion이 높았다는 인사이트를 보자. 우리의 목적이 유저의 Retention을 높이려고 한 것이라면 이 인사이트는 큰 도움이 되지 않는다. 하지만 결제율을 높이기 위함이었다면 의미를 갖게 된다.
3. 목표에 Align 되는가? 프로덕트가 발전하는 방향과 Align 되는지도 알아야 한다. 내가 속한 팀의 프로덕트는 같은 잠을 자도 더 잘 자게 도와주는 고농축 수면 앱이다. 우리 앱은 현재 바쁜 일상을 살아가는, 소위 말하는 갓생러들이 애용하고 있다. 하지만 우리의 목표는 "갓생러들의 수면 서비스"가 아니다. 우리의 목표는 "세계 최고의 수면 경험을 제공하는 수면 서비스"이다. 그래서 바쁜 사람들은 아침에 일어나는 것이 중요하기 때문에 아침에 깨워줄 알람이 필요하다는 인사이트 보다 최고의 수면 경험을 하기 위해 아침에 개운하게 일어날 수 있는 알람이 필요하다는 인사이트가 우리 팀에겐 더 의미가 있다.
4. 회사 비전에 얼마나 Impact가 있는가? 인사이트는 프로덕트 뿐만 아니라 회사의 비전과도 맞닿아 있어야 한다. 회사는 어떤 방향으로 성장하고 있고 이 인사이트의 Impact score는 얼마나 큰지 확인해볼 필요가 있다.

🐋 인사이트이다.

우리는 이러한 의미를 찾은 인사이트가 실제 프로덕트 메이커들이 사용할 수 있는 인사이트로 분류되기까지 또 신중한 판단을 거쳐야 한다. 그 판단에 도움이 될 수 있는 기준들을 생각해볼 수 있다.

1. 문제에서 기반했는가? 인사이트는 문제를 기반해야 한다. 자원이 매우 부족한 초기 팀에게는 더욱 필수적인 기준이다. 지금 우리의 프로덕트는 어떤 문제를 직면하고 있을까? 그 문제를 해결하는 인사이트가 프로덕트에 임팩트를 줄 수 있다. 예를 들어, 결제율이 떨어진다는 문제에 직면해 있다면 어떤 문제로 그러한지 로그를 들여다볼 필요가 있다는 것이다. 항상 시작은 "잘 정의한 문제"이고 그 다음이 솔루션, 즉 "인사이트"이다.
2. 당연하지 않은가? 상당수의 인사이트는 사실 당연하다. 예를 들어, 부자는 비싼 집에 산다는 인사이트를 도출했다고 하자. 부자가 비싼 집에 살 확률은 실제 굉장히 높고 우리는 이것을 쉽게 예측할 수 있다. 반대로 최근 우리 팀이 찾은 인사이트 중 "앱에서 CS를 제출하는 유저는 2주 후 Retention이 더 높다"라는 인사이트는 우리가 생각했던 것과 반대였다. 앱에 불만이 있어 오히려 빨리 떠날 것으로 생각했기 때문이다.
3. 당연하지만 인지하지 못하고 있었던가? 바로 위에서 언급한 인사이트가 여기에 적용된다. CS를 제출하는 유저들은 실제 더 잘 사용하고 싶어서 오류 사항을 우리에게 언급하는 불편함을 감수하고 하고 있었다. 그래서 인사이트를 분석할수록 조금은 당연한 것을 우리가 인지하지 못하고 있었다는 것을 알게 되었다.
4. 액션 플랜이 나오는가? 기획을 하는 사람으로서 사실 4번이 가장 중요하다고 생각한다. 인사이트는 So what?을 대답할 수 있어야 한다. 예를 들어 푸시 알림으로 Retention이 올라갔다고 해보자. 그럼 이 인사이트는 우리에게 무엇을 하라고 시키는 것일까? 더 자주 푸시를 날리라고 하는 걸까? 푸시 알림의 문구를 바꿔 테스트하라는 걸까? 아니면 푸시 알림 기능 자체로 실제 서비스에 좋은 영향을 끼친다는 것일까? 명확한 액션이 나오지 않는다. 반대로, 예를 들어 온보딩의 페이지 하나가 추가되어 유저의 Activation Rate이 떨어졌다고 해보자. 여기서 우리는 명확한 액션을 이야기할 수 있다. 온보딩의 페이지 하나를 제거하면 된다. 이렇게 액션이 빠르게 뒤따라야 한다.

유의미한 인사이트를 만들고 또 그 다음 플랜을 기획할 메이커의 관점에서 이러한 정의와 기준은 정말 큰 도움이 됐다. 내가 어떤 인사이트를 보아야 하고, 그것이 내게 어떤 의미를 갖는지도 단번에 파악할 수 있다.

이 글을 작성하며 또 한 번 깨달은 것이 있다. 실무에 다가갈수록 가장 기초의 것들을 다시 꺼내어 보아야 한다는 것이다. 실무의 세계는 복잡하고 어렵지만 그럴 수록 더 좋은 해결책을 만드는 것은 결국 그 기초에서 나온다. 결국 모든 정답은 정의(definition)와 같은 근본의 원리에 있다.

P.s. 이 글을 쓸 수 있게 멋진 강의를 진행해준 Harry(@김한빈) 너무 고맙습니다! Harry는 연세대학교 데이터사이언스랩의 회장이고, 여러 기업/팀들과 데이터 및 인공지능 프로젝트를 진행하고 있습니다. 재밌는 데이터 프로젝트에 관심 있으신 분들은 꼭 Harry에게 연락해보세요📬