🐋 미국 3조 기업을 이겼다. (2023년 회고)

2023년도 치열한 한 해였다. 2023년이 끝나며 우리의 성적표를 받아봤을 때 우리는 환호와 절망이 가득했다. 우리 무니스의 2023년을 기억하고 2024년에 다음 단계로 도약하기 위해 2023년 회고를 간략하게 해보려고 한다.

매출 성적표

한국 Health and Fitness 카테고리 Top Grossing App 1위

우선, 어그로성 제목을 정정하자면 1) 3조원 기업은 Calm이다. 실제 Calm이 3조원은 아니지만 Calm과 매출액이 비슷한/더 적은 경쟁사 Headspace의 마지막 Funding 기업가치가 3조원이라 그렇게 칭했다. 2) 위 매출액은 12월 하루 중 하나여서 요일 Screenshot이다.

어떻게 성취했을까?

우선 우리에게 올해 뚜렷한 목표가 있었다. 한국에서 1등이 되어보자. 수면 앱으로 가장 돈을 잘 버는 앱이 되어보자. 이 과정에서 팀원들의 엄청난 노고가 있었다. 그 넘어로는 똑똑한 전략과 실험 그리고 우리의 어떤 시도도 지지해줄 코어 팬분들이 있었다.

우선 여기서 밝히는 바, 나의 어떤 실험보다 우리 팀원들의 실험들이 더 좋은 결과를 냈다. 나는 그저 서포터였다고 생각한다. 2023년 나는 팀에서 RRR 퍼널을 담당했다. 고객을 감동시켜 계속 앱에 남게 하고, 우리의 팬이 되게 하고, 결국 우리의 바이럴 머신이 되게끔 만드는 역할이었다.

나의 성공적이었던 액션 중 하나는 아하 모먼트를 기반한 CRM이었다. 우리 서비스는 수면 서비스이다. 따라서 코어 액션은 "수면"인데, 데이터를 역으로 분석해보니 아하 모먼트는 5회 수면이었다. 이 5회 수면을 최대한 시키면 우리의 팬이 될 확률이 높아졌다.

5일 챌린지

그렇게 시작된 내 첫 액션은 "5일 챌린지"였다. 앱에 처음 들어와서 5회 수면을 채우면 상품을 주는 이벤트였다. 5회를 최대한 경험케 해 우리의 가치를 느끼게 하고 결제로 유도하고자 하는 전략이었다.

챌린지가 있던 고객군과 없던 고객군의 결제 전환율은 어마무시한 큰 차이가 있었다. 많은 가설이 함께 맞았던 매우 성공적인 실험이었다. 👍

수면 분석 리포트

나의 2번째 액션은 주 수면 4회를 채우면 카톡으로 "수면 분석 리포트"를 보내주는 기능이었다. 일주일에 4회 수면이 있어야지만 분석 리포트를 보내주는 기능으로 4회 수면의 배너핏을 제공했다. 아래 화면은 수면 리포트 화면인데 왼쪽은 처음 시작할 때의 리포트이고 오른쪽은 마지막 리포트가 나가던 주의 화면이다. 수면 리포트도 매주 꾸준히 발전시켜나갔다.

이 또한 성공적이었다. 수면 리포트 신청자들의 리텐션이 꾸준히 플랫했다. 이 또한 성공적인 액션이었다. 👍

앞으로 어떻게 할 것인가?

내가 앞서 설명한 실험들을 제외하고도 나는 작년에 17개가 넘는 실험을 진행했다. 모두 데이터를 근거하고 기획하고 데이터를 근거하여 결과를 분석했다. 대부분의 실험이 실패한다. 나의 직관이 고객의 행동을 바꾸는 일은 드물다. 그렇기에 나는 실험의 횟수를 늘리며 더 빠르게, 더 정확하게 실패하려고 한다.

우리는 2024년 미국에서 Top 10 IAP 매출을 내는 수면 서비스가 되려고 한다. 모든 준비는 되었고 이제 실행만 하면 된다. 올해가 끝날 무렵 "미국 3조원 기업을 이제 거의 이겼다"라는 메이커로그를 써보겠다.

우리의 치열한 2023을 만들었던 우리 무니스 가족 여러분께 무한한 감사를 표하며, 이 글을 마친다. 우린 작지만 강하다!

코파운더와 개발자 역할을 세상에서 가장 잘한 @Sang Hyun Gil

디자인, 기획, 데이터까지 모든 분야에서 최고점을 찍은 @Julie Lee

일정한 코딩 폭주기관차 @Paige Shin

창조적인 만능 오퍼레이터 & 데친자(데이터에 미친자) @베이슬

2024년도 무니스가 이뤄내겠습니다, "좋은 잠이 당연한 세상".

오늘도 모두 좋은 잠 주무세요 🌙

🐬 [수면 챌린지] 1주차 회고

우리는 왜 잠을 자야 할까? 잠이란 건 모든 인간의 중요한 일부분이지만 왜, 어떻게 부분을 명확하게 아는 사람은 정말 소수일 것이다.

나는 수면이 왜 중요한지, 어떻게 잘 잘 수 있을지에 대한 대화를 시작하면 6시간은 떠들 수 있는 사람(미라클나잇이라는 슬립테크 프로덕트를 만드는 메이커입니다)이지만, 업무 효율 향상에 고민이 생기며 100점짜리 수면 달성을 목표로 이번 수면 챌린지에 참여하게 되었다!

나는 언제 효율이 떨어질까?

이번 한 주 동안 나는 어떤 수면을 했을 때 효율이 떨어지는 지 확인해 봤다. 5일간의 실험으로 얻은 결론은 (1) 취침 시간과 (2) 총 수면 시간이었다.

새벽 12~1시 사이에 잤을 때 + 6시간 30분 정도 잤을 때 업무 효율이 가장 좋았다. Rize로 추적해 봤을 때 포커스 타임 6시간, 총 업무 시간 10시간으로 꽉 채운 하루를 보냈다.

반대로 똑같은 6시간 30분의 수면 시간이라도 새벽 3시 정도에 자거나 취침 시간이 새벽 1시라도 총 수면 시간이 5시간 미만으로 자면 오후 업무 효율이 낮아지는 걸 경험했다.

그래서 어떻게 잘 것인가!

너무 당연한 말이지만 취침 시간을 새벽 1시 전으로, 수면 시간은 7시간을 목표로 자볼 계획이다. 그리고 이번 주엔 애플 워치도 함께 사용하여 같은 상황에서 어떤 변수를 뒀을 때 수면의 질과 업무 효율에 영향이 있는지 볼 계획이다.

마치며,,

미라클나잇 앱 자체에서 연말 14일 챌린지 중이니 챌린지 참여하여 질 좋은 수면과 선물 세트 모두 가져가시길.!! ><

나의 꿀잠 수면 유형은? feat. 미라클나잇

안녕하세요, 디스콰이엇 여러분!

IT 업계에 계신 분들은 아마 수면 부족 문제를 많이 경험하실 듯 해요! 일을 해도 해도 ... 일이 안 끝나죠..?

이런 여러분을 위해! 나의 수면 유형을 파악하고 피드백 받을 수 있는 쿨쿨이의 수면 유형 테스트를 소개합니다!

🌙🌟 꿀잠 수면 유형 테스트! 🌟🌙

🎮 게임 링크: zzzi.kr

🎁 "쿨쿨이가 꿀잠을 선물합니다!" 🎁

1⃣ 10/4 ~ 10/15 기간 동안

2⃣ @miraclenight_official 미라클나잇 공식 계정을 팔로우하고

3⃣ 테스트 결과를 인스타그램 스토리에 미라클나잇을 태그해 공유하면 끝!

🛌 꿀잠 굿즈는 무려 7만원 상당! 🎁

러그 + 페이퍼사쉐 (디퓨저 백) + 수면 안대 + 더스트백 + 꿀잠 스티커

이런 멋진 상품이 랜덤 추첨을 통해 많은 분들께 전달됩니다! 🎉

자세한 정보는 @miralcenight_official 링크를 참조하세요 :)

일주일 동안 dog고생하면 만든 유형 테스트인데,, 많은 참여 부탁드립니다!🙏

모두 행복한 목요일 보내세요🥰

🐋 1036명의 고객의 이야기를 들어보니...

이 게시글은 무니스 팀과 함께 수면 경험을 혁신하실 오퍼레이터를 찾기 위해 올리는 글입니다.

오늘은 무니스가 자랑스럽게 우리는 "고객 중심의 팀"이라고 말할 수 있는 컬쳐를 갖기까지 어떤 과정을 거쳤는지 그 여정을 기록해보려고 한다.

33시간 회의하던 우리

MVP 성공 기준을 처음으로 통과하는 프로덕트가 생겼다. 바로 고농축 슬립샷 미라클나잇. 사전 예약했던 고객들은 엄청난 속도로 결제/재결제 하기 시작했고 본인 SNS에 자발적으로 우리의 프로덕트를 홍보하기 시작했다. 우리는 그동안의 실패를 바탕으로 고객의 목소리가 얼마나 중요한지 머리로는 알았기 때문에 바로 유저 인터뷰를 진행하며 고객의 일상, 수면 환경을 이해하고 자신의 언어로 설명하는 장점과 단점을 받아 적었다. 그리고 열심히 분석했다. (아래 이미지는 우리가 진행했던 인터뷰를 분석 회의 때 사용한 Figjam이다)

하지만 분석하면 할수록 미궁으로 빠져 들어갔다. 우리가 직면한 질문들은 다양했다:

1. 어떤 고객의 목소리를 먼저 들어야 할까?

2. 어떤 기능을 먼저 개발할까?

3. 앱 버그는 어디까지 고쳐야 할까?

4. 고객의 목소리를 다 들어야 할까?

5. 우리 프로덕트는 앞으로 어떻게 성장해야 할까?

우리는 MVP 통과 후 더 치열하게 회의하기 시작했다. 다양한 프레임워크를 도입하며 고객을 이해하려고 했지만 계속해서 명쾌한 답이 나오지 않았다. 그렇게 회의는 길어졌고, 우리는 33시간이라는 엄청난 회의 시간을 기록했다.

그렇게 우리는 우리만의 원칙을 세웠다.

1. 미라클나잇의 장기 목표

   세계 최고 수준의 수면 경험을 제공한다

2. 미라클나잇 타겟군(=고객)

   고효율 수면에 높은 관심이 있는 갓생러들

3. OMTM

   Net Disappointment Score

그리고 원칙 위에 스프린트 프레임워크를 도입했다. (지금은 다른 프레임워크로 하고 있지만) 그리고 고객과 다시 대화했다. 많은 것들이 달라져 있었다. 우리가 누구를 위해, 어떤 방향으로, 왜 개발해야 하는지 알고 나니 해야 하는 액션들이 명확했다.

고객의 목소리를 듣고 싶어

미라클나잇은 계속 성장했다. 고객 베이스는 늘었고, 고객의 이야기도 더 다양해지고 많아졌다. OMTM은 바뀌었고 지금도 다양한 고군분투 속에서 프로덕트를 발전시키고 있다. 이런 지속적인 성장에서 고객과 함께하기 위해 우리는 2가지를 도입했다.

1. 모든 서비스 고객에게 피드백을 받는 것

   우리 앱에서 특정 액션을 하면 피드백을 보낼 수 있는 팝업을 띄워줬다. 그 팝업의 CTA는 피드백 폼으로 연결되었는데 사람들은 이곳에서 다양한 이야기를 해줬다. 많은 이야기를 해주신다. 정말 감사하다는 이야기. 하루가 바뀌었다는 이야기. 덕분에 너무나 행복해졌다는 이야기.

   하지만 우리를 놀라게 한 것은 그들의 솔직한 피드백이었다. 서비스 경험이 만족스럽지 못하다고 이야기하는 사람들이 열정적으로 우리의 서비스를 비판했다. 미라클나잇을 친구 누구에게도 추천할 의사가 전혀 없다고 한다. 그렇지만 엄청나게 상세한 이유들을 적어주신다. 한 번은 인터뷰에서 그런 고객에게 질문을 했다. 그럼에도 불구하고 왜 인터뷰를 해주시나요? 그의 대답이 아직도 기억난다. 본인의 수면 문제를 해결해 줄 수 있는 곳이 여기 밖에 없을 것 같고, 이 서비스는 본인이 이야기하면 바뀔 것 같아서 한다고. 우리는 누군가에게 대체 불가능한 서비스로 자리 잡고 있었다.

2. 이를 모든 팀원이 볼 수 있게 하는 것

   이렇게 다양한 피드백을 나 혼자 보는 것은 전혀 의미가 없다. 우리 팀원들도 봤으면 좋겠는 마음에 슬랙으로 연동해 모든 팀원이 볼 수 있게 했다. 이러한 가벼운 마음에서 시작된 슬랙 연동은 이후 우리 팀에 큰 영향을 주었다.

   모두가 고객의 목소리를 있는 그대로 읽고 보기 때문에 지금 우리가 어떤 액션을 왜 해야 하는지를 서로 설득하거나 정당화해야 하는 과정이 생략된다. 어디서 문제가 있는지 모두 알고 있기 때문이다.

   혹시나 고객의 목소리를 놓칠 수 있기 때문에 주기적으로 VoC Syncing 시간을 갖는다. 각자 시간을 가지고 천천히 하나하나 다 읽어본다. (다 읽으면 이렇게 각자 스티커를 표기한다. 귀엽다)

   뿐만 아니라, 각자의 자리에서 각자가 한 액션에 따라 고객의 목소리가 어떻게 바뀌는지 바로바로 확인할 수 있다는 것도 엄청난 장점이다. (고객이 제시한 문제를 빠르게 해결하여 드리니 감사하다고 장편의 문자를 받은 오퍼레이터 다봄의 행복한 순간)

   

고객과 더 가까워지고 싶어

우리 팀은 어느 수면 서비스보다 고객과 가장 친밀하게 소통하고 있다고 생각한다. 실제 휴대폰으로 수면 유도 소리가 들리지 않는다는 분께 블루투스 스피커를 선물하기도 했고, 14일 동안 수면한 모든 고객에게 하나하나 직접 포장한 선물을 드리기도 했으며, 우리 덕에 수면제를 끊으신 고객님의 병원에서 우리 팜플렛을 배치시키기도 했다.

그 결과 우리 고객은 엄청난 리텐션을 보인다. 우리와 진정으로 소통하고 이야기하며 우리의 본질을 이해해 주시는 분들은 계속 앱에 남는다. 떠난 사람도 돌아온다.

우리는 한 발자국 더 다가가고 싶다. 고객을 더 감동시키고 싶고, 우리를 통해 최고의 숙면을 경험케 하고 싶다. 그래서 그들의 문제를 해결하고 더 나은 내일을 살아갈 수 있는 힘이 되어주고 싶다.

1036명의 고객의 이야기를 들어보니 서비스가 성장하더라

YC의 마이클 세이벨은 이런 이야기를 했다. 고객을 진심으로 사랑하는 경쟁사를 이기기 힘들다고. 우리는 다른 그 어떤 수면 서비스보다 고객을 사랑하고 있고, 사랑할 자신이 있다. 그런 사랑에 힘입어 더 열심히 듣고 노력하니 어느 순간 서비스는 성장하고 있었다. 우리의 구독자 수는 매달 24%씩 성장한다. 그리고 이 성장세는 더 빨라지고 있다.

이야기를 맺으며, 이러한 고객 경험 설계와 실현은 초기 서비스 단계에서 밖에 할 수 없는 것이라는 생각 때문에 오히려 나중에 이 시간이 아쉽다는 이야기를 팀원들과 많이 주고받는다. 지금밖에 할 수 없는 이 놀라운 일을 함께 할 새로운 오퍼레이터 팀원을 찾고 있다.

무니스와 함께 할 오퍼레이터는 바로 당신

갑자기 존댓말로 돌아와 다시 정식으로 팀원을 찾아봅니다. 저희는 현재 오퍼레이터 인턴을 찾고 있습니다. 팀에 들어오시면 저와 함께 팀을 이뤄 고객 경험을 혁신하는 액션을 함께 하게 됩니다. 고객에게 새로운, 그리고 놀라운 경험을 주고 싶은 당신. 그리고 그 경험을 통해 팀과 본인의 성장을 이끌어내실 당신. 주저하지 말고 연락주세요!

채용 공고: https://munice.notion.site/cc2d457d84ef477d90f822b3ab225ac8?pvs=4

회사 소개:

좋은 밤이 당연한 세상을 믿으시나요? 이미 수천 명의 사람들에게 그러한 세상을 만들어주고 있는 무니스와 함께해요.😊

🐋 가설 검정을 위한 (간단) 통계학 수업

서비스를 운영하며 어떠한 변화를 주는 것에 굉장히 조심스럽다. (특히, 이미 유저가 잘 사용하고 있는 기능은 더욱 그렇다) 하지만 모든 것은 100%가 아닌 이상 개선의 여지가 있기 마련이다. 그래서 우리 팀은 항상 AB 테스트를 한다. 대체적으로 A는 기존의 기능/화면/카피이고 B는 새로운 가설을 기반으로 만들어진 (더 좋은 방향으로 가기 위한) 시도이다.

이렇게 항상 AB 테스트를 진행하는데 (정식 스프린트는 이미 40차가 넘었다) 결과 분석을 내가 하고 있다 보니, 우리 팀원들에게 내가 어떠한 과정을 거쳐 그러한 결론을 내는지 통계학적 관점에서 한 번 설명해 주고 싶었다. 그래서 이 글을 작성하게 되었다.

우선 나는 전문 통계학을 전공한 사람은 아니고 아래에서 다룬 통계학적 내용은 큰 흐름일 뿐! 각 흐름 안에서의 가정과 계산 방법, 결론 도출 방식은 아래에서 설명한 것과 다르게 매우 매우 복잡하다는 것을 미리 말한다. (+ 인터넷 세상엔 정말 친절한 통계학 박사님들도 많이 계시다. 개인적으로 정말 쉽게 잘 설명해 주셔서 이분 글을 많이 참고했다)

📌 가설 검정 단계

1. 가설 설정하기

귀무가설은 A와 B의 차이가 없다는 것이다.

• 예를 들어, 앱에서 온보딩에 영상을 추가하고 이에 대해 A,B 테스트를 한다고 해보자. 온보딩에서 영상을 본 유저와 보지 않은 유저의 전환율은 같을 것이다.

대립가설은 A와 B가 차이가 있다는 것이다. (편의를 위래 앞으로 모든 가설은 대립가설을 칭한다) 3가지 방법으로 차이를 볼 수 있다:

• 온보딩에서 영상을 본 유저와 보지 않은 유저의 전환율은 다를 것이다. (two-tail)

• 온보딩에서 영상을 본 유저는 보지 않은 유저보다 전환율이 높을 것이다. (right one-tail)

• 온보딩에서 영상을 본 유저는 보지 않는 유저보다 전환율이 낮을 것이다. (left one-tail)

이번 예시에서는 온보딩에서 영상을 본 유저는 보지 않은 유저보다 전환율이 높다는 right one-tail로 가설을 세워보겠다.

2. 신뢰구간 (Confidence level) 정하기

우리가 신규 유저를 대상으로 같은 실험을 100번 했을 때 95번은 같은 결과가 나온다고 하면 신뢰도는 95%이다. 보통 신뢰도는 95%나 99%를 사용한다.

3. 알파 (Alpha level) 계산하기

우리가 내리는 결론이 통계적으로 유의미한지 판단할 수 있는 기준이 되는 숫자이다. 알파는 1 – 신뢰구간이다. 따라서 보통 알파는 5%나 1%이다.

만약 one-tail 테스트를 한다면 알파는 선택한 숫자 그대로 사용한다. 하지만 만약 two-tail 테스트를 한다면 알파 값을 1/2 해야 한다. 즉 2.5%이거나 0.5%가 된다.

이번 예시에서는 one-tail이니 5%를 그대로 사용하겠다.

4. 통계 기법 정하고 검정 통계량 계산하기

이제 우리에게 가장 잘 맞는 실험 방법론을 선택하고 숫자를 입력하여 우리의 가설이 맞았는지 확인해봐야 한다. 유형별 방법론은 아래 다시 정리했다.

간단히 예시를 이어가자면 영상을 본 유저의 평균 전환율과 영상 보지 않은 유저의 평균 전환율을 비교해볼 수 있다. 두 표본의 평균을 비교할 때는 Z-test라는 테스트를 사용할 수 있다. Test를 통해 Z값을 구하게 된다.

5. P값 (P-value) 계산하기

P값(유의확률)은 어떤 사건이 우연히 발생할 확률이다. P값이 우리가 기준으로 세운 알파(5%)보다 적으면 가설을 통과했다고 보면 된다. 왜냐하면 이것은 우연히 일어난 일이 아니고 뭔가 의미가 있다는 것이기 때문이다.

아까 구한 Z값으로 P값을 구할 수 있다. 예를 들어 P값이 0.03이 나왔다고 해보자.

6. 결론 내리기

P값이 알파 0.05(5%)보다 낮기 때문에 우연이 아니라 확실히 영상 온보딩 유저의 전환율이 더 높다. 따라서 우리의 가설이 맞았다: 온보딩에서 영상을 본 유저들의 전환율이 더 높다.

📌 어떤 통계 기법을 선택해야 하는가?

우리가 하는 테스트의 형태 및 샘플의 성질에 따라 어떤 기법을 사용할 지 선택할 수 있다.

출처: https://drhongdatanote.tistory.com/80

이중 AB테스트를 할 때 내가 가장 많이 사용하는 2가지 기법과 사용 방법을 소개하겠다.

1. AB 비율 차이 👉 Z-test for 2 Population Proportions

A와 B 고객군의 비율 차이가 있는지 확인하는 테스트 기법이다. 여기서 비율은 각 고객군에서 우리가 정의하는 “성공” 이벤트를 한 고객의 비율이다.

실제 내가 적용했던 사례를 공유한다. 이번엔 신규 기능에 대한 AB 테스트가 아닌 특정 행동을 한 고객군 AB에 대한 차이를 보는 테스트이다.

결제한 유저(A)와 결제하지 않은 고객(B)의 회원가입한 시간대의 비율을 확인했다.

• 귀무가설 = A와 B는 같은 시간대의 같은 비율로 회원가입 했다.

• 대립가설 = A와 B의 같은 시간대의 다른 비율로 회원가입 했다. (two-tail)

• 계산 방법 (정말 다양한 가정(ex.모집단의 표준편차를 아는지)과 데이터(ex.허용 오차) 등을 제외하고 가장 간단하게 계산할 수 있는 방법인 것):

  • Z 구하기

    

  • P-value 테이블에서 구하기 (각 알파값 별로 테이블이 있다. 우리의 z값을 특정하면 p값를 찾을 수 있다)

    

  • 사실 이렇게 복잡하게 할 필요 없이 계산해주는 사이트를 활용하면 된다:  https://www.socscistatistics.com/tests/ztest/default2.aspx

  • 간단 예시로 새벽 2시 ~ 2시 30분에 유입된 고객군의 비율을 본다고 해보자.

    

    • Sample 1 Proportion (or total number) = A의 해당 시간대 유입된 고객 수

    • Sample 1 Size = A의 전체 시간대 유입된 고객 수

    • Sample 2 Proportion (or total number) = B의 해당 시간대 유입된 고객 수

    • Sample 2 Size = B의 전체 시간대 유입된 고객 수

    • Significance level = 알파 = 0.05

    • Two-tailed

    • 그럼 이런 결과가 나온다. The value of z is -2.7259. The value of p is .00634. The result is significant at p < .05.

• 우선 P값이 우리가 정한 알파값보다 더 낮다. 따라서 이는 우연히 일어난 일이 아니고 A와 B군 중 하나는 이 시간대에 더 많이 혹은 적게 들어왔다는 뜻이다.

• 따라서 결과를 이렇게 도출할 수 있다: A와 B군의 새벽 2시에 유입된 비율은 통계적으로 유의미하게 다르다.

2. AB 평균 차이 👉 T-test for 2 Population Means

A와 B 고객군의 평균 차이가 있는지 확인하는 테스트 기법이다.

실제 내가 적용했던 사례를 또 공유한다. 현재 우리 서비스에서 코어 액션까지 가는데 약 6가지 단계가 필요하다. 이것을 단축시키는 홈 화면 버튼과 기존의 홈 화면 버튼 AB 테스트를 했었다. 단계가 단축되었으니 B 고객군의 1주일 평균 수면 횟수가 올라가는지 궁금했다.

• 무작위로 표본에 들어갈 신규 고객을 선정했다. 그리고 기존 플로우대로 사용한 고객은(A)과 단축된 플로우를 사용한 고객(B)의 평균 수면 횟수를 비교했다.

• 귀무가설 = A와 B는 같은 평균 수면 횟수를 가진다. 대립가설 = B는 더 많은 평균 수면 횟수를 가질 것이다.

• 계산 방법 복잡하니 바로 웹사이트 추천으로 넘어가겠다: https://www.evanmiller.org/ab-testing/t-test.html

  • 우리의 데이터를 입력해보자

    

    • Sample 1 = A 고객군의 1주일 전체 수면 횟수

    • Sample 2 = B 고객군의 1주일 전체 수면 횟수

    • Hypothesis = d <= 0 👉 가설에서 B의 수면 횟수가 더 많아질 것이라고 했다. 따라서 A 고객의 평균 횟수에서 B 고객의 평균 횟수를 빼면 d(=difference)가 0보다 작을 것이기 때문에 d <= 0을 선택했다.

    • Confidence = 95%

  • 그럼 이런 결과가 나온다.

    • Mean, Std Dev, Count

    • No significant difference

• 결과를 이렇게 도출할 수 있다: A와 B군의 1주일 평균 수면 횟수는 통계적으로 유의미하게 다르지 않다. 따라서 코어 액션까지 가는 단계는 수면 횟수에 영향을 미치지 않는다.

이러한 가설 검정을 할 때 꼭 주의해야 하는 것이 있다면 바로 “표본수”이다. 각 기법마다 얼마의 표본수가 필요한지 도출하는 계산법이 있지만 이론적으로는 표본에서 최소 30개의 데이터가 있으면 통계적으로 유의미하다고 볼 수 있다. 하지만 실제 서비스에 적용할 때는 유의미한 결과를 내기 위해 훨씬 (훨~씬) 많은 모수가 필요할 것이다.

데이터 분석이 초기 스타트업에 왜 필요할까? 데이터를 기반으로 결정하고 발전하는 것이 가장 합리적이기 때문이다. 그렇기에 서비스를 만드는 모두가 데이터를 이해해야 한다. 코인베이스 PM분께서 하신 이야기 중 기억에 남는 것이 좋은 PM은 데이터 사이언티스트의 일을 없애는 사람이라고 했다. 실제 이 PM분과 함께 일하던 데이터 사이언티스트 분께서는 팀원들을 교육하고 분석 업무를 자동화하여 그 팀을 떠나는 것이 KPI라고 이야기했다고 한다.

나의 데이터 분석 역할이 없어질 때까지, 그리고 팀의 데이터 분석 및 인사이트 도출 능력이 나를 뛰어 넘을 때까지 더욱 열심히 공부하고 노력하겠다! 😊