데이터 분석, 도구 세팅은 시작에 불과하다

저희 팀은 사용자 행동 데이터 수집과 분석 과정을 혁신하기 위해 노코드 이벤트 트래킹 툴인 Measured(메저드)를 만들고 있습니다. 제품을 만드는 사람들 누구나, 사용자가 우리 제품을 정말 잘 쓰고 있는지 알기 위해 어떻게 행동 데이터를 수집하고 분석할지 고민하게 됩니다. 저희도 이런 고민을 겪는 여러 조직들의 목소리를 오랫동안 듣다보니 그 과정에서 일어나는 세세한 사건들을 꽤 축적할 수 있었는데요, 오늘은 그 중에서도 데이터를 이제 막 수집하고 분석하려는 니즈가 생기는 팀이 공통적으로 겪게 되는 과정 세 가지를 정리해보았습니다.

제품을 만들다보면 행동 분석이 필요한 시점이 생각보다 일찍 옵니다.

제품을 출시한지 얼마 안 됐거나 출시하기 전이라면 주요 기능을 완성하기에도 빠듯할 때 입니다. 그러다보니 이런 초기 타이밍엔 팀 여력에 따라 데이터 수집 & 분석 세팅 작업의 우선순위가 밀리곤 합니다. 왜냐면 이 작업의 우선순위를 높이기에는 어떤 것을 분석하고 싶은지에 대한 고민, 이를 위한 여러 역할 간의 의사소통, 개발 내용에 반영하기 위한 시간과 노력 등 실행의 무게가 생각보다 가볍지 않고, 그와 동시에 아직 사용자 수가 너무 적은 시점이다보니 수집 이후에 효용을 얻기 위한 명확한 근거를 찾기 애매하기 때문입니다. 하지만 막상 제품을 출시하고나면 사용자가 열 명만 넘어가도 제품 만드는 입장에서 궁금한 점이 계속 쌓이기 마련입니다. 수학적으로 30명 이상은 되어야 결과가 유의미하다곤 하지만 그 전에 당장 제품을 전달한 열 명이 의도대로 제품을 쓰고 있는지, 공통적으로 막히는 지점이 있지 않은지, 예상과 다르게 어떤 행동을 더 하고 있을지에 대한 질문이 쌓이게 됩니다. 인터뷰를 매일 요청하는 것도 한계가 있다보니 데이터 수집에 대한 고민이 일찍 떠오를 수 밖에 없게 됩니다.

쌓인 데이터를 어떻게 활용할지도 계속 고민입니다.

위와 같은 상황에서도 품을 들여 Google Analytics, Amplitude, Mixpanel 등의 데이터 수집 도구를 세팅하고 나면 본격적으로 데이터 수집이 시작되고, 그러면서 새로운 문제들을 마주하게 됩니다. 분석을 하고자 할 때, 사전 논의대로 데이터가 정확히 수집되고 있는지, 분석 도구의 세팅 값에서 누락된 게 없는지(이 세팅대로 나온 결과를 정말 믿어도 되는지), 지금 제품 목표를 위해 어떤 행동을 분석하는 게 더욱 의미있을지, 지금 도입된 기술로 어떤 분석까지 가능할지, 분석 도중에 니즈가 생긴 새 행동 데이터 수집이나 기존 수집의 수정 작업을 팀 내에서 어떤 우선순위로 진행되게 할 수 있을지 등. 제품이 계속 변경되고 데이터가 더 많이 수집될수록 끊임없이 다양한 문제를 마주하게 되고 이런 고민이 적시에 해소되지 못하면 데이터 수집과 분석 사이에 해소하기 어려운 산맥이 쌓이게 된 채, 데이터 기반 의사결정이라는 말이 무색해지는 문화에 젖어들게 됩니다. 도구 세팅을 다 해놓고 충분한 효용을 못 얻는 이런 상황은, 신형 아이맥을 사서 매장에 메뉴판 띄우는 용도로 쓰는 것과 같은 격입니다.

팀의 내적 동기가 정말 중요하다는 걸 알게 됩니다.

인터넷을 조금만 뒤져봐도 데이터 수집 도구를 세팅하고 분석 과정을 따라하게 해주는 가이드는 정말 많습니다. 하지만 그런 방법들 모두, 지금 이 순간의 우리 제품과 우리 팀에 딱 맞기엔 어려운 경우가 보통입니다. 데이터 기반으로 의사결정하는 문화가 정착되기 위해선 어느 정도 반직관적인 노력이 필요합니다. 마치 한 사람이 스스로의 운동 루틴을 만드는 것과 같아서 당장 들어가는 노력대비 눈에 보이는 효용이 없어보여도 그 자체의 중요성과 장기적인 목표에 대한 의지를 가지고 포기하지 않은 채 습관화하는 시간이 필요합니다. 그런데 도구를 다 준비했다고 해서 이런 습관이 저절로 형성되진 않습니다. 가장 좋은 방법은 단편적인 컨설팅이나 외부 의견에 의존하지 않고 이미 이 효용을 알고 내적 동기가 충분한 구성원이 내부에 있는 상황일텐데요, 채용에 관한 얘기이므로 이 또한 절대 쉬운 일이 될 수 없습니다.

이미 이런 문제들을 겪어 보셨거나 겪는 중인 팀들이 많이 계실 것입니다. 저희 팀은 Measured라는 서비스명으로 이 모든 문제를 일회성으로 끝나지 않게 지속 해결할 수 있는 방법을 제공하고 있는데요, 더 관심 있으신 분들은 글에 첨부된 메저드 디스콰이엇 제품 페이지를 찜해주시거나 댓글을 달아 구독해주세요!