나는 두 번째라고😊 보고 코드를 뒤졌다. 계측이란 손님이 어떤 화면에 도착했는지, 어떤 버튼을 눌렀는지를 기록으로 남기는 일이다. 화면 곳에 '여기 왔음'이라고 알리는 신호를 심어 두는 식이다. 이 신호를 이벤트라고 부른다.
신호를 엉뚱한 방에 심어 뒀다
문제는 '랜딩 도달' 이벤트가 심긴 위치였다. 광고를 누르면 손님은 테마를 고르는 목록 화면에 떨어진다. 꿈해몽을 볼지, 사주를 볼지 고르는 화면이다. 그런데 '랜딩 도달' 신호는 그 목록 화면이 아니라, 테마를 하나 고르고 넘어간 다음 화면에 심어져 있었다.
그러니까 우리가 '랜딩 도달'이라고 부르던 숫자는 실제로는 '테마를 고른 사람 수'였다. 목록 화면에서 둘러보다가 그냥 나간 사람은 애초에 세어지지 않았다. 이미 한 단계를 통과한 사람만 모아 놓고 "여기서 다음 단계로 간 비율"을 재고 있었으니 100%에 가까운 게 당연했다.
차이는 숫자로도 드러났다. 광고 쪽 집계는 15명이 들어왔다고 했는데, 우리 쪽 기록은 7명이었다. 그 사이에 날아간 8명이 바로 목록 화면에서 아무것도 고르지 않고 떠난 사람들이다. 가장 중요한 사람들이었다. 왜 테마를 안 골랐는지, 목록이 어려웠는지, 광고에서 기대한 것과 화면이 달랐는지 — 거기에 답이 있는데, 그 구간이 통째로 기록에 없었다.
규칙: 계측은 광고가 떨어지는 화면에서 시작한다
고친 방법 자체는 간단했다. '랜딩 도달' 신호를 테마 목록 화면으로 옮겼다. 손님이 광고를 누르고 처음 마주하는 바로 그 화면이다. 그 뒤에 '테마 선택'이라는 칸을 따로 하나 더 만들었다. 칸이 하나 늘었고, 100%였던 전환율은 눈에 띄게 내려갔다. 숫자는 나빠졌지만 그제야 진짜였다.
그래서 규칙으로 적어 뒀다. 계측은 광고가 실제로 떨어지는 화면에서 시작한다. 당연해 보이지만 실무에선 자주 어긋난다. 코드를 심는 사람 머릿속의 '시작'과, 광고 설정에 적힌 '도착 주소'가 서로 다르기 때문이다. 둘이 같은지 확인하는 사람이 없으면 아무도 모른 채 몇 주가 지나간다.
반대 방향으로 틀린 적도 있다
비슷한 사고를 전에도 겪었다. 광고 카드를 둘로 나눈 적이 있다. 어느 쪽이 잘 먹히는지 보려고 쪼갠 건데, 결제 기록 중에 어느 카드에서 왔는지 꼬리표가 없는 건들이 있었다. 출처가 없으니 시스템이 양쪽 모두에 그 결제를 붙였다. 한 건이 두 번 세어졌다.
각각만 보면 둘 다 성과가 좋아 보였다. 그래서 이후로는 카드를 나누면 나누기 전후의 합계부터 맞춰 본다. 쪼개기 전 전체 합과 쪼갠 뒤 각 조각의 합이 같아야 한다. 안 맞으면 어디선가 새거나 겹치고 있다는 뜻이다. 계측은 한쪽으로만 틀리지 않는다. 덜 세기도 하고 더 세기도 한다.
메이커에게 남기는 한 가지
숫자가 예쁘게 나오면 일단 의심하는 습관을 들이는 게 좋다. 100%, 0%, 딱 떨어지는 정수 비율은 대개 성과가 아니라 계측 사고의 신호다.
확인하는 방법도 거창하지 않다. 서로 다른 두 군데에서 같은 걸 세어 보고 숫자를 맞춰 보면 된다. 우리는 광고 쪽 15명과 우리 쪽 7명이 어긋난 걸 보고 알았다. 숫자가 하나뿐이면 틀려도 틀린 줄 모른다. 둘이면 안다.
광고비를 쓰기 전에 꼭 해 볼 일은 이것 하나다. 내 광고를 직접 눌러 본다. 어느 화면에 떨어지는지 눈으로 확인한다. 그 화면에 신호가 심겨 있는지 본다. 5분이면 끝난다. 우리는 그 5분을 아끼려다 몇 주치 숫자를 믿을 수 없게 만들었다.
숫자를 고치고 나니 전환율은 내려갔지만, 어디서 손님이 떠나는지는 비로소 보이기 시작했다. 다음에는 글 이야기를 해야겠다. AI가 쓴 티는 내용이 아니라 줄바꿈에서 난다.
자몽 — 꿈해몽·사주·타로: https://jamongdream.com
구글 플레이: https://play.google.com/store/apps/details?id=com.dreamapp.jamong
자몽 — AI 꿈해몽·사주·타로
댓글
로그인 후 댓글을 남길 수 있습니다.
7주 만에 실제 앱을 출시하셨다는 게 정말 인상적이네요. 특히 “판단은 사람이, 구현은 AI가”라는 방식이 재미있었습니다. 저도 AI를 활용해서 혼자 여러 앱을 만들고 있는 개발자인데, 대화가 끝나면 맥락이 사라지는 문제를 어떻게 해결할지 계속 고민하고 있습니다. 결정과 그 이유를 함께 메모리에 남긴다는 접근이 특히 공감됐어요. 다음 글도 기대하겠습니다! 🙂