완주가 나흘째 0명이었습니다. 고장인 줄 알았는데 1번 문제였습니다

딸깍(매일 두뇌 퍼즐 10문제)에서 10월 3일부터 6일까지 나흘 동안 10문제를 끝까지 푼 사람이 한 명도 없었습니다.

시작한 사람은 11명이었어요. 평소 완주율 25%로 계산하면 나흘 연속 0이 나올 확률은 4% 정도라, 처음엔 기록 장치가 고장 났다고 생각했습니다.

먼저 계측을 의심했다

날짜별 10문제 순서를 코드로 다시 뽑아서, GA에 남은 문제별 답변 기록과 하나씩 맞춰 봤습니다.

• 9/29~10/2: 「10번 문제에 답한 사람」과 「완주」가 날마다 정확히 같았습니다 (2, 1, 2, 4)
• 10/3~10/6: 10번 문제까지 간 사람이 0명

기록 장치는 멀쩡했습니다. 정말로 끝까지 간 사람이 없었던 거예요.

어디서 떠났나

9/14부터 3주 동안 풀다가 떠난 기록이 82건 있습니다.

• 58건은 아무것도 안 해 보고 떠났고
• 그중 49건이 1번 문제였습니다

10월 3일의 1번은 이런 문제였습니다.

색깔을 영어 이름 알파벳 순서로 숫자로 바꾼 뒤, 두 자리 덧셈을 해서 답을 색으로 적기

그날 시작한 3명이 모두 이 문제를 보자마자 나갔습니다. 사이트를 연 뒤로 이 문제에 답이 들어온 적은 한 번도 없었어요.

1번을 고르는 규칙이 난이도를 보지 않았다

첫 화면에 예시가 없으면 사람들이 떠나서, 9월에 「예시 줄이 보이는 문제를 1번에 세운다」는 규칙을 만들었습니다.

그런데 그 규칙은 모양만 봤습니다. 예시가 네 줄 있으면 아무리 어려워도 1번이 될 수 있었어요.

오늘 바꾼 것

• 1번 후보 183개에 1~5점 난이도를 매겼습니다. 실제 정답률이 쌓인 문제는 그 숫자를 우선했습니다.
• 내일부터는 그날 나오는 문제 셋 중 가장 쉬운 문제가 1번에 섭니다. 앞으로 60일을 미리 돌려 보니 1번이 어려운 날(4~5점)이 12일에서 6일로 줄었습니다.
• 두 번째·세 번째 힌트가 열리기까지 기다리는 시간도 25초·60초 → 10초·25초로 줄였습니다.

효과는 3주 뒤 「1번에서 아무것도 안 하고 떠난 비율」로 확인하려고 합니다. 하루에 시작하는 사람이 몇 명뿐이라, 그 정도는 모아야 차이를 말할 수 있을 것 같아요.

첫 문제로 첫인상이 정해지는 서비스를 만들고 계신 분들은, 첫 화면에 무엇을 두시는지 궁금합니다.

---

딸깍 — 매일 자정에 열리는 두뇌 퍼즐 10문제