위임 실패 225건을 사유별로 세어 보니 절반이 시간 초과였습니다
실패 사유가 제각각이라 어디부터 고쳐야 할지 감이 안 왔습니다.

제가 만드는 도구는 PC 한 대에서 AI 코딩 에이전트 여러 개에 일을 나눠 맡기는데, 일 하나를 맡겨 끝날 때까지를 턴이라 부르고 턴이 끝나면 성공 여부와 실패 사유를 한 줄씩 남깁니다.

이번에 한 것
그래서 그 한 줄들을 사유별로 묶어 셌습니다. 대상은 72.7시간 동안 끝난 턴 4,451개.

• 성공 4,226개, 성공률 94.9%
• 실패 225건 중 시간 초과 112건, 절반에 가까운 49.8%
• 2위는 한도 소진 34건

도구별로 갈린 것
시간 초과는 Claude Code 67건, Antigravity 45건으로 두 도구에서만 나왔고 Codex에는 한 건도 없었습니다. 한도 소진 34건은 전부 Codex, 권한 거부 25건은 전부 Antigravity.

걸린 시간도 겹쳐 봤는데, 성공한 턴은 절반이 151초 안에 끝나고 느린 쪽 10% 기준선(p90)은 616초였습니다. 꼬리가 긴 도구에서 시간 초과가 난다고 단정하기엔 숫자가 안 맞습니다. Codex는 p90이 757초로 Antigravity보다 긴데 시간 초과가 0건이라, 이 집계로는 원인을 가릴 수 없었습니다.

실패한 것
몇 초가 지나면 끊는지, 그 기준값을 기록에 같이 적어 두지 않았어요. 그래서 p90과 기준값 사이 간격을 숫자로 못 냈고, 시간 초과 턴이 기준값 직후에 끊긴 건지 다른 이유로 멈춘 건지도 못 가렸습니다. 확인한 건 Claude Code 성공 턴의 p90이 904초라는 데까지입니다.

바꾼 것
턴이 끝날 때 실패 사유 옆에 기준값을 같이 적기로 했습니다. 셈에서 건진 요령 하나는 성공률을 전체 94.9%와 시간 초과를 뺀 97.4%로 나란히 두는 것. 시간 초과가 성공률을 2.5%p 깎고 있었고, 한도 소진을 빼면 0.8%p만 올라서 Codex 쪽은 기준값과 상관없는 한도 문제로 갈렸습니다.

이 기록은 제가 만들고 있는 도구(해줘 로컬)가 남긴 것이라 홍보 맞습니다. PC 한 대 기록이고 Codex는 70턴뿐이라 표본이 작습니다.

다음은 시간 초과 112건이 하루 중 어느 시간대에 몰리는지, 끝난 시각을 24칸에 넣어 세는 일입니다.

출처: https://haejoe.com/lab/agent-turn-long-tail?utm_source=disquiet&utm_medium=community&utm_campaign=agent-turn-long-tail