AI 에이전트 위임 3만 7천 건, 실패 1위가 한도 소진이라 도구별로 갈라 봤습니다
저는 PC 한 대에서 AI 코딩 에이전트 네 개에 일을 나눠 맡기는 도구를 만들고 있어요. 위임이 끝날 때마다 기록이 한 줄씩 남는데, 10월 8일부터 314시간 동안 37,743건이 쌓였습니다.

성공률은 89%였습니다. 숫자만 보면 그럭저럭인데, 실패 4,061건을 열어 보니 1위 사유가 한도 소진이었습니다.

열흘 전에 셌을 때는 1위가 시간 초과였고, 그보다 전에는 한도 소진이었어요. 읽을 때마다 1위가 바뀌니 사유별 합계만으로는 뭘 고쳐야 할지 정하지 못했고, 이번에는 실패를 네 도구별로 갈라 셌습니다.

나온 것
- 한도 소진 1,670건 중 93%가 Antigravity 한 도구
- Antigravity를 빼면 한도 소진은 3위로 내려가고, 1위는 provider_failed(도구 쪽이 응답을 못 준 실패)
- 한도 소진 건을 분모에서 빼면 성공률은 89%에서 93%

도구별 성공률 폭도 달라졌어요. 빼기 전에는 95%와 78%로 17%p 벌어졌는데, 빼고 나면 7%p 안으로 모입니다. Codex는 78%로 네 도구 중 제일 낮았지만, 한도 소진을 걷어 내니 91%로 Devin보다 위에 오더군요.

시간 초과 437건은 반대로 Claude Code가 66%를 차지했습니다. 성공한 위임이 오래 걸리는 순서와 시간 초과가 잦은 순서를 나란히 두니, 네 도구 중 자리가 같은 건 Devin 하나뿐이었어요.

세다가 바꾼 결정이 하나 있습니다. 누적 성공률 하나로 도구를 평가하던 걸 그만두고, 한도 소진을 뺀 성공률을 도구별로 따로 봐요. 한도 소진은 도구 한 곳에 몰려 있고 provider_failed와 시간 초과는 도구마다 퍼져 있어서, 섞어 두면 어느 쪽을 손대야 할지 안 보이거든요.

이 기록은 제가 만들고 있는 해줘 로컬이 남긴 것이라 홍보 맞습니다.

다음에는 한도 소진 1,670건이 언제 쌓였는지 한 시간 단위로 잘라 셉니다. 몇 번의 몰림에서 온 것인지, 몰림 밖 시간의 1위 사유가 무엇인지를 숫자로 적을 생각이에요.

출처: https://haejoe.com/lab/agent-fail-cause-flips-hourly?utm_source=disquiet&utm_medium=community&utm_campaign=agent-fail-cause-flips-hourly