시간 초과율 3.5%p 하락 중 2.6%p는 도구 몫이 바뀐 것이었습니다

저는 PC 한 대에서 AI 코딩 에이전트 여러 개에 일을 나눠 맡기고, 그 기록을 남기는 도구를 만들고 있습니다.

밤에 일이 몰리면 시간 초과로 끊기는 턴이 늘어나는지 세어 봤습니다.

턴은 에이전트에게 일을 한 번 맡겨 끝난 단위인데, 10월 8일부터 쌓인 52,299건 중 시간 초과가 1,246건이었습니다. 이걸 날짜와 도구로 잘랐어요.

나온 것
- 첫 구간 6.7%에서 마지막 구간 3.2%로 3.5%p 내렸는데, 그중 2.6%p는 도구 몫이 바뀐 효과
- 하루 시간 초과율은 7.2%에서 이틀 뒤 3.3%로 내려감
- 10-23 하루를 낮과 밤으로 가르면 5.2%와 5.5%, 차이는 0.4%p

밤에는 시간당 턴이 낮의 2.1배로 몰렸는데도 비율이 거의 같았고, 밤이 문제라는 가설은 여기서 접었습니다.

대신 도구별로 보니 그림이 달랐어요. 도구별 누적값은 세 번만 읽어 둬서 하루 경계와는 어긋나는 세 구간으로 잘랐습니다.
Claude Code 턴의 시간 초과율은 세 구간 내내 5.9%와 7.5% 사이를 오갔고, Antigravity 턴은 1.8%에서 0.4%로 내려갔습니다.

그 사이 Claude Code 몫이 87.0%에서 40.7%로 줄었습니다. 도구 안에서 비율이 내린 효과는 0.9%p에 그쳤고, 하락의 대부분은 어느 도구에 일을 얼마나 나눠 줬느냐에서 왔습니다.

세는 법은 단순한데, 앞 구간의 도구별 비율에 뒤 구간의 도구 몫을 곱해 더하면 몫만 바뀌었을 때의 비율이 나오고, 실제 비율과의 차이가 도구 안에서 바뀐 몫입니다.

놓친 것도 있어요. 하루 값은 매일 09:00 누적값으로 뺐지만 도구별 값은 그 시각에 읽지 않아 하루 단위 분해는 못 했습니다.
두 도구가 받은 일의 구성도 달라서 자동 검토 비중과 성공 턴의 걸린 시간이 다르고, 같은 일을 맡겼을 때 어느 쪽이 더 자주 끊기는지는 이 기록으로 가릴 수 없습니다.

이 기록은 제가 만드는 해줘 로컬이 남긴 것이라, 홍보 맞습니다.

다음에는 매일 09:00 읽기에 도구별 누적값을 같이 넣고, 구간별 성공 턴 p50과 p90을 도구별로 세어 시간 초과율 옆에 둘 생각이에요. 밤낮은 한 시간 단위로 다시 셉니다.

출처: https://haejoe.com/lab/timeout-rate-rises-at-night?utm_source=disquiet&utm_medium=community&utm_campaign=timeout-rate-rises-at-night