AI에게 1인 회사를 맡겨 37일 돌렸습니다. 사고 6건이 났고, 원인은 전부 하나였습니다.
지난달 여기에 실패 부검을 올렸던 사람입니다. 그때 "구독자 20명 목표에 외부 4명"이라고 적었습니다.
한 달 더 굴렸습니다. 오늘 아침 37호가 나갔고, 결호는 2회입니다. 구독자는 아직 8명이고 그중 4명은 접니다. 외부 4명, 7월 22일 이후 25일째 0명입니다.
이 글은 그 얘기가 아닙니다. 그건 지난번에 다 했고, 이번엔 다른 걸 적겠습니다.
이 프로젝트는 사람이 만드는 게 아니라 AI가 회사처럼 굴러가게 해놓은 실험입니다. 헌법, 규칙, 사건 로그, 판정일이 파일로 박혀 있고 AI가 그 안에서 판단합니다. 37일 동안 사고가 6건 났습니다. 6건 전부 코드 버그가 아니라 판단 사고였습니다. 그리고 원인이 하나로 모입니다.
사고 1 — 이미 끝난 일을 두 번 시켰습니다
AI가 저에게 "API 키 폐기해야 합니다", "서치콘솔 등록해야 합니다"라고 올렸습니다. 둘 다 이미 끝나 있었습니다. AI는 실물을 조회하지 않고 오래된 변경 기록 문구만 읽었습니다. 같은 날, 같은 원인으로 두 번.
사고 2 — 자기 성적표에 자기를 넣고 셌습니다
구독자 8명이라고 27일간 보고했습니다. 그중 4명이 제 메일함이었습니다. 여기서 진짜 문제는 "몰랐다"가 아닙니다. AI는 알고 있었고, 홍보글에는 "4명은 전부 저입니다"라고 정직하게 빼서 썼습니다. 그런데 내부 채점표에서만 도로 8로 합쳤습니다. 나중에 세어보니 본인 4 / 외부 4로 갈라 적힌 문서가 최소 5군데였습니다. 바깥에 쓴 숫자가 안에 쓴 숫자보다 정직했습니다.
사고 3 — 기록이 없는 걸 활동이 없는 걸로 읽었습니다
AI가 "우리는 한 달에 3번밖에 안 움직이는 회사"라고 진단했습니다. 근거는 데이터 폴더에 기록 파일이 없다는 것이었습니다. 실제로는 다른 채널에 17개가 더 올라가 있었습니다. 실제의 약 1/7로 보고한 겁니다. 제가 프로필을 직접 열어보고 알려줘서 잡혔습니다. AI가 스스로 잡은 게 아닙니다.
사고 4 — 사고 보고서를 쓰면서 같은 사고를 냈습니다
사고 2를 기록하면서 AI가 "회사가 명단을 한 번도 안 열었다"고 썼습니다. 그것도 틀렸습니다. 같은 폴더의 다른 파일에 명단이 이미 적혀 있었습니다. 재발 방지 규칙을 쓰는 그 문장 안에서 그 규칙의 구멍을 만들었습니다.
원인은 하나였습니다
여섯 건을 나란히 놓으니 같은 문장이 나왔습니다.
안 보이는 것을 없는 것으로 읽었다.
폴더에 파일이 없으면 "활동 0"으로 셌고, 화면 하나만 보고 "회사가 몰랐다"고 단정했고, 문서에 적힌 옛 문구를 실물보다 먼저 믿었습니다. AI는 자기 눈에 안 들어온 것을 "존재하지 않음"으로 처리합니다. 모름과 0을 같은 칸에 넣습니다. 이게 33일치 사고의 전부입니다.
그래서 규칙을 이렇게 바꿨습니다
- 무언가를 세기 전에 "이 대상의 기록은 어디에 있나"를 먼저 셉니다. 기록 위치를 못 대면 그 항목은 0이 아니라 모름으로 적습니다.
- 채널 수를 셀 때는 채널 목록을 먼저 나열하고 시작합니다. 목록 없이 세면 빠진 걸 알 수가 없습니다.
- "한 번도 안 했다" 같은 부정 단정을 쓰려면, 그 주장을 뒤집을 수 있는 파일을 먼저 열어봐야 합니다. 안 열었으면 "확인 안 함"으로 적습니다.
- 사건 로그는 추가만 되고 수정·삭제가 안 됩니다. 위 사고 2의 틀린 원문도 지우지 않고 그 아래에 정정을 붙였습니다. 지웠으면 "AI가 자기 실수를 고쳐 쓴다"는 더 큰 사고가 됐을 겁니다.
AI 에이전트에게 뭔가를 계속 맡겨보신 분이면 아마 같은 걸 보셨을 겁니다. 코드는 잘 짜는데, 자기가 못 본 걸 없다고 말하는 순간이 제일 위험합니다.
뭘 만들고 있는지 (짧게)
매일 아침 도착하는 3분짜리 AI 뉴스 브리프입니다. 수집 → 5꼭지 선별 → 작성 → AI 편집장 검수 → 발송까지 파이프라인이 혼자 돕니다. 읽는 데 3분을 넘으면 그 호는 발송 자체가 막힙니다. 개발자 아니어도 읽히는 쉬운 말, 광고 없음, 클릭 한 번으로 해지.
실물부터 보시죠 (구독 안 하셔도 됩니다) — 지난 호 전부:
📰 https://saintnewsroom.com/archive
받아보시려면: 👉 https://saintnewsroom.com?src=dq (이메일만, 더블 옵트인)
질문 하나 드립니다. AI 에이전트에게 판단까지 맡겨보신 분들, 에이전트가 "없습니다 / 안 했습니다"라고 말할 때 그게 진짜 없는 건지 못 본 건지를 어떻게 구분하시나요? 저는 아직 사람이 눈으로 잡는 것 말고는 방법을 못 찾았습니다. 9월 3일이 이 실험의 판정일이고, 그때 결과는 숫자 그대로 다시 여기 올리겠습니다.
매일 아침 7시, 딱 3분에 끝나는 AI 뉴스 브리프
댓글
로그인 후 댓글을 남길 수 있습니다.
아직 댓글이 없습니다.