웹페이지 한 장을 AI 여러 개에 나눠 맡겼다가 비용이 50배가 됐습니다

10월 28일 서울미래컨퍼런스에서 저희가 멀티 에이전트로 실패했던 이야기를 발표했어요. 기사로도 나왔는데, AI 여러 개를 엮어 보신 메이커분들이 겪을 만한 일이라 여기에도 정리해 둡니다.

나눠 맡기면 품질은 오를 줄 알았어요

웹페이지 한 장을 AI 하나로 만들면 15분, 2,000원 정도였습니다. 기획, 디자인, 개발, 검수로 역할을 나눠 여러 AI에 맡기면 적어도 품질은 좋아질 거라고 봤어요. 결과는 1시간 30분에 10만 원이었고 오류는 오히려 늘었습니다. 한마디로 결과물이 처참했어요.

막힌 곳은 일을 넘겨주는 순간이었어요

• 앞 AI가 90점짜리를 넘기면 다음 AI는 그 위에서 또 90점을 냅니다. 단계가 늘수록 점수가 곱으로 깎였어요.
• 비용을 아끼려고 맥락을 줄여 넘기면 엉뚱한 게 나오더라고요. "새가 장애물을 피하는 게임"을 요청했는데 마리오풍 배경 따로, 새 따로 노는 화면이 나왔습니다.
• 발표에서 인용한 구글 연구진 실험에서도 조율 없이 협업한 AI의 오류가 혼자 일한 AI의 17.2배였어요. 중간에 조율 역할을 둬도 4.4배였고요.

만드는 건 하나, 검사는 여럿으로 바꿨습니다

만드는 일은 맥락이 끊기지 않게 AI 하나에 맡기고 검수만 나눴어요. 글, 이미지, 화면 구성을 각각 다른 AI가 봅니다. 만든 AI가 자기 결과를 검사하면 같은 실수를 그냥 넘기기 쉬워서 만드는 과정을 모르는 AI에게 검수를 맡겼어요. 지금은 웹페이지 한 장에 드는 AI 이용료가 약 1,500원입니다.

발표 끝에는 AI에 맡길 일을 고르는 기준도 말씀드렸어요. 반복되는 일인지, 되돌릴 수 있는 일인지, 판단 기준이 있는 일인지 먼저 보자는 거였습니다.

발표 내용을 다룬 기사: 서울신문

같은 발표를 다룬 기사: 벤처스퀘어

만든 도구: 재밋

AI 여러 개를 엮어 쓰실 때 어디서 가장 많이 막히셨나요? 한 줄만 남겨 주세요.