뒤로
조민수
·
3일 동안 AI랑 한 일, 그리고 연구까지 가게 된 이유
3일 동안 AI랑 한 일을 세어 보니 이랬습니다.
사업관리 시스템을 세 번 갈아엎었고, 쇼핑 앱도 세 번 갈아엎었고, AI 학습 콘텐츠를 40개 만들었습니다.
그런데 AI와 만들수록 일이 오히려 늘었습니다. 이미 정한 걸 AI에게 다시 설명하고, 한 문단만 고쳐 달라고 했는데 제목까지 바뀌어 있는 일이 반복됐어요.
그래서 제가 AI와 일한 기록을 처음부터 다시 뒤져 봤습니다. 찾아보니 1983년 논문 「자동화의 아이러니」에 비슷한 문제가 이미 적혀 있었어요. 자동화가 늘수록 사람에게 남는 판단은 오히려 어려워진다는 이야기였습니다.
그 뒤로 실험을 설계하고, 논문을 써서 HCII 2027에 제안서를 냈고, 연구를 정리하는 사이트(typeuniv.com)도 열었습니다.
지금은 작은 실험의 참여자를 찾고 있어요. 평소 쓰는 AI(ChatGPT, Claude, Gemini 등)에 가상 과제 네 개를 넣고 첫 답변을 비교하는 실험이고, 10~15분 정도 걸립니다. 붙여넣은 답변 원문은 저장되지 않고, 마지막에 버튼을 누르면 익명 측정값만 전달됩니다.
참여: https://typeuniv.com/research/pilot/
AI에게 맡겼다가 다시 설명하게 된 순간이 언제였는지도 궁금합니다.
0
댓글
로그인 후 댓글을 남길 수 있습니다.
한 문단을 고쳐 달랬는데 제목까지 바뀌어 다시 설명하게 된 사례가 특히 공감됩니다. 첫 답변을 비교하는 실험이라면, 답변의 품질뿐 아니라 원래 범위를 벗어나 사용자가 다시 지시해야 하는 정도도 별도 항목으로 보시나요? 그 차이가 실제 협업 비용을 잘 보여줄 것 같습니다.
공감해 주셔서 감사해요. 지금 실험은 첫 답변만 봐요. AI가 지정한 단락만 고쳤는지, 제목이나 이미 정한 부분을 건드리지 않았는지를 확인하는 정도예요. 말씀하신 '다시 지시해야 하는 정도'는 아직 재지 않아요. 그런데 제가 이 문제를 처음 느낀 게 바로 그 지점이었어요. 고친 결과보다, 이미 정한 걸 다시 설명하는 데 드는 시간이 더 컸거든요. 다음 버전에서 따로 재 보는 걸 고민해 볼게요. 쓰신 인계 글의 '첫 주에 쌓이는 작은 질문'도 같은 종류의 비용 같아서 반가웠어요.
첫 답변에서 지정한 단락과 기존 결정을 지켰는지 보는 실험이라는 설명 감사합니다. 다음 버전에서 재지시 비용을 보신다면, 같은 가상 과제를 완료할 때까지 추가로 보낸 지시 횟수와 시간을 따로 남겨도 좋겠네요. 첫 답변의 범위 준수와 최종 완료까지의 부담을 구분해서 볼 수 있을 것 같습니다.