개발을 하려던 것이 아니었는데 개발을 하게 되었다
최근 저는 서비스를 개발하고 있습니다(사실 서비스라고 말하기도 좀 민망하네요). 제가 가진 종교와 관련된 상담 챗봇, 경전 해석 챗봇을 개발해서 테스트 중에 있습니다. 사실 원래 서비스를 개발하려던 게 아니었습니다.
저는 올해 중반까지만해도 코딩을 해 본적도 없고(다만 파이썬 정도 공부를 했었습니다), 개발은 더더욱 해 본 적 없는 그런 사람이었습니다. 저는 태어나서 지금까지 계속 학교라는 울타리에서 연구 활동을 해 왔습니다. 제 연구분야는 주로 반도체 신소재 개발과 관련이 있었습니다. 주로 실험실에서 화학약품들 다루어가면서 몸으로 뛰는 실험 쪽 분야였고, 학생들과 미팅, 실험결과 디스커션, 논문 및 보고서 작성이 제가 하는 주된 일이었습니다.
그러던 중 작년 여름에 갑자기 뇌출혈로 쓰러졌습니다. 다행히도 희박한 확률을 뚫고 생명을 보존할 수 있었고, 더 다행히도 큰 후유장애 없이 퇴원하게 되었습니다. 이로 인해 학교도 그만두게 되었구요. 퇴원 후에도 몸이 너무 좋지 않아 집에서 요양을 하던 중에 좀 늦게 챗gpt를 알게 되었고 한동안은 여느 사람들처럼 그냥 신기해 하는 정도에 머물러 있었습니다. 제가 종교성이 좀 강한 사람에 속합니다. 그래서인지 챗gpt에게 내가 가진 종교와 경전에 대해 얼마나 알고 있는지 테스트를 해 보게 되었습니다. 결과는 놀라움이었습니다. 당시 프롬프트 엔지니어링이라는 것을 처음 접하고 공부하던 중이었는데, 적절한 프롬프트를 주고서 제가 가진 종교와 경전에 대해 이런 저런 질문을 해 보니 매우 수준있는 답변을 출력해 낸다는 것을 발견했습니다. 때로는 저 스스로가 감동(?)하고 마음에 새길만한 답변을 내 놓기도 했습니다.
경전을 읽다가 이해가 안 가는 부분, 종교 활동과 관련된 고민들, 이런 것들이 생길 때마다 종교지도자를 찾아가서 조언을 듣는다는 것은 쉬운 일이 아닙니다. 그렇다고 그런 것들에 대해 답을 얻기 위해 인터넷을 찾아 헤매다 보면, 우리는 도움이 되는 사이트보다는 사이비스러운 컨텐츠에 더 쉽게 노출이 되고는 합니다. 종교지도자를 통해 답을 얻는 것이 가장 이상적이지만, 그것이 어려운 상황일 때, 저는 챗gpt가 신도들의 궁금증과 고민들에 (아주 깊이가 깊지는 않더라도) 건전한 답들을 빠르게 제공할 수 있는 아주 유용한 도구가 될 수 있을거라는 확신이 들었습니다.
그 때부터였습니다. 챗gpt를 통해 제가 가진 종교와 관련된 좋은 답변들을 끌어내기 위해 다양한 프롬프트를 개발하기 시작했습니다. 그리고 적절한 프롬프팅을 통해 챗gpt를 사용하면 제가 가진 종교를 믿는 사람들에게 얼마나 큰 도움이 될 수 있을지를 블로그를 열어 알려보려고 했습니다. 같은 종교를 가진 지인들에게도 소개하곤 했는데, 제가 바깥 활동을 못하고 집에서만 있다보니 활동에 큰 한계가 있었습니다. 블로그도 기대만큼 잘 되지 않았구요. 여하튼 이 때 아이디어를 내고 혼자 만들어 놓은 프롬프트가 몇 개 있습니다.
코드를 다룰 줄 모르니 '저 프롬프트들로 도움이 되는 서비스를 만들 수 있을텐데..'라는 생각만 하고 시간이 지나갔습니다. 몸 상태는 좋다 나쁘다를 반복하면서 조금씩 회복이 되기는 했지만 바깥 활동을 하기에는 여전히 무리였습니다(사실 지금도 그렇습니다). 지나고나서 보니 이미 올해 초에 한 스타트업에서 주님ai(현재는 초원ai)라는 훌륭한 서비스를 출시하고 운영 중에 있더라구요. 그 사실을 알게 된 후에도 제가 가지고 있는 프롬프트들을 이용하면 좀 더 좋은 서비스를 제공할 수 있을 거라는 생각이 계속 들었습니다.
그러던 중 우연히 유튜브에서 gpt api를 이용한 챗봇을 만드는 영상들을 보게 되었고, 이를 응용하여 홀린듯이 제 프롬프트를 적용한 챗봇을 개발하기 시작했습니다. 몸이 안 좋으니 쉬엄쉬엄할 수 밖에 없는데 다행히도 순조롭게 개발이 진행되어 드디어 제가 원하던 것을 streamlit을 통해 웹앱으로 구현할 수 있게 되었습니다. 제가 원하던 것을 판단하는 기준은 프롬프팅을 통해 오리지널 gpt에 비해 얼마나 신학적으로 적절하며 수준있는 답변을 내 놓느냐 하는 것이었습니다. 연구생활을 하면서 신학을 잠시 공부했던 것이 이러한 판단에 도움이 되었습니다. gpt가 한글로 내놓는 답변들은 이러한 기준에 미치지 못할 때가 많았습니다. 반면에 영어로 프롬프팅을 하고 영어 문답을 하면 이 기준을 뛰어넘는 답변들이 생성되었습니다. 이 문제를 해결하기 위해 결국에는 '한글로 질문 - 영어로 답변 - 영어답변을 한글로 번역하여 사용자에게 출력'이라는 방식을 사용하게 되었습니다.
어쨋거나 성공적으로 개발이 되어 기쁜 마음에 주변인들에게 뿌렸고, 좋은 반응들이 돌아왔습니다. 그렇게 혼자 성취감을 느끼던 중, 번역 사용량을 우연히 봤는데 맙소사...지인 대여섯명이 신기하다고 하루 사용했는데 하루만에 십수만자의 사용량이 뜨는 것을 목격했습니다. 서비스 자체가 챗봇이 질문에 대해 자세히 설명을 해주는 형식이기 때문에 대여섯명이 사용했는데 이 정도면 만약 더 많은 사람에게 배포하면 번역 api 사용량이 감당이 안 되겠구나는 직감적으로 느꼈습니다. 이 때 사용량 개념이 머리에 확 들어왔죠. 그래서 토큰 사용량도 체크해보니..음... ㅠㅠ 지인들에게 양해를 구하고 서비스를 내렸습니다.
이 때부터 혼자 토큰량, 번역 사용량 테스트하고 계산해가면서 어떻게 해야 비용효율적인 서비스가 될까 고민하기 시작했습니다.
웃기죠. 사실 저는 서비스를 만들려고 했다기 보다는 그냥 제가 원하던 것의 구현에 성공하여 주변인들에게 사용해보라고 권유하고 좋은 반응을 얻었을 뿐입니다. 그냥 이 정도에서 만족하고 끝낼 수도 있었는데 어느덧 저는 이걸 서비스 제공 개념으로 접근하고 있더라구요. 며칠 고민을 해서 나름의 방법을 찾았고, 답변도 적절한 길이로 조절하여 적당한 타협점을 찾았습니다. 그리고 다시 지인들에게 웹앱을 공개했는데 첫 반응이 "예전보다 답변이 더 컴팩트해졌네"였습니다. 아뿔사. 사실 적절한 타협 지점을 찾기는 했지만 컴팩트한 답변의 수준이 저 역시 맘에 썩 들지는 않던 차였습니다. 그렇지만 '그냥 이 정도면 무난하지'라고 합리화를 하고 있던 중 한 지인의 저 말은 굉장히 쎄하게 들리며 뭔가 잘못되었다는 것을 느꼈습니다. 이전의 좋은 반응은 질문에 대해 챗봇이 충분하고 자세히 설명을 제공했기 때문이었습니다. 제가 생각했던 챗봇의 wow 포인트도 이것이었구요. 저 역시 처음에 gpt가 해주는 상세한 답변에 놀라고 감동을 먹기도 했으니까요. 그런 wow 포인트가 사라지고 적당한 답변을 해주는 챗봇이 되어 사용자의 외면을 받으면 비용효율적인 서비스 운영이고 뭐고 다 의미없다라는 생각이 들었습니다. 더 이상 아무도 써주지 않는데 토큰 수 아끼는 게 무슨 의미가 있을까요. 그래서 토큰/번역 비용은 일단 나중에 생각해 보기로 하고 챗봇 답변 길이를 예전 수준으로 복귀시켰습니다. 지인분들도 다시 만족하셨구요.
이 과정에서 참 많이 생각하고 배웠습니다. 이런 과정을 겪고나니 디스콰이엇에 계신 메이커 분들의 이야기들이 좀 더 공감이 되기 시작했습니다. 사실 디스콰이엇은 10X AI Club에 대한 소개를 타 커뮤니티에서 보고, 새로운 정보를 얻을 수 있는 '인공지능 커뮤니티 가입' 개념으로 처음 접했었습니다. 들어와보니 필드에서 동분서주하시는 창업자 분들께서 많이 계신 곳이었고, 처음에는 그래서 이질감을 많이 느꼈었습니다. 그러던 중 위에 소개드린 것과 같은 과정을 거치게 되었고, 여기 만나뵙는 훌륭하신 분들과 서비스와는 비교도 안 되는 정말 작은 것을 만들면서 디스콰이엇이라는 커뮤니티와 조금씩 공명할 수 있게 된 것 같습니다. 제가 만든 조그마한 서비스를 어떻게 할 지, 몸이 회복될 때까지 조금씩 뭔가를 배워가면서 창업을 준비해볼지, 아니면 아예 다른 일을 할 지 아직 잘 모르겠습니다. 조그마한 거 하나 개발하면서 여기서 뵙는 모든 분들이 너무 대단하시다라는 생각이 들어 쓰기 시작한 글이 너무 길어졌습니다. 읽어 주셔서 감사합니다. 모두들 원하시는 바를 이루시면 좋겠습니다!
