[🚿SHOWER INSIGHT]아빠때는 prompt를 직접 입력하고 그랬어😅

SHOWER INSIGHT

샤워를 할 때 모든 노이즈가 차단되면서 하루동안 머리에 우겨넣었던

인풋들이 정리되고 구조화되는 경험을 하곤 합니다.
SHOWER INSIGHT는 샤워하면서 정리한 인사이트와 생각을 정리합니다.

(원시적이었던 초기 퍼스널 컴퓨터)

샤워를 하면서 두 달 전 교수님과 챗GPT가 가져오는 변화에 대해 나눴던 대화가 떠올랐습니다. 교수님은 컴퓨터가 처음으로 보급되던 시절에 군복무를 하셨는데, 그때 MS DOS와 터미널 사용법을 익히면서 문서를 작성했다고 말씀하셨습니다. 그리고 당시에는 MS DOS, 터미널 사용법을 가르치는 학원도 많이 생겨났다고 합니다. 이어서 교수님은 그런 시대상과는 반대로 절대로 DOS를 공부하지 않았다는 소대장의 이야기를 해주었습니다. 어차피 병사들한테 시키면 그만이니 공부 안했을 수도 있지만,

소대장 왈

어차피 앞으로 더 쉬운 방법이 나오면 쓸 일이 없을건데 뭐하러 공부하나

그로부터 몇 년 후에 실제로 GUI 기반의 컴퓨터가 나오면서 DOS를 사용할 필요가 없어졌습니다. 물론, 개발자들에게는 터미널이 편하지만.. 교수님은 챗GPT의 등장과 함께 꽤나 많은 프롬프트 강의가 나오는 상황에서 그 소대장이 떠올랐다고 합니다.

실제로 챗GPT의 등장 이후 좋은 프롬프트를 작성하는 방법, 각종 프레임워크에 대한 강의가 많이 나왔습니다. 저 또한 Role, Objective, Format, Context, Information 등의 요소를 조합하는 프롬프트 방식을 사용하여 챗GPT를 활용하면서 놀라운 경험을 했습니다. 앞으로는 모든 사람들이 프롬프트 엔지니어링을 배워야 한다고 생각하며 유튜브 영상까지 제작했습니다. 그러나 챗GPT를 사용하면 할수록 교수님이 말씀해주신 소대장 일화가 생각났습니다.

이거 생각보다 원시적이고 불편한데?

그 이유는 크게 2가지 입니다.

(영화 "첫키스만 50번째" 마지막 장면)

첫째, 사용자가 직접 Context Window를 고려해야 한다는 것입니다. Context Window는 쉽게 말해 대화형 언어 모델(LLM)의 기억력을 나타내는데, 대화가 길어지면 이전의 대화가 단기기억에서 제외됩니다. 즉, 사람으로 치면 까먹는 것과 같은거죠.(글 예고: 첫키스만 50번째 하는 GPT의 Stateless) 이로 인해 GPT는 전체적인 맥락을 자주 잃어버리게 됩니다. GPT와 함께 장기적인 프로젝트를 진행하거나 긴 워크플로우를 진행하게 되면 전체 맥락을 자주 잃어버리게 되고, 이를 해결하기 위해 Context Window 밖으로 나간 내용들을 정리하여 다시 넣어주어야 하는 귀찮은 과정을 거쳐야 합니다. 위로 올라가서 맥락을 복사하고 붙여넣고, 다른 GPT를 이용해 요약하고 있는 스스로를 발견했습니다.

(세종대왕 맥북 사건 짤)

둘째, 사용자가 직접 Hallucination(환각효과)을 해결해야 한다는 것입니다. Hallucination은 GPT가 학습한 데이터 내에서 답변을 생성하다가 발생하는데, 이는 LLM의 능력을 과소평가하게 되는 가장 큰 원입입니다. Hallucination을 해결하기 위해서는 GPT를 학습된 데이터 내에서 답을 하는 일종의 검색엔진으로 바라보는 것이 아닌, 주어진 텍스트를 이해하고 생성하는 언어 추론 모델로 바라보고 사용해야 합니다. 이를 위해서는 GPT에게 정확한 정보와 데이터를 제공하고 이에 기반하여 추론하고 생성하도록 해야 하는데, 이는 매번 사용자가 필요한 정보를 직접 찾아서 프롬프트에 넣어주어야 하는 번거로움이 있습니다.

이 두가지 문제를 모르고 사용하시는 분들은 챗GPT의 능력에 실망하게 되거나 잘 사용하지 않게 됩니다. 이러한 문제를 이해하여 좋은 프롬프트를 작성할 수 있는 사람이라고 하더라도, 끊임없는 복사-붙여넣기의 늪에 빠진 자신을 발견합니다.

챗GPT의 등장으로 생산성이 몇 배로 좋아졌습니다, 하지만 아직은 원시적입니다.

지금의 방식을 몇십년 후의 제 자식에게 설명한다면, 무용담처럼 이렇게 말할거 같네요.

아빠때는 prompt를 직접 입력하고 그랬어😅

다음 글에서는 이러한 문제를 해결하고자 해외의 개발자 커뮤니티를 필두로 LLM의 주류가 되고 있는 에이전트에 대해서 다뤄보겠습니다. 또한 Langchain 보다 더 주목해야 하는 프레임워크라고 생각하는 LlamaIndex에 대해서도 10X AI에서 연재하고자 합니다!

읽어주셔서 감사하고 댓글로 토론 언제나 환영입니다:)