GPT-4 Turbo, 제가 직접 한번 써보겠습니다.

얼마 전 OpenAI DevDay에서 🔥 GPT-4 Turbo가 공개되었죠. 기존에 비해 16배 늘어난 토큰 수, instruction following의 개선, 맥락 파악 능력 향상 등의 발전이 있었습니다. 휴튼에서도 '휴키피디아' 기능을 통해 간단하게 한번 도입해 봤습니다.

📜 휴키피디아?

휴튼의 유저는 매주 제공되는 1:1 맞춤형 질문에 대한 답을 작성할 수 있는데요, 그 답변(글)들을 모아서 나만의 위키피디아 페이지(비스무리한 것)를 생성할 수 있습니다. '휴키피디아'라는 이름의 이 기능은 유저 인터뷰를 통해 파악한 JTBD를 위해 추가한 기능이에요. 자세한 내용은 이전 메이커로그를 참고해 주세요!

휴키피디아에는 아래와 같은 항목들이 포함됩니다.

• 이 유저의 기본 정보

• 이 유저의 생애

• 이 유저의 주요 키워드 세 개

• 이 유저에 대한 단편적인 사실들

• 이 유저의 예상 MBTI 유형

• 이 유저에 대해 추론해볼 수 있는 사실들

• 이 유저와 비슷한 역사적 인물

예를 들어 저의 휴키피디아는 이런 모습입니다. 👇

👍 GPT-4 Turbo로 갈아끼워 봤더니...

당연한 얘기이지만, 많은 질문에 길고 상세한 답을 할수록 휴키피디아의 내용 역시 풍부&정확해집니다. 하지만, 그럼에도 불구하고 이전까지는(=GPT-3.5) 중요한 내용이 누락되거나 심지어 틀린 사실들도 포함되어 있었습니다. 또 아웃풋의 길이가 너무 짧기도 했고요.

그리고 바로 며칠 전, 모델을 GPT-4 Turbo로 바꿔봤습니다. 그랬더니 아래 세 가지가 눈에 띄게 개선되었어요.

1. 누락되는 내용 감소 : 휴키피디아는 어쨌든 요약 기능이기 때문에 누락되는 내용이 있을 수밖에 없는데요, 그럼에도 불구하고 GPT-3.5를 썼을 때보다 GPT-4 Turbo를 썼을 때 누락되는 내용이 크게 줄었습니다.

2. 자연스러운 연결 : GPT-3.5를 썼을 때는 서로 다른 질문에 대한 저의 답변들을 자연스럽게 이어붙이지 못한다는 느낌을 받았습니다. 그래서 가끔 어색하거나 쌩뚱맞은 결과가 나오기도 하고요. 하지만 GPT-4 Turbo는 확실히 서로 다른 질문에 대한 답을 잘 이어붙이고 이것을 자연스러운 맥락으로 풀어냅니다.

3. 길이 : 프롬프트는 건드리지 않고 모델만 갈아끼웠을 뿐인데 아웃풋의 길이가 눈에 띄게 늘었습니다. 나에 대한 페이지는 길고 자세할수록 좋잖아요?

첫 번째 이미지는 GPT-3.5, 두 번째 이미지는 GPT-4 Turbo입니다. 차이가 눈에 보이시나요?

이 정도가 제가 휴키피디아를 통해 느낀 GPT-3.5와 GPT-4 Turbo의 차이점입니다. 앞으로 또 어떤 방식으로 활용하여 휴튼의 퀄리티를 높일 수 있을지 무척 기대되네요!