메이커들을 위한 파티에 초대합니다

길게 설명드리지 않겠습니다. 참여원하시는 분들은 DM 주세요 :)

GPT-4 활용하여 완전한 대화식 타로 만들면서 배운것들 1탄(?)

GPT-4 활용하여 완전한 대화식 타로 경험 구현하는 서비스를 만들면서 배운것들에 대한 메이커로그를 남겨보고자 한다.

1) 기존의 타로앱 서비스들의 한계

타로서비스를 사용할 때 소비자들이 중요하게 생각하는 점은 크게 정확성과 신뢰성, 개인화, 가격 그리고 편의성이다.

• 정확성: 타로 카드 해석이 얼마나 정확하고 신뢰할 수 있는지. 전문성 있는 해석을 내놓을 수 있는지
• 개인화: 유저의 개인적인 상황과 관심사에 맞는 해석을 제공하는지
• 가격: 타로 서비스의 가격이 합리적인지
• 편의성: 온-오프라인, 웹, 앱, 현장 상담 등 사용자의 상황에 맞는 편리한 방식으로 서비스가 제공되는지

헬로우봇, 오즈의타로, 포스텔러, BOIM타로, 토샤...등 정말 다양한 서비스들이 많다.

위 4개의 기준에 비춰서 보자면 정확도가 높은 경우 보통 개인화가 덜되어 일반적인 해석을 들려주거나 비싸다. 개인화가 잘된 오프라인의 경우 접근성이 떨어져서 편의성이 아쉬웠다.

2) 새로운 타로앱의 포커스

기존 서비스와의 차별화를 위해 앞서 얘기한 네가지 포인트를 개선시킬지에 최대한 집중했다.

• 정확성: 전문적 수준의 타로 카드 해석을 위해 타로 전문 컨텐츠 DB 를 구축한다
• 개인화: 개인화된 답변을 제공할 수 있도록 최신 GPT 모델의 prompt template을 어드민으로 분리하여 실시간으로 다른 template을 유저에 맞게 적용할 수 있게끔 설계
• 가격: 광고 수익 모델을 도입하여 GPT4의 높은 인프라 비용을 감당할 수 있는 지속 가능한 비즈니스 구조를 구축. GPT4를 사용할 경우 단가가 매우 높아지기 때문에 GPT3.5와 혼합해서 사용한다.
• 편의성: 오프라인 경험과 같은 대화식 타로 경험을 구현하면서도 이용이 편리한 앱 경험을 만든다.

3) GPT-4 의 장단점 - 타로 서비스 적용의 관점에서

장점

GPT-4의 장점은 뭐니 뭐니 해도 성능이다. GPT 3.5보다 대략 10배 정도 좋다고 알려져 있다. 최대 토큰 개수도 32,000개로 GPT-3.5의 4,000개 보다 8배나 많다. 내가 사용해본 가장 놀라운 점 중 하나는 개인적인 감정...즉, 좌절과 슬픔에 대한 표현도 인식하고 반응하는 능력이 뛰어나다는 점이다. 타로 서비스의 특성상 개인적인 감정들이 포함된 대화들을 하기에 GPT-4는 정말 최적의 모델이다.

단점

일단 비용이 비싸다. GPT-3.5보다 가격이 대략 20배나 높다. GPT를 활용하여 서비스를 만들고 비지니스 모델을 구축해야하는 입장에서 매우 큰 허들이다. 20배나 높은 비용을 감당하려면 단순하게는 가격을 그만큼 높이고 그에 상응하는 가치를 유저에게 제공해야하는데 20배나 좋은 서비스를 만들기는 어렵다.

매우 느리다. 지금도 실시간으로 속도가 개선되고 있긴 하지만 확실히 GPT 이전 버전에 비해서 reponse 가 오는 속도가 느리다. 얼마나 느린지에 대한 의견은 분분하지만 한번이라도 사용해보면 확연히 느리다는 점을 느낄 수 있을 것이다.

마지막으로 퍼포먼스 안정성이 낮다. 응답이 오는 중간에 끊어지는 경우가 이전 버전보다 확실히 높다. 상용서비스를 만드는 입장에서 중간에 대화가 끊어지고 묵묵 부답이면 사용자들의 편의성이 떨어지고 나아가 서비스에대한 신뢰도가 낮아질 수 밖에 없다.

4) 솔루션 - 장점은 취하고 단점을 피하기

GPT-3.5와 GPT-4 선택적 혼합 사용

GPT-4의 높은 성능과 감정까지도 캐치하는 능력을 최대한 활용하면서 손해보지 않는 비지니스 구조를 만들기 위해서 GPT 3.5를 중요하지 않은 부분에 활용하고 크리티컬한 영역에만 GPT-4를 적용하는 전략을 택했다. 인프라 비용은 획기적으로 낮추면서도 응답의 퀄리티는 높일 수 있었다.

Stream Fetch를 위한 Loop를 커스터마이즈

앞서 얘기한 응답 끊김현상이나 느린 속도를 보완하기 위해서 Stream Fetch Loop 를 직접 커스텀하였다. 결과적으로 진짜 대화를 하는것과 같은 채팅 속도와 상용 서비스 수준의 안정성을 담보할 수 있었다.

앱 서비스 이름은 마이타로 AI - 완전한 100% 대화식 타로 서비스를 만들고 있어요!

궁금하신 내용이 있으시면 언제든지 댓글 달아주세요! :)