AI가 고객 피드백을 대체할 수 있을까요? (사고 실험)

제가 영어로 쓰고나서 AI로 번역해서 어색할 수 있는데 참고부탁 드립니다. ^^

몇 개의 글머리 기호로 '괜찮은' PowerPoint 프레젠테이션을 만드는 데 정말 능숙하기 때문에 Microsoft의 CoPilot이 일부 관리자들을 당황하게 할 것이라는 Ethan Mollick 교수님의 트윗을 읽었습니다.

그래서 저는 AI를 통한 생산성 향상을 수용하기 위해 조직이 어떻게 변화해야 하는지에 대한 그의 글을 읽게 되었습니다. 이 글에서 그는 AI를 사용하여 와튼에서 만든 온라인 기업가 정신 게임의 기능을 제작하는 데 도움을 준 사례를 통해 이러한 유형의 생산성 향상에 대한 예를 제시합니다. 일반적으로 (새 화면의) 구상부터 테스트, 토론을 거쳐 최종적으로 화면을 업데이트하는 데는 약 1~2주가 걸립니다.

하지만 Mollick 교수님은 생산성을 향상하는 한 가지 방법은 고객의 피드백을 더 빨리 받는 것이라고 말합니다. 구체적인 예로, 그는 AI를 도입하여 AI가 고객인 척하여 시뮬레이션된 고객 피드백을 받을 수 있다고 제안했습니다. 예를 들어, 프롬프트가 될 수 있습니다:

당신은 와튼 인터랙티브에서 만든 기업가정신 게임을 플레이하는 MBA 1학년 학생입니다. 이것은 게임을 진행하는 도중에 보게 되는 채점 화면입니다. 여러분의 관점에 따라 여러분의 반응과 개선 방법을 알려주세요. 캐릭터로 해보세요.

인공지능이 고객 피드백을 대체한다고요? 신성 모독입니다!

물론 Mollick 교수님이 고객 피드백을 AI로 완전히 대체하자는 의미는 아니라고 생각합니다. 하지만 이 사고 실험에서 무언가를 배우기 위해 이 이야기를 조금 더 이어가 보겠습니다.

고객 피드백을 AI 고객 피드백으로 대체하는 아이디어를 검토하고 있다고 가정해 봅시다. 프로덕트팀은 어떻게 반응할까요?

대부분의 프로덕트팀은 이 아이디어를 비웃을 것 같습니다. 우리는 커리어 내내 고객을 모든 일의 중심에 두는 것, 즉 고객 중심주의의 중요성을 교육받아왔기 때문입니다. 따라서 이 개념은 우리가 주입받아온 도그마에 정면으로 배치됩니다. 건물 안에 머물러 ChatGPT와 대화할 것이 아니라 건물 밖으로 나가 고객과 대화해야 하지 않을까요?

하지만 저는 다르게 해석했습니다. 저는 learning velocity(학습 속도), 즉 팀이 얼마나 빨리 학습할 수 있는지에 대한 관점으로 접근했습니다.

Learning Velocity

오래 전 소프트웨어 업계에서는 한 가지 기능을 기획한 후 6~12개월 후에 계획된 모든 기능과 함께 출시하는 폭포수식 개발 방식을 사용했습니다. Learning velocity가 매우 느렸습니다. 그래서 사람들은 더 빠른 방법을 찾아야 한다는 것, 즉 더 민첩해져야 한다는 것을 깨닫게 되었습니다!

즉, 프로덕트가 고객과 비즈니스에 가치를 더하는지 여부에 대한 learning velocity를 개선하고자 했습니다. 다른 시각으로 보면 제품은 단순히 제안된 가설일 뿐이며, 팀에서 최대한 빨리 검증해야 할 대상이라고 볼 수도 있습니다.

그런 다음 애자일과 스크럼이라는 개념과 MVP(최소기능제품)라는 개념이 등장했습니다. 하지만 용어는 제쳐두고 핵심 개념은 가설이 맞는지 아닌지를 더 빨리 알아내고 싶다는 것입니다. 그리고 타당하지 않다면 그 이유를 빠르게 파악하고 다시 반복합니다.

그렇다면 이것이 고객 피드백을 대체하는 AI와 어떤 관련이 있을까요?

저는 그 말에 잘못된 표현이 있다고 말하고 싶습니다.

저는 AI가 고객 피드백을 대체한다고 생각하지 않습니다. 오히려 고객 피드백을 보강하는 역할을 합니다.

고객 피드백은 모두 하나의 범주에 속하는 것이 아니라 미묘한 차이가 있기 때문입니다.

가장 낮은 단계의 피드백은 usability(사용성) 피드백입니다. 일반적으로 어느 7명에게 프로덕트를 사용하게 하면 usability과 관련된 대부분의 문제를 파악할 수 있습니다.

텍스트가 이해가 되지 않나요? 사용자가 어떤 버튼을 클릭해야 할지 모른다고요? 이 버튼이 기술적 버그를 유발하나요? 7명 중 한 명은 아마 이런 문제를 발견할 것입니다.

하지만 usability과 기술적 피드백을 넘어서면 고객 가치의 영역으로 들어가게 됩니다. 다시 말해, 사용자가 이 프로덕트에서 가치를 찾았나요?

이러한 유형의 피드백을 무작위로 7명의 사용자에게 받는 것은 매우 위험합니다.

왜 그럴까요?

타겟 고객 이외의 사용자가 프로덕트에 대한 피드백을 제공하기 시작하면 개선해야 할 사항에 대한 생각을 형성하기 시작할 것이기 때문입니다. 그리고 '고객은 항상 옳다'는 세뇌를 받았기 때문에 이러한 고객의 의견에 귀를 기울이고 고객의 제안에 따라 변경하기 위해 매우 귀중한 제한된 프로덕트팀 리소스(프로덕트 + 디자인 + 개발)를 투자하기 시작할 것입니다.

하지만 이러한 고객이 타겟 고객층에 속하지 않는다면 어떨까요?

즉, 프로덕트에 대한 비용을 지불하지 않을 사람들을 위한 기능을 만드는 데 시간을 낭비한 셈이 됩니다. ROI(투자 수익률)가 형편없을 가능성이 높습니다.

그렇기 때문에 고객 가치 피드백을 통해 타겟 고객층에 속하는 고객과 대화해야 합니다. 특히 B2B에서는 이러한 고객에게 다가가는 것이 어려운 경우가 많습니다. 따라서 투자 대비 최대의 효과를 얻어야 합니다.

하지만 타겟 오디언스라고 해도 그들이 느끼는 가치에 대해 제공할 수 있는 피드백의 수준은 다양합니다. 바로 이 지점에서 고객 인터뷰의 기술을 익힐 수 있습니다.

고객이 무엇을 원하는지 그냥 물어보기만 할까요? 대부분의 사람들은 다음과 같은 이유로 이것이 이상적인 방법이 아니라는 것을 알고 있습니다:

1) 고객은 자신의 문제가 무엇인지 명확하게 파악하고 있지만 해결책은 잘 모릅니다(기술의 능력과 한계를 모르기 때문).

2) 고객이 무언가를 원한다고 말하지만 실제로는 말과 달리 행동하기 때문입니다(이는 인지적 편향 등 다양한 이유로 인해 발생합니다).

그렇다면 이 모든 과정에 AI는 어떻게 활용될까요?

Usability 테스트의 경우, AI는 눈에 띄지 않는 많은 것을 발견하는 데 도움을 줄 수 있습니다. 어느 7명이 발견할 수 있는 것을 usability 인터뷰를 할 필요 없이 AI가 몇 초 만에 찾아낼 수 있습니다.

AI가 모든 것을 찾아낼 수 있을까요? 물론 아니겠죠.

하지만 이론적으로 10가지 주요 usability 문제가 있다면 그 중 8가지는 찾아낼 수 있을 것입니다.

좋아요, 8개는 해결되었고 2개만 남았습니다. 이제 usability 인터뷰를 수행할 때(AI의 도움에도 불구하고 여전히 usability 인터뷰를 수행한다고 가정할 때) 남은 2개의 문제를 찾았지만 10개의 문제도 더 발견했습니다. 따라서 전체적으로 볼 때 팀은 10개의 주요 문제가 아니라 20개의 문제를 해결할 수 있었습니다.

성공입니다! 더 나은 프로덕트를 만들 수 있게 되었으니까요.

이제 타겟 고객과의 고객 가치 인터뷰로 전환해 보겠습니다. 시뮬레이션된 AI는 사용자가 프로덕트에서 어떤 가치를 찾는지(또는 찾지 못하는지) 인사이트를 제공할 수 있습니다. 이는 팀이 사용자에 대한 초기 이해도를 높이는 데 도움이 될 수 있습니다.

여기서 멈추는 것은 아니라고 알고 계시죠. 하지만 이것은 사용자가 프로덕트에서 가치를 찾는 것에 대한 초기 가설일 뿐이라는 점을 기억하세요. 따라서 틀렸더라도 괜찮습니다. 사실 틀릴 확률이 높습니다. 그렇기 때문에 가설을 검증하기 위해 타겟 고객이랑 얘기해야 되는 것이죠.

하지만 여기서 진정한 가치는 프로덕트팀이 타겟 고객과 더 높은 수준의 토론을 할 수 있다는 것입니다. 프로덕트팀은 더 훌륭하고 통찰력 있는 질문을 할 수 있고, 고객 인터뷰를 통해 더 많은 것을 얻을 수 있습니다.

그렇다면 이 모든 것이 무엇을 의미할까요?

Learning velocity를 높이는 데 도움을 주는 AI

AI가 프로덕트 디스커버리/딜리버 프로세스를 대체하지 않는다고 가정하면 이는 사실입니다. 오히려 프로세스를 보강합니다.

예를 들어, 새로운 화면을 개발하고 고객 피드백을 받는 데 1~2주가 걸린다고 가정하면 일반적으로 한 번의 반복이 이루어집니다. 10개의 usability 문제를 해결하고 10개의 고객 가치 문제를 찾아내는 것이죠.

하지만 AI가 usability 문제 중 해결 가능성이 낮은 것을 찾아내고 프로덕트팀이 잠재적인 고객 가치 문제에 대해 더 많은 인사이트를 얻을 수 있게 되면서 팀은 더 빠르게 움직일 수 있고, 고객에게 더 많은 가치를 제공할 수 있게 되었습니다. 이제 더 이상 고객이 usability가 고객 가치에 대한 낮은 수준의 문제를 발견하는 것은 용납되지 않습니다. AI의 도움을 받는 새로운 팀들은 고객의 시간 낭비가 끔찍하다는 것을 알게 되었고, 이것이 바로 AI의 존재 이유입니다! 따라서 허용 가능한 ROI에 대한 기준이 높아졌고, 이는 궁극적으로 더 나은 프로덕트를 의미합니다.

어떻게 하는 것인가요?

기존 1~2주 주기에 더 많은 iteration을 수행하면 됩니다. 한 번의 주기가 아니라 5~10번의 iteration을 이루어질 수도 있습니다. 같은 시간 동안 더 많은 버그를 발견하고 더 많은 가설을 검증할 수 있습니다.

이 모든 것이 무엇을 의미할까요?

Learning velocity가 획기적으로 향상된다는 것입니다.

이는 곧 고품질의 프로덕트를 발견하고 제공하는 속도가 획기적으로 향상된다는 의미입니다.

따라서 중요한 것은 AI가 이러한 프로세스를 대체하는 것이 아닙니다. 오히려 AI가 아직 결실을 맺지 못한 부분을 보완하여 고객과의 시간을 더 잘 활용하고 더 많은 가설과 문제를 탐색하고 검증할 수 있도록 하는 것입니다.

프로덕트 디스커버리 및 제공을 위한 learning velocity를 개선하기 위해 AI를 어떻게 활용하고 계신가요? 아니면 안 하고 계시면 어떻게 활용 할 수 있을까요?