그 어렵다는 AI + 3D 기술로 제품을 개발한다면,

안녕하세요. 1인 스타트업 데벤트를 설립하고 지금까지 총 4번의 피봇을 겪은 소프트웨어 개발자 허형준 입니다. 얼마전 영상편집 프로그램 너겟을 서비스 종료하고 새 프로젝트인 마스커스를 공개했습니다. 원래는 유튜브 라이브를 위해 개인적으로 개발하던 프로젝트 였는데 반응이 괜찮고 생각보다 성능이 좋아서 실 프로덕트로 개발하려고 합니다.

마스커스는 웹 접속으로 간편하게 버튜버 컨텐츠를 만들 수 있는 플랫폼 입니다. 이 메이커로그에서는 마스커스를 소개하고 개발한 이유에 대해 살펴보겠습니다.

이걸 왜 만들었는가

유튜브를 보다보면 얼굴을 공개하지 않고 컨텐츠를 올리는 사람들이 많습니다. 삼성 혹은 애플의 캐릭터를 쓴다던가, 언젠가 같은 3D 얼굴 캡쳐 소프트웨어를 사용한다던가, 아니면 아예 버추얼 유튜버 형식으로 진행하는 경우도 많습니다.

관련 제품을 조사해본 결과 대부분 유료이거나 설치형 방식이 많았습니다. 이 경우 사용자가 설치파일을 다운받아야 하는 단점과 가격부담이 존재한다는 불편함이 있었습니다. 잘될지 안될지도 모르는 컨텐츠를 위해 영상편집 프로그램이 아닌 서드파티 프로그램을 구매한다는건 시장 진입을 위한 방송인들에게 큰 부담이 될 수 밖에 없습니다.

저의 개인적인 니즈로 생각했던 문제가 자료조사를 해보면서 공동의 니즈가 있겠다는 가설수립으로 이어졌습니다. 간만에 괜찮은 아이템이 나왔다는 생각에 대략 MVP 정도만 만들어야 겠다고 생각했고 곧바로 실행에 옮겼습니다.

그럼 과연 이 시장에 도전할 정도로 시장 규모가 큰지 궁금해집니다.

버튜버 시장

한 마디로 요약하면 “생각보다 큽니다”. 최근에는 버튜버 시장규모를 21억 달러로 추산하기도 했습니다. 이는 영상편집 프로그램 시장규모인 5억 ~ 7억 달러에 비해 월등하게 높습니다. 물론 디지털 광고 시장규모인 6000억 달러, AI 시장 규모인 1000억 달러에 비해서는 현저하게 낮지만요. 그러나 아직 시장 진입자가 적고 상대적으로 마이너한 분야라는걸 감안했을때 높은 수치이긴 합니다.

(조선일보 이미지)

동시에 관련 제품의 수도 적습니다. 시중에 버튜버 전용으로 소프트웨어 출시된 제품은 11개 정도 입니다. 그마저도 웬만큼 사용하기 위해서는 과금이 필요하고 무료 버전에 대한 제한도 상당합니다. 대표적으로 VRChat의 경우 VR 장비가 필요, FaceRig(Animaze)는 비싸고, 멜리고는 트래커를 구매해야 합니다. 그외 프로그램의 경우 성능이 떨어지거나 스타일이 제한적이면서 모두 설치파일을 다운로드받고 구동해야한다는 단점이 존재합니다.

이러한 단점을 마스커스는 VR 장비 없이 웹캠만으로 트래킹이 가능하고, 최대한 무료 기능을 열여주고, 풍부한 스타일에, 웹에서 몇 번의 클릭만으로 기능하게 합니다. 앞선 프로그램의 단점을 해결했다고 볼 수 있습니다.

디테일

이 프로덕트를 만들면서 한 가지 주요한 원칙을 세웠습니다.

“내가 쓰기 편한 제품인가? -> 매일 불편함 없이 사용이 가능한가?”

우선 저를 기준으로 사용성을 평가하는게 옳은지에 대해 생각해봤습니다. 다른 스타트업은 MVP를 먼저 출시하고 지표를 확인해 제품을 개선하는데, 개인의 감각을 기준으로 사업성 여부를 판단한다는건 잘못된 판단 가능성을 높일 우려가 있습니다. 그러나 저는 캐즘 이론에 따른 후기 다수수용자에 속합니다. 대부분의 개발자나 창업가들이 얼리어답터, 초기 이용자에 속하는걸 보면 굉장히 보수적이라고 할 수 있습니다.

디테일이 떨어지는 부분, 특히 버튼을 클릭했는데 아무런 반응이 없는 경우 저는 답답함을 느낍니다. 성공/실패 여부만이라도 알려줬으면 하는데, 제가 경험한 대부분의 스타트업 제품은 이런 디테일을 고려하지 않았습니다. 그래서 이미 많은 사람들이 쓰고있는 안정적인 제품을 주로 사용하게 됩니다.

이러한 보수적인 집착은 프로덕트 개발에 도움이 됩니다. 최종 릴리즈 전 전체적인 흐름을 확인해보고 조금이라도 불편하다 싶으면 바로 갈아엎을 수 있습니다. QA 부분을 사용자에게 떠넘기지 않는 셈이죠.

특히 현재 개발중인 마스커스는 이러한 디테일이 떨어질 분기점이 다른 상용 프로덕트에 비해 많습니다. 기본적으로 웹 상에서 On Device AI를 돌릴정도로 브라우저 성능이 괜찮아야 하고 스마트폰에서도 동작하도록 매끄러워야 합니다. 더군다나 3D로 동작해야 하니 그래픽 리소스는 기본으로 차지합니다. 그러나 제가 사용중인 google의 facemesh 모델은 생각보다 무겁습니다. M1 크롬 환경에서 CPU 로드 100%를 찍는건 한 순간이죠. 이렇게 되면 얼굴 캡쳐를 하는 동안에는 유튜브를 킨다던가 음악을 듣는다는건 불가능합니다. 그러나 애초에 마스커스 + OBS(실시간 영상 송출) + 다른 크롬 탭 까지 지원해야하기 때문에 이러한 부분까지 고려한다는건 쉬운일이 아닙니다.

그래서 외부 카메라 기능을 추가했습니다. 스마트폰 카메라로 AI 기능을 분산시켜 성능을 대폭 개선했습니다. 사용자 환경의 성능이 떨어진다면 스마트폰의 성능을 빌려다가 사용할 수 있습니다.

“버추얼”이 아닌 캐릭터로

버튜버 하면 따라다니는 불멸의 수식어가 있습니다. “거부감” 저도 조사하면서 약간의 거부감을 느꼈고 이를 해소할 방법을 지금도 찾고 있습니다.

삼성에서 개발한 ar이모지, 애플의 미모티콘. 모두 비슷한 기능입니다. 실제로 몇몇 유튜버들이 ar이모지를 기반으로 컨텐츠를 만들고 공유하고 있습니다. 2D 스타일을 기반으로 하는 버추얼 유튜버 스타일보다는 상대적으로 보편적인 캐릭터 스타일을 유지할 수 있고 따라서 거부감을 줄일 수 있습니다.

이에 마스커스는 Face 모드를 지원합니다. 사용자는 다양한 텍스처를 지정할 수 있고 외부에 3D 오브젝트를 추가해서 캐릭터를 꾸밀 수 있습니다.

해결하고 싶은 문제

저에게는 “개인이 독립적인 주체로써 사회/기술 전반에 얽힌 종속성을 제거한다” 라는 강력한 신념이 있습니다. 처음부터 프로그래밍을 시작한 이유도 초등학생때 “엑셀의 주요한 기능은 금방 만들 수 있을거 같은데 이걸 판매하네? 왜 무료로 공개 안하지?” 라는 생각으로 배웠습니다. 내가 쓰고있는 제품 혹은 기술에 종속되지 않았으면 하는 마음에서 였습니다.

마스커스는 이 신념에 일치합니다. 다른 유료 프로그램이 가진 제약과 가격 부담을 덜고 보다 많은 사람이 다양한 선택권을 가질때 비로소 종속성이 해결된다고 믿습니다. 컨텐츠 제작자들이 소프트웨어의 한계, 제품의 한계를 벗어나 자유롭게 창작할 수 있을때 비로소 문화가 만들어지고 인식이 변하는 법입니다.

또한 마스커스의 기술은 대부분 오픈소스로 구성되어 있습니다. 3D 표현은 ThreeJS로, AI 랜드마크 인식은 Google의 Facemesh API로, 버튜버 모드는 pixiv의 three-vrm 오픈소스로 개발했습니다. 조금만 공부하면 누구나 개발할 수 있는 기능들이고 앞으로는 AI 기술 발전으로 쉽게 개발이 가능하다고 생각합니다. (기술 관련해서 질문이 있으시다면 언제든지 환영입니다.)

기술에 매몰되지 않도록

@전예찬 님께서 디스콰이엇에 올려주신 “3D 기술 기반 스타트업의 특징" 이라는 제목의 메이커로그에는 다음과 같은 내용이 있습니다.

3D와 AI를 결합한 기술은 일반적인 대기업이 쉽게 따라하지 못합니다.

3D 모델링, 텍스쳐링, 리깅, 애니매이션, AI 기술, 게임엔진 등 각 분야의 노하우가 집약되어 하나의 완성된 기술이 나오기 때문입니다.

맞는 내용입니다. 그러나 그렇다고 해서 기술에만 집중하면 안된다고 생각합니다. 저는 그동안 기술에만 집중했고 그 과정에서 아무도 쓰지 않는 제품을 만들어 냈습니다.

처음에 MVP 제품을 만들며 기술에 매몰되지 말자고 다짐했습니다. 그동안 실패했던 제품 모두가 뛰어난 기술, 안정성에만 집중하다보니 정작 고객에는 집중하지 못하고 서서히 잊혀져 갔습니다. 아무리 좋은 기술이라고 해도 아무도 쓰지 않는다면 의미가 없습니다. 고객에 집착하지 않는 기업은 도태되기 마련이고 마찬가지로 관련 기술 역시 잊혀지고 사장될 수 밖에 없습니다.

마스커스는 아래 링크에서 누구나 10초안에 체험해볼 수 있습니다.