AI 서비스를 출시할 "뻔"했던 이야기
오랜만에 회고 글입니다. '모두의 AI' 클럽의 시작을 축하하며, AI 서비스를 출시할 "뻔"했던 이야기를 해보려 합니다.
K-POP 아이돌 업스케일링 AI
제가 출시할 뻔 했던 AI 서비스는 아이돌 사진 업스케일링입니다. 어떻게 이 아이템을 만들게 되었는지는 건너 뛰고, 일단 제가 만들었던 결과물부터 보여드리죠.
왼쪽이 저화질 사진, 그리고 오른 쪽이 제가 만든 AI로 복원한 사진입니다. 더 많은 예시가 궁금하시면 이 깃허브 페이지에서 구경할 수 있습니다.
굉장히 잘 복원하지 않나요? 흐릿하거나 노이즈가 많은 이미지를 정말 깔끔한 얼굴 사진으로 복원해줍니다.
만든 방법
AI로 뭔가를 만들고 싶다면 대부분 두 가지가 반드시 필요합니다. AI 모델과 데이터! 그래서 먼저 데이터를 모으기 시작했습니다. 여자 아이돌 사진을 고화질로 복원을 해야 했기에, 여자 아이돌 고화질 사진이 필요했습니다. 그것도 아주 많이.
그래서 아이돌 사진을 모으기 시작했습니다. 처음에는 구글에서 한 땀 한 땀 이미지를 다운 받아서 정리했는데요. 그렇다면 한 세월이 걸리겠죠.
트위터에 '구드'라고 검색해보시면 아이돌 팬들이 아이돌 사진들을 저장해 놓은 구글 드라이브 링크들을 발견할 수 있습니다. 저희에게는 데이터셋, 그 자체였죠. 수많은 아이돌 사진들을 무료로 배포해주시는 분들 덕에, '구드'를 모아 여자 아이돌 사진 9만 장을 확보할 수 있었습니다.
다음으로는 데이터를 가공할 시간입니다. 대부분의 얼굴 업스케일링 모델들은 정사각형의 얼굴 사진을 사용합니다. 보통 512*512 해상도로 복원을 하고요. 그래서 구글의 Mediapipe에서 제공하는 얼굴 탐지 모델로 사진들 안 얼굴들을 모두 찾았습니다. 그러고는 얼굴의 해상도가 512*512가 넘는 사진들만 정사각형으로 자른 후, 512*512 해상도로 크기를 조정해 저장했습니다.
이제 2만 장 정도의 사진이 남았는데요, 고작 해상도 하나로는 '이 사진이 고화질인가?'를 판단할 수는 없었습니다. 사진의 화질을 한 장 만으로 판단하는 메트릭이 있었지만, 아무래도 사람의 기준이 훨씬 정확하더라고요. 그래서 2만 장을 일일이 검사하여 고화질 아이돌 얼굴 사진 6천여 장을 확보하였습니다. 이 데이터셋은 여러분들도 다운 받아 보실 수 있습니다. =>바로가기
고품질의 데이터를 확보했으니 9부 능선을 넘었습니다. 이제 오픈소스로 공개되어 있는 모델을 확보한 데이터로 fine-tune하면 끝입니다. 업스케일링 계에서는 chatGPT나 Stable Diffusion 같은 슈퍼 스타는 없었지만, HiFaceGAN이라는 좋은 모델을 찾을 수 있었습니다. 이 모델을 확보한 데이터로 fine-tune해서 위에서 보신 놀라운 결과물이 탄생하였습니다.
정리하자면, 데이터 구하기 => 기존 모델 fine-tune을 통해 만족스러운 성능의 AI가 뚝딱 만들어 졌습니다!
이 AI로 무엇을 할 수 있을까?
어떤 서비스를 만들지에 대한 대답은 '아이돌 고화질 사진 이미지 스톡'이었습니다. 아이돌 팬들은 고화질의 사진을 원할 것이라는 가설과 함께, 인공지능이 복구한 사진들을 판매하려 했죠. 나름 AI도 있고 (물론 더 발전시켜야 했지만) 랜딩 페이지를 만들어 프리토타이핑을 해서 사업성까지 검증했습니다. 이제 사진을 팔기만 하면 되었습니다.
그런데... 이미지 스톡은 시작도 못해보고, 저희 팀은 그대로 아이템을 포기했습니다.
시작도 못한 이유
아이돌 이미지를 판매하려면 소속사와 이야기를 해야 했습니다. 영리 목적이기에 초상권이나 저작권 등 문제 소지가 있으니 말이죠. 그래서 무작정 소속사 문을 두드리며 협상 테이블에 앉아야 했는데, 놀랍게도 팀원들 아무도 소속사에 연락을 먼저 하지 않았죠. 당연히 저도 안 했습니다...
왜 그랬을까요? 별다른 이유가 없었습니다. 그냥 '이미지 스톡'이라는 아이템에 어떤 열정도 애정도 안 생겼습니다. AI를 정말 열심히 만들면서 달려왔는데, 이상하게 사업에 눈이 가지 않았습니다. 많은 시간을 들여가며 이미지 스톡이라는 아이템을 생각해내고 기획했는데, 첫 걸음을 땔 마음이 전혀 들지 않았습니다.
그 때 깨달았습니다. 먼저 내가 내 아이템을 굳게 믿고 정말 좋아해야 하는구나.
물론 모든 사람들이 아이템을 좋아해야 할 필요는 없습니다. @Unsexy Business 님의 이 메이커 로그를 보면 확실히 알 수 있죠.
근데, 저는 돈 벌려고 사업을 하지 않습니다. 재밌어서, 사업을 좋아해서 합니다. 그래서 내 아이템을 안 좋아하니, 시작할 마음도 각오도 전혀 없더라고요. AI를 만드는 일을 너무 재미있었는데, 사업은 겁이 났습니다. 좋아하지 않으니 시작도 못했습니다.
배운 점
- AI 만들기는 재밌다!
- 되도록 내가 좋아하는 아이템으로 사업하자.
-------
저의 다른 메이커 로그가 궁금하시다면?
댓글
로그인 후 댓글을 남길 수 있습니다.
오... 진짜 멋지네요... AI 쪽에 계신 줄 몰랐습니다 ㄷㄷ
감사합니다! 지금은 유니티 개발하고 있지만 AI는 언제나 많은 관심과 애정을 가지고 있습니다.
좋아하는 것으로 해야한다는 것.. 공감합니다
맞아요... 좋아해도 힘든데 안좋아하면 시작도 못하더라고요
흐린 제 사진을 넣으면 선명하게 바꿔주나요?
고~급 아이돌 필터라고 생각하셔도 좋을 것 같아요. 일반인 사진 넣으면 피부도 좋아지고 화장도 해주고 속눈썹도 붙여줍니다 ㅋㅋㅋ (매우 자연스럽게!)
일부러 다운스케일링한 이미지가 아니라 원래 저화질인 사진인가요? 결과물이 정말 놀라운데요!
둘 다 섞여있어요! 더 많이 보고싶으시면 깃허브에 나와있습니다.
오오 넵 감사합니다!!!
아이템 기술 좋은 것 같은데, 그 아이템을 좋아하는 사람한테 팔아볼 수 있을 것 같아요! 아니면... 내가 멀리서 찍은 좋아하는 사람이나 연예인 사진을 고화질로 만들어준다면 찾는사람들이 있을 것 같은데요?
그래서 팔아보려 했었는데 ㅎㅎ 분명히 니즈가 있을 것이라 생각해서 더 디벨롭 하려다가 동력을 잃어서 그만두었어요 ㅠㅠ 데이터나 코드 모두 오픈소스로 공개하였으니 자유롭게 이용해주셔도 좋아요!
메이커로그 잘 보고 있습니다! 실서비스화되었다면 사용량이 만만치 않았을것같네요ㅎㅎ
여유 있을 때 실서비스화 시도해봐도 좋을 것 같네요 ㅎㅎ
제가 부릅니다. 지나간 여름을 안타까워마 (https://open.spotify.com/track/3nNXeUz9ekk4DnkHR5dqw8?si=c0263663e62c4d7b)
이런 멋진 기술을 오픈하셨다니, 더더욱 멋지십니다. AI 만드는 일이 재미있었다는 사실이 많이 부럽습니다. 메이커라면 기본적으로 가진 마음인데 요즘 좀 지치는건가 싶은 중이었는데 글 읽고 리프레쉬가 되었네요👍🏻 어렸을때 찍은 저화질 필름 사진들을 고화질 디지털사진으로 복원하고 싶네요. 조금 더 똑똑해지면 올려두신 소스코드로 트라이해보고 싶습니다.😊 다음 행보가 무척 궁금해지네요🤞🏻
저도 조금 지쳐서 과거를 돌아보고자 적은 글인데, 연재님께 리프레쉬가 되었다니 기분이 좋습니다 ㅎㅎ
우와 이런 기술이... AI세계는 정말 놀랍네요. K-pop idolizer라는 이름을 달아서 출시하면 해외 팬들이 엄청 좋아할것 같은데... : - ) (공상중)
오 아이템 명 괜찮네요! 지금 생각해보면 거창한 사업보다도 재밌는 사이드 프로젝트라는 마음가짐으로 출시해봤으면 괜찮지 않았을까 하는 생각도 들어요.
동규님 메이커로그가 Must Reads #125에 선정되었어요! https://stib.ee/mYA7