고장주님의 아티클

PMC pre-networking 행사에서 들어보고 느낀 것들과 새로운 과제

눈을 떠보니 비가 오고 있어 마음이 차분히 가라 앉아 글 쓸 정신이 좀 나네요.

당장의 처리해야 할 업무나 실행해야 할 아이디어 고민 때문에 머리속이 늘 이 생각 저 생각으로 꽉 채워진 느낌이었는데, 오늘 아침은 묘하게 제 뇌까지 씻어내 주는 듯한 적당한 강우 소음 덕에 글 쓸 정신이 나는 듯 합니다.

다시 잡다한 생각들이 스멀스멀 기어 나오기 전에 늘 아침이면 급조하는 홈메이드 카페라떼를 목구멍에 부어 넣고 지난 PMC pre-networking 행사를 통해 얻은 것과 AI를 이해하고 활용해 보기 위해 해야만 할 새롭게 발생된 '나의 과제'에 대해 기록해 놓고자 합니다.

매우 잘 짜여진 행사. 그래서 아쉬운,

이번 pre-networking 행사에 초대자가 PMC 참가자로만 국한된 것이 아닌, 비참자가에게도 열려 있었던 덕에 마침 끙끙 앓고 있던 부분에 대한 해결책에 대해 답을 얻기 좋은 기회가 될 것 같아 참가를 하게 되었는데요.

사실 낯선 사람들과 모여서 담소를 시작해 내는게 그리 쉬운 일은 아닌 것 같습니다. 그럼에도 불구하고, 행사장의 전체적인 구성과 분위기 조성을 위한 많은 노력이 매우 돋보였던 것 같습니다. 이건 제가 Disquiet* 팀에 듣기 좋으라고 얘기하는 건 아닙니다.

분명, 해당 행사를 통해 참여자들이 목적 달성이 가능한 부분이 많았고, 그러한 목적을 한정된 2시간이라는 시간 안에 해결할 수 있도록 지속적으로 상황을 조성 해주었다는 것은 분명하니깐요.

그래서 프로덕트 관련하여 네트워킹이 필요하신 분들이라면 Disquiet*에서 비슷한 기회를 또 만들어 주신다면 꼭 참석해 보시라고 말씀 드리고 싶네요.

그리고 저 또한 함께할 팀원이 아직은 없기에 도전하지 못했지만, 다음 번 PMC 기수 모집이 또 있다면 그때는 팀원을 직접 구성해 보거나, 아니면 팀원으로 들어갈 수 있도록 애써보고, 되도록이면 꼭 참여를 해보고 싶습니다.

담소 나누기 참 좋은 자리였기에 저로서는 사실 2시간 밖에 활용하지 못했다라는 것이 아쉬움으로 남긴 하네요. 그래도 그 시간 내에 인사 나누고 이야기를 들어본 바에 따라, 궁금해 하던 것들 중 일부에 대한 것들은 해결하고 또 계속해서 연락해 볼 수 있는 여러 좋은 회사의 대표님들을 뵙고 연락처를 나눌 수 있어서 매우 유익했던 것 같습니다.

해결된 질문들

제 프로덕트는 현재 ChatGPT를 활용해 AI 챗봇을 구현해 놓았는데요.

현재로서는 간이하게 'System'에 역할 부여 후 AI 상담 채팅을 진행하도록 짜여져 있어, 사실상 날 것의 ChatGPT에다가 우리가 익숙한 카톡과 같은 채팅창의 프론트를 가지고 있는 정도의 모습을 하고 있습니다.

하지만, 만들어 놓고도 적극적으로 홍보하지 못하고 있는 상황인데요.

답변 퀄리티가 업계의 요구 수준을 충족하지 못하는 데다, 학습된 답변의 근거정보가 2021년 즈음에 머물러 있다는 것입니다.

이러한 부분은 LLM을 이용한 AI응용서비스 메이커들에겐 '보다 더 높은 수준의 응용'이 아직은 어려울 수밖에 없게 되는 요인이 되는 것 같습니다.

저는 행사장에서 이 문제 해결을 위해 'Fine-Tuning'을 고려해 보고, 질문을 주로 그러한 쪽으로 했었습니다.

그리고 얻은 정보들..

1) Fine-Tuning이 현재로서는 '비용 대비 편익'이 현저히 낮다.

편익자체의 절대값은 클 수 있지만, 그러한 높은 절대값의 편익을 내려면 또 그만큼의 굉장히 높은 비용 투입이 필요할 가능성이 높다.

2) AI 답변 퀄리티를 높이는 데 다양한 방법론이 있다.

a. 실시간 웹접속하여 답변결과에 반영해 주는 방식으로 LLM들이 진보되어 서비스를 내놓고 있다.

b. Fine-Tuning을 구독료를 내고 저렴하게 진행할 수 있게 해주는 서비스가 있다.

c. 백엔드에서 AI의 최종답변을 내놓기 전 다중 검증하는 방식으로 작동하게 하는 방법이 있다.

3) AI 발전 속도는 해도 너무하게 빠르다.

지금 뭔가 만들더라도 OpenAI, Google, Meta 등 LLM 거대개발사들이 시장우위 확보를 위해 치열하게 싸우고 있는 와중이라, 서비스 진보속도도 빨라서, 정말 조금 기다리면 원하던 형태의 서비스들이 금방 금방 나올 것이다.

특히, 3)번이 뭔가 착수하기에는 의사결정에 애를 먹게 하는 부분이 있습니다.

기껏 필요해서 코드를 짜서 만들었더니, LLM 거대개발사들이 떡하니 만들어서 내놓는 상황이 오면, 투입한 노력, 시간 그리고 소소할지라도 비용을 투입한 결과가 일순간 쓸모 없는 짓이 될 수도 있으니깐요.

하지만, 저의 대결론은.. 그럼에도 불구하고 AI에 대해서는 현재 형태 기반에서라도 응용서비스를 계속 만들어 나가는 것이 옳다는 것이었습니다.

정말 대규모 비용 투입이 아니라면, 투입한 노력과 시간은 AI에 대한 더 나은 이해와 개발경험으로 치환되어, 다시 변화된 LLM들에 맞추어 무언가를 다시 빌딩할 때 '보다 신속하게' 서비스를 출시하게 만드는 귀중한 지식재산이 될 것이기 때문입니다.

그리고 부가적으로, 'Langchain'이라는 라이브러리를 쓰더라.. 저는 직접 AI 모델 개발을 하는 것은 아니기에 LLM 개발 관련 라이브러리겠지 하고, 어림 짐작으로 쳐다도 보지 않았었는데요. 제가 크게 미스한 부분인 것 같네요.

새로운 과제

당장으로서는 제 문제를 해결하기 위해서는 어느 한가지만의 LLM을 쓰기엔 각각의 LLM들에게서 "뭔가 하나씩은 부족한 점"이 발견됩니다.

그래서 일단은 AI Fine-Tuning을 직접적으로 비용 부담을 최소화해서 테스트해보기에 가장 적합한 LLaMA2를 결국 직접 손대보기로 결정하고 이번 주에 작업을 준비하기 시작하였습니다.

데이터도 일단은 소량을 쓸 생각이고, 한국어 답변도 기대할 수 없다지만 일단은 ChatGPT보다 Fine-Tuning하기에 더 적합하다는 어느 유튜버의 평가가 있으니 LLaMA2로 시도해 보기로 했습니다.

테스트를 위해 우선 할 일로서, 다음 주 중 Langchain을 살펴보고, 문제 없다면 제 프로덕트 테스트 코드에 반영해 놓으려 합니다. Langchain에서는 여러 LLM에 접근하기 위한 편리한 메소드를 제공하고 있는 것 같아 테스트를 시작하려면 꼭 필요해 보이기는 하네요.

만약, 이 테스트 결과가 성공적이면 ChatGPT와 함께 LLaMA2를 multiple로 연결해 돌리는 것을 고려하고 있습니다.

Fine-Tuning결과만 좋게 나온다면 현재 제가 취할 수 있는 최선안이긴 하네요.

하지만.. 아직도 제가 인지하지 못한 허들이 많이 있을 것이라, 벌써부터 험난함이 느껴지긴 하네요.

날 것의 LLM을 그대로 쓰던 것에서 다시 직접 모델을 학습시키는 쪽으로 한발짝 나가려는 시도이다 보니, 분명 또다시 시작될 시행착오의 향연들... T..T

그리고... 무엇보다 PMC 행사를 통해 뵙게 된 AI 메이커 업계의 대표님들과 새롭게 고안한 수익모델을 들고 교류를 계속해 나간다면, 상호간에 좋은 비지니스 기회를 언젠가는 창출해 낼 수 있지 않을까 생각 됩니다.

그래서 이번에 알게 된 대표님들과 끊이지 않고 교류해 나가는 것을 가장 큰 과제로 잡았습니다.

교류하여 자꾸 얘기하다 보면 얻어지는 인사이트를 통해 우리나라 기업들에게 유익한 가치를 제공할 수 있는 AI서비스가 언젠가는 나오리라 봅니다.

이렇게 글을 또 쓰고 나니.. 다시 또 머리속에서 이 생각 저 생각이 기어나오기 시작하고 있네요.

이번 메이커 로그는 여기서 맺고, 그 생각들 다시 To-Do 리스트에 적어 넣고 또 달려 봐야 할 것 같습니다.

행복하고 유익한 주말 되세요~

PMC pre-networking 행사를 통해 많이 들어보고 싶어요~

오늘 드디어 PMC pre-networking일 이네요.

금번 Disquiet*에서 주제로 세워주신 'AI'가 제가 당면해서 해결해야 할 문제점과 궁금한 점이 있어서, 해결책을 찾아보고자 행사 주최 안내 메일을 받고 신청을 하였습니다.

그리고 다행히도 이번 행사에 최종 초대를 받아 참여할 기회가 생겼네요 ^^

마침 안내문에도 PMC참가자가 아니더라도, AI에 관심 있다면 누구나 참여 가능하다는 친절한 안내 덕에 신청에 주저함을 느낄 이유가 없어서 좋았던 것 같습니다.

AI쪽 전문 개발자만 모이는 모임이라 생각되면 많이 주저될 텐데, 누구나 간단한 개발을 할 수 있을 정도로 저변을 확대하고 생태계를 넓히는 것도 AI분야에서는 중요한 과업 중의 하나가 아닐까 생각합니다.

그래서 그런지 이런 행사가 우리나라 AI개발 분야에서는 꽤 의미가 큰 Step이 되리라 생각합니다.

제 프로덕트에도 ChatGPT채팅을 이용할 수 있도록 API를 받아서 넣어 놓은 상태이지만 사실 이걸 상용으로 쓰기에는 부족함을 느끼는 부분이 아직 많습니다.

제가 느끼는 부족함이라는게, UI/UX의 문제와 같은 제 프로덕트의 문제라면 눈에 보이는 일정 내로 개선이 가능하겠지만, 문제는 AI 답변의 퀄리티가 제 프로덕트가 쓰일 분야의 현업이 원하는 수준에 미달하여 언제 어떤 식으로 해결할 수 있는지 답이 보이지 않는다는 것입니다.

생성형 AI가 낼 수 있는 Performance 대해 아예 잘 모르던 상태에서는 '막연히',

"그래도 '엄청난' 자본을 투입해 '엄청난' 양의 데이터를 끌어모아 학습시켰으니, 분명 '엄청난' 답변을 줄거야"

라고 생각했습니다.

그런데, 기능을 만들고 나서 테스트하는 과정에서 답변이 신통치 않게 나와서, 올해 초반 핫키워드로 떠올랐던, '프롬프트 엔지니어링'이라는 기법을 사용하면 분명 원하는 수준의 답을 줄거라고 생각하고 개선방법을 찾고자 질문을 좀 더 '똑똑하게' 해보자라는 쪽으로 움직였었는데요.

그런데... 다양한 방법을 시도해 보아도 원하는 답을 받아 내는게 매우 매우 어려운 '질문주제'들이 있다는 것을 어렴풋이 알게 되었습니다. 질문을 '똑똑하게'하는 데에도 한계가 있지만, 그렇게 해도 답이 '어리석게' 나오는 소재가 있다고 느끼고 있습니다.

아무리 "현명하게 질문해도 어리석게 답을 하는" 상황이 자주 있다 보니, 현재는 채팅 기능만 살려 놓은 상태에서 잠시 홀딩한 상태인데요.

제 프로덕트에서 '실용'을 위해 해결책을 찾아보고자 이번 PMC Pre-networking에서 AI개발에 이미 능숙하신 분들을 통해 많이 들어보고자 합니다.

제가 워낙 말주변이 약하다 보니, 모르는 누군가에게 함부로 말걸기도 어려운데, 주어진 2시간여 내에서 질문도 제대로 하지 못하게 될까봐 해답을 받았으면 하는 질문리스트 미리 적어보아서 머리속을 정리해야 겠다는 생각이 들었고, 질문에 답을 제대로 얻은 건지 확인하는 차원에서도 디스콰이엇에 글을 남기는 것이 좋겠다 생각되어 이 글을 작성하게 되었네요.

1) 한국데이터에 가장 특화된 생성형 AI는 ? 클로바? Bard? 메타 LLaMA? ChatGPT?

2) 인터넷 access가 가능한 형태로 제품개발에 가장 최적화된 AI는?

3) Fine-tuning이 효율적일 수 있는지? 아니면 기다리면 거대언어모델들이 언젠가는 인터넷 access기반으로 성능을 더욱 향상시킬 수 있는지?

4) 클로바, Bard, 메타 LLaMA, ChatGPT 중 향후에도 가장 비용효율적인 모델로 적합할 수 있는 모델은? 순위를 매긴다면?

5) 파일(xlsx, csv, pdf, png등)을 첨부해 제시되는 질문에 처리능력을 갖추고 있고 가장 우수한 성능을 내는 모델은?

6) ChatGPT와 같은 거대기업의 거대언어모델에 대비하여 개별적으로 스타트업이 인공지능을 개발하여 런칭하는 모델과 비교하여 경쟁력이 있는지? 특정의 목적이 있다면 자체 모델 개발이 더 유리하고 더 좋은 성능을 낼 수 있는지?

등등 ...

그리고 '제품 개발하시면서 비슷한 고민 가지신 분들' 및 '비AI분야 개발자들에게 선의의 영향력을 제공해 주실 수 있는 AI전문 개발자님들'과 지속적인 연락 가능하다면 이번 행사 참여에 대한 소기의 목적은 200% 달성이 될 것 같습니다. ^^

나이 좀 많아 보이는 사람이 쭈뼛거리며 말걸어 오더라도 궁금증을 해결해 보고자 달려드는 것이니, 미리 양해 부탁 드립니다 ^^

그럼 행사장에서 뵙고 인사 드리겠습니다~

애매함을 벗기 위한 발버둥, 나의 첫 디스콰이엇 포스팅

안녕하세요.

 JG Customs Dashboard(이하, ‘JGCD’)라는 프로덕트를 디스콰이엇에 등록 후 첫 포스팅을 시도하기까지 2개월 반이 넘는 기간이 걸렸네요.

 디스콰이엇을 처음 접한 후 올라오는 글들을 통해 디스콰이엇의 성격을 파악하는 과정에서 내 프로덕트를 어느 정도 알리고 싶고, 또한 기회가 된다면 같이 일해 볼 수 있는 동료 또는 사업을 위해 함께 브레인스토밍할 수 있는 누군가를 찾기에 적합한 서비스라는 것을 알게 되었습니다.

 이러한 이유로 적극적인 포스팅 활동이 분명 도움이 될 것이라는 것을 알면서도 이행을 주저하기를 수없이 반복하였는데요.

 ‘글을 쓰기 시작하는 것’이라면 네이버 블로그나 티스토리 같은 것도 하고 있으니 스케쥴상 허락만 된다면 이행하는 것 자체는 그리 어려운 일이 아님에도 불구하고, 디스콰이엇에서 나의 글을 생산해 내는 것은 ‘시작’하기에 매우 큰 심리적 어려움이 따랐습니다.

  ‘필요하다면 즉시 실행’을 최고의 덕목 중 하나로 삼는 저로서는 그 원인을 뭐라 딱 말하기 어렵지만 당장은 ‘형언하기 어려운 나의 애매함’ 때문이라고 표현하고자 합니다. 

 저는 ‘IT개발’을 주요경력으로 깔고 있는 사람은 아닙니다. 

 그리고 제가 살펴본 바에 따라 대략 추정한 바에 따른다면, 디스콰이엇 유저 분들의 평균연령을 훨씬 상회하는 연령대의 사람이구요.

 또한, JGCD는 애초부터 ‘모객(사용자 유치)’에 집중한다거나, 스타트업으로 키워내고자 하는 데 집중해서 프로젝트가 시작된 것도 아니었습니다.

 그저 저의 본업인 ‘무역/국제물류’업무에서 제가 15년여 직장생활을 통해 이런게 있으면 좋겠다는 구상들을 모아서, 본업 개업 이후부터 만들기 시작했고, 개발을 개시한 이후에도 ‘기능적으로 본업을 영위하는데 있어, 생산성을 향상시켜줄 수 있는지에만 관심을 가지고’ 만들어 나갔습니다.

 정말 스타트업으로서 정석이라 부르는 개발루트 같은 것도 전혀 반영한 바 없이, 그저 빨리 만들어서 내 본업 업무에 효율적으로 사용해 보자는 생각만으로 달려왔습니다.

 개발에 집중할 수 있었던 최초 3개월에 허접한 프론트엔드와 구상에 근거한 최소기능만 발현된 뼈대를 만들었고, 잠시 멈춘 타이밍에 어찌어찌 좋은 기회를 얻어 AWS에 상용 웹사이트를 구축하는 기회를 얻게 되었습니다.

 발주자의 요청사항을 충족해야하는 다소 복잡한 포인트 분배구조를 가진 구매회원 포인트몰이었고 사이트가 초기 서비스 상태까지 만들어진 후, 거기서 얻은 경험을 바탕으로 다시, JGCD의 고도화를 본격적으로 이어 갔습니다.

 그 이후부터는 토요일, 일요일 구분 없이 그저 이게 다 만들어지면 제 본업의 영업에 집중한다는 생각만으로 달렸더니, 어느 새 이제는 어디 내놔도 부끄럽다는 생각은 하지 않게 된 본업에도 꽤나 쓸만한 형태의 서비스가 만들어졌습니다.

 누군가 제가 거친 이 과정을 모두 지켜본 후 평가한다면 분명 ‘비효율적 소모의 연속’이라고 할 것입니다. 

 그 부분은 저도 인정하는 바입니다. 

 웹사이트 구축경험이 전무했던 사람이 유튜브와 StackOverFlow의 troubleshooting 컨텐츠를 뒤적이는 것만으로 1인 개발을 시도했으니, 얼마나 시행착오를 반복했을지 아마 개발 고수님들이라면 잘 아시리라 생각됩니다.

 하지만, 저는 이러한 ‘비효율적 소모의 연속’을 너무나 심한 낭비의 과정이라고 스스로 깎아내리고 싶지는 않습니다. 

 왜냐하면, 제 머리속에 남겨진 ‘개발과정의 체험’과 ‘코딩스킬’ 때문입니다.

 JGCD가 시장성이 없다거나, 볼품 없다거나, 기능이 맘에 들지 않는다는 등 사용자의 혹평은 있을 수 있습니다.

 하지만, 저로서는 개발과정에서 들인 저의 최대 resource였던  ‘나의 시간’과 ‘나의 노력’을 그 무엇과도 쉽게 바꿀 수 없는 ‘개발체험’과 ‘코딩스킬’로 치환했다고 느끼고 있습니다.

 그러한 치환의 결과물이 그저 머리 속에서만 그려왔던 프로덕트를 ‘디지털로 형상화’시켰고, 이제 향후 미래에, 사용자의 피드백을 바탕으로 한 JGCD의 고도화와 이후 또다른 프로덕트 생산에 쓰일 수 있고 또 해낼 수 있는 밑바탕이 되었기 때문에, 꽤나 의미 있다고 느끼게 된 것 같습니다.

 그래서 그런지 이제야 조금씩 ‘저도 개발합니다.’라는 소리를 입 밖으로 내놓을 수 있게 된 것 같구요.

 그럼에도 불구하고, 아직도 아주 깊숙한 부분부터 남아 있는 정체성에 대한 혼란은 여전합니다.

 제 본업인 ‘무역/국제물류’는 다양한 산업군의 업계를 두루 거치고 다양한 업무를 해왔기에 무역관계업무만큼은 ‘저도 전문가입니다.’라는 소리를 하는데 있어, 전혀 어려움을 느끼지 않습니다.

 하지만, ‘저도 웹 개발자입니다.’라는 소리는 쉽게 하기 어려운 미천한 수준의 경력을 갖고 있다는 점이  ‘나는 애매하다’라고 자평하게 만드는 원인이 되는 것 같습니다.

 그렇다고, 이러한 모호함을 유지할 것인가에 대해 제가 그러한 자승자박의 틀을 깨지 않으면 더욱 발전할 수 있는 기회를 상실하는 꼴 밖에 되지 않는다는 것을 느끼고 있습니다. 

 그래서 이렇게 어느 토요일 오전 일부러 시간을 만들어 용기 내서 글을 작성해 봅니다.

 그리고 이 포스팅의 시작이 ‘저도 개발합니다.’라는 말을 더욱 자신 있게 할 수 있는 사람으로 나를 계발해 나가는데 다시 긍정적 효과를 일으키리라 기대해 봅니다.

 디스콰이엇에는 얼마나 많은 분들이 저처럼 비개발자 경력에서 출발하여, 필요에 의해 프로덕트를 만드신 분들이 있으신지 알 길은 없지만, 그러한 분들이 계시다면, 저 같은 초저수도 ‘개발자입니다.’라는 소리를 내기 위해 발버둥 치고 있으니 용기 내시라고 말씀 드리고 싶네요.

 저를 포함한 IT개발쪽의 모든 ‘미생(未生)’분들을 열렬히 응원하며, 저 또한 이 글의 작성을 계기로, 스케쥴이 되는데로 포스팅을 이어나가보자 다시 한번 다짐해 봅니다.