김동철
2024년 생성AI는 소형언어모델(sLM)과 온디바이스 AI 시대
2024년 키워드는 역시나 AI 였습니다. 그중에서도 생성AI(Generative AI)는 소형언어모델(sLM : Small Language Model)과 온디바이스 AI 시대로 진화 할 것입니다.
인텔에선 코어 울트라 칩센으로 AI PC, 삼성에선 가우스 또는 갤럭시AI를 탑재한 AI Phone, 구글은 제미나 나노를 탑재한 AI Phone, MSI와 ASUS는 AI Laptop 라는 키워드를 내세운 온디바이스 AI 제품들이 이미 판매중이거나 출시 예정입니다.
현재 성능이 상위권인 소형언어모델로는 프랑스 스타트업 Mixtral, 업스테이지의 SOLAR 가 있습니다. 허깅페이스 오픈 LLM 리더보드를 보면 위 두개 모델의 파인튜닝모델들이 상위권을 휩쓸고 있습니다.
소형언어모델 전쟁의 시작, 과연 누가 승자가 될지 귀추가 주목됩니다.
김동철
소형언어모델(sLM) 전쟁의 시작, 떠오르는 소형모델 미스트랄(Mistral 7B)
전부터 LLM 운영에 들어가는 막대한 서버 비용이 문제로 언급되면서 이야기가 나왔던 소형언어모델(sLLM : Small LLM)을 sLM(Small Language Model)으로 부르면서 경쟁이 치열해질 것으로 예상됩니다. 허깅페이스 오픈리더보드를 보면 치열하게 7B 모델들이 엎치락뒤치락 하는 모습을 볼 수 있습니다. LLM를 소비하는 입장에선 뭐가 되었든 똑똑하게 잘 나오는 것을 업무에 빨리 써보고 싶을 뿐입니다.
- Huggingface Open LLM Leaderboard
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
이제 생성 AI 엔진을 스마트폰에서 돌리려고 하고 있습니다. 이를 온디바이스 AI라고 부르고 있는데,
- 애플은 아이폰에 iOS 17.2 부터 일기(Journal)라는 기본앱을 통해 이미 시작했고
- 삼성은 가우스를 통해 갤럭시 S24 등에 탑재한다고 공표했습니다.
- 구글은 Gemini Nano를 구글 픽셀 8 프로에 넣는다고 합니다.
스마트폰 다음은 자동차가 될 것이고, TV가 될것이고 냉장고, 세탁기가 되겠지요. 이렇게 탑재시켜 기업은 바뀌게 될 삶을 보여주며 마케팅을 하고, 소비자들은 기기를 교체할 명목이 생기며, AI 칩셋이 팔리고 더 빠른 클럭의 메모리가 팔리게 되겠지요.
누가 기준을 제시한 것은 아니지만, 업계는 지금 매개변수가 300~340억개를 사용한 모델을 모델명 뒤에 30B, 34B 를 붙여서 LLM으로 불러왔습니다. 이 이하 매개변수를 사용한 모델들을 소형언어모델(sLM)이라 부르고 있습니다. 누가 더 많은 데이터와 더 많은 GPU 자원을 부어넣느냐 하는 공룡 IT 기업들의 자본 싸움이라고 생각했는데, 소형언어모델로 가면 스타트업, 어쩌면 개인까지도 파인튜닝을 통해 실력싸움을 할 수 있는 판인것 같습니다.
sLM의 대표주자에는 메타의 인기 모델 라마2(Llama-2 7B), 알리바바의 큐원(Qwen 7B), 그리고 최근 급부상중인 미스트랄(Mistral 7B) 모델이 있습니다. 근데 여기는 정말 더 치열하게 MMLU 점수 기준 1등만 살아남고 기억되며 사용자들이 사용합니다. 미스트랄이 급부상인 이유는 MMLU에서 점수가 높았기 때문입니다. AI 엔지니어들은 굳이 애써 2등을 파인튜닝해서 개발할 이유가 없고, 사용자들도 스마트하게 일하려고 LLM을 사용하는 것인데 굳지 2등을 쓸 이유가 없을 것 같습니다. 아직 LLM 도입에 대한 효과를 검증하지 못했다면 무료로 잠시는 쓸수 있을 것 같습니다.
- 미스트랄 설치형으로 돌려본 사용기
https://cafe.naver.com/genai/836
참고기사
[1] 떠오르는 Mistral 7B, https://www.aitimes.com/news/articleView.html?idxno=155624
[2] 치열해진 sLM 시장 7B 전쟁 https://www.aitimes.com/news/articleView.html?idxno=155898
김동철
클립드롭(ClipDrop)의 뛰어난 성능 언크롭(Uncrop)기능
위 사진에서 AI로 생성된 부분은 어디일까요?
스테이블 디퓨전을 쓰시는 분들에겐 아웃페인트(Outpaint)
미드저니를 쓰시는 분들에겐 줌아웃(Zoom Out)
포토샵을 쓰시는 분들에겐 생성형 채우기(Generative Fill)
클립드롭을 쓰시는 분들에겐 언크롭(Uncrop)
입력된 이미지의 패턴을 즉석에서 분석하여 정보가 없는 상태(unknown)의 영역을 채워넣는 것(generative fill)
클립드롭에서는 사용된 용어를 굳이 한글로 번역하자면 좀 어색하지만 자르기취소(uncrop) 기능이 될것 같니다.
다양한 용어 중에 그나마 인페인팅/인페인팅이 익숙한데,
글을 쓰다보니 어도비의 생성형 채우기가 인페인팅/아웃페인팅을 모두 아우를 수 있어서 참 잘 지었다는 생각이 듭니다.
가장 심플하게 접근 가능한 클립드롭의 언크롭기능을 이용해보겠습니다.
클립드롭(clipdrop.co) 사이트 접속후 아래로 스크롤을 내리면 UNCROP이 보입니다. 해당 메뉴를 클릭합니다.
이미지를 드래그 앤 드롭으로 업로드합니다.
참고로 저는 언스플래쉬(unsplash)에서 다운받은 이미지로 작업하였습니다.
기본 값은 16:9로 비율이 되도록 설정 값이 셋팅되어 있습니다.
파란색 굵은 바를 드래그 하면 자유롭게 비율 조정이 가능합니다.
이제 [Next] 버튼을 누르면 짠하고 4장이 추천되어 나옵니다.
가장 그럴듯하게 만들어진 이미지를 선택하고 다운로드를 받습니다.
<끝>
클립드롭의 UNCROP 페이지
사진을 업로드 후 Uncrop 할 사이즈를 조절합니다.
[Next] 버튼을 누르면 주변부가 생성되거 후보로 4가지 이미지가 추천됩니다. 여기서 선택만 하면 끝.
언스플래시에서 받은 원본 이미지
Uncrop로 주변부를 생성한 이미지, 중앙부를 제외하곤 좌우 양 옆이 AI로 생성된 이미지인데 놀라울 정도로 실제로 촬영한 사진 같습니다. 위 원본 사진과 비교해서 보시면 재미있습니다.
김동철
낙서를 작품으로 스테이블 두들(Stable Doodle)
생성형 AI 시대의 미래를 현실로 앞당겨준 Stability AI의 서비스 사이트인 클립드롭(Clipdrop.co)에서 제공하는 스테이블 두들(Stable Doodle)입니다.
대충 슥슥 그리고, 원하는 스타일의 프롬프트를 입력하면 기가막히게 멋진 그림으로 생성해줍니다.
그림 그리기는 실력이 없더라도 AI가 이렇게 만들어주니 너무 놀랍습니다.
이렇게 대충 그려도
이렇게 만들어 줍니다.
잘 나온 몇장는 올려봅니다.
김동철
Meta AI 이미지 속 사물을 분리해주는 SAM(Segment Anything Model)
Meta AI 가 요즘 Generative AI 분야에서 뛰어난 기술력으로 치고나가는 분위기 입니다. 이전에 공개한 모델이지만 최근 다시금 이미지 생성 AI가 부상하는 듯 하여 리마인드 해봅니다.
이미지 속에서 어떤 사물이든 분리해주는 SAM(Segment Anything Model)입니다. AI 시대에 로봇의 눈 같이 쓸 수 있는 코어 엔진입니다. 아래와 같은 해상도의 이미지 수와 마스크를 학습했다고 합니다.
- Dataset Characteristics
- Total number of images: 11M
- Total number of masks: 1.1B
- Average masks per image: 100
- Average image resolution: 1500×2250 pixels
Meta의 Segment Anything 사이트에 접속 후 Demo 페이지를 클릭하면 내 이미지를 업로드하여 세그먼트 기능을 사용해 볼 수 있습니다. Waitlist 나 Request early access 기다릴 필요 없이 바로 사용 Demo 가능합니다.
Stable Diffusion에 Extensions에도 있으니 설치해서 사용해 보실 수 있습니다.
아래는 Meta의 SAM을 활용 했을 경우의 데모 영상들 중 몇가지 인사이트를 얻을 수 있는 장면들을 캡처하였습니다. Meta가 향해가는 미래를 엿볼 수 있었습니다.
김동철
대충 스케치해도 생성 AI가 사실처럼 만들어주는 NVIDIA Canvas
인공지능이 그려주는 그림 NVIDIA Canvas 입니다.
인공지능이 포토샵의 영역이었던 사진 편집 및 합성 영역에도 깊숙히 들어왔습니다. 이 정도의 사진을 합성하려면 꽤 많은 시간을 들여 사진을 수집하고 수정을 해야 한 장을 완성시킬 수 있었습니다. 전문가 분들이 쓰시는 것을 보면 수십여개의 레이어에서 작업을 하시더군요.
엔비디아 캔버스는 마법같이 놀라운 일을 만들어 냅니다. 그림판에 낙서하듯 슥슥 그림을 그리면 실시간으로 사실적인(photorealistic) 이미지로 변환해 줍니다. 요즘 미드저니나 스테이블 디퓨전으로 text to image 가 가능하지만, 프롬프트만이 아닌 작가의 의도를 위치와 영역까지 좀 더 상세하게 반영 할 수 있다는 점에서 image to image 방식인 엔비디아의 캔버스가 유용해 보입니다.
NVIDAI Canvas 공식홈 및 다운로드는 아래 링크를 참고하세요.
김동철
어릴적 나이키 신발을 모으고 싶었지만 그렇지 못했기에
이렇게 다 큰 성인이 되어서야
생성 AI 로 나이키 신발을 모아 보았습니다.
추상적인 것을 구체화하고
구체적인 것을 추상화하는 것을
시도해보곤 합니다.
프롬프트에는 구체적인 묘사가 좋을 때도 있지만
추상적인 단어나 문장이 효과적일 때도 있습니다.
예를들어 이런식으로 말이지요.
사랑과 평화가 담긴 신발을 디자인 해줘
여기서 그치면 뭔가 좀 아쉽습니다. 추상적인 것을 재료로 시점을 바꿔 접근하면 이렇게 됩니다.
사랑 3방울에 평화 2방울을 섞은 신발을 디자인 해줘
우리가 가지고 있는 감각기관의 교차를 재료로 하는 것도 꽤 재미있습니다. 우리는 다섯가지 감각기관을 갖고 있고 가끔 여섯번째 감각기관이 동작하기도 합니다. 정의 내릴 수 없는 그런 촉 말이지요. 저는 이것을 경험상 이렇게 정의하곤 합니다. 한개의 감각기관이 뛰어나진 않는데, 다른 감각기관의 조합으로 해당 감각을 극대화 하는 것. 지금의 GPT-4 MoE 모델이 이런 방법을 차용한 모델이기도 하고요.
사랑의 향기가 나고, 평화의 맛을 섞어 신발을 디자인 해줘
좀 더 인문학적 프롬프트를 넣어보기도 합니다.
사랑은 마음의 빛, 평화는 그 빛들의 대화
유명 시인의 시를 넣어보기도 하고
영화 대사를 넣어보기도 합니다.
그러면 창의적이고 신선한 이미지들이 많이 나와요.
프롬프트를 하다가 막히면,
여러분의 이야기를 넣어보세요.
오늘 있었던 일
그 과정에서 느꼈던 감정
이것들을 그려달라고 하면 잘 그려줍니다.
제 인스타에도 가끔 구경와주시길
김동철
2023년 NVIDIA H100을 가장 많이 구매한 회사는?
이게 무슨 NVIDIA 주가 올리는 기사인가 싶겠지만, 아닙니다. GPU 전쟁은 이미 시작되었고, 미국은 중국으로 엔비디아 GPU 수출을 제재하였습니다. AI 발전을 막겠다는 국가적 전쟁입니다. 무섭지 않지만 무시무시한 이야기 같습니다.
GPU 확보가 국가 AI 경쟁력을 좌우할 수 있다는 전망이 나오고 있습니다. 과장해서 H100 GPU 확보가 핵 보유와 같은 힘을 갖을 것이다라는 해석도 있습니다.
NVIDIA는 이익을 추구해야하는 기업이기에, H100 보다 성능을 낮춰 H800, A800을 만들어서 수출 규제를 피해 수출을 해보려 했지만 미국 정부는 이것도 막았습니다.
Generative AI 알고리즘 SW 시장을 잡기위해서는 현재 NVIDIA H100이 많이 필요합니다. HW 칩셋으로 보면 CPU 하면 인텔, GPU 하면 엔비디아, 메모리 하면 삼성, 모바일 CPU하면 ARM이 꽉 잡고 있지요.
이전 GPU 빈부격차의 시대, GPU 푸어 vs GPU 리치 글 참고
상황이 이렇다보니 NVIDIA H100을 가장 많이 구매한 회사 통계가 나왔습니다. <클라우드 및 데이터 센터 시장 업데이트> 보고서에 따르면 NVIDIA H100 GPU의 출하량은 2023년 2분기 동안 약 900톤에 달하였고, H100 GPU가 수량으로는 약 300,000개 이상이라고 합니다.
NVIDIA H100의 가격은 현재 쿠팡기준 대당 약 5천 3백만원, 수량부족으로 약 9천만원에도 올라오기도 했었다고 합니다. H100 GPU 8대를 장착한 NVIDIA 공식서버 DGX H100은 약 6억 1천만원(46만달러)
NVIDA H100 구매량 순 회사명인데, 미래의 시가총액 순으로 보이기도 합니다. 메타는 SNS도 잘하지만 최근 몇개월간은 AI 기술을 잘하는 테크 회사로 급성장 중 입니다. (Meta AI Llama-2, AudioCraft, Imagine, SAM 등)
- Meta 150,000 대
- Microsoft 150,000 대
- Google 50,000 대
- Amazon 50,000 대
- Oracle 50,000 대
- Tencent 50,000 대
- CoreWeave 40,000 대
- Baidu 30,000 대
- Alibaba Cloud 25,000 대
- Bytedance 20,000 대
- Lambda 20,000 대
- Tesla 15,000 대
아랍에임리트(UAE)에서도 국가적으로 H100을 주문했고 빠르게 LLM을 만들어 내놓은게 팰컨 40B(Falcon 40B)입니다.
AMD에서도 생성 AI용 GPU, MI300X을 출시한다고 합니다. 아시다 싶이 지금 AI 시장엔 NVIDIA가 장악했고 그렇다보니 대부분의 AI Engineer는 CUDA로 개발하고 있으며, AI 학습/추론 라이브러리들이 CUDA를 지원하고 있습니다. 이거 한번 자리잡은 것은 바꾸기가 힘듭니다. 물론 AMD MI300X이 RODm이라는 SW를 통해 CUDA를 지원한다고는 합니다. 경험상 이런 미들웨어나 중간에 뭐 거치면 늘 기존 코드가 에러가 나고 성능이 떨어졌어요.
NVIDIA는 H100보다 2배 빨라진 H200을 내년 2분기에 출시한다고 합니다.
이 장황한 글에 인사이트로는, NVIDAI 주식을 모아야 겠습니다.
김동철
실시간 Stable Diffusion XL Turbo를 사용해 보았습니다.
실시간 스테이블 디퓨전 XL 터보 (Real Time SDXL Turbo)를 사용해 보았습니다.
실시간 SDXL Turbo라니, 바로 써보았습니다.
Stable Diffusion을 세상에 공개하여 인류에게 생성 AI의 미래를 앞당겨준 대인배 Stability AI의 clipdrop.co 에 들어가서 스크롤을 하면 맨 아래부분에 Stable Diffusion XL Turbo가있습니다.
Stability AI의 Clipdrop을 보며 Tech 기업은 이런길을 걸어가야 한다고 생각합니다. 스타트업의 MVP 모델은 clipdrop 처럼 만들어야 한다고 생각하는 1인 입니다. 참 군더더기 없이 잘 만든 서비스입니다.
[1] SDXL Turbo 소개링크, https://stability.ai/news/stability-ai-sdxl-turbo
[2] SDXL 터보 데모, https://clipdrop.co/stable-diffusion-turbo
김동철
1. 크롬 스토어에 가서 Superpower ChatGPT를 검색하여 설치합니다.
2. 그러면 한층 업그레이드된 UI/UX를 보여주는 Superpower GPT로 업그레이드됩니다. GPT 성능이 업그레이드 되진 않습니다.
3. 제일 마음에 들었던 것은 폴더 관리 기능입니다. GPT를 1년 쯤 쓰다보니 왼쪽 사이드 메뉴에 채팅 채널이 너무 많아졌고 관리가 안되서 고민이었는데, 오픈AI에서도 업그레이드 해주길 기대해봅니다.
4. 두번째로 마음에 드는 것은 Custom Instructions 을 프로필로 저장하고 선택할 수 있게 한 부분입니다. 지금까진 껏다 켰다 하며 자주 쓰는 것을 몇가지를 메모장에 적어두고 바꿔가며 사용했었는데 이 점도 편리해졌습니다.
5. 오리지널 ChatGPT의 UI/UX가 불편했었구나 하는 것을 역으로 느끼게 해준 Superpower ChatGPT의 UI/UX 입니다.
Superpower를 얻은 ChatGPT의 모델 선택 기능
Superpower를 얻은 ChatGPT의 플러그인 선택 기능
김동철
사람들은 AI의 생산성 향상으로 인해
노동 시간이 획기적으로 줄어들고
자신이 원하는 일을 할 수 있을 것
테슬라 자동차의 오토파일이 생각납니다. 누군가 '운전시간의 80% 가량은 오토파일럿이 하고 나는 그동안 다른 일을 한다'라고 했던게 생각납니다.
마찬가지로 문서작업은 GPT가 하고, 코딩도 GPT가 하며, 포토샵 작업을 Stable Diffusion이 하는 등 반복적인 노동시간이 줄어드는 시대는 어느정도 가까이에 다가온 것 같습니다.
어떤 직업이 더 빨리 사라질 것인가 하는 고민보다, 이렇게 해서 생긴 여유시간에 사람들은 무엇을 할까를 고민하고, 그 시간을 차지하는 자가 AI 시대의 다음 승자가 될 것 같습니다.
콘텐츠 소비(릴스, 숏츠), 건강(스포츠), 자기개발(독서), 소모임(디스콰이엇) 등이 떠오릅니다.
여러분은 새로 생긴 여유시간에 무엇을 하실건가요?
[참고기사] https://www.aitimes.com/news/articleView.html?idxno=154539
김동철
우리는 숫자가 중요한 시대에 살고 있습니다. 숫자를 맹신하는 것은 아니지만, 또 믿을게 숫자 밖에 없기도 합니다. 적어도 하나의 판단 지표는 될 수 있습니다.
새로운 장소에서 새로운 사람을 만나면,
"몇 살이에요?
"몇명이서 오셨어요?"
이런것 따위를 묻곤 합니다.
이렇게 우리는 자꾸만 숫자를 묻습니다. 살면서 위 질문을 해봤거나 받아 봤다는 것은 여러분은 꽤 행복한 삶을 살았다는 증거입니다. 우리끼리니까 묻는 얘기지만,
"근데 이런 질문 몇번이나 받아 보셨어요?"
엄마도 아빠도 숫자를 궁금해 합니다.
엄마는 아이에게 묻습니다.
"몇점 받았는데?"
"몇등했어?"
그래서, 물었습니다.
"챗GPT는 몇점입니까?"
GRE, SAT, Law 등을 풀었고 등수가 인포그래픽으로 잘 정리된 것이 있어서 공유합니다.
GPT의 환각증세, 그럴듯한 거짓말 등 다양한 이슈는 여전하지만. 일단 저보다 똑똑하다는 것은 증명되었습니다. GPT-4 리스펙!
김동철
사용량 1위가 프로그래밍이군요. GPT를 프로그래밍 할 때 쓰고 계셨다면 제대로 활용하고 계신겁니다. 파이썬 코딩할때 쓰면 맛집 제대로 찾아오셨습니다. 단, 최신 라이브러리는 반영이 안되어 있고, 이미 널리 알려진 SOTA 알고리즘 코드들을 물어보는게 좋습니다. 예를 들어 철저한 메모리 관리로 안전성이 보장된 개발언어라고 불리는 Rust 는 최근 1~2년 사이 급변했는데 GPT는 Rust와 다소 옛 추억에 머물러있었습니다.
교육쪽 사용량은 줄어들었다 합니다. 잘못된 정보를 한번일라도 답변해주면 신뢰가 급격하게 떨어집니다. 교육자료는 한번만 잘못 답변해줘도 실뢰도는 제로가 되어버립니다. 교육분야는 특히나 정확한 내용을 전달하는 것이 중요한데 말이지요. 그래서 저는 이쪽 분야는 자료 요약, 정리 위주로 사용합니다. PDF 올려놓고 요점만 뽑아줘 이런 류들은 정말 잘합니다. 경쟁사 조사해줘 이런류는 잘못된 정보, 최신 정보의 부재로 매우 위험한 접근입니다.
콘텐츠 생산에 사용량이 생각보다 순위가 낮아서 살짝 의문이었습니다. 사용량이 제일 많을 줄 알았는데 말지요. 아마도 저는 교육도 교육 콘텐츠라 생각했던것 같습니다. 유튜브 스크립스 생성, 인스타 릴스 주제 추천 등 콘텐츠 생산에 쓰이고 있는 모습니다. 그런데 하도 보다보니 GPT로 만든 글과 스크립트가 느껴진 경우도 몇번 있습니다. 그래서 그런 글이나 유튜브를 보면 거부감이 들고 보기 싫어지기도 하더라고요. 곰곰히 생각해보니 노력을 들이지 않은 콘텐츠는 나도 읽는 노력을 들이고 싶지 않다입니다. 얼마든지 GPT를 썼더라도 저자가 수정하고 다듬고 조사해서 정성들여 만든 콘텐츠는 그게 느껴지고, 저도 꼼꼼하게 읽는 정성을 들이게 됩니다.
마케팅은 데이터와 심리를 기반으로 해야한다고 생각하는데, 그 중 데이터 기반 접근에 있어서 GPT 활용은 좀 조심스럽게 접근해야 한다고 생각합니다. 이전의 자료들로 2023년 이후의 인사이트를 얻으려고 하는 것과 같습니다. 거시적 관점, 그리고 인간의 심리와 욕구가 크게 변하는 것은 없지만, 키워드, 단어, 밈, 유행어들은 너무나도 빠르게 변하고 있으니 GPT 활용의 범위를 잘 구분지어 활용해야 합니다.
김동철
1. 카리브해의 작은섬 앵귈라는 AI 도메인 때문에 연 약 330억~400억 정도의 도메인 등록 수익이 에상된다고 합니다.
2. 앵귈라는 완도 크기만한 작은 섬으로 인구는 2만명에 못 미치고 산호초와 백사장으로 유명한 관광지이지만, 팬데믹 기간 도중 큰 타격을 입었다고 합니다.
3. 앵귈라는 '닷에이아이(.ai)' 도메인 등록으로 올해 2500만~3000만달러(약 330억~400억원)의 수익을 올릴 것으로 예측했다고 합니다.
4. 이런게 바로 앉아서 돈방석! AI 시대에 가장 편하게 돈 벌은 수혜자 TOP 1 이지 않을까 싶습니다.
김동철
생성 AI 시대의 알짜기업 허깅페이스 3,000억 투자유치
생성 AI 개발자들의 천국 허깅페이스
기업가치 5조 9천억, 3천억원 투자유치
1. 생성 AI 계의 깃허브 허깅페이스[1], 기업가치 5조 9천억원, 매출 약 400억원입니다. 각종 생성 AI 모델들 데모를 돌려볼 수 있습니다.
2. 구글, 엔비디아, 아마존, AMD, 인텔, IBM, 퀄컴, 세일즈포스로부터 약 3,000억원 투자를 유치[2]했습니다.
3. Meta, MS, Upstage 등 공룡 IT 기업들이 계정을 만들어 허깅페이스에 비용을 지불하며 사용중[2]입니다.
4. 허깅페이스 리더보드[5]에 각종 Open LLM들의 랭킹이 올라옵니다. 최근 한국 업스테이지가 SOLAR 10.7B 모델이 다시 1위를 탈환했습니다! 👏
5. 참고로 개발자들의 천국 오픈소스 깃허브는 MS가 약 8조원에 인수[3]했습니다.
6. 오픈AI(ChatGPT)는 하루 서버비만 9억원 이상을 소비하며 적자행진 중이지만, 허깅페이스는 생성 AI 서버를 운영하며 공룡 IT 기업들로부터 비용 받으며 웃고 있을 듯합니다. (그래서 기업 아이콘이 웃는 모습일지도)
7. 아마존이 한발 늦었다를 외치며 아마존 세이지메이커(SageMaker)를 만들어 저 같은 사람 불러서 홍보하고 있는데, 허깅페이스를 조단위로 인수하는게 빠를 듯 보입니다. 물론 언제나 AWS는 리스펙입니다.
8. 여기서 이 무대를 관람하며 쓴 웃음을 짓고 있는 네이버. 네이버는 2017년경 허깅페이스를 만났고, 초창기에 투자할 기회는 있었지만, 그냥 인큐베이팅 입주사 정도로 거쳐 간 것으로 보입니[4].
참고
[2] https://stock.mk.co.kr/news/view/212850
[3] https://www.digitaltoday.co.kr/news/articleView.html?idxno=200377
[4] https://www.sedaily.com/NewsView/26798EBEF3
Huggingface Open LLM Leaderboard
김동철
구글 이미지 생성 AI, Google Imagen 2 출시
1. 구글에서 이미지 생성 AI 서비스인 Imagen 2를 제공하기 시작했습니다.
2. 매우 사실적이고 고품질 고해상도를 지원합니다.
3. 다국어 텍스트 생성이 가능합니다. 글자가 들어간 로고, 제품 이미지 등을 만들 때 유용할 것 같습니다.
4. 영어 포함 7개국 프롬프트를 지원합니다.
(English, Chinese, Hindi, Japanese, Korean, Portuguese, Spanish)
5. Imagen 2 를 테스트로 써볼 수 있는 곳
- https://artsandculture.google.com/experiment/2QFyx9MN7Inxtg
6. 가장 유용할 것 같고 기대되는 기능은 Fluid style conditioning
- 레퍼런스 이미지를 넣으면 이를 기반으로 이미지를 생성해주는 기능입니다.
김동철
조단위 투자를 받은 생성형 AI 회사들, 어디에 돈이 가장 많이드나
조단위 투자를 받고 있는 생성형 AI 스타트업들은 대체 돈을 어디다가 쓸까 너무 궁금했습니다. 찾아보다 유사한 기사가 있어서 발췌해 보았습니다.
요약하면 컴퓨팅 비용, 인재유치, 학습 데이터셋 비용이라고 기사가 나온게 있더군요.
오픈AI의 경우 하루 컴퓨팅 서버비만 9억정도를 지출하고 있다는 기사를 올해 8월쯤 접했는데, 지금은 하루 10억넘게 Azure에 MS로 부터 투자받은 크레팃으로 비용을 지출하고 있지 않을까 싶습니다.
저의 경험으로 RTX 3090 Ti로 GAN 으로 데이터 학습하는데 약 6시간정도 걸리더군요.
스테이블 디퓨전(Stable Diffusion)으로 이미지 파인튜닝 모델(Fine-tuning Model) 하나 만드는 데는 약 4시간정도 걸리곤 했습니다. 물론 steps, epoch, batch size 등 시간을 좌우하는 파라미터들은 많습니다.
김동철
스타트업은 WHAT-WHY-HOW 로 정의 할 수 있어야 한다!
여러분들이 생각하고 있는 아이디어가 있다면,
WHAT : 무엇을 하고 싶은지?
WHY : 왜 그것이 문제인지?
HOW : 어떻게 해결했는지?
3문장 정도로 간결하게 정의가 되어야 합니다.
이걸로 정의내리고 엘리베이터 스피치이라고도 불리는 60초
사람의 마음을 사로잡는 시간!
이 시간안에 설득이 되어야 합니다.
이 메세지를 제품과 서비스에 녹여서
함께 개발 할 동료들도 설득하고
VC도 설득해서 투자도 받아야 하고
고객을 설득해야 유입 구매로 연결되어야 합니다.
친구와 대화하듯
냉소적인 친구로 페르소나를 설정해서
스스로에게 질문을 던져보세요.
진솔되고 본질적인 답변을 해야합니다.
WHAT : 너가 뭘 하려고 하는건데?
WHY : 그걸 왜 너가 하려고 하는건데?
HOW : 그래서 지금부터 뭘 어떻게 할껀데?
이 질문에 스스로 간결하고 깔끔하게 답을 내리지 못했다면
고객에게, 동료들에게, VC에게도 설득이 안될 것 입니다.
이러한 질문은 IR 발표를 하러가도 반복적으로 받게 될 질문입니다.
VC Q1: 왜 대표님이 이 일을 하려고 합니까?
VC Q2: 투자 받으면 이 금액으로 뭘 하려고 합니까?
질문에 답변이 스스로를 설득하지 못하면 이러한 비판을 받게 됩니다.
아이템에 대한 확신이 없는 것이고,
아이템 시장조사, 경쟁사 조사가 덜 된 것이고,
아직 덜 간절한 것이라고 말이지요.
스스로 종이에 한번 적어보세요.
WHAT : 본질적으로 내가 뭘 '하고 싶은 것'인지?
WHY : 굳이 이걸 '왜 내가 해결'해야하는지?
HOW : 그래서 오늘부터 당장 나는 뭘 '행동'할 것인지?
김동철
오픈AI, 챗GPT로 올 매출 1조7000억 돌파 소식
1. 오픈AI, 챗GPT로 2023년 올해 매출이 1조7000억 돌파했다는 소식입니다.
2. 2022년에는 약370억에 불과했는데 1년만에 약 50배 매출이 성장했다합니다.
3. 샘 알트먼 CEO의 목표매출, 전문매체의 분석매출 등 모든 이들의 예상을 뛰어넘었습니다.
4. 경쟁사 중 하나인 구글, SKT, 아마존이 투자한 앤트로픽의 경우 올해 매출은 약 1350억원.
5. 여기서 흐믓하게 웃고 있는 기업, 오픈AI에 약 12조원을 투자 지분 49% 확보 한 기업이 있었으니,
6. 큰형님 같은 Microsoft는 투자 전 대비 주가 오르고, AI 분야 선두 이미지 확보, 기술도 확보. 심지어 투자금의 대부분은 Azure 크레딧이었다는, 신의 한 수.
7. 오픈AI 수익의 75%를 투자금 회시때까지 회수중.
김동철
AI 인턴들을 소개합니다
손이 빠른 AI 인턴 4명과 함께 일하고 있습니다. 일단 뭔가를 시작하면 GPT, Bard, Bing, Claude 이렇게 4개를 띄워놓고 시작합니다. 제안서를 쓰기도 하고, 강연 의뢰가 들어오면 할당된 시간과 대상에 따라 컨셉과 목차도 바꾸고, 해당 업종에 따른 수정 하기도 합니다. 정기적으로 제품 리뷰 글도 쓰는데 맥락을 잡을 때 이용합니다. 새로운 지식을 학습 할 때 요점정리에 이용합니다. 다만 최근 지식들은 학습이 되어있질 않아 그냥 물어보면 안되고 PDF나 텍스트로 올린 후 요약 정리를 요청합니다. 요약은 기가막히게 잘해줍니다. 수많은 지식에 대해 단어와 단어 관계, 토큰과 토큰 사이의 상관 관계도가 잘 학습되어 있어서 그런것 같습니다. 플러그인에서 WebGPT 를 켜고 위키피디아 등 잘 정리된 사이트의 URL을 주고서 요약하는 방법을 사용합니다.
몇 글자 분량의 이야기를 써달라고 하면, 만족스럽게 이야기를 만들어 줍니다. 이 부분은 실망한 기억이 없습니다. 그럴듯한 스토리는 정말 잘 써줍니다. 등장인물 배경 시대적 분위기 등 사전 정보를 넣어주면 넣어준 대로 잘해주고, 정보를 별로 넣지 않아도 잘 써줘서 만족스러웠습니다.
Python 개발언어는 GPT-4가 잘해주니 GPT-4랑 주로 일하게됩니다. 다만 Claude-2 에다가는 얼마나 긴 코드를 다룰수 있는지 궁금해서 해보긴 했습니다. 뭐 딱히 기억날만한 이벤트가 없는 것을 보면, 대단하게 놀랄만한 것은 없었습니다. Python이 다른 언어에 비해 쉽긴 쉬운언어인지 LLM들이 Python 문법을 이해한 것 같습니다.
몇몇 인턴은 이제 보내주려하다가도 언제 또 업그레이드 되어 돌아올지 모르지 지우지는 않고 있습니다. 가끔 이전에 특정 업무는 잘했던 좋았던 추억이 미련으로 남아 다시 한번 물어보기도 합니다.
LLM 애플리케이션 개발로 핫한 LangChain을 GPT-4에 아무리 물어봐도 데이터가 없습니다. LangChain 진영에서는 GPT API를 엄청 쓰고 있는데 말이죠. 2022년 10월쯤에 등장했기 때문이라서 WebGPT 같은 플러그인도 써보지만, 기본 셋팅대로 사용해보면 검색 결과 상위 6개로부터 검색된 내용을 정리해서 알려주고 있는데 내용이 뒤죽박죽 되어 엉망이 되기도 합니다. 이런류의 최근 알려진 기술에 관한 지식은 Bard가 조금 더 낫습니다. Claude-2는 그마나 최근 자료를 학습해서 좀 잘 할 것 같아서 물어보면 종종 심하게 이상한 경우가 좀 있습니다. CLOVA-X는 열려있는 대화창의 히스토리를 너무 참조하는 것 같고요. 한번 잘못된 방향으로 빠지면 새 대화창을 열고 있습니다.
ChatHub 이것을 활용법으로 소개하려고 하다가 글이 길어졌습니다. 최근 Github에서 Chathub라는 크롬 확장앱을 발견했는데 열심히 써보고 있습니다. 제가 했던 행위를 몇단계나 줄여주었어요. 무료로는 2개까지 연동되고 유로는 6개까지 된다고 합니다.
링크 : https://github.com/chathub-dev/chathub
한번의 질문으로 2개의 답변을 동시에 받아보겠습니다.
유료를 쓰면 6개까지 동시에 답변을 해줍니다.
