김동철
2024년 생성AI는 소형언어모델(sLM)과 온디바이스 AI 시대
2024년 키워드는 역시나 AI 였습니다. 그중에서도 생성AI(Generative AI)는 소형언어모델(sLM : Small Language Model)과 온디바이스 AI 시대로 진화 할 것입니다.
인텔에선 코어 울트라 칩센으로 AI PC, 삼성에선 가우스 또는 갤럭시AI를 탑재한 AI Phone, 구글은 제미나 나노를 탑재한 AI Phone, MSI와 ASUS는 AI Laptop 라는 키워드를 내세운 온디바이스 AI 제품들이 이미 판매중이거나 출시 예정입니다.
현재 성능이 상위권인 소형언어모델로는 프랑스 스타트업 Mixtral, 업스테이지의 SOLAR 가 있습니다. 허깅페이스 오픈 LLM 리더보드를 보면 위 두개 모델의 파인튜닝모델들이 상위권을 휩쓸고 있습니다.
소형언어모델 전쟁의 시작, 과연 누가 승자가 될지 귀추가 주목됩니다.
김동철
소형언어모델(sLM) 전쟁의 시작, 떠오르는 소형모델 미스트랄(Mistral 7B)
전부터 LLM 운영에 들어가는 막대한 서버 비용이 문제로 언급되면서 이야기가 나왔던 소형언어모델(sLLM : Small LLM)을 sLM(Small Language Model)으로 부르면서 경쟁이 치열해질 것으로 예상됩니다. 허깅페이스 오픈리더보드를 보면 치열하게 7B 모델들이 엎치락뒤치락 하는 모습을 볼 수 있습니다. LLM를 소비하는 입장에선 뭐가 되었든 똑똑하게 잘 나오는 것을 업무에 빨리 써보고 싶을 뿐입니다.
- Huggingface Open LLM Leaderboard
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
이제 생성 AI 엔진을 스마트폰에서 돌리려고 하고 있습니다. 이를 온디바이스 AI라고 부르고 있는데,
- 애플은 아이폰에 iOS 17.2 부터 일기(Journal)라는 기본앱을 통해 이미 시작했고
- 삼성은 가우스를 통해 갤럭시 S24 등에 탑재한다고 공표했습니다.
- 구글은 Gemini Nano를 구글 픽셀 8 프로에 넣는다고 합니다.
스마트폰 다음은 자동차가 될 것이고, TV가 될것이고 냉장고, 세탁기가 되겠지요. 이렇게 탑재시켜 기업은 바뀌게 될 삶을 보여주며 마케팅을 하고, 소비자들은 기기를 교체할 명목이 생기며, AI 칩셋이 팔리고 더 빠른 클럭의 메모리가 팔리게 되겠지요.
누가 기준을 제시한 것은 아니지만, 업계는 지금 매개변수가 300~340억개를 사용한 모델을 모델명 뒤에 30B, 34B 를 붙여서 LLM으로 불러왔습니다. 이 이하 매개변수를 사용한 모델들을 소형언어모델(sLM)이라 부르고 있습니다. 누가 더 많은 데이터와 더 많은 GPU 자원을 부어넣느냐 하는 공룡 IT 기업들의 자본 싸움이라고 생각했는데, 소형언어모델로 가면 스타트업, 어쩌면 개인까지도 파인튜닝을 통해 실력싸움을 할 수 있는 판인것 같습니다.
sLM의 대표주자에는 메타의 인기 모델 라마2(Llama-2 7B), 알리바바의 큐원(Qwen 7B), 그리고 최근 급부상중인 미스트랄(Mistral 7B) 모델이 있습니다. 근데 여기는 정말 더 치열하게 MMLU 점수 기준 1등만 살아남고 기억되며 사용자들이 사용합니다. 미스트랄이 급부상인 이유는 MMLU에서 점수가 높았기 때문입니다. AI 엔지니어들은 굳이 애써 2등을 파인튜닝해서 개발할 이유가 없고, 사용자들도 스마트하게 일하려고 LLM을 사용하는 것인데 굳지 2등을 쓸 이유가 없을 것 같습니다. 아직 LLM 도입에 대한 효과를 검증하지 못했다면 무료로 잠시는 쓸수 있을 것 같습니다.
- 미스트랄 설치형으로 돌려본 사용기
https://cafe.naver.com/genai/836
참고기사
[1] 떠오르는 Mistral 7B, https://www.aitimes.com/news/articleView.html?idxno=155624
[2] 치열해진 sLM 시장 7B 전쟁 https://www.aitimes.com/news/articleView.html?idxno=155898
김동철
클립드롭(ClipDrop)의 뛰어난 성능 언크롭(Uncrop)기능
위 사진에서 AI로 생성된 부분은 어디일까요?
스테이블 디퓨전을 쓰시는 분들에겐 아웃페인트(Outpaint)
미드저니를 쓰시는 분들에겐 줌아웃(Zoom Out)
포토샵을 쓰시는 분들에겐 생성형 채우기(Generative Fill)
클립드롭을 쓰시는 분들에겐 언크롭(Uncrop)
입력된 이미지의 패턴을 즉석에서 분석하여 정보가 없는 상태(unknown)의 영역을 채워넣는 것(generative fill)
클립드롭에서는 사용된 용어를 굳이 한글로 번역하자면 좀 어색하지만 자르기취소(uncrop) 기능이 될것 같니다.
다양한 용어 중에 그나마 인페인팅/인페인팅이 익숙한데,
글을 쓰다보니 어도비의 생성형 채우기가 인페인팅/아웃페인팅을 모두 아우를 수 있어서 참 잘 지었다는 생각이 듭니다.
가장 심플하게 접근 가능한 클립드롭의 언크롭기능을 이용해보겠습니다.
클립드롭(clipdrop.co) 사이트 접속후 아래로 스크롤을 내리면 UNCROP이 보입니다. 해당 메뉴를 클릭합니다.
이미지를 드래그 앤 드롭으로 업로드합니다.
참고로 저는 언스플래쉬(unsplash)에서 다운받은 이미지로 작업하였습니다.
기본 값은 16:9로 비율이 되도록 설정 값이 셋팅되어 있습니다.
파란색 굵은 바를 드래그 하면 자유롭게 비율 조정이 가능합니다.
이제 [Next] 버튼을 누르면 짠하고 4장이 추천되어 나옵니다.
가장 그럴듯하게 만들어진 이미지를 선택하고 다운로드를 받습니다.
<끝>
클립드롭의 UNCROP 페이지
사진을 업로드 후 Uncrop 할 사이즈를 조절합니다.
[Next] 버튼을 누르면 주변부가 생성되거 후보로 4가지 이미지가 추천됩니다. 여기서 선택만 하면 끝.
언스플래시에서 받은 원본 이미지
Uncrop로 주변부를 생성한 이미지, 중앙부를 제외하곤 좌우 양 옆이 AI로 생성된 이미지인데 놀라울 정도로 실제로 촬영한 사진 같습니다. 위 원본 사진과 비교해서 보시면 재미있습니다.
김동철
낙서를 작품으로 스테이블 두들(Stable Doodle)
생성형 AI 시대의 미래를 현실로 앞당겨준 Stability AI의 서비스 사이트인 클립드롭(Clipdrop.co)에서 제공하는 스테이블 두들(Stable Doodle)입니다.
대충 슥슥 그리고, 원하는 스타일의 프롬프트를 입력하면 기가막히게 멋진 그림으로 생성해줍니다.
그림 그리기는 실력이 없더라도 AI가 이렇게 만들어주니 너무 놀랍습니다.
이렇게 대충 그려도
이렇게 만들어 줍니다.
잘 나온 몇장는 올려봅니다.
김동철
Meta AI 이미지 속 사물을 분리해주는 SAM(Segment Anything Model)
Meta AI 가 요즘 Generative AI 분야에서 뛰어난 기술력으로 치고나가는 분위기 입니다. 이전에 공개한 모델이지만 최근 다시금 이미지 생성 AI가 부상하는 듯 하여 리마인드 해봅니다.
이미지 속에서 어떤 사물이든 분리해주는 SAM(Segment Anything Model)입니다. AI 시대에 로봇의 눈 같이 쓸 수 있는 코어 엔진입니다. 아래와 같은 해상도의 이미지 수와 마스크를 학습했다고 합니다.
- Dataset Characteristics
- Total number of images: 11M
- Total number of masks: 1.1B
- Average masks per image: 100
- Average image resolution: 1500×2250 pixels
Meta의 Segment Anything 사이트에 접속 후 Demo 페이지를 클릭하면 내 이미지를 업로드하여 세그먼트 기능을 사용해 볼 수 있습니다. Waitlist 나 Request early access 기다릴 필요 없이 바로 사용 Demo 가능합니다.
Stable Diffusion에 Extensions에도 있으니 설치해서 사용해 보실 수 있습니다.
아래는 Meta의 SAM을 활용 했을 경우의 데모 영상들 중 몇가지 인사이트를 얻을 수 있는 장면들을 캡처하였습니다. Meta가 향해가는 미래를 엿볼 수 있었습니다.
아직 포스트가 없습니다.
