소형언어모델(sLM) 전쟁의 시작, 떠오르는 소형모델 미스트랄(Mistral 7B)

소형언어모델(sLM) 시대의 시작

전부터 LLM 운영에 들어가는 막대한 서버 비용이 문제로 언급되면서 이야기가 나왔던 소형언어모델(sLLM : Small LLM)을 sLM(Small Language Model)으로 부르면서 경쟁이 치열해질 것으로 예상됩니다. 허깅페이스 오픈리더보드를 보면 치열하게 7B 모델들이 엎치락뒤치락 하는 모습을 볼 수 있습니다. LLM를 소비하는 입장에선 뭐가 되었든 똑똑하게 잘 나오는 것을 업무에 빨리 써보고 싶을 뿐입니다.

- Huggingface Open LLM Leaderboard

https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

왜 sLM이 주목받고 있느가

이제 생성 AI 엔진을 스마트폰에서 돌리려고 하고 있습니다. 이를 온디바이스 AI라고 부르고 있는데,

- 애플은 아이폰에 iOS 17.2 부터 일기(Journal)라는 기본앱을 통해 이미 시작했고

- 삼성은 가우스를 통해 갤럭시 S24 등에 탑재한다고 공표했습니다.

- 구글은 Gemini Nano를 구글 픽셀 8 프로에 넣는다고 합니다.

스마트폰 다음은 자동차가 될 것이고, TV가 될것이고 냉장고, 세탁기가 되겠지요. 이렇게 탑재시켜 기업은 바뀌게 될 삶을 보여주며 마케팅을 하고, 소비자들은 기기를 교체할 명목이 생기며, AI 칩셋이 팔리고 더 빠른 클럭의 메모리가 팔리게 되겠지요.

​

기준! 매개변수가 30B인가 7B인가

누가 기준을 제시한 것은 아니지만, 업계는 지금 매개변수가 300~340억개를 사용한 모델을 모델명 뒤에 30B, 34B 를 붙여서 LLM으로 불러왔습니다. 이 이하 매개변수를 사용한 모델들을 소형언어모델(sLM)이라 부르고 있습니다. 누가 더 많은 데이터와 더 많은 GPU 자원을 부어넣느냐 하는 공룡 IT 기업들의 자본 싸움이라고 생각했는데, 소형언어모델로 가면 스타트업, 어쩌면 개인까지도 파인튜닝을 통해 실력싸움을 할 수 있는 판인것 같습니다.

1등만 기억하는 치열한 세상, 누가 승자인가

sLM의 대표주자에는 메타의 인기 모델 라마2(Llama-2 7B), 알리바바의 큐원(Qwen 7B), 그리고 최근 급부상중인 미스트랄(Mistral 7B) 모델이 있습니다. 근데 여기는 정말 더 치열하게 MMLU 점수 기준 1등만 살아남고 기억되며 사용자들이 사용합니다. 미스트랄이 급부상인 이유는 MMLU에서 점수가 높았기 때문입니다. AI 엔지니어들은 굳이 애써 2등을 파인튜닝해서 개발할 이유가 없고, 사용자들도 스마트하게 일하려고 LLM을 사용하는 것인데 굳지 2등을 쓸 이유가 없을 것 같습니다. 아직 LLM 도입에 대한 효과를 검증하지 못했다면 무료로 잠시는 쓸수 있을 것 같습니다.

- 미스트랄 설치형으로 돌려본 사용기

https://cafe.naver.com/genai/836

참고기사

[1] 떠오르는 Mistral 7B, https://www.aitimes.com/news/articleView.html?idxno=155624

[2] 치열해진 sLM 시장 7B 전쟁 https://www.aitimes.com/news/articleView.html?idxno=155898