🏆 한국어 오픈 소스 LLM 1위 달성

보라색 네모가 바로 저에요 :)

업스테이지와 한국지능정보사회진흥원(NIA) 가 운영하는 한국어 거대언어모델 리더보드에서 1위(!!!)🏆에 올랐습니다. 원래 하나 시작하면 1등하기 전까지는 못 배겨서 끝까지 시도해보았습니다... (3번째 제출)

우선 LLM 을 학습해본 경험은 없었기 때문에(이론적으로만 알던 상황) 사비로 100,000원을 날리면서도 학습이 거의 안 되서 포기한 경험도 있었는데, 직접 돈의 소중함(?)을 경험하고 방법론을 찾아가다보니 효율적인 학습을 진행하는 데 도움이 되더라고요. 결론은 데이터가 정말 중요하다고 생각했고, 오픈소스 생태계 활성화를 위해 데이터셋을 공개해주신 (주)미디어그룹사람과숲, (주)마커 그리고 한규진 개발자님께 다시 한 번 감사드립니다.

링크: 한규진 개발자님 블로그

저 또한 이미지 모델 관련 코드는 공유하고 있지만, LLM 쪽으로는 기여한 부분이 적은 것 같은데 한국어 멀티턴 데이터셋을 시간 날 때마다 준비 중이고 공개하여 윗 분들처럼 기여할 수 있도록 하겠습니다.

리소스 지원이 가능한 기관이 있다면 도와주시면 더 빨리 할 수도 있고요!

*1등이 기쁘지만 마냥 중요한 것은 아니기 때문에 향후 개선이 필요한 점을 제안하면

• 해당 방법론이 CommonGen, TruthfulQA 지표의 개선을 가져다주지만, 그 외에는 성능이 하락한 것으로 보여짐

• 참고로 학습한 방식은 정규화를 강화한 방식

• 언어 성능을 개선하기 위한 방식은 다른 형태의 지시 데이터(멀티턴이라던가)와 이를 지원하는 프롬프트 구성이 필요한 것으로 판단됨
  
  이정민(스모어톡, tonylee@smoretalk.io)