Open Ko-LLM 리더보드 1등을 달성한 개발자 한규진입니다. (댓글 달면 프로모션 코드 지급해드립니다!)

안녕하세요 여러분!

마커AI에서 LLM 연구원으로 활동하고 있는 한규진이라고 합니다! 또한 현재 한동대학교 재학중입니다😄😄

Disquiet 커뮤니티를 알게 된 이후로 첫번째로 작성해보는 글이여서 무척 떨립니다..ㅎㅎ

저는 원래 Computer vision쪽으로 관심이 많아서 vision과 관련하여 공부를 하고 프로젝트를 진행하고 있었습니다! 🔥🔥

그러다가 좋은 기회로 인해 마커 AI에서 LLM 연구를 하게 되었고, Ko-LLM 리더보드가 처음 열린 이후 예상치도 못하게 1등을 달성하여 저 스스로도 많이 놀랐습니다..ㅎㅎ

여기서 간단하게 Open Ko-LLM에서 1등을 달성했던 Ko-platypus 모델을 소개하겠습니다!👉

• 해당 모델은 platypus 논문을 바탕으로, 데이터를 번역하고 정제한 후 instruction-tuning을 진행한 모델입니다!

• 이후에 다양한 데이터와 OpenOrca 데이터를 정제하고 활용하여서 여러 파생 모델들을 제작하였습니다!

• 생각보다 많은 관심을 받아서 너무나 감사했습니다 ㅎㅎ

🥮Ko-Platypus 🥮개발 이야기가 궁금하신가요!?

LoRA 방법론을 시작으로 여러 PEFT를 공부하고 있던 도중 오픈소스 LLM인 Llama-2가 발표되어 수많은 파생 모델들이 나왔습니다.

이때 Platypus LLM 논문을 접하게 되었는데, 논문 내에서 소개한 데이터 수집 방식과 instruction-tuning 방식을 보고 '나도 Platypus 논문을 바탕으로 한국어를 잘하는 Llama2기반의 모델을 만들고 싶다'라는 생각을 하였습니다.

이때 생겼던 🔥self-motivation🔥을 바탕으로 저는 곧바로 한국어 platypus 프로젝트인 Ko-platypus를 구상하게 되었고, 저의 의견과 계획을 어필하여서 (주)마커AI와 (주)미디어그룹사람과숲에서 지원을 받아 연구를 시작하게 되었습니다!

먼저 Platypus 논문에서 활용했던 데이터셋을 바탕으로 DeepL을 활용하여 전부 한국어로 번역을 진행하였습니다. 그리고 번역된 결과를 바로 활용하여 훈련을 진행하니 예상했던 성능보다 좋지 못했습니다.

저는 원인을 분석하기 위해 데이터를 하나하나 수작업으로 검토하였고, 번역 결과 안에 생긴 오류들을 코드와 수작업으로 대부분 수정하였습니다! 대표적인 데이터 전처리로는 아래와 같습니다!

• 다양한 컴퓨터 언어(python, java, c++, ...)와 주석은 유지하고, 설명만 한국어로 수정

• DeepL Pro 번역 결과 중 미완성 변역 결과 직접 수정

• 고유명사는 유지

• DeepL Pro 번역 결과가 본래의 데이터에 비해 글자 수가 50% 이하로 낮으면, 번역 결과 수작업으로 체크 후 수정

• 단일 숫자와 영어 텍스트는 본래의 결과 그대로 활용

자세한 한국어 platypus 데이터셋은 아래의 링크에서 확인하실 수 있습니다!

데이터 전처리로 완성된 KOpen-platypus 데이터를 바탕으로 Llama2 instruction-tuning을 진행하였고, 하이퍼파라미터 튜닝을 여러 번 시도하면서 성능을 이끌어냈습니다..!

그리고 이후 새롭게 열린 Open Ko-LLM 리더보드에 Ko-platypus 모델을 올려 좋은 결실을 맺을 수 있었습니다😊😊

제가 Ko-platypus를 만들면서 가장 행복했던 점은, 리더보드의 성과보다 한국어 오픈소스 LLM에 조금이나마 기여를 했다는 점에서 너무나 기뻤고, 서로 경쟁하면서 실력을 쌓아가고 고민하는 그 시간들이 저에게 너무나 귀한 경험이었고 감사했습니다 ㅎㅎ

앞으로도 AI 오픈소스 진영에서 열심히 연구하고 여러 인사이트를 제공할 수 있는 연구자가 될 수 있도록 더욱 노력하고 성장하겠습니다!😁😁

추가로 Open Ko-LLM 리더보드를 계기로, Upstage의 김성훈 대표님과 좋은 인연이 닿아서 Fast campus에서 LLM 강좌를 준비하게 되었습니다!🤗🤗 @Sung Kim

자세한 정보와 링크는 아래를 참고해주세요!

📚강의 내용은 아래와 같이 3가지 파트로 구성되어 있습니다!

• Upstage의 노하우가 담긴 SOLAR 모델 제작 히스토리

• LLM 모델 최신 트렌드 A to Z까지 이해하기

• LLM fine-tuning 및 리더보드 실습

🚀이런 분들께 추천드립니다!

• LLM을 입문하고 싶은데 방대한 지식과 코드로 공부하기 망설이시는 분😭!

• 최근 LLM 분야에서 널리 활용되는 PEFT 방법론에 대해서 배우고 코드 실습을 하고 싶으신 분🙋‍♀️!

• 허깅페이스 리더보드에 자신의 LLM을 올려보고 싶으신 분👊!

해당 강좌가 수강하시는 여러분들의 LLM 입문에 초석이 되어, 여러분들의 아이디어와 방향성을 토대로 LLM을 직접 만들어보는 계기가 되었으면 좋겠습니다. 더불어서 여러 모델들을 자신만의 방법으로 적용해보면서, LLM을 보는 시각을 넓히고 자신만의 노하우를 구축하시길 바랍니다!🤗🤗

추가적으로 수강을 계획하신 다면 댓글로 남겨주세요!

20% 할인 코드를 지급해드리겠습니다! (~12/11)

긴 글 읽어주셔서 감사합니다!