🗞[230817] 모두를 위한 AI 뉴스🗞

안녕하세요, 여러분~ 오늘도 흥미로운 소식 전달 드립니다.

모두의연구소는 함께 공유하고 성장하는 국내 최대 AI 커뮤니티입니다🌱.
그럼, 오늘의 AI 뉴스 시작해 볼게요! :)

1️⃣Git Commit 메세지를 활용한 데이터셋을 구축해서 코드 만들어주는 LLM 만들기!
Git 커밋의 구조를 이용해 코드와 명령어를 활용한 데이터셋을 구축하고 StarCoder를 튜닝하는 논문이 나왔습니다. 해당 모델을 만들기 위해서 350개의 프로그래밍 언어로 4테라바이트의 Git 커밋을 컴파일한 CommitPack을 사용했습니다.
이를 기반으로 만들어진 StarCoder 모델은 HumanEval Python 벤치마크에서 뛰어난 성능을 보여주었고, 새로운 휴먼에벌팩 벤치마크를 통해 다양한 코딩 작업과 프로그래밍 언어에 대한 성능을 보여주었습니다. 해당 자료의 경우 코드, 모델, 데이터까지 무료로 공개되어 있는데요, 실제 잘 작동하는지 테스트를 진행해보고 바로 해보고 싶네요!

2️⃣Hugging Face Open LLM Leaderboard 1등 : Platypus
Platypus이라는 모델이 현재 HuggingFace의 오픈 LLM 리더보드에서 1위를 차지하는 LLM으로 등극헀습니다. 논문에서는 크게 3가지 주제를 다루고 있는데요,

1. 공개적으로 사용할 수 있는 큐레이팅된 데이터 세트인 Open-Playtpus

2. 특정 도메인 지식을 반영하기 위해 LoRA 모듈을 미세 조정하는 방법

3. 학습 데이터의 유출과 오염을 확인하는 접근법 설명 등 입니다.

Platypus는 최소한의 미세 조정 데이터와 컴퓨팅으로도 뛰어난 성능을 보여주는데, 13B Platypus 모델은 A100 GPU에서 5시간 동안 25,000개의 질문을 사용하여 훈련될 수 있습니다.
이 모델 또한 모델, 데이터셋, 코드 모두 공개되어 있는데요, 지금 바로 한번 확인해보세요!

3️⃣PrefixLM이 CausalLM보다 좋은 이론적인 이유
트랜스포머 기반의 접두사 언어 모델(prefixLM)이 사용하는 인컨텍스트 샘플들이 서로 어텐션 메커니즘으로 연결이 되어 있는 방식이 인과 언어 모델(causalLM)에 비해 더 우수한 성능을 보여줍니다. 이 논문에서는 특정 파라미터 조건에서 두 언어 모델의 특성을 이론적으로 분석하였습니다. prefixLM은 선형 회귀의 최적 해에 수렴하는 반면, Causal LM은 최적 해를 보장하지 못하는 수렴 역학을 가진다는 결과를 도출하였습니다.
이론적인 분석을 보완하기 위해 여러 실험을 진행하였고, 그 결과 Causal LM이 prefixLM에 비해 성능이 떨어진다는 것을 확인했습니다. 가볍게 먼저 생각해봤을 때에도 prefixLM이 인컨텍스트 샘플이 있을 때 Causal LM보다 훨씬 우수하다는 생각을 했는데요 이렇게 이론적인 부분으로까지 증명되니까 조금 더 확실해진것 같네요!

📍Llama 2, SDXL 이미 알고 있다면?
AI학교 아이펠 리서치 과정 모집 중 → https://bit.ly/3OX29fF