업스테이지의 새로운 언어모델 솔라

업스테이지에서 만든 새로운 봇인 Solar를 이제 포에서 사용할 수 있습니다.

솔라는 HuggingFace Open LLM 순위표에서 상위권에 랭크된 모델이자 Llama 2를 미세 조정한 Solar는 오픈 소스를 통한 발전의 좋은 예입니다.

지금 체험하기 https://poe.com/Solar-0-70b

SOLAR-0-70b-16비트 모델 카드

• 모델명이 LLaMa-2-70b-instruct-v2에서 SOLAR-0-70b-16bit로 변경되었습니다.

모델 세부 정보

• 개발자: Upstage

• 백본 모델: LLaMA-2

• 언어(들): 영어

• 라이브러리: 허깅페이스 트랜스포머

• 라이선스: 미세 조정된 체크포인트는 비영리 크리에이티브 커먼즈 라이선스(CC BY-NC-4.0)에 따라 라이센스가 부여됩니다.

• 의견을 보낼 수 있는 곳: 모델에 대한 피드백이나 의견을 제공하는 방법에 대한 지침은 허깅페이스 커뮤니티의 모델 저장소에서 이슈를 열면 확인할 수 있습니다.

• 연락처: 모델에 대한 질문이나 의견이 있으시면 contact@upstage.ai 으로 이메일을 보내주세요.

• 사용된 데이터 세트

  • 오르카 스타일 데이터 세트

  • 알파카 스타일 데이터 세트

• 위에 언급된 데이터셋을 제외하고 다른 데이터셋은 사용되지 않았습니다.

• 벤치마크 테스트 세트 또는 훈련 세트가 사용되지 않았습니다.

프롬프트 템플릿
### System:
{시스템}

### 사용자:
{사용자}

### 어시스턴트:
어시스턴트: {어시스턴트}

사용법

다음은 A100 80GB에서 테스트한 결과입니다.

저희 모델은 로프 스케일링 옵션 덕분에 최대 10,000개 이상의 입력 토큰을 처리할 수 있습니다.

토치 가져오기

트랜스포머에서 AutoModelForCausalLM, AutoTokenizer, TextStreamer를 가져옵니다.

tokenizer = AutoTokenizer.from_pretrained("upstage/Llama-2-70b-instruct-v2")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/Llama-2-70b-instruct-v2",
    device_map="auto",
    torch_dtype=torch.float16,
    load_in_8bit=True,
    rope_scaling={"type": "dynamic", "factor": 2} # 더 긴 입력 처리 가능
)

prompt = "### 사용자:\n토마스는 건강하지만 병원에 가야 합니다. 그 이유는 무엇일까요? \n\n### 어시스턴트:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
del inputs["token_type_ids"]
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

output = model.generate(**inputs, streamer=streamer, use_cache=True, max_new_tokens=float('inf'))
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

하드웨어 및 소프트웨어

하드웨어: 모델 훈련에는 A100x8 * 4를 사용했습니다.

트레이닝 팩터: 딥스피드 라이브러리와 허깅페이스 트레이너/허깅페이스 액셀러레이트를 조합하여 이 모델을 미세조정했습니다.

평가 결과

Open LLM 리더보드에서 평가 중인 과제에 따라 성능 평가를 수행했습니다. ARC-Challenge, HellaSwag, MMLU, TruthfulQA 등 4개의 벤치마크 데이터 세트에서 모델을 평가했으며, 특히 커밋 b281b0921b636bc36ad05c0b0763bd6dd43463의 lm-evaluation-harness 리포지토리를 사용했습니다.

모델을 평가하기 위해 여러 차례에 걸친 까다로운 주관식 문제 세트인 MT-bench를 사용했습니다.

Scripts for H4 Score Reproduction

• Prepare evaluation environments:

# clone the repository
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# check out the specific commit
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# change to the repository directory
cd lm-evaluation-harness

업스테이지 소개

Upstage는 대규모 언어 모델(LLM) 및 AI 전문 회사입니다. 개인용 LLM 및 관련 애플리케이션을 구축할 수 있도록 도와드립니다. 도메인별 LLM을 구축하거나 LLM 애플리케이션을 만들기 위한 데이터셋이 있다면 ► 여기를 클릭하여 문의해 주세요.

8월 1일 현재, 70B 모델은 오픈LLM 순위에서 1위를 차지하며 현재 전 세계에서 가장 우수한 성능을 보이고 있습니다.