비전공자도 쉽게 이해하는 LLM 핵심 정리

이 글은 미래애셋벤처투자 VC이신 Jason Lee님의 글을 공유합니다.

딥러닝, 인공지능 전문가가 아닌 일반인 분들도 쉽게 이해할 수 있도록 LLM에 대한 핵심내용을 정리한 내용의 일부를 공유합니다.

Andrej Karpathy(앤드레이 카파시)는 전 테슬라 AI 디렉터, 오픈AI의 창립멤버 중 한 명인 딥러닝 분야의 세계적인 전문가입니다. 이분께서 1주일 전 즈음 1시간 분량의 LLM강의를 유튜브로 공개하셨는데요, 정말 핵심만 담아서 비전공자분들도 쉽게 이해할 수 있도록 내용을 정리해주셨습니다.

LLM이란 무엇일까요?

• LLM은 간단하게 보면 2개의 파일입니다. Llama-2 70B 모델의 경우, 1) 파라미터 파일과 2) 해당 모델을 돌릴 수 있는 “Run” 파일이 있습니다.

• 파라미터란 모델의 가중치(weights)를 말합니다. Llama-2는 float16 데이터 타입을 사용하다 보니 각 파라미터 당 2 byte; 총 70 billion 파라미터는 140GB에 해당합니다.

• 런 파일은 500줄의 C코드로 구성되어 있습니다.

• 이 모델을 돌리는 데엔 맥북만 있어도 충분합니다! 정말 어려운 것은 이 파라미터를 구하는 것(즉, 트레이닝)이죠.

좋은 파라미터를 구하기 위해 먼저 Pre-Traning 작업을 거치고, 단어의 관계를 수학적으로 이해하여 다음 단어를 예측하고, 좋은 정답이 나오는지에 대한 평가 방법들이 어떻게 되는지를 아래 링크를 통해 전문을 읽어보세요!

(해당 글을 공유하는 것에 대해 허락을 받았습니다!)