Llama 7b를 쉽고 싸게 Fine-Tuning 하기

먼저 Llama 7b를 구글 코랩에서 바로 fine-tuning 할 수 있는 링크를 전달드립니다. T4에서도 Llama 7b를 바로 fine-tuning 할 수 있는 것을 볼 수 있습니다. 심지어 단 몇 분만에요!!!

이건 마치 줄 서서 겨우 먹을 수 있는 유명 쉐프의 비싼 요리를 싼 가격에 밀키트로 쉽게 먹을 수 있게 된 것과 비슷하다고 볼 수 있습니다.

https://colab.research.google.com/drive/1Ly01S--kUwkKQalE-75skalp-ftwl0fE?usp=sharing

올해 초 허깅페이스에서 PEFT라는 효율적으로 Fine-tuning을 할 수 있는 기술을 공개합니다(https://github.com/huggingface/peft ).

간략하게 2천만 원이 넘는 그래픽카드(A100 80GB)로도 못하던 fine-tuning을 PEFT 덕분에 가능하게 된 것이죠. 가능은 했지만 1개 그래픽카드로 fine-tuning을 시키는데 오랜 시간이 걸렸습니다.

그리고 중순에 QLoRa라는 획기적인 기법이 등장하면서, 이제 2백만 원이 안되는 그래픽 카드(T4)로 fine-tuning이 가능해지기 시작합니다. 물론 그래도 T4로하면 오랜 시간이 걸리거나 종종 메모리가 부족해, A100으로 빠르게 처리하는 편이었습니다.

그러다 PEFT와 QLoRa 그리고 몇몇 최적화 기능이 들어가면서 2천만 원짜리 그래픽카드 하나로는 엄두도 못 냈던 fine-tuning을 이젠 구글 코랩에서 무료로 쓸 수 있는 그래픽카드(T4)로 해볼 수 있게 된 것입니다(다만 무료로 쓰면 금방 컴퓨터 소스가 부족해서 fine-tuning 몇 번 못할 수 있습니다.).

물론 위에 말한 것처럼 정식 요리가 아닌 밀키트이기 때문에 서비스로 쓰기엔 성능의 무리가 있을 수 있지만, 가벼운 작업은 충분히 잘하는 것을 볼 수 있습니다. 심지어 밀키트답게 fine-tuning 시간도 금방입니다.