🤔 80일 동안 LLM 논문 400개를 정리하면서 느낀 점

7월 25일에 저는 대뜸 회사 슬랙에 LM (Language Model) 논문을 매일 정리해오겠다고 말했습니다. 그때 당시에는 한창 LLM의 인기가 높아지고 LLM을 활용한 다양한 서비스들이 출시되었기에 전 세계가 LLM에 집중하던 시기였습니다. 우리 팀도 LLM의 가능성에 대해 믿고 있었고, LLM으로 어느 팀보다 더 뛰어난 프로덕트를 만들기 위해서는 리서치가 필요하겠다 느꼈습니다.

사실 2-3달만 지나면 팀원들의 관심이 시들해져 자연스럽게 리서치를 그만하지 않을까 싶기도 했습니다. 잠깐 반짝했다가 요즘에는 뜸한 블록체인이나 메타버스처럼요. 근데 갈수록 LLM의 중요성은 화두되었고 어쩌다보니 사내에 공유하기 위해 정리하던 내용을 뉴스레터로도 만들어 매주 포스팅을 하고 있게 되었습니다. (이것도 이제 10주차가 되었네요..)

제가 포스팅하는 매주 가장 핫했던 LLM 논문을 정리하는 뉴스레터 👇

https://corca.substack.com/p/top-llm-papers-of-the-week-74f

매일 2-30개 이상의 논문을 훑고 중요한 4-5개 논문들을 뽑아 정리해오는 것을 80일째 하다보니 느낀 점들이 몇 가지 있어 이렇게 글을 적어봅니다. 참고로 저는 그저 학부생이자 3년차 머신러닝 엔지니어 정도입니다. 아직 많이 부족하니 가볍게만 읽어주세요 ㅎㅎ..

1. 이해가 되지 않는 논문을 몇시간 붙잡고 있지 마세요.

저는 논문을 읽다가 조금이라도 어렵게 느껴진다면 바로 패스합니다. 제가 논문을 보고있는 Arxiv에는 Computer Language 관련해서만 하루에 70개에서 어떨 때는 150개의 논문이 올라옵니다. 한 논문이 이해가 되지 않아도 제게는 나머지 69개의 논문이 남아있습니다. 적어도 그 중 20개는 초록만 읽어도 쉽게 이해가 되더라구요. 물론 어려운 논문을 몇 시간 붙잡고 이해했을 때 얻는 쾌감이 있긴 합니다. 하지만 지금은 하나에 깊게 들여다볼 때가 아니라고 생각합니다. 매일 새로운 방법론과 모델들이 제시되고 보통 그와 관련된 논문들은 초록만 읽어도 쉽게 이해가 됩니다. 그런 논문들만 빠르게 파악해도 충분하다고 생각합니다.

⭐️논문 빠르게 훑는 법⭐️

1. 초록 읽고 "뭔 소리여.." 하는 생각들면 바로 패스. (아직 이걸 읽을 실력이 되지 않았다는 것)

2. 논문에 있는 그림 감상할 때, 그림이 맘에 들면 계속 읽기.

3. 보통 Introduction 마지막 문단 쪽에 자신들의 main contribution을 bullet point로 정리해둡니다. 그거 읽기.

4. 그것까지 맘에 들었으면 적당히 실험 결과 맛보고 Limitation 파악하고 마무리하기.

1. 한국이 LLM 리서치에 있어서 많이 느린 것 같습니다.

논문에는 저자와 그의 소속이 보입니다. 대부분의 논문은 Microsoft, Google, Facebook (Meta), Alibaba 등 유명 해외 IT 기업과 MIT, Standford 등 유명 미국 대학에서 나오는 것 같습니다. 물론 중국 대학도 어마어마하게 많이 보이고 싱가포르, 홍콩도 꽤 보이더라구요. 한국은 가끔씩 KAIST, Naver에서 하루에 1-2개 정도 보이는 수준입니다. 정말 자신이 LLM의 가장 최전선의 연구를 파악하고 싶다라고 하시면, 외국의 자료, 커뮤니티들을 많이 봐야합니다. 저는 개인적으로 Twitter(X)를 통해 팔로업을 하고 있습니다. 제 트위터는 @L0Z1K입니다. ^^

1. 좋은 아이디어는 차고 넘친다. 누가 먼저 실제 프로덕트로 만드는지가 중요한 싸움이다.

GPT-4V가 머지않아 API로 사용가능해질 것 같습니다. 이미 리서치를 하다보면 이걸로 요런것도 할 수 있고 저런것도 할 수 있고 이런 게 문젠데 이건 이렇게 수정이 가능하고 등등.. 모든 얘기가 이미 다 나와있습니다. 실행력만 있다면 LLM을 가지고 정말 뛰어난 프로덕트를 만들 수 있다고 생각합니다. 저도 만들고 있는 멋진 프로덕트를 완성하여 자랑할 날이 오면 좋겠네요.

적고 나서 보니 너무 뻔한 얘기만 적어뒀나 싶네요.. 다음에는 더 얻을게 많은 좋은 글로 돌아오겠습니다. 😅