[데일리 AI] 트랜스포머 모델이란 무엇인가?

저는 지금부터 3주간 @이성준 님과 함께 매일 코어닷투데이 콘텐츠를 한개씩 읽고 공유하는 데일리 AI 챌린지를 할 예정이에요. 함께하고 싶은 분은 클럽에 가입 신청해주세요.

트랜스포머 모델이란 무엇인가? (1) | NVIDIA Blog | 코어닷투데이

AI 분야의 혁신에 함께하고 싶다면 트랜스포머(transformer)에 주목하세요. 여기서 말하는 트랜스포머는 TV 위의 변신 로봇 장난감이나 전신주에 달린 쓰레기통 크기의 통을

https://core.today/contents/Yi05667qfD7l

요즘 핫한 GPT는 대표적인 LLM인데, Large Language Model 은 Transformer Model의 적용이다. LLM에 관한 아티클

본문에 의하면 트랜스포머 모델은 AI의 패러다임 변화를 만들고 있어서 파운데이션 모델이라고 일컫어진다. 스탠포드에서 2021년 8월에 명명. 트랜스포머 모델은 2017년 구글의 논문에서 처음 나왔다.

자연어처리(NLP)와 영상처리(Computer Vision)시대를 만든 RNN과 CNN이 2015년~2020년에 가장 인기있는 딥 러닝 모델이었다면 20년 ~ 22년까지는 arXiv에 게제된 AI 논문 70%에 트랜스포머가 등장할 정도로 새로운 대세가 되었다.

트랜스포머는 데이터 라벨링이 필요 없다. 요소들 사이의 패턴을 수학적으로 찾아낸다고 함.

기술적인 걸 떠나서 NVIDIA 블로그 글 상당히 재밌다.

2017년 당시 구글 인턴으로 이 연구에 참여한 에이단 고메즈는 “논문을 제출하기까지 3개월간 전력으로 질주했습니다”고 회상합니다.

“논문 제출을 앞둔 밤, 아시시와 나는 구글에서 밤을 샜습니다. 조그만 회의실에서 두어 시간 정도 눈을 붙이기로 했습니다. 일찍 출근한 직원이 벌컥 열어젖힌 문에 머리를 맞는 바람에 잠에서 깼는데, 논문 제출 마감 직전이었습니다”

이 모닝콜은 위대한 혁신의 시작을 알리는 모닝콜이기도 했죠.

바스와니는 페이스북(Facebook) 팀이 CNN으로 진행한 유사 연구 결과를 트랜스포머가 능가하던 당시의 흥분을 지금도 기억합니다.