뤼튼 ML 엔지니어에게 AI Hype이 언제까지 갈 것 같냐고 물었다.

Product Lounge를 준비하면서, 이번 AI Hype이 언제까지 갈 것인지를 대장간 하우스에 같이 사는 뤼튼 머신러닝 엔지니어, @김유빈 에게 물었다. 유빈이는 늘 퇴근하고 집에 들어오면 거실에서 랩탑을 펴고 뭔가를 하고 있는데 이때가 무방비 상태이기 때문에 가장 괴롭히기 좋은 시점이다.

AI 붐은 작년의 Web3 붐처럼 꺼질 것인가?

유빈이는 내가 이 질문에 대해 좀 더 유식하게 이야기하려면 한계 효용의 법칙을 알아야 한다고 했다. 이건 대부분의 사례에 일반적으로 적용되는 법칙으로, 이건 input 대비 output이 일정 수준을 넘어서면 효용에 한계가 온다는 것이다.

그런데 현재 GPT와 같은 거대 언어모델(LLM)에서는, 데이터셋의 크기를 키울수록 그 성능이 한계를 맞기는 커녕 여전히 쭉쭉 커지고 있다고 한다. 붐이 사그라드는 게 아니라 올해 내내 더 강력한 모델들이 등장할 것이고 새로운 모델을 거의 한 달 주기로 공개할 것이라고 말했다.

올해 내내 AI 회사에서 새로운 모델들을 계속 발표할 것

AI 회사에서 새로운 모델들을 발표한다고 하니 나는 곧바로 이런 궁금증이 생겼다: '그렇다면 AI 회사들은 이미 공개하지 않은 연구 결과를 엄청 많이 가지고 있던 것인가?' 유빈이는 기존의 AI 연구 방식은 학자들이 10년 주기로 새로운 방식의 모델을 내놓고 매달려서 연구하는 방식이었는데, LLM의 시대에서는 새로운 연구를 하는 것이 아니라 파라메터의 크기를 엄청 키우면 그게 곧 성능의 향상이고 새로운 모델이 된다고 말해줬다. 유빈이가 보여준 사진처럼 이제 Scaling is Everything 인 세상이 온 것이다.

내용 추가) 10년주기라고 했지만, 딥러닝은 끽해야 그 10년 주기가 두세번정도라, 각 분야별로 메인 모델이 2~3개 뿐이다 by @권지훈

그럼 파라메터는 무엇이고 파라메터의 크기는 어떻게 키울 수 있느냐?

인공지능을 이루는 신경망은 초기에 가중치 세팅이 랜덤으로 되어 있다. 마치 아기와 같은 상태인 것이다. 아기는 시냅스의 전기 신호가 랜덤하다고 한다.

아이는 자연적으로 중요한 것과 중요하지 않은 것에 대해 가중치를 두며 세상을 배워가기 마련이다. 아이가 세상이라는 인풋을 통해 시냅스를 최적화해나가며 새로운 세상을 만들어 내듯, AI도 시냅스 다발과도 같은 파라미터에 가중치를 두며 아웃풋을 최적화해나간다고 한다.

그런데 지금 파라메터의 크기를 키우는 것은 하드웨어 싸움이다. 매우 많은 수의 GPU를 병렬로 연결해서 처리하도록 해야 한다.

결론

AI Hype 가 꺼질 것인가? 를 주제로 3월 29일 수요일에 Product Lounge에서 대화를 나눠보려 했으나 유빈이와 대화하면서 이미 Hype는 꽤 오래 갈 것이라고 확신하게 되었다. 그래서 Product Lounge에서 정작 그 얘기는 안 했다 ㅎㅎ

Product Lounge 패널 토크 중에 @이세영 대표님께서 엔지니어인 유빈이를 자리로 불러 답변할 기회를 주셨다. 프롬프트 엔지니어링에 대한 질문이었는데, 이건 정말 흥미로운 내용이어서 또 메이커로그로 적어보려 한다.