GPT-4 출시에 대한 소문과 진실
GPT-4는 출시 전부터 큰 파장과 관심을 일으키고 있다. 그럴만한 한것이, 아직도 다양한 사업적 영감과 흥미로운 use-case를 공유하고 있는 GPT-3, Chat-GPT보다 한단계 발전된 모델이기 때문이다. (더 발전하면 도대체 어떤 모습일까..?)
OpenAI의 ChatGPT가 성공적으로 흥행함으로써, ChatGPT를 뒤이을 차세대 기술에 대한 관심이 큰것은 당연한 것 같기도 하다. 뿐만아니라, 실질적으로 체험하고 놀라움을 느낄 수 있는 인공지능 기술이 대중화된 사례들이 2022년에 워낙 많이 일어났다 보니, 미래에 대한 상상력도 점차 과감해지는 듯한 모양새다.
이번 포스팅에서는 GPT-4 출시에 대한 다양한 추측과 소문을 정리해보고자 한다.
튜링 테스트를 통과하다?
튜링 테스트는 기계가 인간 수준의 지능이 있는지 가려내기 위한 고전적이고 가장 유명한 방법중에 하나다. 1950년 앨런 튜링(Alan Turing)이 공개한 논문 <컴퓨터 기계와 지능> 에서 처음 소개한 개념으로, 스스로 사고 할 수 있는 강한 인공지능을 판별하기 위한 테스트로 설명하고 있다.
튜링테스트에 대한 간단한 설명 C가 심사위원!
(이후 포스팅에서는 인공지능이 자아를 가졌는지 판단하기 위한 실험들을 다루어봐도 재미있을것 같네요..)
튜링 테스트는 기계인지 사람 인지를 감별하는 심사위원과 심사의 대상이 되는 인간과 기계(인공지능)을 다른 공간에 배치하고, 텍스트로 대화를 나눈후, 30% 이상의 심사위원이 기계와 인간을 구분하지 못한다면 기계가 지능을 가졌다고 판단하는 실험이다.
OpenAI의 CEO인 Sam Altman은 최근 자신의 Twitter를 통해 Turing Test 벤치마크 에 대한 밈을 업로드했다. 혹자는, Altman이 Turing Test를 가볍게 통과한 Gpt-4가 더 이상 상상 속의 존재가 아님을 암시하는 것일까?
파라미터 Correction
온라인 상에서 공유되는 Gpt-4에 대한 소문중 가장 유명한 것은 GPT-4에 대한 파라미터 크기에 대한 이미지다. 가장 유명한 해당 밈(혹은 진실..?)에서는 GPT-4가 학습할 파라미터의 크기가 약 100조에 달한다는 추측을 보여준다. 
파라미터는 일반적으로 더 많은 수를 사용할 수록 모델이 데이터에서 더 복잡한 관계를 학습할 수 있게 되므로 더 나은 성능을 얻을 수 있다는 방정식이 성립되왔다. 모델의 파라미터 수는 모델의 용량 또는 저장할 수 있는 정보의 양에 대한 척도이기도 한데, 파라미터 변수가 많은 모델은 용량이 더 크고 잠재적으로 데이터에서 더 복잡한 관계를 학습할 수 있다는 것이다.
어쩌면.. 진짜일지도 몰라
반면 파라미터의 수가 너무 많으면 모델이 학습데이터에 과대 적합되어 보이지 않는 데이터에서 저하될 우려가 있다.
그러나, 오늘날 우리가 대형 모델(Large Model, Foundation Model)으로 호명하는 모델들은 점점 파라미터의 개수를 증가 시켜왔다. 실제로 파라미터의 크기(양)과 모델의 성능이 특정 임계점을 넘기면 비 선형적으로 증가했기 때문이다.
Scaling Laws for Neural Language Models- OpenAI 실제로 파라미터가 증가함에 따라 모델의 오답(loss)률이 감소함을 보여주는 차트
실제로 GPT는 1,2,3를 거치 파라미터의 크기를 증가시켜 왔다.
GPT-1은 117 Million Parameters의 크기로 학습되었다.
GPT-2 는 1.2 Billion Parameters의 크기로 학습되었다.
GPT-3는 175 Billion Parameters의 크기로 학습되었다.
이처럼 뜬 소문이라고만 여기기에는 나름의 근거가 존재한다. 근본적으로 모델의 퍼포먼스 향상에는 파라미터의 확대(or 증가)라는 관계성에 기인한 가정인 것이다. 그렇다면 이 100조라는 파라미터의 숫자는 어디서 나온 것 일까?
2021년 8월 Cerebras의 CEO인 Andrew Feldman은 Wired에 ‘OpenAI와의 대화’에서 “GPT-4의 파라미터는 약 100조개 가 될 것”이라고 말했다.
GPT-4에 대한 Andrew Feldman의 정확한 근거를 둔 주장인지 확실치 않지만, 업계 최대의 AI 액셀러레이터 중 하나인 Cerebras에서 그의 위상 덕인지, 많은 사람들에게 GPT-4의 파라미터는 100조개 이상일 것이라는 설득력 있는 소문이 회자되게 하였다.
하지만, 얼마 지나지 않아 Sam Altman은 2022년 4월 인터뷰에서 해당 사실을 부인했다. 최근 2023년 1월 13 Sam Altman은 파라미터 100조개 이상 다이어그램 이미지에 대해 질문을 받았을때 “Complete bullshit(말 같지도 않은 말)”이라며 강하게 부정했다.
실제로 OpenAI는 Chinchilla에서 효과가 입증된 것처럼 파라미터의 크기 대신 데이터 및 컴퓨팅 최적화에 중점을 두었다고 한다. 또한 크면 클수록 좋다라는 기존의 이론에도 Chinchilla(700억 규모 파라미터 모델)가 Gopher(2800억 규모)보다 좋은 성능을 보인다며, 학습 방식에 다각적으로 접근하고 있음을 이야기했다.
Microsoft x Nvidia Megatron-Turing NLG 530B Parameter
Chinchilla outperforms Gopher — https://arxiv.org/abs/2203.15556
GPT-3가 엄청난 학습 비용 덕에 단 한번만 학습되었다는 사실 역시 이를 뒷받침한다. GPT-4는 최적의 컴퓨팅을 위한 x조 파라미터가 아닌 x조개의 토큰을 사용 할 가능성 있다.
희소모델에 대한 가능성
100조개 이상의 파라미터 개수로 학습된 모델에 대한 소문은 몇년동안 존재했습니다. 파라미터의 개수가 100조개 이상이라면, 모델의 용량이 비대해지기 때문에 이는 서비스의 인프라에 큰 부담을 주게 된다.
100조개 이상의 파라미터 개수를 가진 모델이 존재한다면, 이는 희소성 모델(Sparcity Model)일 가능성이 높다.
희소성 모델은 사용자의 입력에 따라 중요하지 않은 데이터를 정의하고, 중요하다고 판단되는 데이터들에 집중해 필수적인 세부정보만 가져오는 방식으로 비용과 효율성 면에서 이상적인 구조다.
복잡한 개념을 쉽게 이해하기위한 예시를 들어보자. 희소성 모델은 ‘희소성 요리사’로 비유하고, 기존의 인공지능 모델은 ‘전통 요리사’로 비유하겠다. (전통 요리사는 희소성 요리사의 반대개념으로 , 희소성 요리사는 “Sparcity Model” 전통요리사는 “Dense Model” 이라고 정의하곤합니다.)
여기 다양한 재료를 가지고 모든 음식을 조리 할 수 있는 훌룡한 ‘희소성 요리사’가 있다. 훌룡한 요리사는 세상의 모든 음식재료가 들어있는 주방에서 일을 하고 있다.
(잠깐 어미를 ‘구어체'로 바꿔보겠습니다!)
마침 주문이 들어왔군요!
된장찌개를 만들어 달라는 손님의 요청입니다. 우리의 훌룡한 희소성 요리사는, 세상의 모든 음식재료중 된장찌개에 꼭 필요한 된장, 호박, 두부 ,양파, 고추 등의 재료만 빠르게 가져와서 맛있는 된장찌개를 만들어 내는데 성공합니다!
손님도 좋아하니 요리사도 덩달아 좋아하네요!
하지만 이 주방에는, ‘희소성 요리사’가 나타나기전에 똑같이 요리를하는 ‘전통 요리사’가 있었습니다.
‘전통 요리사’는 주방에 있는 모든 재료를 고민하고 사용해야 최상의 맛이 나온다고 생각하는 요리스타일을 고수하는 요리사입니다.
때문에, 된장찌개를 요청받아도 주방내에 존재하는 모든 재료를 확인하고 요리를 시작하죠.
결국 희소성 모델과 기존 모델의 차이는, 똑같은 주방에, 같은 수많은 식재료를 가지고 있지만. 효율성의 측면에서 큰 차이를 가지고 있다는 것입니다.
수조개 이상의 파라미터를 가지고 있다면 이는 희소성 모델에 가까워졌을 가능성이 큽니다. 서비스에서 운용가능한 수준의 효율성을 가져야만하기 때문이죠.
비용과 효율성 측면에서 희소성 모델이 상용화가능한 AI의 미래라는 시각이 있습니다.
그렇지만, 희소성 모델은 아직 Large Model에서 적용된 사례가 없기때문에, GPT-4가 희소성 모델이라고 가정하는 것은 아직 어려운것 같고, GPT-1,2,3와 같은 Dense 모델이라고 가정하는 것이 안전해 보입니다.
Multimodal?
우리가 사는 세상에는 텍스트 뿐만아니라 다양한 종류의 컨텐츠로 가득 차있습니다. 텍스트에서, 이미지 , 동영상, 오디오 까지 말이죠. 이번에 출시가 예정된 GPT-4에서는 이런 다양한 컨텐츠 종류를 입력하고, 출력할 수 있는 Multimodal 형식일 것이라는 추측이 존재하고 있습니다.
즉 텍스트 입력에 따른 텍스트 결과물이 아닌, 텍스트 입력/ 이미지 출력, 이미지 입력/텍스트 출력 , 오디오 입력/ 이미지 출력등 다양한 컨텐츠 유형을 입,출력 할 수 있는 인터페이스의 출현을 기대하는 것이라 보면 되겠습니다.
희소성 모델과 더불어, Multimodal화 된 인공지능 역시 AI의 미래로 널리 알려져 있습니다.
대표적인 Multimodal AI Model로는 2022년 4월 출시된 DALLE2가 있으며, 큰 이목을 끌었습니다.
과연 GPT-4가 다양한 컨텍스트를 이해할 수 있는 Multimodal 형식일까?
앞으로 새롭게 나타날 생성형 인공지능 기반 서비스 역시, 유저의 다양한 요구사항을 반영하기 위한 노력을 할 것 이다.
마케팅 분야의 텍스트 생성 툴의 대표격인 ,Jasper.ai는 최근 Jasper Art를 출시 했다.
다양한 AI-Native 서비스 역시 Multimodal이 가진 화제성에 집중하고 이를 십분 활용할 것다.
실제로 OpenAI는 2022년 11월에 1억달러 규모의 스타트업 펀드인 Converge를 설립하고, 그 다음달 Descript, Harvey, Mem, Speak와 같은 Multimodal 유형의 회사에 투자했다.
GPT-4는 텍스트 전용 인터페이스와 개선된 모델의 퍼포먼스를 보여줄 가능성이 가장 높지만, 새로운 트렌드와 기술에 대한 뉴스는 충분히 주시할만한 가치가 있다고 보여진다.
GPT-4의 출시시기
GPT-2 는 GPT1이 출시된 1년 후에 출시되었다, GPT-3 역시 GPT-2가 출시된지 1년 후에 출시되었다. 기존의 관성대로라면, GPT-4는 이미 출시 되었어야 한다.
일반적인 견해로는, GPT-4가 2023년 1분기에 공개될 것이라는 것이 주된 의견이다.
그러나 Sam Altman(OpenAI, CEO)는 2023년 1월 13일 있었던 StrictlyVC와의 인터뷰에서 (위에서 언급한 “Bullshit” 인터뷰) GPT-4의 올해 출시 여부에 대해 “안전하고 책임감에 대해 확신할 수 있는 시점에 나올 것”이라며 확답을 내놓지 않았다.
다만, 여러 소문에 의한 출시 예상일은. 2023년 말 또는 내년에 이루어질 것이라는 기대가 많다.
ChatGPT의 출시 연기 역시, 급격한 관심으로 인한 인프라와 비용의 문제가 원인일 가능성이 높아 보인다.
GPT-4를 기다리며
AI에 대한 다양한 기대감과 루머는 새로운 변화에 대한 열망이기도 하다. 개인적으로는 Deepmind의 창업자이자 CEO인 Demis Hassabis의 TIME 인터뷰를 추천하고 싶다.
Google 역시 실시간 데이터와 출처 인용 기능을 제공하는 새로운 챗봇을 제공하려는 움직임을 보이고 있다. 이는 ChatGPT에 대한 google의 대항 와일드 카드로 보인다.
다수의 사람들과 인공지능이 상호작용하는 경험은 유래없는 사건이다. GPT-4가 연기되는 일이 누군가에게는 실망스러운 일이겠지만, 신생 기업에게는 새로운 사업기회를 제공하는 절호의 기회가 될 것이다.
chatgpt의 답변은 이렇답니다
