Neural Computer가 가져올 미래

기술로 경쟁력을 만드는 기술 기업이란 단어를 스타트업에서 사용할 수 있으려면 대부분의 경우 어느정도 규모가 있어야 한다고 생각합니다. 하지만 현실적인 관점에서 보통의 스타트업이 할 수 있는 것은 독점할 수 있는 기술을 개발하는 것 보다는 GTM을 잘 하여 약간의 시간을 벌어줄 정도의 기술 엣지를 만드는 것 같습니다. 토스의 경우 CMS/펌뱅킹을 잘 이용하여 무료송금을 가능하게 하였고 하이퍼 커넥트의 경우도 처음에 웹 RTC를 이용하여 앱을 만들었습니다. 이러한 사례들을 봤을 때 적절한 기술 엣지를 가지고 이를 빠르게 프로덕트에 적용할 수 있다면 좋은 GTM을 할 수 있겠다는 생각이 들었습니다.

이번 글에서는 OnTheFly팀에서 기술엣지를 만들고 있는 분야를 소개해드리려 합니다. MVP의 목적은 사업성 검증이라는 큰 목표에 도움이 되는 활동을 하는 것이기 때문에 MVP의 성공이 최종 성공이라고 착각하지 않게 조심해야 합니다. 요즘은 MVP를 준비하며 만약 이것으로 사업성 검증에 도움이 되어 계속 하게 되었을 때 계속해서 기술 엣지를 유지할 수 있을지도 생각해보는 중입니다. 아래는 미디엄에 올린 글 번역본이라 문장이 어색해도 이해해주시기 바랍니다.

Neural Computer (신경 컴퓨터)

며칠 전 애플이 WWDC24에서 Apple Intelligence를 발표하기 전에도 LLM 기반 에이전트와 그것들이 우리에게 가져올 미래에 대한 논의가 많았습니다. 비록 LLM 기반 에이전트에 대한 보편적으로 받아들여지는 정의는 없지만, 이들은 대형 언어 모델(LLM)을 활용하여 문제를 추론하고, 이를 해결하기 위한 계획을 세우며, 다양한 도구(즉, 액션)의 도움으로 이 계획을 실행하는 시스템으로 설명될 수 있습니다. 이 개념은 또한 Andrej Karpathy에 의해 "LLM OS"로 유사하게 설명되었는데, 여기서 LLM은 운영 체제의 커널 프로세스에 비유되며, 보편적인 작업 해결자로 기능합니다. 이 아키텍처에서 LLM(이제 멀티모달 지원이 표준이 되고 있으므로 저는 이를 Foundational Model 이라고 부르겠습니다)은 Neural Computing Unit (NCU) 역할을 하고, 에이전트를 지원하는 전체 시스템, 즉 사용자 인터페이스를 포함한 시스템은 신경 컴퓨터입니다. 이 글에서는 신경 컴퓨터에 대한 통찰을 제공하고, 가까운 미래에 우리에게 가져다줄 것들을 이야기 해보겠습니다.

What is Neural Computer?

전통적인 컴퓨터에서는 컴퓨터에서 실행되는 소프트웨어를 컴퓨터 프로그램이라고 합니다. 신경 컴퓨터에서는 이를 에이전트라고 부릅니다. 본질적으로 신경 컴퓨터는 에이전트 프로그램이 실행될 수 있는 플랫폼 역할을 하는 개념적 시스템입니다. 이러한 에이전트 프로그램은 자연어 형태의 입력을 받고, 주어진 작업을 수행하기 위해 신경 컴퓨터가 제공하는 자원을 사용하거나 서로 에이전트끼리 서로 협력하여(MoE 등) 작업을 수행합니다. Foundational Model은 이러한 에이전트에 필요한 기본적인 계산을 지원합니다.

이 새로운 패러다임에서는 작업이 어떻게 수행되는지를 정의할 필요가 없어집니다. 단지 어떤 작업이 수행되어야 하는지만 정의하면 됩니다. 이러한 변화는 구현 세부 사항을 파악하는 데 소모되는 엄청난 인력을 절약할 수 있습니다. 추상화 수준이 변했습니다: 전통적인 컴퓨터 시스템은 결정론적이어서 그 능력이 인간에 비해 근본적으로 제한되며, 이 때문에 특정 작업을 인간에게 맡길 수밖에 없었습니다. 그러나 신경 컴퓨터는 그 핵심에 비결정론적 엔진을 가지고 있어 컴퓨터가 수행할 수 있는 작업의 범위를 확장합니다. 이는 컴퓨터가 인간이 이전에 맡았던 더 복잡한 작업까지도 포함하여 더 많은 작업을 수행할 수 있게 함으로써 인간과 기계의 능력 간 격차를 효과적으로 좁힙니다. 그 결과, 인간은 더 많은 복잡한 작업을 아웃소싱할 수 있게 되고 심지어는 최종 목표를 정의하는 데만 집중할 수 있고, 나머지는 신경 컴퓨터가 알아서 처리하게 됩니다.

The Structure of Neural Computer

에이전트의 기본 아키텍처를 분석함으로써 신경 컴퓨터의 구조를 유추할 수 있습니다. 아래의 다이어그램은 신경 컴퓨터의 핵심 구성 요소인 Memory, Planning, Tools 및 User Interface가 Foundational Model 을 중심으로 어떻게 구성되는지 보여줍니다.

Memory

신경 컴퓨터의 메모리 모듈은 개인용 컴퓨터의 RAM 및 하드 디스크(또는 SSD)와 비교할 수 있습니다. 사전 학습 단계에서 채워지는 지식 공간은 CPU 캐시와 유사하며, context window 와 외부 데이터베이스는 이 메모리 모듈에 속합니다. 이 구조는 전통적인 운영 체제의 메모리 계층 구조와 일치하며, 이 구성 요소들은 일련의 추상화된 캐시로 간주됩니다. 따라서, Foundational Model 과의 근접도에 따라 순서가 정렬된 신경 컴퓨터의 메모리 계층 구조를 체계적으로 관리하는 방법이 필요합니다: 사전 학습된 지식 -> context window -> 외부 메모리.

오늘날 대부분의 에이전트는 외부 메모리로 벡터 데이터베이스를 사용하며, 이는 본질적으로 임베딩 기반 유사성 검색을 수행합니다. 그러나 웹 검색 파이프라인의 기술(예: inverted index, query understanding, retrieval and ranking)을 채택함으로써 개선의 여지가 큽니다. 이러한 개선은 신경 컴퓨터 내에서 더 효율적이고 효과적인 메모리 관리로 이어질 수 있습니다.

Tools

ChatGPT는 사용자 정의 함수와 플러그인을 사용자에게 답변을 생성할 때 사용할 수 있습니다. 이 접근 방식은 도메인 특화 에이전트에 유용하지만, 새로운 에이전트가 구현될 때마다 새로운 작업이 추가되어야 하기 때문에 일반적인 사용 사례에는 근본적으로 확장성이 없습니다. 비트코인 채굴 컴퓨터가 ASIC 칩과 같은 특수 하드웨어를 갖추고 있는 것에 비유될 수 있습니다. 여러 에이전트가 잠재적으로 실행되는 범용 신경 컴퓨터가 요구하는 다양한 작업을 지원하기 위해 모든 필요한 tool들을 개인용 컴퓨터(또는 에이전트 컴퓨터라고 불러야 할까요?)로 통합할 수 있습니다. 그러나 마우스 및 키보드와 같은 전통적인 인터페이스는 이 에이전트-컴퓨터 상호작용에 사용되지 않을 수 있습니다.

Planning

Planning 은 에이전트의 신뢰성과 추론 능력을 향상시켜 일관되고 향상된 성능을 보장하는 중요한 구성 요소입니다. 이는 작업을 더 작고 관리 가능한 조각으로 분해하고, 이러한 작업을 효율적으로 조직하고 실행하기 위한 논리적 프레임워크(예: 트리 구조)를 만드는 것을 포함합니다. 또한, 계획에는 반영 및 개선 과정이 포함되어 시스템이 과거 경험에서 학습하고 실패 사례에 대응하여 지속적으로 적응할 수 있도록 합니다.

User Interface

컴퓨터의 사용자 인터페이스는 명령줄 인터페이스(CLI)에서 그래픽 사용자 인터페이스(GUI)로 역사적으로 발전해 왔습니다. 최근에는 Humane 및 Rabbit과 같은 장치의 하드웨어 지원이 증가함에 따라 음성 사용자 인터페이스(VUI)를 사용하는 추세가 커지고 있습니다. VUI로 성공적으로 전환하면 키보드와 마우스와 같은 전통적인 입력 장치가 쓸모없어질 수 있으며, 컴퓨터와 상호작용하는 방식이 근본적으로 바뀔 수 있습니다.

Kernel for Neural Computer

전통적인 운영 체제는 high-level 응용 프로그램을 위해 하드웨어 및 소프트웨어 자원을 관리합니다. 유사하게, 우리는 신경 컴퓨터의 각 모듈을 감독하여 여러 에이전트를 동시에 운영하는 사용자가 원활한 경험을 할 수 있도록 하는 AIOS가 필요할 것입니다. 전통적인 운영 체제가 주로 하드웨어 자원을 관리하는 것과 달리, 신경 컴퓨터의 커널은 클라우드에 있는 자원을 포함한 소프트웨어 자원을 관리하게 될 것입니다. 예를 들어, Pincone은 메모리 모듈을 지원하기 위해 클라우드 벡터 데이터베이스를 제공하며, LlamaIndex는 LlamaCloud를 통해 RAG 응용 프로그램을 지원합니다. 이는 신경 컴퓨터도 클라우드를 통해 제공될 가능성이 있음을 나타냅니다. 따라서 에이전트를 실행하려는 개인은 컴퓨터 하드웨어를 구매하거나 신경 컴퓨터의 각 구성 요소에 대한 서비스를 별도로 구매할 필요가 없습니다. 대신 모든 필요한 구성 요소를 통합한 신경 컴퓨터를 단일 기업으로부터 얻을 수 있습니다.

The Era of Software 3.0

그렇다면 에이전트는 어떻게 개발될 수 있을까요? 신경 컴퓨터의 Visual Studio(즉, IDE)는 어떤 모습일까요? 그리고 프로그래밍 언어는 어떻게 될까요? 우리는 지난 몇 년 동안 Software 2.0을 경험해왔고 이제 Software 3.0이 도래했습니다.

Software 1.0은 C, Java 또는 Python과 같은 프로그래밍 언어로 명시적인 명령과 알고리즘을 작성하는 전통적인 프로그래밍을 의미합니다. 이러한 프로그램은 특정 작업을 수행하기 위해 정의된 규칙과 논리를 따릅니다. 개발 과정은 인간 프로그래머가 수동으로 코딩, 디버깅 및 최적화를 수행합니다. Software 2.0은 데이터 기반 프로그래밍으로의 전환을 나타내며, 여기서 기계 학습 모델과 신경망이 대규모 데이터셋을 기반으로 학습하여 작업을 수행합니다. 명시적인 규칙을 작성하는 대신 개발자는 데이터셋을 준비하고 데이터에서 학습하는 아키텍처와 알고리즘을 만듭니다. Software 3.0은 Foundational Model 의 emergent property가 출현한 시대로, 프롬프트 엔지니어링을 통해 단일 대형 모델을 다양한 목적으로 사용할 수 있습니다. 예를 들어, Stable Diffusion 모델을 사용해 이미지와 비디오를 생성하고, ChatGPT를 사용해 많은 작업을 수행할 수 있습니다. 이것이 Software 3.0이며, 우리는 자연어를 사용해 코딩합니다. 신경 컴퓨터를 위한 프로그래밍은 아마도 영어 또는 다른 자연어에 의존하는 새로운 언어나 패러다임을 포함할 것입니다.

The Compounding Growth in Foundation Model

새로운 에이전트 시대에 대한 높은 기대에도 불구하고, 현재의 에이전트 회사들은 실망을 줄 수 있습니다. 이는 에이전트가 단순히 제대로 작동하지 않기 때문입니다. 멀티모달 성능이 여전히 낮고, 더 나은 성능의 에이전트를 일관되게 만드는 방법을 아무도 모릅니다. 단일 작업의 실패율이 여전히 높아, 일련의 작업에서 발생하는 복합 오류로 인해 작업 실패율이 증가합니다.

그러나 우리는 칩, 소프트웨어, 프롬프트 기술, 알고리즘, 모델 아키텍처, 데이터의 발전에 의해 추진되는 기초 모델의 복합 성장의 힘을 간과해서는 안 됩니다. 최근 Nvidia는 Blackwell 칩의 출시로 무어의 법칙의 약속을 다시 썼습니다. 이는 데이터 처리 속도를 향상시켜 더 높은 훈련 효율성과 빠른 추론을 제공하며, 최종 사용자에게 전혀 다른 경험을 제공합니다.

또한 Transformer에 대한 더 나은 모델 아키텍처 대안을 개발하는 데에도 큰 진전이 있었습니다. 예를 들어, Mamba가 있습니다. 게다가 최근 출시된 GPT-4o는 모달리티 간 토큰 공간을 통합하여 실시간 멀티모달(오디오 + 비디오) 통신이 가능하다는 것을 보여주었습니다. 이러한 모델 파이프라인의 균질화는 하드웨어와 소프트웨어 지원 간의 시너지를 가속화하여 Foundational Model 의 발전이 더 집중화 될 수 있게 해줍니다. 우리가 예측한 기술 발전은 항상 예상보다 빨리 도착했습니다.

What’s Next?

현재 모델을 제공하는 회사들, 예를 들어 Anthropic과 OpenAI는 10년 전의 칩 회사인 Intel에 비유될 수 있습니다. 이 회사들이 애플처럼 종합적인 컴퓨터 제조업체로 발전할지는 아직 미지수입니다. 그러나 PC 산업의 역사를 통해 추론해보면, OpenAI가 단기간에 곧 완전한 신경 컴퓨터 제조업체로 발전할 가능성은 거의 없다는 생각이 듭니다. 애플이 설립된 지 44년 후에야 Mac에서 M 시리즈 CPU를 사용하기 시작했다는 점을 생각해보세요.

이 경쟁 역학은 1980년대 초반의 개인 컴퓨터 시대와 놀라울 정도로 유사합니다. 당시 애플, 휴렛팩커드, IBM이 치열하게 경쟁하던 시기였습니다. 하드웨어와 소프트웨어의 통합이 중요한 요소가 되었으며, 각 회사는 원활한 사용자 경험을 창출하기 위해 노력했습니다. 그 시기는 명령 줄 인터페이스에서 그래픽 사용자 인터페이스로의 중요한 전환을 의미하며, 사용자가 컴퓨터와 상호작용하는 방식을 근본적으로 변화시켰습니다. 각 회사는 마우스 사용과 디스플레이의 필요성 같은 사용자 인터페이스에 대한 비슷한 비전을 가지고 있었습니다. Agent가 소개된 새로운 시대는 전통적인 입력 방법을 넘어 더 직관적이고 자연스러운 상호작용으로 기술과 상호작용하는 방식을 변화시켜 사용자 경험을 다시 정의할 가능성이 있습니다.

향후 몇 년은 신경 컴퓨팅 회사의 차세대를 발견하려는 창립자, 투자자, 기술 열광자들에게 매우 활발한 시기가 될 것이라고 믿습니다. 신경 컴퓨터가 보편화되면 누구나 쉽게 컴퓨터 프로그램(즉, 에이전트)을 만들 수 있게 될 것입니다. 전통적인 미디어가 수많은 인플루언서와 소셜 미디어 플랫폼에 그 힘을 잃은 것처럼, 전통적인 SaaS와 소프트웨어는 힘을 잃고 LLM 앱을 배포하고 실행할 수 있는 플랫폼이 두각을 나타낼 것입니다. 이 변화는 우리의 삶을 근본적으로 바꿀 것입니다.

원글 링크:

OnTheFly 팀은 Neural Computer의 비전을 보고 일하고 있습니다. 혹시 Neural Computer에 대한 다른 비전이 있거나 이를 사업화하는데에 관심있으신 분들은 언제든 커피쳇 요청해주시기 바랍니다.