AI Safety, Robotics, LLMs

개인적으로 올해 내내 가장 관심 갖고 있는 두가지 업계에 대해 생각을 정리하고자 한다.

두명의 글을 정리 + 번역하고자 하는데, 한명은 Alex Irpan: 8년간 robotics 팀에 있다가 AI safety로 넘어가는 결정을 내린 사람이고, 다른 한명은 Eric Jang: 2022년부터 AGI 미래를 위해 robotics 회사에 이직한 사람이다.

둘다 Robotics 업계에 있다가 Alex Irpan은 다른 방향을 택한건데, 각자 왜 이런 방향을 택했는지가 흥미로워서 글을 남긴다. (내 개인적인 생각들과도 유사한 생각을 갖고 있는 두명의 사람이 다른 커리어 길을 택한게 흥미롭다)

AI Safety

유트브 라이브때도 한참 이 주제에 대해 얘기한적이 있는데 LLM agent 기술이 점점 빨리 발전하면서 이 기술에 대한 safety 보완책 부분은 제대로 마련되고 있지 않다는 의견이다.

AI safety가 왜 중요한지에 대해 이유들을 나열해보자면 (Alex Irpan의 “I'm Switching Into AI Safety” 글 인용+번역)

1. 내가 개인적으로 갖고 있는 목표/목적이 시스템이 최적화하고자 하는 목표와 다른 방향으로 나아가기 쉬움. 그 이유는 내 목표가 설명하기 너무 어렵거나, 시스템이 최적화하고자 하는 목표가 더 쉽기 때문.

2. 대중적으로 일반화 + 스케일할 수 있는 시스템을 만드는 것이 쉽지 않다. 내가 놓친 예외 케이스는 분명 존재하고, 충분한 평가 부족, 모델을 잘 분석하지 않은 것, 적절한 질문을 하지 않은 것과 같은 이유로 어려움. 시스템이 만든 잘못된 아웃풋을 어떻게 처리해야할지 모르거나, 학습한 데이터가 의도된 솔루션을 도출하기에 충분하지 않아서 그럴수도 있음.

3. 이걸 해결하는 현재 보완책은 그저 모델이 어떤 아웃풋을 내놓는지 예의깊게 보는 것.

4. 현재 시스템은 더 나은 스케일링을 위해 최적화되어 있지 않음. 특히나 평가하기 애매모호한 superhuman system은 더욱 어려움.

5. 현재 평가 시스템으로 superhuman system이 올바르지 않은 일을 했을때 제대로 컨트롤할 수 없을 것 같다고 생각.

6. 내가 살아있는 동안 superhuman AI는 나타날 것.

현재 AI가 패턴을 발견하고, 여러 종류의 정보를 끌고와서 자기 스스로 일을 할 수 있다면 인간보다 더 나은 버젼이 되는 건 시간 문제라고 본다. Evolution은 잘 나아가는 것 + 복제를 쉽게 할 수 있는 것을 더 서포트해준다. 지구를 현재 지배해서 현대 문명을 만든 종족은 인간이지만, 가장 덜 지능적인 생물일 가능성이 높다.

Instrumental convergence theory라는 것도 믿는데, 이는 무엇이냐면 “어떤 종류의 목적이든 - 그것이 아무리 시시한 목적이든 상관없이 – 그것을 달성하기 위해서는 일단 확보해 놓고 보아야할 기본적인 도구적 수단이 있다는 것이다.” 예를 들어, 리만 가설과 같은 수학 문제를 풀기 위해 태어난 AI가 있다면 전지구 자체를 동력 자원 공급원으로 바꿔서 인간을 멸살할 수도 있다는 것이다 (AI 입장에서는 인간의 존재가 자신의 목적을 달성하는데 위협 존재이기 때문).

Alex는 이와 같은 관점으로 AI가 목표 지향적인 행동을 갖고 있을 확률과, 목표가 있다면 권력을 추구할 가능성과, 권력을 추구한다면 실제 성공할 가능성이 얼마나 될지 계산해보면 2%라고 결론을 내린다. 그 2%는 아무리 작은 숫자로 보일지더라도 충분히 살펴볼 가치가 있는 숫자라고 판단한다.

LLM 기술 발전이 점점 빨라지면서 AGI(Artificial general intelligence)도 곧 머지않아 10%의 확률로 5년 이내에 나타날 것으로 보고 있는데, 이는 더욱 중요하게 살펴봐야할 문제이다. 완전한 AGI 시스템을 달성하지 않더라도 나아가는 그 과정 자체에서도 문제가 발생할 수 있다. 너무 당연한 얘기이지만 이런 AI를 학습시킬 리소스와 자원이 있는 랩/회사라면 언제든지 추론 단계에서 그 AI의 수백만 개의 복사본을 실행할 자원도 갖고 있을 것이다. 이는 효율성보다는 단순 규모와 사용의 용이성으로 인간을 능가할 있다는 것이다.

흥미로운 점은 지금까지의 alignment problem(AI 시스템이 인간과 같은 가치관, 목표, 의도를 가질 수 있도록 정렬하는 것)이 자본주의에 의해 해결되었다는 것이다. 기업들은 고객들이 사용할만한 제품을 만들었어야 했기 때문. ChatGPT와 같은 경우 이 방식으로 정렬 문제를 해결했지만, 이제는 safety 연구가 더 많이 이루어져야한다고 생각한다. 자본주의는 수익성을 가로막는 장애물을 해결하는데 뛰어나지만, 동시에 어려운 문제를 무시하면서도 수익을 낼 수 있는 niche를 찾아내는데도 능숙하다. 지금도 이미 보이는 추세이지만 사람들이 최고의 모델을 만들고 사용하고자 하는 열망이 너무 강해 충분한 검토를 하지 않고 배포하는 것도 보인다.

AI safety를 추구한다고 하면 AI 커뮤니티와 발전을 막는 것이 아닌가에 대한 반감을 사기 마련이고, safety가 중요하지 않다고 하는 사람들에게는 “전형적인 이윤 추구 실리콘 밸리 사람”이라고 하는데, 어찌됐던 간에 safety를 전혀 추구하지 않는 것보다는 추구하는 방향으로 발전하는게 더 안전하고 나은 시스템을 만들 것이라고 생각한다.

Alex Irpan이 8년간 robotics에 있다가 AI safety로 가기로 한 이유

제가 머신러닝 연구를 시작한 이유는 학습과 에이전트 행동을 지도하는 것이 매우 흥미롭다고 느꼈기 때문입니다. 제가 했던 연구는 로봇공학 연구실에서 이루어졌지만, 저는 항상 로봇보다 에이전트, 하드웨어보다 소프트웨어에 더 관심이 있었습니다. 그럼에도 불구하고 로봇공학에 남아있었던 이유는 로봇공학에서는 현실 세계를 속일 수 없기 때문입니다. 실제 하드웨어에서 작동해야만 했습니다. 이로 인해 연구는 인위적인, 유용성이 떨어지는 벤치마크 연구보다는 실제 세계에 영향을 미치는 것에 초점을 맞추게 되었습니다.

지난 몇 년 동안, 소프트웨어 전용 에이전트들이 점차 등장하기 시작했습니다. 이것은 저에게 중요한 결정 지점이 되었습니다. 실제 세계에서 에이전트들이 먼저 도착할 곳은 어디일까요? 게임을 플레이하는 AI는 오래전부터 존재해 왔지만, 게임은 현실이 아닙니다. 이러한 LLM(대규모 언어 모델) 기반 시스템들… 그것들은 더 현실적이었습니다. 일반적인 로봇 에이전트들이 만들어지는 세상에서는 소프트웨어 전용 에이전트들이 그 전에 작동하기 시작할 것입니다. 저는 앞으로 더 많은 시간을 소프트웨어와 하드웨어의 경계를 배우는 데 소비하게 될 미래를 보았고, 에이전트의 고차원적 추론 능력을 향상시키는 것에 더 집중하고 싶었습니다. 만약 멀티모달 LLM이 에이전트적인 행동을 하기 시작한다면, 하드웨어에서 멀어지는 것이 삶의 질에 여러 이점을 가져다줄 것입니다.

한 가지 견해(이것은 Eric Jang이 전한 Ilya Sutskever의 의견에 따른 것입니다)는 "모든 성공적인 기술 회사는 AGI(인공 일반 지능) 회사가 될 것이다"라는 것입니다. 이는 도발적이지만, 만약 LLM이 저수준 지식 작업을 대체하기 시작한다면, 가치 있는 일은 도메인 특화 데이터셋에 올바른 정보가 포함되었는지와 AI의 출력물이 좋은지에 대한 피드백을 제공하는 데서 나올 것입니다. 만약 제가 진지하게 전환을 고려한다면, 이른 시기에 전환해야 합니다. 왜냐하면 다시 전문성을 쌓는 데 시간이 걸리기 때문입니다. 최대의 영향을 미칠 수 있는 적절한 시기는 항상 대중이 생각하는 것보다 더 이른 시점입니다.

그럼 Eric Jang과 OpenAI cofounder, Ilya Sutskever가 말하는 “모든 성공적인 기술 회사는 AGI 회사가 될 것이다”는 무슨 뜻일까?

이 말은 처음에는 조금 황당하게 들릴 수 있지만, 동일한 정도로 제품을 반복적으로 개선하는 것은 기술적으로 점점 더 어려워진다는 점을 상기하면 이해가 된다.

• 반도체 제조에서는 32nm 공정 노드에서 14nm 공정 노드로 줄이는 것이 꽤 어렵지만, 14nm에서 7nm 공정 노드로 가는 것은 엄청나게 어려움. 초순수 물을 만드는 것과 같은 중간 문제를 해결해야 하기 때문.

• ALS 환자들을 위한 간단한 텍스트-음성 변환 시스템은 1980년대에도 이미 가능했지만, 특수한 사례에서 발음을 개선하고 억양을 자연스럽게 처리하는 데는 딥러닝에서의 엄청난 돌파구가 필요했음.

• 단일 컴퓨터에서 괜찮은 문자 수준의 언어 모델을 훈련할 수 있지만, 조건부 문자 모델링에서 몇 비트의 엔트로피를 줄이는 것은 비유적으로 데이터 센터를 불태우는 것과 같음.

• 고속도로 자율 주행은 그리 어렵지 않지만, 모든 주거 도로를 자율적으로 주행하는 것은 L5 수준에서 AGI 완성으로 간주됨.

앞으로 몇십 년 동안 고객에게 점진적인 가치를 추가하기 위해, 기업들은 정말 어려운 문제를 해결하는 것에 익숙해져야 할 것이다. 아마도 결국 모든 회사가 경쟁력 있는 짧은 동영상 앱, 할 일 목록, 또는 문법 검사기를 만들기 위해 인공지능 일반 지능(AGI)이라는 동일한 어려운 문제를 해결하는 방향으로 수렴하게 될 것이다. 우리는 "AGI"의 의미와 모든 회사가 이 방향으로 수렴하는 데 필요한 시간에 대해 논의할 수 있지만, 곧 많은 소프트웨어 제품에서 기본 모델이 표준이 될 것이라고 생각한다.

예를 들어, Alphabet은 인간의 사고와 호기심을 포착하는 매우 귀중한 검색 엔진 데이터를 가지고 있다. Meta는 많은 사회적 지능 데이터와 성격 특성을 기록하고 있으며, 원한다면 Oculus 컨트롤러 상호작용을 수집하여 인간 행동의 경로를 생성한 다음, 그 지식을 로봇공학에 활용할 수 있다. TikTok의 추천 알고리즘은 아마도 우리 자신이 이해하는 것보다 우리 잠재의식을 더 잘 이해할 것이고, Grammarly, Slack, Riot Games 같은 무작위의 회사들조차도 인간 지능에 대한 고유한 데이터 보호막을 가지고 있다. 이들 회사는 각각의 비즈니스 데이터를 일반 인공지능(AGI)을 생성하는 쐐기로 사용하여 인간의 사고와 욕구를 행동 복제 방식으로 재현할 수 있을 것이다.

Eric Jang이 Halodi라는 로보틱스 팀에 합류하면서 베팅하고 있는 것은 “다른 어떤 회사보다 5년 앞서 있는 휴머노이드 로봇”이다. Halodi에서 주요 우선순위는 초기에는 모바일 조작에서 특정 고객 문제를 해결하기 위해 모델을 훈련하는 것이지만, 동시에 AGI를 위한 로드맵을 설정하는 것이다. 인간형 형태에서 얻은 대량의 현실 세계 1인칭 데이터를 압축하여 일반 지능, 마음 이론, 자아감 같은 것들이 어떻게 발생할 수 있는지 탐구하는 것이다.

웹 크롤러가 비트 세계를 인덱싱하는 것처럼, 휴머노이드 로봇은 원자 세계를 인덱싱할 것이다. 즉, LLM이 단순히 디지털 데이터만으로 특정 물건의 무게가 얼마인지 이해하는 것보다, 실제 자신의 손으로 그 물건을 직접 들어보면서 중력이 얼만큼 작용되는지 이해하는 것이 더 나을 것이다. 그렇기에 앞으로의 미래는 LLM (software)뿐만 아니라 하드웨어, 로보틱스가 될 것이다.