[20] 테슬라의 자율주행 개발 방식 - 딥러닝 역량

요약: 테슬라는 값싸게 대량 생산이 가능한 자율주행 센서 구조와 효율적으로 자율주행 알고리즘을 발전시킬 수 있는 방식을 개발하였다.

9월 25일 테슬라는 걷기도 부자연스러웠던 이전의 테슬라 봇에서 훨씬 발전된 버전의 시연 영상을 보여주었다. 특히 한발로 서는 요가 자세를 유지하는 장면은 개인적으로 나를 상당히 놀라게 했다. 그래서 이번에 테슬라에 대한 기술적인 접근 방식에 대해서 자세히 알아보고 여러분에게 간략하게 소개하고자 한다.

(93) 테슬라는 보스턴다이나믹스를 이길 수 없다? 최신영상을 통해 분석해본 테슬라봇과 일론머스크가 그리고 있는 청사진. 특이점은 차가 아닌 로봇을 통해 온다. - YouTube

테슬라가 타 자동차 회사보다 앞서 나가는 여러 요인들이 있다고 생각하는데 크게 정리하자면, 6가지다.

1. 공장 설계 효율화

2. 신소재, 배터리, 모터와 같은 핵심 부품 생산의 효율화

3. 높은 딥러닝 역량과  확장 가능한 자율주행 방식

4. 데이터 수집과 프로세싱 역량

5. 학습용&추론용 칩셋 설계

6. 테슬라, space X (일론 머스크)라는 존재 자체로 인한 젊고 시간 많은 인재들의 유입

정리를 해봤는데, 이중 자율주행과 관련 있는 3, 4 번에 대해서 집중적으로 소개하고자 한다.

3. 높은 딥러닝 역량과 확장 가능한 자율주행 방식

자율주행 방식에서 쓰이는 센서는 굉장히 중요한데, 크게 두가지, 라이다 (LIDAR)와 카메라가 쓰인다. 라이다는 주변의 물체들이 얼마나 떨어져 있는지 실시간의 정확한 3D Map (Pointcloud: 여러점)을 제공하기 때문에, 공간적인 테슬라는 기본적으로 자율주행에서 8개의 카메라를 사용하는데, 라이다를 사용하지 않는 이유는 라이다의 비싼 가격과, 센서 유형이 달라 여러개의 센서를 썼을 때 통합하기 어렵다는 점이 있다. (센서 정보를 통합했을 때 성능이 떨어지는 경우도 있다.)

먼저 CVPR (Conference on Computer Vision and Pattern Recognition)이라는 세계에서 가장 유명한 컴퓨터 비전 학회의 자율주행 워크숍 2022년과 2023년에 발표한 자료를 보고자한다.

일단 테슬라에서 자율주행을 위해 딥러닝 모델을 사용하여 얻는 요소들은 다음과 같다. 

(1) Occupancy networks -> Occupancy (주변의 공간을 얼마나 차지하는지를 블럭 형태로 나타냄)

(2) Generative Modeling of lanes -> Lanes (라인) -> 이를 통해 정확한 차량의 위치 파

(3) Object Prediction and Properties -> Moving Objects (차, 보행자 등등)

(1) Occupancy networks -> Occupancy (주변의 공간을 얼마나 차지하는지를 블럭 형태로 나타냄)

Occupancy Network는 주변의 공간을 얼마나 차지하는지를 블럭 형태로 나타낸 3D Map을 생성하는 딥러닝 모델이다. 카메라를 사용하기에 라이다에 비해 공간적인 정보를 얻기는 어려운데, 실시간으로 생성된 3D Map을 통해 주변 물체들의 정확한 부피를 파악하고, 이를 주행에 사용할 수 있다. 비디오로 연속적으로 Input이 들어오기 때문에 순간적으로 물체가 가려진다고 하더라도, 가려지기 이전의 이미지들을 통해 가려진 대상의 부피를 예측할 수 있다.

Occupancy Network를 설명한 그림, 8개의 카메라 이미지를 활용하여 실시간으로 주변의 부피상의 3D Map을 만들어낸 모습이다.

Occupancy Network는 자율주행에서 뿐만 아니라, 테슬라 봇 상에서도 실시간 3D mapping 제작을 위해 쓰인다. 학습된 데이터만 다를 뿐 실제 딥러닝 모델 구조는 같다.

Occupancy Network의 구조이다.

참고자료:

(28) 테슬라 ai데이 2 - 테슬라 FSD (인지 신경망 Occupany Network) - YouTube

테슬라의 자율주행 개발 방식은 내용이 방대해서 여러편으로 나누어서 올리려고 한다.