Apple Vision Pro club

Apple Vision Pro club

VisionOS를 기반으로 Apple Vision Pro를 위한 어플리케이션을 개발하는 사람들의 클럽입니다. VisionOS 개발에 관심이 있으신 어떤 분도 클럽에 참여하실 수 있습니다. 아직 공개된 개발 레퍼런스 및 참고자료가 없기에 새로 클럽을 운영하면서 한국에서의 VisionOS 개발 문화를 만들어가고자 합니다. 추후에는 출시될 모든 Spatial Computing 기기들의 앱 개발과 관련된 이야기를 다루려고 합니다.

공개 134 멤버

가이드라인

["\bAVP 관련 소식을 지속적으로 전달할 예정입니다.","Spatial Computing과 관련한 컨텐츠를 주 1회 이상 업로드 합니다.","현재 만들고 있는 AVP 혹은 Spatial Computing 관련 소프트웨어/하드웨어에 대한 이야기를 들려주세요!","정기 오프라인 모임과 세미나를 개최할 예정입니다!","현재 별도의 승인 없이 누구나 참여하실 수 있습니다."]

박상욱

박상욱

[Apple Vision Pro 소식 / 개발] Unreal Engine Support

현재까지 AVP를 개발하기 위한 방법으로는 2가지가 존재했습니다. 우선 Swfit와 Xcode를 활용한 native 방법이 있습니다. 그리고 Apple이 공간 컴퓨팅 환경 전용 게임을 독려하기 위해 Unity와 협업하여 Unity 앱을 Vision OS에 포팅할 수 있는 SDK와 API를 제공하고 있습니다. 그러나 해당 기능을 사용하기 위해서는 $2,000 상당의 요금을 가진 Unity pro plan에 가입해야합니다. 이미 해외에서는 이에 대해서 많은 개발자들이 반감을 품고 있습니다. 가격이 너무 비싸기 때문이죠. 이런 Game Engine을 기반으로 개발하는 개발자들은 Unreal이 Unity의 대안책이 되리라 많이 희망하고 있는 듯 합니다. 실제로 에픽 게임즈의 언리얼 엔진 XR 전문가인 빅터 럽은 "애플 비전 프로에 대한 네이티브 언리얼 엔진 지원을 탐색 중"이라고 밝혔습니다. 하지만 구체적인 일정은 나오지 않은 상황입니다.

출처:

13
0
Wootaek Oh

Wootaek Oh

클럽 가입 인사드립니다. 24년에 정식? 출시될 Vision Pro 에 관심이 많아 가입하게 되었습니다. 잘 부탁드립니다.

7
1
박상욱

박상욱

Apple의 Vision Pro(AVP)는 어떤 기기일까?

Thumbnail.001.jpeg

지난 6월 애플 WWDC 23 행사에는 오래간만에 "one more thing"이 나왔죠, 많은 사람들의 기대를 받던 Apple의 Vision Pro입니다. 저 또한 기대를 많이 하고 있던 제품이었고, 정말 간만에 Apple에서 출시하는 새로운 하드웨어 플랫폼이었기에 어떻게 나올까 궁금해하기도 했습니다. 돌이켜 보면 AR(Augmented Reality) 혹은 MR(Mixed Reality) 기기들은 이전에도 존재했었지만, 시장의 판도를 바꾸거나 새로운 컴퓨팅 플랫폼으로 전환하지는 못했기 때문에 Apple에서 만들면 과연 다를까, 다르다면 얼마나 다를까?가 기대 요소였습니다.

image.png

"잠깐! 본격적으로 말하기에 앞서 VR/AR/MR/XR이 뭔데!"를 먼저 설명드려야할 것 같습니다.

VR/AR/MR/XR이 뭐야

Pasted image 20231224145651.png

ChatGPT에게 물어보면 사진과 같은 답변을 얻으실 수 있습니다만 설명을 덧붙이자면,

VR은 가상 세계에 "나"를 보내는 것입니다. 이를 위해서는 바깥 세상과 나를 단절시키는 폐쇄형 고글 혹은 HMD(Head Mount Device)라 불리는 기기가 별도로 필요합니다. AR과 MR 그리고 XR은 사실상 차이가 별로 없고, 회사에 따라서 서로 다르게 부르는 거의 동일한 기술입니다. (Meta는 MR이라는 단어를 사용하고, Apple은 AR, MR이란 단어 자체를 쓰질 않더라구요, Apple은 Spatial Computing 이라는 단어를 쓰죠.) AR과 MR은 내가 있는 세계, 즉 내 주변 환경에 가상의 객체나 정보를 불러오는 것을 의미합니다. (영화 Free guy에서 주인공이 썬글라스를 썼을 때 가상 광고나 물체들이 보이는 모습이 적절한 예시라고 생각합니다.) 엄밀히 구분짓자면, 내가 불러온 가상의 객체나 정보들이 나의 주변 환경에 "상호작용"을 할 수 있냐 없냐로 나누고 상호작용이 가능한 경우 MR 그렇지 못한 경우를 AR이라 부릅니다. "상호작용을 한다"는 것에는 내 방안의 벽을 인식해 가상의 액자를 건다거나 내 앞의 실제 책상 위에 가상의 주사위를 굴리는 것 등을 의미합니다.

image.png

이러한 AR/MR을 구현하는 방식은 크게 2가지가 있습니다. 바로 pass through와 see through 방식입니다. Pass-through 방식은 실제 세상을 카메라를 거쳐 display로 보여주는 방식이고 see through는 투명한 랜즈로 바깥의 실제 사상을 보여줌과 동시에 해당 렌즈에 가상의 객체를 투영하는 방식으로 동작합니다. Apple의 Vision Pro는 Pass-through 방식을 사용하고 있죠.

Pasted image 20231224154248.png

AVP는 MR 기기로군!

애플은 MR, AR 이런 단어를 쓰는 것을 좋아하지는 않는 것 같지만, 엄밀히 정의하자면 Vision Pro는 MR이라 불릴 수 있을 것 같습니다. Vision Pro는 가상의 객체들이 주변 사물과 상호작용이 가능했기 때문입니다. 이 지점이 이전에 나왔던 (폭망했던) Google Glass와의 가장 큰 차이점이라 할 수 있겠네요. 왜냐? Google Glass는 AR 기기였기 때문입니다.

Pasted image 20231224151016.png

Google Glass는 단지 내가 쓴 안경에 display하나 추가해준 것 그 이상도 이하도 아닙니다. 내가 고개를 어디로 돌리던지 display는 항상 정해진 위치에 고정이 되어 내 눈앞에서 아른거리죠(드래곤볼 전투력 측정기 코스프레는 덤). 단지 스마트폰의 디스플레이를 대체하는 수준이었던 것입니다.

아 됐고 그래서 Apple Vision Pro는 뭐가 다른데!

가장 중요하는 것은 이 질문이죠. 그래서 기존의 폭망한 여러 기기들과 뭐가 어떻게 다른데? 라고 물으신다면 저는 이렇게 대답하도록 하겠습니다. 이번 Vision Pro는 1) 최소한의 사용자 경험을 맞춘 기기 이며 2) Apple 생태계를 기반으로 한 강력한 platform 기기 입니다. 이 두가지 때문에 가장 기대가 되는 것이고 이 두가지로 인해 플랫폼의 전환을 선도할 기기라고 생각합니다.

1) 최소한의 사용자 경험

Apple은 사용자 경험에 미쳐있는 회사라고 생각합니다. 거의 변태에 가까울 정도로요. 이런 기조가 VisionPro에도 고스란히 담겼다고 생각합니다. 개발기간이 6년을 넘겼던 이유는 최소한의 사용자 경험을 맞추기 위한 고성능의 하드웨어가 필요했기 때문이라 생각합니다. 사실 지금까지 나왔던 기존 MR 기기들은 이런 최소한의 사용자 경험을 맞추지 못한 기기들이었습니다. 올해 출시한 Meta Quest 3만 하더라도 대대적으로 MR 기능을 강조한 제품임에도 불구하고, 실제 기기를 사용하면 노이즈가 많이 껴있어 눈이 피로하고 기기를 쓴 채로 책을 읽기가 어려울 정도로 낮은 해상도를 보유하고 있습니다.

Pasted image 20231224154515.png

디스플레이는 MR을 구현하는데 가장 중요한 사용자 경험 중 하나입니다. 특히나 외부 환경을 display를 통해 보여주는 pass through 방식을 사용한 기기라면 더욱더 그렇죠. VisionPro는 MR을 구현하기 위해서 Mini-LED로 구현된 2개의 display가 각각 4K 정도의 해상도를 지니고 있다고 합니다. 디스플레이 하나가 우표 사이즈 정도로 작은데 아이폰 하나에 들어가는 픽셀보다 더 많은 개수의 LED가 들어있습니다(한쪽 디스플레이 당 3660 x 3142).

이런 고해상도 화면을 구현하는데는 생각보다 많은 컴퓨팅 파워가 필요합니다. 또한 AR/MR 기기들은 주변 환경을 인식해야하기 때문에 많은 센서들이 필요합니다. Vision Pro의 경우에는 5개의 센서, 6개의 마이크, 그리고 12개의 카메라가 있다고 합니다. 이러한 높은 해상도의 디스플레이와 주변 상황을 인식하는 수많은 카메라 및 센서로 인해서 높은 컴퓨팅 파워가 요구됩니다. 이를 해결하기 위해서 Vision Pro는 별도의 반도체(R1)칩을 별도로 설계하였습니다.

2) 하드웨어 플랫폼의 요건

그렇다면 고사양의 하드웨어만 만들었다고 해서 시장을 장악할 플랫폼이 될까요? 전혀 그렇지 않습니다. 아무리 사양이 좋고 사용자 경험이 좋은 하드웨어를 만들었다고 해도, 그 하드웨어에서 구동할 소프트웨어가 부족하다면 얼마 사용되지 못하고 장롱 신세가 되버릴 것입니다. Apple은 대부분의 iPhone앱과 iPad 앱들이 Vision Pro에서 동작한다고 말했습니다. 마치 mac book 라인업이 M 시리즈 칩셋으로 업그레이드 되면서 iPad 앱들을 mac에서 사용 가능한 것 처럼 말이죠. 이러한 강력한 소프트웨어 생태계가 호환이 된다면 Vision Pro가 소프트웨어 컨텐츠가 부족해서 장롱 신세를 지는 결말은 피할 것입니다. 또한 Vision Pro 전용 컨텐츠를 위해서 Disney+와 협업을 하는 등의 높은 수준의 컨텐츠 또한 개발하고 있습니다. (이쯤되면 Apple TV+로 OTT 컨텐츠 시장에 진입한게 큰그림일지도 ....?) 저 또한 현재 Vision Pro 전용 Application을 개발하고 있습니다. Apple은 현재 저와 같은 Vision Pro 개발자들을 대상으로 여러가지 프로그램을 지원해주면서 양질의 전용 앱이 많이 출시가 되도록 서포트하고 있습니다.

마무리~

그럼에도 불구하고 실제로 Apple의 Vision Pro가 출시되기 전에는 이 기기가 정말로 세상의 판도를 바꿀 기기가 될지 혹은 또다른 iPhone momentum을 일으킬지 알 수 없습니다. 실제 기기를 사용해보고 체험해봐야 진정한 가치를 알 수 있을 것입니다. 그러나 Apple의 Vision Pro는 꽤나 큰 파급력을 일으킬 것이라 예상합니다. 1980년대 초에 Apple은 최초의 GUI(Graphic User Interface) 기반 컴퓨터 Lisa를 출시했습니다. 지금으로 부터 약 40년 전 임에도 불구하고 그 가격은 $9,995로 그 때 당시의 물가로 환산하지 않고도 너무 비쌌죠. 하지만 Apple은 Lisa를 통해 개인용 컴퓨터 시장을 새로이 열었습니다. 저는 Vision Pro도 Apple의 Lisa처럼 새로운 플랫폼, 시장을 열어줄 제품이라 바라봅니다. 이미 삼성은 구글 퀄컴과 손잡고 Vision Pro와 같은 공간 컴퓨팅 기기 Flex Magic(https://www.mk.co.kr/news/business/10899004)을 만들고 있고, Meta는 오래전부터 계속 도전해왔으며 ticktok의 회사인 Byte Dance도 24년도에 새로운 기기 출시를 예고했습니다. 이렇듯 내년을 기점으로 새로운 컴퓨팅 플랫폼의 장이 열릴 것으로 보입니다.

긴 글 읽어주셔서 감사합니다.

참조

참고하실 만한 좋은 유튜브 컨텐츠를 소개드립니다.

14
2
박상욱

박상욱

[Apple Vision Pro 소식] 외부 디스플레이 특허

AVP와 기존에 출시되었던 다른 VR/AR을 위한 HMD(Head Mount Device)의 가장 큰 차별점 중 하나는 "외부 디스플레이" 입니다. 기존의 HMD들은 착용자의 눈에 보이는 내부 디스플레이만 제공하였습니다. 하지만 애플은 HMD를 착용한 사람과 그렇지 않은 사람이 물리적 공간에서 상호작용 할 수 있게 기기를 설계하였습니다. 이를 가장 잘 보여주는 장치가 외부 디스플레이입니다. 이러한 외부 디스플레이와 관련한 특허 정보가 공개돼 공유드립니다.

1 cover EyeSight +

애플, 상호작용 강화를 위한 새로운 HMD 특허 획득

미국 특허청은 애플에게 내부 및 외부 디스플레이를 갖춘 HMD와 관련된 새로운 특허를 공식적으로 부여했습니다. 이 특허는 애플 비전 프로의 '아이사이트(EyeSight)' 기능의 고급 버전을 다루며, 사용자의 눈을 넘어서 외부 디스플레이가 커뮤니케이션 이미지와 상징을 확장할 수 있도록 합니다. 예를 들어 사용자가 비디오 게임을 할 때, 외부 디스플레이는 "방해하지 마세요"라는 메시지와 함께 게임 제목을 표시할 수 있습니다.

향상된 상호작용을 위한 착용 가능한 장치

이 특허는 HMD가 외부를 향한 출력 시스템(디스플레이, 스피커 등)을 포함하여, 착용자가 HMD를 착용하는 동안 다른 사람들과의 상호작용 옵션을 늘리는 것을 다룹니다. 특히, 착용자의 눈이나 전체 머리를 완전히 가리는 HMD는 매우 몰입감 있는 경험을 제공할 수 있습니다. 하지만 이러한 HMD는 착용자가 실제 환경에서 일어나는 일에 대해 인식하기 어렵게 만듭니다.

외부 표시 및 통신 개선

애플의 특허에 따르면, HMD는 외부로 향한 디스플레이와 스피커를 포함하여 외부 관찰자에게 정보를 표시하거나 제공할 수 있습니다. 예를 들어, 외부 디스플레이는 상징적인 그래픽 정보를 표시하거나, 스피커를 통해 디지털 어시스턴트가 다른 사람과 상호작용할 수 있도록 할 수 있습니다.

더 자연스러운 상호작용 가능

HMD는 사용자의 얼굴 일부를 캡처하는 카메라를 포함할 수 있으며, 이를 외부 디스플레이에 표시하여 실제 세계의 사람들이 착용자의 눈과 표정을 볼 수 있게 합니다. 또한, 낮은 해상도 디스플레이를 사용하여 사용자의 기분이나 감정을 나타내는 상징적 그래픽을 표시할 수 있습니다.

양방향 시각 커뮤니케이션 제공

HMD에는 외부 카메라나 센서가 있어 착용자가 HMD의 내부 디스플레이를 통해 실제 세계를 볼 수 있도록 합니다. 이를 통해 두 사람 모두 자연스러운 커뮤니케이션을 경험할 수 있으며, HMD 착용자가 가상 경험에서 완전히 벗어나지 않아도 됩니다.

이 특허는 애플의 '아이사이트' 기능의 전환을 보여주는 그림과, 외부 디스플레이가 표시하는 상징적인 시각 출력 예시들을 포함합니다. 이러한 시각적 출력은 착용자와 외부 관찰자 간의 상호작용을 개선하는 데 도움이 될 수 있는 일련의 개념을 전달하는 외부 표시용 커뮤니케이션 규약의 일부일 수 있습니다.

출처: https://www.patentlyapple.com/2024/01/apple-wins-patent-for-vision-pros-external-display-communications-system-that-includes-eyesight-yet-reveals-other-projectable.html

8
0