[YeYa 메이커로그 1화] 스마트폰 사용이 어려운 분들을 위한 AI 에이전트와 통화 서비스

I. 팀 소개

안녕하세요. 저희는 연세-넥슨 창의플랫폼에서 대상을 타는 것을 목표로 두고 열일하고 있는 YeYa입니다!

1. 팀 구성

• 개발1 : 신재완(대표) - 연세대학교 IT융합공학과

• 개발2 : 연세대학교 IT융합공학과

• 리서치 : 연세대학교 정치외교학과

• 인터뷰잉1 : 연세대학교 의예과

• 인터뷰잉2 : 연세대학교 아동가족학과

• 디자인 : 연세대학교 통합디자인학과

2. 창의플랫폼은 무엇인가요?

연세-넥슨 √i 창의플랫폼은 연세대 1학년을 대상으로 일상 속 여러 문제를 해결하는 솔루션을 제시한 팀에게 최대 1,000만원의 여행 경비를 수상하고 피어 멘토단에 참여할 수 있는 1년간의 교내 활동입니다.

II. 문제 인식

1. 스마트폰 사용을 어려워 하는 어르신분들

스마트폰 보급률은 2023년 97%에 달해 거의 모든 세대가 스마트폰을 사용하고 있습니다. 하지만 스마트폰의 심화적인 기능을 제대로 사용하지 못하는 어르신분들이 많습니다. 가깝게는 부모님, 조부모님부터 멀게는 친척과 지인까지 말이죠. 이분들은 버튼과 아이콘에 대한 이해도가 떨어지고 원하는 기능을 수행하기 위해 무엇을 해야하는지 파악하기 어려워합니다. 1부터 10까지 눌러야 하는 모든 것을 옆에서 알려줘도 제대로 따라하지 못하는 경우도 많습니다. 다양한 교육이 시행 중이지만 오프라인 교육만으로는 모든 어르신분들에게 능력을 갖춰드리기 힘듭니다.

2. 신체 장애로 인한 스마트폰 사용에 어려움을 겪는 분들

또한 전신마비, 손가락 절단, 팔 절단, 팔마비 등으로 인한 신체적인 장애로 스마트폰 기기를 사용하기 어려운 분들이 있습니다. 터치를 못하기에 스마트폰 조작을 할 수 없어 아이트래커나 뇌파를 통해 조작하거나 옆에서 다른 사람이 도와줘야 합니다,

3. 현재 솔루션의 한계점 (Voice Acess, 시리, 빅스비, 아이트래커)

Voice Acess는 음성으로 스마트폰 기기를 조작할 수 있지만 모든 명령어를 다 외워야 하고 지정된 명령어가 아닌 조작은 수행할 수 없어 일반인이 쉽게 사용하기 힘듭니다. 시리와 빅스비는 인공지능 비서로서 사용자의 말을 듣고 작업을 수행하지만 여전히 주어진 일 말고는 할 수 있는게 적고 서드파티 앱과 웹페이지에서는 작동하지 않습니다.

아이트래커는 부피가 크고 고가여서 언제 어디서나 들고 다닐 수 없으며 항상 곁에 도와줄 사람이 있는 것도 아닙니다.

우리 팀은 이런 분들이 일반인에 근접한 수준으로 스마트폰 기기를 조작하는 것을 도울 것입니다.

III. 솔루션 - YeYa의 핵심 기능

YeYa는 안드로이드 기반 어플리케이션으로 2가지 기능을 가지고 있습니다. 첫 번째는 AI 에이전트 기능이고, 두 번째는 YeYa콜 기능입니다.

1. YeYa AI 에이전트

1. 앱을 작동시키면 "도와줘"라는 버튼이 생깁니다. 이 버튼을 사용자가 클릭하거나 또는 음성으로 "YeYa~", "도와줘"라고 불러서 에이전트를 부를 수 있습니다.

2. 에이전트가 "무엇을 도와드릴까요?"라고 묻습니다.

3. 이때 사용자가 원하는 작업을 말합니다.

4. 동시에 안드로이드 접근성 서비스를 활용해서 화면에 보이는 모든 UI 요소를 JSON 형식으로 저장합니다.

5. 사용자의 음성 명령과 UI 요소를 Claude 인공지능에게 전달합니다.

6. Claude로부터 수신한 답변으로 질문에 답하거나 원하는 요소를 클릭 또는 입력하여 사용자의 작업을 도와줍니다.

2. YeYa 콜

1. "도와줘" 버튼을 2초 동안 길게 누르거나 또는 "YeYa콜 걸어줘"라고 말해서 작동시킬 수 있습니다.

2. 이 데이터를 서버를 통해 도와줄 수 있는 보호자 또는 손자에게 YeYa콜 수락 거절 화면이 나옵니다.

3. 어시스턴트가 수락하면 요청자 화면 데이터, 카메라 데이터, 접근성 데이터를 실시간으로 전송받아서 어시스턴트는 요청자와 영상통화를 하면서 요청자의 스마트폰 기기 화면 공유를 보고 즉각적으로 원격 조종할 수 있습니다. 기존에도 원격조종, 화면공유, 영상통화 기능이 있지만 각각을 실행하는데 매우 복잡하여 아무리 어시스턴트가 도와줘도 제대로 수행할 수 없다는 한계를 YeYa는 최초 등록만 완료되면 3가지를 매우 쉽게 수행할 수 있습니다.

IV. 현재 진행단계

1. 프로토타입 MVP 개발 완료

코틀린 언어 기반 안드로이드 어플리케이션 프로토타입이 개발 완료되었습니다. MVP로써 활용할 수 있고 이를 통해 실제품 제작 전에 데이터 조사를 수행하는 단계에 왔습니다. 현재 YeYa 앱이 수행 가능한 기능은 아래와 같습니다.

• "도와줘" 버튼 구현

• 음성인식 기능 구현

• 접근성 서비스 기반 UI 캡쳐 기능 구현

• LLM 전달을 위한 화면 스크린샷 기능 구현

• Claude API 연결

• LLM 답변을 수신하여 TTS로 안내 기능 구현

• LLM 답변을 수신하여 UI 클릭 기능 구현

• 핫스팟을 통한 기기간 연결 구현

• 클라이언트 전면카메라 구현

• 서버 전면카메라 네트워크 전송 구현

• 클라이언트 네트워크 기반 화면공유 구현

• 서버 네트워크 기반 원격조종 구현

V. 다음 단계 계획

1. 프로토타입 기능 추가 및 개선

• UI 디자인 개선

• 음성인식으로 YeYa 에이전트 및 YeYa 콜 시작 기능

• 버튼으로 부르면 작업 수행 전 TTS로 안내 멘트 추가

• 사용자의 음성인식 결과와 TTS를 글자로 오버레이하여 표시

• LLM의 판단에 따른 연속적인 조작 수행 기능

• LLM의 수행 정지 기능

• LLM에게 스크린샷 이미지 전달 기능

• 앱서랍을 불러오고 LLM에게 전달, 열기 기능

• 에이전트 텍스트 입력 기능

• 에이전트 스크롤 기능

• 에이전트 밝기, 볼륨 조절 기능

• 클라우드 서버를 통한 YeYa 콜 연결 기능

• YeYa 콜 최초 등록 화면 구현

• YeYa 콜 승락 거절 화면 구현

• YeYa 콜 음성 통화 기능 구현

• YeYa 콜 카메라 후면 전환, 음소거, 카메라 끄기 기능 추가

2. 프로토타입 버그 수정

• 화면이 가로나 세로로 전환되면 버튼 구역과 화면공유, 원격조종이 고장남

• 원격조종시 완전한 실시간 조종이 안 되고 손을 완전히 떼야 데이터 전송이 됨

• YeYa 에이전트 종료 기능이 없음

• YeYa 콜 통화 종료 기능이 없음

• 앱을 실행할 때마다 접근성 기능 권한을 부여해야 함

3. 문제가 정말로 존재하는지 조사하기

• 스마트폰 사용을 어려워하는 집단의 구성 조사 - 누가 얼마나 어떻게 어려움을 겪는가

• 스마트폰 조작을 도와주는 서비스 중 가장 많이 사용하는 서비스, YeYa의 경쟁자 또는 대체자가 있는가

• 스마트폰 조작을 도와주는 다른 하드웨어 장치로는 무엇이 있는가? 이들의 가격은 어떠하고 어떻게 사용자를 돕는가?

4. 프로토타입 MVP에 대한 반응 조사하기 - 어르신분들께

부모님, 조부모님, 친척에게 물어보거나 요양원, 사회복지관, 어르신학교 등에 방문하여 물어볼 수 있겠습니다.

아래는 인터뷰 질문 문항입니다.

• 나이, 성별

• 스마트폰 보유 상황 - 없다, 모르겠다, 삼성폰(갤럭시), 애플폰(아이폰)

• 스마트폰 사용 중 어려움을 겪은 경험이 있나요? - 전혀 아니다, 아니다, 보통, 그렇다, 매우 그렇다

• 어려움을 겪었다면 어느 부분에서 어려움을 겪었나요? (중복 선택) - 너무 복잡하다, 무엇을 눌러야 하는지 모르겠다, 내 마음대로 조작이 안 된다, 무엇이 어떤 기능을 수행하는지 예상이 안 된다, 기타(서술형)

• 그런 어려움을 겪으면 어떻게 하나요? (중복 선택) - 도움을 받지 못해 포기한다, 주변 사람에게 물어본다, 자식이나 손자에게 연락해서 물어본다, 교육 프로그램 강사에게 물어본다, 인터넷을 찾아본다, 기타(서술형)

• (YeYa 에이전트 기능을 설명하고) 이 기능이 있다면 사용할 것인가요? 전혀 아니다, 아니다, 보통, 그렇다, 매우 그렇다

• 사용하고자 한다면 왜 사용하고자 하나요? (중복 선택) - 스마트폰 조작에 도움이 될 것 같아서, 이걸 사용하면 원하는 기능을 수행할 수 있을 것 같아서, 기타(서술형)

• 사용하지 않는다면 왜 사용하지 않을 것 같은가요? (중복 선택) - 도움이 될지 모르겠다, 이걸 어떻게 써야할지 모르겠다, 이 앱 자체가 너무 어렵다, 기타(서술형)

• (YeYa 콜 기능을 설명하고) 이 기능이 있다면 사용할 것인가요? 전혀 아니다, 아니다, 보통, 그렇다, 매우 그렇다

• 사용하고자 한다면 왜 사용하고자 하나요? (중복 선택) - 지인이 잘 도와줄 수 있을 것 같아서, 이걸 사용하면 원하는 기능을 수행할 수 있을 것 같아서, 기타(서술형)

• 사용하지 않는다면 왜 사용하지 않을 것 같나요? (중복 선택) - 도움이 될지 모르겠다, 이걸 어떻게 써야할지 모르겠다, 이 기능 자체가 너무 어렵다, 도와줄 지인이 없다, 기타(서술형)

• YeYa 앱을 사용할 의사가 있다면 지불할 수 있는 최대 금액은 매달 구독료 기준으로 얼마인가요? (0을 입력하면 공짜일 때만 사용할 의사가 있다)

• 최초 결제이면 최대 얼마를 지불할 의향이 있나요? (0이면 공짜일 때만 사용할 의사가 있다)

• YeYa 앱에서 개선할 점이나 추가했으면 좋겠는 것을 알려주세요 (서술형)

5. 프로토타입 MVP에 대한 반응 조사하기 - 신체 장애가 있는 분들께

내용이 유사하기에 생략합니다.

6. 보고서 작성 및 발표 자료 준비하기

VI. 맺으며

우리 팀은 해당 아이템으로 짧게는 창의플랫폼에서 대상을 수상하는 것을 목표로, 나아가서 실제 서비스로 구현하고 지속적으로 업데이트 하여 디지털 취약 계층이 사라지는 그날까지 이어나가는 것을 비전으로 두고 활동해나가고 있습니다.

긴 글 읽어주셔서 감사합니다!