Devin사용 후기

현재 진행하고 있는 프로젝트에서 Devin을 사용해 볼 기회가 있어서

2주간 사용해본 소감을 공유 해 볼까 합니다.

사용 방법으로는 Devin을 slack으로 초대 해서 멘션을 보내는 방식으로 사용합니다.

마치 새로운 개발자가 투입된것과 똑같은 프로세스입니다.

Devin에게 github, slack, notion등의 액세스 권한을 부여 하고 개발에 관련된 모든 자료, 코드의 액세스 권한을 부여 합니다.

현재 AI 개발 어시스턴트 툴이 상당히 많습니다.

github의 코파일럿을 비롯해 bolt.new, Cursor 등이 존재 합니다.

AI 코딩 툴에서 제가 가장 중요하게 보는 것은 토큰 사이즈 인것 같습니다.

토큰 사이즈가 무조건 크다고 좋다는 뜻은 아니고 연관된 코드 파일들을 얼마나 잘 이해하고 인식 하는지에 대한 문제입니다.

Devin의 가장 큰 장점은 용량이 큰 여러개의 코드 파일을 대부분 인식하는 느낌을 받았습니다.

여기저기 복잡하게 분산된 코드를 취합해서 정리해주는 능력이 뛰어났습니다.

다른 AI개발 툴의 경우 IDE에서 열어 놓은 몇개의 파일 정도를 인식하는 반면 데빈은 전혀 상관 없는 곳에 동떨어져 있는 소스 코드까지도 참고 해서 전체적인 사양의 그림을 그리는 능력이 다른 툴에 비해서 뛰어났습니다.

관련 있는 문서와 코드들만을 따로 저장해서 참고하는 방식을 사용하고 있었습니다.

제가 테스트로 파악하기 힘든 소스코드 사양을 도큐멘트로 정리 해 달라고 했을때 전체적인 사양을 정리 한 뒤

세부적인 내용을 질의 하는 부분에서 상세하게 파악하고 있다는 걸 느꼈습니다.

데빈이 편리하다고 느낀 점 두번째는

slack에서 바로 github의 pull request를 만들어 준다는 것입니다.

어떤 위치의 코드 파일 혹은 클래스 이름을 제시하고 해결 해야 할 문제를 제시하면 main브런치를 기준으로 새로운 브런치를 생성해서 깔끔하게 PR를 만들어 주는 것입니다.

개발자는 결과물을 리뷰하고 사용 할지 말지를 판단하면 됩니다.

데빈의 가장 큰 단점이라면 비용일 것입니다.

간단한 개발을 의뢰해서 PR를 하나 작성하는데 대략 5달러 정도의 비용이 발생하였습니다.

실제 개발자가 처리 하면 30분에서 1시간 걸리는 작업입니다.

개발자 시급으로 계산해 본다면 데빈이 처리하는 것이 비용면에서는 훨씬 저렴할 것입니다.

하지만 업무 지시를 잘못 하거나 하면 필요 이상의 토큰을 소비하는 상황도 발생하기 때문에 비용이 높게 책정되는 경우도 발생됩니다.

솔직히 개인이 사용하기에는 부담스러운 금액이라고 할 수 있습니다.

지금 회사에서도 비용 대비 효율이 어느정도 인지 테스트 하는 단계라고 할수 있을것 같습니다.

데빈의 주특기를 개발로 생각하고 사용하는 경우가 대부분 이라고 생각됩니다만

복잡하고 많은 코드를 참고 해서 자료를 만들거나 문제를 분석해야 되는 경우도 데빈은 효율적이라고 생각했습니다.

예로 기존 코드를 분석해서 개발을 해야 되는 경우

데빈은 분석 해야 되는 코드를 한 곳에 모아 정리 후 어떤 기능인지 분류한 후 문서 작업을 대략 5분만에 처리 해 줬습니다.

참고 해야 되는 코드가 너무 많고 레거시한 코드여서 분석할 엄두가 안나는 기능이였는데

상당히 도움이 되었던 걸로 기억 합니다.

비용은 대략 $10 정도의 토큰이 사용된것 같습니다.

이런 경우 충분히 비용 대비 효율이 좋다고 판단 할수 있었습니다.

또하나의 장점은 데빈은 개발을 하면서 스스로 학습한 내용으로 점점 더 발전해 나아간다는 것이 좋았습니다.

마치 처음 프로젝트에 참가한 개발자에게 이런 저런 자료와 규칙을 공유 하면 점점 실수가 줄어 드는것 처럼 데빈도 학습하는 과정이 포함되어 있었습니다.

예를 들면 개발 의뢰를 하고 결과물을 제공할때 각 파트별로 데빈에게 학습시킬 데이터 인지 아닌지를 개발자에게 직접 의견을 구하고 학습 데이터로 받아들이는 과정이 포함되어 있습니다.

이런 전체적인 데빈의 기능들을 볼때 현재 나와 있는 AI 개발 어시스턴트 툴과는 확연히 다르다는 것을 느낄수 있었습니다.

물론 데빈의 단점도 다양하게 존재 합니다.

개발자의 의도를 제대로 파악하지 못해 버그를 발생 시키거나 사람이 다시 수정을 해야하는 개발도 꽤 존재 했습니다.

제가 소속된 팀에서는 프론트엔드 개발자와 백엔드 개발자가 데빈을 사용 하고 있습니다.

매주 목요일 데빈에 대한 사용 소감을 서로 공유하고 있습니다.

새로운 규칙을 정하고 데빈에게 필요한 세팅을 하면서 점점 더 프로젝트에 적합한 개발 어시스턴트 툴로 만들어 가는 중입니다.

13명 정도의 규모의 프로젝트에 500달러 과금으로 대략 3주정도 사용하니 토큰을 거의 다 사용한것 같습니다.

데빈을 더 사용하고 싶은 의견이 많아 토큰을 충전해서 더 사용해 보기로 했습니다.

지금보다 가격이 좀 더 저렴하거나 비용문제를 전혀 생각하지 않아도 된다고 하면 저는 개인적으로 데빈을 꼭 개발하는데 있어 사용하고 싶은 ai어시스턴트 툴로 추천 하고 싶습니다.