이동호
안녕하세요. 2년째 스타트업에 도전하고 있는 개발자 이동호입니다.
랭그래프가 무엇인가?
2달 전에 랭체인을 공부할 수 있는 기회를 얻었습니다. 항상 ‘공부해야지~공부해야지~’ 하다가 시간이 나서 이때다 싶어 바로 Docs를 키고 튜토리얼을 따라하며 공부했지요. 이때 전 까지만 해도 랭체인에서 지원하는 RAG, 대화기록 보존 같은 기능들을 일일히 코드로 짜며 서비스를 구축했지만 랭체인을 사용하면 매우 단순한 코드를 사용하여 이 모든 복잡한 것들이 저절로 되는 것을 보며 정말 신기하고 한편으로는 미리 공부하지 못한 것이 후회됐어요.
하지만 랭체인보다도 Docs에 조그맣게 나와있는 랭그래프의 튜토리얼을 보고 저는 완전히 매료됐습니다. 사실 랭체인의 모든 기능들은 조금만 노가다 하면 랭체인을 사용하지 않고도 구현할 수 있지만 랭그래프의 개념과 구현은 사실상 처음 보는 것이였기 때문입니다.
“chatGPT와 같은 추론 엔진이 하나의 노드가 되어 행동을 수행할 수 있는 에이전트끼리 그래프의 형식으로 맞물려 유저가 원하는 행동이 이루어질 때까지 추론을 반복한다”. 한번의 추론으로 끝나는 랭체인과 달리 도구를 몇 번이고 사용해서 필요한 데이터와 답변을 얻어내는 랭그래프는 정말 신기했습니다. 튜토리얼을 따라하며 LLM이 원하는 답을 알아낼 때까지 검색어를 변경해가며 검색을 수행하는 것을 관찰하니 ‘이거지’ 하는 쾌감도 들었던 것 같습니다.
허나 랭그래프의 튜토리얼을 따라하며 거슬리는 것이 단 한가지 있었습니다.
Tavily가 왜 거슬렸나
튜토리얼을 따라하다 보면 Tavily라는 해외의 검색 엔진을 활용해 LLM에게 인터넷에 접근해 뉴스, 정보를 검색할 수 있는 기능을 부여합니다. 사용자의 질문을 답변하기 위해 외부의 정보가 필요하면 인터넷에 검색하고 결과를 바탕으로 대답을 생성하는 그래프를 구현합니다.
튜토리얼을 따라하다 보면 중간에 “샌프란시스코의 날씨”를 묻는 코드가 나옵니다. 실행하니 Tavily를 통해 검색하고, 꽤 괜찮은 데이터를 공급받아 LLM이 적절한 대답을 생성해 냅니다. 하지만 저는 한국인이기 때문에 당연히 한국의 날씨를 물어봤습니다. 잘 나올 것이라는 저의 예상과 반대로 Tavily는 미국에서 시작된 바람에 대한 정보를 계속 주는 겁니다. 당연히 LLM의 답변도 질문과 딴판인 이상한 답변이였습니다.
이제 정말로 어떤 문제가 있을 것이라고 생각한 저는 한국의 대표적인 작가, ‘한강’에 대해서 물어봤습니다. 물론 이름이 한국의 하천인 한강과 겹쳐서 이상한 결과가 나올 수도 있다고 예상했지만 실제로 답변이 그렇게 나오는 것을 보니 조금 충격적이였습니다.
한국형 AI를 위한 검색엔진, 다봄 검색 API
Tavily라는 검색 서비스에 어떤 문제가 있는지 찾아보니 주로 영어권의 스타트업을 타겟팅 하기 때문에 검색의 기반이 되는 데이터를 모두 해외 사이트에서 제공받는 것이 문제였습니다.
예를 들어, 현재 뉴스에 대해서 검색하면 주로 CNN과 같은 미국의 대형 뉴스 회사의 기사들이 나옵니다.
따라서 Tavily를 한국의 스타트업이 적용하기에는 무리가 있을 것이라 판단해 한국을 위한 AI용 검색엔진, 다봄 검색 API를 만들게 되었습니다.
다봄 검색 API는 네이버 뉴스, 네이버 웹 검색 및 블로그, 한국 기상청과 같은 ‘한국형’ 소스들을 기반으로 검색을 실행하고 이에 맞는 결과를 제공합니다. 위의 소스들을 포함해 네이버 스토어, 한국 경제, 위키피디아와 같은 매우 다양한 소스들에게 검색을 실행하고 유저의 의도에 알맞는 정보들만 추려서 유용한 정보 순으로 제공해 줍니다.
다봄 검색 API를 사용해 위 문제가 발생한 튜토리얼을 테스트 해봤는데 결과는 매우 성공적이였습니다. 서울의 날씨는 불구하고 오늘의 뉴스, 경제 정보들 모두 한국에 맞춰서 제공하니 답변의 정확도가 배는 증가했습니다.
아래는 위의 ‘작가 한강’에 대한 질문을 다봄 검색 API를 Tavily 대신 사용해 물어본 것입니다.
다봄을 어떻게 사용할까?
다봄 검색 API를 만들며 가장 주의를 기울인 것이 바로 ‘사용의 편의성’입니다. 랭그래프, 랭체인용 플러그인을 지원해서 코드 한 줄만 추가하면 다봄을 사용할 수 있게 하고 이미 Tavily를 사용하는 분들은 도구의 이름만 바꾸면 사용할 수 있게 말입니다.
처음 사용하시는 분들을 위해서 저희가 열심히 읽기 쉽게 Docs를 적어봤으니 구경 하시길 바랍니다!
다봄의 미래
네이버 뉴스, 기상청, 위키피디아를 비롯해 많은 도구를 사용해 검색을 실행한다는 점을 말씀드렸지만 저희는 아직 더 많은 도구들이 들어올 자리들이 남았다고 생각합니다.
예를 들어 맛집에 대한 정보를 제공해주는 도구, 한국의 행사들에 대한 정보를 공급해주는 도구 등 다봄을 사용한 챗봇이 유저를 만족시키는 답변을 생성하기 까지 아직 많이 남았을 겁니다.
따라서 저희는 어제 (8/10) 디스콰이엇에 처음 출시한 만큼 유저분들께서 어떤 검색용 도구가 추가되면 좋을지에 관한 의견을 들어보고 이에 해당하는 도구들을 하나 둘 씩 추가해 나갈 계획입니다.
그럼 긴 글 읽어 주셔서 감사하며 다봄을 한번 구경하시길 바랍니다 😀
다봄 검색 API
AI를 위한 한국형 검색엔진