Vector 기반 RAG의 성능을 높이기 위한 LlamaIndex 의 제안

제가 더 주목하고 있는 관점을 소개해보자면,

RAG의 성능 향상은 embedding 모델의 차이에서 오는 것은 크지 않을 것이고, 방법론의 차이에서 더 유의미할 것으로 생각합니다.

[라마인덱스를 필두로 제시되고 있는 방법론]

1. embeddings를 만들어내는 chunk의 단위를 어떻게 나눌 것인가.

문서의 종류, 성격마다 성능이 좋은 chunk의 크기가 다른 것이죠. 페이지, 문단, 문장 등 다양한 방법이 있을 것입니다.

OpenAI의 Assistant API Retrieval 성능이 떨어지는 것도 이런 이유로 보입니다. 일률적으로 같은 chunk 기준을 적용하기 때문인거 같아요.

2. 다른 indexing 방식과의 혼합을 어떻게 할 것인가.

기존의 키워드 매칭 방식의 BM25 알고리즘, 지식그래프를 활용한 Retrieval 등을 앙상블하거나 Routing 하는 방법 등이 있습니다.

3. 어떤 메타데이터를 함께 embeddings로 만들 것인가.

단순히 원본 데이터만 embeddings로 만드는 것보다 성능이 더 좋게 나옵니다. 다양한 상황에 따라 다양한 메타데이터를 추가할 수 있겠죠.

4. Recursive 방식 -> chunk 단위를 다양하게 쪼개서 나중에 merge하는 방식.

이 방식은 말로 설명이 어려운데 라마인덱스 docs 읽어보면 좋을거 같아요. (https://docs.llamaindex.ai/en/stable/examples/query_engine/recursive_retriever_agents.html)

추가적으로 RAG 관련한 소식과 트렌드는 라마인덱스 CEO 제리리우 트위터가 제일 빠르다고 생각합니다! 라마인덱스 닥스도 무조건 1회독하면 좋아요!

https://twitter.com/jerryjliu0