저희 팀은 LLM + Knowledge Graph와 사랑에 빠졌습니다 D+100❤️

저희 팀은 그동안 LLM을 생성의 측면뿐만 아니라, 관계추론엔진으로 바라보고 Knowledge Graph에 주목하고 있었습니다. 특히 LLM + KG 의 조합과 정말 사랑에 빠졌습니다. 앞으로 이 두 조합으로 많은 것들을 시도하는 과정을 공유하려고 합니다!

Knowledge Graph(=지식그래프)가 뭘까요?

Knowledge Graph는 데이터 그 자체보다, 데이터 사이의 연결에 집중합니다. 예를 들어 마이클과 새라는 부부 사이다. 그러면 마이클 노드(데이터 하나)와 새라 노드(데이터 하나)는 [결혼함]이라는 엣지로 연결됩니다.

(엣지(관계)는 주로 동사형입니다.)

여기서 KG는 마치 인간 언어의 문장과 흡사한 구조를 표현하는 것을 알 수 있습니다. 기존 SQL 기반의 관계형 DB는 명사 기반이며, 테이블의 관계형을 통해 최대한 그 관계를 표현하려 했지만 테이블 스키마에 맞춰야 해서 불편했습니다.

LLM 이전의 KG는 유저가 데이터의 정형화를 해주어야 가능했습니다. (데이터의 정형화 예, 해시태그 연결, 페이스북에서 연인관계 설정, 유저의 앱내에서의 행동 등의 작업이다.) 유저가 정형화하지 않은 수 많은 비정형 데이터는 지식으로 연결되지 않고 남아있게 되었죠. (또한, 라벨링 알바를 시켜 정형화 작업을 하기도 합니다.)

사람이 데이터를 정형화하는 모습을 보면,

[비정형 데이터 -> 사람의 뇌 -> 정형 데이터]

의 과정을 거치게 됩니다.

여기서 사람의 뇌만 관계추론엔진으로 바꾸어보면,

[비정형 데이터 -> 관계추론엔진 -> 정형 데이터]

으로 바뀔 수 있습니다.

즉, KG는 데이터 간의 관계를 포착할 수 있는 "관계추론엔진"이 필요합니다.

우리가 아는 한 우주에 존재하는 유일한 관계추론엔진은 사람의 뇌였습니다. 그러나 인간은 비로소 두번째 관계추론엔진을 이 우주에 탄생시켰습니다!

이 두번째 엔진은 사람의 노동력(비싼 첫번째 엔진)이 들어간 수 많은 정형 데이터(라벨링 작업), 컴퓨팅 파워, 수학적 모델, 넘쳐나는 비정형 데이터 등이 결합되어 탄생했습니다.

그리고 바로 관계를 가진 데이터를 담는 그릇이 지식그래프입니다. 그동안 연결되지 않았던 수 많은 비정형 데이터를 연결하는 것 외에, RAG에서도 성능을 굉장히 높일 수 있는 것으로 최근 주목받고 있습니다.

GenAI Stack with KG

무려 docker CTO, 랭체인 파운더, Ollama 코파운더, neo4j 파운더 라는 어마무시한 사람들이 모여서 지식그래프를 활용한 새로운 GenAI Stack에 대해 쥬피터 노트북을 만들고 발표했습니다.

그만큼 KG와 LLM의 연계는 정말 큰 흐름이라고 생각합니다. 특히 RAG에서도 documents의 지식연결을 기반으로 RAG 성능을 높이고자 하는 시도가 있는데요, 아래 미디엄 글 너무 재밌어서 강추드립니다!

Neo4j, 나만 알고 싶은 미친 프로덕트

지식그래프 데이터베이스를 제공하는 회사는 neo4j가 압도적으로 편하고 좋습니다.

• 무려 2010년부터 그래프 데이터베이스를 만들던 회사

• 시리즈 E까지 받은 회사 (상장하면 무조건 산다..!)

• 기존 RDBMS에서 그래프 데이터베이스를 구축하는게 아닌, 진짜 그냥 scratch에서부터 구축한 찐 그래프 데이터베이스. RDBMS 기반 그래프 데이터베이스보다 성능이 훨씬 좋음

• RDBMS의 query인 SQL과 같이, 지식그래프에서 표준이 되는 Cypher 라는 query language 개발. 진짜 이거 너무 아름답습니다..

• 클라우드로 서비스 전체 제공

• 심지어 벡터 embeddings, semantic search 기능 제공

공부해보고 싶으신 분들은 neo4j에서 공식으로 운영하는 아카데미를 봐보시는걸 추천드립니다!