Kafka 동물원에서 벗어나다.

kafka를 구동하기 위해서는 메타데이터를 저장하는 장소가 필요합니다. 2019년 KIP-500으로부터 메타데이터를 저장하는 Zookeeper가 아닌 kafka 자체에서 메타데이터를 저장할 수 있는 기능을 구현하여 Kafka 3.3.X 버전부터 공식적으로 KRaft 모드를 지원을 했습니다.

Kafka에서의 Zookeeper는 Kafka의 메타데이터를 별도로 관리하는 서비스입니다. Kafka 내부에 있는 것이 아닌 외부에서 존재를 하다보니 확장성 및 장애 조치에 대한 부분에 부담스러울 수 밖에 없습니다.

KRaft 모드는 Zookeeper에서 발견할 수 있는 단점을 보완하기 위해 만들어졌습니다. Kafka 내부에서 동작을 하다보니 확장성의 측면에서 장점이 있으며, 장애 조치를 즉각적으로 할 수 있는 장점 또한 있습니다. KRaft 모드를 사용하는 Kafka는 어떻게 동작을 하고, Zookeeper와 비교를 했을 때 확장성의 측면에서 얼마나 도움이 되는지 알아보았습니다.