1인 개발로 만화 AI 번역기를 만들면서 마주한 OCR 지옥과 해결 과정 (feat. AI Manga Translator)
혼자서 여러 마이크로서비스를 빌드하다 보면, "이건 진짜 내가 써야겠다" 싶은 순간이 오기 마련입니다. 최근 AI Manga Translator 를 운영하면서 글로벌 사용자들이 원서 만화나 웹툰을 파싱하는 패턴을 분석하게 되었는데요.

시중에 있는 범용 OCR이나 일반 번역 API를 만화에 그대로 밀어 넣었을 때 얼마나 처참하게 무너지는지, 그리고 이걸 1인 개발자의 호흡으로 어떻게 헤쳐나왔는지 핵심만 공유해 드립니다.

1. 만화 OCR이 일반 문서 OCR과 완전히 다른 이유 우측에서 좌측으로 흐르는 세로쓰기(Tategaki): 전통적인 일본 만화 레이아웃은 일반 문서 파서의 읽기 순서를 완전히 곤충처럼 찢어놓습니다.

후리가나(Ruby Text)의 폭격: 한자 위에 작게 붙은 독음 글자가 본문 텍스트와 엉겨 붙어 데이터가 완전히 오염됩니다.

효과음(SFX) 노이즈: 배경에 꽉찬 거대한 폰트의 효과음(예: ゴゴゴ)을 대사로 오인식하여 번역 결과가 삼천포로 빠집니다.

1. 엔지ニア링 관점의 해결책: 공간 인식 파이프라인 이 문제를 풀기 위해 단순 텍스트 추출을 넘어서는 공간 인식 기반 파이프라인(Spatial-Aware Parsing)을 설계했습니다.

바운딩 박스 최적화: 말풍선 영역을 정밀하게 격리하고 읽기 방향에 따른 동적 정렬을 적용.

루비 텍스트 필터링: 번역 모델로 들어가기 전 노이즈 원천 차단.

SFX 마스킹: 배경 효과음과 핵심 스토리 대사를 엄격하게 분리.

1. 마무리하며 작은 툴을 빠르게 만들고(Ship) 전 세계 유저들의 피드백을 받으며 백엔드를 다듬어가는 과정 자체가 1인 개발의 가장 큰 쾌감인 것 같습니다.

만화 원서 독해나 관련 멀티모달 비전 파이프라인에 관심 있으신 개발자분들은 언제든 가볍게 테스트해 보시고 피드백 주시면 감사하겠습니다!

👉 Live Service: https://ai-manga-translator.com
👉 Indie Lab Logs: https://peterslab.co

오늘도 각자의 자리에서 멋진 코드를 빌드하고 계실 모든 개발자분들을 응원합니다!